大數(shù)據(jù)和數(shù)據(jù)科學(xué)是經(jīng)常一起聽到的概念。人們相信，如今有大量數(shù)據(jù)，并且數(shù)據(jù)科學(xué)可以從，所有這些TB的信息中獲得有價值的信息。但是，在實際情況下，解決問題的數(shù)據(jù)通常很少。收集大數(shù)據(jù)集可能會非常昂貴或根本不可能。結(jié)果，通常別無選擇，只能使用一個小的數(shù)據(jù)集，試圖獲得盡可能準(zhǔn)確的預(yù)測。在本文中，我們將簡要介紹使用小型數(shù)據(jù)集時出現(xiàn)的問題。然后，我們將討論克服這些問題的最有效技術(shù)。

　　偏差權(quán)衡

簡而言之，當(dāng)您尋找一個完美的模型來解釋您的數(shù)據(jù)時，您正在平衡偏差和方差。

偏差是模型預(yù)測值與真實值之間的差。具有高偏差的模型過分簡化了預(yù)測變量和目標(biāo)變量之間的關(guān)系，并在訓(xùn)練和測試數(shù)據(jù)上顯示出很高的誤差。

方差反映了模型預(yù)測的可變性。具有高方差的模型過于關(guān)注訓(xùn)練數(shù)據(jù)，而不能很好地推廣到測試數(shù)據(jù)集。結(jié)果，這些模型在訓(xùn)練集上顯示出非常低的誤差，而在測試集上顯示出非常高的誤差。

具有低偏差和高方差的模型會擬合數(shù)據(jù)，而具有高偏差和低方差的模型則擬合數(shù)據(jù)。

在小型數(shù)據(jù)集上訓(xùn)練的模型更有可能看到不存在的模式，這會導(dǎo)致測試集的高方差和極高的誤差。這些是過度擬合的常見跡象。因此，使用小型數(shù)據(jù)集時，您的主要目標(biāo)是避免過度擬合。你怎么做到這一點？

　　處理小數(shù)據(jù)集的7種有效方法

現(xiàn)在，我們將討論在使用小型數(shù)據(jù)集時避免過擬合的七種最有用的技術(shù)。

　　1. 選擇簡單的模型。具有許多參數(shù)的復(fù)雜模型更容易過度擬合：

· 如果您正在訓(xùn)練分類器，請考慮從邏輯回歸開始。

· 如果要訓(xùn)練模型以預(yù)測某個值，請考慮權(quán)重數(shù)量有限的簡單線性模型。

· 對于基于樹的模型，請限制最大深度。

· 使用正則化技術(shù)可以使模型更加保守。

對于稀缺的數(shù)據(jù)，您的目標(biāo)是限制模型查看不存在的模式和關(guān)系的能力。這意味著您要限制權(quán)重和參數(shù)的數(shù)量，并排除所有暗示非線性或特征相互作用的模型。還要注意，根據(jù)研究，某些分類器可能更適合處理小型數(shù)據(jù)集。

　　2. 從數(shù)據(jù)中刪除異常值。當(dāng)使用小型數(shù)據(jù)集時，離群值會對模型產(chǎn)生巨大影響。因此，在處理稀缺數(shù)據(jù)時，您需要識別并刪除異常值。另一種方法是使用對異常值具有魯棒性的技術(shù)。消除異常值的影響對于使用小數(shù)據(jù)集獲得明智的模型至關(guān)重要。

　　3. 選擇相關(guān)功能。通常，顯式特征選擇不是最佳方法，但是當(dāng)數(shù)據(jù)有限時，這可能是必不可少的步驟。 很難避免因少量觀察值和大量預(yù)測變量而過度擬合。特征選擇有幾種方法，包括與目標(biāo)變量的相關(guān)性分析，重要性分析和遞歸消除。還值得注意的是，功能選擇將始終受益于領(lǐng)域?qū)I(yè)知識。因此，如果您不熟悉主題領(lǐng)域，請找一位領(lǐng)域?qū)＜襾碛懻撎卣鬟x擇的過程。

　　4. 合并幾個模型。當(dāng)您組合來自多個模型的結(jié)果時，您可能會獲得更準(zhǔn)確的預(yù)測。例如，與來自各個模型的預(yù)測相比，作為來自各個模型的預(yù)測的加權(quán)平均值計算的最終預(yù)測將具有更低的方差和更高的通用性。此外，您可以使用不同的超參數(shù)值組合來自不同模型或來自同一模型的預(yù)測。

　　5. 依靠置信區(qū)間而不是點估計。除了預(yù)測本身之外，估計預(yù)測的置信區(qū)間通常也是個好主意。當(dāng)您使用小型數(shù)據(jù)集時，這一點尤其重要。因此，在回歸分析中，請確保估計95%的置信區(qū)間。如果要解決分類問題，請計算班級預(yù)測的概率。如果您更好地了解了模型對預(yù)測的“信心”，則根據(jù)模型的結(jié)果得出錯誤結(jié)論的可能性就較小。

　　6. 擴(kuò)展數(shù)據(jù)集。當(dāng)數(shù)據(jù)真正稀缺或數(shù)據(jù)集嚴(yán)重失衡時，請尋找擴(kuò)展數(shù)據(jù)集的方法。例如，您可以：

· 使用合成樣品。這是解決數(shù)據(jù)集中某些類的代表性不足的常用方法。有幾種 方法，以增強(qiáng)與合成樣品的數(shù)據(jù)集。選擇最適合您的特定任務(wù)的一種。

· 合并來自其他可能來源的數(shù)據(jù)。例如，如果要在特定區(qū)域中對溫度建模，則也要使用其他區(qū)域的天氣信息，但要對感興趣區(qū)域的數(shù)據(jù)點分配更高的權(quán)重。

　　7. 盡可能進(jìn)行轉(zhuǎn)移學(xué)習(xí)。這種方法也是數(shù)據(jù)擴(kuò)展的一種。轉(zhuǎn)移學(xué)習(xí)意味著在可用的大型數(shù)據(jù)集上訓(xùn)練通用模型，然后在小型數(shù)據(jù)集上對其進(jìn)行微調(diào)。例如，如果您要處理圖像分類問題，則可以使用在龐大的圖像數(shù)據(jù)集ImageNet上預(yù)先訓(xùn)練的模型，然后針對特定問題對其進(jìn)行微調(diào)。與使用有限數(shù)據(jù)從頭開始訓(xùn)練的模型相比，預(yù)訓(xùn)練的模型更有可能產(chǎn)生準(zhǔn)確的預(yù)測。遷移學(xué)習(xí)與靈活的深度學(xué)習(xí)技術(shù)特別有效。

　　小數(shù)據(jù)只是您可以克服的另一個挑戰(zhàn)

許多研究人員和實踐者認(rèn)為，小數(shù)據(jù)是數(shù)據(jù)科學(xué)的未來。對于每種問題都擁有龐大的數(shù)據(jù)集是不可行的。請遵循以下準(zhǔn)則來克服小型數(shù)據(jù)集的挑戰(zhàn)：

· 了解統(tǒng)計信息的基礎(chǔ)知識，以了解處理少量觀測值時可能遇到的問題。

· 了解避免過度擬合的關(guān)鍵策略，并從小數(shù)據(jù)中獲得準(zhǔn)確的結(jié)果。

· 有效地執(zhí)行所有數(shù)據(jù)清理和數(shù)據(jù)分析步驟。

· 從模型預(yù)測中得出結(jié)論時，請注意模型的局限性。

上述就是關(guān)于處理小數(shù)據(jù)集的7種有效方法的全部內(nèi)容，想了解更多關(guān)于處理數(shù)據(jù)的信息，請繼續(xù)關(guān)注中培偉業(yè)。