簡介在現(xiàn)實世界中,我們收集的數(shù)據(jù)在大多數(shù)時候是嚴重不平衡的,所謂不平衡數(shù)據(jù)集就是訓練樣本不是平均分布在目標類中,例如,如果我們以個人貸款分類問題為例,就很容易得到“未批準”的數(shù)據(jù),而不是“已批準”的信息,結(jié)果,模型會更偏向具有大量訓練實例的類,這降低了模型的預測能力。在典型的二元分類問題中,它還會II型錯誤的增加。這一障礙不僅局限于機器學習模型,而且也主要存在于計算機視覺和自然語言處理領域。這些問題可以通過對每個區(qū)域分別使用不同的技術來有效地處理。注意:本文將簡要概述各種可用的數(shù)據(jù)增強方法,但不深入技術細節(jié),這里展示的所有圖像都來自Kaggle。

目錄

1. 機器學習——不平衡數(shù)據(jù)(上采樣和下采樣)
2. 計算機視覺——不平衡數(shù)據(jù)(圖像數(shù)據(jù)增強)

3. NLP——不平衡數(shù)據(jù)(Google交易和分類權(quán)重)

   1． 機器學習——不平衡數(shù)據(jù)

處理類不平衡的兩種主要方法是上采樣/過采樣和下采樣/欠采樣。抽樣過程只應用于訓練集,對驗證和測試數(shù)據(jù)不作任何更改。python中的Imblearn庫可以方便地實現(xiàn)數(shù)據(jù)重采樣。上采樣是將合成生成的數(shù)據(jù)點(對應于少數(shù)類)注入數(shù)據(jù)集的過程,在這個過程之后,兩個標簽的計數(shù)幾乎是相同的,這種均衡過程防止了模型向多數(shù)類傾斜,而且目標類之間的交互(邊界)保持不變,同時,上采樣機制由于附加信息的存在而給系統(tǒng)帶來偏差。我們可以通過分析Google Analytics的貸款預測問題來解釋這些步驟。這里使用的訓練數(shù)據(jù)集可以在以下鏈接中找到。

SMOTE(SyntheticMinorityOversamplingTechnique)——upsampling: 上采樣SMOTE基于knearestneighbors算法,綜合生成數(shù)據(jù)點,這些數(shù)據(jù)點位于已經(jīng)存在的數(shù)量被超過的群體附近。應用此方法時,輸入記錄不應包含任何空值。

#import imblearn library
from imblearn．over_sampling import SMOTENC
oversample = SMOTENC(categorical_features=[0,1,2,3,4,9,10], random_state = 100)
X, y = oversample．fit_resample(X, y)
datduplicate—upsampling: 在這種方法中,已存在的數(shù)據(jù)點被隨機抽取并重復。from sklearn．utils import resample
maxcount = 332
train_nonnull_resampled = train_nonnull[0:0]
for grp in train_nonnull['Loan_Status']．unique():
   GrpDF = train_nonnull[train_nonnull['Loan_Status'] == grp]
   resampled = resample(GrpDF, replace=True, n_samples=int(maxcount), random_state=123)
   train_nonnull_resampled = train_nonnull_resampled．a(chǎn)ppend(resampled)

下采樣是一種減少訓練樣本落在多數(shù)類下的機制。因為它有助于平衡目標類別的計數(shù),但刪除收集到的數(shù)據(jù),我們往往會丟失很多有價值的信息。

Tomek (T-Links): -

T-Link基本上是來自不同類(最近的鄰居)的一對數(shù)據(jù)點,其目標是丟棄與多數(shù)類(數(shù)量較多的類)相對應的樣本,從而減少占主導地位的標簽的數(shù)量。這也增加了兩個標簽之間的邊界空間,從而提高了性能準確性。

from imblearn．under_sampling import TomekLinks
undersample = TomekLinks()
X, y  = undersample．fit_resample(X, y)
質(zhì)心

2． 計算機視覺——不平衡數(shù)據(jù)

對于非結(jié)構(gòu)化數(shù)據(jù),如圖像和文本輸入,上述平衡技術將不會有效。在計算機視覺中,模型的輸入是圖像中像素的張量表示,所以只是隨機改變像素值(為了添加更多的輸入記錄)就可以完全改變圖片本身的意義。有一種概念叫做數(shù)據(jù)增強,即圖像經(jīng)過大量轉(zhuǎn)換后仍然保持其意義不變。各種圖像轉(zhuǎn)換包括縮放、剪切、翻轉(zhuǎn)、填充、旋轉(zhuǎn)、亮度、對比度和飽和度變化,通過這樣做,僅使用單個圖像,就可以創(chuàng)建一個龐大的圖像數(shù)據(jù)集。讓我們看看Analyticsvidhya中發(fā)布的計算機視覺hackathon,使用的數(shù)據(jù)集可以在這里找到。

要求是將車輛分為緊急和非緊急兩類。為了便于說明,我們使用“0．jpg”圖像。

from keras．preprocessing．image import ImageDataGenerator, array_to_img, img_to_array, load_img
datagen = ImageDataGenerator(
       rotation_range=40,
       width_shift_range=0．2,
       height_shift_range=0．2,
       shear_range=0．2,
       zoom_range=0．2,
       horizontal_flip=True,
       fill_mode='nearest')
img = load_img('images/0．jpg')  
x = img_to_array(img)  
x = x．reshape((1,) + x．shape)  
print(x．shape)
# the ．flow() command below generates batches of randomly transformed images
# and saves the results to the `preview/` directory
i = 0
for batch in datagen．flow(x, batch_size=1,
                         save_to_dir='preview', save_prefix='vehichle', save_format='jpeg'):
   i += 1
   if i > 19:
       break  # otherwise the generator would loop indefinitely
在GitHub存儲庫中可以找到整個代碼和一個預訓練過的模型。

3． NLP——不平衡數(shù)據(jù)

自然語言處理模型處理序列數(shù)據(jù),如文本、移動圖像,其中當前數(shù)據(jù)與之前的數(shù)據(jù)有時間依賴性。由于文本輸入屬于非結(jié)構(gòu)化數(shù)據(jù),所以我們要以不同的方式處理這些場景。例如,以票據(jù)分類語言模型為例,其中IT票據(jù)必須根據(jù)輸入文本中出現(xiàn)的單詞順序分配給不同的組。谷歌翻譯(google trans python包): 這是擴展少數(shù)群體數(shù)量的有用技術之一。

在這里,我們把給定的句子翻譯成“非英語”語言,然后再翻譯成“英語”,通過這種方式,可以維護輸入消息的重要細節(jié),但是單詞的順序/有時具有相似意義的新詞作為新記錄引入,從而增加了不足類的計數(shù)。輸入文字- "warning for using windows disk space"數(shù)據(jù)補充文字-“Warning about using Windows storage space”即使上面的句子的意思是一樣的,它也引入了新單詞,從而通過擴大輸入樣本的數(shù)量來提高語言模型的學習能力。下面執(zhí)行的代碼可以在GitHub存儲庫中找到。googletrans．readthedocs．io/en/latest/from googletrans import Translatortranslator = Translator()
def German_translation(x):    print(x)        german_translation = translator．translate(x, dest='de')        return german_translation．text
def English_translation(x):    print(x)    
   english_translation = translator．translate(x, dest='en')        return english_translation．text
x = German_translation("warning for using windows disk space")
English_translation(x)

類權(quán)重: 該方法是在擬合模型過程中利用類權(quán)重參數(shù)。對于目標中的每個類別,都分配一個權(quán)重,與多數(shù)類相比,少數(shù)類將獲得更多的權(quán)重,因此,在反向傳播過程中,與少數(shù)類相關聯(lián)的損失值越大,模型會對輸出中的所有類一視同仁。import numpy as np
from tensorflow import keras
from sklearn．utils．class_weight import compute_class_weight
y_integers = np．a(chǎn)rgmax(raw_y_train, axis=1)
class_weights = compute_class_weight('balanced', np．unique(y_integers), y_integers)
d_class_weights = dict(enumerate(class_weights))
history = model．fit(input_final, raw_y_train, batch_size=32, class_weight = d_class_weights, epochs=8,callbacks=[checkpoint,reduceLoss],validation_data =(val_final, raw_y_val), verbose=1)
這個選項在機器學習分類器中也可用,如我們給class_weight = ' balanced '的' SVM '。# fit the training dataset on the classifier
SVM = svm．SVC(C=1．0, kernel='linear', degree=3, gamma='auto', class_weight='balanced', random_state=100)

結(jié)論到目前為止,我們已經(jīng)討論了不同領域處理不平衡數(shù)據(jù)的各種方法,如機器學習、計算機視覺和自然語言處理。盡管這些方法只是解決多數(shù)Vs少數(shù)目標群體問題的開始,還有其他先進的技術可以進一步探索。