三、元學(xué)習(xí) Meta Learning

元學(xué)習(xí)也就是＂學(xué)習(xí)如何學(xué)習(xí)＂，通過對現(xiàn)有的學(xué)習(xí)任務(wù)之間的性能差異進行系統(tǒng)的觀測，然后學(xué)習(xí)已有的經(jīng)驗和元數(shù)據(jù)，用于更好的執(zhí)行新的學(xué)習(xí)任務(wù)。這樣做可以極大的該靜機器學(xué)習(xí)流水線或者神經(jīng)網(wǎng)絡(luò)架構(gòu)的設(shè)計，也可以用數(shù)據(jù)驅(qū)動的方式取代手工作坊似的算法工程工作。

從某種意義上來說，元學(xué)習(xí)覆蓋了超參數(shù)優(yōu)化，因為元數(shù)據(jù)的學(xué)習(xí)包含了：超參數(shù)，流水線的構(gòu)成，神經(jīng)網(wǎng)絡(luò)架構(gòu)，模型構(gòu)成，元特征等等。

機器學(xué)習(xí)的算法我們又稱為‘學(xué)習(xí)器’，學(xué)習(xí)器就是假定一個模型，該模型擁有很多未知參數(shù)，利用訓(xùn)練數(shù)據(jù)和優(yōu)化算法來找到最適合這些訓(xùn)練數(shù)據(jù)的參數(shù)，生成一個新的算法，或者參數(shù)已知的模型，并利用該模型／算法來預(yù)測新的未知數(shù)據(jù)。如果說世界上只有一個模型，那么問題就簡單了，問題是模型有很多，不同的模型擁有不同的超參數(shù)，我們往往還會把模型和算法組裝在一起構(gòu)成復(fù)合模型和機器學(xué)習(xí)的流水線，這個時候，我就需要知道解決不同的問題要構(gòu)建那些不同的模型。元學(xué)習(xí)就在這個時候，我們可以把超參數(shù)，流水線，神經(jīng)網(wǎng)絡(luò)架構(gòu)這些都看成是一個新的模型的未知參數(shù)，把不同學(xué)習(xí)任務(wù)的性能指標(biāo)看成是輸入數(shù)據(jù)，這樣我們就可以利用優(yōu)化算法來找到性能最好的那組參數(shù)。這個模式可以一直嵌套，也就是說，你可以有‘元元元學(xué)習(xí)‘，當(dāng)然我希望你不要走得太遠(yuǎn)，找不到回來的路。

元學(xué)習(xí)的方法包括：

通過模型評估來學(xué)習(xí)

通過任務(wù)的屬性，元特征來學(xué)習(xí)

以下列出了一些常見的元特征

從現(xiàn)有的模型中學(xué)習(xí)，包括：

遷移學(xué)習(xí)

利用RNN在學(xué)習(xí)過程中修改自己的權(quán)重

元學(xué)習(xí)的一個很大的挑戰(zhàn)就是如果通過很少的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)一個復(fù)雜的模型，這就是one－shot或者few－shot的問題。

像人類的學(xué)習(xí)一樣，每次學(xué)習(xí)無論成功失敗，我們都收獲一定的經(jīng)驗，人類很少從頭學(xué)習(xí)。在構(gòu)建自動學(xué)習(xí)的時候，我們也應(yīng)該充分利用已有的每一次的學(xué)習(xí)經(jīng)驗，逐步的改進，使得新的學(xué)習(xí)更加有效。

四、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索

Neural Architecture Search

提起AutoML，其實大多數(shù)人都是因為Google的AutoML系統(tǒng)才知道這個故事的。隨著深度學(xué)習(xí)的流行，神經(jīng)網(wǎng)絡(luò)的架構(gòu)變得越來越復(fù)雜，越來越多的手工工程也隨之而來。神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索就是為了解決這個問題。

NAS主要包含三個部分：

搜索空間 search space

搜索策略 search strategy

性能估計策略 performance estimation strategy

五、自動化特征工程

自動化特征工程可以幫助數(shù)據(jù)科學(xué)家基于數(shù)據(jù)集自動創(chuàng)建能夠最好的用于訓(xùn)練的特征。

Featuretools是一個開源庫，用來實現(xiàn)自動化特征工程。它是一個很好的工具，旨在加快特征生成的過程，從而讓大家有更多的時間專注于構(gòu)建機器學(xué)習(xí)模型的其他方面。換句話說，它使你的數(shù)據(jù)處于“等待機器學(xué)習(xí)”的狀態(tài)。

Featuretools程序包中的三個主要組件：

實體（Entities）

深度特征綜合（Deep Feature Synthesis ，DFS）

特征基元（Feature primitives）

一個Entity可以視作是一個Pandas的數(shù)據(jù)框的表示，多個實體的集合稱為Entityset。

深度特征綜合（DFS）與深度學(xué)習(xí)無關(guān)，不用擔(dān)心。實際上，DFS是一種特征工程方法，是Featuretools的主干。它支持從單個或者多個數(shù)據(jù)框中構(gòu)造新特征。

DFS通過將特征基元應(yīng)用于Entityset的實體關(guān)系來構(gòu)造新特征。這些特征基元是手動生成特征時常用的方法。例如，基元“mean”將在聚合級別上找到變量的平均值。

六、其它自動機器學(xué)習(xí)工具集

以下列出一些開源的自動機器學(xué)習(xí)工具空大家參考、選擇

Auto－Sklearn

AutoKeras

TPOT

H2O AutoML

Python auto＿ml