（六）機器學習過程舉例說明

所謂機器學習過程，是指觀察有n個樣本數據組成的集合，并根據這些數據來預測未知數據的性質，那么在給定數據集（所謂大數據）和具體問題的前提下，一般解決問題的步驟可以概括如下：

1．數據抽象

將數據集和具體問題抽象成數學語言，以恰當的數學符號表示。這樣做自然是為了方便表述和求解問題，而且也更加直觀。

2．設定性能度量指標

機器學習是產生模型的算法，一般來說模型都有誤差。如果模型學的太好，把訓練樣本自身的一些特點當成所有潛在樣本具有的一般性質，這種情況稱為過擬合，這樣的模型在面對新樣本時就會出現較大誤差，專業(yè)表述就是導致模型的泛化性能下降。與之相對的是欠擬合，模型對樣本的一般性質都沒學好，這種情況一般比較好解決，擴充數據集或者調整模型皆可。

3．數據預處理

之所以要做數據預處理，是因為提供的數據集往往很少是可以直接拿來用的。例如：如果樣本的屬性太多，一般有兩種方法： 降維和特征選擇。特征選擇比較好理解，就是選擇有用相關的屬性，或者用另外一種表達方式：選擇樣本中有用、跟問題相關的特征。

4．選定模型

在數據集完美的情況下，接下來就是根據具體問題選定恰當的模型了。一種方式是根據有沒有標記樣本考慮。如果是有標記樣本，可以考慮有監(jiān)督學習，反之則是無監(jiān)督學習，兼而有之就看半監(jiān)督學習是否派的上用場。

5．訓練及優(yōu)化

選定了模型，如何訓練和優(yōu)化也是一個重要問題。如果要評估訓練集和驗證集的劃分效果，常用的有留出法、交叉驗證法、自助法、模型調參等如果模型計算時間太長，可以考慮剪枝如果是過擬合，則可通過引入正則化項來抑制（補償原理）如果單個模型效果不佳，可以集成多個學習器通過一定策略結合，取長補短（集成學習）

6．機器學習舉例分析

在機器學習領域特征比模型（學習算法）更重要。舉個例子，如果我們的特征選得很好，可能我們用簡單的規(guī)則就能判斷出最終的結果，甚至不需要模型。比如，要判斷一個人是男還是女，假設由計算機來完成這個任務，首先采集到各種數據（特征：姓名、身高、頭發(fā)長度，籍貫、是否吸煙等等。因為根據統(tǒng)計我們知道男人一般比女人高，頭發(fā)比女人短，并且會吸煙；所以這些特征都有一定的區(qū)分度，但是總有反例存在。我們用最好的算法可能準確率也達不到100％。然后再進行特征提取，提出對目標有意義的特征，刪除無關的（籍貫），然后進行預處理，對特征提取結果的再加工，目的是增強特征的表示能力，防止模型（分類器）過于復雜和學習困難。接下來就是訓練數據，這里我們通過監(jiān)督學習或無監(jiān)督的方法來擬合分類器模型。學習器通過分析數據的規(guī)律嘗試擬合出這些數據和學習目標間的函數，使得定義在訓練集上的總體誤差盡可能的小，從而利用學得的函數來預測未知數據的學習方法預測出結果，最后對結果進行評價和改進。

圖23 機器學習過程舉例說明