四、深度學(xué)習(xí)：機(jī)器學(xué)習(xí)的更高智能進(jìn)階

1．深度學(xué)習(xí)的背景

2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton和學(xué)生Salakhutdinov在Science上發(fā)表文章 《Reducing the Dimensionalitg of Data with Neural Neworks》，這篇文章有兩個(gè)主要觀點(diǎn)：1）多隱層神經(jīng)網(wǎng)絡(luò)有更厲害的學(xué)習(xí)能力，可以表達(dá)更多特征來描述對(duì)象；2）訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)，可通過降維（pre－training）來實(shí)現(xiàn)，老教授設(shè)計(jì)出來的Autoencoder網(wǎng)絡(luò)能夠快速找到好的全局最優(yōu)點(diǎn)，采用無監(jiān)督的方法先分開對(duì)每層網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后再來微調(diào)。該文章的發(fā)表翻開了深度學(xué)習(xí)的新篇章。2013年4月，深度學(xué)習(xí)技術(shù)被《麻省理工學(xué)院技術(shù)評(píng)論》（MIT TechnologyReview）雜志列為2013年十大突破性技術(shù)（Breakthrough Technology） 之首。與淺層學(xué)習(xí)模型依賴人工經(jīng)驗(yàn)不同，深層學(xué)習(xí)模型通過構(gòu)建機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。

圖34  深度學(xué)習(xí)的發(fā)展歷程

2．深度學(xué)習(xí)的定義

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究領(lǐng)域的分支，隸屬于神經(jīng)網(wǎng)絡(luò)體系。深度學(xué)習(xí)通過建立、模擬人腦的信息處理神經(jīng)結(jié)構(gòu)來實(shí)現(xiàn)對(duì)外部輸入的數(shù)據(jù)進(jìn)行從低級(jí)到高級(jí)的特征提取，從而能夠使機(jī)器理解學(xué)習(xí)數(shù)據(jù)，獲得信息，因具有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)又被稱為深度神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)將數(shù)據(jù)輸入系統(tǒng)后，通過建模及模擬人腦的神經(jīng)網(wǎng)從而進(jìn)行學(xué)習(xí)的技術(shù)，像生物神經(jīng)元一樣，神經(jīng)網(wǎng)絡(luò)系統(tǒng)中有系列分層排列的模擬神經(jīng)元（信息傳遞的連接點(diǎn)），且經(jīng)過每個(gè)神經(jīng)元的響應(yīng)函數(shù)都會(huì)分配一個(gè)相應(yīng)的“權(quán)值”，表示彼此之間的連接強(qiáng)度。通過每層神經(jīng)元相互“連接”，計(jì)算機(jī)就可以由達(dá)到最佳方案時(shí)所有神經(jīng)元的加權(quán)和，從而可以實(shí)現(xiàn)這一決策方案。

3．深度學(xué)習(xí)的基礎(chǔ)和實(shí)現(xiàn)

①深度學(xué)習(xí)的思想基礎(chǔ)一誤差逆?zhèn)鞑ニ惴ǎ˙P算法）

BP神經(jīng)網(wǎng)絡(luò)（如圖35） 是1986年Rumelhart和McClelland等人提出的，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，它存儲(chǔ)大量映射模式關(guān)系，無需揭示其映射方程。BP算法的核心思想是采用最速下降法（梯度下降法），通過反向傳播調(diào)試網(wǎng)絡(luò)的權(quán)值和閾值，使得其誤差平方和最小。

圖35 BP神經(jīng)網(wǎng)絡(luò)

②圖像處理領(lǐng)域的里程碑一卷積神經(jīng)網(wǎng)絡(luò)（CNN）

20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)可以降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，進(jìn)而提出了卷積神經(jīng)網(wǎng)絡(luò)的概念。由于其避免了對(duì)圖像的前期預(yù)處理，可以直接輸入原始圖像，CNN已經(jīng)成為神經(jīng)網(wǎng)絡(luò)的標(biāo)志性代表之一。

圖36  卷積神經(jīng)網(wǎng)絡(luò)（CNN）

③深度神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)基礎(chǔ)一玻爾茲曼機(jī)和受限玻爾茲曼機(jī)

玻爾茲曼機(jī) 是Hinton和Sejnowski提出的隨機(jī)遞歸神經(jīng)網(wǎng)絡(luò)，也可以看做是隨機(jī)的Hopfield網(wǎng)絡(luò)，因樣本分布遵循玻爾茲曼分布而命名為BM。

圖37  玻爾茲曼機(jī)

4．深度學(xué)習(xí)的重大成就

利用機(jī)器學(xué)習(xí)，人工智能系統(tǒng)獲得了歸納推理和決策能力；而深度學(xué)習(xí)更將這一能力推向了更高的層次。目前，在深度學(xué)習(xí)中，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡(jiǎn)稱CNN）作為最有效的深層神經(jīng)網(wǎng)絡(luò)，現(xiàn)在已經(jīng)被越來越多地應(yīng)用到許多智能領(lǐng)域之中，并且它們?cè)絹碓较袢祟惲�，例如AlphaGo、SIRI和FACEBOOK等都應(yīng)用了卷積神經(jīng)網(wǎng)絡(luò)。在中國(guó)目前非常關(guān)注的智能制造領(lǐng)域中，制造機(jī)器人是深度學(xué)習(xí)的經(jīng)典案例，深度學(xué)習(xí)的機(jī)器人能夠自動(dòng)適應(yīng)外部環(huán)境的變化，面對(duì)新型任務(wù)時(shí)可以自動(dòng)重新調(diào)整算法和技術(shù)，

5．深度學(xué)習(xí)的發(fā)展展望

深度學(xué)習(xí)必將成為人工智能發(fā)展的核心驅(qū)動(dòng)力。雖然深度學(xué)習(xí)在實(shí)際應(yīng)用中取得了許多成就，但是仍有局限性：理論研究缺乏、無監(jiān)督學(xué)習(xí)能力弱、缺少邏輯推理和記憶能力等。深度學(xué)習(xí)的研究多是基于實(shí)驗(yàn)訓(xùn)練進(jìn)行的，但是對(duì)其內(nèi)部原理，學(xué)習(xí)本質(zhì)研究很少�，F(xiàn)在的研究多是在網(wǎng)絡(luò)架構(gòu)、參數(shù)選擇等方面，而且深度學(xué)習(xí)的還有進(jìn)一步提升空間，也需要更加完備深入的理論支撐其發(fā)展。

目前主流應(yīng)用還是以監(jiān)督學(xué)習(xí)為主的，但在實(shí)際生活中，無標(biāo)簽未知的數(shù)據(jù)占主體，所以更應(yīng)該應(yīng)用可以發(fā)現(xiàn)事物內(nèi)在關(guān)系的無監(jiān)督學(xué)習(xí)，未來還有更廣闊的發(fā)展空間。深度學(xué)習(xí)是人工智能發(fā)展的巨大推力，目前階段中深度學(xué)習(xí)更側(cè)重于處理數(shù)據(jù)，在面對(duì)更復(fù)雜的任務(wù)時(shí)，則需要更多記憶能力和邏輯推理能力。

五：機(jī)器學(xué)習(xí)的未來：挑戰(zhàn)與機(jī)遇并存

機(jī)器學(xué)習(xí)是人工智能應(yīng)用的又一重要研究領(lǐng)域。當(dāng)今，盡管在機(jī)器學(xué)習(xí)領(lǐng)域已經(jīng)取得重大技術(shù)進(jìn)展，但就目前機(jī)器學(xué)習(xí)發(fā)展現(xiàn)狀而言，自主學(xué)習(xí)能力還十分有限，還不具備類似人那樣的學(xué)習(xí)能力，同時(shí)機(jī)器學(xué)習(xí)的發(fā)展也面臨著巨大的挑戰(zhàn)，諸如泛化能力、速度、可理解性以及數(shù)據(jù)利用能力等技術(shù)性難關(guān)必須克服。但令人可喜的是，在某些復(fù)雜的類人神經(jīng)分析算法的開發(fā)領(lǐng)域，計(jì)算機(jī)專家已經(jīng)取得了很大進(jìn)展，人們已經(jīng)可以開發(fā)出許多自主性的算法和模型讓機(jī)器展現(xiàn)出高效的學(xué)習(xí)能力。對(duì)機(jī)器學(xué)習(xí)的進(jìn)一步深入研究，勢(shì)必推動(dòng)人工智能技術(shù)的深化應(yīng)用與發(fā)展。