訂閱
糾錯
加入自媒體

DL基石-神經(jīng)網(wǎng)絡(luò)簡易教程

說到激活函數(shù),我們來了解一下它們的用途激活函數(shù)幫助我們決定是否需要激活該神經(jīng)元,如果我們需要激活該神經(jīng)元那么信號的強度是多少。激活函數(shù)是神經(jīng)元通過神經(jīng)網(wǎng)絡(luò)處理和傳遞信息的機(jī)制。讓我們用預(yù)測天氣的樣本數(shù)據(jù)來理解神經(jīng)網(wǎng)絡(luò)為了更好地理解,我們將進(jìn)行簡化,我們只需要兩個輸入:有兩個隱藏節(jié)點的溫度和能見度,沒有偏置。對于輸出,我們?nèi)匀幌M麑⑻鞖鈩澐譃榍缣旎虿磺缣鞙囟仁侨A氏溫度,能見度是英里。

讓我們看一個溫度為50華氏度,能見度為0.01英里的數(shù)據(jù)。步驟1:我們將權(quán)重隨機(jī)初始化為一個接近于0但不等于0的值。步驟2:接下來,我們用溫度和能見度的輸入節(jié)點獲取我們的單個數(shù)據(jù)點,并輸入到神經(jīng)網(wǎng)絡(luò)。步驟3:從左到右進(jìn)行前向傳播,將權(quán)值乘以輸入值,然后使用ReLU作為激活函數(shù)。目前ReLU是全連接網(wǎng)絡(luò)最常用的激活函數(shù)。步驟4:現(xiàn)在我們預(yù)測輸出,并將預(yù)測輸出與實際輸出值進(jìn)行比較。由于這是一個分類問題,我們使用交叉熵函數(shù)

交叉熵是一個非負(fù)的代價函數(shù),取值范圍在0和1之間在我們的例子中,實際的輸出不是晴天,所以y的值為0。如果y?是1,那么我們把值代入成本函數(shù),看看得到什么

類似地,當(dāng)實際輸出和預(yù)測輸出相同時,我們得到成本c=0。

我們可以看到,對于交叉熵函數(shù),當(dāng)預(yù)測的輸出與實際輸出相匹配時,成本為零;當(dāng)預(yù)測的輸出與實際輸出不匹配時,成本是無窮大的。步驟5:從右向左反向傳播并調(diào)整權(quán)重。權(quán)重是根據(jù)權(quán)重對錯誤負(fù)責(zé)的程度進(jìn)行調(diào)整的,學(xué)習(xí)率決定了我們更新權(quán)重的多少。反向傳播、學(xué)習(xí)率,我們將用簡單的術(shù)語來解釋一切。反向傳播把反向傳播看作是我們有時從父母、導(dǎo)師、同伴那里得到的反饋機(jī)制,反饋幫助我們成為一個更好的人。反向傳播是一種快速的學(xué)習(xí)算法,它告訴我們,當(dāng)我們改變權(quán)重和偏差時,成本函數(shù)會發(fā)生怎樣的變化,從而改變了神經(jīng)網(wǎng)絡(luò)的行為。這里不深入研究反向傳播的詳細(xì)數(shù)學(xué)。在反向傳播中,我們計算每個訓(xùn)練實例的成本對權(quán)重的偏導(dǎo)數(shù)和成本對偏差的偏導(dǎo)數(shù),然后求所有訓(xùn)練樣本的偏導(dǎo)數(shù)的平均值。對于我們的單個數(shù)據(jù)點,我們確定每個權(quán)值和偏差對錯誤的影響程度,基于這些權(quán)值對錯誤的影響程度,我們同時調(diào)整所有權(quán)值。對于使用批量梯度下降(GD)算法,所有訓(xùn)練數(shù)據(jù)更新一次權(quán)值;對于使用隨機(jī)梯度下降(SGD)算法,每一個批次訓(xùn)練示例更新一次權(quán)值。對于不同的權(quán)重,我們使用GD或SGD重復(fù)步驟1到步驟5。隨著權(quán)重的調(diào)整,某些節(jié)點將根據(jù)激活函數(shù)進(jìn)行打開或關(guān)閉。在我們的天氣例子中,溫度與預(yù)測多云的相關(guān)性較小,因為夏季的溫度可能在70度以上,而冬季仍然是多云的,或者冬季的溫度可能在30度或更低,但仍然是多云的,在這種情況下,激活函數(shù)可以決定關(guān)閉負(fù)責(zé)溫度的隱藏節(jié)點,只打開可見度節(jié)點,以預(yù)測輸出不是晴天,如下圖所示

Epoch是指用于一次學(xué)習(xí),一次正向傳播和一次反向傳播的完整數(shù)據(jù)集。我們可以重復(fù)也就是在多個epoch下前向和反向傳播,直到我們收斂到一個全局極小值。什么是學(xué)習(xí)率?學(xué)習(xí)率控制著我們應(yīng)該在多大程度上根據(jù)損失梯度調(diào)整權(quán)重。值越低,學(xué)習(xí)越慢,收斂到全局最小也越慢。較高的學(xué)習(xí)率值不會使梯度下降收斂學(xué)習(xí)率是隨機(jī)初始化的。

<上一頁  1  2  3  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯
    x
    *文字標(biāo)題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網(wǎng)安備 44030502002758號