訂閱
糾錯
加入自媒體
當(dāng)前位置： OFweek 人工智能網(wǎng)   >   自然語言處理   >  正文

什么是文本摘要？為什么要有注意力機(jī)制？


什么是文本摘要？為什么要有注意力機(jī)制？

建立Tokenizer

通過分詞器生成詞匯表，并將單詞文本序列轉(zhuǎn)為數(shù)值序列，方便計算機(jī)計算。

模型建立

我們可以選擇是否讓LSTM在每個時間步都會生成隱藏狀態(tài)h和記憶單元狀態(tài)c。

選擇LSTM是否僅生成最后一個時間步的隱藏狀態(tài)h和記憶單元狀態(tài)c。

選擇LSTM相互堆疊提高模型效果。

選擇雙向LSTM，可以雙向處理文本數(shù)據(jù)，獲取更加豐富的上下文信息。

使用beam search strategy代替貪婪方法argmax。

根據(jù)BLEU分?jǐn)?shù)評估模型的性能。

可以選擇指針生成網(wǎng)絡(luò)，

因為整數(shù)序列采用獨(dú)熱編碼的方式，所以損失函數(shù)采用了稀疏交叉熵，對內(nèi)存友好。

數(shù)學(xué)理解注意力機(jī)制

編碼器為源文本序列每一個時間步j(luò)都生成了一個隱藏狀態(tài)值hj。

相似的工作，解碼器為目標(biāo)文本每一個時間步i都生成了隱藏狀態(tài)值si。

alignment score： 。用這個分?jǐn)?shù)表示源文本中的第j步單詞與目標(biāo)文本中第i步單詞的關(guān)聯(lián)度�？梢杂胔j與si來計算這個分?jǐn)?shù)值 根據(jù)所使用的得分函數(shù)的類型，有不同類型的注意力機(jī)制。這里列舉一些流行的注意力機(jī)制：

什么是文本摘要？為什么要有注意力機(jī)制？

使用softmax函數(shù)對注意力參數(shù)的值進(jìn)行歸一化。

計算注意力權(quán)重與編碼器hj的隱藏狀態(tài)乘積的線性總和，以產(chǎn)生注意力上下文向量Ci。

什么是文本摘要？為什么要有注意力機(jī)制？

將注意力上一下文向量Ci與目標(biāo)隱藏層向量si級聯(lián)以產(chǎn)生新的注意力隱藏層向量Si。

將注意力隱藏層向量傳入密集層產(chǎn)生yi。


<上一頁  1  2  3  
聲明： 本文由入駐維科號的作者撰寫，觀點(diǎn)僅代表作者本人，不代表OFweek立場。如有侵權(quán)或其他問題，請聯(lián)系舉報。

發(fā)表評論

共0條評論，0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁，請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯
    x
    *文字標(biāo)題：
    *糾錯內(nèi)容：
    聯(lián)系郵箱：
    *驗 證 碼：

    粵公網(wǎng)安備 44030502002758號