論文標(biāo)題:AMBERT: A Pre-trained Language Model with Multi-Grained Tokenization(多粒度分詞的預(yù)訓(xùn)練語言模型AMBERT)

作者:Xinsong Zhang, Hang Li

機(jī)構(gòu):字節(jié)跳動

摘要

以BERT為代表的預(yù)訓(xùn)練語言模型在自然語言理解(NLU)中的霸主地位毋庸置疑。這些模型中的token通常是細(xì)粒度的,對于英文,token是單詞或子詞;對于中文這類語言,token則是單個漢字。在英語中也存在多個單詞組成的自然詞匯單元,例如New York,因此使用粗粒度的tokenization也是合理的。事實上,細(xì)粒度和粗粒度tokenization對于預(yù)訓(xùn)練語言模型的學(xué)習(xí)各有利弊。據(jù)此,字節(jié)跳動提出聯(lián)合使用細(xì)粒度和粗粒度的預(yù)訓(xùn)練語言模型:AMBERT。對于英文,將tokenization之后得到的細(xì)粒度(一串的單詞)信息和粗粒度(一串的短語)信息輸入到AMBERT,細(xì)粒度和粗粒度分別使用一個encoder,這2個encoder僅僅是嵌入層參數(shù)不同,其他參數(shù)共享,從而獲取詞級別的上下文表征和短語級別的上下文表征。在中文上的細(xì)粒度和粗粒度分別對應(yīng)字和詞。在中英文benchmark(包括CLUE, GLUE, SQuAD and RACE)上分別進(jìn)行實驗。結(jié)果表明,AMBERT模型在幾乎所有情況下都優(yōu)于現(xiàn)有性能最好的模型,特別是對中文的性能改善顯著。

模型

AMBERT的整體框架如Figure 3所示。先對輸入文本上進(jìn)行tokenization,以獲得細(xì)、粗粒度的token序列。細(xì)、粗粒度token序列再分別輸入到兩個encoder。這里的encoder與BERT或Transformer的encoder的架構(gòu)完全相同。此外,兩個encoder在每個對應(yīng)層共享相同的參數(shù),但二者的嵌入層參數(shù)不同。最后分別得到細(xì)粒度token序列和粗粒度token序列的的上下文表征。

模型結(jié)構(gòu)簡單到爆,有木有啊?

預(yù)訓(xùn)練

預(yù)訓(xùn)練的目標(biāo)還是MLM,由于NSP已經(jīng)是樹倒猢猻散,墻倒眾人推,AMBERT當(dāng)然站在巨人的肩膀上(踩上一腳),在需要的時候拿過來比(數(shù))較(落)一番。

其中$overline{mathbf{x}}$表示被mask掉的細(xì)粒度token(即需要重建出來的token),$hat{mathbf{x}}$表示原文被mask的細(xì)粒度token序列。$overline{mathbf{z}}$表示被mask掉的粗粒度token(即需要重建出來的token),$hat{mathbf{z}}$表示原文被mask的粗粒度token序列。

微調(diào)

以分類任務(wù)上微調(diào)為例,將細(xì)、粗粒度encoder中 [CLS]的表征,用于下游分類任務(wù)。微調(diào)過程的優(yōu)化函數(shù)如下:

其中,$mathbf{x}$為輸入的文本,$oldsymbol{y}$表示待預(yù)測的文本類別,$oldsymbol{r}_{x 0}$和$oldsymbol{r}_{z 0}$分別是細(xì)粒度和粗粒度encoder中特殊token [CLS]的表征。而最后一項則是通過歸一化讓兩個粒度得到的[CLS]表征盡量保持一致。此外,文章還對AMBERT稍作修改,就得到了下述2種變體:

AMBERT-Combo:

用兩個非參數(shù)共享的encoder分別編碼兩種粒度的句子;

AMBERT-Hybrid:

用單個encoder而不是兩個encoder去同時編碼兩種粒度的句子,也就是把粗細(xì)粒度的句子先拼接起來再送到BERT里,這就會讓自注意力在不同粒度的句子中進(jìn)行交互。

實驗

數(shù)據(jù)說明

中文預(yù)訓(xùn)練數(shù)據(jù)集使用一個包含2500萬文檔(57G未壓縮文本))的今日頭條語料庫(估計不會公開的,sad+1)。英文預(yù)訓(xùn)練數(shù)據(jù)集則來自Wikipedia和OpenWebText的1390萬文檔(47G未壓縮文本)的語料庫。對于中文,粗細(xì)粒度分別是詞和字,在CLUE上進(jìn)行評測。分詞工具則是字節(jié)跳動內(nèi)部開發(fā)的分詞工具(估計也不會開源了sad+10086)。這兩種token的生成過程都利用了WordPiece技術(shù),最終產(chǎn)生的中文詞典分別包含21128個字和72635個詞。對于英文,粗細(xì)粒度分別短語和詞。英文單詞是天然的細(xì)粒度token,至于粗粒度是先利用KenLM構(gòu)建n-gram,用頻率足夠高的短語構(gòu)建短語級別的字典,這些短語的最后一個單詞高度依賴于其前置單詞。最后利用貪心算法對文本進(jìn)行短語級切分,得到30522個單詞和77645個短語。英文評測任務(wù)是在GLUE上進(jìn)行的,此外還在英文閱讀理解數(shù)據(jù)集SQuAD和RACE進(jìn)行進(jìn)一步實驗。

實驗結(jié)果:中文數(shù)據(jù)集

中文CLUE上的實驗結(jié)果如Table 1和Table 2所示。從實驗結(jié)果看,AMBERT在CLUE上確實一枝獨(dú)秀,在其中4個任務(wù)上取得最優(yōu)結(jié)果,但在WSC和CMRC數(shù)據(jù)集上與最優(yōu)結(jié)果存在較大差距,特別是CMRC數(shù)據(jù)集上堪稱大型翻車現(xiàn)場(3個百分點(diǎn)的差距)。

實驗結(jié)果:英文數(shù)據(jù)集

Table 4和Table 6是AMBERT在GLUE上的實驗結(jié)果。在多數(shù)數(shù)據(jù)集上AMBERT要優(yōu)于其他baseline模型,且多粒度的效果確實好于單粒度。但是如果放到更大范圍的模型比較,AMBERT整體上遜色于RoBERTa,但是優(yōu)于其他模型。另外,從機(jī)器閱讀理解數(shù)據(jù)集的對比結(jié)果Table 5可以看出,在SQuAD上AMBERT大大優(yōu)于Google官方的BERT,而在檢測span任務(wù)中,單詞級的BERT通常表現(xiàn)良好,短語級BERT較差。另外,在RACE的dev set 和 test set上,AMBERT發(fā)揮穩(wěn)定,全場最佳。

總結(jié)

文章提出多粒度的預(yù)訓(xùn)練模型AMBERT,聯(lián)合使用粗細(xì)粒度的語言單元對句子進(jìn)行切分,從而充分利用二者各自的優(yōu)勢。在中文和英文的自然語言理解任務(wù)上證明該模型的有效性,尤其是對中文而言提升效果更加顯著。但是,在中文數(shù)據(jù)集上的比較上有幾個不足:

(1) 中文的分詞工具屬于字節(jié)跳動內(nèi)部,尚未開源。

(2) 更重要的是,預(yù)訓(xùn)練的數(shù)據(jù)集也是字節(jié)跳動內(nèi)部的數(shù)據(jù)集,而不是通常中文預(yù)訓(xùn)練使用的中文維基百科語料。作者自己也一再強(qiáng)調(diào),只能作為參考。

(3) 預(yù)訓(xùn)練模型包含代碼和模型均沒有發(fā)布。

基于現(xiàn)況,如此就在CLUE上其他模型比較,似乎有失公允。到底是分詞、數(shù)據(jù)、還是模型優(yōu)勢?雖然作者也一直在強(qiáng)調(diào),對比僅僅作為參考,僅作為參考,作為參考,為參考,參考。。。但是,作為一個既沒有開放源碼也沒有發(fā)布預(yù)訓(xùn)練模型的預(yù)訓(xùn)練語言模型,應(yīng)該是第一個吧,所以各相關(guān)從業(yè)人員于此頗有微詞。未來或許可期,先讓子彈飛一會,讓我們拭目以待。