7、全新的 NLP 模型測試方法 “CheckList”

開發(fā)諸如 GLUE（General Language Understanding Evaluation）和 SuperGLUE 之類的基準(zhǔn)，可以用來評估經(jīng)過微調(diào)的 NLP 模型執(zhí)行自然語言理解任務(wù)的能力。通常，將 NLP 模型的性能與驗(yàn)證準(zhǔn)確性的結(jié)果進(jìn)行比較。需要注意，使用驗(yàn)證準(zhǔn)確性存在固有的局限性，例如過擬合，驗(yàn)證集的數(shù)據(jù)分布不同等均可能干擾正確的判斷。

而在 ACL 2020 年的 Best Paper 論文 “Beyond Accuracy： Behavioral Testing of NLP Models with CheckList” 中，作者提出了一個框架，一種新的 NLP 模型評測方法：CHECKLIST。CHECKLIST 借鑒了傳統(tǒng)軟件工程的測試準(zhǔn)則，通過模板快速生成大量樣例，全面測試模型的各種能力，可以用于幾乎所有 NLP 任務(wù)。

CHECKLIST 建議使用三種不同的測試方法：

?最小功能測試（MFT， Minimum Functionality Tests），其中使用預(yù)期的金標(biāo)生成示例；

?不變性測試（INV， INVariance Tests），其中從給定的示例中，創(chuàng)建新示例，其中金標(biāo)被翻轉(zhuǎn)；

?方向預(yù)期測試（DIR， Directional Expectation Tests）對原始句子進(jìn)行修改，金標(biāo)往期望的方向（正向 ／ 負(fù)向）變化。

作者建議對于 NLP 模型的每一種能力，都盡量采用這三種測試方法測試一遍。

一句話總結(jié)現(xiàn)實(shí)影響：CheckList 可用于為各種 NLP 任務(wù)創(chuàng)建更詳盡的測試，有助于識別更多的錯誤的，帶來更強(qiáng)大的 NLP 系統(tǒng)。

該論文在 ACL 2020 上獲得了最佳論文獎（Best Paper）。

8、重新評估自動機(jī)器翻譯評估指標(biāo)

自動化指標(biāo)是開發(fā)和評估機(jī)器翻譯系統(tǒng)的基礎(chǔ)。判斷自動化度量標(biāo)準(zhǔn)是否與人類評估的黃金標(biāo)準(zhǔn)相一致，并非易事。

墨爾本大學(xué)計(jì)算與信息系統(tǒng)學(xué)院 的這項(xiàng)研究表明，當(dāng)前的指標(biāo)評估方法對用于評估的翻譯系統(tǒng)非常敏感，尤其是存在異常值時，這通常會導(dǎo)致對評價效果產(chǎn)生錯誤的自信判斷。例如，如果使用大量翻譯系統(tǒng)來計(jì)算領(lǐng)先指標(biāo)和人工評估之間的相關(guān)性，則該相關(guān)性通常很高（即 0．9）。但是，如果僅考慮幾個最佳系統(tǒng)，則相關(guān)性會顯著降低，在某些情況下甚至可能為負(fù)相關(guān)。

因此，他們提出了一種在自動度量標(biāo)準(zhǔn)下以人為判斷為閾值提高性能的方法，可以量化所引起的 I 型錯誤與 II 型錯誤，即可以接受的人類評判質(zhì)量差異，以及不能接受的人類評判差異。與 BLEU 和 TER 相比，優(yōu)先考慮 chrF，YiSi－1 和 ESIM 等評估指標(biāo)。

一句話總結(jié)現(xiàn)實(shí)影響：這些發(fā)現(xiàn)對機(jī)器翻譯中的度量評估和系統(tǒng)性能評估的協(xié)議進(jìn)行了改進(jìn)。

這項(xiàng)研究在 ACL 2020 上入圍榮譽(yù)提名論文獎（Honorable Mention Papers）。