近日，Meta公司宣布將免費開源旗下AI系統(tǒng)NLLB-200 ，該系統(tǒng)是全球第一個能翻譯200種不同語言的單一AI模型，將為超過10億人提供高品質翻譯內容。

Meta公司稱，將會把NLLB-200對外開源，同時向非營利機構提供20萬美元的資助，以開發(fā)該技術應用于更多應用程式上。

德國慕尼黑大學計算機語言學家Alexander Fraser認為，該模型的主要貢獻在于數(shù)據(jù)，包含了100種全新語言。

目前，市面上很多翻譯工具并不支持冷門的語言，也就是少于百萬人口使用的語言，而NLLB-200解決了這個問題。

【不遺漏任何語言】

全球有數(shù)十億人，但一直以來卻沒有可以翻譯上百種語言的高品質翻譯工具，他們無法通過自己慣用的語言或母語瀏覽網(wǎng)絡上的內容，或在網(wǎng)絡社群上參與討論，尤其是對于非洲、亞洲等地區(qū)有高達數(shù)億人使用不同種類的語言。

為了突破網(wǎng)絡上的語言障礙，并促進元宇宙發(fā)展，Meta的AI研究人員早年已成立NLLB專案，開發(fā)AI模型為全世界提供高品質的翻譯功能。

據(jù)悉，NLLB是“No Language Left Behind（不遺漏任何語言）”的縮寫，該AI系統(tǒng)可以高質量翻譯世界上多達200種語言，除了主流語言外，其中還包含多達55種非洲系語言及其他少數(shù)語言。

在多項指標中，相較現(xiàn)有的其他翻譯工具，NLLB-200的翻譯品質平均高出44％。在部分非洲和印度語言中，提升幅度相較最新的翻譯系統(tǒng)更提升了70％。

此外，Meta也與維基基金會合作，希望NLLB-200之后可以提供維基百科翻譯的服務，改善維基百科的翻譯系統(tǒng)。通過雙方的合作，NLLB－200持續(xù)學習其他翻譯器中無法翻譯的語言，AI模型可以自己學習語言中的文字系統(tǒng)，得到更準確的翻譯結果。

【多語言翻譯系統(tǒng)】

過去幾年，AI語言翻譯系統(tǒng)的發(fā)展非�？�。Meta公司曾經(jīng)指出，目前絕大多數(shù)的AI翻譯系統(tǒng)是屬于“雙語言模型”，只是單純具備一對一的翻譯能力，比如英語－中文、英語－日語等等，但Meta希望研發(fā)一套“多語言翻譯系統(tǒng)”，突破一對一的語音翻譯，直接讓多種語言的用戶可以在同一個聊天室內即時地用口語進行交流。

去年，Meta AI實驗室公布了多語言模型，為AI翻譯帶來了巨大提升。11月，Meta的多語言模型拿下了WMT國際機器翻譯大賽2021的冠軍。

Meta的模型開發(fā)策略分為三部分：大規(guī)模的數(shù)據(jù)挖掘、模型擴展、有效運用運算資源。

1．大規(guī)模數(shù)據(jù)挖掘：為訓練多語言模型，Meta研發(fā)團隊采用兩種方式：任意語言到英語，以及英語到任意語言。Meta應用平行數(shù)據(jù)挖掘技術來收集爬蟲取得的網(wǎng)站翻譯資料，降低手工翻譯成本。

2．模型擴展：為了提高多語言模型設計的容量，模型規(guī)模從150億個參數(shù)提高到520億個，并在此基礎上，利用公司最新的GPU內存節(jié)省解決方案——Fully Sharded Data－Parallel，將大規(guī)模訓練的速度提升了5倍。

3．有效運用運算資源：為了節(jié)省模型的計算成本，Meta采用了一套新的運算方法，讓模型在不同訓練場景中，只使用模型的一部分，而非整體，以此更有效率運用硬件資源。

Meta的多語言模型最大特點是針對訓練資源少，或小語種的語言翻譯，該多語言模型在測試中超過了目前市面上最好的并且經(jīng)過專門訓練的雙語模型。Meta認為，這套多語言模型為“通用語音翻譯系統(tǒng)”打下了基礎。

Meta的愿景是這套系統(tǒng)可以讓全球大眾廣泛使用，但同時也將會成為Meta旗下的VR／AR等穿戴設備的殺手級應用。

可以想象的是，“通用語音翻譯系統(tǒng)”一旦在元宇宙中實現(xiàn)，可以讓全世界不同語種的用戶，在元宇宙虛擬空間里溝通、開會、玩游戲，將會比在現(xiàn)實中更加方便，也將更進一步實現(xiàn)Meta對發(fā)展元宇宙的野心。