15． 第二代細(xì)胞和基因療法

第二代細(xì)胞和基因療法是該報(bào)告的最后一篇，ARK 預(yù)測第二代細(xì)胞和基因療法可將腫瘤治療的總潛在市場增加 20 倍以上。

時(shí)代的寵兒 — 深度學(xué)習(xí)

根據(jù) ARK 的說法，深度學(xué)習(xí)可能是我們這個(gè)時(shí)代最重要的軟件突破。根據(jù) ARK 的研究，深度學(xué)習(xí)將在未來 15－20 年內(nèi)為全球股票市值增加 30 萬億美元。

圖 ｜ 深度學(xué)習(xí)是軟件 2．0

報(bào)告認(rèn)為，深度學(xué)習(xí)正在創(chuàng)造下一代計(jì)算平臺，其中包括：

智能對話平臺：在人工智能的支持下，智能揚(yáng)聲器在 2020 年回答了 1000 億條語音命令，比 2019 年增長了 75％；

無人駕駛汽車：Waymo 的自動駕駛汽車已在 25 個(gè)城市（包括舊金山、底特律和鳳凰城）收集了超過 2000 多萬英里的真實(shí)世界行駛里程；

消費(fèi)類應(yīng)用程序：使用深度學(xué)習(xí)進(jìn)行視頻推薦的 TikTok，日活人數(shù)已經(jīng)超過了 Snapchat 和 Pinterest 的總和。

圖 ｜ 深度學(xué)習(xí)正在創(chuàng)造下一代計(jì)算平臺

ARK 指出：盡管硬件和軟件的進(jìn)步，每年將人工智能培訓(xùn)成本降低 37％，但人工智能模型的規(guī)模卻仍以每年 10 倍的速度增長，相比較培訓(xùn)成本的降低速度來講這種規(guī)模增長的速度更快。因此，人工智能培訓(xùn)的總成本不斷攀升。我們相信最先進(jìn)的人工智能培訓(xùn)模型成本可能會增加 100 倍，從目前的大約 100 萬美元增加到 2025 年的 1 億美元。

圖 ｜ 深度學(xué)習(xí)需要無限算力

深度學(xué)習(xí)還將在人工智能芯片領(lǐng)域創(chuàng)造繁榮。ARK 估計(jì)，在未來五年中，數(shù)據(jù)中心在人工智能處理器上的支出將增加四倍以上，從目前的每年 50 億美元增加到 2025 年的 220 億美元。

圖 ｜ 深度學(xué)習(xí)正在創(chuàng)造 AI 芯片的繁榮

同時(shí)，ARK 預(yù)測人工智能將從視覺擴(kuò)展到語言。報(bào)告指出：2020 年是會話式 AI 的突破年。人工智能系統(tǒng)首次能夠以人類一樣準(zhǔn)確地理解并生成語言。會話式 AI 所需的計(jì)算資源是計(jì)算機(jī)視覺的 10 倍，并在未來幾年會刺激相關(guān)領(lǐng)域的大量投資。

圖 ｜ AI 正在從視覺擴(kuò)展到語言

報(bào)告中最大膽的估計(jì)也許是，深度學(xué)習(xí)可以創(chuàng)造比互聯(lián)網(wǎng)更大的經(jīng)濟(jì)價(jià)值。ARK 認(rèn)為，深度學(xué)習(xí)將在未來 15－20 年內(nèi)為股市的資本增加 30 萬億美元。

圖 ｜ 深度學(xué)習(xí)可以創(chuàng)造比互聯(lián)網(wǎng)更大的經(jīng)濟(jì)價(jià)值

引發(fā)關(guān)注的 GPT－3

除了上述的內(nèi)容，Big Ideas 2021 的深度學(xué)習(xí)部分還使用了單獨(dú)頁面介紹了 GPT－3。

報(bào)告認(rèn)為，AI 的每個(gè)領(lǐng)域都在進(jìn)步，而自然語言處理和深度學(xué)習(xí)正是 AI 領(lǐng)域中發(fā)展最快的部分。GPT－3 是該領(lǐng)域最新的潮流引領(lǐng)者，它一出現(xiàn)就成為了每一個(gè)社交媒體討論的話題。

圖 ｜ OpenAI 的 GPT－3 是第一個(gè)能真正 “理解” 語言的 AI

GPT 是一種自動回歸語言模型，由人工智能研究實(shí)驗(yàn)室 OpenAI 創(chuàng)建，使用深度學(xué)習(xí)來生成類似于人的文本。GPT－3 是 GPT 系列的第三代產(chǎn)品，被認(rèn)為是迄今為止創(chuàng)建的最大的人工神經(jīng)網(wǎng)絡(luò)。該系列模型的工作方式類似于手機(jī)中的自動完成功能，可嘗試預(yù)測人們輸入中缺少的難題。

2019 年，OpenAI 發(fā)布了擁有 15 億參數(shù)的 GPT－2，這是第一個(gè)具有超過 10 億參數(shù)的自然語言模型，這在當(dāng)時(shí)被人們認(rèn)為是驚人的壯舉。僅僅過了一年，OpenAI 就發(fā)布了 GPT－3，其參數(shù)高達(dá) 1750 億，GPT－3 的誕生，顛覆了人們的既有認(rèn)知。

GPT－3 可以生成推文、寫詩、總結(jié)電子郵件、回答瑣碎問題、翻譯語言，甚至可以編寫計(jì)算機(jī)程序。在這一過程中，它只需要獲得很少的提示就能完成這些任務(wù)，其中一些技能甚至讓專家們都措手不及。

盡管以前的語言模型也以類似的方式工作，但 GPT－3 可以執(zhí)行以前模型做不到的事情，比如編寫自己的計(jì)算機(jī)代碼。更重要的是，它可以只用幾個(gè)例子為特定的任務(wù)做準(zhǔn)備，而不是像它的 “前輩們” 那樣，需要成千上萬個(gè)例子和數(shù)小時(shí)的額外訓(xùn)練。

而為推動研發(fā)我國自主的大規(guī)模預(yù)訓(xùn)練模型，2020 年 10 月，北京智源人工智能研究院、阿里巴巴、清華大學(xué)、中國人民大學(xué)、中科院、搜狗、智譜?AI、循環(huán)智能等單位科研骨干組成 “悟道” 聯(lián)合攻關(guān)團(tuán)隊(duì)，啟動了新型超大規(guī)模預(yù)訓(xùn)練模型研發(fā)項(xiàng)目 “悟道”，包括四類大規(guī)模預(yù)訓(xùn)練模型：

文源：以中文為核心的超大規(guī)模預(yù)訓(xùn)練語言模型 ；

文匯：面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型；

文瀾：超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型；

文溯：超大規(guī)模蛋白質(zhì)序列預(yù)訓(xùn)練模型。

其中， 文源：以中文為核心的超大規(guī)模預(yù)訓(xùn)練語言模型，第一階段 26 億參數(shù)規(guī)模的中文語言模型已于 2020 年 11 月 14 日發(fā)布；文匯：面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型，已于 2021 年 1 月 11 日發(fā)布，文匯模型參數(shù)規(guī)模達(dá) 113 億，僅次于 DALL?E 模型的 120 億參數(shù)量，是目前我國規(guī)模最大的預(yù)訓(xùn)練模型，并已實(shí)現(xiàn)與國際領(lǐng)先預(yù)訓(xùn)練技術(shù)的并跑。

下一步，“悟道” 團(tuán)隊(duì)將加快四類大規(guī)模預(yù)訓(xùn)練模型的研發(fā)進(jìn)度。特別是 “文匯” 模型，未來將著力在多語言、多模態(tài)條件下，提升完成開放對話、基于知識的問答、可控文本生成等復(fù)雜認(rèn)知推理任務(wù)的能力，使其更加接近人類水平。

身處于一個(gè)科技創(chuàng)新的時(shí)代中，一行行代碼，一串串?dāng)?shù)字，背后都蘊(yùn)藏著無窮的力量。正如 Big Ideas 2021 報(bào)告中所說，深度學(xué)習(xí)可以創(chuàng)造比互聯(lián)網(wǎng)更大的經(jīng)濟(jì)價(jià)值，并將在未來 15－20 年內(nèi)為股市的資本增加 30 萬億美元。以 GPT－3 為代表的 AI 前沿發(fā)展方向，也定將開啟一個(gè)全新的智能時(shí)代。