計(jì)算模式的13個(gè)“小矮人”

根據(jù)人工智能發(fā)展趨勢,可以總結(jié)出人工智能對(duì)算力的需求有幾個(gè)特點(diǎn):

一是關(guān)系、概率、近似計(jì)算更加突出;同時(shí)不要求高精度和高容錯(cuò),因?yàn)槎际墙�似的概率�?jì)算;

二是在節(jié)點(diǎn)上計(jì)算簡單,同時(shí)人在環(huán)路中需求非常明顯。

對(duì)軟件棧的需求,就是要求軟件棧是復(fù)雜、動(dòng)態(tài)、分布式,分散的,要支撐新的場景(如原生支持分散場景等),以及架構(gòu)創(chuàng)新(如軟硬件協(xié)同設(shè)計(jì)、體系結(jié)構(gòu)突破等)。

陳左寧總結(jié)說,目前人工智能算法模型仍然在基本的計(jì)算模式之中——2006年,Berkeley View總結(jié)出13個(gè)基本計(jì)算模式(又稱13 dwarfs,13個(gè)“小矮人”),現(xiàn)在的算法仍然沒有跳出這些。

Berkeley View2006年總結(jié)出的“13dwarfs”

但是未來的復(fù)雜問題會(huì)不會(huì)超出這個(gè)范圍,現(xiàn)在還很難說。陳左寧提出,或許隨著我們對(duì)AI認(rèn)知的加深和突破,還會(huì)出現(xiàn)新的趨勢。

經(jīng)典CPU處理AI勢必造成功耗浪費(fèi)

為了說明經(jīng)典高性能計(jì)算現(xiàn)有體系結(jié)構(gòu)對(duì)AI模型支持的局限性,陳左寧院士提到了AlphaGo和李世石下棋的例子:

同樣是下棋,為什么相比人,AlphaGo耗能如此之大?

人機(jī)對(duì)弈,李世石動(dòng)腦所耗能量約為10MJ,AlphaGo耗能約為3000MJ ,相差2個(gè)數(shù)量級(jí)。

這其中差別,跟現(xiàn)有體系結(jié)構(gòu)的限制有很大關(guān)系。

現(xiàn)在的高性能計(jì)算機(jī),仍然是基于遵循馮·諾依曼結(jié)構(gòu)的芯片架構(gòu)。馮·諾依曼架構(gòu),最典型特征是“計(jì)算、存儲(chǔ)分離”。存算分離的優(yōu)點(diǎn)是,可以通過編排指令做各種復(fù)雜計(jì)算;缺點(diǎn)也很明顯,芯片內(nèi)的數(shù)據(jù)移動(dòng)功耗大于運(yùn)算功耗。

特別是,高性能處理器結(jié)構(gòu)復(fù)雜,其運(yùn)算功耗占比就更低;而隨著工藝的進(jìn)步,互聯(lián)功耗占比還會(huì)越來越大。

馮·諾依曼結(jié)構(gòu)之所以設(shè)計(jì)成存算分離,是為了方便用復(fù)雜的指令系統(tǒng)去搞定復(fù)雜計(jì)算。

但AI不同,它不需要復(fù)雜的節(jié)點(diǎn)計(jì)算,也不需要復(fù)雜的指令系統(tǒng)。

這解釋了,經(jīng)典CPU處理AI勢必會(huì)造成很多功耗是浪費(fèi)的——這也是人們?yōu)槭裁囱芯亢桶l(fā)展AI芯片的緣故。

現(xiàn)有支持AI的超算體系結(jié)構(gòu),在節(jié)點(diǎn)間尺度上多為同構(gòu)系統(tǒng),比如美國的Summit、中國的“神威·太湖之光”,都是大節(jié)點(diǎn)同構(gòu)、但節(jié)點(diǎn)內(nèi)尺度上有異構(gòu)形式(如CPU+GPU/FPGA等)。CPU、GPU、FPGA以及張量加速單元(TPU),能夠?qū)崿F(xiàn)復(fù)雜的并行;但人工智能硬件重點(diǎn)關(guān)注深度神經(jīng)網(wǎng)絡(luò)這類模型:適度的低精度計(jì)算、可對(duì)部分簡單算子(如矩陣乘、向量計(jì)算等)加速等。