陳左寧院士

近年來人工智能(AI)對計算算力、計算環(huán)境提出了新要求。那么,如今高性能計算機對AI的適應性到底怎樣?是不是隨著AI對算力的需求越來越大,在經(jīng)典的HPC上進行適當?shù)母倪M——比如增加一些加速部件,就能滿足這些需求?

在2020全國高性能計算學術年會(HPC China 2020)上,中國工程院副院長、中國科協(xié)副主席、中國工程院院士陳左寧對這些問題,給出了她思考后得出的結論。

經(jīng)典HPC并不最適于AI對算力的需求陳左寧院士的結論有三層意思:

經(jīng)典高性能計算機算力環(huán)境可以支持現(xiàn)有人工智能的模型算法,但從性能功耗比和性價比來講都比較低。經(jīng)典高性能計算機并不最合適用于AI對算力的需求,要去匹配AI,需要創(chuàng)新體系結構和軟件架構。隨著智能計算理論的演進,可能會突破圖靈“可計算性理論”的范疇,比如類腦計算和量子計算,可能會帶來體系結構和軟件新的突破,但還有待研究。用8個字總結一下就是,可用、不契合、待改善。當然,陳左寧院士在這里提及的AI,是加了限定詞的:比如“云端AI”、“做訓練的AI”,那些與數(shù)據(jù)訓練有關的、數(shù)據(jù)規(guī)模和模型規(guī)模大到一個芯片不足以支撐的AI。這個結論,是陳院士經(jīng)過細致分析后得出的。她提出,要研究AI對算力的需求,首先要追本溯源:目前AI的本征是什么、它“本征地”對算力的需求是什么。

當前,人工智能三個流派——符號主義、連接主義、行為主義日趨融合、協(xié)同發(fā)展,這三個流派也都在指向“反映‘關系’”。

也就是說人工智能的核心特征之一就是反映“關系”。

那么“關系”的計算,有哪些特征?

陳左寧院士給出了答案:在高維空間中,開放的、多點的、不確定的近似計算。

經(jīng)典高性能計算能否對應這些特征?不能——

首先,高維空間——經(jīng)典高性能計算隨著計算復雜度的提升,也在向高維發(fā)展;但與AI計算相比,經(jīng)典高性能計算的模型是確定的,模型確定后可以降維,可以在確定的模型框架下,來判別是否收斂、是否合適降維。但對于AI計算來說,模型很多不確定,高維計算就很難降維。

其次,開放——經(jīng)典超算模型也是多點的,但不是開放的;在一個計算空間里,經(jīng)典超算不是像AI那樣開放的。比如AI模型數(shù)據(jù)越多,提取特征越多。

最后,不確定的近似計算——這是一種概率計算,不是精確的數(shù)值計算,這是跟經(jīng)典高性能計算非常不一樣的地方。

基于上述3點,陳左寧院士得出結論:經(jīng)典高性能計算機并不最合適用于AI對算力的需求。

當前AI模型和算法的七大發(fā)展趨勢要讓經(jīng)典高性能計算機能夠更好服務于AI計算,我們需要了解和發(fā)現(xiàn)AI模型及算法的發(fā)展趨勢。

陳左寧院士總結,當前人工智能模型和算法有七大發(fā)展趨勢:

向無監(jiān)督學習的方向發(fā)展。

現(xiàn)在的深度學習模型,多是有監(jiān)督的學習,因此需要大量數(shù)據(jù)、大量標注、大量計算。為了減少數(shù)據(jù)標注和計算開銷,未來AI模型越來越青睞“無監(jiān)督學習”。

進而,HPC就要適應“小數(shù)據(jù)”對算力的需求:如主動學習,強調(diào)人機交互能力和數(shù)據(jù)整合能力;遷移學習,要求對大數(shù)據(jù)的預訓練;強化學習,注重信息采集能力和概率計算能力。

AI的可解釋性越來越重要。

AI的可解釋性,是AI邁向更負責任的AI的有效途徑。AI模型也發(fā)展出透明模型和事后可解釋模型。

它們對算力的具體需求是,將可解釋技術融入到軟件環(huán)境中,包括為現(xiàn)有軟件框架增加可解釋技術的接口、發(fā)展以人為中心由決策理論驅(qū)動可解釋AI的概念框架(簡言之就是要將“人的解釋”與模型框架融為一體 )。

AI模型邁向自學習、自演化。

邁向自學習、自演化的AI模型目前有如AutoML等。支撐自動機器學習模型,要求計算框架能夠支撐AI的這種自學習能力,如大算力支撐、輔助設備支撐等。

多種算法、模型的有機組合。

AI的這一趨勢已經(jīng)很明顯了。目前單一算法越來越難以解決實際問題,勢必需要多種模型的有機融合。而且,人工智能模型的發(fā)展也希望融入多種技術來解決已有問題。同時,人工智能的應用流程越來越復雜,也需要不同的算法和模型組合。

這對算力的需求體現(xiàn)為,算力系統(tǒng)的計算存儲等具備可擴展能力,基礎軟件通過能力提升可支持復雜模型、不同類別軟件的協(xié)同和交互。

圖中視覺問題就需要多種模型組合

AI應用越來越需要關注全生命周期。

AI模型生命周期包括設計、數(shù)據(jù)預處理、部署、推理等,不同節(jié)點的任務具有不同的時間、空間和計算需求;且全生命周期都要考慮可解釋、公平等需求。

分布式、分散式的需求越來越突出。

大型、復雜模型,海量數(shù)據(jù)需要并行、分布式計算;聯(lián)邦學習等分散場景原生性地需要分布式機器學習原生算法。

深度推理。

清華大學教授唐杰在《從知識圖譜到認知圖譜:歷史、發(fā)展與展望》中提到,人工智能沿著“計算—感知—認知—意識”發(fā)展,對算力的需求也從最初的表示、計算、存儲+人機輸入/輸出,逐步過渡到知識數(shù)據(jù)驅(qū)動、認知推理、決策智能甚至要求支撐自學習、記憶機理,進一步發(fā)展出有(無)意識處理器。

陳左寧認為,這反映出AI對計算需求的演進。有可能未來智能化程度越高,對計算的需求越顛覆,以至于現(xiàn)有的圖靈可計算的技術無法支撐。這一方面需要計算平臺要能夠有效應對多種形式的不確定性(如概率計算、類腦仿腦體系結構、模擬計算),另一方面則寄希望于認知理論的進一步突破。