2 AI芯片中國版Benchmark 已啟動

千里之行，始于一年半前。 2017年10月23日，在國家發(fā)改委、科技部、工信部、網信辦指導下，由中國信息通信研究院等單位發(fā)起的中國人工智能產業(yè)發(fā)展聯盟（AIIA）組織了人工智能芯片Benchmark研討會，正式啟動人工智能芯片Benchmark項目。

該項目由中國信息通信研究院、華為海思、中科院計算所、清華大學、寒武紀、深鑒科技、地平線、曠視科技等共同發(fā)起。目前AIIA已經聯合阿里巴巴集團、百度、寒武紀科技等多家企業(yè)，推出了AIIA DNN benchmark——人工智能端側芯片基準測試評估方案。

“從聯盟的角度來說，我們做不出芯片IP核，也研發(fā)不出EDA工具，因此AIIA將目光放在了標準化，我們也希望能借助Benchmark標準化的工作為芯片行業(yè)的發(fā)展助力�！蓖跆N韜說。

中國信息通信研究院云計算與大數據研究所副主任王蘊韜

從產業(yè)層面來說，Benchmark可以影響到芯片的行業(yè)標準，在國際環(huán)境下來講，影響到行業(yè)標準即增加了國家在AI芯片領域的話語權。

去年10月，AIIA DNN benchmark v0．5版本正式發(fā)布，并于12月開始正式啟動。

今年3月6日，AIIA DNN benchmark V0．5首輪評估結果發(fā)布，麒麟980和瑞芯微RK3399開發(fā)板兩款產品作為首批測試芯片，均表現上佳。

據王蘊韜介紹，AIIA DNN benchmark希望能統籌產業(yè)界和學術界實際應用的網絡模型，以基于公開數據集和企業(yè)數據集的測試數據為輸入，針對芯片的應用場景、應用架構、處理器硬件系統三個維度進行輸出。

AIIA DNN benchmark輸出的將是一套清晰的指標體系，包括時間、準確率、功率、吞吐量、成本等，并隨著Benchmark的發(fā)展不斷擴充新的指標。

其實AI芯片的Benchmark并不好做，中國信息通信研究院云大所人工智能部副主任孫明俊表示，AI 基準測試方案的制定面臨諸多挑戰(zhàn)。即便拋開優(yōu)化程度、硬件架構等若干問題不談，延遲、帶寬、能耗都要納入考慮范圍。

同時，各種神經網絡模型都有不同參數，不同設備在不同參數下有不同的輸出曲線。如何讓指標在不同級別的設備中橫向可比？而云端和終端的應用是否需要不同的基準測試？如何為不同測試項目分配權重，以獲得一個相對公正客觀、有代表性的評分？這些都是應用領域的差異性和實現選擇的多樣性導致的測評難題。

對于AIIA來說，AIIA DNN benchmark v0．5的推出只是邁出第一步，據悉，V1．0版本也將于年內發(fā)布。

3 國產標準的自娛自樂？

其實基于AI芯片的性能測試跑分軟件并不少見，阿里的AI matrix、寒武紀的benchip，以及百度的deepbench等等，但這些軟件其實并沒有站在一個很大的角度來去串聯整個人工智能芯片領域。

AIIA DNN benchmark這套系統的目標是站在相對比較客觀的角度來進行跑分測試。并且在開源社區(qū)Github中也在積極地聯系更多具有AI芯片研發(fā)和制造能力的科技企業(yè)參與其中，通過企業(yè)的參與完善并加速AIIA DNN benchmarks版本的迭代。

但是作為一個國際競爭的行業(yè)，AI芯片的Benchmark如果只停留在國內，只是在自娛自樂。

某國際芯片廠商的專家表示，從芯片生產商的角度，Benchmark機構的測試需要得到廠商、用戶等多方認可，這種較高的商業(yè)化程度和業(yè)內影響力需要很長時間的積累，國內的Benchmark標準的建立是好事，但是要得到業(yè)內的認可尤其是國際廠商的參與，尚需時日。

當然，對于整個中國AI芯片產業(yè)來說，擁有多重背景、含著“金鑰匙”出身的AIIA DNN benchmark，可能已經是國內最有可能跑出來的行業(yè)標準了。