給手機(jī)“減負(fù)”!Facebook發(fā)布提高設(shè)備AI工作能效的AutoScale
決定AI應(yīng)用在智能手機(jī)上終端還是在云端運行,對于用戶和開發(fā)AI應(yīng)用的企業(yè)都十分重要,因為這與運行設(shè)備的長期電池壽命息息相關(guān)。大多數(shù)智能手機(jī)都或多或少地嵌入了AI應(yīng)用,但如果所有的AI工具都在終端運行,有可能導(dǎo)致手機(jī)性能下降;而在云端運行,則可能導(dǎo)致較長的調(diào)用時間。
為了解決這一問題,近日Facebook和亞利桑那州立大學(xué)建立了一個支持AI減輕設(shè)備負(fù)荷的模型——AutoScale。該模型能夠自動決策部署AI運行的位置,節(jié)省了大量成本,將AI工具的能效提高到基線方法的10.8倍;更能準(zhǔn)確預(yù)測AI應(yīng)用的合適位置,達(dá)到高性能和低能耗兼?zhèn)涞睦硐胄Ч?/p>
高能效+低負(fù)荷
AutoScale:挖掘強(qiáng)化學(xué)習(xí)算法的潛能
AutoScale會觀察當(dāng)前的AI工作執(zhí)行效率,包括算法的架構(gòu)特征和運行時間差異。它在協(xié)同處理器等硬件之間選擇,找到能夠最大限度提高能源效率的硬件,以保證AI助手的服務(wù)質(zhì)量。對選定硬件定義的目標(biāo)執(zhí)行推理后,通過觀察其結(jié)果,包括演算運行能耗、延遲度和推理精度,以表明選中的硬件是否提高了AI工作效率。
AutoScale模型
AutoScale基于強(qiáng)化學(xué)習(xí)算法,計算累計獎勵(R值),來選擇AI工具的最佳運行方式。例如:對于給定的處理器,系統(tǒng)使用基于AI能效利用率的模型計算獎勵,假設(shè)處理器內(nèi)核消耗的功率是可變的,內(nèi)核在繁忙和空閑狀態(tài)下花費的處理時間不同,其能源使用情況也各不相同。相比之下,當(dāng)推理擴(kuò)展到連接的數(shù)據(jù)中心時,AutoScale可以借助基于信號強(qiáng)度的模型來計算獎勵,預(yù)測傳輸延遲度和網(wǎng)絡(luò)消耗的能量。
在適應(yīng)QoS限制條約的前提下,比起基線模型,AutoScale更能提高能效。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月8日立即報名>> 【在線會議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7月31日免費預(yù)約>> OFweek 2025具身機(jī)器人動力電池技術(shù)應(yīng)用大會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機(jī)器人及智能工廠展
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題