趨勢丨設(shè)計(jì)的代價:深度學(xué)習(xí)已經(jīng)接近計(jì)算極限
深度學(xué)習(xí)時代AI模型需規(guī);瘮U(kuò)展
現(xiàn)代AI模型需要消耗大量電力,而且對電力的需求正以驚人的速度增長。在深度學(xué)習(xí)時代,構(gòu)建一流AI模型所需要的計(jì)算資源平均每3.4個月翻一番。
在當(dāng)今以深度學(xué)習(xí)為中心的研究范式當(dāng)中,AI的主要進(jìn)步主要依賴于模型的規(guī);瘮U(kuò)展:數(shù)據(jù)集更大、模型更大、計(jì)算資源更大。
在訓(xùn)練過程中,神經(jīng)網(wǎng)絡(luò)需要為每一條數(shù)據(jù)執(zhí)行一整套冗長的數(shù)學(xué)運(yùn)算(正向傳播與反向傳播),并以復(fù)雜的方式更新模型參數(shù)。
在現(xiàn)實(shí)環(huán)境中部署并運(yùn)行AI模型,所帶來的能源消耗量甚至高于訓(xùn)練過程。實(shí)際上,神經(jīng)網(wǎng)絡(luò)全部算力成本中的80%到90%來自推理階段,而非訓(xùn)練階段。
因此,數(shù)據(jù)集規(guī)模越大,與之對應(yīng)的算力與能源需求也在飛速增長。模型中包含的參數(shù)量越大,推理階段所帶來的電力需求就越夸張。
雖然深度網(wǎng)絡(luò)會是解決方案的一部分,但還需要涉及組合原則和因果模型的互補(bǔ)方法,以捕捉數(shù)據(jù)的基本結(jié)構(gòu)。此外,面對組合性爆炸,需要要再次思考如何訓(xùn)練和評估視覺算法。
每一次人工智能低谷來臨之前,都會有科學(xué)家夸大和炒作他們創(chuàng)造的潛力,僅僅說他們的算法就能夠很好地完成某項(xiàng)任務(wù)是不夠的。
對大多數(shù)問題來說,深度學(xué)習(xí)并不是正確的解決方法,不要試圖為所有的問題尋找通用人工智能解決方案,因?yàn)樗揪筒淮嬖凇?/p>
結(jié)尾:
深度學(xué)習(xí)的發(fā)展可能已達(dá)極限,但其影響還將持續(xù)深遠(yuǎn)。為了避免在“人工智能冬天”中被淘汰的命運(yùn),能做的最好的事情就是明確你要解決的問題,并理解其本質(zhì);然后,尋找為特定問題提供解決方案的直觀路徑的方法。

發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-9.1立即下載>> 【限時下載】ADI中國三十周年感恩回饋助力企業(yè)升級!
-
即日-9.16點(diǎn)擊進(jìn)入 >> 【限時福利】TE 2025國際物聯(lián)網(wǎng)展·深圳站
-
10月23日立即報(bào)名>> Works With 開發(fā)者大會深圳站
-
10月24日立即參評>> 【評選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評選
-
11月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會
-
12月18日立即報(bào)名>> 【線下會議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
推薦專題
- 1 阿里首位程序員,“掃地僧”多隆已離職
- 2 先進(jìn)算力新選擇 | 2025華為算力場景發(fā)布會暨北京xPN伙伴大會成功舉辦
- 3 宇樹機(jī)器人撞人事件的深度剖析:六維力傳感器如何成為人機(jī)安全的關(guān)鍵屏障
- 4 清華跑出具身智能獨(dú)角獸:給機(jī)器人安上眼睛和大腦,融資近20億
- 5 特朗普要求英特爾首位華人 CEO 辭職
- 6 踢館大廠和微軟,剖析WPS靈犀的AI實(shí)用主義
- 7 騰訊 Q2 財(cái)報(bào)亮眼:AI 已成第二增長曲線
- 8 谷歌吹響AI沖鋒號,AI還有哪些機(jī)會
- 9 蘋果把身家押在Siri上:一場輸不起的自我革命
- 10 騰訊米哈游押寶的中國AI應(yīng)用,正在海外悶聲發(fā)財(cái)