站長之家(ChinaZ.com)11月14日 消息:近日,Meta公司的生成式人工智能工程總監(jiān)謝爾蓋·埃杜諾夫在硅谷數(shù)字工人論壇上透露,為滿足明年全球不斷增長的人工智能應(yīng)用推理需求,僅需新增兩座核電站的發(fā)電量即可。
埃杜諾夫表示,他僅通過簡單的數(shù)學(xué)計(jì)算得出這個結(jié)果。他專門分析了人工智能“推理”階段的用電量。推理指的是在實(shí)際應(yīng)用中利用人工智能模型進(jìn)行預(yù)測、回答問題等過程。這與模型訓(xùn)練階段的用電量不同,后者需要大量數(shù)據(jù)訓(xùn)練模型。
埃杜諾夫估計(jì),明年全球會新增100萬到200萬個Nvidia H100圖形處理器,每個處理器功率約為1千瓦。如果全部用于合理規(guī)模的語言模型生成工作,每人每天可產(chǎn)生10萬個“token”。他認(rèn)為以人類規(guī)模來看,這用電量尚屬合理。全球僅需新增兩座核電站,就可以提供足夠電力。
圖源備注:圖片由AI生成,圖片授權(quán)服務(wù)商Midjourney
埃杜諾夫同時表示,訓(xùn)練更大規(guī)模語言模型將面臨數(shù)據(jù)量不足的限制。下一代模型可能需要10倍的數(shù)據(jù)量,公開互聯(lián)網(wǎng)的數(shù)據(jù)已不足以支撐。因此研究人員正致力于提高模型效率,以減少數(shù)據(jù)需求。視頻等多模態(tài)數(shù)據(jù)也可提供新的訓(xùn)練集。
業(yè)內(nèi)專家普遍認(rèn)為,語言模型在兩年內(nèi)將為企業(yè)帶來巨大價值。埃杜諾夫預(yù)計(jì),三四年內(nèi)我們將知曉當(dāng)前技術(shù)是否能實(shí)現(xiàn)通用人工智能。供應(yīng)鏈限制也將制約模型改進(jìn)速度。但創(chuàng)新如Salesforce的Blib-2等仍在繼續(xù),或可通過提高效率繞開限制。
(舉報)