快科技10月9日消息,日前有媒體報道稱,百度正加緊訓練文心大模型4.0,已經(jīng)接近可發(fā)布狀態(tài),這將是文心大模型3.5版本后,又一個重磅版本。
消息稱,文心大模型4.0進展比預期快很多,將是基礎模型的大升級,理解、生成、邏輯、記憶核心能力都將提升,特別是在邏輯推理、代碼和數(shù)學等方面提升最明顯。
根據(jù)我們獲得的最新消息,上述消息基本屬實。目前了解到,文心大模型4.0實際上已經(jīng)在小流量測試。
根據(jù)我們拿到的消息,文心大模型4.0的參數(shù)規(guī)模要大于目前所有公開發(fā)布參數(shù)的LLM,也是國內首次使用萬卡集群訓練的大模型。這意味著文心大模型4.0的參數(shù)規(guī)模預計能突破萬億級別。
萬卡集群什么概念?國內之前只有華為、阿里透露已建成萬卡AI集群,但我們都沒看到基于它推出的具體模型。萬卡集群就不容易建了,如果用起來發(fā)揮最大化作用則更難了。
據(jù)分析,正是因為飛槳的深度聯(lián)合,才能高效地基于萬卡集群訓練起如此規(guī)模的模型。
不僅訓練成本在增加,文心4.0的推理成本比3.5增加很多,我們還沒拿到具體每千token的推理成本,但據(jù)傳大概是此前的8-10倍,這還是在高利用率(MFU)的情況下。如果利用率更低,估計成本還會繼續(xù)增加。
不得不說,大模型真的很費錢??梢?,打造領先的底層基礎打模型,就是一場巨頭的游戲。
根據(jù)IDC發(fā)布的首個大模型評估報告《AI大模型技術能力評估報告,2023》,百度文心大模型3.5拿下12項指標的7個滿分,綜合評分第一,算法模型第一,行業(yè)覆蓋第一,綜合能力在眾多國產(chǎn)大模型中遙遙領先。
經(jīng)過全面升級后,文心大模型4.0的訓練速度、推理速度等將進一步提升,能否與GPT-4一戰(zhàn)甚至超越后者的表現(xiàn),我們拭目以待。
(舉報)