xAI 公司宣布其大語(yǔ)言模型 Grok-1 已開(kāi)源,可供公眾下載。
Grok-1 采用混合專(zhuān)家系統(tǒng) (MoE) 技術(shù)構(gòu)建,擁有龐大的 3140 億參數(shù),超過(guò)了 OpenAI GPT-3.5 的 1750 億參數(shù),使其成為目前已開(kāi)源的最大參數(shù)大語(yǔ)言模型。
根據(jù) Apache 2.0 協(xié)議,Grok-1 的模型權(quán)重和架構(gòu)已向公眾開(kāi)放。
xAI 團(tuán)隊(duì)表示,Grok-1 完全由其自行訓(xùn)練,預(yù)訓(xùn)練階段于 2023 年 10 月完成。本次發(fā)布的模型為預(yù)訓(xùn)練階段結(jié)束時(shí)的原始基礎(chǔ)檢查點(diǎn),尚未針對(duì)任何特定應(yīng)用進(jìn)行微調(diào)。
xAI 的目標(biāo)是與 OpenAI、Google 和 Microsoft 等公司在大型模型領(lǐng)域競(jìng)爭(zhēng),其團(tuán)隊(duì)成員來(lái)自 OpenAI、Google DeepMind、Google研究院和 Microsoft 研究院等知名機(jī)構(gòu)。
目前,xAI 尚未公布 Grok-1 的具體測(cè)試結(jié)果,其與其他公司大語(yǔ)言模型之間的競(jìng)爭(zhēng)將成為業(yè)界關(guān)注的焦點(diǎn)。
(舉報(bào))