11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購(gòu)吧!
OpenBuddy團(tuán)隊(duì)發(fā)布了基于MetaLlama370B的最新成果:OpenBuddy-Llama3-70B-v21.1-8k,這是他們首次在Llama370B基座上的中文跨語言訓(xùn)練嘗試。Llama370B是一個(gè)15T訓(xùn)練集訓(xùn)練成的稠密大模型,然由于訓(xùn)練集中缺少中文數(shù)據(jù),Meta官方的Llama3系列對(duì)話模型在中文領(lǐng)域的認(rèn)知、理能力較弱,容易出現(xiàn)以英文回答中文問題的現(xiàn)象。值得一提的是,于量化版模型能力下降較為明顯,他們本次只發(fā)布了模型的完整版權(quán)重,后續(xù)會(huì)嘗優(yōu)化70B模型的量化后性能,并挑選合適時(shí)機(jī)發(fā)布量化版。