11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵?lái)騰訊云選購(gòu)吧!
AllenAI最近宣布開(kāi)源了微調(diào)模型OLMo-7B-Instruct,這是一個(gè)真正意義上的開(kāi)源項(xiàng)目。該模型是基于AI2的Dolma數(shù)據(jù)集構(gòu)建的,該數(shù)據(jù)集包括了用于語(yǔ)言模型預(yù)訓(xùn)練的三萬(wàn)億標(biāo)記的開(kāi)放語(yǔ)料庫(kù)包括生成訓(xùn)練數(shù)據(jù)的代碼。AllenAI的舉措為開(kāi)源社區(qū)提供了更多可能性,促進(jìn)了模型研究和應(yīng)用的發(fā)展。
OLMo是由AI2研究院發(fā)布的開(kāi)源語(yǔ)言模型和訓(xùn)練框架。該框架提供了完整的訓(xùn)練數(shù)據(jù)、代碼、模型參數(shù)以及評(píng)估代碼等資源,為語(yǔ)言模型技術(shù)研究人員提供了全面的支持。通過(guò)訪問(wèn)OLMo官網(wǎng),您將進(jìn)入一個(gè)開(kāi)放的學(xué)術(shù)世界,與全球研究人員共同推動(dòng)語(yǔ)言模型技術(shù)的發(fā)展。
AI2最新發(fā)布的開(kāi)放語(yǔ)言模型框架旨在推動(dòng)大規(guī)模語(yǔ)言模型的研究和實(shí)驗(yàn)。通過(guò)在HuggingFace和GitHub上提供訓(xùn)練代碼、模型和評(píng)估代碼,AI2致力于讓學(xué)術(shù)界和研究人員能夠共同研究語(yǔ)言模型的科學(xué),探索新的預(yù)訓(xùn)練數(shù)據(jù)子集對(duì)下游性能的影響,以及研究新的預(yù)訓(xùn)練方法和穩(wěn)定性。AI2鼓勵(lì)使用OLMo模型,提供了簡(jiǎn)便的安裝步驟和使用示例,并表示未來(lái)將推出指導(dǎo)調(diào)整的模型、完整的訓(xùn)?
Allen人工智能研究機(jī)構(gòu)在HuggingFace和GitHub上發(fā)布了首個(gè)開(kāi)放語(yǔ)言模型OLMo,意在通過(guò)提供數(shù)據(jù)、代碼、模型和評(píng)估工具的開(kāi)放訪問(wèn),促進(jìn)人工智能領(lǐng)域的共同研究。這一舉措的首批模型包括7B和1B規(guī)模的變體,覆蓋不同架構(gòu)和訓(xùn)練硬件,為未來(lái)更大規(guī)模、指令調(diào)整等模型的發(fā)布奠定基礎(chǔ)。通過(guò)提供權(quán)重的開(kāi)放訪問(wèn),并鼓勵(lì)合作,Allen致力于共同構(gòu)建全球最卓越的開(kāi)放語(yǔ)言模型,助力人工智能技術(shù)的進(jìn)步。