要點(diǎn):

1、微軟研究人員推出了一個僅有13億參數(shù)的LLM模型Phi-1.5。

2、Phi-1.5在常識推理任務(wù)上表現(xiàn)優(yōu)異，優(yōu)于多個參數(shù)量十倍以上的模型。

3、研究表明，模型參數(shù)規(guī)模不是決定性因素，高質(zhì)量數(shù)據(jù)更為重要。

站長之家（ChinaZ.com）9月18日 消息:微軟研究人員最近在一篇論文中提出了一個新的語言模型Phi-1.5，該模型的參數(shù)量僅有13億。研究人員主要關(guān)注Phi-1.5在常識推理方面的表現(xiàn)，因?yàn)檫@是對語言模型能力的重要考驗(yàn)。

論文地址:https://arxiv.org/abs/2309.05463

項(xiàng)目地址:https://huggingface.co/microsoft/phi-1_5

結(jié)果表明，Phi-1.5在多個常識推理基準(zhǔn)測試數(shù)據(jù)集上都取得了與參數(shù)量是其10倍以上的模型相當(dāng)或更好的結(jié)果。例如在WinoGrande、ARC-Easy、ARC-Challenge、BoolQ和SIQA等數(shù)據(jù)集上的表現(xiàn)，都與Llama2-7B、Falcon-7B和Vicuna-13B相當(dāng)甚至更好。

這說明模型的參數(shù)規(guī)模不是決定性因素，采用高質(zhì)量合成數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練可能更為關(guān)鍵。研究中，Phi-1.5使用了微軟之前提出的Phi-1模型的訓(xùn)練數(shù)據(jù)，以及新增的“教科書級”合成數(shù)據(jù)進(jìn)行訓(xùn)練。

結(jié)果表明，Phi-1.5不僅展現(xiàn)出許多大模型所具有的語言理解和推理能力，在控制有害內(nèi)容生成方面也具有一定優(yōu)勢，這對研究大型語言模型的社會影響意義重大。本研究表明，相比單純追求模型規(guī)模，如何獲取高質(zhì)量訓(xùn)練數(shù)據(jù)可能更為重要，這為未來語言模型研究提供了新的思路。

（舉報(bào)）