要點(diǎn):
鴨嘴獸-70B使用優(yōu)化過(guò)的數(shù)據(jù)集Open-Platypus訓(xùn)練，刪除相似和重復(fù)問(wèn)題。
應(yīng)用LoRA和PEFT對(duì)模型進(jìn)行微調(diào)，重點(diǎn)優(yōu)化非注意力模塊。
檢查并解決測(cè)試數(shù)據(jù)泄漏和訓(xùn)練數(shù)據(jù)污染問(wèn)題。
站長(zhǎng)之家（ChinaZ.com）8月24日 消息:最近，來(lái)自波士頓大學(xué)的鴨嘴獸-70B模型登頂了HuggingFace的開(kāi)源大模型排行榜，成為目前全球開(kāi)源領(lǐng)域中表現(xiàn)最強(qiáng)的語(yǔ)言模型。鴨嘴獸的變強(qiáng)有以下三個(gè)關(guān)鍵原因:
首先，鴨嘴獸使用了一個(gè)經(jīng)過(guò)優(yōu)化的開(kāi)源數(shù)據(jù)集Open-Platypus進(jìn)行訓(xùn)練。該數(shù)據(jù)集由11個(gè)開(kāi)源數(shù)據(jù)集組合而成，主要包含人工設(shè)計(jì)的問(wèn)題，只有約10%的問(wèn)題是由語(yǔ)言模型生成。同時(shí)，研究人員對(duì)數(shù)據(jù)集進(jìn)行了處理，刪除了相似和重復(fù)的問(wèn)題，最大限度地減少了數(shù)據(jù)冗余。這有助于模型在更小的數(shù)據(jù)集上獲取更強(qiáng)大的能力。
其次，研究人員使用了低秩逼近（LoRA）和參數(shù)高效微調(diào)(PEFT)對(duì)鴨嘴獸模型進(jìn)行了微調(diào)。與完全微調(diào)不同，LoRA只訓(xùn)練轉(zhuǎn)換層中的可訓(xùn)練參數(shù)，從而大大降低了計(jì)算訓(xùn)練成本。PEFT則主要微調(diào)了非注意力模塊，如門(mén)控單元和上下采樣模塊，這進(jìn)一步提升了模型性能。相比僅優(yōu)化注意力模塊，這種方法取得了更好的效果。
論文地址:https://arxiv.org/pdf/2308.07317.pdf
最后，研究人員深入探索了開(kāi)放式語(yǔ)言模型訓(xùn)練中存在的數(shù)據(jù)污染問(wèn)題，并針對(duì)鴨嘴獸的數(shù)據(jù)集進(jìn)行了嚴(yán)格過(guò)濾。他們開(kāi)發(fā)了一套啟發(fā)式方法，仔細(xì)檢查訓(xùn)練集中與測(cè)試集相似的問(wèn)題，刪除或以任何方式將其標(biāo)記為潛在的測(cè)試數(shù)據(jù)泄露，避免了測(cè)試數(shù)據(jù)非故意地進(jìn)入訓(xùn)練集，保證了模型評(píng)估的公平性。
通過(guò)數(shù)據(jù)集優(yōu)化、模型微調(diào)技巧以及數(shù)據(jù)質(zhì)量控制，鴨嘴獸-70B得以在眾多開(kāi)源大模型中脫穎而出，登上榜首。這為語(yǔ)言模型的訓(xùn)練提供了寶貴經(jīng)驗(yàn)，也使開(kāi)源社區(qū)對(duì)自主研發(fā)強(qiáng)大AI模型更具信心。如果社會(huì)各界能堅(jiān)持開(kāi)放創(chuàng)新、合作共贏的理念，我們離強(qiáng)人工智能的到來(lái)就不會(huì)太遠(yuǎn)了。
（舉報(bào)）