站長之家（ChinaZ.com）1月29日 消息:SliceGPT是微軟開發(fā)的一種新型的大語言模型壓縮方法。通過SLICE GPT，可以在保持99%，99%，和90%零樣本任務(wù)性能的同時(shí)，將LLAMA2-70B、OPT66B和Phi-2模型分別去除高達(dá)25%的模型參數(shù)（包括嵌入）。

這意味著使用SLICE GPT的模型可以在更少的GPU上運(yùn)行，并且運(yùn)行速度更快，無需任何額外的代碼優(yōu)化。在24GB的消費(fèi)級GPU上，將LLAMA2-70B的總計(jì)算量減少到密集模型的64%;在40GB的A100GPU上減少到66%。

論文地址:https://arxiv.org/pdf/2401.15024.pdf

SLICE GPT的主要特點(diǎn)包括解決了大語言模型在存儲(chǔ)和計(jì)算資源上的高需求問題，并提供了一種有效減輕這些資源需求的方法，同時(shí)保持或僅輕微犧牲模型性能，這對于推廣大型模型的應(yīng)用和降低運(yùn)行成本具有重要意義。

具體來說，SLICE GPT能夠減少大型語言模型的尺寸，通過在不損失顯著性能的前提下，減少模型參數(shù)數(shù)量，SLICE GPT能夠減少大型語言模型的尺寸。它還能提高模型在硬件上的運(yùn)行效率，減少了所需的計(jì)算資源，并且能夠在去除一定比例的模型參數(shù)的同時(shí)，保持模型的性能。此外，SLICE GPT不僅適用于特定的模型或架構(gòu)，它的方法可以廣泛應(yīng)用于各種變換器網(wǎng)絡(luò)模型。

SLICE GPT的工作原理基于一種新的后訓(xùn)練稀疏化方案，通過兩個(gè)關(guān)鍵步驟來減少大型語言模型的計(jì)算和內(nèi)存需求。首先是替換權(quán)重矩陣，通過將模型中的每個(gè)權(quán)重矩陣替換為一個(gè)更小的（密集的）矩陣來減少網(wǎng)絡(luò)的嵌入維度，有效地縮減了模型的大小。

其次是維持計(jì)算不變性，SLICE GPT引入了變換器網(wǎng)絡(luò)中的“計(jì)算不變性”概念，通過特定的變換操作，改變權(quán)重矩陣的形狀，而不改變其在模型中的功能和影響，從而達(dá)到減少模型參數(shù)的目的，同時(shí)保持模型的性能。這種方法的核心優(yōu)勢在于，它允許模型在去除一定比例的參數(shù)后，仍然能夠保持接近原始模型的性能，適用于資源受限的設(shè)備上部署大型模型，比如普通的個(gè)人電腦或者移動(dòng)設(shè)備。

（舉報(bào)）