11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵?lái)騰訊云選購(gòu)吧!
微軟和蘇黎世聯(lián)邦理工學(xué)院的研究人員聯(lián)合開(kāi)源了SliceGPT,該技術(shù)可以極限壓縮大模型的權(quán)重矩陣,將模型體量壓縮25%左右,同時(shí)保持性能不變。實(shí)驗(yàn)數(shù)據(jù)顯示,在保持零樣本任務(wù)性能的情況下,SliceGPT成功應(yīng)用于多個(gè)大型模型,如LLAMA-270B、OPT66B和Phi-2。這一技術(shù)的推出,有望為廣大開(kāi)發(fā)者和企業(yè)提供更加便捷、高效的大模型應(yīng)用解決方案。
SliceGPT是微軟開(kāi)發(fā)的一種新型的大語(yǔ)言模型壓縮方法。通過(guò)SLICEGPT,可以在保持99%,99%,和90%零樣本任務(wù)性能的同時(shí),將LLAMA2-70B、OPT66B和Phi-2模型分別去除高達(dá)25%的模型參數(shù)。這種方法的核心優(yōu)勢(shì)在于,它允許模型在去除一定比例的參數(shù)后,仍然能夠保持接近原始模型的性能,適用于資源受限的設(shè)備上部署大型模型,比如普通的個(gè)人電腦或者移動(dòng)設(shè)備。