在長文本場景中,ChatGPT等大語言模型經(jīng)常面臨更高算力成本、更長的延遲以及更差的性能。為了解決這三大難題,微軟開源了LongLLMLingua。據(jù)悉,LongLLMLingua的核心技術(shù)原理是將“文本提示”實現(xiàn)最高20倍的極限壓縮,同時又可以準(zhǔn)確評估提示中內(nèi)容與問題的相關(guān)程度,消除無關(guān)內(nèi)容保
......
本文由站長之家合作伙伴自媒體作者“AIGC開放社區(qū)公眾號”授權(quán)發(fā)布于站長之家平臺,本平臺僅提供信息索引服務(wù)。由于內(nèi)容發(fā)布時間超過平臺更新維護(hù)時間,為了保證文章信息的及時性,內(nèi)容觀點的準(zhǔn)確性,平臺將不提供完全的內(nèi)容展現(xiàn),本頁面內(nèi)容僅為平臺搜索索引使用。需閱讀完整內(nèi)容的用戶,請查看原文,獲取內(nèi)容詳情。
(舉報)