LLMLingua2
與“LLMLingua2”的相關(guān)熱搜詞：
相關(guān)“LLMLingua2” 的資訊421篇
-
【騰訊云】11.11云上盛惠！云服務(wù)器首年1.8折起，買1年送3個月！
11.11云上盛惠！海量產(chǎn)品 · 輕松上云！云服務(wù)器首年1.8折起，買1年送3個月！超值優(yōu)惠，性能穩(wěn)定，讓您的云端之旅更加暢享。快來騰訊云選購吧！
騰訊云
12-20
廣告 -
微軟新工具LLMLingua-2：可將 AI 提示壓縮高達(dá)80%，節(jié)省時間和成本
微軟研究發(fā)布了名為LLMLingua-2的模型，用于任務(wù)不可知的提示壓縮。該模型通過智能地去除長提示中的不必要詞語或標(biāo)記，同時保留關(guān)鍵信息，使得提示長度可減少至原長度的20%，從降低成本和延遲。該公司認(rèn)為這是一個有前途的方法，可以通過壓縮提示實現(xiàn)更好的泛化能力和效率。
-
20倍的壓縮比例！?微軟發(fā)布LLMLingua:壓縮長提示并加快模型推理速度
微軟的研究團隊開發(fā)了一種名為LLMLingua的獨特粗細(xì)壓縮技術(shù)，旨在解決大型語言模型中長提示帶來的問題。LLMs以其強大的泛化和推理能力顯著推動了人工智能領(lǐng)域的發(fā)展，展示了自然語言處理、自然語言生成、計算機視覺等方面的能力。該方法表現(xiàn)出色，并提供了一種改善LLM應(yīng)用程序的效果和可負(fù)擔(dān)性的有用方式。
-
薦 文生圖參數(shù)量升至240億！Playground v3發(fā)布：深度融合LLM，圖形設(shè)計能力超越人類
【新智元導(dǎo)讀】PlaygroundResearch推出了新一代文本到圖像模型PGv3，具備240億參數(shù)量，采用深度融合的大型語言模型，實現(xiàn)了在圖形設(shè)計和遵循文本提示指令上甚至超越了人類設(shè)計師，同時支持精確的RGB顏色控制和多語言識別。自去年以來，文本到圖像生成模型取得了巨大進展，模型的架構(gòu)從傳統(tǒng)的基于UNet逐漸轉(zhuǎn)變?yōu)榛赥ransformer的模型。多語言能力得益于語言模型天生能夠理解?
-
薦 Scaling Law觸礁「數(shù)據(jù)墻」？Epoch AI發(fā)文預(yù)測LLM到2028年耗盡所有文本數(shù)據(jù)
【新智元導(dǎo)讀】訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量，對LLM性能的重要性已經(jīng)是不言自明的事實。EpochAI近期的一篇論文卻給正在瘋狂擴展的AI模型們潑了冷水，他們預(yù)測，互聯(lián)網(wǎng)上可用的人類文本數(shù)據(jù)將在四年后，即2028年耗盡?！缸畲蟮牟淮_定性在于，你會看到什么樣的技術(shù)突破。
-
手機流暢運行470億大模型：上交大發(fā)布LLM手機推理框架PowerInfer-2，提速29倍
蘋果一出手，在手機等移動設(shè)備上部署大模型不可避免地成為行業(yè)關(guān)注焦點。目前在移動設(shè)備上運行的模型相對較小，并且消耗大量內(nèi)存，這在很大程度上限制了其應(yīng)用場景。如果PowerInfer-2.0能夠與手機廠商進一步緊密合作，相信可以加速相關(guān)技術(shù)走出實驗室，落地到各種真實場景。
-
Yandex開源LLM訓(xùn)練工具節(jié)省高達(dá)20%的GPU資源
2024年6月11日，莫斯科——跨國科技公司Yandex最近推出了YaFSDP，這是一種用于訓(xùn)練大型語言模型的開源方法。YaFSDP是目前最有效的公開可用工具，用于增強GPU通信并減少LLM訓(xùn)練中的內(nèi)存使用量，與FSDP相比，其訓(xùn)練速度提升最高可達(dá)26%，具體取決于架構(gòu)和參數(shù)數(shù)量。Petals：是一個旨在簡化LLM訓(xùn)練和微調(diào)過程的庫，由YandexResearch、HSE大學(xué)、華盛頓大學(xué)、HuggingFace、巴黎-薩克雷高等經(jīng)濟學(xué)院和Yandex數(shù)據(jù)分析學(xué)院合作開發(fā)。
-
薦 拯救被「掰彎」的GPT-4！西交微軟北大聯(lián)合提出IN2訓(xùn)練治療LLM「中間迷失」
【新智元導(dǎo)讀】近日，西交微軟北大聯(lián)合提出信息密集型訓(xùn)練大法，使用純數(shù)據(jù)驅(qū)動的方式，矯正LLM訓(xùn)練過程產(chǎn)生的偏見，在一定程度上治療了大語言模型丟失中間信息的問題。辛辛苦苦給大語言模型輸入了一大堆提示，它卻只記住了開頭和結(jié)尾?這個現(xiàn)象叫做LLM的中間迷失，是大模型當(dāng)前仍面臨的最大挑戰(zhàn)之一。以寬松的匹配準(zhǔn)確性作為衡量標(biāo)準(zhǔn):如果響應(yīng)中的標(biāo)簽或描述完全匹配，則給出1分，否則為0分。
-
Refuel AI 推出專為數(shù)據(jù)標(biāo)注和清洗設(shè)計的開源語言模型 RefuelLLM-2
RefuelAI最近宣布推出兩個新版本的大型語言模型，RefuelLLM-2和RefuelLLM-2-small，這兩個模型專為數(shù)據(jù)標(biāo)注、清洗和豐富任務(wù)設(shè)計，旨在提高處理大規(guī)模數(shù)據(jù)集的效率。RefuelLLM-2的主要特點包括:自動化數(shù)據(jù)標(biāo)注:能夠自動識別和標(biāo)記數(shù)據(jù)中的關(guān)鍵信息，如分類數(shù)據(jù)和解析特定屬性。RefuelAI的這一創(chuàng)新為數(shù)據(jù)標(biāo)注和清洗領(lǐng)域帶來了新的解決方案，有助于自動化和優(yōu)化大規(guī)模數(shù)據(jù)處理流程。
-
薦 LLM上下文窗口突破200萬！無需架構(gòu)變化+復(fù)雜微調(diào)，輕松擴展8倍
大型語言模型往往會追求更長的「上下文窗口」，但由于微調(diào)成本高、長文本稀缺以及新token位置引入的災(zāi)難值等問題，目前模型的上下文窗口大多不超過128k個token最近，MicrosoftResearch的研究人員提出了一個新模型LongRoPE，首次將預(yù)訓(xùn)練LLM的上下文窗口擴展到了2048k個token，在256k的訓(xùn)練長度下只需要1000個微調(diào)步驟即可，同時還能保持原始短上下文窗口的性能。論文鏈接:https://arxiv
-
微軟LongRoPE方法讓LLM上下文窗口突破 200 萬 8倍擴展還保持性能
微軟研究人員提出的LongRoPE方法首次將預(yù)訓(xùn)練的大型語言模型的上下文窗口擴展至2048k個token，實現(xiàn)了8倍的擴展同時保持原始短上下文窗口的性能無需進行架構(gòu)變化和復(fù)雜微調(diào)。該方法的關(guān)鍵創(chuàng)新點包括通過高效搜索識別并利用了位置插值中的兩種非均勻性，為微調(diào)提供更好的初始化，并在非微調(diào)情況下實現(xiàn)了8倍擴展;引入了漸進擴展策略，首先微調(diào)256k長度的LLM，然后在微調(diào)擴?
-
薦 今日AI：GPT4強敵Inflection-2.5模型發(fā)布；Midjourney要推中國版APP；MovieLLM一句話生成電影
歡迎來到【今日AI】欄目!這里是你每天探索人工智能世界的指南，每天我們?yōu)槟愠尸F(xiàn)AI領(lǐng)域的熱點內(nèi)容，聚焦開發(fā)者，助你洞悉技術(shù)趨勢、了解創(chuàng)新AI產(chǎn)品應(yīng)用。
-
Design2Code：提供設(shè)計圖，讓多模態(tài)LLM自動生成前端代碼
生成AI在多模態(tài)理解和代碼生成方面取得了顯著進展，為前端開發(fā)帶來了全新的范式。研究人員開展了對視覺設(shè)計轉(zhuǎn)換為代碼實現(xiàn)任務(wù)的系統(tǒng)研究。詳細(xì)的細(xì)分指標(biāo)表明，開源模型在從輸入網(wǎng)頁中召回視覺元素和生成正確布局設(shè)計方面大多落后在文本內(nèi)容和著色方面則可以通過適當(dāng)?shù)奈⒄{(diào)得到顯著改進。
-
薦 模型融合、混合專家、更小的LLM，幾篇論文看懂2024年LLM發(fā)展方向
在過去的2023年中，大型語言模型在潛力和復(fù)雜性方面都獲得了飛速的發(fā)展。展望2024年的開源和研究進展，似乎我們即將進入一個可喜的新階段:在不增大模型規(guī)模的前提下讓模型變得更好，甚至讓模型變得更小。論文標(biāo)題:Astraios:Parameter-EfficientInstructionTuningCodeLargeLanguageModels論文地址:https://arxiv.org/abs/2401.00788這篇論文評估了不同的全微調(diào)和參數(shù)高效型微調(diào)技術(shù)，并且發(fā)現(xiàn)全微調(diào)?
-
比OpenAI官方提示詞指南更全，這26條黃金準(zhǔn)則讓LLM性能飆升50%以上
穆罕默德?本?扎耶德人工智能大學(xué)VILALab帶來了一項關(guān)于如何更好地為不同規(guī)模的大模型書寫提示詞的研究，讓大模型性能在不需要任何額外訓(xùn)練的前提下輕松提升50%以上。該工作在X、Reddit和LinkedIn等平臺上都引起了廣泛的討論和關(guān)注。更多提示詞原則使用方法和說明，歡迎閱讀原文。
-
谷歌AI芯片TPU v5p在訓(xùn)練LLM方面比其前一代快2.8倍
谷歌正迅速成為其最好的朋友英偉達(dá)的強大對手——其超級計算機所使用的TPUv5p人工智能芯片比以往任何時候都更快、更大、更寬，甚至超過了強大的H100。谷歌在最近推出其Gemini人工智能模型的同時，也發(fā)布了其最新版本的旗艦張量處理單元，用于人工智能的訓(xùn)練和推理，這似乎是一種挑戰(zhàn)英偉達(dá)自己的市場領(lǐng)先的圖形處理器的嘗試。粗略的計算表明，TPUv5p大約比A100快3.4到4.8倍，這使得它與H100相當(dāng)或者更優(yōu)秀，盡管在得出任何結(jié)論之前，需要更詳細(xì)的基準(zhǔn)測試。
-
薦 Llama 2打敗GPT-4！Meta讓大模型自我獎勵自迭代，再證合成數(shù)據(jù)是LLM終局
【新智元導(dǎo)讀】AI訓(xùn)AI必將成為一大趨勢。Meta和NYU團隊提出讓大模型「自我獎勵」的方法，讓Llama2一舉擊敗GPT-40613、Claude2、GeminiPro領(lǐng)先模型。還有人表示「令人驚訝的是，每次迭代的改進幾乎保持線性，僅在3次迭代之后，就已經(jīng)接近GPT-4級別」。
-
薦 拆掉英偉達(dá)護城河，細(xì)節(jié)曝光！世界最快超算用3072塊AMD GPU訓(xùn)完超萬億參數(shù)LLM
用AMD的軟硬件系統(tǒng)也能訓(xùn)練GPT-3.5級別的大模型了。位于美國橡樹嶺國家實驗室的全世界最大的超算Frontier，集合了37888個MI250XGPU和9472個Epyc7A53CPU。整個系統(tǒng)擁有602112個CPU核心，4.6PBDDR4內(nèi)存。
-
薦 Hugging Face：2023開源LLM大爆發(fā)，數(shù)據(jù)競賽已開啟！
2023年的LLM開源社區(qū)都發(fā)生了什么?來自HuggingFace的研究員帶你回顧并重新認(rèn)識開源LLM2023年的大語言模型，讓幾乎所有人都燃起了熱情?，F(xiàn)在大多數(shù)人都知道LLM是什么，以及可以做什么。常用的方法包括bitsandbytes、GPTQ和AWQ。
-
薦 2080 Ti就能跑70B大模型，上交大新框架讓LLM推理增速11倍
原本需要一張16萬元的80GA100干的活，現(xiàn)在只需要一張不到2萬元的24G4090就夠了!上海交大IPADS實驗室推出的開源推理框架PowerInfer，讓大模型推理速度加快了11倍。且不用量化，就用FP16精度，也能讓40B模型在個人電腦上運行;如果加入量化，2080Ti也能流暢運行70B模型?，F(xiàn)有的云端CPU也有強大的AMX計算單元支持，通過利用CPU、GPU間的異構(gòu)特征，可以樂觀地認(rèn)為PowerInfer能夠使用更少的高
-
薦 谷歌10秒視頻生成模型破世界記錄！LLM終結(jié)擴散模型，效果碾壓頂流Gen-2
【新智元導(dǎo)讀】谷歌全新視頻生成模型VideoPoet再次引領(lǐng)世界!十秒超長視頻生成效果碾壓Gen-2可進行音頻生成，風(fēng)格轉(zhuǎn)化。AI視頻生成，或許就是2024年下一個最前沿的領(lǐng)域。對于未來的研究方向，谷歌研究人員表示，VideoPoet框架將會實現(xiàn)「any-to-any」的生成，比如擴展文本到音頻、音頻到視頻，以及視頻字幕等等。
-
薦 人形機器人+LLMs=? 答案就在這個2分鐘視頻里
圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney你可以用自然語言與機器人交談，并要求它完成一項任務(wù)。未來對機器人的控制可能會像騎馬，你可以把AI看作是騎手，機器人的物理智能就是馬。未來的機器人的行動不會那么機械，動作會更流暢，就像人類。
-
智譜AI發(fā)布中文 LLM 對齊評測基準(zhǔn)AlignBench
智譜AI發(fā)布了專為中文大語言模型生的對齊評測基準(zhǔn)AlignBench，這是目前第一個針對中文大模型的評測基準(zhǔn)，能夠在多維度上細(xì)致評測模型和人類意圖的對齊水平。AlignBench的數(shù)據(jù)集來自于真實的使用場景，經(jīng)過初步構(gòu)造、敏感性篩查、參考答案生成和難度篩選等步驟，確保具有真實性和挑戰(zhàn)性。通過登錄AlignBench網(wǎng)站，提交結(jié)果可以使用CritiqueLLM作為評分模型進行評測，大約5分鐘即可得到評測結(jié)果。
-
Perplexity發(fā)布兩款LLM模型:pplx-7b-online和pplx-70b-online 可利用實時互聯(lián)網(wǎng)數(shù)據(jù)查詢
PerplexityAI，一家創(chuàng)新的人工智能初創(chuàng)公司，近日推出了一項能夠改變信息檢索系統(tǒng)的解決方案。該公司推出了兩款新的大語言模型，分別是pplx-7b-online和pplx-70b-online，標(biāo)志著首次通過API公開訪問在線LLMs。通過API引入pplx-7b-online和pplx-70b-online模型解決了現(xiàn)有離線LLMs的局限性，并展示了在提供準(zhǔn)確、實時和真實信息方面的卓越性能。
-
Inflection推Inflection-2：號稱全球計算級別最佳AI模型及全球第二最強大LLM
InflectionAI最近推出的語言模型Inflection-2，被宣稱為全球計算級別最佳的AI模型，位列全球第二最強大的大型語言模型，僅次于OpenAI的最新模型。這一創(chuàng)新的AI模型的開發(fā)是為了滿足對能夠在各種任務(wù)中理解和生成類似人類文本的AI應(yīng)用不斷增長的需求。今年6月份，被視為OpenAI競爭對手的人工智能初創(chuàng)公司InflectionAI宣布完成13億美元融資，融資由微軟、LinkedIn聯(lián)合創(chuàng)始人雷德·霍夫曼、微軟公司聯(lián)合創(chuàng)始人比爾·蓋茨、谷歌前CEO埃里克·施密特等領(lǐng)頭企業(yè)領(lǐng)投，英偉達(dá)等公司也參投。
-
挑戰(zhàn)OpenAI！Claude 2.1 LLM長下文窗口可達(dá)200K
Anthropic最新發(fā)布的大型語言模型Claude2.1LLM引起了廣泛關(guān)注，該模型的上下文窗口長度可達(dá)200K，是對當(dāng)前市場主流模型的一次重要突破。這一消息是在OpenAI推出128K上下文窗口的GPT-4之后發(fā)布的，導(dǎo)致超過100個企業(yè)OpenAI用戶周末紛紛向Anthropic尋求支持，以解決對LLM提供商的過度依賴問題。Anthropic的Claude2.1LLM的推出標(biāo)志著語言模型領(lǐng)域的不斷創(chuàng)新和競爭的升級，為用戶提供了更豐富?
-
薦 丟掉 LangChain、像 Docker一樣編排大模型應(yīng)用程序：這支十余人的年輕創(chuàng)業(yè)團隊如何在2個月做出一個LLMOps平臺？
大模型浪潮正在重構(gòu)千行百業(yè)?？梢灶A(yù)見的是，隨著技術(shù)的不斷進步以及應(yīng)用場景的不斷擴展，基于大模型的AI應(yīng)用將會不斷涌現(xiàn)，并成為推動AI產(chǎn)業(yè)發(fā)展的重要力量。曾在騰訊云CODINGDevOps團隊負(fù)責(zé)產(chǎn)品及運營管理工作，服務(wù)超百萬開發(fā)者用戶的平臺產(chǎn)品。
-
薦 0.2美元微調(diào)就能讓ChatGPT徹底破防！普林斯頓、斯坦福發(fā)布LLM風(fēng)險預(yù)警：普通用戶微調(diào)也影響LLM安全性
【新智元導(dǎo)讀】微調(diào)LLM需謹(jǐn)慎，用良性數(shù)據(jù)、微調(diào)后角色扮演等都會破壞LLM對齊性能!學(xué)習(xí)調(diào)大了還會繼續(xù)提高風(fēng)險!雖說預(yù)訓(xùn)練語言模型可以在零樣本設(shè)置下，對新任務(wù)實現(xiàn)非常好的泛化性能，但在現(xiàn)實應(yīng)用時，往往還需要針對特定用例對模型進行微調(diào)。微調(diào)后的模型安全性如何?是否會遺忘之前接受的對齊訓(xùn)練嗎?面向用戶時是否會輸出有害內(nèi)容?提供LLM服務(wù)的廠商也需要考慮到，當(dāng)給終端用戶開放模型微調(diào)權(quán)限后，安全性是否會下降?最近，普林斯頓大學(xué)、IBM、斯坦福等機構(gòu)通過redteam實驗證明，只需要幾個惡意樣本即可大幅降低預(yù)訓(xùn)練模型的安全性，甚至普通用戶的微調(diào)也會影響模型的安全性。不管真正的原因是什么，研究人員假設(shè)，如果能夠在未來的對齊工作中鞏固那些不太穩(wěn)健的危害類別，可能能夠進一步提高良性微調(diào)情況下的整體安全性。
-
2行代碼，「三體」一次讀完！港中文賈佳亞團隊聯(lián)手MIT發(fā)布超長文本擴展技術(shù)，打破LLM遺忘魔咒
【新智元導(dǎo)讀】大模型上下文從此不再受限!港中文賈佳亞團隊聯(lián)手MIT發(fā)布了全新超長文本擴展技術(shù)LongLoRA，只需2行代碼，讓LLM看小說，讀論文，輕松拿捏。中途迷失、模型偷懶、上下文越長大模型越笨……體驗過LLM的人，多少都會對文本輸入長度帶來的限制有所感觸:實際上，這些都是典型的大語言模型對話缺陷。相距不過短短兩個月，不得不說，這研究速度和能力跟LongLoRA一樣驚人。
-
薦 CMU華人打破大模型黑盒，Llama 2撒謊被一眼看穿！腦電波慘遭曝光，LLM矩陣全破解
大語言模型黑盒，居然被CMU等機構(gòu)的學(xué)者打破了?他們發(fā)現(xiàn)，LLM內(nèi)部有可解釋的表征，如果撒謊能被測謊儀檢測出來!最近，來自CAIS、CMU、斯坦福、康奈爾、馬里蘭、賓大等機構(gòu)的學(xué)者又有了令人震驚的發(fā)現(xiàn)——大語言模型，并不僅僅是黑匣子，或者難以理解的龐大矩陣。在它們內(nèi)部，具有可解釋的內(nèi)部表征。CMU等機構(gòu)研究者的探索也告訴我們，人類對于AI系統(tǒng)的理解和控制會越
-
exllamav2：一個用于在現(xiàn)代消費 GPU 上運行本地 LLM 的推理庫
exllamav2是一個用于在現(xiàn)代消費級GPU上本地運行大型語言模型的快速推理庫。它能夠利用最新的GPU技術(shù)，在不犧牲太多質(zhì)量的情況下，以非常快的速度對巨大的神經(jīng)網(wǎng)絡(luò)進行推理。隨著它的不斷發(fā)展和優(yōu)化，相信它一定會讓LLM的應(yīng)用變得更加普及。
