11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享。快來騰訊云選購吧!
隨著ChatGPT、Copliot等生成式AI產(chǎn)品的快速迭代,對訓(xùn)練數(shù)據(jù)的需求呈指數(shù)級增長,同時(shí)也是提升大模型性能的關(guān)鍵環(huán)節(jié)之一。為了解決訓(xùn)練數(shù)據(jù)短缺和質(zhì)量差的難題,微軟研究院發(fā)布了一個(gè)專門用于生成高質(zhì)量合成數(shù)據(jù)的的AIAgent——AgentInstruct。Orca-3在多項(xiàng)指標(biāo)上也超越了LLAMA-8B-instruct和GPT-3.5-turbo等其他模型。
近日,第五代英特爾至強(qiáng)處理器,以優(yōu)秀的表現(xiàn)通過了中國電子技術(shù)標(biāo)準(zhǔn)化研究院組織的人工智能服務(wù)器系統(tǒng)性能測試。英特爾也成為首批通過AISBench大語言模型推理性能測試的企業(yè)。同時(shí)還彰顯了英特爾至強(qiáng)可以為企業(yè)提供開箱即用”的功能,即可以在通用系統(tǒng)上部署一部分AI工作負(fù)載,從為客戶帶來更佳的總體擁有成本優(yōu)勢。
在最近的一篇論文中,蘋果的研究團(tuán)隊(duì)宣稱,他們提出了一個(gè)可以在設(shè)備端運(yùn)行的模型ReALM,這個(gè)模型在某些方面可以超過GPT-4。ReALM的參數(shù)量分別為80M、250M、1B和3B,體積都非常小,適合在手機(jī)、平板電腦等設(shè)備端運(yùn)行。這項(xiàng)研究有望用來改進(jìn)蘋果設(shè)備上的Siri助手,幫助Siri更好地理解和處理用戶詢問中的上下文。
在最新的研究論文中,谷歌研究人員引入了一種名為Cappy的預(yù)訓(xùn)練評分器模型,旨在增強(qiáng)和超越大型多任務(wù)語言模型的性能。這項(xiàng)研究旨在解決大型語言模型所面臨的挑戰(zhàn),其中包括高昂的計(jì)算資源成本和效率低下的訓(xùn)練和推理過程。通過引入輕量級預(yù)訓(xùn)練評分器Cappy,這項(xiàng)研究解決了在多任務(wù)場景中有效利用大型語言模型的挑戰(zhàn),展示了其在各種任務(wù)上的參數(shù)效率和性能的優(yōu)越性,同時(shí)強(qiáng)調(diào)了在實(shí)際應(yīng)用中簡化大型語言模型采用的潛力。
英偉達(dá)在GTC開發(fā)者大會上發(fā)布了最強(qiáng)AI加速卡BlackwellGB200,計(jì)劃今年晚些時(shí)候發(fā)貨。GB200采用新一代AI圖形處理器架構(gòu)Blackwell,其AI性能可達(dá)20petaflops,比之前的H100提升了5倍。英偉達(dá)的系統(tǒng)還可擴(kuò)展至數(shù)萬GB200超級芯片,具有11.5exaflops的FP4計(jì)算能力。
在近期幾個(gè)月的深入探索之后,通義千問團(tuán)隊(duì)終于迎來了其開源系列Qwen的下一個(gè)重要版本——Qwen1.5。Qwen1.5的亮點(diǎn)之一是其豐富的模型系列,涵蓋了從0.5B到72B的六種不同大小的基礎(chǔ)和聊天模型。統(tǒng)一功能:全系列模型支持32K上下文長度、增強(qiáng)的多語言能力和統(tǒng)一的systemprompt等特性。
對模型參數(shù)量的迷信、執(zhí)念也許可以放下了,混合多個(gè)小模型也是未來構(gòu)造對話型AI的一個(gè)光明的方向。在對話型人工智能研究中,存在趨勢即朝著開發(fā)參數(shù)更多的模型方向發(fā)展,如ChatGPT等為代表的模型。混合模型通過協(xié)作多個(gè)較小的對話型人工智能,在提供比單個(gè)更大的對話型人工智能更高質(zhì)量的對話方面是有效的。
國產(chǎn)大模型玩家智譜AI,交出最新成績單——發(fā)布全自研第四代基座大模型GLM-4,且所有更新迭代的能力全量上線。作為國內(nèi)唯一一個(gè)產(chǎn)品線全對標(biāo)OpenAI的大模型公司,智譜年前攢了波大的:按官方說法,GLM-4性能相比GLM-3提升60%,逼近GPT-4。就像面對科技創(chuàng)新,大家期待的都是最后的爆發(fā)時(shí)刻。
智譜AI發(fā)布了高質(zhì)量、低成本的評分模型CritiqueLLM,用于評估文本生成模型的性能。傳統(tǒng)的評價(jià)指標(biāo)如BLEU和ROUGE主要基于n-gram重合度來計(jì)算評分,缺乏對整體語義的把握。通過這些步驟,可以得到適用于含參考文本和無參考文本設(shè)定的兩種CritiqueLLM模型,用于評估文本生成模型的性能。
智源研究院最近發(fā)布了LM-Cocktail模型治理策略,旨在為大模型開發(fā)者提供一個(gè)低成本持續(xù)提升模型性能的方式。該策略通過融合多個(gè)模型的優(yōu)勢,實(shí)現(xiàn)在目標(biāo)任務(wù)上性能的提升,同時(shí)保持在通用任務(wù)上的強(qiáng)大能力。LM-Cocktail已在實(shí)驗(yàn)中展現(xiàn)了良好的性能。