11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購吧!
本地部署大型語言模型的開源框架Ollama備受關(guān)注,那么ollama到底是什么呢?一個(gè)專為本地機(jī)器設(shè)計(jì)的開源框架,旨在簡(jiǎn)化大型語言模型的部署和運(yùn)行。它提供了一套工具和命令,使用戶能夠輕松地下載、管理和運(yùn)行各種語言模型,包括LLaMA、LLaVA等流行模型。它減少了對(duì)云服務(wù)或復(fù)雜基礎(chǔ)設(shè)施設(shè)置的依賴,使得大型語言模型的部署和應(yīng)用變得更加容易和高效。
蘋果公司正在開發(fā)自己的大型語言模型。這款模型將能夠在設(shè)備上本地運(yùn)行,從優(yōu)先考慮速度和隱私保護(hù)。蘋果更廣泛的人工智能戰(zhàn)略預(yù)計(jì)將在6月份的WWDC上與主要軟件更新預(yù)覽一起公布。
多模態(tài)大型語言模型在視覺情境下的表現(xiàn)異常出色,引起了廣泛關(guān)注。它們解決視覺數(shù)學(xué)問題的能力仍需全面評(píng)估和理解。這表明需要更先進(jìn)的數(shù)學(xué)專用視覺編碼器,突顯了MLLM發(fā)展的潛在未來方向。
LLMPricing是一個(gè)聚合并比較各種大型語言模型定價(jià)信息的網(wǎng)站,這些模型由官方AI提供商和云服務(wù)供應(yīng)商提供。用戶可以在這里找到最適合其項(xiàng)目的語言模型定價(jià)。點(diǎn)擊前往LLMPricing官網(wǎng)體驗(yàn)入口需求人群:適用于需要選擇合適的大型語言模型進(jìn)行項(xiàng)目開發(fā)的企業(yè)和開發(fā)者,幫助他們根據(jù)成本效益做出決策。
騰訊研發(fā)團(tuán)隊(duì)于3月8日在預(yù)印本平臺(tái)arXiv發(fā)布了一項(xiàng)重要成果,推出了名為ELLA的大型語言模型適配器。這一適配器的推出標(biāo)志著在擴(kuò)散模型中配備大語言模型的新里程碑,為模型提供了增強(qiáng)的語義對(duì)齊能力。這一創(chuàng)新的推出將為語言模型領(lǐng)域帶來新的發(fā)展機(jī)遇,為模型的語義理解和應(yīng)用提供了更為有效的解決方案。
斯坦福大學(xué)的研究人員最近發(fā)布了一種名為C3PO的新方法,旨在解決語言模型定制化面臨的挑戰(zhàn)。在人工智能領(lǐng)域不斷發(fā)展的今天,語言模型的定制化對(duì)于確保用戶滿意度至關(guān)重要。這項(xiàng)研究的意義超出了技術(shù)成就的范疇,預(yù)示著人工智能可以無縫適應(yīng)個(gè)人偏好、增強(qiáng)其實(shí)用性和可訪問性的未來。
ChatGPT和AI圖像生成器的出現(xiàn)初期令全球歡欣鼓舞,然政府官員開始擔(dān)心它們可能被用于更黑暗的用途。五角大樓開始與科技行業(yè)領(lǐng)袖舉行會(huì)議,加速發(fā)現(xiàn)和實(shí)施最有用的軍 事應(yīng)用?!坝?guó)國(guó)防人工智能中心”負(fù)責(zé)人瑞秋?辛格頓上校在研討會(huì)上表示,英國(guó)感到有必要迅速為內(nèi)部軍 事使用開發(fā)一個(gè)LLM解決方案,因?yàn)閾?dān)心員工可能會(huì)誘惑使用商業(yè)LLMs,從使敏感信息面臨風(fēng)險(xiǎn)。
基于transformer架構(gòu)的大型語言模型已經(jīng)嶄露頭角。Chat-GPT和LLaMA-2等模型展示了LLMs參數(shù)的迅速增加,從幾十億到數(shù)萬億。當(dāng)資源受限或需要實(shí)時(shí)應(yīng)用時(shí),BiTA的可調(diào)提示設(shè)計(jì)使其成為一種可插即用的方法,可用于加速任何公開可用的LLMs。
蘋果公司的人工智能研究人員表示,在將大型語言模型部署到iPhone和其他內(nèi)存有限的蘋果設(shè)備上取得了關(guān)鍵性突破。他們發(fā)明了一種創(chuàng)新的閃存利用技術(shù),可有效應(yīng)對(duì)內(nèi)存限制問題。蘋果計(jì)劃提供云端AI和設(shè)備上AI處理的結(jié)合。
計(jì)算機(jī)科學(xué)家和播客主播LexFridman最近發(fā)布的一期熱門播客中,杰夫·貝索斯就其生活、工作、人類未來及科技前景進(jìn)行了深入廣泛的討論。在這超過兩小時(shí)的播客中,有許多內(nèi)容值得吸收?!裹c(diǎn)擊此處收聽和觀看完整播客,或直接跳到關(guān)于AI的部分。
GoogleDeepMind最近利用一種大型語言模型成功破解了純數(shù)學(xué)中一個(gè)著名的未解問題。該團(tuán)隊(duì)在《自然》雜志上發(fā)表的論文中宣稱,這是首次使用大型語言模型發(fā)現(xiàn)長(zhǎng)期科學(xué)難題的解決方案,產(chǎn)生了之前不存在的可驗(yàn)證且有價(jià)值的新信息?!顾f:「這當(dāng)然表明了一種可能的前進(jìn)方向。
GoogleCloud和巴黎的生成型AI初創(chuàng)公司MistralAI當(dāng)?shù)貢r(shí)間周三聯(lián)合宣布合作,允許這家初創(chuàng)公司在科技巨頭的基礎(chǔ)設(shè)施上分發(fā)其語言模型。根據(jù)雙方的聯(lián)合聲明,「根據(jù)協(xié)議,MistralAI將使用GoogleCloud的AI優(yōu)化基礎(chǔ)設(shè)施,包括TPU加速器,以進(jìn)一步測(cè)試、構(gòu)建和擴(kuò)大其大型語言模型,同時(shí)受益于GoogleCloud的安全和隱私標(biāo)準(zhǔn)。該公司周一表示,在七個(gè)月內(nèi)第二輪融資中籌集了3.85億歐元,由Andreessen-Horowitz和LightSpeedVentures等投資者領(lǐng)投。
JetBrains于當(dāng)?shù)貢r(shí)間周三發(fā)布了一款新的AI編碼助手,這款助手能夠從開發(fā)者的集成開發(fā)環(huán)境獲取信息,并將其反饋給AI軟件,以提供編碼建議、代碼重構(gòu)和文檔支持。這家開發(fā)工具公司聲稱,其AI助手是第一個(gè)供應(yīng)商中立的此類產(chǎn)品,因?yàn)樗褂昧硕鄠€(gè)大型語言模型不是依賴單一的AI平臺(tái)。為了適應(yīng)這些開發(fā)者,JetBrains已經(jīng)引入了禁用AI的功能。
谷歌在當(dāng)?shù)貢r(shí)間周三發(fā)布了其最新、最先進(jìn)的大型語言模型Gemini\">最新、最先進(jìn)的大型語言模型Gemini,并宣布從今天開始,用戶將能夠在GoogleBard中體驗(yàn)特別調(diào)整的GeminiPro英語版本。Gemini于今年五月在GoogleI/O上首次公布,共發(fā)布三種不同規(guī)模的版本:GeminiUltra、GeminiPro和GeminiNano。
OpenAI董事會(huì)突然解雇了該公司的首席執(zhí)行官,這引發(fā)了人們的猜測(cè):董事會(huì)成員對(duì)人工智能突飛猛進(jìn)的發(fā)展速度以及過快尋求技術(shù)商業(yè)化可能帶來的風(fēng)險(xiǎn)感到震驚。RobustIntelligence是一家成立于2020年的初創(chuàng)公司,與耶魯大學(xué)的研究者合作,開發(fā)了一種探測(cè)大型語言模型的系統(tǒng)性方法,包括OpenAI的GPT-4。他說:「我們需要確保設(shè)計(jì)使用LLMs的系統(tǒng)時(shí),越獄不能讓惡意用戶訪問他們不應(yīng)該訪問的內(nèi)容。
供本地使用的LLM通常作為一組權(quán)重分布在數(shù)GB文件中。這些軟件不能直接單獨(dú)使用,這通常使得它們比其他軟件更難分發(fā)和運(yùn)行。這些權(quán)重文件本身不能直接使用,需要通過特定的軟件框架或環(huán)境來加載和運(yùn)行,這使得與其他類型的軟件相比,它們的分發(fā)和運(yùn)行更加復(fù)雜。
BERT在自然語言處理任務(wù)中取得顯著成就,但DeBERTa通過引入“解纏注意力”和“增強(qiáng)遮罩解碼器”等創(chuàng)新機(jī)制,進(jìn)一步提升了模型性能。DeBERTa引入了解纏注意力,這是一種新穎的機(jī)制,其中每個(gè)令牌由兩個(gè)單獨(dú)的向量表示,考慮了內(nèi)容和相對(duì)位置。這些創(chuàng)新和改進(jìn)使得DeBERTa成為自然語言處理領(lǐng)域備受青睞的選擇,不僅在數(shù)據(jù)科學(xué)家中廣泛應(yīng)用在Kaggle競(jìng)賽中取得成功,甚至在SuperGLUE基準(zhǔn)測(cè)試中超越人類水平,為語言模型的發(fā)展留下濃墨重彩的一筆。
在昨日的財(cái)報(bào)電話會(huì)議上,針對(duì)AI相關(guān)問題,百度董事長(zhǎng)兼CEO李彥宏表示,公司在利用生成式人工智能技術(shù)推動(dòng)廣告業(yè)務(wù)增長(zhǎng),包括創(chuàng)意建設(shè)、精準(zhǔn)投放、競(jìng)價(jià)優(yōu)化方面的工作,這些努力也在逐步起效,所推動(dòng)的營(yíng)收增長(zhǎng)也將在四季度超過數(shù)億元人民幣。李彥宏還稱,文心一言4.0版本自推出以來,受到了用戶和消費(fèi)者的熱烈歡迎。我們目前所努力完成的廣告平臺(tái)調(diào)整已經(jīng)出現(xiàn)了明顯成效將繼續(xù)利用生成式人工智能和大型語言模型技術(shù),協(xié)助廣告團(tuán)隊(duì)實(shí)現(xiàn)可持續(xù)的營(yíng)收增長(zhǎng)。
TogetherAI最近發(fā)布了RedPajamav2,這是一個(gè)龐大的在線數(shù)據(jù)集,包含了30萬億token,成為目前公開可用的最大數(shù)據(jù)集之一,專門用于學(xué)習(xí)型機(jī)器學(xué)習(xí)系統(tǒng)的培訓(xùn)。對(duì)于像Llama、Mistral、Falcon、MPT和RedPajama等最先進(jìn)的開放式LLM,高質(zhì)量的數(shù)據(jù)至關(guān)重要,但由于HTML到純文本的轉(zhuǎn)換引發(fā)的異常、通常質(zhì)量較低的數(shù)據(jù)來源以及網(wǎng)絡(luò)內(nèi)容傳播中固有的偏見,這些數(shù)據(jù)未經(jīng)精細(xì)處理,不適合直接用于LLM的培訓(xùn)。這一工作將為L(zhǎng)LM領(lǐng)域的研究和應(yīng)用提供更多的有力數(shù)據(jù)支持。
Langroid是一個(gè)直觀、輕量、可擴(kuò)展和原則性的Python框架,用于輕松構(gòu)建LLM驅(qū)動(dòng)的應(yīng)用程序。您可以設(shè)置智能體,為它們配備可選組件,分配任務(wù),讓它們通過交換消息共同解決問題。項(xiàng)目地址:https://github.com/langroid/langroidLangroid是LLM應(yīng)用程序開發(fā)的一種新方法,經(jīng)過深思熟慮,旨在簡(jiǎn)化開發(fā)者體驗(yàn)。
谷歌DeepMind最新研究發(fā)現(xiàn),大型語言模型在沒有外部指導(dǎo)的情況下難以自我糾正推理錯(cuò)誤。谷歌DeepMind的研究人員認(rèn)為,目前對(duì)于需要更安全響應(yīng)的應(yīng)用程序來說,具備自我糾正能力的語言模型可能更加有效。盡管目前大型語言模型在自我糾正推理方面還存在一些挑戰(zhàn),但這項(xiàng)研究為未來的發(fā)展提供了重要的指導(dǎo),讓我們更好地了解和改進(jìn)語言模型的能力和局限性。
在人工智能領(lǐng)域,開發(fā)人員和用戶一直面臨一個(gè)挑戰(zhàn),那就是需要更加定制和細(xì)致的大型語言模型響應(yīng)。雖然這些模型,比如Llama2,可以生成類似人類的文本,但它們通常需要提供真正針對(duì)個(gè)體用戶獨(dú)特需求的答案。開發(fā)人員現(xiàn)在有機(jī)會(huì)訪問代碼,并使用HuggingFace等平臺(tái)上提供的自定義的13BLlama2模型來嘗試這一技術(shù)。
瑞士初創(chuàng)公司Lakera最近發(fā)布了一款旨在保護(hù)企業(yè)免受大型語言模型的惡意提示攻擊的API。這項(xiàng)舉措旨在解決LLMs在生成人類語言文本方面的卓越性能,但也可能受到惡意攻擊的問題,尤其是通過所謂的“promptinjection”技術(shù)。通過將攻擊轉(zhuǎn)化為統(tǒng)計(jì)結(jié)構(gòu),Lakera有望在這一領(lǐng)域發(fā)揮重要作用,并確保企業(yè)可以安全地利用LLM的強(qiáng)大功能。
Evisort成功開發(fā)了專門用于法律協(xié)議的大型語言模型,并將其作為其新的多方位生成AI引擎的關(guān)鍵組成部分。該LLM將使Evisort能夠提供比通用的第三方LLMs更準(zhǔn)確和響應(yīng)更靈活的AI創(chuàng)新,從幫助組織更好地管理合同。這一創(chuàng)新也受到了業(yè)界的認(rèn)可,得到了微軟風(fēng)投M12的高度評(píng)價(jià)。
大型語言模型的發(fā)展迅猛,BERT成為其中最受歡迎和高效的模型,但其復(fù)雜性和可擴(kuò)展性成為問題。為了解決這些問題,市面上目前由三種常見的模型壓縮技術(shù):知識(shí)蒸餾、量化和剪枝。DistilBERT通過知識(shí)蒸餾技術(shù)在保持性能的同時(shí)顯著壓縮了大型語言模型,為在資源受限設(shè)備上的部署提供了可能性。
傳統(tǒng)方法中,提高LLMs性能需要通過人工注釋來收集更多多樣化和高質(zhì)量的訓(xùn)練數(shù)據(jù),但這是一項(xiàng)資源密集型的任務(wù),尤其是對(duì)于專業(yè)領(lǐng)域言。為了解決這個(gè)問題,來自伊利諾伊大學(xué)厄巴納-香檳分校和Google的研究人員提出了“ImplicitSelf-Improvementframework”。通過從人類偏好數(shù)據(jù)中學(xué)習(xí)改進(jìn)目標(biāo),PIT解決了傳統(tǒng)提示方法的限制,并展示了在各種數(shù)據(jù)集和條件下提高LLMs響應(yīng)質(zhì)量的有效性。
在網(wǎng)上創(chuàng)建引人注目的設(shè)計(jì)對(duì)于吸引用戶的興趣和幫助他們理解信息非常重要。這種新方法,被稱為L(zhǎng)ayoutNUWA,通過使用語言模型將編碼指令轉(zhuǎn)化為出色的布局,使這些設(shè)計(jì)更加智能。通過這些核心功能,LayoutNUWA為用戶提供了一個(gè)強(qiáng)大的布局生成工具,可以應(yīng)用于各種項(xiàng)目和領(lǐng)域,從提高布局生成的效率和質(zhì)量。
用于生成式AI工具的大型語言模型通常會(huì)極大地增加對(duì)更多處理器的需求,這些處理器通常價(jià)格昂貴且供應(yīng)受限。即使是云資源也不能總是解決企業(yè)試圖擴(kuò)展規(guī)模并利用最新的生成式AI技術(shù)所面臨的問題?!笰nyscale首席執(zhí)行官兼聯(lián)合創(chuàng)始人RobertNishihara在一份聲明中表示。
建設(shè)像ChatGPT這樣的人工智能產(chǎn)品的成本往往難以衡量。但微軟支持的OpenAI的技術(shù)需要大量的水,這些水來自愛荷華州中部的Raccoon和DesMoines河流域,用于冷卻一臺(tái)強(qiáng)大的超級(jí)計(jì)算機(jī),以幫助教導(dǎo)其人工智能系統(tǒng)如何模仿人類寫作。在一份書面聲明中,自來水公司表示,該公司一直是一個(gè)良好的合作伙伴,并一直與當(dāng)?shù)毓賳T合作,以減少其用水量,同時(shí)仍然滿足其需求。
大語言模型微調(diào)中心是一個(gè)開源項(xiàng)目,它包含了大規(guī)模語言模型微調(diào)和部署的代碼庫以及相關(guān)研究成果。該項(xiàng)目由GeorgianPartners旗下的GeorgianIO團(tuán)隊(duì)開發(fā),目的是幫助用戶輕松地針對(duì)具體業(yè)務(wù)場(chǎng)景對(duì)各種LLM進(jìn)行微調(diào),并根據(jù)綜合評(píng)估結(jié)果選擇最適合的模型。該項(xiàng)目預(yù)計(jì)會(huì)持續(xù)迭代,支持越來越多前沿的LLM,并公開更多評(píng)估實(shí)驗(yàn)結(jié)果,以造福LLM領(lǐng)域的技術(shù)發(fā)展。