為了挑戰(zhàn) OpenAI 的 GPT-3.5和 GPT-4等閉源模型的主導(dǎo)地位， 一系列開源模型力量正在崛起，包括 LLaMa、Falcon 等。最近，Meta AI 發(fā)布了 LLaMa-2模型，被譽(yù)為開源領(lǐng)域最強(qiáng)的大模型，很多研究者也在此基礎(chǔ)上搭建自己的模型。比如，StabilityAI 利用 Orca 風(fēng)格的數(shù)據(jù)集對 Llama270B
......
本文由站長之家合作伙伴自媒體作者“機(jī)器之心公眾號”授權(quán)發(fā)布于站長之家平臺，本平臺僅提供信息索引服務(wù)。由于內(nèi)容發(fā)布時(shí)間超過平臺更新維護(hù)時(shí)間，為了保證文章信息的及時(shí)性，內(nèi)容觀點(diǎn)的準(zhǔn)確性，平臺將不提供完全的內(nèi)容展現(xiàn)，本頁面內(nèi)容僅為平臺搜索索引使用。需閱讀完整內(nèi)容的用戶，請查看原文，獲取內(nèi)容詳情。
（舉報(bào)）
從頭預(yù)訓(xùn)練大模型被認(rèn)為需要高達(dá)5000萬美元的投資，這讓很多開發(fā)者和中小企業(yè)望卻步。Colossal-LLaMA-2的出現(xiàn)降低了大模型的門檻。該方案業(yè)已應(yīng)用到多個(gè)行業(yè)領(lǐng)域，構(gòu)建垂類大模型并取得良好效果。
大語言模型黑盒，居然被CMU等機(jī)構(gòu)的學(xué)者打破了?他們發(fā)現(xiàn)，LLM內(nèi)部有可解釋的表征，如果撒謊能被測謊儀檢測出來!最近，來自CAIS、CMU、斯坦福、康奈爾、馬里蘭、賓大等機(jī)構(gòu)的學(xué)者又有了令人震驚的發(fā)現(xiàn)——大語言模型，并不僅僅是黑匣子，或者難以理解的龐大矩陣。在它們內(nèi)部，具有可解釋的內(nèi)部表征。CMU等機(jī)構(gòu)研究者的探索也告訴我們，人類對于AI系統(tǒng)的理解和控制會(huì)越
Meta最近發(fā)布了Llama2LongAI模型，該模型在一些任務(wù)上超越了GPT-3.5Turbo和Claude2。通過改進(jìn)訓(xùn)練方法和編碼技術(shù)，Meta的研究人員提高了這個(gè)AI模型的性能，使其能夠更好地處理長文本和復(fù)雜任務(wù)。強(qiáng)調(diào)了合作的重要性，指出不是每個(gè)企業(yè)都擁有高級的數(shù)據(jù)工程和數(shù)據(jù)科學(xué)技能，因此需要與具有相關(guān)技術(shù)和深刻了解整個(gè)領(lǐng)域的合作伙伴合作來解決這一問題。
一年一度的MetaConnect大會(huì)上發(fā)布了一系列以AI為重點(diǎn)的公告。不僅是最新的MR耳機(jī)、與Ray-Ban合作打造的智能眼鏡，最重要的是，Meta將在自身的所有通訊類App、MetaQuest3和未來的Ray-BanMeta智能眼鏡中內(nèi)置生成式AI技術(shù)驅(qū)動(dòng)的新功能，從多輪對話的AI助手到圖像編輯等一應(yīng)俱全。對于Meta與微軟的合作，有網(wǎng)友做了一些有趣的梗圖，比如「殺死OpenAI」。
AI教育解決方案領(lǐng)導(dǎo)者Riiid宣布，其最新生成式AI模型在知名機(jī)器學(xué)習(xí)模型平臺HuggingFace上獲得第一名。HuggingFace開放式大語言模型排名中，Riiid10月提交的最新模型“Sheep-duck-llama-2”獲得了74.07分的高分，在全球500多個(gè)開源生成式AI模型中位居榜首。Riiid研究人員將繼續(xù)開發(fā)新的模型架構(gòu)，提升AI模型性能，并以實(shí)際數(shù)據(jù)驗(yàn)證學(xué)習(xí)影響，在國際AI會(huì)議上發(fā)表論文。
最強(qiáng)中文版LLaMA-2來了!15小時(shí)訓(xùn)練，僅需數(shù)千元算力，性能碾壓同級中文漢化模型，開源可商用。LLaMA-2相較于LLaMA-1，引入了更多且高質(zhì)量的語料，實(shí)現(xiàn)了顯著的性能提升，全面允許商用，進(jìn)一步激發(fā)了開源社區(qū)的繁榮，拓展了大型模型的應(yīng)用想象空間。ColossalAI云平臺現(xiàn)已開啟公測，注冊即可獲得代金券，歡迎參與并提出反饋。
國產(chǎn)新標(biāo)桿:免費(fèi)可商用的200億參數(shù)大模型，來了!書生·浦語大模型20B版本正式發(fā)布，一舉刷新國內(nèi)新一代大模型開源紀(jì)錄。它由上海人工智能實(shí)驗(yàn)室與商湯科技聯(lián)合香港中文大學(xué)和復(fù)旦大學(xué)共同推出。正如林達(dá)華所說:這或許才是當(dāng)下大模型趨勢里，大家最應(yīng)該“卷”的方向。
開源界最強(qiáng)的中英雙語大模型，悟道·天鷹34B，來了!有多強(qiáng)?一言蔽之:不僅模型夠大夠能打還一口氣送上整套“全家桶”級豪華周邊。能有如此大手筆的，正是中國大模型開源派先鋒——智源研究院。Aquila2模型全系開源地址:https://github.com/FlagAI-Open/Aquila2https://model.baai.ac.cn/https://huggingface.co/BAAIAquilaSQL開源倉庫地址:https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-sqlFlagAttenti
Meta最新發(fā)布的Llama2-Long模型引領(lǐng)著處理長文本的革命。這個(gè)模型不僅處理長文本輸入在不顯著增加計(jì)算需求的情況下，保持了卓越性能。它不僅改進(jìn)了處理長文本的性能通過創(chuàng)新策略為該領(lǐng)域注入了新的活力。
圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney回想兩個(gè)月前，LLaMA2的開源，曾以一己之力改變了大模型領(lǐng)域的競爭格局。相比于今年2月推出的第一代LLaMA，LLaMA2在推理、編碼、精通性和知識測試等任務(wù)中都實(shí)現(xiàn)了性能的大幅提升，甚至可以在某些數(shù)據(jù)集上接近GPT-3.5。如何讓大模型的能力與業(yè)務(wù)場景更好結(jié)合，同樣是當(dāng)下每一家大模型提供商的重點(diǎn)課題，也需要科技公司、學(xué)術(shù)機(jī)構(gòu)和開發(fā)者共同創(chuàng)造。
