11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購吧!
【新智元導(dǎo)讀】LLM訓(xùn)練速度還可以再飆升20倍!英偉達(dá)團(tuán)隊祭出全新架構(gòu)歸一化Transformer,上下文越長,訓(xùn)練速度越快能維持原有精度。AI的未來,或許就此改寫......最近,英偉達(dá)團(tuán)隊拋出的一枚重磅炸彈,提出了全新神經(jīng)網(wǎng)絡(luò)架構(gòu)——?dú)w一化Transformer,基于超球面進(jìn)行表示學(xué)習(xí)。下圖6展示了,注意力模塊和MLP模塊的特征學(xué)習(xí)率,應(yīng)用于MLP中間狀態(tài)的縮放因子,應(yīng)用于QK點(diǎn)積之前?
訓(xùn)練Transformer,用來解決132年的數(shù)學(xué)世紀(jì)難題!如何判斷一個動力系統(tǒng)是否穩(wěn)定?Meta和巴黎理工學(xué)院團(tuán)隊攜手提出SymbolicTransformer,直指這一經(jīng)典難題的核心:發(fā)現(xiàn)新的全局李雅普諾夫函數(shù)。從牛頓、拉格朗日到龐加萊,無數(shù)科學(xué)家傾力研究三體問題的長期穩(wěn)定性,卻始終無法給出一個通用的判定方法。作者巴黎師范教授AmauryHayat表示,幾年前剛開始這個項目時,作為一個年輕天真?
【新智元導(dǎo)讀】隨著諾貝爾物理學(xué)獎頒給了「機(jī)器學(xué)習(xí)之父」GeoffreyHinton,另一個借鑒物理學(xué)概念的模型架構(gòu)也橫空出世——微軟清華團(tuán)隊的最新架構(gòu)DifferentialTransformer,從注意力模塊入手,實現(xiàn)了Transformer的核心能力提升。隨著近些年來NLP領(lǐng)域研究的不斷深入,我們逐漸發(fā)現(xiàn),Transformer架構(gòu)中出現(xiàn)的幻覺問題,以及各種下游任務(wù)中的性能不足,都或多或少與注意力缺陷有關(guān)。他的研究興趣是大語言模型的骨干網(wǎng)絡(luò)、長序列的建模和推理,以及大語言模型在其他領(lǐng)域的應(yīng)用。
通往AGI終極之路,是什么?這世界,沒有一個完整的定義,也沒有具體的答案。此前曝出的OpenAI秘密路線圖,將通往AGI目標(biāo)劃分五級。在Yan系列智慧生態(tài)的基礎(chǔ)上,持續(xù)的群體進(jìn)化將成為可能,最終繪制出「群體智能」的未來藍(lán)圖。
提示工程師RileyGoodside小哥,依然在用「Strawberry里有幾個r」折磨大模型們,GPT-4o在無限次PUA后,已經(jīng)被原地逼瘋!相比之下,Claude堅決拒絕PUA,是個大聰明。谷歌最近的論文也揭示了本質(zhì)原因:LLM沒有足夠空間,來存儲計數(shù)向量。這表明在計數(shù)任務(wù)中,我們可能需要借助于不具有相同限制的工具,例如代碼解釋器等。
Transformer八子中最年輕的AidanGomez在最新的采訪中感嘆:谷歌版的AidanGomez,是給AI領(lǐng)域帶來深遠(yuǎn)影響的Transformer作者之一?,F(xiàn)在的AidanGomez,是估值飆升55億美元的Cohere公司的聯(lián)合創(chuàng)始人兼CEO。所以我認(rèn)為我們的首要任務(wù)應(yīng)該是提高生產(chǎn)力和增長。
【新智元導(dǎo)讀】就在剛剛,Meta最新發(fā)布的Transfusion,能夠訓(xùn)練生成文本和圖像的統(tǒng)一模型了!完美融合Transformer和擴(kuò)散領(lǐng)域之后,語言模型和圖像大一統(tǒng),又近了一步。真正的多模態(tài)AI模型,可能很快就要來了!Transformer和Diffusion,終于有了一次出色的融合。他在卡耐基梅隆大學(xué)語言技術(shù)研究所獲得博士學(xué)位,師從EduardHovy教授,并在上海交通大學(xué)獲得了計算機(jī)科學(xué)碩士和學(xué)士學(xué)位?
出任Gemini聯(lián)合技術(shù)主管!這就是Transformer“貢獻(xiàn)最大”作者NoamShazeer,重返谷歌后的最新動向。據(jù)TheInformation的更多爆料,Shazeer將與谷歌AI主管JeffDean和DeepMind首席科學(xué)家OriolVinyals,一起致力于Gemini的開發(fā)。這也讓人不得不感慨,即使是AI搜索,在盈利模式上還是和傳統(tǒng)搜索一樣,都得靠廣告。
「因果推理」絕對是當(dāng)前GenAI熱潮下的小眾領(lǐng)域,但是它有一個大佬級的堅定支持者——YannLeCun。他在推特上的日常操作之一,就是炮轟Sora等生成模型,并為自己堅信的因果推理領(lǐng)域搖旗吶喊。受JudeaPearl愿景的啟發(fā),這項工作代表著一個潛在的新科學(xué)前沿——因果關(guān)系研究和語言模型的交叉點(diǎn)上。
什么AI應(yīng)用每秒處理20000個AI推理請求,達(dá)到2024年谷歌搜索流量的1/5?答案是獨(dú)角獸Character.ai,由Transformer作者NoamShazeer創(chuàng)辦。沙哥公布了推理優(yōu)化獨(dú)門秘訣,迅速引起業(yè)界熱議。最近有消息稱,Meta與馬斯克的𝕏都在爭取與他們合作,把聊天機(jī)器人引入社交平臺。
“零信任”是一種不信任任何事物、全面進(jìn)行認(rèn)證的思路,用于解決互聯(lián)網(wǎng)和企業(yè)安全問題?!傲阈湃巍焙芎玫亟鉀Q了傳統(tǒng)邊界防護(hù)長期存在的問題,每次連接用戶請求都需要進(jìn)行驗證。面對不斷演進(jìn)的網(wǎng)絡(luò)威脅,AkamaiGuardicorePlatform不僅是抵御風(fēng)險的堅盾,更是企業(yè)數(shù)字化轉(zhuǎn)型的加速器,引領(lǐng)著企業(yè)安全進(jìn)入一個全新的時代。
馬毅教授團(tuán)隊最近取得了顯著的研究成果,他們開發(fā)的CRATE-α模型首次證實了白盒Transformer架構(gòu)的可擴(kuò)展性。這一進(jìn)展對于自然語言處理、圖像處理和視覺計算領(lǐng)域的深度表征學(xué)習(xí)具有重要意義。這些研究成果不僅推動了Transformer模型的發(fā)展,也為未來的研究和應(yīng)用開辟了新的道路。
多層感知器,也被稱為全連接前饋神經(jīng)網(wǎng)絡(luò),是當(dāng)今深度學(xué)習(xí)模型的基礎(chǔ)構(gòu)建塊。MLP的重要性無論怎樣強(qiáng)調(diào)都不為過,因為它們是機(jī)器學(xué)習(xí)中用于逼近非線性函數(shù)的默認(rèn)方法。
來自南京大學(xué)、上海人工智能實驗室、復(fù)旦大學(xué)、浙江大學(xué)的研究隊發(fā)布了一項關(guān)于視頻理解的開創(chuàng)性工作。該研究全面審視了Mamba模型在建模中的多重角色,提出了針對14種模型/模塊的VideoMambaSuite,并對其在12項視頻理解任務(wù)中進(jìn)行了深估。綜合實驗結(jié)果顯示,Mamba模型在視頻理解領(lǐng)域具潛在的優(yōu)勢和多樣化的角色,為未來視頻理解研究提供了有力的推動和參考價值。
4月16日,GLP-1Formula上線大牌購2小時銷售額即突破200W,掀起夏日瘦身備戰(zhàn)狂潮,再度刷新店主收益榜單!戰(zhàn)果卓然!“口服司美”概念引爆私域4月16日,歷經(jīng)高強(qiáng)度預(yù)熱后,大牌購再度發(fā)布重磅P&R計劃新品——私域首家食品級“口服司美”GLP-1Formula,銷售店主單日收入過萬13人,日入5千20人,最高日入8萬,共1134位店主收入過1000元。驚人戰(zhàn)績繼DéJOJOez法國玖玖后再度刷新收益榜單,背后不僅是大牌購強(qiáng)大供應(yīng)鏈實力和私域種草運(yùn)營實力的充分彰顯,大牌購P&R計劃首創(chuàng)的“軍—師—連”運(yùn)營管理模式可行性更是再次得到驗證。大牌購將以獨(dú)家專供、高傭、軍師連額外獎勵、長期復(fù)購的多重目標(biāo),夯實業(yè)界“美業(yè)大健康”雙飛輪戰(zhàn)略,助力平臺店主加倍美麗,倍速賺,實現(xiàn)prettyandrich的創(chuàng)富目標(biāo)!
特斯拉正式揭開了全新Model3P的神秘面紗,售價33.59萬元,預(yù)計交付日期為2024年第三季度。新推出的特斯拉Model3Performance,不僅繼承了特斯拉一貫的高品質(zhì)與卓越性能,更在細(xì)節(jié)之處展現(xiàn)了品牌的匠心獨(dú)運(yùn)。相信憑借其卓越的性能和合理的價格,新款Model3Performance定將成為市場上的一款熱銷車型。
4月19日至21日—2024Formula1聯(lián)想中國大獎賽在上海國際賽車場開賽,F(xiàn)1中國站正式迎來20周年并將首次舉辦沖刺賽。作為Formula1的官方技術(shù)合作伙伴,聯(lián)想集團(tuán)通過品質(zhì)卓越的ThinkPad筆記本電腦等創(chuàng)新產(chǎn)品組合,將在此次的F1聯(lián)想中國大獎賽中為F1運(yùn)營提供核心技術(shù)支持及服務(wù)幫助。隨著融合了尖端科技與速度激情的賽事——2024F1聯(lián)想中國大獎賽的成功舉辦,全球億萬觀眾鎖定ThinkPad?
2024年3月26日,聯(lián)泰科技與Formlabs戰(zhàn)略合作簽訂儀式及技術(shù)交流會在廣東東莞圓滿落幕!本次戰(zhàn)略合作的達(dá)成將進(jìn)一步推動雙方企業(yè)在3D打印領(lǐng)域的深度融合,以期用專業(yè)實力共筑增材制造行業(yè)發(fā)展新未來。聯(lián)泰科技與Formlabs戰(zhàn)略合作簽訂儀式現(xiàn)場聯(lián)泰科技副總經(jīng)理&營銷中心總經(jīng)理汪超先生表示,非常榮幸能夠與Formlabs達(dá)成此次戰(zhàn)略合作。聯(lián)泰科技與Formlabs的攜手同行將是增材制造領(lǐng)域?qū)π沦|(zhì)生產(chǎn)力的再一次生動詮釋,期待雙方在后續(xù)的合作中帶給行業(yè)更多的精彩內(nèi)容。
MediaTekDaVinciGenAIPlatform是一個強(qiáng)大的生成式AI平臺,能提供自然流暢的人工智能對話體驗,充當(dāng)個人助理。平臺還能整合多種信息源,幫助用戶全方位了解相關(guān)信息。MediaTekDaVinciGenAIPlatform的使用場景多種多樣,包括:編寫高質(zhì)量文章快速了解技術(shù)文檔內(nèi)容根據(jù)需求擴(kuò)展平臺功能MediaTekDaVinciGenAIPlatform的產(chǎn)品特色直接聊天文檔分析插件擴(kuò)展希望通過此平臺提高工作和生活效率,獲取所需信息和服務(wù)的用戶可以嘗試使用MediaTekDaVinciGenAIPlatform。
谷歌終于更新了Transformer架構(gòu)。最新發(fā)布的Mixture-of-Depths,改變了以往Transformer計算模式。這篇論文目前被引次數(shù)超過3500次,論文核心定義了Inductivebias概念。
3月29日,知名AI研究實驗室AI21在官網(wǎng)開源了,首個基于SSM-Transformer混合架構(gòu)的商業(yè)大模型——Jamba。ChatGPT、StableDifusion、Lyria等產(chǎn)品使用的皆是Transformer架構(gòu),雖然在捕捉序列內(nèi)長距離依賴關(guān)系、泛化能力、特征提取等方面非常優(yōu)秀,但在處理長序列、訓(xùn)練大參數(shù)模型時存在AI算力消耗大、過擬合、內(nèi)存占用大等缺點(diǎn)。耐克、Zoom、沃爾瑪、三星、阿迪達(dá)斯、airbnb等知名企業(yè)在使?
Transformer作者中唯一去了OpenAI的那位,公開承認(rèn)了:他參與了Q*項目,是這項新技術(shù)的發(fā)明者之一。這幾天除了英偉達(dá)老黃組局把Transformer作者聚齊,他們中的幾位還接受了連線雜志的采訪,期間出了這么一個小插曲。但當(dāng)時谷歌高層仍舊不為所動,關(guān)鍵決策者忽略甚至嘲笑他。
【新智元導(dǎo)讀】剛剛,OpenAI超級對齊團(tuán)隊負(fù)責(zé)人官宣開源Transformer調(diào)試器。研究人員不用寫代碼,就能快速探索LLM的內(nèi)部構(gòu)造了!AGI真的越來越近了!為了確保人類不被AI殺死,在解密神經(jīng)網(wǎng)絡(luò)/Transfomer黑箱這一方面,OpenAI從未停下腳步。研究人員使用了了幾個附加指標(biāo)的組合:不過研究人員也表示,希望從Transformer上訓(xùn)練的稀疏自動編碼器中,為字典學(xué)習(xí)解決方案確定更好的指標(biāo)。
SnapVideo是一個視頻優(yōu)先的模型,通過延伸EDM框架系統(tǒng)地解決視頻生成領(lǐng)域的挑戰(zhàn),如運(yùn)動保真度、視覺質(zhì)量和可擴(kuò)展性。該模型利用幀間的冗余信息,提出了一個可伸縮的transformer架構(gòu),將空間和時間維度作為一個高度壓縮的1D潛在向量,從有效地進(jìn)行空間時間聯(lián)合建模,合成時間連貫性強(qiáng)、運(yùn)動復(fù)雜的視頻?,F(xiàn)在就訪問SnapVideo官方網(wǎng)站,體驗視頻合成Transformer架構(gòu)的引領(lǐng)技術(shù)?
靈活視覺變換器是一種全新的Transformer架構(gòu)圖像生成模型,專門設(shè)計用于創(chuàng)造沒有分辨率和寬高比限制的圖像。相較于傳統(tǒng)將圖像視為固定分辨率網(wǎng)格的方法,F(xiàn)iT將圖像視為一系列可變大小的圖像塊。FiT的問世將為圖像生成領(lǐng)域帶來新的可能性,為用戶提供更加靈活多樣的圖像生成體驗。
隨著大模型的崛起,RNN模型Eagle7B挑戰(zhàn)了Transformer的霸主地位。該模型在多語言基準(zhǔn)測試中表現(xiàn)卓越,同時推理成本降低數(shù)十倍。通過不斷探索和創(chuàng)新,人工智能技術(shù)將更好地為人類社會和個體提供服務(wù)。
在深度學(xué)習(xí)技術(shù)的推動下,圖像分割領(lǐng)域發(fā)生了巨大變革VisionTransformers在其中發(fā)揮了重要作用。本文介紹了一種基于Transformer的圖像分割模型——Mask2Former,該模型在語義、實例和全景分割任務(wù)上都能夠使用相同的架構(gòu),具有通用性。在實際應(yīng)用中,需要根據(jù)具體需求權(quán)衡模型性能和資源消耗,選擇合適的模型。
企業(yè)云數(shù)據(jù)管理領(lǐng)導(dǎo)者Informatica發(fā)布了其年度調(diào)查結(jié)果,題為《CDOInsights2024:制定AI準(zhǔn)備路線》。調(diào)查聚焦全球數(shù)據(jù)領(lǐng)袖,包括首席數(shù)據(jù)官在內(nèi),有600名受訪者提供了他們對生成式人工智能準(zhǔn)備的見解,并突顯了在實施該方法時的關(guān)鍵技術(shù)和組織障礙。報告總結(jié)指出,數(shù)據(jù)領(lǐng)袖必須認(rèn)識到人工智能和數(shù)據(jù)管理是成功的相互推動因素,最大化它們的潛力將為組織的未來帶來變革性的改變。
【新智元導(dǎo)讀】當(dāng)前的視覺模型哪個更好?Meta團(tuán)隊最新一波研究來了。如何根據(jù)特定需求選擇視覺模型?ConvNet/ViT、supervised/CLIP模型,在ImageNet之外的指標(biāo)上如何相互比較?來自MABZUAI和Meta的研究人員發(fā)表的最新研究,在「非標(biāo)準(zhǔn)」指標(biāo)上全面比較了常見的視覺模型。-CLIP模型具有較高的形狀偏差,與其ImageNet精度相比,分類錯誤較少。
【新智元導(dǎo)讀】AI算命將可以預(yù)測人類的意外死亡?丹麥科學(xué)家用全國600萬人的公開數(shù)據(jù)訓(xùn)練了一個基于Transformer的模型,成功預(yù)測了意外死亡和性格特點(diǎn)。AI真的可以用來科學(xué)地算命了!?丹麥技術(shù)大學(xué)的研究人員聲稱他們已經(jīng)設(shè)計出一種人工智能模型,據(jù)說可以預(yù)測人們的生活中的重大事件和結(jié)果,包括每個人死亡的大致時間。當(dāng)研究人員查看低概率區(qū)域的實際死亡時,研究人?