11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享。快來騰訊云選購吧!
上海巖芯數(shù)智人工智能科技有限公司的Yan架構(gòu)大模型成功通過《生成式人工智能服務(wù)管理暫行辦法》備案,這是國內(nèi)首個非Transformer架構(gòu)大模型通過備案。Yan模型簡介Yan架構(gòu)大模型是國內(nèi)首個非Transformer架構(gòu)、非Attention機制的大模型。Yan架構(gòu)大模型的備案通過是RockAI踐行使命的重要里程碑,未來,我們期待Yan架構(gòu)大模型在更多設(shè)備單元部署應(yīng)用,讓群體智能引領(lǐng)走向通用人工智能,與合作伙伴一起,領(lǐng)先一步開拓更加廣闊的市場空間。
【新智元導(dǎo)讀】LLM訓(xùn)練速度還可以再飆升20倍!英偉達(dá)團(tuán)隊祭出全新架構(gòu)歸一化Transformer,上下文越長,訓(xùn)練速度越快能維持原有精度。AI的未來,或許就此改寫......最近,英偉達(dá)團(tuán)隊拋出的一枚重磅炸彈,提出了全新神經(jīng)網(wǎng)絡(luò)架構(gòu)——歸一化Transformer,基于超球面進(jìn)行表示學(xué)習(xí)。下圖6展示了,注意力模塊和MLP模塊的特征學(xué)習(xí)率,應(yīng)用于MLP中間狀態(tài)的縮放因子,應(yīng)用于QK點積之前?
訓(xùn)練Transformer,用來解決132年的數(shù)學(xué)世紀(jì)難題!如何判斷一個動力系統(tǒng)是否穩(wěn)定?Meta和巴黎理工學(xué)院團(tuán)隊攜手提出SymbolicTransformer,直指這一經(jīng)典難題的核心:發(fā)現(xiàn)新的全局李雅普諾夫函數(shù)。從牛頓、拉格朗日到龐加萊,無數(shù)科學(xué)家傾力研究三體問題的長期穩(wěn)定性,卻始終無法給出一個通用的判定方法。作者巴黎師范教授AmauryHayat表示,幾年前剛開始這個項目時,作為一個年輕天真?
【新智元導(dǎo)讀】隨著諾貝爾物理學(xué)獎頒給了「機器學(xué)習(xí)之父」GeoffreyHinton,另一個借鑒物理學(xué)概念的模型架構(gòu)也橫空出世——微軟清華團(tuán)隊的最新架構(gòu)DifferentialTransformer,從注意力模塊入手,實現(xiàn)了Transformer的核心能力提升。隨著近些年來NLP領(lǐng)域研究的不斷深入,我們逐漸發(fā)現(xiàn),Transformer架構(gòu)中出現(xiàn)的幻覺問題,以及各種下游任務(wù)中的性能不足,都或多或少與注意力缺陷有關(guān)。他的研究興趣是大語言模型的骨干網(wǎng)絡(luò)、長序列的建模和推理,以及大語言模型在其他領(lǐng)域的應(yīng)用。
通往AGI終極之路,是什么?這世界,沒有一個完整的定義,也沒有具體的答案。此前曝出的OpenAI秘密路線圖,將通往AGI目標(biāo)劃分五級。在Yan系列智慧生態(tài)的基礎(chǔ)上,持續(xù)的群體進(jìn)化將成為可能,最終繪制出「群體智能」的未來藍(lán)圖。
提示工程師RileyGoodside小哥,依然在用「Strawberry里有幾個r」折磨大模型們,GPT-4o在無限次PUA后,已經(jīng)被原地逼瘋!相比之下,Claude堅決拒絕PUA,是個大聰明。谷歌最近的論文也揭示了本質(zhì)原因:LLM沒有足夠空間,來存儲計數(shù)向量。這表明在計數(shù)任務(wù)中,我們可能需要借助于不具有相同限制的工具,例如代碼解釋器等。
Transformer八子中最年輕的AidanGomez在最新的采訪中感嘆:谷歌版的AidanGomez,是給AI領(lǐng)域帶來深遠(yuǎn)影響的Transformer作者之一。現(xiàn)在的AidanGomez,是估值飆升55億美元的Cohere公司的聯(lián)合創(chuàng)始人兼CEO。所以我認(rèn)為我們的首要任務(wù)應(yīng)該是提高生產(chǎn)力和增長。
【新智元導(dǎo)讀】就在剛剛,Meta最新發(fā)布的Transfusion,能夠訓(xùn)練生成文本和圖像的統(tǒng)一模型了!完美融合Transformer和擴散領(lǐng)域之后,語言模型和圖像大一統(tǒng),又近了一步。真正的多模態(tài)AI模型,可能很快就要來了!Transformer和Diffusion,終于有了一次出色的融合。他在卡耐基梅隆大學(xué)語言技術(shù)研究所獲得博士學(xué)位,師從EduardHovy教授,并在上海交通大學(xué)獲得了計算機科學(xué)碩士和學(xué)士學(xué)位?
出任Gemini聯(lián)合技術(shù)主管!這就是Transformer“貢獻(xiàn)最大”作者NoamShazeer,重返谷歌后的最新動向。據(jù)TheInformation的更多爆料,Shazeer將與谷歌AI主管JeffDean和DeepMind首席科學(xué)家OriolVinyals,一起致力于Gemini的開發(fā)。這也讓人不得不感慨,即使是AI搜索,在盈利模式上還是和傳統(tǒng)搜索一樣,都得靠廣告。
「因果推理」絕對是當(dāng)前GenAI熱潮下的小眾領(lǐng)域,但是它有一個大佬級的堅定支持者——YannLeCun。他在推特上的日常操作之一,就是炮轟Sora等生成模型,并為自己堅信的因果推理領(lǐng)域搖旗吶喊。受JudeaPearl愿景的啟發(fā),這項工作代表著一個潛在的新科學(xué)前沿——因果關(guān)系研究和語言模型的交叉點上。