11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購吧!
ScalingLaw又能續(xù)命了?如何通過語言智能體的高級規(guī)劃來Scaling推理時計算?答案就是——使用LLM作為世界模型。使用GPT-4o來預(yù)測網(wǎng)站上操作的結(jié)果,可以提供強大的性能,同時還能提高安全性和效率。其他還有多模態(tài),基礎(chǔ)、規(guī)劃與推理,合成數(shù)據(jù)和智能體安全。
就連「量化」也不管用,scalinglaw真的要終結(jié)了嗎?一提scalinglaw,人們重點關(guān)注的是參數(shù)規(guī)模、數(shù)據(jù)量等因素,卻忽視了「精度」這一關(guān)鍵變量。哈佛斯坦福MIT等機構(gòu)研究人員竟發(fā)現(xiàn),低精度訓(xùn)練會降低模型的「有效參數(shù)量」!對此,他們提出了「精度感知」scalinglaw。他的研究旨在通過對簡單建模變化的深入實證調(diào)查來改進(jìn)LLM。
Ilya終于承認(rèn),自己關(guān)于Scaling的說法錯了!現(xiàn)在訓(xùn)練模型已經(jīng)不是「越大越好」是找出Scaling的對象究竟應(yīng)該是什么。SSI在用全新方法擴展預(yù)訓(xùn)練。如果GPT的發(fā)展沒有加速,是不是就意味著末日論者錯了——AI不會進(jìn)入所謂的遞歸自我改進(jìn)循環(huán),在這個循環(huán)中,AI會一次又一次地找出如何制造下一個更好版本的自己?對此,MarcAndreessen認(rèn)為,這種明顯的平臺期意味著這樣的恐懼目前看
半年兩次大融資后,這家具身智能黑馬再次獲得融資!作為柏睿資本首次投資的具身智能企業(yè),千尋智能不僅擁有出身自伯克利系聯(lián)創(chuàng),在技術(shù)、硬件、商業(yè)化上,也讓人極有信心。我們意外發(fā)現(xiàn),具身智能領(lǐng)域的明星初創(chuàng)公司千尋智能,悄悄完成了工商變更。具身智能這盤大棋,接下來就看千尋智能如何交卷了。
OpenAI的新模型o1,可謂是開啟了ScalingLaw的新篇章——隨著更多的強化學(xué)習(xí)和更多的思考時間,o1在邏輯推理能力上已經(jīng)達(dá)到了目前天花板級別。尤其是在北大給出的一項評測中,o1-mini模型的跑分比o1-preview還要高:這就展示一種新的思路和可能性——小模型專門加強推理能力,放棄在參數(shù)中存儲大量世界知識。我們希望通過這個專欄,讓更多的人了解CPU在AI推理加速,甚至是整個A
《黑神話·悟空》的火爆,帶火的不僅是3D游戲本身有背后暗潮洶涌的AI3D生成技術(shù)。外界對3D大模型賽道的關(guān)注度都稍遜于語言模型和視頻模型。3DScalingLaw或?qū)淼耐黄菩赃M(jìn)展,似乎已經(jīng)預(yù)示了人工智能領(lǐng)域下一個焦點的方向。
最近的公司會議上,奧特曼向全體員工承認(rèn),明年OpenAI或?qū)[脫非營利組織結(jié)構(gòu)。o1的問世,直接誕生了新的ScalingLaw,更是在醫(yī)療性能上表現(xiàn)出色。但毫無疑問的是,OpenAI的這一舉動,勢必會引發(fā)關(guān)于它對AI的治理以及偏離AGI使命的質(zhì)疑。
又一款國產(chǎn)AI神器吸引了眾網(wǎng)友和圈內(nèi)研究人員的關(guān)注!它就是全新的圖像和視頻生成控制工具——ControlNeXt,由思謀科技創(chuàng)始人、港科大講座教授賈佳亞團(tuán)隊開發(fā)。X平臺上知名AI博主「AK」推薦從命名來看,ControlNeXt「致敬」了斯坦福大學(xué)研究團(tuán)隊在2023年2月提出的ControlNet,通過引入一些額外的控制信號,讓預(yù)訓(xùn)練的圖像擴散模型根據(jù)預(yù)設(shè)的條件調(diào)整和優(yōu)化,實現(xiàn)線稿生成全彩圖能做語義分割、邊緣檢測、人體姿勢識別。未來在持續(xù)技術(shù)創(chuàng)新的驅(qū)動下,我們將看到更多「小彌堅」的大模型成果出現(xiàn)。
【新智元導(dǎo)讀】最近的論文表明,LLM等生成模型可以通過搜索來擴展,并實現(xiàn)非常顯著的性能提升。另一個復(fù)現(xiàn)實驗也發(fā)現(xiàn),讓參數(shù)量僅8B的Llama3.1模型搜索100次,即可在Python代碼生成任務(wù)上達(dá)到GPT-4o同等水平。為達(dá)到這個目的,可重復(fù)數(shù)字環(huán)境中的agent似乎是一個有前景的方向。
【新智元導(dǎo)讀】訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量,對LLM性能的重要性已經(jīng)是不言自明的事實。EpochAI近期的一篇論文卻給正在瘋狂擴展的AI模型們潑了冷水,他們預(yù)測,互聯(lián)網(wǎng)上可用的人類文本數(shù)據(jù)將在四年后,即2028年耗盡。「最大的不確定性在于,你會看到什么樣的技術(shù)突破。