聲明:本文來(lái)自于微信公眾號(hào) 數(shù)字生命卡茲克，授權(quán)站長(zhǎng)之家轉(zhuǎn)載發(fā)布。
昨天，微軟忽然發(fā)布了一個(gè)新的模型，能夠用于網(wǎng)頁(yè)自動(dòng)化操作。
他們也正式開卷跟智譜AutoGLM一樣自主人工智能了。
而前天，我也在The Information網(wǎng)站上看到一個(gè)消息:
標(biāo)題Google Preps AI That Takes Over Computers，翻譯過(guò)來(lái)就是:
谷歌準(zhǔn)備推出接管計(jì)算機(jī)的人工智能。
上周三Claude、周五智譜AI、周末Google，然后微軟。
短短一周內(nèi)，已經(jīng)有四個(gè)公司爆出來(lái)要發(fā)布類似的產(chǎn)品了，其中三個(gè)已經(jīng)悄悄發(fā)布產(chǎn)品:Anthropic的Claude，智譜的AutoGLM和微軟的OmniParser。這些產(chǎn)品的能力有目共睹。
Goolge雖然也只是個(gè)爆料，但是大概率今年就能出來(lái)，非常心急，想把坑先占上。
而且，我知道的消息是，OpenAI內(nèi)部肯定也在做，就看什么時(shí)候掏出來(lái)了。
二級(jí)市場(chǎng)對(duì)于這種自主人工智能，反饋也非常的正。上周五智譜的AutoGLM出來(lái)之后，在金融圈直接爆了，連智譜AI概念股都出來(lái)了。
自主人工智能，好像瞬間點(diǎn)燃了AI圈的熱情。
又開啟了新一輪的用戶心智的搶占。
畢竟剛剛開卷，哪家最早發(fā)，哪家確實(shí)就是會(huì)有優(yōu)勢(shì)。
不過(guò)自主人工智能的熱度確實(shí)有點(diǎn)超乎了我的想象。
不過(guò)也能理解，類似于這種你發(fā)個(gè)指令他就會(huì)全自動(dòng)化去處理的AI，才符合我們對(duì)人工智能的真正的期待，才有一點(diǎn)，那種AI變成現(xiàn)實(shí)的感覺。
現(xiàn)在的AI，坦率的講，雖然有一些智能，但是遠(yuǎn)遠(yuǎn)離不開人工，完全沒有達(dá)到解放雙手的目的，絕大多數(shù)時(shí)候都是“人工”+“智能”。
而且對(duì)于各家AI公司來(lái)說(shuō)，底層模型的能力已經(jīng)卷到一定的瓶頸了，看現(xiàn)在大模型的一些榜單，大家也一點(diǎn)不關(guān)心了。
需要一些更科幻的，更新鮮的刺激。
所以這個(gè)時(shí)候，自主人工智能過(guò)來(lái)接棒，就很香。
而自主人工智能完成任務(wù)的一個(gè)大致流程是:
理解用戶的需求-》系統(tǒng)規(guī)劃-》調(diào)用工具執(zhí)行任務(wù)-》目標(biāo)完成
這個(gè)流程看起來(lái)其實(shí)不復(fù)雜。
一年多前，就有人在做了，最經(jīng)典的那個(gè)項(xiàng)目，github上狂攬十六萬(wàn)星的噬星狂魔AutoGPT。
但是AutoGPT到后面開始沉寂，其實(shí)有個(gè)很大的問(wèn)題，就是完全基于大語(yǔ)言模型做的。
這個(gè)就有很多的局限性。
比如，純粹的語(yǔ)言模型只能處理文本，而現(xiàn)在很多任務(wù)比如點(diǎn)外賣，打車都需要讀取屏幕信息。大語(yǔ)言模型本身不能直接處理，往往需要多加一步將圖片轉(zhuǎn)換為文本輸入。
而圖片轉(zhuǎn)換為文字后，對(duì)于大語(yǔ)言模型又會(huì)丟失很多信息。
好比你被蒙著雙眼，只是語(yǔ)言告訴你屋里有些什么，無(wú)論語(yǔ)言描述多么細(xì)節(jié)，你想象力多么豐富，腦海里都無(wú)法還原得與真實(shí)一模一樣。
模型的可控性比較差，模型就容易懵逼，導(dǎo)致任務(wù)中斷，或干脆給你隨機(jī)發(fā)揮，聽天由命。
所以AutoGPT能做到的事情還是比較少，效果也沒有那么好，慢慢就淡出大家的視野了。
直到最近這波新的自主人工智能浪潮。
但是我也挺好奇一個(gè)問(wèn)題，就是這將近一年半的時(shí)間，自主人工智能為啥都什么消息，直到最近，才開始密集發(fā)聲?
是各家都在卷其他賽道，無(wú)暇顧及，還是都在做，只不過(guò)遇到了瓶頸，最近才有所突破?
我就去密集咨詢幾家國(guó)內(nèi)AI大廠的朋友。
其實(shí)大家口徑也都出奇的一致。
就是大家都在穩(wěn)步推進(jìn)，只是最近剛好到了一個(gè)可以拿出來(lái)用的時(shí)間點(diǎn)，而且大家的進(jìn)展其實(shí)也沒有差異太多。
而這一年半，自主人工智能沒咋出現(xiàn)在公眾視野，看起來(lái)進(jìn)展很緩慢的樣子，其實(shí)有兩個(gè)最主要的原因。
多模態(tài)模型不夠成熟。
2. 缺太多行為數(shù)據(jù)了。
第一個(gè)點(diǎn)其實(shí)很好理解。
就是你不能讓模型蒙著眼睛去規(guī)劃任務(wù)，他都不知道屏幕上面的元素長(zhǎng)啥樣，純粹靠文字來(lái)描述，這個(gè)效果肯定很差。
所以推進(jìn)這塊，必須要有很強(qiáng)的多模態(tài)模型的基座能力作為基礎(chǔ)。
而多模態(tài)的模型，訓(xùn)起來(lái)其實(shí)就比純粹的大語(yǔ)言模型復(fù)雜多了。數(shù)據(jù)量、資源的消耗都是指數(shù)級(jí)增長(zhǎng)。本身就是慢，連Claude都是今年3月才上線多模態(tài)能力的。
所以在模型基座上，就是會(huì)很拖沓，這個(gè)是客觀的事實(shí)，不過(guò)最近幾個(gè)月，大家的多模態(tài)模型已經(jīng)基本都能用了，所以基座模型層面，其實(shí)就是剛好到了一個(gè)節(jié)點(diǎn)。
去調(diào)研的智譜的大佬，也給出了我們同樣的答案。
第二個(gè)原因，其實(shí)就是數(shù)據(jù)上。
雖然互聯(lián)網(wǎng)包含大量的人類知識(shí)，但主要由靜態(tài)信息（圖片、文字）組成，這些靜態(tài)信息無(wú)法反應(yīng)一些動(dòng)態(tài)的過(guò)程。
比如，模型可以學(xué)習(xí)理解外賣界面上的脆皮炸雞是多少錢。因?yàn)榫W(wǎng)上有大量的靜態(tài)數(shù)據(jù)教會(huì)它錢是什么、能干什么。模型可以理解“錢是能買到炸雞的”。
但缺乏動(dòng)態(tài)數(shù)據(jù)教它怎么“找到美團(tuán)App，點(diǎn)開App，如何搜索脆皮炸雞，然后點(diǎn)擊下單”的這樣一個(gè)動(dòng)態(tài)過(guò)程。
這個(gè)其實(shí)就跟o1的那套推理的路很像，模型不僅要知道結(jié)果，還要知道其中的過(guò)程。
整個(gè)自主人工智能的操作路徑，其實(shí)就是一個(gè)多模態(tài)的巨型思維鏈。
o1和claude給大家打了個(gè)樣，證明了強(qiáng)化學(xué)習(xí)這條路是對(duì)的，那強(qiáng)化基座模型的推理能力是一個(gè)應(yīng)用方向，而做這種真正的Agent，又是一個(gè)強(qiáng)化學(xué)習(xí)應(yīng)用的典型場(chǎng)景。
一個(gè)偏基模，一個(gè)偏應(yīng)用。
而這套通過(guò)強(qiáng)化學(xué)習(xí)補(bǔ)充數(shù)據(jù)的范式，其實(shí)也就是今年3、4月以后，才逐漸形成的業(yè)內(nèi)共識(shí)。
所以，著就能解釋，為什么過(guò)去一年半的時(shí)候，這種自主人工智能一直沒啥進(jìn)展，直到最近才密集發(fā)聲，其實(shí)就是多模態(tài)基座和數(shù)據(jù)的原因。
最后，再簡(jiǎn)單說(shuō)說(shuō)AutoGLM這種能力，大概是怎么實(shí)現(xiàn)的，具體細(xì)節(jié)他們也都沒透露，我只能根據(jù)我的調(diào)研結(jié)果，進(jìn)行一些猜測(cè)，不過(guò)AutoGLM團(tuán)隊(duì)最近應(yīng)該會(huì)發(fā)個(gè)技術(shù)報(bào)告，到時(shí)候可以關(guān)注一下。
比如一個(gè)最簡(jiǎn)的例子，說(shuō):微信發(fā)送“今天瘋狂星期四V我50”的消息給鮮蝦包。
那么大模型拿到任務(wù)后，會(huì)一邊看當(dāng)前屏幕的界面，一邊利用思維鏈一步一步推理:
任務(wù)可以在當(dāng)前的UI界面下繼續(xù)進(jìn)行嗎?是的話進(jìn)行第2步，否的話就會(huì)思考“應(yīng)該打開什么界面”然后進(jìn)行下一步動(dòng)作。
分析當(dāng)前UI和最終任務(wù)的關(guān)系，分解成一步一步的動(dòng)作”
現(xiàn)在首先需要填充輸入框“今天瘋狂星期四V我50”
然后點(diǎn)擊“發(fā)送”
然后思考問(wèn)題是否最終被解決?如果是的話結(jié)束，如果否的話回到第1步繼續(xù)循環(huán)。
這一切，都建立在模型能看到屏幕，能理解屏幕上那些亂七八糟的元素的基礎(chǔ)上。他不僅需要復(fù)雜的規(guī)劃能力，還需要直到這個(gè)是按鈕，這個(gè)是單選控件，這個(gè)是表單，這個(gè)是開關(guān)等等。
而滑動(dòng)這個(gè)操作，反而是最麻煩的，人看起來(lái)很簡(jiǎn)單，是因?yàn)槿藢?duì)于UI界面，已經(jīng)有數(shù)十年的經(jīng)驗(yàn)了，滑動(dòng)本身就是預(yù)測(cè)的過(guò)程，我們根據(jù)我的經(jīng)驗(yàn)，大概能猜到這一屏如果沒有我要的信息，那他可能是在下一屏。
所以我們會(huì)進(jìn)行一個(gè)滑動(dòng)操作，但是對(duì)于AI來(lái)說(shuō)，這個(gè)預(yù)測(cè)，反而是最難的。
所以后面，需要繼續(xù)灌數(shù)據(jù)，灌大量的行為性數(shù)據(jù)，形成泛化能力。
讓AI，有跟人類一樣的，UI常識(shí)，和對(duì)交互的可預(yù)測(cè)性。
雖然目前不是那么完美。
Claude的Computer Use和智譜的AutoGLM，都有自己的一堆問(wèn)題，也遠(yuǎn)遠(yuǎn)沒到一個(gè)算是完美產(chǎn)品的地步。
但這畢竟也只是剛剛開始。
當(dāng)一切路徑明確。
兩個(gè)月時(shí)間。
可能，一切就變天了。
（舉報(bào)）
