聲明:本文來自于微信公眾號(hào) 智東西,作者:徐豫,授權(quán)站長(zhǎng)之家轉(zhuǎn)載發(fā)布。
AI手機(jī)、AI PC、AI眼鏡等智能設(shè)備正逐步AI Agent化,但這些小型終端要用上大模型能力,還差一把關(guān)鍵鑰匙,即一套端邊云聯(lián)動(dòng)的解決方案。
智東西1月6日?qǐng)?bào)道,目前,大模型行業(yè)正呈現(xiàn)出端邊云協(xié)同,以加速端智能場(chǎng)景落地的新趨勢(shì)。
過去一年,智能門鎖、AI看護(hù)機(jī)、AI眼鏡、無人機(jī)等多種形態(tài)的端側(cè)AI產(chǎn)品密集涌入市場(chǎng),主打輕量化部署,其內(nèi)置的AI模型通常小而易用。然而,端側(cè)設(shè)備的功耗和算力仍十分受限,涉及復(fù)雜計(jì)算的推理任務(wù)正在向邊緣和云端轉(zhuǎn)移。
換句話說,大模型所具備的算力優(yōu)勢(shì)與小模型側(cè)重的低成本部署之間,還缺少一座連接的橋梁。字節(jié)跳動(dòng)旗下的云服務(wù)平臺(tái)火山引擎給出了它們的最新解法。
在2024年冬季火山引擎FORCE原動(dòng)力大會(huì)上,火山引擎邊緣云官宣全面升級(jí)其智能邊緣,優(yōu)化了物聯(lián)網(wǎng)平臺(tái)、智能平臺(tái)、邊緣大模型網(wǎng)關(guān)服務(wù),并推出了邊緣原生智能體。這可以看作是一整套基礎(chǔ)設(shè)施,可以用這個(gè)系統(tǒng)連接起端側(cè)小模型應(yīng)用和邊云大模型能力。
火山引擎邊緣智能技術(shù)負(fù)責(zé)人謝皓解釋道,端側(cè)主要提供了OneSDK一站式解決方案,使得端側(cè)的嵌入式設(shè)備也能用上大模型;邊緣側(cè)上線了大模型網(wǎng)關(guān),提升了大模型調(diào)用過程的效率和穩(wěn)定性;中心側(cè)會(huì)編排一些智能體,降低大模型部署應(yīng)用的難度;而邊緣原生智能體可面向不同行業(yè)定制個(gè)性化的智能體。
對(duì)于邊緣智能最新技術(shù)優(yōu)勢(shì)、邊緣智能新應(yīng)用場(chǎng)景和邊緣智能下一步發(fā)展重點(diǎn),謝皓也向智東西分享了他的看法。
他認(rèn)為,邊緣AI的發(fā)展當(dāng)前可以分為基礎(chǔ)設(shè)施和應(yīng)用場(chǎng)景兩個(gè)方面來看,前者主要負(fù)責(zé)解決連接和計(jì)算問題,并提供大模型調(diào)度和計(jì)算推理能力。而邊緣AI應(yīng)用場(chǎng)景的發(fā)展目前仍受限于碎片化和難規(guī)模化,謝皓稱,一套支持端邊云聯(lián)動(dòng)的智能邊緣架構(gòu)多數(shù)情況可復(fù)用,在一定程度上能拓寬邊緣AI的部署范圍。
為什么要強(qiáng)化AI Agent與大模型的連接,如何安全地實(shí)現(xiàn)計(jì)算任務(wù)的端邊云協(xié)同處理,邊緣智能解決方案能應(yīng)對(duì)AI Agent時(shí)代的哪些難題?與火山引擎邊緣智能技術(shù)負(fù)責(zé)人謝皓深入溝通后,我們?cè)敿?xì)拆解了一站式邊緣智能解決方案的兩大技術(shù)優(yōu)勢(shì)。
01.
大中小廠都在用
AI Agent調(diào)動(dòng)大模型有新招
從卷大模型技術(shù)到卷大模型應(yīng)用,2024年AI Agent生態(tài)迎來了小高潮。據(jù)Cookie.fun最新數(shù)據(jù)顯示,截至2025年1月4日,AI Agent整體市值已經(jīng)達(dá)到173.6億美元,過去7天的漲幅接近50%。
除了資本市場(chǎng)熱度升溫,AI Agent自身能力也得到快速發(fā)展?!陡2妓埂?024年12月底援引業(yè)內(nèi)人士觀點(diǎn)稱,預(yù)計(jì)2025年將出現(xiàn)能夠依據(jù)簡(jiǎn)短提示詞執(zhí)行復(fù)雜任務(wù)的AI Agent。
在LangChain一份針對(duì)2024年AI Agent現(xiàn)狀的調(diào)研報(bào)告中,1300多名受訪者超半數(shù)已經(jīng)在生產(chǎn)過程中使用Agent。其中員工規(guī)模介于100至2000名的中型公司占比63%,最常用Agent來為生產(chǎn)過程提效。
如果該調(diào)研進(jìn)一步擴(kuò)大篩選范圍,把有計(jì)劃應(yīng)用AI Agent或正在開發(fā)AI Agent的公司都算在內(nèi),那么AI Agent的潛在和實(shí)際用戶比例則高達(dá)78.1%。
這也意味著,過去一年大多數(shù)公司有意愿引入AI Agent,但可能實(shí)際部署時(shí)遇到了各式各樣的絆腳石,從而滯后了相關(guān)計(jì)劃。其中可能不乏一些早前積累了AI模型資源的公司,那么基于一個(gè)更通用的邊緣AI基礎(chǔ)架構(gòu),按需把AI模型能力遷移至端側(cè)設(shè)備,或許是其新的出路。
據(jù)公開信息顯示,國(guó)內(nèi)的潤(rùn)欣科技、地瓜機(jī)器人、上海一高校等不同領(lǐng)域的公司和單位,都開始加速落地大模型,以刺激業(yè)務(wù)增長(zhǎng)。而這背后用到了火山引擎的邊緣智能基礎(chǔ)架構(gòu)。
為了更好地適應(yīng)AI Agent時(shí)代,該邊緣智能基礎(chǔ)架構(gòu)優(yōu)化了4大方面,包括簡(jiǎn)化端智能接入流程,提升邊緣云推理請(qǐng)求的加速性能、推理能力和安全性,增強(qiáng)大模型文件分發(fā)、智能體配置等功能,以及新增了多個(gè)行業(yè)智能體。
謝皓接受智東西采訪時(shí)提到這套解決方案所涉及的AI模型,云上服務(wù)主要使用豆包大模型,而解析提示詞等步驟則會(huì)用到一些帶有行業(yè)屬性的、自家微調(diào)的傳統(tǒng)CV模型,或者開源的小模型。
02.
會(huì)節(jié)約算力的智能決策器
隱私安全為最高優(yōu)先級(jí)
通常情況下,AI Agent需要依賴云端服務(wù)器為其提供大量的算力和算法支持,但同時(shí)也面臨著算力資源爭(zhēng)搶和部署成本高昂的問題。相對(duì)于云服務(wù)而言,端智能在本地設(shè)備等端側(cè)處理計(jì)算任務(wù),能夠有效降低時(shí)延和運(yùn)算成本。
端智能在落地過程中可能會(huì)遇到以下四個(gè)方面的挑戰(zhàn),包括多平臺(tái)集成、多SDK適配、多重設(shè)備身份管理和多種模型協(xié)同。對(duì)于上述多點(diǎn)聯(lián)動(dòng)的難題,火山引擎邊緣智能上線了OneSDK、OneCredential和OneStop端智能一站式服務(wù)解決方案。
1、一站式軟件開發(fā)端智能解決方案OneSDK
端側(cè)會(huì)集成一個(gè)軟件開發(fā)工具包(SDK),基于該SDK可一站式解決在線升級(jí)(OTA)、日志記錄、遠(yuǎn)程登入、設(shè)備管理等設(shè)備運(yùn)維需求,設(shè)備密鑰、設(shè)備證書等設(shè)備安全需求,以及多模型和多智能體調(diào)用的設(shè)備智能需求。
同時(shí),端側(cè)還提供硬件抽象層(HAL)接口,以便在實(shí)時(shí)操作系統(tǒng)(RTOS)、其他嵌入式操作系統(tǒng)以及無操作系統(tǒng)的設(shè)備上遷移SDK。
2、一站式跨云服務(wù)權(quán)限端智能解決方案OneCredential
該解決方案支持云上多個(gè)平臺(tái)間的身份互認(rèn)和權(quán)限穿透,使得設(shè)備端可共享一套密鑰和證書,從而允許訪問邊緣大模型網(wǎng)關(guān)、物聯(lián)網(wǎng)平臺(tái)等多項(xiàng)服務(wù)。
這一舉措將有效降低設(shè)備端的資源占用,以及多份證書的重復(fù)創(chuàng)建成本,并且也避免了重復(fù)身份認(rèn)證所帶來的額外服務(wù)調(diào)用。同時(shí),在滿足安全性的前提下,該做法還提升了設(shè)備端的整體性能。
另外,在OneCredential端智能解決方案中,每個(gè)設(shè)備粒度可按需token配額,以提供針對(duì)端側(cè)更劃得來的計(jì)量和計(jì)費(fèi)策略。
3、一站式企業(yè)部署端智能解決方案OneStop
通過深度融合端云技術(shù),OneStop主要為企業(yè)降低了端側(cè)智能體的開發(fā)與接入門檻。
不過,上述端智能解決方案雖然給端側(cè)設(shè)備接入AI Agent提供了更多技術(shù)支持,但還不能一攬子突破端側(cè)AI的算力上限。由于算力和內(nèi)存等條件的限制,端側(cè)AI大多采用的是小模型,這也導(dǎo)致其難以兼顧一些復(fù)雜的計(jì)算任務(wù),或者更加多元化的應(yīng)用場(chǎng)景。
如果AI Agent消耗算力時(shí),也可以“吃多少拿多少”,自行匹配每次計(jì)算任務(wù)是調(diào)用端側(cè)的小模型,還是邊緣或云端的大模型,便能以性價(jià)比更高的方式應(yīng)對(duì)較為復(fù)雜的人機(jī)交互場(chǎng)景?;鹕揭孢吘壴?024年年底推出的智能決策器,就充當(dāng)了這個(gè)分配過程的總控室。
據(jù)公開信息顯示,該智能決策器可以依據(jù)提示詞等信息,將任務(wù)按需分發(fā)至本地、邊緣或云中處理。AI Agent推理請(qǐng)求難點(diǎn)主要是其對(duì)提示詞的理解,因此該智能決策器的前端設(shè)置了一套提示詞解析流程,即借助一個(gè)本地邊緣大模型解析提示詞,然后通過中心位的智能路由把解析結(jié)果傳輸給智能決策器。
那么接到一個(gè)計(jì)算任務(wù)時(shí),該智能決策器如何界定需要用到本地、邊緣還是云端的AI模型來處理呢?
其對(duì)于計(jì)算任務(wù)復(fù)雜程度的定性主要考慮兩大方面,一方面是基于規(guī)則的靜態(tài)決策,會(huì)綜合考慮功耗、機(jī)型和溫度等因素;另一方面是基于模型的動(dòng)態(tài)決策,會(huì)從小模型、隱私判斷和任務(wù)判斷等維度考量適用情況。
但當(dāng)決策結(jié)果出現(xiàn)矛盾時(shí),數(shù)據(jù)安全和隱私將成為首要考慮原則。其決策先后順序大致分為以下幾步:計(jì)算任務(wù)的安全和隱私級(jí)別較高時(shí),智能決策器的推理過程被要求僅調(diào)用本地模型;而計(jì)算任務(wù)的安全和隱私級(jí)別適中時(shí),智能決策器再結(jié)合計(jì)算任務(wù)的復(fù)雜程度分流,涉及隱私的優(yōu)先在本地處理,較為復(fù)雜的則傾向于調(diào)度至邊緣或云端開展推理。
以智能座艙為例,車內(nèi)攝像頭可能會(huì)拍攝記錄到一些涉及隱私的對(duì)話和行為,謝皓稱這種情況下智能決策器會(huì)傾向于本地化處理,但如果是需要聯(lián)網(wǎng)、涉及影像插件等較為復(fù)雜的操作,更多時(shí)候會(huì)交給云上大模型處理。
在智能決策器決定將推理請(qǐng)求轉(zhuǎn)發(fā)至本地設(shè)備外的過程中,具備標(biāo)準(zhǔn)接口、就近訪問、推理加速和高魯棒性四大核心能力的火山引擎邊緣大模型網(wǎng)關(guān),會(huì)提供進(jìn)一步的支持,以提升邊緣和云端“大腦”的訪問效率。
具體來看,在標(biāo)準(zhǔn)接口方面,邊緣大模型網(wǎng)關(guān)適配約20家主流大模型廠商,以及多家智能體提供商,實(shí)現(xiàn)與OpenAI相一致的標(biāo)準(zhǔn)接口,從而簡(jiǎn)化了開發(fā)流程。
在就近訪問方面,邊緣大模型網(wǎng)關(guān)通過全球范圍的邊緣節(jié)點(diǎn)和智能流量調(diào)度策略,來實(shí)現(xiàn)端側(cè)設(shè)備的就近快速接入,并降低延遲。
在推理加速方面,邊緣大模型網(wǎng)關(guān)采用了多種緩存技術(shù)和邊緣推理方法,有效提高了查詢速度,并增強(qiáng)了整體性能。
在高魯棒性上,邊緣大模型網(wǎng)關(guān)設(shè)置了跨模型廠商的故障遷移機(jī)制,并應(yīng)用了錯(cuò)誤重試策略,以此增強(qiáng)請(qǐng)求處理的魯棒性,使得計(jì)算任務(wù)處理的連續(xù)性和可靠性更強(qiáng)。
03.
能聯(lián)動(dòng)四方的邊緣原生智能體
支持AI Agent就近上云
邊緣原生智能體是AI模型端側(cè)落地的一個(gè)重要形式。
火山引擎方面提出了邊緣原生智能體的四大必備能力,包括理解設(shè)備能力、連接物理世界、單智能體協(xié)同和多智能體協(xié)同。這也各自對(duì)應(yīng)了人機(jī)交互場(chǎng)景中動(dòng)態(tài)捕捉和理解信息、自主感知或操作設(shè)備、單智能體完成特定任務(wù)、多智能體配合完成復(fù)雜任務(wù)的需求。
其中,為了完善邊緣原生智能體自主感知、操作設(shè)備的效果,火山引擎選擇聯(lián)動(dòng)自家的低代碼平臺(tái)“扣子”,通過定制插件和工作流來實(shí)現(xiàn)邊緣智能與家用設(shè)備、工業(yè)設(shè)備、車載設(shè)備等物理世界實(shí)體的連接?;鹕揭娣矫娣Q,目前邊緣原生智能體已應(yīng)用于相關(guān)智能數(shù)字工廠和智慧園區(qū),涉及工業(yè)質(zhì)檢、園區(qū)安防等領(lǐng)域。
現(xiàn)階段,火山引擎邊緣云的分布式云網(wǎng)基礎(chǔ)設(shè)施在海內(nèi)外共有2500多個(gè)邊緣節(jié)點(diǎn),其網(wǎng)絡(luò)時(shí)延控制在較低的1至40毫秒區(qū)間,支持端邊互聯(lián)、邊邊互聯(lián)和邊云互聯(lián)場(chǎng)景,從而實(shí)現(xiàn)智能應(yīng)用就近上云。
同時(shí)智能應(yīng)用從端側(cè)遷移到邊緣或云端的過程中,無論是單智能體內(nèi)部的端邊云互傳,還是多智能體之間的協(xié)同連接,都依賴于一個(gè)安全傳輸網(wǎng)絡(luò)。對(duì)此,火山引擎邊緣云在DDoS防護(hù)、邊緣WAF和頻次控制等傳統(tǒng)安全防護(hù)措施的基礎(chǔ)上,新增了針對(duì)AI Agent的邊緣安全防護(hù)功能,包括提示詞檢測(cè)、系統(tǒng)提示詞防御、結(jié)果檢查等。
04.
結(jié)語:從各司其職到取長(zhǎng)補(bǔ)短
端邊云協(xié)同成AI應(yīng)用大勢(shì)
當(dāng)前,雖然大模型種類、性能及其開發(fā)商都較為多元,可供支持部署AI Agent的選擇比較多,但芯片、算力、能源等大模型相關(guān)資源仍處于僧多粥少的階段,因此中小型公司在AI Agent的部署上,常常難以搶跑大公司。但如果只用成本較低的端側(cè)AI,又還不足以覆蓋公司所有的生產(chǎn)提效需求和場(chǎng)景。
端邊云協(xié)同處理AI任務(wù)將有效降低AI應(yīng)用部署的成本,節(jié)約算力和功耗,進(jìn)一步降低中小型公司引入AI Agent的門檻。
同時(shí),支持端邊云協(xié)同的邊緣智能基礎(chǔ)架構(gòu),有助于不同行業(yè)快速借鑒、定制可行的AI模型落地樣本。從火山引擎邊緣云現(xiàn)階段公開的成果來看,具身智能、端智能芯片、智能玩具、創(chuàng)新教育等行業(yè)內(nèi)都拿出了實(shí)戰(zhàn)案例。
(舉報(bào))