站長之家(ChinaZ.com)6月7日 消息:Chrome團隊宣布,正在探索“內(nèi)置 AI”概念,即瀏覽器將具有內(nèi)置 AI 模型,以便為瀏覽器功能和網(wǎng)絡平臺 API 啟用設備上的 AI。
官方介紹稱,借助內(nèi)置 AI,您的網(wǎng)站或 Web 應用將能夠針對基礎模型和專家模型運行各種 AI 任務,而無需擔心部署和管理上述模型。特別是,Chrome將推出 Gemini Nano,這是 Gemini 模型系列中最小的版本,可在大多數(shù)配備 Chrome 的現(xiàn)代臺式機和筆記本電腦上本地運行。
據(jù)了解,最新的 Chrome 已經(jīng)內(nèi)測內(nèi)置了 Gemini Nano 大語言模型(4bit3.25B),可以用來做摘要、翻譯、寫作等任務,并且可以完全本地運行,離線免費。加入早期預覽版計劃,體驗處于早期階段的內(nèi)置 AI API
內(nèi)置 AI 為 Web 開發(fā)者帶來的好處
與在設備端 AI 中自行構建模型相比,內(nèi)置 AI 具有以下優(yōu)勢:
易于部署:瀏覽器分發(fā)模型時,會考慮設備功能并管理模型的更新。這意味著,您無需負責通過網(wǎng)絡下載或更新大型模型。您無需解決存儲空間逐出、運行時內(nèi)存預算、傳送費用和其他難題。
使用硬件加速功能:瀏覽器的 AI 運行時經(jīng)過優(yōu)化,可以充分利用可用的硬件,無論是 GPU、NPU 還是回退到 CPU。因此,您的應用可以在每臺設備上獲得最佳性能。
在設備上運行的好處
使用內(nèi)置 AI 方法,在設備上執(zhí)行 AI 任務變得輕而易舉,這反過來又具有以下優(yōu)勢:
本地處理敏感數(shù)據(jù):設備端 AI 可以改進您的隱私保護故事。例如,如果您處理敏感數(shù)據(jù),則可以通過端到端加密為用戶提供 AI 功能。
流暢的用戶體驗:在某些情況下,無需往返于服務器,意味著您可以提供近乎即時的結(jié)果。設備端 AI 可能是可行功能與次優(yōu)用戶體驗之間的區(qū)別。
對 AI 的訪問權限更高:用戶的設備可以承擔一些處理負載,以換取對功能的更多訪問權限。例如,如果您提供高級 AI 功能,則可以使用設備端 AI 來預覽這些功能,以便潛在客戶可以看到您產(chǎn)品的優(yōu)勢,而無需支付額外費用。這種混合方法還可以幫助您管理推斷費用,尤其是針對常用用戶流的推斷費用。
離線使用 AI:即使沒有互聯(lián)網(wǎng)連接,您的用戶也可以使用 AI 功能。這意味著您的網(wǎng)站和 Web 應用可以離線使用或采用可變連接方式,按預期運行。
申請網(wǎng)址:
https://docs.google.com/forms/d/e/1FAIpQLSfZXeiwj9KO9jMctffHPym88ln12xNWCrVkMY_u06WfSTulQg/viewform?pli=1
官方文檔:
https://developer.chrome.com/docs/ai/built-in?hl=zh-cn
(舉報)