7月25日，備受期待的《永劫無間》手游正式開啟公測，該手游預(yù)下載階段便榮登App Store免費(fèi)總榜TOP1!游戲中全新引入的語音AI隊(duì)友功能，迅速吸引了廣大玩家的關(guān)注和好評。

這一創(chuàng)新玩法由網(wǎng)易24工作室聯(lián)合網(wǎng)易伏羲AI實(shí)驗(yàn)室共同研發(fā)，作為全球首 款游戲Co pilot隊(duì)友，該功能依托于最前沿的AI大模型推理技術(shù)，成功塑造了與真人玩家體驗(yàn)相媲美的AI隊(duì)友。AI隊(duì)友不僅能夠自主執(zhí)行跑圖、搜索物資、參與戰(zhàn)斗、跑圈等戰(zhàn)術(shù)動作，更能在戰(zhàn)斗中提供輔助和救援，通過自然語音與玩家進(jìn)行雙向無縫溝通。

《永劫無間》手游上線當(dāng)日，網(wǎng)易伏羲AI技術(shù)負(fù)責(zé)人睿風(fēng)應(yīng)邀在「2024驍龍游戲技術(shù)賞」上發(fā)表演講，首 次公開分享《永劫無間》手游中語音AI隊(duì)友的技術(shù)探索和應(yīng)用成果。該活動為高通公司循例在ChinaJoy前夕舉辦的年度盛會，今年，高通公司攜手網(wǎng)易伏羲等產(chǎn)業(yè)合作伙伴，共同探討移動技術(shù)創(chuàng)新如何賦能前沿數(shù)字娛樂體驗(yàn)。

因演講當(dāng)日恰逢《永劫無間》手游公測上線，睿風(fēng)無法到達(dá)現(xiàn)場，所以通過連線方式進(jìn)行分享。以下是他的演講實(shí)錄:

大家好，我是來自網(wǎng)易伏羲的睿風(fēng)，很高興能夠參加「驍龍游戲技術(shù)賞」。

（網(wǎng)易伏羲AI技術(shù)負(fù)責(zé)人睿風(fēng)現(xiàn)場連線分享畫面）

網(wǎng)易伏羲成立于2017年9月份，是國內(nèi)第 一個面向游戲行業(yè)進(jìn)行AI研究的人工智能實(shí)驗(yàn)室，我們以“創(chuàng)建人工智能與游戲交叉領(lǐng)域的世界知名實(shí)驗(yàn)室”為宗旨，運(yùn)用人工智能尖 端技術(shù)為玩家營造新世代的游戲體驗(yàn)，同時也借助游戲平臺的海量數(shù)據(jù)和仿真環(huán)境，推動人工智能技術(shù)的發(fā)展。

自2017年成立至今，網(wǎng)易伏羲已經(jīng)在多款游戲中落地大量的AI玩法。例如我們在《逆水寒》端游中首創(chuàng)AI照片捏臉玩法和智能養(yǎng)育系統(tǒng)，在《永劫無間》端游中，我們上線了基于強(qiáng)化學(xué)習(xí)技術(shù)的噩夢人機(jī)玩法，利用AI反外掛技術(shù)定位和處罰違規(guī)玩家確保公平游戲環(huán)境。去年我們在現(xiàn)象級游戲《逆水寒》手游中落地了大量創(chuàng)新的AI應(yīng)用，包括智能NPC、文字捏臉、大宋頭條、UGC劇組模式等等，打造了全球首 款A(yù)I游戲，也獲得了玩家們的高度認(rèn)可和歡迎。

今年，我們在今天正式上線的《永劫無間》手游中，率先發(fā)布了全球首創(chuàng)的語音AI隊(duì)友玩法。在這個玩法中，玩家可以邀請智能AI隊(duì)友進(jìn)行一場完整的游戲體驗(yàn)。玩家可以通過語音交互的方式，直接跟AI進(jìn)行交流。這個AI隊(duì)友首先能聽懂指揮，搜裝送裝、團(tuán)戰(zhàn)配合樣樣精通;其次能實(shí)時觀察戰(zhàn)況，匯報關(guān)鍵信息并答疑解惑;此外AI隊(duì)友還具備強(qiáng)大的戰(zhàn)斗能力，博弈強(qiáng)、配合好;最后該AI隊(duì)友還能自由交流，給予玩家較高的情緒價值。

為了能實(shí)現(xiàn)這個能聽、能說還能做的AI隊(duì)友，網(wǎng)易伏羲基于多年的技術(shù)積累，結(jié)合語音識別、語義理解、文本生成、語音合成、強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)等多項(xiàng)AI技術(shù)，解決了大量的技術(shù)難題。為了實(shí)現(xiàn)跟真人隊(duì)友幾乎無異的語音交互體驗(yàn)，我們給這個玩法設(shè)定了幾個技術(shù)指標(biāo)。

首先相比于喚醒詞或手動按鈕觸發(fā)的交互方式，全開麥的實(shí)時語音交互對我們提出了更多的技術(shù)挑戰(zhàn)，其中最核心的就是噪音檢測和非交互內(nèi)容識別的能力，為了盡可能降低誤觸率，我們使用網(wǎng)易伏羲的有靈眾包平臺，在開發(fā)期就采用自動數(shù)據(jù)閉環(huán)方式，通過持續(xù)采集各種機(jī)型和項(xiàng)目成員們的真實(shí)體驗(yàn)數(shù)據(jù)，不斷優(yōu)化模型效果。

其次，為了讓AI能夠比較準(zhǔn)確識別玩家指令并做出最合理的行為決策，我們不僅引入了自然語言理解技術(shù)來提升指令識別能力，而且采用了基于指令的強(qiáng)化學(xué)習(xí)技術(shù)，讓模型能夠根據(jù)指令和實(shí)時的戰(zhàn)場狀態(tài)，做出最合理的行為決策，實(shí)現(xiàn)了盡可能遵循玩家指令的基礎(chǔ)上，又保持較高強(qiáng)度的游戲能力。

最后，為了達(dá)到極低的交互體驗(yàn)速度，我們做了大量的工程優(yōu)化工作。當(dāng)前線上的實(shí)時響應(yīng)時長最短可以實(shí)現(xiàn)300ms內(nèi)的語音和行為響應(yīng)，最長響應(yīng)時長也能控制1s左右，從而實(shí)現(xiàn)了讓交流不延遲，讓配合更及時。

正如前面提到的，這個語音AI隊(duì)友玩法對于時延非常敏感，為了給用戶帶來更極 致的交互體驗(yàn)，伏羲跟高通進(jìn)行了深入合作，將部分AI推理從云端GPU遷移到第三代驍龍8移動平臺的NPU上。

為什么我們要去做端側(cè)推理?首先就是低時延，相比于基于云的推理，端側(cè)推理可以節(jié)省網(wǎng)絡(luò)傳輸帶來的時間延遲，特別是對于一些網(wǎng)絡(luò)條件不太好的地區(qū)的玩家，這部分的時延降低帶來的收益是非常可觀的，從而給這部分玩家?guī)砀玫挠螒蝮w驗(yàn)。其次從公司層面來說，AI推理從云端遷移到端側(cè)，可以充分利用玩家的終端算力，降低服務(wù)運(yùn)行成本。我們知道目前云端的GPU服務(wù)都是比較貴的，為了控制成本，很多AI服務(wù)都會對應(yīng)用做一些使用限制或讓玩家采用付費(fèi)使用的方式，而端側(cè)推理可以讓這部分玩家自由地體驗(yàn)AI玩法。

當(dāng)前在《永劫無間》手游的AI隊(duì)友玩法中，網(wǎng)易伏羲跟高通已經(jīng)遷移了部分AI能力到端側(cè)，目前正在做更多深入合作。我們期望未來可以將更多AI能力，包括大語言模型（LLM），語音合成(TTS)等技術(shù)適配到手機(jī)終端，給玩家們帶來更好的游戲體驗(yàn)。

（推廣）