（騰訊云副總裁王亞晨）

隨著大模型的火熱持續(xù)迭代，AI基礎(chǔ)設(shè)施愈發(fā)成為云廠商的核心競爭力之一。

7月1日，騰訊宣布其自研星脈高性能計算網(wǎng)絡(luò)全面升級，升級后的星脈網(wǎng)絡(luò)2.0搭載全自研的網(wǎng)絡(luò)設(shè)備與AI算力網(wǎng)卡，支持超10萬卡大規(guī)模組網(wǎng)，網(wǎng)絡(luò)通信效率比上一代提升60%，讓大模型訓(xùn)練效率提升20%。這意味著，如果原來訓(xùn)練中某個計算結(jié)果的同步需要花100秒完成，現(xiàn)在只需要40秒;原來需要花50天訓(xùn)練的模型，只需要花40天。

AI大模型就像是一場F1比賽，騰訊云專門設(shè)計了星脈高性能算力網(wǎng)絡(luò)“賽道”，并自研了TiTa和TCCL網(wǎng)絡(luò)協(xié)議作為“賽事指揮中心與專業(yè)車隊(duì)”，共同讓“騰訊云高性能計算集群HCC的GPU服務(wù)器”這臺馬力強(qiáng)大的F1賽車發(fā)揮最 大的算力性能，助力客戶在AI大模型的競爭中領(lǐng)先。

AIGC的火熱推動著AI大模型參數(shù)量從億級到萬億級的飆升。模型參數(shù)規(guī)模與架構(gòu)升級對底層網(wǎng)絡(luò)網(wǎng)絡(luò)也提出了新的要求。

為支撐AIGC中海量數(shù)據(jù)的大規(guī)模訓(xùn)練，大量服務(wù)器通過高速網(wǎng)絡(luò)組成大規(guī)模算力集群，互聯(lián)互通，共同完成訓(xùn)練任務(wù)。

然而，集群規(guī)模越大，所產(chǎn)生的通信損耗會越高;同時，AI訓(xùn)練的通信模式，與傳統(tǒng)的通信模式差異較大，不同大模型架構(gòu)也存在著通信模式的差異。部分大模型訓(xùn)練過程中通信占比最 大可達(dá)50%。同時，分布式計算模式也意味著，單點(diǎn)的故障將導(dǎo)致整個集群不可用，因此在故障的時候需要快速定位與恢復(fù)訓(xùn)練，把損失降到最 低。

如何在大規(guī)模組網(wǎng)前提下，提升通信效率、降低通信占比，讓訓(xùn)練穩(wěn)定高可用，進(jìn)而提升GPU的利用率和模型訓(xùn)練效率，是AI網(wǎng)絡(luò)要解決的核心問題。

數(shù)據(jù)顯示，星脈網(wǎng)絡(luò)2.0可實(shí)現(xiàn)大模型訓(xùn)練過程中，網(wǎng)絡(luò)通信占比（通信時間占總體時間比例）低至6%，遠(yuǎn)低于10%的業(yè)界水平;通信負(fù)載率達(dá)到90%，與IB網(wǎng)絡(luò)(Infiniband)持平，相較于標(biāo)準(zhǔn)以太網(wǎng)提升60%。整體能力處于業(yè)界頂 尖水平。

四大組件全面升級，助力AI訓(xùn)練提速

騰訊自研星脈網(wǎng)絡(luò)是一套軟硬協(xié)同的高性能網(wǎng)絡(luò)體系，包括自研網(wǎng)絡(luò)設(shè)備、通信協(xié)議、通信庫以及運(yùn)營系統(tǒng)四大關(guān)鍵組件，每個組件均采用了業(yè)界首創(chuàng)的騰訊核心技術(shù)。

（騰訊云副總裁王亞晨）

硬件方面，騰訊星脈網(wǎng)絡(luò)是業(yè)界首 個采用全自研網(wǎng)絡(luò)設(shè)備的高性能網(wǎng)絡(luò)，包括交換機(jī)、自研光模塊、網(wǎng)卡等。自研交換機(jī)從25.6T容量升級到51.2T，同時在業(yè)界率先引入400G硅光模塊，速率翻倍，讓網(wǎng)絡(luò)延遲降低40%，支持超10萬卡大規(guī)模組網(wǎng)。

值得注意的是，星脈網(wǎng)絡(luò)2.0支持搭載騰訊自研的全新算力網(wǎng)卡，這是公共云業(yè)內(nèi)首 款為AI訓(xùn)練設(shè)計的網(wǎng)卡，網(wǎng)卡采用最 新一代 FPGA 芯片，整卡帶寬可達(dá)400Gbps，具備業(yè)界最 高的3.2T整機(jī)通信帶寬。該自研算力網(wǎng)卡運(yùn)行著新一代騰訊自研通信協(xié)議TiTa，并搭載了騰訊獨(dú)有的主動擁塞控制算法。

相比起上一代，TiTa協(xié)議2.0從部署在交換機(jī)轉(zhuǎn)移到了端側(cè)的網(wǎng)卡上，從原來的被動擁塞算法升級到了更為智能的主動擁塞控制算法，可主動調(diào)整數(shù)據(jù)包發(fā)送速率，從而避免網(wǎng)絡(luò)擁堵;并通過擁堵智能調(diào)度，實(shí)現(xiàn)網(wǎng)絡(luò)擁塞快速自愈。這讓混合專家（MoE）模型訓(xùn)練下網(wǎng)絡(luò)通信性能相比1.0提升30%，帶來訓(xùn)練效率10%的提升。

專為星脈網(wǎng)絡(luò)設(shè)計的高性能集合通信庫TCCL，也進(jìn)行了升級。通過創(chuàng)新的NVLINK+NET異構(gòu)并行通信、Auto-Tune?Network?Expert自適應(yīng)算法等通信庫的升級，在MoE模型訓(xùn)練下，給星脈網(wǎng)絡(luò)帶來了30%的通信效率提升，讓模型訓(xùn)練效率提升10%。

TCCL 對外的接口跟原生通信庫接口完全一致的，主流AI大模型客戶不需要額外適配，只需要替換通信庫就可以發(fā)揮星脈的能力。

通信協(xié)議TiTa與通信庫TCCL的升級帶來的效果疊加，讓星脈網(wǎng)絡(luò)的通信效率提升60%，MoE大模型訓(xùn)練效率提升20%。

網(wǎng)絡(luò)的故障或任何單點(diǎn)的故障，將導(dǎo)致整個集群不可用，讓模型訓(xùn)練暫停。因此，網(wǎng)絡(luò)的高可用、穩(wěn)定性也極為重要。為確保星脈網(wǎng)絡(luò)的高可用，騰訊云自研了端到端的全棧網(wǎng)絡(luò)運(yùn)營系統(tǒng)，這也是星脈網(wǎng)絡(luò)第四大關(guān)鍵組件。

運(yùn)營系統(tǒng)2.0新增騰訊獨(dú) 家技術(shù)靈境仿真平臺，從原來僅能定位網(wǎng)絡(luò)問題，到可定位GPU節(jié)點(diǎn)問題，實(shí)現(xiàn)萬卡級訓(xùn)練故障卡頓、慢節(jié)點(diǎn)分鐘級定位。這對星脈網(wǎng)絡(luò)進(jìn)行了360度無死角的立體監(jiān)控，可以更快發(fā)現(xiàn)與定位網(wǎng)絡(luò)問題，讓整體故障的排查時間再次大幅縮短，故障時盡快恢復(fù)續(xù)訓(xùn)。

打造最適合大模型的云

目前，騰訊云已經(jīng)面向AIGC場景推出了基于星脈網(wǎng)絡(luò)的大模型訓(xùn)練集群HCC、AIGC存儲解決方案、向量數(shù)據(jù)庫以及行業(yè)大模型服務(wù)MaaS、天御AIGC內(nèi)容安全解決方案等大模型全鏈路云服務(wù)。超過80%的頭部大模型企業(yè)使用了騰訊云服務(wù)。

大模型訓(xùn)練集群在HCC將高性能云服務(wù)器作為節(jié)點(diǎn)，滿配最 新代次的GPU，節(jié)點(diǎn)之間通過自研星脈網(wǎng)絡(luò)互聯(lián)，提供高性能、高帶寬和低延遲的一體化高性能計算產(chǎn)品。

騰訊云AIGC云存儲解決方案是國內(nèi)首 個實(shí)現(xiàn)存儲引擎全面自研的云存儲解決方案，可將大模型的數(shù)據(jù)清洗和訓(xùn)練效率均提升一倍，需要的時間縮短一半。

騰訊云向量數(shù)據(jù)庫Tencent Cloud VectorDB每日支撐超過3700億次向量檢索請求，可支持千億級向量規(guī)模存儲，萬級 QPS 及毫秒級查詢延遲，適用于大模型的訓(xùn)練推理、RAG場景、AI應(yīng)用以及搜索推薦服務(wù)，實(shí)現(xiàn)企業(yè)數(shù)據(jù)接入AI的效率比傳統(tǒng)方案提升10倍。

騰訊云打造了天御AIGC全鏈路的內(nèi)容安全解決方案，提供包含數(shù)據(jù)服務(wù)、安全專家、機(jī)器審核、版權(quán)保護(hù)、客戶體驗(yàn)管理五大服務(wù)體系，護(hù)航企業(yè)從模型訓(xùn)練到事后運(yùn)營全過程的內(nèi)容安全建設(shè)。

同時，在自身AI基礎(chǔ)設(shè)施支撐下，騰訊自研的通用大模型騰訊混元大模型也在持續(xù)迭代。

借助基于星脈網(wǎng)絡(luò)的大模型訓(xùn)練集群HCC、Angel機(jī)器學(xué)習(xí)平臺等自研底層技術(shù)，騰訊搭建起萬卡AI訓(xùn)練集群，可以用更少的資源訓(xùn)練更大的模型，訓(xùn)練速度是主流框架的2.6倍;推理成本相比業(yè)界主流框架下降70%，并且支持國產(chǎn)主流硬件的適配。

騰訊混元已擴(kuò)展至萬億級參數(shù)規(guī)模，采用混合專家模型（MoE）結(jié)構(gòu)，在通用基礎(chǔ)能力和專業(yè)應(yīng)用能力方面處于國內(nèi)主流大模型領(lǐng)先地位。無論是企業(yè)客戶還是個人開發(fā)者，都可以通過騰訊云上API直接調(diào)用騰訊混元，實(shí)現(xiàn)更便捷的智能化升級。騰訊還聯(lián)合生態(tài)伙伴，將大模型技術(shù)與20多個行業(yè)結(jié)合，提供超50個行業(yè)大模型解決方案。

大模型時代的來臨，將開創(chuàng)下一代云服務(wù)，騰訊云致力于打造“最適合大模型的云”，也將持續(xù)升級底層AI基礎(chǔ)設(shè)施，助力企業(yè)把握AI時代。

（推廣）