阿里云正式推出其全面升級的 GPU 云服務(wù)，針對 GPU 計算最常用的容器技術(shù)，推出了 ACK 云原生 AI 套件。

為了解決單 GPU 難以滿足推理應(yīng)用需求的問題，阿里云通過優(yōu)化底層 AI 通信加速庫 DeepNCCL，提升了 GPU 云服務(wù)的推理場景性能。在同等硬件環(huán)境下，Token 輸出吞吐提升至少 14%，首 Token 時延降低 15%。

深入優(yōu)化后，推理加速性能顯著提升，Token 處理能力提高了 100%，使用 Kubernetes 容器集群技術(shù)調(diào)用 GPU 算力已成為運行 AI 大模型任務(wù)的普遍選擇。

ACK 容器服務(wù)提供自動化編排、高效 GPU 管理和調(diào)度，簡化了模型部署和擴展。ACK 云原生 AI 套件進一步提升了 AI 應(yīng)用運維效率，在關(guān)鍵領(lǐng)域增強了 Kubernetes 的能力，例如 GPU 調(diào)度、細粒度共享、AI 任務(wù)調(diào)度、訓(xùn)練數(shù)據(jù)加載和大模型推理服務(wù)啟動。

國產(chǎn) AI 繪畫工具海藝 AI 已采用 ACK 調(diào)用阿里云 GPU 云服務(wù)，實現(xiàn)了模型切換完全無感，推理耗時降低至 3.95 秒，整體性能提升超過 50%。

在 Forrester 全球 AI 基礎(chǔ)設(shè)施解決方案研究報告中，阿里云綜合產(chǎn)品能力位居全球第二，已成為中國 AI 大模型的公共底座。

（舉報）