? ? ?6月9-10日,由北京智源人工智能研究院舉辦的2023智源大會(huì)正式召開(kāi)。與會(huì)期間,智源發(fā)布了完整的悟道3.0大模型系列,標(biāo)志著大模型進(jìn)入到了全面開(kāi)源的新階段。此次悟道3.0包含首 個(gè)支持中英雙語(yǔ)知識(shí)、開(kāi)源商用許可的“悟道·天鷹(Aquila)”語(yǔ)言大模型系列,提供“能力-任務(wù)-指標(biāo)”三維評(píng)測(cè)框架的“天秤(FlagEval)”大模型評(píng)測(cè)體系,力求打造大模型時(shí)代“新Linux”生態(tài)的FlagOpen大模型開(kāi)源技術(shù)體系,以及6項(xiàng)“悟道·視界”視覺(jué)大模型研究成果。
? ? ? ?一年一度的智源大會(huì)是國(guó)際人工智能生態(tài)發(fā)展的標(biāo)志性活動(dòng),全球人工智能精英匯聚一堂,用最前沿的成果、最廣闊的國(guó)際視野進(jìn)行思想碰撞。大模型成為主角的背后,是此前ChatGPT掀起全球技術(shù)革命和商業(yè)浪潮的必然結(jié)果。如今,伴隨著大模型的快速崛起及廣泛應(yīng)用,底層算力的支撐作用愈發(fā)凸顯。潮流之下,國(guó)內(nèi)領(lǐng)先的AI硬件公司天數(shù)智芯與此次智源大會(huì)有多方面的深度合作。
? ? ? ?在技術(shù)推動(dòng)層面,基于天數(shù)智芯天垓100加速卡的算力集群,僅用19天便成功完成北京智源人工智能研究院70億參數(shù)大模型全量訓(xùn)練,收斂效果與英偉達(dá)A100集群相當(dāng)。天數(shù)智芯從硬件、軟件兩個(gè)角度推動(dòng)戰(zhàn)略升級(jí),打造高性?xún)r(jià)比、廣通用性的全棧式集群解決方案,為大模型時(shí)代提供強(qiáng)大算力底座。
? ? ? ?天數(shù)智芯的通用GPU產(chǎn)品天垓、智鎧系列具有自主可控、高性能、通用性、靈活性等特點(diǎn),廣泛支持PyTorch、TensorFlow、PaddlePaddle 等各種原生框架,支撐了200余種人工智能算法模型穩(wěn)定運(yùn)行。在此基礎(chǔ)上,天數(shù)智芯自主研發(fā)了IXCCL分布式通信技術(shù),顯著提升多機(jī)多卡高速互聯(lián)性能,打造基于自主通用GPU的算力集群方案,持續(xù)優(yōu)化自動(dòng)混精訓(xùn)練、流水線并行、張量并行、數(shù)據(jù)并行以及模型并行等并行加速策略,讓大模型訓(xùn)練、推理變得更加有效。
? ? ? ?大模型應(yīng)用的海量爆發(fā),天數(shù)智芯以持續(xù)的研發(fā)和技術(shù)升級(jí),支撐算力成規(guī)模增長(zhǎng)的需求。用國(guó)際領(lǐng)先的高性能通用GPU產(chǎn)品,不斷升級(jí)算力解決方案,適配支持更多參數(shù)量、更大數(shù)據(jù)集、更復(fù)雜算法的大模型。
(推廣)