11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享。快來騰訊云選購吧!
美東時(shí)間周三盤后,人工智能領(lǐng)域的領(lǐng)軍企業(yè)英偉達(dá)公布了其2025財(cái)年第三財(cái)季的財(cái)報(bào)。英偉達(dá)在該季度的營收達(dá)到了350.8億美元,同比大幅增長94%,超出了分析師預(yù)計(jì)的331億美元。在過去一年中,英偉達(dá)的股價(jià)實(shí)現(xiàn)了顯著增長,市值從2023年11月的1.11萬億美元增長至一年后的3.58萬億美元,超越了蘋果和微軟,成為全球市值最高的公司。
LLM若想高速推理,現(xiàn)如今,連GPU都無法滿足了?曾造出世界最大芯片公司Cerebras,剛剛發(fā)布了全球最快的AI推理架構(gòu)——CerebrasInference。運(yùn)行Llama3.18B時(shí),它能以1800token/s的速率吐出文字。值得注意的是,在Cerebras上跑的Llama3.1,上下文只有8k……相比之下,其他平臺(tái)都是128K。
【新智元導(dǎo)讀】多年來,馬斯克一直在公開談?wù)揇ojo——這臺(tái)超算將成為特斯拉人工智能雄心的基石。他最近表示,隨著特斯拉準(zhǔn)備在10月推出Robotaxi,AI團(tuán)隊(duì)將「加倍投入」Dojo。但一旦成功,也可以釋放巨大紅利。
SFCompute是一家位于硅谷的初創(chuàng)公司,旨在通過其平臺(tái)為小型企業(yè)提供所需的AI算力資源。該公司推出了算力租賃服務(wù),使用戶能夠以較低成本獲取所需資源,短時(shí)間內(nèi)使用大量計(jì)算能力。資金將用于建立交易平臺(tái),并計(jì)劃在未來一年內(nèi)將其工程人員規(guī)模增加一倍。
快科技7月7日消息,據(jù)媒體報(bào)道,行業(yè)分析師指出,即便在更為嚴(yán)苛的市場限制條件下,H20計(jì)算卡依然展現(xiàn)出強(qiáng)勁的銷售潛力,深受客戶青睞。據(jù)預(yù)測,英偉達(dá)有望在2024年向中國市場供應(yīng)超過百萬塊H20計(jì)算卡,這一數(shù)字彰顯了其市場認(rèn)可度。具體而言,每塊H20計(jì)算卡的定價(jià)區(qū)間穩(wěn)定在1.2萬至1.3萬美元之間(折合人民幣約為87,220元至94,489元),基于這一價(jià)格預(yù)估,其總銷售額有望突破120億美元大關(guān),這一數(shù)字將顯著超越英偉達(dá)上一個(gè)財(cái)年在中國的總收入,彰顯出巨大的市場價(jià)值。值得注意的是,國內(nèi)眾多科技企業(yè)長期以來依賴英偉達(dá)CUDA生態(tài)系統(tǒng)構(gòu)建
快科技7月2日消息,因涉嫌違反公平競爭,多地監(jiān)管機(jī)構(gòu)盯上英偉達(dá)。據(jù)報(bào)道,法國的反壟斷監(jiān)管機(jī)構(gòu)可能指控英偉達(dá)公司存在違反公平競爭原則的行為。據(jù)悉,法國監(jiān)管機(jī)構(gòu)最擔(dān)憂的問題就是英偉達(dá)的CUDA芯片編程軟件,它是唯一和英偉達(dá)GPU芯片百分百兼容的軟件,而GPU又是現(xiàn)在各大科技公司想要訓(xùn)練模型、提升計(jì)算能力必不可少的硬件。隨著程序員們逐漸習(xí)慣且依賴英偉達(dá)的CUDA軟件,原本不少分析師都認(rèn)為CUDA是英偉達(dá)的護(hù)城河”,但現(xiàn)在監(jiān)管機(jī)構(gòu)卻認(rèn)為,這在某種程度上違反了公平競爭行為。自從英偉達(dá)成為生成式AI熱潮的最大受益者之后,它就引起
在美國硅谷圣何塞召開的NVIDIAGTC大會(huì)上,全球領(lǐng)先的向量數(shù)據(jù)庫公司Zilliz發(fā)布了Milvus2.4版本。這是一款革命性的向量數(shù)據(jù)庫系統(tǒng),在業(yè)界首屈一指,它首次采用了英偉達(dá)GPU的高效并行處理能力和RAPIDScuVS庫中新推出的CAGRA技術(shù),提供基于GPU的向量索引和搜索加速能力,性能可提升50倍。關(guān)注Zilliz微信公眾號(hào),回復(fù)“北極星”可了解詳情。
在整個(gè)AI算力硬件的搭建中,英偉達(dá)毫無疑問站在最頂端,其GPU的動(dòng)態(tài)發(fā)展,直接關(guān)乎了行業(yè)的發(fā)展。在今天開幕的GTC2024上,黃仁勛帶來了新的B200GPU,其擁有2080億個(gè)晶體管,可提供高達(dá)20petaflops的FP4算力?!盉lackwell平臺(tái)能夠在萬億參數(shù)級(jí)的大型語言模型上構(gòu)建和運(yùn)行實(shí)時(shí)生成式AI成本和能耗比前身低25倍。
【新智元導(dǎo)讀】卷瘋了!世界最快的大模型Groq一夜之間爆火,能夠每秒輸出近500個(gè)token。如此神速的響應(yīng),背后全憑自研的LPU。去年11月,當(dāng)馬斯克的同名AI模型Grok開始受到關(guān)注時(shí),Groq的開發(fā)團(tuán)隊(duì)發(fā)表了一篇博客,幽默地請馬斯克另選一個(gè)名字:不過,馬斯克并未對兩個(gè)模型名稱的相似之處作出回應(yīng)。
近日,英偉達(dá)首次向外界公布了其最新的面向企業(yè)的AI超級(jí)計(jì)算機(jī)Eos,同時(shí)也是英偉達(dá)目前速度最快的AI超級(jí)計(jì)算機(jī)。Eos共配備了4608個(gè)英偉達(dá)H100GPU,同時(shí)還配備了1152個(gè)英特爾XeonPlatinum8480C處理器。英偉達(dá)表示,Eos整合了其在AI領(lǐng)域的專業(yè)技術(shù)和經(jīng)驗(yàn),是先前DGX超級(jí)計(jì)算機(jī)知識(shí)的結(jié)晶,可以幫助企業(yè)處理最具挑戰(zhàn)性的項(xiàng)目,并實(shí)現(xiàn)AI目標(biāo)。
用AMD的軟硬件系統(tǒng)也能訓(xùn)練GPT-3.5級(jí)別的大模型了。位于美國橡樹嶺國家實(shí)驗(yàn)室的全世界最大的超算Frontier,集合了37888個(gè)MI250XGPU和9472個(gè)Epyc7A53CPU。整個(gè)系統(tǒng)擁有602112個(gè)CPU核心,4.6PBDDR4內(nèi)存。
OpenAI年收入破16億美元,美股更是一片大好,以科技股為主的納斯達(dá)克指數(shù)年底暴漲漲了43%。2023年即將落幕,2024年AI行業(yè)又將迎來來怎樣的巨變?2023年對于科技行業(yè)來說,無疑是瘋狂的一年。用2023年大事件一覽圖收尾。
英偉達(dá)官方盤點(diǎn)2023年10大研究,從CV到AI,從智能體到生成式AI。英偉達(dá)不但現(xiàn)實(shí)世界中用GPU收割全世界,也在虛擬世界中用一項(xiàng)項(xiàng)匪夷所思的技術(shù)展開了一場革命。在這個(gè)框架中,研究人員訓(xùn)練了一組專家降噪器,專門用于在生成過程的不同間隔中進(jìn)行降噪,從提高合成能力。
國外媒體最新報(bào)道顯示,微軟計(jì)劃在2024年通過采購大量英偉達(dá)最新款A(yù)I加速芯片B100,來最大化提升其AI計(jì)算性能。此前微軟已訂購了15萬顆英偉達(dá)H100芯片,但考慮到B100的計(jì)算力預(yù)計(jì)可達(dá)H100的兩倍以上,微軟決定將部分H100訂單轉(zhuǎn)移至新款B100芯片。微軟搶購B100可以看作是這一競爭的最新回應(yīng)。
Nvidia最近一個(gè)季度的收入顯著增長,主要?dú)w功于其數(shù)據(jù)中心產(chǎn)品的銷售。公司年度總收入增長超過200%,在180億美元的收益中,有145億美元來自其數(shù)據(jù)中心產(chǎn)品。市場規(guī)模預(yù)計(jì)將在2027年翻倍,從目前的1000億美元增長到將近2000億美元的總收入。
在最新一輪MLPerf訓(xùn)練v3.1的結(jié)果中,盡管大部分成績并不激動(dòng)人心,但兩個(gè)結(jié)果引人注目。NVIDIA使用MLPerf來展示其最新的霍珀一代超級(jí)計(jì)算機(jī)。NVIDIA試圖展示它在圖表上有一個(gè)更長的條形圖,但在爭取更長條形圖的比賽中,它失去了規(guī)模效率,給了英特爾一個(gè)大勝利。
英偉達(dá)正在提升RTX20系列GPU用戶的游戲體驗(yàn),一款新的GPU驅(qū)動(dòng)程序現(xiàn)在允許這些較舊的RTXGPU使用RTXVideoSuperResolution技術(shù)來提高舊視頻的清晰度。在最新的博客文章中,英偉達(dá)確認(rèn)RTXVideoSuperResolution現(xiàn)在支持RTX20系列顯卡,包括RTX2080Ti和RTX20Super系列。在這一宣布之前,英偉達(dá)在FAQ頁面中解釋說,RTXVideoSuperResolution在發(fā)布時(shí)不支持RTX20系列顯卡,因?yàn)椤窻TXVideoSuperResolution的許多算法需要為這些20系列GPU進(jìn)行重構(gòu)」。
由于人工智能需求的大幅增加,英偉達(dá)計(jì)劃將其下一代BlackwellB100GPU的發(fā)布日期從2024年第四季度提前到2024年第二季度。該公司預(yù)計(jì)將使用SK海力士的HBM3eDRAM來驅(qū)動(dòng)其最新的芯片。這表明英偉達(dá)正在加快其AIGPU的步伐,希望在未來幾年繼續(xù)保持領(lǐng)先地位。
根據(jù)知名分析師郭明錤分享的最新洞察,到2024年和2025年,AMD的AI芯片出貨量將會(huì)大幅增長。郭明錤的研究表明,到2024年,AMD的AI芯片出貨量預(yù)計(jì)將占到英偉達(dá)出貨量的約10%。如果微軟與AMD的合作進(jìn)展順利,AMD獲得Meta和谷歌的訂單,預(yù)計(jì)2025年AMD的AI芯片出貨量將大幅達(dá)到英偉達(dá)的30%或更多。
【新智元導(dǎo)讀】有分析公司算出來,才三個(gè)月英偉達(dá)就賣出了800多噸H100。然市值已超萬億的英偉達(dá),竟是一個(gè)「無計(jì)劃、無匯報(bào)、無層級(jí)」的公司。業(yè)內(nèi)專家曾稱,英偉達(dá)H100的利潤率接近1000%。
市場研究公司Omdia披露,2023年第二季度,英偉達(dá)出貨了900噸H100AIGPU。Omdia認(rèn)為,一個(gè)帶有散熱器的H100GPU的平均重量超過3公斤,因此英偉達(dá)在第二季度出貨了30多萬塊H100。Omida的最新報(bào)告顯示,該公司有望達(dá)到這一里程碑。
MLPerf作為業(yè)界公認(rèn)的AI系統(tǒng)性能基準(zhǔn)測試,最近發(fā)布了3.1版本。英偉達(dá)最新發(fā)布的GH200GraceHopper超級(jí)芯片首次在公開基準(zhǔn)中亮相。未來的軟件優(yōu)化將進(jìn)一步釋放這些模塊中的英偉達(dá)OrinSoC的強(qiáng)大潛力。
關(guān)鍵詞:Transformer;PLM;SLM;NLM;LLM;Galactica;OPT;OPT-IML;BLOOM;BLOOMZ;GLM;Reddit;H100;H800;A100;A800;MI200;MI250;LaMA;OpenAI;GQA;RMSNorm;SFT;RTX4090;A6000;AIGC;CHATGLM;LLVM;LLMs;GLM;AGI;HPC;GPU;CPU;CPUGPU;英偉達(dá);Nvidia;英特爾;AMD;高性能計(jì)算;高性能服務(wù)器;藍(lán)海大腦;多元異構(gòu)算力;大模型訓(xùn)練;通用人工智能;GPU服務(wù)器;GPU集群;大模型訓(xùn)練GPU集群;大語言模?
伴隨著2024財(cái)年第二季度財(cái)報(bào)的發(fā)布,NVIDIA的市值再創(chuàng)歷史新高,盤中一度逼近1.2萬億美元,最新報(bào)收1.16萬億美元,相當(dāng)于8個(gè)Intel、7個(gè)AMD。NVIDIA將于2023年9月28日向2023年9月7日在冊的所有股東支付每股0.04美元的下一季度現(xiàn)金紅利。
英偉達(dá)日前發(fā)布了全新的NVIDIAL40SGPU,以及搭載該加速卡的NVIDIAOVX服務(wù)器系統(tǒng)。這款全新的GPU和OVX服務(wù)器適用于人工智能大模型訓(xùn)練和推理、三維設(shè)計(jì)和可視化、視頻處理、工業(yè)數(shù)字化等多種用途。這些服務(wù)器將有助于推動(dòng)人工智能的發(fā)展和應(yīng)用。
GPT-5的訓(xùn)練,需要5萬張H100加持。英偉達(dá)GPU已成為各大AI公司開發(fā)大模型的首選利器。但無論你怎么看,英偉達(dá)就是堡壘里的綠色國王。
快科技8月7日消息,得益于人工智能的火爆,英偉達(dá)的業(yè)績也是開始進(jìn)入爆發(fā)期,所以還指望他們對顯卡降價(jià)的,真不現(xiàn)實(shí)了。據(jù)外媒最新消息稱,英偉達(dá)將于8月23日公布截至7月30日的2023財(cái)年第三財(cái)季財(cái)報(bào),而從目前公司內(nèi)部傳出的消息看,這一季度業(yè)績好到不行。至于接下來英偉達(dá)更多的發(fā)展動(dòng)向,8月8日晚老黃也將在SIGGRAPH年度會(huì)議發(fā)表演講。研究機(jī)構(gòu)ALETHEIA對英偉達(dá)的業(yè)績給出了樂觀預(yù)期,將其目標(biāo)股價(jià)設(shè)為1000美元,而該公司目前的股價(jià)僅為446.80美元。盡管目前以及可預(yù)見的未來,AI服務(wù)器的滲透比例還不足5%,但是機(jī)構(gòu)預(yù)計(jì)2024年AI服務(wù)器
據(jù)英偉達(dá)官方網(wǎng)站公告,亞馬遜云現(xiàn)已正式推出由英偉達(dá)H100TensorCoreGPU驅(qū)動(dòng)的全新AmazonElasticComputeCloudP5實(shí)例。通過架構(gòu)創(chuàng)新,NVIDIAH100GPU提供了超級(jí)計(jì)算級(jí)別的性能,包括第四代TensorCores、用于加速LLMs的新Transformer引擎以及最新的NVLink技術(shù),可提供出色的性能。這些神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)著最復(fù)雜和計(jì)算密集型的生成式人工智能應(yīng)用程序,例如問答、代碼生成、視頻和圖像生成以及語音識(shí)別等。
英偉達(dá)還在準(zhǔn)備新版的RTX4070和RTX4060,不過GPU的核心有所調(diào)整,那么售價(jià)進(jìn)一步走低的話,你會(huì)購買嗎?按照爆料人kopite7kimi的說法,英偉達(dá)會(huì)用一些低等級(jí)的AD103和AD106GPU打造新版的RTX4070和RTX4060?,F(xiàn)在問題來了,你會(huì)為新款RTX4070和RTX4060買單嗎?
AWS用戶現(xiàn)在可以訪問AI訓(xùn)練和推理領(lǐng)域業(yè)界基準(zhǔn)測試中展示的領(lǐng)先性能。圖片來自NVIDIA這家云計(jì)算巨頭正式推出了由英偉達(dá)H100TensorCoreGPU提供支持的新AmazonEC2P5實(shí)例。該軟件可在AWSMarketplace上獲得,提供持續(xù)的安全監(jiān)控、定期修補(bǔ)常見漏洞、API穩(wěn)定性、企業(yè)支持以及訪問英偉達(dá)AI專家的機(jī)會(huì)。