站長(zhǎng)之家(ChinaZ.com) 5月23日消息:Meta 公司的 AI 工作負(fù)載無(wú)處不在，為諸多應(yīng)用提供基礎(chǔ)支持，如內(nèi)容理解、動(dòng)態(tài)信息流、生成式 AI 和廣告排名等。得益于其與 Python 的無(wú)縫集成、急切模式編程和簡(jiǎn)明的 API，PyTorch 可以運(yùn)行這些工作負(fù)載。

其中，DLRMs 對(duì)于提升 Meta 產(chǎn)品和服務(wù)的用戶體驗(yàn)至關(guān)重要。硬件系統(tǒng)必須在模型的規(guī)模和復(fù)雜性不斷增長(zhǎng)的情況下，提供越來(lái)越多的內(nèi)存和計(jì)算資源，同時(shí)保持效率。

然而，當(dāng)處理 Meta 在規(guī)模上獨(dú)特的推薦工作負(fù)載時(shí)，GPU 并不總是最佳選擇。為了解決這個(gè)問(wèn)題，Meta 團(tuán)隊(duì)開(kāi)發(fā)了一套名為「Meta 訓(xùn)練和推理加速器」（MTIA）的專用集成電路（ASIC）?？紤]到下一代推薦模型的需求，第一代 ASIC 已經(jīng)納入 PyTorch 中，以開(kāi)發(fā)完全優(yōu)化的排名系統(tǒng)。為了讓開(kāi)發(fā)人員保持高效，他們不斷維護(hù)對(duì) PyTorch 2.0 的支持，該版本極大地提高了 PyTorch 的編譯器級(jí)性能。

研究人員將 MTIA 與 NNPI 加速器和圖形處理單元進(jìn)行了比較。結(jié)果顯示，MTIA 在低復(fù)雜性模型的小規(guī)模和批處理上進(jìn)行了有效管理。MTIA 通過(guò)積極優(yōu)化其軟件棧，實(shí)現(xiàn)了類似的性能水平。與此同時(shí)，它利用 GPU 的軟件棧在中高復(fù)雜性模型上運(yùn)行更大規(guī)模、更優(yōu)化的形式。

為了優(yōu)化 Meta 工作負(fù)載的性能，團(tuán)隊(duì)正在努力尋找計(jì)算能力、內(nèi)存容量和互連帶寬之間的平衡點(diǎn)，以開(kāi)發(fā)更好、更高效的解決方案。

（舉報(bào)）