站長之家(ChinaZ.com)4月6日 消息:日前,谷歌公布了其用于訓(xùn)練其人工智能模型的超級(jí)計(jì)算機(jī)的新細(xì)節(jié),稱該系統(tǒng)比 Nvidia 的同類系統(tǒng)更快、更節(jié)能。
據(jù)了解,谷歌自主設(shè)計(jì)了一種名為Tensor Processing Unit(TPU)的芯片,該公司90% 以上的人工智能訓(xùn)練工作都使用這些芯片,最新的TPU已經(jīng)升級(jí)到第四代。
本周二,谷歌發(fā)表了一篇科學(xué)論文,詳細(xì)介紹了如何利用自己開發(fā)的光學(xué)開關(guān)將超過4,000個(gè)芯片串聯(lián)成一個(gè)超級(jí)計(jì)算機(jī),,以幫助連接各個(gè)機(jī)器。
連接的改進(jìn)已經(jīng)成為那些構(gòu)建AI超級(jí)計(jì)算機(jī)的公司競(jìng)爭(zhēng)的關(guān)鍵點(diǎn),因?yàn)橹С止雀鐱ard或OpenAI的ChatGPT等技術(shù)的大型語言模型已經(jīng)變得越來越大,無法在單個(gè)芯片上存儲(chǔ)。
這些模型必須分布在數(shù)千個(gè)芯片上,然后必須共同工作數(shù)周或更長時(shí)間來訓(xùn)練模型。谷歌最大的公開披露的語言模型PaLM,就是通過在兩個(gè)4,000芯片超級(jí)計(jì)算機(jī)上進(jìn)行了50天的訓(xùn)練。
(舉報(bào))