站長之家(ChinaZ.com) 8月24日消息:大型語言模型是 ChatGPT 等技術(shù)背后的人工智能技術(shù)，正如其名稱所示：它們很大。它們通常擁有數(shù)十億個計算節(jié)點和巨量的連接。所有這些意味著需要頻繁地進行內(nèi)存讀寫，并且需要消耗大量電力才能實現(xiàn)。而問題可能會變得更加嚴重。

一種潛在的避免方法是將內(nèi)存和處理混合使用。IBM 和英特爾都制造了芯片，使單個神經(jīng)元配備了執(zhí)行其功能所需的所有內(nèi)存。另一種方法是在內(nèi)存中執(zhí)行操作，這種方法已經(jīng)通過相變內(nèi)存得到證明。

IBM 指出，由于人工智能的存在，自動轉(zhuǎn)錄的準確性在過去十年中得到了極大提高。然而，用于幫助訓(xùn)練和操作這些以及其他人工智能系統(tǒng)的硬件變得越來越昂貴且耗能。為了訓(xùn)練最先進的 AIGPT-3，OpenAI 花費了 460 萬美元，讓 9200 個 GPU 運行了兩周。

現(xiàn)在，IBM 推出了一個更接近于功能性 AI 處理器的相變芯片，在周三發(fā)布于《自然》雜志上的一篇論文中展示了該公司硬件可以以較低能耗占用實現(xiàn)合理準確率的語音識別。

相變

相變內(nèi)存已經(jīng)開發(fā)了一段時間。它提供閃存內(nèi)存持久性但與現(xiàn)有揮發(fā)性 RAM 非常接近的性能。它通過加熱小塊材料并控制其冷卻速度來運作。緩慢冷卻，則形成有序結(jié)晶體導(dǎo)電良好；快速冷卻，則形成無序混亂體電阻更高。這兩種狀態(tài)之間的差異可以存儲一個位，直到施加足夠的電壓再次熔化材料。

這種行為也非常適合神經(jīng)網(wǎng)絡(luò)。在神經(jīng)網(wǎng)絡(luò)中，每個節(jié)點接收輸入，并根據(jù)其狀態(tài)確定將多少信號轉(zhuǎn)發(fā)給其他節(jié)點。通常，這被視為表示網(wǎng)絡(luò)中單個神經(jīng)元之間連接強度的方法。由于相變內(nèi)存的行為，該強度也可以由模擬模式下操作的單個內(nèi)存位來表示。

當存儲數(shù)字位時，最大化相變內(nèi)存開和關(guān)狀態(tài)之間的差異以限制錯誤。但是完全有可能將一位比特設(shè)置為介于其開和關(guān)狀態(tài)之間任何值得電阻值，從而允許進行模擬行為。這些潛在值得平滑漸變可用于表示節(jié)點之間連接強度——通過對相變內(nèi)存進行通流即可獲得等效于神經(jīng)網(wǎng)絡(luò)節(jié)點行為。

如上所述，IBM 已經(jīng)證明了它能夠工作。今天描述的芯片則更接近功能處理器，在規(guī)模上更接近處理大型語言模型所需求。

芯片

新芯片核心組件稱為「tile」，是一個交叉條形數(shù)組（類似正方形網(wǎng)格），由 512 個單位寬、2048 個單位深的單個相變位組成。每個芯片包含 34 個這樣的 tile，即約 3500 萬個相變位。該芯片還具有所有位所需的高速通信硬件，甚至可以在不需要任何模擬到數(shù)字轉(zhuǎn)換的情況下跨越不同 tile 進行通信。板載傳統(tǒng)處理器單元以及一些靜態(tài) RAM 幫助控制此通信流量，并處理芯片中模擬和數(shù)字部分之間的翻譯。

系統(tǒng)也是靈活的，因為它允許任何連接強度由可變數(shù)量比特來保持。并且芯片之間可以進行通信，從而將更大問題分割并分布在多個芯片上。這里展示的最大的工作涉及分布在五個芯片上的 1.4 億個相變位。

為了使這項技術(shù)真正發(fā)揮作用，研究人員使用現(xiàn)有的 AI 系統(tǒng)，并設(shè)置相變位的狀態(tài)以匹配。一旦設(shè)置完成，分析可以重復(fù)運行，而芯片的相變部分不需要額外消耗能量。

研究人員利用這種硬件在兩個語音識別任務(wù)中展示了其性能。其中一個較簡單，涉及在語音中識別少量關(guān)鍵字，例如你可能需要處理自動呼叫系統(tǒng)上遇到的交互。第二個是通用語音識別，盡管詞匯表略有壓縮。在這兩種情況下，該硬件能夠與傳統(tǒng)處理器上運行等效 AI 系統(tǒng)的性能相匹配。

因此，在峰值性能時，該芯片每瓦特功率可執(zhí)行 124 萬億次操作。這比傳統(tǒng)處理器執(zhí)行等效操作所需的功率要低得多。

IBM 之前的模擬表明，模擬 AI 的能效可以是適用于 AI 應(yīng)用的最佳 GPU 的 40 到 140 倍。到目前為止，這些估計還缺乏實際展示。

必須注意的是，這不是通用 AI 處理器。它只適用于特定類型的神經(jīng)網(wǎng)絡(luò)，并非所有問題都適合那種類型的神經(jīng)網(wǎng)絡(luò)。它承諾節(jié)省能源也基于網(wǎng)絡(luò)保持靜態(tài)。任何需要重新配置節(jié)點之間連接來解決問題都意味著重新設(shè)置相變位狀態(tài)，并且需要更多電力。

這也意味著該芯片對于訓(xùn)練 AI 沒有太大用處。實際上，用于開發(fā)在其上執(zhí)行的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程必須進行調(diào)整，以確保結(jié)果可以轉(zhuǎn)換為相變芯片。

盡管如此，在匹配正確類型的問題時，該芯片可能會顯著減少能源消耗。而且在這方面還有更大的潛力。該芯片采用 14 納米工藝制造，遠未達到最先進水平。研究人員表示，他們沒有采取任何措施來優(yōu)化處理器中專用于通信和數(shù)字/模擬轉(zhuǎn)換部分的能源使用。

IBM 科學(xué)家于 8 月 23 日在《自然》雜志在線版上詳細介紹了他們的發(fā)現(xiàn)：

https://www.nature.com/articles/s41586-023-06337-5

（舉報）