鳳凰網(wǎng)科技訊 《AI前哨》北京時間5月29日消息，對于一些人來說，“黑匣子”(black box，也稱黑盒子)這個詞會讓人想起飛機(jī)上的飛行記錄器。如果發(fā)生不堪設(shè)想的事情，這些設(shè)備對事后分析很有價值。但是在人工智能(AI)領(lǐng)域，黑匣子也是一個重要的術(shù)語。
什么是AI黑匣子？
AI黑匣子，指的是內(nèi)部運(yùn)作原理對用戶不可見的AI系統(tǒng)。人們可以向它們提供輸入并獲得輸出，但是不能檢查產(chǎn)生輸出的系統(tǒng)代碼或邏輯。
機(jī)器學(xué)習(xí)是AI的主要分支，它是聊天機(jī)器人ChatGPT和圖像生成器DALL-E 2等生成式AI系統(tǒng)的基礎(chǔ)。機(jī)器學(xué)習(xí)有三個組成部分：一個算法或一組算法、訓(xùn)練數(shù)據(jù)以及模型。算法是一組程序。在機(jī)器學(xué)習(xí)中，算法在接受大量示例(訓(xùn)練數(shù)據(jù))的訓(xùn)練后學(xué)會識別模式。一旦機(jī)器學(xué)習(xí)算法被訓(xùn)練，成果就是一個機(jī)器學(xué)習(xí)模型。模型就是人們使用的東西。
例如，人們可以設(shè)計一個機(jī)器學(xué)習(xí)算法來識別圖像中的模式，訓(xùn)練數(shù)據(jù)可以是狗的圖像，由此產(chǎn)生的機(jī)器學(xué)習(xí)模型將是一個狗的識別器。你可以給它一個圖像作為輸入，并獲得輸出，判斷圖像中是否存在一只狗，以及圖像中哪些像素組成了一只狗。
黑匣子是在“黑箱作業(yè)”
機(jī)器學(xué)習(xí)系統(tǒng)的三個組成部分中的任何一個都可以被隱藏起來，或者成為一個黑匣子。通常情況下，算法是公開的，所以把它放入黑匣子中的效果并不理想。因此，為了保護(hù)知識產(chǎn)權(quán)，AI開發(fā)者通常會將模型放入黑匣子中。軟件開發(fā)者采取的另一種方法是對用于訓(xùn)練模型的數(shù)據(jù)進(jìn)行模糊處理。換句話說，將訓(xùn)練數(shù)據(jù)放入黑盒子中，以防止它被泄露。
黑匣子算法讓外界很難理解AI是如何工作的，但情況并非完全是這樣。
黑匣子的反面有時被稱為玻璃匣子(glass box，又稱玻璃盒子，指的是內(nèi)部運(yùn)作透明)。AI玻璃匣子是一個系統(tǒng)，其算法、訓(xùn)練數(shù)據(jù)和模型對任何人都是可見的。然而，研究人員有時會將這些玻璃匣子的某些方面描述為黑匣子。
這是因?yàn)檠芯咳藛T并不完全了解機(jī)器學(xué)習(xí)算法，尤其是深度學(xué)習(xí)算法是如何運(yùn)作的。可解釋的AI領(lǐng)域正在努力開發(fā)算法，雖然不一定是玻璃匣子，但可以被人類更好地理解。
黑匣子的弊端
在許多情況下，人們有充分的理由警惕黑匣子機(jī)器學(xué)習(xí)算法和模型。假設(shè)一個機(jī)器學(xué)習(xí)模型對你的健康狀況做出了診斷，你想要黑匣子還是玻璃匣子呢？對于給您開具治療方案的醫(yī)生，也許她想知道模型是如何作出決策的。
如果一個決定你是否有資格從銀行獲得商業(yè)貸款的機(jī)器學(xué)習(xí)模型拒絕了你，該怎么辦？你不想知道為什么嗎？如果你知道了原因，你可以更有效地上訴決定，或者改變你的情況，以增加你下次獲得貸款的機(jī)會。
黑匣子對于軟件系統(tǒng)安全也有重要的影響。多年來，計算機(jī)領(lǐng)域的許多人認(rèn)為，將軟件保存在黑匣子中可以防止黑客檢查它，因此它是安全的。這種假設(shè)在很大程度上被證明是錯誤的，因?yàn)楹诳涂梢詫浖M(jìn)行逆向工程。也就是說，通過密切觀察軟件的工作原理來構(gòu)建一個副本，并發(fā)現(xiàn)可利用的漏洞。
如果軟件是在一個玻璃匣子里，那么軟件測試人員和善意的黑客可以檢查它，并告知創(chuàng)建者它的弱點(diǎn)，從而最大限度地減少網(wǎng)絡(luò)攻擊。鳳凰網(wǎng)科技《AI前哨》對此將持續(xù)關(guān)注。
（舉報）