要點(diǎn):

1. 多個大學(xué)的研究人員開發(fā)了名為LURE的通用修正器，旨在解決多模態(tài)大模型中的物體幻覺問題，降低幻覺頻發(fā)的三個成因。

2. LURE通過對幻覺產(chǎn)生的關(guān)鍵因素進(jìn)行統(tǒng)計分析，包括物體共現(xiàn)、不確定性和物體位置，有效減少幻覺問題。

3. LURE在多個開源多模態(tài)大模型上進(jìn)行了評估，顯示通用物體幻覺評估指標(biāo)提高了23%以上，有效降低幻覺問題。

站長之家（ChinaZ.com）11月6日 消息:一項由北卡教堂山、斯坦福、哥大、羅格斯等大學(xué)的研究人員合作開發(fā)的通用修正器LURE已經(jīng)面世，旨在應(yīng)對多模態(tài)大模型中出現(xiàn)的物體幻覺問題。這些幻覺問題包括物體共現(xiàn)、不確定性和物體位置，這些問題會對視覺摘要、推理等任務(wù)產(chǎn)生負(fù)面影響。LURE的設(shè)計基于對這些幻覺產(chǎn)生的關(guān)鍵因素進(jìn)行嚴(yán)格統(tǒng)計分析。

論文地址:https://arxiv.org/abs/2310.00754

代碼地址:https://github.com/YiyangZhou/LURE

在研究中，研究人員首先對幻覺問題的三種成因進(jìn)行了深入分析。他們發(fā)現(xiàn)大多數(shù)幻覺描述中的物體在訓(xùn)練數(shù)據(jù)中通常共現(xiàn)，這意味著幻覺物體往往是一起出現(xiàn)的物體。此外，幻覺物體通常是在解碼過程中不太確定的物體，這種不確定性會導(dǎo)致模型選擇錯誤的物體。最后，研究人員還觀察到，幻覺通常出現(xiàn)在生成文本的后半部分，這可能是前面的輸出觸發(fā)了后續(xù)幻覺的滾雪球。

為了解決這些問題，研究團(tuán)隊提出了LURE，這是一種多模態(tài)幻覺緩解方案。LURE可以與任意多模態(tài)大模型無縫銜接，對不準(zhǔn)確的描述進(jìn)行糾正。在多個開源多模態(tài)大模型上進(jìn)行了評估，結(jié)果顯示LURE顯著降低了幻覺問題，通用物體幻覺評估指標(biāo)提高了23%以上。此外，LURE還經(jīng)過人工評估和GPT評估，一直名列前茅，顯示了其有效性。

總之，LURE是一項有望解決多模態(tài)大模型中幻覺問題的重要工具，通過對關(guān)鍵因素的分析和修正，為這些模型提供更準(zhǔn)確的輸出，有望在多領(lǐng)域的人工智能應(yīng)用中產(chǎn)生積極影響。

（舉報）