站長之家（ChinaZ.com）6月4日 消息:在科技領域，多模態(tài)模型的決策能力一直是研究的熱點。最近，UC伯克利等高校的研究團隊提出了一種名為RL4VLM的全新強化學習框架，成功地提升了多模態(tài)大模型在決策任務上的表現。該模型在無需人類反饋的情況下，通過強化學習微調，已經學會了看圖玩撲克、算“12點”等任務，并且其表現超越了GPT-4v。

研究團隊由多位重量級人物組成，包括圖靈獎得主、Meta首席AI科學家、紐約大學教授LeCun，UC伯克利的Sergry Levine教授，以及香港大學數據科學學院院長、UC伯克利教授馬毅等。他們的研究成果已經以論文預印本的形式發(fā)布，并且相關代碼已在GitHub上開源。

RL4VLM的核心是一種新的算法框架，它直接使用強化學習方法對多模態(tài)大模型進行微調。這種方法的一個顯著特點是，獎勵信息直接來源于環(huán)境，不再依賴于人類反饋。這不僅提高了效率，也賦予了多模態(tài)模型自主決策的能力。

為了全面評估RL4VLM的效果，研究團隊設計了兩類評測任務。第一類任務主要測試模型利用圖像中的細粒度視覺信息進行決策的能力，包括數字識別和邏輯推理。第二類任務則主要考察模型在具身智能環(huán)境中的視覺語義推理能力。

具體到任務，研究團隊設計了數軸（Numberline）、簡易12點(EZPoint)、24點(Point24)、21點(Blackjack)和ALFWorld等五個任務。其中，ALFWorld是微軟等于2020年提出的開源具身智能任務集，而其他任務則是研究團隊的原創(chuàng)設計。

實驗結果令人鼓舞。經過強化學習微調的多模態(tài)模型，在決策問題上的表現不僅超過了商用模型GPT-4v，同時也超越了傳統(tǒng)的監(jiān)督微調方法。特別是在ALFWorld的具身智能任務中，RL4VLM模型取得了最高的平均分，尤其在單物體拾取任務上表現突出。

RL4VLM的工作流程是這樣的:首先，系統(tǒng)將任務的當前狀態(tài)以圖片和文字描述的形式輸入多模態(tài)大模型，并要求模型輸出一段思維鏈，然后以文字形式輸出要執(zhí)行的動作。動作信息輸入環(huán)境后，獲得獎勵值，該獎勵值將用于強化學習訓練。

為了適應RL訓練框架，研究人員對模型的輸入和輸出進行了調整。具體來說，將任務圖像和任務描述的文本合并后，直接作為當前任務的狀態(tài)輸入。在獲得模型的文字輸出后，將其轉化為與環(huán)境交互的動作指令。

消融實驗結果表明，使用思維鏈提示過程對任務成功率至關重要。這項研究不僅為多模態(tài)模型的性能提升提供了新的思路，也為未來人工智能的發(fā)展開辟了新的可能性。

論文地址:https://arxiv.org/abs/2405.10292

項目地址:https://top.aibase.com/tool/rl4vlm

（舉報）