站長之家（ChinaZ.com）10月10日 消息:中國科學院與耶魯大學的研究人員共同提出了一種名為「思維傳播」（Thought Propagation）的全新框架，旨在提升大型神經(jīng)網(wǎng)絡模型(如GPT-4、PaLM)的推理能力，使其能夠更像人類一樣進行類比思考。這個框架的靈感源自人類認知，即人們在面對新問題時常常將其與已經(jīng)解決的類似問題進行比較，以推導出解決策略。

論文地址:https://arxiv.org/abs/2310.03965

「思維傳播」的核心思想是讓模型在解決問題之前，探索與輸入問題相關的類似問題，并從類似問題的解決方案中獲取啟發(fā)。這一過程包括三個關鍵階段:

1. 提出類似問題:模型通過提示生成與輸入問題相似的一組類似問題，以引導模型檢索相關的經(jīng)驗。

2. 解決類似問題:模型使用現(xiàn)有的提示技術（如CoT）來解決每個類似問題。

3. 匯總解決方案:模型可以根據(jù)類比解決方案直接推斷出輸入問題的新解決方案，或者通過比較類比解決方案推導出高級計劃或策略。

這個框架的關鍵創(chuàng)新之處在于它能夠激發(fā)模型的類比思維，引導復雜的推理過程。研究人員通過多個任務的評估驗證了「思維傳播」的有效性，包括最短路徑推理、創(chuàng)意寫作和LLM智能體規(guī)劃任務。

在最短路徑推理任務中，「思維傳播」顯著提高了性能，生成了最優(yōu)和有效的最短路徑。在創(chuàng)意寫作任務中，「思維傳播」也表現(xiàn)出人類更喜歡的一致性。在LLM智能體規(guī)劃任務中，「思維傳播」提高了任務完成率。

盡管這項研究提供了有望增強大型神經(jīng)網(wǎng)絡模型推理能力的新方法，但也存在一些挑戰(zhàn)，如生成有用的類比問題和管理長鏈的類比推理路徑。然而，「思維傳播」為改進模型的推理能力指明了新方向，有望使大型語言模型更接近人類的推理方式。

（舉報）