**劃重點:**

1. ?? **CoDi-2介紹**:來自加州大學伯克利、Microsoft Azure AI、Zoom和UNC-Chapel Hill的研究人員共同開發(fā)的CoDi-2多模態(tài)大語言模型，致力于解決生成和理解復雜多模態(tài)指令的問題，在主題驅動的圖像生成、視覺轉換和音頻編輯任務方面取得了顯著突破。

2. ?? **模型特性**:CoDi-2在主題驅動的圖像生成和音頻編輯等任務上超越了其前身CoDi，并采用了包括音頻和視覺輸入的編碼器和解碼器的模型架構。其訓練過程中融合了來自擴散模型的像素損失以及令牌損失，展現(xiàn)了在風格適應和主題驅動生成等任務中顯著的零樣本和少樣本能力。

3. ?? **多模態(tài)生成的挑戰(zhàn)**:CoDi-2通過利用語言模型（LLM）在編碼和生成過程中將模態(tài)與語言對齊，成功應對多模態(tài)生成中的零樣本精細控制、模態(tài)交織指令跟隨和多輪多模態(tài)對話等挑戰(zhàn)，展現(xiàn)出卓越的性能和泛化能力。

站長之家（ChinaZ.com）12月7日 消息:研究人員合作開發(fā)的CoDi-2多模態(tài)大語言模型標志著在處理復雜多模態(tài)指令生成和理解方面的重大突破。該模型集成了加州大學伯克利、Microsoft Azure AI、Zoom和UNC-Chapel Hill的研究力量，致力于解決主題驅動的圖像生成、視覺轉換和音頻編輯等領域的難題。

CoDi-2不僅擴展了其前身CoDi的功能，而且在主題驅動的圖像生成和音頻編輯等任務中表現(xiàn)卓越。其模型架構包括專門用于音頻和視覺輸入的編碼器和解碼器。在訓練過程中，采用了來自擴散模型的像素損失和令牌損失。CoDi-2在風格適應和主題驅動生成等任務中展現(xiàn)出了顯著的零樣本和少樣本能力。

CoDi-2著重解決了多模態(tài)生成中的挑戰(zhàn)，強調零樣本精細控制、模態(tài)交織指令跟隨和多輪多模態(tài)對話。通過將LLM作為其核心，CoDi-2在編碼和生成過程中將各種模態(tài)與語言相對應，使其能夠理解復雜指令并生成連貫的多模態(tài)輸出。

模型架構中集成了音頻和視覺輸入的編碼器和解碼器，經過對多樣生成數(shù)據集的訓練，CoDi-2在訓練階段利用了來自擴散模型的像素損失和令牌損失。其在零樣本能力方面表現(xiàn)出色，不僅在主題驅動的圖像生成、視覺轉換和音頻編輯方面超越了先前的模型，還在新的未見任務中展現(xiàn)了競爭性的性能和泛化能力。

CoDi-2在多模態(tài)生成中展示出了廣泛的零樣本能力，在上下文學習、推理和任意模態(tài)生成的多輪互動對話中表現(xiàn)卓越。評估結果顯示了其在零樣本性能和對新任務的強大泛化能力。在音頻處理任務中，CoDi-2的表現(xiàn)卓越，通過在所有指標中獲得最低分數(shù)，實現(xiàn)了在音軌中添加、刪除和替換元素方面的卓越性能。這凸顯了在上下文年齡、概念學習、編輯和精細控制方面推動高保真多模態(tài)生成的重要性。

CoDi-2是一種先進的AI系統(tǒng)，在包括遵循復雜指令、上下文學習、推理、聊天和不同輸入輸出模式的各種任務中表現(xiàn)出色。其適應不同風格、基于不同主題的內容生成以及在音頻處理方面的熟練操作，使其成為多模態(tài)基礎建模領域的重大突破。CoDi-2代表了對創(chuàng)建一個全面處理多任務系統(tǒng)的深入探索，即使是尚未經過訓練的任務也能輕松處理。

CoDi-2未來的方向計劃通過優(yōu)化上下文學習、拓展對話能力和支持額外的模態(tài)來增強其多模態(tài)生成能力。它旨在通過使用擴散模型等技術來提高圖像和音頻的保真度。未來的研究還可能涉及評估和比較CoDi-2與其他模型，以了解其優(yōu)勢和局限性。

項目網址:https://codi-2.github.io/

https://github.com/microsoft/i-Code/tree/main/CoDi-2

鏈接網址:https://arxiv.org/abs/2311.18775

（舉報）