【新智元導讀】微調(diào)LLM需謹慎，用良性數(shù)據(jù)、微調(diào)后角色扮演等都會破壞LLM對齊性能!學習調(diào)大了還會繼續(xù)提高風險!雖說預訓練語言模型可以在零樣本設置下，對新任務實現(xiàn)非常好的泛化性能，但在現(xiàn)實應用時，往往還需要針對特定用例對模型進行微調(diào)。微調(diào)后的模型安全性如何?是否會遺忘之前接受的對齊訓練嗎?面向用戶時是否會輸出有害內(nèi)容?提供LLM服務的廠商也需要考慮到，當給終端用戶開放模型微調(diào)權限后，安全性是否會下降?最近，普林斯頓大學、IBM、斯坦福等機構通過redteam實驗證明，只需要幾個惡意樣本即可大幅降低預訓練模型的安全性，甚至普通用戶的微調(diào)也會影響模型的安全性。不管真正的原因是什么，研究人員假設，如果能夠在未來的對齊工作中鞏固那些不太穩(wěn)健的危害類別，可能能夠進一步提高良性微調(diào)情況下的整體安全性。...

特別聲明：本頁面標簽名稱與頁面內(nèi)容，系網(wǎng)站系統(tǒng)為資訊內(nèi)容分類自動生成，僅提供資訊內(nèi)容索引使用，旨在方便用戶索引相關資訊報道。如標簽名稱涉及商標信息，請訪問商標品牌官方了解詳情，請勿以本站標簽頁面內(nèi)容為參考信息，本站與可能出現(xiàn)的商標名稱信息不存在任何關聯(lián)關系，對本頁面內(nèi)容所引致的錯誤、不確或遺漏，概不負任何法律責任。站長之家將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。任何單位或個人認為本頁面內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，可及時向站長之家提出書面權利通知或不實情況說明，并提權屬證明及詳細侵權或不實情況證明（點擊查看反饋聯(lián)系地址）。本網(wǎng)站在收到上述反饋文件后，將會依法依規(guī)核實信息，第一時間溝通刪除相關內(nèi)容或斷開相關鏈接。