站長之家（ChinaZ.com）11月13日 消息:智源研究院開源了一種名為 JudgeLM 的裁判模型，可以高效準(zhǔn)確地評判各類大模型。

與 GPT-4相比，JudgeLM 僅需1/120的成本，就能達(dá)到90% 以上的評判結(jié)果一致性。它可以應(yīng)用于純文本、多模態(tài)等多種評判場景，并可以輸出評分、判斷和闡述理由。

通過創(chuàng)新方法，JudgeLM 與參考答案的一致性最高超過了90%，接近人類表現(xiàn)。JudgeLM 有三個不同參數(shù)版本，分別為70億、130億和330億參數(shù)，能力和表現(xiàn)隨著參數(shù)規(guī)模的增大而提升。

此外，智源研究院還開源了一個包含訓(xùn)練和驗證樣本的數(shù)據(jù)集，用于深入研究大語言模型裁判。JudgeLM 的評判效率高，成本低于基于 API 的評判方法。

未來，JudgeLM 團(tuán)隊將進(jìn)一步完善這一裁判模型，提供更準(zhǔn)確、高效、覆蓋更多場景的大語言模型評判。

JudgeLM 相關(guān)資源:

github :https://github.com/baaivision/JudgeLM

arxiv :https://arxiv.org/abs/2310.17631

demo（33B） :https://218.91.113.230:9004/

（舉報）