站長之家(ChinaZ.com) 10月8日 消息:ROUGE 矩陣是評估大型語言模型的性能和能力的工具。在自然語言處理領(lǐng)域中，評估模型的性能非常重要，但由于語言輸出的不可預(yù)測性和人類語言的復(fù)雜性，傳統(tǒng)的機(jī)器學(xué)習(xí)評估方法存在局限性。
圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney
ROUGE 矩陣通過衡量機(jī)器生成的摘要與人類參考摘要之間的相似度來評估語言模型的摘要能力。ROUGE 矩陣主要關(guān)注召回率，通過比較機(jī)器生成的摘要中包含的重要內(nèi)容與參考摘要中的重要內(nèi)容的重疊情況來衡量性能。
總的來說，ROUGE 矩陣是評估語言模型摘要能力的重要工具，通過不斷改進(jìn)和結(jié)合其他指標(biāo)，可以更準(zhǔn)確地評估語言模型的性能。
（舉報）
DeepEval是一個用于對語言模型應(yīng)用進(jìn)行評估和單元測試的框架。它提供了各種指標(biāo)，可以測試語言模型應(yīng)用生成的回復(fù)在相關(guān)性、一致性、無偏見性和無毒性等方面的表現(xiàn)。如果你在開發(fā)聊天機(jī)器人、語言模型應(yīng)用，DeepEval絕對是一個提高工程效率的好幫手。
【新智元導(dǎo)讀】國產(chǎn)模型開源紀(jì)錄，又被刷新了!上海AI實(shí)驗(yàn)室等機(jī)構(gòu)開源的InternLM-20B，竟然能和Llama2-70B打個平手?就在剛剛，國內(nèi)開源模型參數(shù)量紀(jì)錄，又被刷新了!9月20日，上海人工智能實(shí)驗(yàn)室與商湯科技聯(lián)合香港中文大學(xué)和復(fù)旦大學(xué)，正式開源了200億參數(shù)的InternLM-20B模型。項(xiàng)目地址:https://github.com/InternLM/InternLM魔搭社區(qū):https://modelscope.cn/organization/Shanghai_AI_Laboratory這次的200億參數(shù)版書生·浦語大模型，可以說是「加量不加價」，參數(shù)量還不到三分之一，性能卻可以劍挑當(dāng)今開源模型的標(biāo)桿——Llama2-70B。上海AI實(shí)驗(yàn)室的「雪中送炭」，必然會讓大模型在落地領(lǐng)域發(fā)揮出巨大的價值。
什么樣的技術(shù)能經(jīng)歷時間洗禮還歷久彌新?答案或許可以歸總為一個“三部曲”般的規(guī)律——興起、發(fā)展和大規(guī)模應(yīng)用，外加這個過程再一次演進(jìn)式的迭代。引領(lǐng)第一次工業(yè)革命的是蒸汽機(jī)，當(dāng)它演進(jìn)成為內(nèi)燃機(jī)并開始普及時，第二次工業(yè)革命的顛覆者——電能本身以及與它相關(guān)的各種設(shè)備正處于初創(chuàng)期在電力設(shè)備走向微電子的迭代革新時，各種燃油引擎還在持續(xù)改良和普及中?
9月19日，百度正式發(fā)布國內(nèi)首個“產(chǎn)業(yè)級”醫(yī)療大模型——靈醫(yī)大模型。百度正式宣布面向大健康上下游產(chǎn)業(yè)開放靈醫(yī)大模型測評、試用，推動醫(yī)療行業(yè)的數(shù)字化和智能化進(jìn)程。在輔助診療方面，靈醫(yī)大模型可實(shí)現(xiàn)通過多輪對話了解病人病情，實(shí)時輔助醫(yī)生確診疾病，推薦治療方案，提升就診全流程的效率和體驗(yàn)，并成為患者的24小時“健康管家”，提供智能客服服務(wù)。
“‘360智腦’在部分場景的表現(xiàn)已接近國際先進(jìn)水平”，9月17日，由南京市人民政府、中國信息通信研究院聯(lián)合主辦，南京經(jīng)濟(jì)技術(shù)開發(fā)區(qū)管委會、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟共同承辦的2023南京人工智能產(chǎn)業(yè)發(fā)展大會將在寧召開。三六零集團(tuán)創(chuàng)始人周鴻祎以“垂直大模型引領(lǐng)新工業(yè)革命”為題發(fā)表主題演講。在解決大模型安全，將大模型關(guān)進(jìn)籠子之前，這只是人類美好的愿望是要讓人保持在決策回路上。
當(dāng)房地產(chǎn)商高喊向科技領(lǐng)域轉(zhuǎn)型之際，往往也是其核心地產(chǎn)業(yè)務(wù)陷入危機(jī)之時。為尋找新增長曲線，2018年，許家印通過投資賈躍亭的法拉第未來，正式進(jìn)軍新能源汽車，隨后又走上自主造車之路;同年，楊國強(qiáng)開始投資建筑機(jī)器人研發(fā)以及打造高科技農(nóng)業(yè)生態(tài)圈。面對新一輪地產(chǎn)低迷周期，在李嘉誠的資產(chǎn)重組配置表中，AI，正在成為一枚重要砝碼。
雖然不少科技公司都已經(jīng)開始出售提供商業(yè)助理服務(wù)和代碼生成服務(wù)的生成式AI技術(shù)，但大部分公司其實(shí)還在摸索生成式AI的商業(yè)模式。對于許多企業(yè)來說，生成式AI工具不僅內(nèi)容未經(jīng)過驗(yàn)證運(yùn)行成本極其高昂，它們不僅需要使用配備昂貴芯片的強(qiáng)力服務(wù)器耗電量巨大。Habib認(rèn)為，許多投資商準(zhǔn)備的AI專項(xiàng)基金會在明年被取消。
在人工智能領(lǐng)域，特定生成型人工智能模型產(chǎn)生幻覺現(xiàn)象的問題一直令人困惑。舊金山的AI初創(chuàng)公司Galileo正在努力解決這一問題，并為用戶提供了一系列新的監(jiān)測和指標(biāo)功能，以幫助他們更好地理解和解釋LLMs的輸出。通過防護(hù)措施和接地性指標(biāo)，Galileo還幫助開發(fā)人員確保LLMs的輸出不會引發(fā)問題，如不準(zhǔn)確或不合規(guī)的響應(yīng)。
值得買表示，大數(shù)據(jù)和大模型是公司非常關(guān)注的領(lǐng)域，公司已經(jīng)在該領(lǐng)域加大了投入。在大數(shù)據(jù)層面，目前隨著公司逐步沉淀來自于消費(fèi)內(nèi)容業(yè)務(wù)板塊和營銷服務(wù)業(yè)務(wù)板塊等的更多數(shù)據(jù)資源，已形成一個能夠涵蓋人、貨、場等多種維度的底層數(shù)據(jù)體系。在大模型領(lǐng)域，公司正在基于通用大模型，開發(fā)“值得買消費(fèi)內(nèi)容大模型”，同時也正在探索各種基于“值得買消費(fèi)內(nèi)容大模?
大模型的兩條落地方向，雖南轅北轍但境遇相似。被寄予商業(yè)化落地厚望的是確定性較強(qiáng)的toB方向，只是目前看來還還擊不穿成本的隔膜，定制化敘事背后的高人力、高資金成本阻礙業(yè)務(wù)向下普及，增量緩慢。剛剛徹底開放的大模型賽道迎來了智能助手這一賽點(diǎn)，其成熟與爆發(fā)很可能是新一輪的行業(yè)洗牌潮。
