無可否認,大模型是最近一段時間最熱的話題之一,在市場上正經歷著快速發(fā)展和廣泛應用的階段。各個云計算廠商和科技公司紛紛推出自己的大模型產品和解決方案。
近日,UCloud優(yōu)刻得基于企業(yè)內部的產品知識文庫、技術支持文檔,借助大語言模型的強大邏輯推理能力,構建了企業(yè)內部知識問答平臺“識問”。
產品介紹
UCloud優(yōu)刻得內部問答平臺“識問”,是公司AIGC項目團隊基于大語言模型的一次落地實踐。目前“識問”平臺已經集成了UHost、URTC、備案、常用技術支持和安全等知識文檔,能滿足技術支持團隊日常提問檢索的需求。用戶僅需要輸入問題,識問平臺即可在幾秒內輸出完整的問答話術。
實現方式
識問平臺目前是通過大語言模型連接本地知識庫的方式來實現專業(yè)知識問答的。在業(yè)務側上傳UHost、URTC、備案和安全相關的文檔,文檔數據經過非結構化存儲,文檔切分,生成文本塊之后再進行向量化處理,通過LangChain框架,實現本地文本知識庫的構建。
客戶通過Web端或者其他AI應用提交問題,提交的問題經過向量化處理后,在文本向量化中匹配出與問句向量最相似的top k個,匹配出的文本作為上下文和問題一起,添加到prompt中,提交給大語言模型,利用大模型的推理和信息整合能力,生成最終的回答。如果檢索發(fā)現客戶的提問可以與知識庫的相關文本比較準確匹配,識問平臺就會直接通過搜索拋出回答,無需經過大語言模型的推理。
大語言模型結合本地知識庫的推理工作流如下:
LLM+本地知識庫
據悉,未來UCloud優(yōu)刻得還支持外部企業(yè)級客戶還通過“模型微調”的方式來實現專業(yè)領域的知識問答。UCloud可以基于客戶的業(yè)務文檔生成高質量的問答對,喂給開源的大語言模型做訓練,重新生成一個精通客戶業(yè)務的私有語言模型。客戶側通過web或者AI應用提交的問題話術經過一些標準化處理后,生成prompt,提交給客戶的私有大模型,經過私有大模型的推理并生成最終回答。微調大語言模型的工作流如下:
模型微調
在這個工作流中,開源大語言模型可以是目前開源的任意一款模型,包括但不限于ChatGLM、T5、LLaMA 、MiniGPT- 4 等。
目前UCloud優(yōu)刻得已經支持的文檔格式有問答對、Html、MarkDown,未來預期還會支持PDF、Word、URL等格式,進一步擴大可支持的知識庫的范疇,同時在平臺側也會通過對使用問答的打分情況,篩選優(yōu)質問答對,持續(xù)更新文本知識庫。專業(yè)垂直領域的提問,大語言模型的回復準確率會隨著資料庫的豐富而持續(xù)提高。
寫在最后
本次識問平臺的落地,是UCloud優(yōu)刻得一次AI大模型業(yè)務場景的探索。從企業(yè)內部治理需求出發(fā),優(yōu)化內部信息查詢機制,初步解決售前、售后的相關的技術支持問答,幫助提升技術支持的工作效率。作為云計算廠商,UCloud優(yōu)刻得將全面投入大模型時代,繼續(xù)保持敏銳的市場洞察力和快速的響應能力,持續(xù)關注大模型市場的比較新趨勢和客戶需求,不斷優(yōu)化和拓展我們的產品和服務。
(推廣)