文章概要:
1. DSPy是一個用于語言模型和檢索模型的AI框架，可以解決各種高級任務(wù)。
2. DSPy使用“簽名”和“提示器”的模塊化方法編譯任何程序。
3. DSPy需要很少的標(biāo)記數(shù)據(jù)，可以自動生成中間提示支持管道。
站長之家(ChinaZ.com) 8月29日 消息:最近，斯坦福大學(xué)的研究人員推出了一個名為DSPy的AI框架，用于利用語言模型和檢索模型來解決各種高級任務(wù)。DSPy包含多種技術(shù)，可以提示和微調(diào)語言模型，改進(jìn)其推理和檢索增強(qiáng)。
DSPy使用兩個簡單的概念“簽名（Signatures）”和“提示器(Teleprompters)”來編譯任何程序。其中，簽名是DSPy模塊輸入輸出行為的聲明性規(guī)范。提示器是功能強(qiáng)大的優(yōu)化器，可以學(xué)習(xí)如何提示任何程序模塊的最佳提示。
與其他產(chǎn)品相比，DSPy需要非常少的標(biāo)記數(shù)據(jù)。它有一個自動編譯器，可以訓(xùn)練語言模型運(yùn)行聲明性步驟，并可以從最小數(shù)據(jù)進(jìn)行微調(diào)，無需人工標(biāo)記中間步驟。
DSPy的模塊化和可訓(xùn)練組件系統(tǒng)不同于其他庫，對于那些探索新管道或任務(wù)以解決高級問題的人非常有用。研究人員發(fā)布了安裝指南和演示，以讓更多人可以訪問該框架。
DSPy框架的核心特色功能總結(jié):
提供了模塊化和聲明式的Python接口，可以直觀地指示語言模型執(zhí)行流程，避免了繁瑣的提示工程。
自動編譯器可以跟蹤程序流程，為語言模型生成高質(zhì)量的 few-shot 提示或微調(diào)，教會模型實(shí)現(xiàn)聲明式步驟，無需人工標(biāo)注中間步驟。
引入了Signatures概念，聲明語言模型的輸入輸出行為。Teleprompters概念則實(shí)現(xiàn)了自動優(yōu)化提示。
可以重復(fù)編譯改進(jìn)性能，適應(yīng)代碼、數(shù)據(jù)、驗(yàn)證約束的變化。
支持零試用和編譯后使用，編譯可以顯著提高任務(wù)完成質(zhì)量。
需要的訓(xùn)練數(shù)據(jù)很少，通常只需要標(biāo)注最終輸出，編譯器可以自動生成中間步驟的標(biāo)注。
可以統(tǒng)一提示和微調(diào)技術(shù)，為不同的語言模型生成定制化的提示或微調(diào)方案。
針對復(fù)雜任務(wù)可以可靠地教會強(qiáng)大的模型，如GPT-3.5等，顯著提高任務(wù)可靠性。
提供模塊化和可組合的通用模塊，避免專為特定應(yīng)用預(yù)構(gòu)建函數(shù)。
適合研究人員探索新的流程和任務(wù)，也方便實(shí)踐者開發(fā)知識密集型NLP應(yīng)用。
項(xiàng)目網(wǎng)址:https://github.com/stanfordnlp/dspy
（舉報）