快科技4月26日消息,隨著ChatGPT等生成式人工智能的出現(xiàn),越來越多的用戶在享受便利的同時發(fā)現(xiàn),AI經(jīng)常會出現(xiàn)一本正經(jīng)的胡扯”的現(xiàn)象,有時甚至會有一些讓人細思極恐的發(fā)言。
近日,NVIDIA推出了一款名為NeMo Guardrails的軟件,它能夠為人工智能模型設(shè)置安全護欄”,避免AI輸出一些不良的內(nèi)容。
據(jù)悉,NeMo Guardrails的本質(zhì)是一個位于用戶和模型之間的軟件層,它能夠在模型輸出不良內(nèi)容前進行攔截和修改。
比如,如果用戶需要一個針對特定方向的AI,就可以利用該軟件,來限制AI至輸出對應(yīng)方面的內(nèi)容,而不談?wù)摬幌嚓P(guān)的話題。
此外,該軟件還能夠利用一個AI模型檢測另一個AI模型,如果兩個模型輸出的答案不一致,軟件將直接輸出我不知道”的回答。
通過這種方式,人工智能胡說八道”的情況會得到有效降低,一些可能存在危險的回復也能夠被直接攔截。
(舉報)