【資料圖】

編程客棧（www.cppcns.ctQFWZDlom）4月27日 消息:為了追求“更安全”的文本生成模型，Nvidia 日前發(fā)布了開源工具包NeMojavascriptGuar編程drails，旨在使基于 AI 應(yīng)用程序更加“準(zhǔn)確、合理、切合主題和安全”。

Nvidia 應(yīng)用研究副總裁 Jonathan Cohen 表示，該公司“多年來”一直致力于 Guardrails 的底層系統(tǒng)，但大約一年前才意識到它非常適用于 GPT-4和ChatGPT等模型。

Guardrails 包括代碼、示例和文檔，可為生成文本和語音的 AI 應(yīng)用程序“增加安全性”。Nvidia 聲稱該工具包旨在與大多數(shù)生成編程客棧語言模型一起使用，允許開發(fā)人員使用幾行代碼創(chuàng)建規(guī)則。

具體來說，Guardrails 可用于防止——或至少試圖防止——模型偏離主題、以不準(zhǔn)確的信息或極為負(fù)面的語言做出響應(yīng)，以及與“不安全”的外部來源建立聯(lián)系。例如，阻止搜索引擎聊天機(jī)器人鏈接到聲名狼藉的學(xué)術(shù)期刊等等。

Cohen 還指出，Guardrails 最適用于“很擅長執(zhí)行指令”的模型，例如 ChatGPT，并且使用流行的LangChain框架來構(gòu)建 AI 驅(qū)動的應(yīng)用程序。然而，Nvidia 承認(rèn)該工具包并不完美，也無法涵蓋所有問題。

雖然 Guardrails 是一個開源版本，但 Nvidia 更希望其它公司為其托管版本付費(fèi)。

關(guān)鍵詞：