企業(yè)渴望部署生成式人工智能（GenAI）應用程序，但對有毒內容、敏感數據泄露和幻覺的擔憂讓他們猶豫不決。一個潛在的解決方案是在GenAI應用程序旁邊部署“守衛(wèi)模型”（guard models），可以立即檢測和防止這種風險行為。這就是Datarobot所支持的方法，該公司近期在其人工智能（AI）平臺上添加了新的人工智能可觀察性功能，旨在防止大型語言模型(LLM)失控。

除了少數預先配置的守衛(wèi)模型外，Datarobot AI平臺設置了新的警報和通知策略，可視化解決問題和回溯答案的新方法，以及檢查數據質量和主題漂移的新診斷能力，以及其他功能。

Datarobot首席技術官Michael Schmidt表示，這一切都是為了減輕客戶對GenAI和LLM的擔憂。

“到目前為止，我們從客戶那里聽到的最多的事情就是信心問題?！盨chmidt說?！八麄冎械脑S多人都在構建生成式人工智能系統和聊天機器人，但實際上他們對將它們投入生產感到擔心，因為他們不知道它們會如何表現?！?/span>

網絡上到處都是聊天機器人的事故。2023年初，微軟基于OpenAI ChatGPT的必應聊天模式威脅要破壞一名記者的婚姻，將這名記者比作希特勒，并幻想發(fā)布核密碼。

除了擔心聊天機器人會噴出有毒物質外，LLM還有一個持續(xù)存在的幻覺問題。LLM總是會編造一些東西，因為它們的設計方式不同，所以需要第三方介入并檢測幻覺。此外，還有個人身份信息(PII)可能從LLM泄露的影響，更不用說人們與LLM共享PII了。

Datarobot擁有多年幫助公司構建、訓練、部署和管理機器學習模型的經驗。多年來，它一直處于預測分析領域前沿。當GenAI風潮來臨時，該公司迅速將其業(yè)務重心轉向處理新的語言模型，這些模型已被證明是如此有前途，但也令人煩惱。

“信心問題是我們的首要關注點。”Schmidt繼續(xù)說道?！叭フ掖蠊菊務?。是什么阻止他們將更多的GenAI應用程序投入生產?你會得到一些與“我不喜歡它的質量”或“我們需要提高它的質量”或“我不相信它”或“我不知道它在不同情況下的表現如何”……”

Datarobot在其平臺中引入的新防護模型為客戶提供了一種解決一些最緊迫問題的方法。憑借其生成式人工智能防護庫，該公司現在提供預先構建的守衛(wèi)模型，可以及時檢測毒性，可以檢測PII，還可以減輕幻覺?？蛻粢部梢越⒆约旱氖匦l(wèi)模型。

一些預配置的守衛(wèi)模型會持續(xù)掃描用戶輸入，以防止PII被發(fā)送到LLM。其他模型可以防止LLM的不適當輸出到達最終用戶面前，包括有毒內容，甚至與競爭對手進行比較。Schmidt表示，當與Datarobot AI平臺的其他新功能一起部署時，這些模型可以作為LLM和整個GenAI應用程序的端到端護欄。

他說:“我們還增加了一項能力，不僅可以對單一模型和管道進行測量和評估，還可以對組合在一起的護欄進行評估?！?/span>

Datarobot還可以生成測試腳本和測試提示，以確定LLM是否正常工作。如果客戶使用矢量數據庫來存儲在推理時輸入LLM的數據，Datarobot也可以使用它。

這個版本還帶來了新的反饋機制，允許組織改進他們的GenAI應用程序。如果對GenAI模型的更改為客戶帶來了負面體驗，則會報告該反饋。然后，該平臺可以預測其他類似的變化何時會產生相同類型的負面結果。

Schmidt說，這是Datarobot在跟蹤模型性能方面的傳統之一。

“你的模特表現如何？你現在可以用它來評估你的人工智能系統?！彼f，“因此，如果現在對提示進行編輯，可以立即看到該提示的接受率，估計接受率度量或估計反饋度量?；蛘吣憧赡芨铝耸噶繑祿欤蛘吣銚Q成了Llama 3，換成了GPT 3.5，或者你做了一些類似的切換，現在你都可以實際測量效果是什么?！?/span>

雖然經典的機器學習方法和預測性人工智能仍然是Datarobot的重要應用領域，但大多數新前景都在尋求實現LLM和構建GenAI應用程序。Schmidt表示，Datarobot能夠在很大程度上利用其為預測性人工智能構建的平臺，用于新的GenAI用例。