作者 | 云昭

51CTO讀者成長(zhǎng)計(jì)劃社群招募，咨詢小助手（微信號(hào)：CTOjishuzhan）

借用陸奇在4月23日深圳的分享來說，GPT現(xiàn)在已經(jīng)進(jìn)入了淘金時(shí)代。雖然全球涌現(xiàn)出成千上萬的大模型或ChatGPT變種，但一直能掙錢的人往往是賣鏟子的人。

這不，圍繞暴風(fēng)眼中的大模型，已經(jīng)有不少企業(yè)，開始研究起了大模型的“鏟子”產(chǎn)品，而且開源和付費(fèi)兩不誤。

一、英偉達(dá)：給大模型上安全護(hù)欄

不管ChatGPT能不能笑到最后，英偉達(dá)肯定是大贏家。做大模型的生意不止是芯片，還有工具和服務(wù)。

大模型會(huì)產(chǎn)生“幻覺”，是一個(gè)被人詬病的事實(shí)。英偉達(dá)很快就打造了一個(gè)“安全護(hù)欄”NeMo Guardrails，它充當(dāng)一種針對(duì)基于大型語言模型 (LLM) 構(gòu)建的應(yīng)用程序的檢查器，而且這個(gè)“鏟子”已經(jīng)在Github上開源了。

有了它，大模型應(yīng)用的開發(fā)者可以輕松開發(fā)安全可靠的LLM對(duì)話系統(tǒng)。NeMo Guardrails可以與所有LLM一起使用，包括OpenAI的ChatGPT。

該工具包由社區(qū)構(gòu)建的工具包提供支持，例如LangChain，它在短短幾個(gè)月內(nèi)就在GitHub上收集了約3萬顆星。這些工具包提供可組合、易于使用的模板和模式，通過將LLM、API和其他軟件包粘合在一起來構(gòu)建LLM支持的應(yīng)用程序。

Nvidia應(yīng)用研究副總裁Jonathan Cohen昨天在與記者的簡(jiǎn)報(bào)會(huì)上談到了這款新軟件，并表示：“Guardrails是一個(gè)很好的向?qū)?，有助于保持人與人工智能之間的對(duì)話正常進(jìn)行?！?/p>

據(jù)稱，NeMo Guardrails使開發(fā)人員能夠設(shè)置三種護(hù)欄：

• 局部護(hù)欄：“防止應(yīng)用程序轉(zhuǎn)向不需要的區(qū)域”。Cohen給出了一個(gè)例子是：一名員工詢問人力資源聊天機(jī)器人哪些員工收養(yǎng)了孩子。護(hù)欄阻止聊天機(jī)器人嘗試回答這個(gè)問題。
• Safety護(hù)欄：是一個(gè)廣泛的類別，包括事實(shí)核查（防止幻覺）、過濾掉不需要的語言和防止仇恨內(nèi)容。
• Security護(hù)欄：限制應(yīng)用程序僅與已知安全的外部第三方應(yīng)用程序建立連接。

開發(fā)人員還可以“用幾行代碼”創(chuàng)建自己的自定義規(guī)則。NeMo Guardrails可以在各種使用LLM的工具上運(yùn)行。簡(jiǎn)報(bào)中提到的第一個(gè)是LangChain，它是開發(fā)人員用來將第三方應(yīng)用程序插入LLM的開源工具包。它還能與支持LLM的應(yīng)用程序（例如Zapier）一起使用。

值得注意的是，開源歸開源，不影響變現(xiàn)。集成到產(chǎn)品中卻是要付費(fèi)的。

雖然NeMo Guardrails可以通過GitHub單獨(dú)使用，但Nvidia也將其集成到他們自己的幾個(gè)產(chǎn)品中。它在 NeMo 框架中可用，“其中包括用戶使用公司專有數(shù)據(jù)訓(xùn)練和調(diào)整語言模型所需的一切?！?此外，Nvidia已將其作為一項(xiàng)單獨(dú)的付費(fèi)服務(wù)提供。

1.事實(shí)核查：用大模型來監(jiān)管大模型

那么，如何防止幻覺呢？

有趣的是，作為Safety護(hù)欄的一部分，事實(shí)核查不是由人完成的，而是由另一個(gè)LLM完成的。Cohen解釋說，這是因?yàn)榻M織可以定制和培訓(xùn)LLM，使其成為特定數(shù)據(jù)的事實(shí)核查員。

“在非常具體的任務(wù)上使用大量數(shù)據(jù)訓(xùn)練語言模型也有很多價(jià)值，我們（包括社區(qū)）有很多證據(jù)，比如當(dāng)你用大量的例子對(duì)這些模型進(jìn)行微調(diào)時(shí)，它們實(shí)際上可以表現(xiàn)得更好?！?/p>

圖片來源：英偉達(dá)

2.如何實(shí)現(xiàn)的？無限套娃！

在一篇技術(shù)博客文章中，Nvidia表示NeMo Guardrails是建立在Colang之上的，Colang是一種建模語言，其用于對(duì)話式AI的相關(guān)運(yùn)行時(shí)。Cohen將其描述為“一種用于描述對(duì)話流的特定領(lǐng)域語言”。

根據(jù)Nvidia的說法，與Colang的交互“就像一個(gè)傳統(tǒng)的對(duì)話管理器”。

Colang 代碼示例

至于護(hù)欄是如何實(shí)現(xiàn)的，Cohen解釋說它是一個(gè)運(yùn)行Colang腳本的Python模塊。運(yùn)行時(shí)“監(jiān)控人類說話和機(jī)器人說話，并跟蹤對(duì)話的狀態(tài)。”

根據(jù)Cohen的說法，關(guān)鍵在于運(yùn)行時(shí)“能夠確定護(hù)欄是否適用”。然而，LLM再次被用來做出這個(gè)決定。

在對(duì)代碼進(jìn)行了越來越深入的研究后，仍然看不到結(jié)尾，你可以沮喪地驚呼“一路往下都是烏龜！”

這是指地球在烏龜背上的比喻。烏龜站在什么上面？又是一只烏龜。。。

Cohen對(duì)此進(jìn)行了辯護(hù)，他說：“為什么我們不使用大型語言模型？[它] 是一種如此強(qiáng)大的技術(shù)，可用于上下文理解和概括以及這種模糊推理?！?/p>

當(dāng)然，從事實(shí)核查和安全的角度來看，對(duì)LLM的嚴(yán)重依賴確實(shí)讓人懷疑系統(tǒng)的可靠性。但這肯定是它作為開源軟件發(fā)布的原因——讓社區(qū)的力量來處理那些“無限套娃”的問題吧。

二、OpenAI ：增設(shè)新功能“關(guān)閉歷史聊天”、新增企業(yè)收費(fèi)版

當(dāng)然領(lǐng)先的淘金者往往也是“金鏟子”的發(fā)明者。這不，OpenAI對(duì)于數(shù)據(jù)安全的優(yōu)化，繼續(xù)領(lǐng)跑，推出了新功能和新版本——關(guān)閉歷史聊天，可導(dǎo)出數(shù)據(jù)，推出企業(yè)訂閱！

此前，ChatGPT被曝出用戶的歷史聊天記錄出現(xiàn)在別人的用例中。這次，OpenAI推出了更為人性的功能：引入了在ChatGPT中關(guān)閉聊天歷史記錄的功能。當(dāng)聊天歷史記錄被禁用時(shí)，開始的對(duì)話不會(huì)用于訓(xùn)練和改進(jìn)我們的模型，也不會(huì)出現(xiàn)在歷史記錄側(cè)邊欄中。

這些控件從今天開始向所有用戶推出，可以在ChatGPT的設(shè)置中找到，并且可以隨時(shí)更改。我們希望這能比我們現(xiàn)有的選擇退出流程更容易地管理您的數(shù)據(jù)。當(dāng)聊天記錄被禁用時(shí)，我們將保留30天的新對(duì)話，并僅在需要監(jiān)控濫用情況時(shí)進(jìn)行審查，然后永久刪除。

如何在ChatGPT中禁用歷史記錄的說明

此外，OpenAI也為需要更多數(shù)據(jù)控制的專業(yè)人士以及尋求管理最終用戶的企業(yè)，開發(fā)了新的ChatGPT Business訂閱。ChatGPT Business將遵循我們的API數(shù)據(jù)使用政策。默認(rèn)情況下，最終用戶的數(shù)據(jù)不會(huì)用于訓(xùn)練GPT模型。ChatGPT企業(yè)版未來幾個(gè)月內(nèi)推出。

最后，設(shè)置中的新導(dǎo)出選項(xiàng)，使導(dǎo)出ChatGPT數(shù)據(jù)和了解ChatGPT存儲(chǔ)的信息變得更加容易。用戶在在電子郵件中將收到一個(gè)包含對(duì)話和所有其他相關(guān)數(shù)據(jù)的文件。

三、市面上缺少識(shí)別AI生成內(nèi)容的工具

除了解決AIGC產(chǎn)生幻覺，歷史聊天等數(shù)據(jù)泄露的問題，其實(shí)更迫在眉睫的問題是：AI濫用的問題。

進(jìn)入4月以來，AIGC生成的內(nèi)容已經(jīng)開始充斥不少知名的平臺(tái)，比如知乎上已經(jīng)有些用戶開始濫用AI來回答問題。

緊接著，知乎官方也發(fā)布了聲明，并表示：“批量發(fā)布AIGC類內(nèi)容的行為有違知乎社區(qū)價(jià)值觀，社區(qū)對(duì)此類行為零容忍，將持續(xù)加強(qiáng)對(duì)違規(guī)帳號(hào)的打擊力度。”

“若知友們發(fā)現(xiàn)有利用AIGC技術(shù)，擾亂社區(qū)秩序的內(nèi)容或帳號(hào)，可通過「舉報(bào)」-「擾亂社區(qū)秩序」-「AI 生成內(nèi)容」的途徑反饋給我們，我們將第一時(shí)間展開核查和處理?！?/p>

但從聲明可以看出，目前還只是通過舉報(bào)的形式來辨識(shí)，我們依舊缺乏有力的技術(shù)工具來識(shí)別是否是AI輔助生成的內(nèi)容。

最后，這個(gè)“嗅探真假”的工具產(chǎn)品也許是時(shí)候問世了，而且越早越好。

四、寫在最后

以ChatGPT、Midjourney等為代表的AIGC空前熱鬧，我們都在關(guān)注這一輪AI變革給千行百業(yè)帶來的機(jī)會(huì)空間。今天，我們看到OpenAI、英偉達(dá)、內(nèi)容平臺(tái)在圍繞著它，正在探索著這個(gè)空間的落地之處。

浪潮之中，淘金者甚眾。我們?cè)谧ゾo窗口期追趕國(guó)產(chǎn)版“ChatGPT”的同時(shí)，別忘了浪潮周邊的配套“鏟子”產(chǎn)品是否已經(jīng)跟上，比如安全產(chǎn)品、各行業(yè)的專用產(chǎn)品，內(nèi)容質(zhì)量的識(shí)別產(chǎn)品等等。

參考鏈接：

https://thenewstack.io/nvidia-launches-ai-guardrails-llm-turtles-all-the-way-down/

https://openai.com/blog/new-ways-to-manage-your-data-in-chatgpt

https://zhuanlan.zhihu.com/p/624717941