ChatGPT開始聯(lián)網(wǎng)，最后的封印解除了
ChatGPT 是個(gè)「智商超高」的人工智能，經(jīng)過 GPT-4 內(nèi)核的升級(jí)版更是如此。然而我們知道，它的訓(xùn)練數(shù)據(jù)截止到 2021 年，沒有訓(xùn)練過的東西，AI 是不可能準(zhǔn)確回答出來的。
自去年 11 月上線以來，ChatGPT 已被無(wú)數(shù)人使用，人們一直要求以各種形式讓這個(gè)大語(yǔ)言模型接入更多數(shù)據(jù)，3 月 24 日，OpenAI 終于宣布部分解除了 ChatGPT 無(wú)法聯(lián)網(wǎng)的限制。
OpenAI 的解決方案是用第三方插件作為橋梁，讓 AI 在較安全的環(huán)境下「看」外界數(shù)據(jù)。昨天該機(jī)構(gòu)開放了第一批 ChatGPT 插件名單。這批插件由 Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram 和 Zapier 創(chuàng)建。
具體來說，插件現(xiàn)在可以讓你用 ChatGPT 執(zhí)行以下操作：
- 檢索實(shí)時(shí)信息：例如體育比分、股價(jià)、最新消息等；
- 檢索知識(shí)庫(kù)信息：例如公司文件、個(gè)人筆記等；
- 代表用戶執(zhí)行操作：例如，訂機(jī)票、訂餐等。
除此之外，OpenAI 還自己提供了兩種插件，包括一個(gè)網(wǎng)絡(luò)瀏覽器和一個(gè)代碼解釋器，并開源了一個(gè)知識(shí)庫(kù)檢索插件的代碼?，F(xiàn)在，任何開發(fā)人員都可以自行構(gòu)建插件，用來增強(qiáng) ChatGPT 的信息庫(kù)了。
目前插件 alpha 版的訪問權(quán)限已擴(kuò)展至更多候補(bǔ)名單中的用戶和開發(fā)人員，雖然 OpenAI 表示優(yōu)先考慮少部分開發(fā)者和 ChatGPT Plus 用戶，但也計(jì)劃未來進(jìn)行更大規(guī)模的開放。
為了讓大家有個(gè)直觀的感受，這里舉一個(gè)例子：用戶可以從 ChatGPT 中選擇并安裝 Wolfram 插件，從而提高其計(jì)算智能。
Wolfram Alpha 里的數(shù)據(jù)均來自各大學(xué)術(shù)網(wǎng)站、出版刊物與科學(xué)機(jī)構(gòu)，專業(yè)性絕對(duì)有保障，這樣的 ChatGPT 有沒讓你感覺變得更強(qiáng)大了？
概述
今天的大語(yǔ)言模型雖然已能完成各種任務(wù)，但作用仍然有限。訓(xùn)練數(shù)據(jù)是它們可以從中學(xué)習(xí)的唯一信息，這些內(nèi)容可能已過時(shí)，但又要適配人們所有的需求。此外，語(yǔ)言模型唯一可以開箱即用的能力就是輸出文本。此文本可能包含有用的說明，但要真正遵循這些說明，人就需要進(jìn)行更多處理。
雖然不是一個(gè)完美的類比，但插件可以成為語(yǔ)言模型的「眼睛和耳朵」，從而讓語(yǔ)言模型能夠訪問新的、私人的或具體的，不包含在訓(xùn)練數(shù)據(jù)中的信息。
為了響應(yīng)用戶的明確請(qǐng)求，插件還可以使語(yǔ)言模型代為執(zhí)行安全、受限的操作，從而提高整個(gè)系統(tǒng)的實(shí)用性。
OpenAI 預(yù)計(jì)，統(tǒng)一應(yīng)用程序做 AI 交互的開放標(biāo)準(zhǔn)將會(huì)出現(xiàn)，他們正在對(duì)這樣一個(gè)標(biāo)準(zhǔn)進(jìn)行早期嘗試。
今天，OpenAI 開始逐步開放 OpenAI 早期合作者為 ChatGPT 用戶構(gòu)建的插件，首先覆蓋的對(duì)象是 ChatGPT Plus 訂閱者，此外也開始推出讓開發(fā)人員為 ChatGPT 創(chuàng)建自己的插件的能力。
在接下來的幾個(gè)月里，隨著安全系統(tǒng)的改進(jìn)，OpenAI 計(jì)劃讓使用 OpenAI 模型的開發(fā)人員能夠?qū)⒉寮傻阶约旱膽?yīng)用程序中，而不僅是 ChatGPT。
安全性和更廣泛的影響
當(dāng)然，將語(yǔ)言模型連接到外部工具會(huì)帶來新的機(jī)會(huì)，同時(shí)也會(huì)帶來重大的新風(fēng)險(xiǎn)。
插件提供了解決與大型語(yǔ)言模型相關(guān)的各種挑戰(zhàn)的潛力，包括大模型「幻覺」、追蹤最近的事件，以及訪問（經(jīng)過許可的）專有信息源。通過集成對(duì)外部數(shù)據(jù)的顯式訪問，例如在線最新信息、基于代碼的計(jì)算或自定義插件檢索信息，語(yǔ)言模型可以通過基于證據(jù)的參考內(nèi)容來加強(qiáng)它們的回復(fù)。
這些參考資料不僅增強(qiáng)了模型的實(shí)用性，還使用戶能夠評(píng)估模型輸出的可信度并仔細(xì)檢查其準(zhǔn)確性，從而有可能減輕與最近 GPT-4 系統(tǒng)卡片中討論的過度依賴相關(guān)的風(fēng)險(xiǎn)。最后，插件的價(jià)值可能跨越通過幫助用戶處理各種新用例（從瀏覽產(chǎn)品目錄到預(yù)訂航班或訂購(gòu)食物）的現(xiàn)有限制。
但與此同時(shí)，插件可能會(huì)采取有害或無(wú)意的行動(dòng)，增加不法分子欺詐、誤導(dǎo)或虐待他人的能力，從而增加安全層面的挑戰(zhàn)。通過增加可能的應(yīng)用范圍，插件可能會(huì)增加模型在新領(lǐng)域中采取的錯(cuò)誤或未對(duì)齊操作而產(chǎn)生負(fù)面后果的風(fēng)險(xiǎn)。
這些因素就指導(dǎo)了 ChatGPT 插件平臺(tái)的開發(fā)，OpenAI 為此推出了多項(xiàng)保障措施。
此前，OpenAI 已經(jīng)在內(nèi)部和與外部合作者進(jìn)行了「紅隊(duì)演練」，演習(xí)了許多可能的相關(guān)場(chǎng)景。例如，紅隊(duì)發(fā)現(xiàn)了如果插件在沒有安全措施的情況下發(fā)布，會(huì)執(zhí)行復(fù)雜的 prompt 注入、發(fā)送欺詐郵件和垃圾郵件、繞過安全限制或?yàn)E用發(fā)送到插件的信息。
OpenAI 正在使用這些發(fā)現(xiàn)來推動(dòng)安全設(shè)計(jì)緩解措施以限制有風(fēng)險(xiǎn)的插件行為，并提高了它們作為用戶體驗(yàn)的一部分運(yùn)行的方式和時(shí)間透明度，此外還使用這些發(fā)現(xiàn)來確認(rèn)逐步部署對(duì)插件的訪問的決定。
插件可能會(huì)產(chǎn)生廣泛的社會(huì)影響。例如，在一篇論文中，OpenAI 研究者發(fā)現(xiàn)能夠使用工具的語(yǔ)言模型可能會(huì)比沒有工具的語(yǔ)言模型產(chǎn)生更大的經(jīng)濟(jì)影響，更普遍地說，根據(jù)其他研究人員的發(fā)現(xiàn)， 當(dāng)前的人工智能技術(shù)浪潮將對(duì)工作轉(zhuǎn)變、替代和創(chuàng)造的速度有很大影響。
讓 ChatGPT 瀏覽網(wǎng)頁(yè)
在 WebGPT、GopherCite、BlenderBot2、LaMDA2 等一系列工作的激勵(lì)下，允許語(yǔ)言模型從互聯(lián)網(wǎng)上讀取信息，將嚴(yán)格地?cái)U(kuò)大了可以討論的內(nèi)容范圍，超越了訓(xùn)練語(yǔ)料庫(kù)，融入了當(dāng)下的新鮮信息。
下圖是一個(gè)例子，可以看到的是，瀏覽為 ChatGPT 用戶打開了一種體驗(yàn)，以前的模型可能會(huì)禮貌地指出它的訓(xùn)練數(shù)據(jù)沒有包括足夠的信息讓它回答。而在這個(gè)例子中，ChatGPT 檢索了最近的奧斯卡獎(jiǎng)信息（在 2023 年 3 月 13 日頒獎(jiǎng)），然后進(jìn)行了一番熟悉的 ChatGPT 詩(shī)歌表演。瀏覽成為了一種附加體驗(yàn)的方式。
問：你能告訴我哪個(gè)人 / 電影贏得了這些類別的奧斯卡獎(jiǎng)嗎？
- 最佳演員
- 最佳配樂
- 最佳影片
- 最佳男配角
然后想出一首詩(shī)將它們聯(lián)系在一起。
ChatGPT 會(huì)給你一系列的搜索結(jié)果，你可以直接點(diǎn)擊查看相關(guān)的信息來源。
除了為終端用戶提供實(shí)用價(jià)值之外，語(yǔ)言和聊天模型能夠進(jìn)行徹底和可解釋的研究，展現(xiàn)了具有可擴(kuò)展對(duì)齊工作方面的前景。
值得注意的是，插件的基于文本的 Web 瀏覽器僅限于發(fā)出 GET 請(qǐng)求，這能減少但不會(huì)消除某些類別的安全風(fēng)險(xiǎn)。瀏覽插件的范圍被限定為可用于檢索信息，但不包括「事務(wù)性」操作，例如表單提交 —— 這類操作具有更大的安全性風(fēng)險(xiǎn)。
瀏覽功能使用了微軟必應(yīng)搜索 API 從 Web 檢索內(nèi)容。因此，這一功能繼承了微軟在來源可靠性和信息真實(shí)性以及防止檢索有問題內(nèi)容的「安全模式」方面的大量工作。該插件在一個(gè)獨(dú)立的服務(wù)中運(yùn)行，ChatGPT 的瀏覽活動(dòng)與基礎(chǔ)設(shè)施的其余部分是分開的。
為了尊重內(nèi)容創(chuàng)作者并遵守網(wǎng)絡(luò)規(guī)范，ChatGPT 瀏覽器插件的用戶代理 token 是 ChatGPT-User，并配置為尊重網(wǎng)站的 robots.txt 文件。偶爾可能會(huì)導(dǎo)致「點(diǎn)擊失敗」，這表明該插件正在遵守網(wǎng)站的指示，避免對(duì)其進(jìn)行抓取。此用戶代理將僅用于代表 ChatGPT 用戶采取直接操作，而不用于以任何自動(dòng)方式抓取網(wǎng)絡(luò)。OpenAI 還發(fā)布了 IP 出口范圍，并實(shí)施了限速措施以避免向網(wǎng)站發(fā)送過多流量。
代碼解釋器
可以使用 Python 處理上傳和下載的實(shí)驗(yàn)性 ChatGPT 模型
OpenAI 為 ChatGPT 背后的模型提供了一個(gè)在沙盒、防火墻執(zhí)行環(huán)境中工作的 Python 解釋器，以及一些臨時(shí)磁盤空間。由解釋器插件運(yùn)行的代碼在一個(gè)持久會(huì)話中進(jìn)行評(píng)估，該會(huì)話在聊天對(duì)話期間（具有上限超時(shí)）一直處于活動(dòng)狀態(tài)，并且后續(xù)調(diào)用可以相互構(gòu)建。目前該功能支持將文件上傳到當(dāng)前對(duì)話工作區(qū)并下載工作結(jié)果。
點(diǎn)擊圖中的 Finished Calculating：
從最初的用戶研究之中，OpenAI 確定了一些使用代碼解釋器較有價(jià)值的用例：
- 解決定量和定性的數(shù)學(xué)問題
- 進(jìn)行數(shù)據(jù)分析和可視化
- 在格式之間轉(zhuǎn)換文件
安全機(jī)制
將 ChatGPT 模型連接到編程語(yǔ)言解釋器的首要防范措施是對(duì)執(zhí)行進(jìn)行適當(dāng)?shù)纳澈刑幚?，以?AI 生成的代碼不會(huì)在現(xiàn)實(shí)世界中產(chǎn)生意外的副作用。OpenAI 會(huì)在安全環(huán)境中執(zhí)行代碼，并使用嚴(yán)格的網(wǎng)絡(luò)控制來防止外部互聯(lián)網(wǎng)訪問執(zhí)行代碼。此外，OpenAI 對(duì)每個(gè)會(huì)話都設(shè)置了資源限制。
禁用互聯(lián)網(wǎng)訪問會(huì)限制代碼沙箱的功能，但這可能是 AI 輔助編程最安全的初始形態(tài)。第三方插件在設(shè)計(jì)中以安全為最優(yōu)先考慮，再將 ChatGPT 連接到外部世界。
數(shù)據(jù)獲取
開源檢索插件使 ChatGPT 能夠經(jīng)許可后訪問個(gè)人或組織的信息源。它允許用戶通過提問或用自然語(yǔ)言的方式表達(dá)需求，從他們的數(shù)據(jù)源中獲取最相關(guān)的文檔片段，例如文件、筆記、電子郵件或公共文檔。
作為一個(gè)開源和自托管的解決方案，開發(fā)人員可以部署他們自己的插件版本并在 ChatGPT 上注冊(cè)。其插件利用 OpenAI 嵌入并允許開發(fā)人員選擇向量數(shù)據(jù)庫(kù)（如 Milvus、Pinecone、Qdrant、Redis、Weaviate 或 Zilliz）來索引和搜索文檔。信息源可以使用 webhooks 與數(shù)據(jù)庫(kù)同步。
檢索插件允許 ChatGPT 搜索內(nèi)容向量數(shù)據(jù)庫(kù)，并將最佳結(jié)果添加到 ChatGPT 會(huì)話中。這意味著它不會(huì)受到任何外部影響，主要風(fēng)險(xiǎn)是數(shù)據(jù)授權(quán)和隱私。開發(fā)人員應(yīng)只將內(nèi)容添加到他們有權(quán)使用的檢索插件中，并且可以在用戶的 ChatGPT 會(huì)話中共享。
第三方插件
在 ChatGPT 上使用第三方的插件就像這樣：
OpenAI 為第三方插件準(zhǔn)備了描述清單文件，其中包括對(duì)插件功能的機(jī)器可讀描述、調(diào)用方法，以及面向用戶的文檔。
構(gòu)建一個(gè)插件的步驟：
1、構(gòu)建你希望語(yǔ)言模型調(diào)用的 API 端點(diǎn)（可以是新的 API、已有的 API 或圍繞專門為 LLM 設(shè)計(jì)的現(xiàn)有 API 的包裝）。
2、創(chuàng)建一個(gè)記錄你的 API 的 OpenAPI 規(guī)范，以及一個(gè)鏈接到 OpenAPI 規(guī)范并包含一些插件特定元數(shù)據(jù)的清單文件。
在 chat.openai.com 上開始對(duì)話時(shí)，用戶可以選擇他們想要啟用的第三方插件。有關(guān)已啟用插件的文檔作為對(duì)話上下文的一部分顯示給語(yǔ)言模型，使模型能夠根據(jù)需要調(diào)用適當(dāng)?shù)牟寮?API 來實(shí)現(xiàn)用戶意圖。目前，插件是為調(diào)用后端 API 而設(shè)計(jì)的，OpenAI 還正在探索也可以調(diào)用客戶端 API 的插件。
OpenAI 表示，他們正在努力開發(fā)插件，并推廣給更廣泛的受眾。
這也就意味著，ChatGPT 帶來的這場(chǎng)風(fēng)暴，正在席卷一切。
