今早醒來(lái)，全網(wǎng)都炸鍋了。

之前，大家都公認(rèn)ChatGPT幾乎能上天入地，無(wú)所不能，唯一的缺點(diǎn)就是——不能聯(lián)網(wǎng)。因?yàn)樗挠?xùn)練數(shù)據(jù)集截止到21年9月，所以它對(duì)于這以后世界的了解，還是一片空白。

如今，這唯一的封印，也被OpenAI解除了。

今日凌晨，外網(wǎng)傳來(lái)地震級(jí)消息：OpenAI已經(jīng)為ChatGPT添加了插件，現(xiàn)在，ChatGPT能聯(lián)網(wǎng)了！

OpenAI表示，添加插件后，ChatGPT不僅會(huì)自己看網(wǎng)頁(yè)，還能和網(wǎng)站互動(dòng)。用OpenAI的話說(shuō)，現(xiàn)在，其他服務(wù)都成了ChatGPT的「眼睛和耳朵」。

所以，人類要迎來(lái)史上首個(gè)真·全知全能AI了？

全知全能，ChatGPT全宇宙來(lái)了！

可以想象，現(xiàn)在的ChatGPT，已經(jīng)變成了一個(gè)無(wú)所不包的生態(tài)系統(tǒng)。雖然很多應(yīng)用尚在早期，還待探索，但ChatGPT能拓展的疆域，可以說(shuō)是無(wú)限的。

李飛飛高徒、英偉達(dá)AI科學(xué)家Jim Fan激動(dòng)地說(shuō)，如果說(shuō)曾經(jīng)ChatGPT的橫空出世可以看作「iPhone的出現(xiàn)」，今天第三方插件的集成，就是「iOS App Store」級(jí)別的事件。

咱們來(lái)看看，ChatGPT現(xiàn)在的能力有多驚人。

首先我們需要安裝一波插件。

緊接著，就可以提問(wèn)了。

比如，「我正在舊金山，這個(gè)周末想吃素食，能不能建議下，我周六去哪家參觀，周日按什么食譜做菜？請(qǐng)用WolframAlpha計(jì)算出食譜的熱量，最后在Instacart上訂購(gòu)食材?！?/span>

所有你需要的信息，立馬完美呈現(xiàn)。

食譜出來(lái)后，它立馬貼心地幫你在購(gòu)物網(wǎng)站Instacart上下單，需要什么食材，ChatGPT已經(jīng)幫你選好了。你需要做的，就是付個(gè)賬。

能上網(wǎng)、會(huì)代碼、擅分析，OpenAI誠(chéng)意滿滿

ChatGPT官方提供的插件，可以分為三大類：

• Web瀏覽器：在循環(huán)中添加必應(yīng)搜索
• 代碼解釋器：在一個(gè)沙盒和防火墻的執(zhí)行環(huán)境中添加一個(gè)實(shí)時(shí)的Python解釋器
• 檢索：對(duì)個(gè)人和組織文件進(jìn)行語(yǔ)義搜索

Web瀏覽器

OpenAI做的第一款插件Web瀏覽器，可謂是誠(chéng)意滿滿。

這一插件會(huì)利用新必應(yīng)的API，在互聯(lián)網(wǎng)上搜索問(wèn)題的相關(guān)信息，然后給出具體答案。

比如你可以問(wèn)ChatGPT：「今年奧斯卡獲獎(jiǎng)電影的票房和最近上映的電影相比，誰(shuí)高誰(shuí)低？」

它就會(huì)立刻上網(wǎng)進(jìn)行搜索，然后給出答案。顯然，這是它以前無(wú)法做到的事。

此外，ChatGPT還會(huì)根據(jù)查詢的內(nèi)容，判斷是否需要給出必應(yīng)的接口。

然后，我們就可以通過(guò)答案中的索引，跳轉(zhuǎn)到具體的鏈接了。

雖然這個(gè)功能必應(yīng)也能做到，但ChatGPT的插件不止能檢索實(shí)時(shí)信息，還能綁定API，直接執(zhí)行操作。

打個(gè)比方，必應(yīng)可以告訴你航班和酒店，但ChatGPT能直接幫你訂航班和酒店了！

這個(gè)瀏覽功能，使用的是必應(yīng)的搜索API，微軟在兩方面下了大功夫：

（1）保證信息來(lái)源的可靠性和真實(shí)性；

（2）開(kāi)啟「安全模式」，防止檢索不適當(dāng)?shù)膬?nèi)容。插件在一個(gè)孤立的服務(wù)中運(yùn)行，因此ChatGPT的瀏覽活動(dòng)與其他部分是分開(kāi)的。

所以，有了這一插件，你還會(huì)用必應(yīng)嗎？

目前，OpenAI從安全角度考慮，允許這個(gè)插件只支持GET請(qǐng)求，不支持POST。這意味著，它只能獲取數(shù)據(jù)，卻不能發(fā)送。

此外，OpenAI還做了一些爬蟲限制，配置為robots.txt文件，以避開(kāi)禁止抓取的內(nèi)容。

如果在使用過(guò)程中出現(xiàn)「點(diǎn)擊失敗」，是正常的。

代碼解釋器

昨天，GitHub發(fā)布了一個(gè)基于GPT-4的代碼生成工具GitHub X，已經(jīng)讓許多碼農(nóng)遭到降維打擊。

而這次，OpenAI推出的「代碼解釋器」編程插件，動(dòng)嘴編程序更強(qiáng)了。

目前，這一插件用的是處于實(shí)驗(yàn)階段的ChatGPT模型。

該模型被放置在了一個(gè)受防火墻保護(hù)的沙盒中，并會(huì)分配一些少量的臨時(shí)磁盤空間。

另外，在用戶進(jìn)行交流對(duì)話時(shí)，代碼會(huì)被保存在會(huì)話中，可以隨時(shí)調(diào)用。

這款解釋器有幾個(gè)特別的用例：

1. 解決定量和定性的數(shù)學(xué)問(wèn)題；

2. 進(jìn)行數(shù)據(jù)分析和可視化；

3 .快速轉(zhuǎn)換文件格式。

隨著這款插件的使用人群增加，OpenAI鼓勵(lì)用戶多進(jìn)行嘗試，挖掘出代碼解釋器更多的功能。

借助這個(gè)代碼解釋器，我們就能ChatGPT實(shí)現(xiàn)各種無(wú)敵的功能了！

比如，讓ChatGPT編輯視頻——只要給出一個(gè)指令，ChatGPT就會(huì)對(duì)上傳視頻文件進(jìn)行處理，稍等片刻之后，就可以直接下載了。

沒(méi)錯(cuò)，就是這么炸裂。

檢索

此外，OpenAI開(kāi)源了知識(shí)庫(kù)檢索插件的代碼，允許用戶托管他們自己的數(shù)據(jù)，并使其在ChatGPT內(nèi)部可訪問(wèn)。

檢索插件庫(kù)的地址：https://github.com/openai/chatgpt-retrieval-plugin

這一插件可以從數(shù)據(jù)中獲取最相關(guān)的文件片段，如文件、筆記、電子郵件或公共文檔。

在此，開(kāi)發(fā)者可以部署自己的插件版本，并在ChatGPT注冊(cè)。通過(guò)嵌入OpenAI，允許開(kāi)發(fā)者選擇一個(gè)矢量數(shù)據(jù)庫(kù)（Milvus、Pinecone、Qdrant、Redis、Weaviate或Zilliz）對(duì)文檔進(jìn)行索引和搜索。

與此同時(shí)，這些信息源可以使用webhooks與數(shù)據(jù)庫(kù)同步。

「Chat Store」來(lái)了

除了自家的插件外，OpenAI這次還發(fā)布了11款第三方插件：

其中，第一批插件由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier創(chuàng)建。

這些插件涵蓋了實(shí)時(shí)信息檢索、訂機(jī)票、在線點(diǎn)餐、交通導(dǎo)航、企業(yè)辦公、流程優(yōu)化等功能。

沒(méi)錯(cuò)，ChatGPT全宇宙里，一家子就是要整整齊齊。

此外，OpenAI還鼓勵(lì)開(kāi)發(fā)者一起做插件。然而，這個(gè)權(quán)限不是人人都有的，需要一個(gè)「入場(chǎng)劵」。

你首先需要先加入waitlist申請(qǐng)，申請(qǐng)時(shí)最好填上個(gè)人GitHub地址。這也是OpenAI用來(lái)判斷開(kāi)發(fā)能力的標(biāo)準(zhǔn)之一。

創(chuàng)建一個(gè)插件需要三個(gè)步驟:

- 構(gòu)建 API

- 使用OpenAPI yaml或JSON格式記錄API文檔

- 創(chuàng)建一個(gè)JSON清單文件，定義插件的相關(guān)元數(shù)據(jù)

理工科神器Wolfram|Alpha

而且，Wolfram|Alpha插件的注入，讓「數(shù)學(xué)菜雞」ChatGPT也有翻身的機(jī)會(huì)了。

此前，人們就發(fā)現(xiàn)ChatGPT做「雞兔同籠」的題總是出錯(cuò)。這引起了Wolfram語(yǔ)言之父Stephen Wolfram的注意。

當(dāng)時(shí)，Wolfram就曾提出要解決ChatGPT的數(shù)學(xué)短板，方法便是結(jié)合進(jìn)自己的Wolfram|Alpha知識(shí)引擎。

作為一個(gè)在線自動(dòng)問(wèn)答系統(tǒng)，Wolfram|Alpha不僅具備強(qiáng)大的結(jié)構(gòu)化計(jì)算能力，而且也能理解自然語(yǔ)言。

這不，歷經(jīng)2個(gè)半月，ChatGPT已經(jīng)獲得了「Wolfram的超能力」。

讓我們看一看ChatGPT的計(jì)算超能力。

1月份，Wolfram曾用ChatGPT演示的簡(jiǎn)單例子「從芝加哥到東京有多遠(yuǎn)」生成結(jié)果不是正確的。

加入插件后，ChatGPT的能力立刻增強(qiáng)了，不僅生成了正確的結(jié)果，而且給出了可視化的圖片。

這是如何實(shí)現(xiàn)的？ChatGPT為W|A構(gòu)建一個(gè)查詢系統(tǒng)，然后將其發(fā)送到 Wolfram|Alpha 進(jìn)行計(jì)算，然后根據(jù)讀取到的結(jié)果「決定要說(shuō)什么」。

你可以通過(guò)點(diǎn)擊「使用Wolfram」框來(lái)查看這個(gè)前后過(guò)程 (通過(guò)查看這些信息，你可以確認(rèn)ChatGPT沒(méi)有「編造任何東西」) 。

同樣的，此前Wolfram就注意到，ChatGPT只是「捏造」了看似合理 ，但卻是錯(cuò)誤的數(shù)據(jù)。

輸入的prompt如下，在調(diào)用了Wolfram插件后，ChatGPT輸出了一個(gè)正確且權(quán)威的答案。

我們甚至還能用ChatGPT做出圖表。

Wolfram還給了一個(gè)全景圖，你能用ChatGPT+Wolfram|Alpha能做的事情，可太多了。

大佬們都炸了！直呼ChatGPT是宇宙中心

幾個(gè)小時(shí)前，ChatGPT之父直接翻出2022年4月曾說(shuō)的話：「我們需要為這種新的計(jì)算機(jī)界面命名，用自然語(yǔ)言告訴計(jì)算機(jī)你想要什么，然后直接讓它們執(zhí)行操作。大家有想法嗎？」

或許在那時(shí)，ChatGPT Plugins的想法就已經(jīng)在他的腦海中醞釀了。

OpenAI的首席科學(xué)家Andrej Karpathy表示：

GPT類模型是一種運(yùn)行在文本上的新型計(jì)算機(jī)架構(gòu)，它不僅可以與我們?nèi)祟惤徽?，也可以與現(xiàn)有的軟件基礎(chǔ)設(shè)施「交談」，API是第一步，插件是第二步。

我們所處的時(shí)代也太炸裂了……

「如果把OpenAI比作蘋果，那GPT-4就是iPhone，ChatGPT則是iOS，而這次發(fā)布的Plugins就是App Store了?！?/span>

而國(guó)內(nèi)網(wǎng)友立馬就設(shè)想出了一系列應(yīng)用場(chǎng)景——現(xiàn)在可以用ChatGPT預(yù)定酒店航班、點(diǎn)外賣、網(wǎng)購(gòu)了，而這些插件最擅長(zhǎng)的就是Marketplace，現(xiàn)在，ChatGPT是真成宇宙中心了吧……

來(lái)源：成為馬斯克

有網(wǎng)友稱，這是「ChatGPT宇宙」的開(kāi)端。

來(lái)源：倪爽

而微博大V「木遙」驚呼：用自然語(yǔ)言生成插件，是我這輩子見(jiàn)過(guò)最瘋狂的系統(tǒng)。

最后他發(fā)出預(yù)言：Python已死。

來(lái)源：木遙

最近，微軟副總裁Yusuf Mehdi發(fā)出了這樣的感慨。

的確，我們誰(shuí)都不曾想到，這個(gè)三月會(huì)如此瘋狂。