最強(qiáng)組合：HuggingFace+ChatGPT ——

HuggingGPT，它來(lái)了！

只要給定一個(gè)AI任務(wù)，例如“下面這張圖片里有什么動(dòng)物，每種有幾只”。

它就能幫你自動(dòng)分析需要哪些AI模型，然后直接去調(diào)用HuggingFace上的相應(yīng)模型，來(lái)幫你執(zhí)行并完成。

整個(gè)過(guò)程，你要做的就只是用自然語(yǔ)言將你的需求輸出。

這項(xiàng)由浙大與微軟亞研院的合作成果，一經(jīng)發(fā)布就迅速爆火。

英偉達(dá)AI研究科學(xué)家Jim Fan直呼：

這是我本周讀到的最有意思的論文。它的思想非常接近“Everything App”（萬(wàn)物皆App，被AI直接讀取信息）。

而一位網(wǎng)友則“直拍大腿”：

這不就是ChatGPT“調(diào)包俠”嗎？

AI進(jìn)化速度一日千里，給我們留口飯吃吧……

所以，具體怎么回事兒？

HuggingGPT：你的AI模型“調(diào)包俠”

其實(shí)，若說(shuō)這個(gè)組合物只是“調(diào)包俠”，那格局小了。

它的真正用義，是AGI。

如作者所言，邁向AGI的關(guān)鍵一步是能夠解決具有不同領(lǐng)域和模式的復(fù)雜AI任務(wù)。

我們目前的成果離此還有距離——大量模型只能出色地完成某一特定任務(wù)。

然而大語(yǔ)言模型LLM在語(yǔ)言理解、生成、交互和推理方面的表現(xiàn)，讓作者想到：

可以將它們作為中間控制器，來(lái)管理現(xiàn)有的所有AI模型，通過(guò)“調(diào)動(dòng)和組合每個(gè)人的力量”，來(lái)解決復(fù)雜的AI任務(wù)。

在這個(gè)系統(tǒng)中，語(yǔ)言是通用的接口。

于是，HuggingGPT就誕生了。

它的工程流程分為四步：

首先，任務(wù)規(guī)劃。ChatGPT將用戶(hù)的需求解析為任務(wù)列表，并確定任務(wù)之間的執(zhí)行順序和資源依賴(lài)關(guān)系。

其次，模型選擇。ChatGPT根據(jù)HuggingFace上托管的各專(zhuān)家模型的描述，為任務(wù)分配合適的模型。

接著，任務(wù)執(zhí)行?；旌隙它c(diǎn)（包括本地推理和HuggingFace推理）上被選定的專(zhuān)家模型根據(jù)任務(wù)順序和依賴(lài)關(guān)系執(zhí)行分配的任務(wù)，并將執(zhí)行信息和結(jié)果給到ChatGPT。

最后，輸出結(jié)果。由ChatGPT總結(jié)各模型的執(zhí)行過(guò)程日志和推理結(jié)果，給出最終的輸出。

如下圖所示。

假定我們給出這樣一個(gè)請(qǐng)求：

請(qǐng)生成一個(gè)女孩正在看書(shū)的圖片，她的姿勢(shì)與example.jpg中的男孩相同。然后請(qǐng)用你的聲音描述新圖片。

可以看到HuggingGPT是如何將它拆解為6個(gè)子任務(wù)，并分別選定模型執(zhí)行得到最終結(jié)果的。

具體效果怎么樣？

作者采用gpt-3.5-turbo和text-davinci-003這倆可以通過(guò)OpenAI API公開(kāi)訪問(wèn)的變體，進(jìn)行了實(shí)測(cè)。

如下圖所示：

在任務(wù)之間存在資源依賴(lài)關(guān)系的情況下，HuggingGPT可以根據(jù)用戶(hù)的抽象請(qǐng)求正確解析出具體任務(wù)，完成圖片轉(zhuǎn)換。

在音頻和視頻任務(wù)中，它也展現(xiàn)了組織模型之間合作的能力，通過(guò)分別并行和串行執(zhí)行兩個(gè)模型的方式，完了一段“宇航員在太空行走”的視頻和配音作品。

此外，它還可以集成多個(gè)用戶(hù)的輸入資源執(zhí)行簡(jiǎn)單的推理，比如在以下三張圖片中，數(shù)出其中有多少匹斑馬。

一句話總結(jié)：HuggingGPT可以在各種形式的復(fù)雜任務(wù)上表現(xiàn)出良好的性能。

項(xiàng)目已開(kāi)源，名叫「賈維斯」

目前，HuggingGPT的論文已經(jīng)發(fā)布，項(xiàng)目則正在建設(shè)中，代碼只開(kāi)源了一部分，已攬獲1.4k標(biāo)星。

我們注意到，它的項(xiàng)目名稱(chēng)很有意思，不叫本名HuggingGPT，而是鋼鐵俠里的AI管家賈維斯（JARVIS）。

有人發(fā)現(xiàn)它和3月份剛發(fā)布的Visual ChatGPT的思想非常像：后者HuggingGPT，主要是可調(diào)用的模型范圍擴(kuò)展到了更多，包括數(shù)量和類(lèi)型。

不錯(cuò)，其實(shí)它們都有一個(gè)共同作者：微軟亞研院。

具體而言，Visual ChatGPT的一作是MSRA高級(jí)研究員吳晨飛，通訊作者為MSRA首席研究員段楠。

HuggingGPT則包括兩位共同一作：

Shen Yongliang，TA來(lái)自浙江大學(xué)，在MSRA實(shí)習(xí)期間完成此項(xiàng)工作；

Song Kaitao，MSRA研究員。

其通訊作者為浙大計(jì)算機(jī)系教授莊越挺。

最后，對(duì)于這個(gè)強(qiáng)大新工具的誕生，網(wǎng)友們很是興奮，有人表示：

ChatGPT已成為人類(lèi)創(chuàng)建的所有AI的總指揮官了。

也有人據(jù)此認(rèn)為：

AGI可能不是一個(gè)LLM，而是由一個(gè)“中間人”LLM連接的多個(gè)相互關(guān)聯(lián)的模型。

那么，我們是否已經(jīng)開(kāi)啟“半AGI”的時(shí)代了？

論文地址：??https://arxiv.org/abs/2303.17580???
項(xiàng)目鏈接：???https://github.com/microsoft/JARVIS??

參考鏈接：???https://twitter.com/DrJimFan/status/1642563455298473986??