ChatGPT在廣泛的開放域任務(wù)上展現(xiàn)出令人矚目的強大對話、上下文學(xué)習(xí)和代碼生成能力，而且它所獲得的常識知識還可以為特定領(lǐng)域的任務(wù)生成高級解決方案概要。不過，除了更強大的學(xué)習(xí)、理解和生成能力，ChatGPT還有哪些問題需要解決呢？

微軟最近發(fā)布了TaskMatrix.AI，可能是人工智能生態(tài)系統(tǒng)中的另一個方向，將基礎(chǔ)模型與數(shù)百萬個API連接起來以完成任務(wù)，是Toolformer和chatGPT的結(jié)合，可能也是LLM的另一個未來。

1. 問題

ChatGPT或GPT-4在一些專業(yè)任務(wù)中仍然面臨困難，因為它們在預(yù)訓(xùn)練期間缺乏足夠的領(lǐng)域特定數(shù)據(jù)，或者它們在執(zhí)行需要準(zhǔn)確執(zhí)行任務(wù)的神經(jīng)網(wǎng)絡(luò)計算中經(jīng)常出現(xiàn)錯誤。另一方面，還有許多現(xiàn)有的模型和系統(tǒng)（基于符號或基于神經(jīng)網(wǎng)絡(luò)），可以非常好地完成一些領(lǐng)域特定的任務(wù)。然而，由于不同的實現(xiàn)或工作機制，它們不容與基礎(chǔ)模型兼容。

此外，人工智能的用例是無窮無盡的，不僅在數(shù)字世界中提供幫助，而且在物理世界中幫助完成各種任務(wù)，從照片處理到控制智能家居設(shè)備，它可以做的往往超出想象。

因此，需要一種機制，可以利用基礎(chǔ)模型提出任務(wù)解決方案的概要，然后自動將概述中的一些子任務(wù)與現(xiàn)成的具有特殊功能的模型和系統(tǒng)的API進行匹配，以完成它們。TaskMatrix.AI 就是這樣一種機制。

2. TaskMatrix.AI 概述

TaskMatrix.AI 通過將基礎(chǔ)模型與現(xiàn)有模型和 API 相結(jié)合，以服務(wù)于各種各樣的任務(wù)。以下是 TaskMatrix.AI 可以執(zhí)行的任務(wù)：

• 人工智能可以通過將基礎(chǔ)模型作為核心系統(tǒng)來理解不同類型的輸入（例如文本、圖像、視頻、音頻和代碼），執(zhí)行數(shù)字和物理任務(wù)，然后生成代碼來調(diào)用 API 來完成任務(wù)。
• TaskMatrix.AI 有一個 API 平臺，作為各種領(lǐng)域任務(wù)的存儲庫。這個平臺上的所有 API 都有一致的文檔格式，這使得基礎(chǔ)模型很容易使用，開發(fā)人員也很容易添加新的 API。
• TaskMatrix.AI 具有強大的終身學(xué)習(xí)能力，因為它可以通過向 API 平臺添加具有特定功能的新 API 來擴展其處理新任務(wù)的技能。
• 由于任務(wù)解決邏輯（即操作代碼）和 API 的結(jié)果都是可以理解的，因此 TaskMatrix.AI 的響應(yīng)具有更好的可解釋性。

3. TaskMatrix.AI de 體系結(jié)構(gòu)

TaskMatrix.AI的整體架構(gòu)及其四個主要組成部分：

• 多模態(tài)對話基礎(chǔ)模型(MCFM)：它負(fù)責(zé)與用戶通信，理解他們的目標(biāo)和(多模態(tài))上下文，并基于 API 生成可執(zhí)行代碼以完成特定任務(wù)。
• API 平臺：提供一個統(tǒng)一的 API 文檔模式來存儲具有不同功能的數(shù)百萬個 API，并允許 API 開發(fā)人員或所有者注冊、更新和刪除他們的 API。
• API 選擇器：根據(jù) MCFM 對用戶命令的理解推薦相關(guān)的 API。
• API 執(zhí)行器：通過調(diào)用相關(guān) API 執(zhí)行生成的操作代碼，并返回中間和最終執(zhí)行結(jié)果。

這4個子系統(tǒng)共同工作，使TaskMatrix.AI能夠理解用戶目標(biāo)，并為特定任務(wù)執(zhí)行基于 API 的可執(zhí)行代碼。多模態(tài)會話基礎(chǔ)模型(MCFM)作為用戶交流的主要接口，可以理解多模態(tài)上下文。API 平臺提供了一個統(tǒng)一的 API 文檔模式和一個存儲數(shù)百萬 API 的地方。API 選擇器使用 MCFM 對用戶目標(biāo)的理解來推薦相關(guān)的 API。最后，API 執(zhí)行器執(zhí)行由相關(guān) API 生成的操作代碼并返回結(jié)果。此外，該團隊還利用人工反饋(RLHF)技術(shù)的強化學(xué)習(xí)來訓(xùn)練一種獎勵模型，該模型可以優(yōu)化任務(wù)矩陣(taskMatrix)。該方法可以幫助 MCFM 和 API 選擇器找到最優(yōu)策略，提高復(fù)雜任務(wù)的性能。

3.1 多模態(tài)會話基礎(chǔ)模型(MCFM)

MCFM 有四個輸入：基礎(chǔ)模型的參數(shù)、API 平臺、用戶指令和會話上下文。使用這些輸入，模型生成操作代碼來完成用戶的指令。此外，理想的多模式會話框架模型 (MCFM) 應(yīng)該具有以下四個主要功能：

• 獲取多模式輸入，并根據(jù)特定任務(wù)的 API 生成可執(zhí)行代碼。
• 從用戶指令中提取特定任務(wù)并提出解決方案大綱。
• 了解如何從文檔中使用 API，并根據(jù)常識和 API 使用歷史將其與特定任務(wù)進行匹配。
• 包含一個明確的代碼驗證機制來確認(rèn)可靠性和可信性。

ChatGPT 和 GPT-4 是具有 MCFM 所需的這些能力的兩個模型示例。然而，GPT-4 更適合，因為它支持多模態(tài)輸入。

3.2 API 平臺

API 平臺有兩個主要功能: 存儲 API 和管理 API 的開發(fā)者或所有者。API 平臺有一個統(tǒng)一的 API 文檔模板，包括每個 API 文檔的五個方面:

• API 名稱: 提供 API 概述并作為操作執(zhí)行者的入口。
• 參數(shù)列表: 包括輸入?yún)?shù)和返回值，每個參數(shù)都有名稱、說明、數(shù)據(jù)類型和默認(rèn)值。
• API 描述: 包含有關(guān) API 的功能、工作原理、輸入和輸出以及潛在錯誤或異常的信息。
• 應(yīng)用示例(可選): 展示如何使用該 API。
• 組合指導(dǎo)(可選): 提供如何組合多個 API 以完成復(fù)雜用戶指令的指導(dǎo)。
• API 平臺有兩個主要功能: API 的存儲和開發(fā)人員或所有者對 API 的管理。

API 描述示例：打開一個文件

API Name: open_local_file
API Parameter: (file_path:string, model:string="r"). 
    file_path: string, the pathname (absolute or relative to the current working directory) of the file to be opened.
    mode: string="r", the mode is an optional string that specifies the mode in which the file is opened. It defaults to "r" which means open for reading in text mode. Other common values are "w" for writing. This file will return a File object or OSError.

API Description: Open the file and return a corresponding file object. If the file cannot be opened,an OSError is raised.

Usage Example: f = open_local_file("example.txt", "w")

Composition Instructions: Open should be used before reading and editing. The file should be closed by close_local_file after all operations.

3.3 API 選擇器

API選擇器旨在從API平臺中識別和選擇最適合任務(wù)需求的API。它可以通過檢索語義相關(guān)的API來減少API平臺可能擁有的過多API。API選擇器可以利用模塊策略來快速定位相關(guān)的API。

模塊策略是指根據(jù)API的領(lǐng)域?qū)PI組織成特定的包或模塊的方法。每個模塊對應(yīng)于一個特定的區(qū)域，例如可視化模型、數(shù)學(xué)、特定的軟件或物理設(shè)備。通過使用這種策略，API選擇器可以快速定位符合MCFM所理解的任務(wù)需求和解決方案大綱的相關(guān)API。這種方法有助于簡化API選擇過程，并使從API平臺檢索語義相關(guān)的API變得更加容易。

3.4 動作執(zhí)行器

動作執(zhí)行器被設(shè)計用來執(zhí)行動作代碼。AI 使用一個動作執(zhí)行器來運行各種 API，從簡單的 HTTP 請求到需要多個輸入?yún)?shù)的復(fù)雜算法或 AI 模型。

動作執(zhí)行器還需要一個驗證機制來提高準(zhǔn)確性和可靠性，并確認(rèn)生成的代碼的結(jié)果是否符合人類指定的任務(wù)。

3.5 以人為本的強化學(xué)習(xí)(RLHF)

TaskMatrix.AI 將利用 RLHF 來增強 MCFM 和 API 選擇器，以便在復(fù)雜任務(wù)中提供更好的性能。

RLHF 將專門用于優(yōu)化 API 選擇器，使用基于 API 反饋的訓(xùn)練有素的獎勵模型：

• 給 API 開發(fā)者的反饋
• API 開發(fā)人員將收到關(guān)于他們的 API 是否用于完成任務(wù)的反饋。

這將允許以最優(yōu)化的方式創(chuàng)建 API 文檔來使用給定的 API。

4. TaskMatrix 的用例

TaskMatrix. AI 可以幫助解決哪些任務(wù)呢？

TaskMatrix. AI 與基礎(chǔ)模型、云服務(wù)、機器人技術(shù)和物聯(lián)網(wǎng)的持續(xù)發(fā)展相結(jié)合，有潛力創(chuàng)造一個生產(chǎn)力和創(chuàng)造力都有所提高的未來世界。

4.1 可視化任務(wù)

基于MCFM的多模態(tài)特性，TaskMatrix.AI可以執(zhí)行可視化任務(wù)，并且能夠?qū)⒄Z言和圖像作為輸入。它可以執(zhí)行的一些視覺任務(wù)，下圖顯示了TaskMatrix.AI如何構(gòu)建在VisualChatGPT之上，并能夠更好地處理VQA任務(wù)。

圖像編輯，可以刪除或替換圖像中的對象，也可以通過TaskMatrix.AI進行。使用圖像處理技術(shù)或計算機算法Image-to-Sketch/Depth/Hed/Line，可以將圖像轉(zhuǎn)換為草圖、深度、整體嵌套的邊緣檢測或線。Sketch/Depth/Hed/Line-to-Image與上面的相反，它將根據(jù)給定的選項生成圖像。

下圖顯示了TaskMatrix.AI如何使用三個API調(diào)用（圖像問答、圖像字幕和替換圖像中的對象）在解決方案大綱上定義和執(zhí)行的示例。

4.2 多模態(tài)長內(nèi)容生成

TaskMatrix.AI 的另一個用例是創(chuàng)建大型多模式（圖像和文本）內(nèi)容，以消除其他模型的字符限制。

在下面的例子中，我們可以看到 TaskMatrix.AI如何從用戶那里獲得高級指令并生成合理的響應(yīng)。

4.3 辦公自動化

TaskMatrix.AI 可以通過理解通過語音接收的用戶指令并使任務(wù)自動化來輕松減少辦公的工作量。此外，它還可以在沒有大量培訓(xùn)的情況下使用復(fù)雜的軟件，從而讓員工能夠?qū)Ｗ⒂诟o急的任務(wù)。

下面的例子展示了 TaskMatrix.AI 和創(chuàng)建 PowerPoint 幻燈片時使用不同 API 的人之間的對話。

4.4 云服務(wù)的利用

TaskMatrix.AI 可以像智能家居自動化一樣工作，能夠與家里的所有設(shè)備通訊，并作為它們之間的中心連接點。下面的圖片顯示了一個人和 TaskMatrix.AI 之間的對話，TaskMatrix.AI 利用內(nèi)部機器人的軟件和硬件來完成日常任務(wù)。

此外，TaskMatrix.AI 可以在許多其他場景中使用，唯一的要求是它可以利用 API，例如訪問元宇宙或 Web3。

5. TaskMatrix.AI的挑戰(zhàn)

TaskMatrix.AI 仍然有相當(dāng)多的缺點和局限性需要解決和處理, 例如：

• 對需要創(chuàng)建能夠處理各種任務(wù)和各種輸入的基礎(chǔ)模型，從人類反饋中學(xué)習(xí)，并使用常識推理以最高質(zhì)量完成任務(wù)。確定TaskMatrix.AI所需的最小模態(tài)集合并對其進行訓(xùn)練仍然具有挑戰(zhàn)性。
• 創(chuàng)建和維護一個托管數(shù)百萬 API 的平臺需要解決幾個挑戰(zhàn)，API 文檔生成、API 質(zhì)量保證和API 創(chuàng)建建議，基于此，API 平臺應(yīng)該為 API 開發(fā)人員提供進一步的指導(dǎo)，以創(chuàng)建新的 API 來解決這些任務(wù)。
• 利用數(shù)百萬個 API 完成用戶指令帶來了新的挑戰(zhàn)，超越了自由文本生成，向 MCFM 推薦相關(guān)的 API 來解決特定任務(wù)至關(guān)重要。對于復(fù)雜的任務(wù)，TaskMatrix.AI 可能無法立即提出解決方案。相反，MCFM 應(yīng)與用戶進行交互，嘗試不同的可能解決方案，找出最合適的方案。
• 安全性和隱私性可能是一個問題，需要驗證模型是否完成用戶指令，而不做任何超出用戶意圖的事情。數(shù)據(jù)傳輸應(yīng)安全，并在與需要訪問敏感數(shù)據(jù)的不同域的各種API集成時進行授權(quán)的數(shù)據(jù)訪問。
• TaskMatrix.AI需要一種個性化策略來幫助單個開發(fā)者構(gòu)建自己的個性化AI界面，以及幫助用戶擁有自己的個人助手。降低擴展成本，與用戶的少量示例對齊都是挑戰(zhàn)。

6. 小結(jié)

回顧摩爾定律，或許，“AI的數(shù)量每18個月翻一番”會成為一個新的定律。

TaskMatrix.AI 將基礎(chǔ)模型與數(shù)以百萬計的現(xiàn)有模型和系統(tǒng) API集成起來，從而產(chǎn)生一個能夠執(zhí)行各種數(shù)字和物理任務(wù)的“超級人工智能”。作為一個AI平臺，允許人類利用大模型和 API 執(zhí)行大量多樣化的任務(wù)。它能夠處理每一個普通的任務(wù)(例如，制作 PPT 幻燈片或者按時間表運行清潔機器人來打掃房間) ，讓我們更有生產(chǎn)力和創(chuàng)造力。

【參考文獻】 

TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs,https://arxiv.org/pdf/2303.16434.pdf