自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

讓ChatGPT長“手”!Meta爆火新論文,讓語言模型學會自主使用工具

人工智能 新聞
基于Meta的這個思路,ChatGPT這些大語言模型可以缺啥補啥。

本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。

ChatGPT爆火,Meta也坐不住了。

微軟和谷歌正在搜索引擎那邊刺刀拼刺刀呢,誰想Meta冷不防拋出一篇新論文,頓時吸引全場目光:

瞄準ChatGPT的“軟肋”,讓大語言模型自行學會了使用工具!

圖片

簡單來說,基于Meta的這個思路,ChatGPT這些大語言模型可以缺啥補啥:

不會算數,就自己掏出計算器計算;需要最新信息,就自己連接搜索引擎搜索……

圖片

是不是有點AI自己操作自己內味兒了?

論文一出,不少AI研究者就將其視作“過去幾周里最重要的論文”。

圖片

這篇論文給人們打開了思路,讓大語言模型未來可以成為所有事情的起點。

圖片

還有網友表示:我老婆原本不太關心AI,聽說Meta這論文都驚了。普通人真的得好好想想這事兒了。

圖片

自學工具用法的大語言模型

這一回,Meta給這個會使工具的語言模型起名Toolformer

Toolformer的內核邏輯,總結下來很簡單,就是:

專業(yè)的任務交給專業(yè)的工具來做

在生成文本的過程中,遇到特定的任務,Toolformer會直接調用所需工具的API。

比如說,在執(zhí)行這個任務:1400名參與者,有400人通過了測試,占多大比例?(為了讓ChatGPT掌握數學運算,OpenAI可沒少折騰,詳見量子位:ChatGPT連夜迭代:你老婆不好使了)

Toolformer絲毫不慌,直接“掏出”計算器,現場計算得出結果:29%。

又或者說,想要備注個事情,只知道是周五,具體日期還不知道?

沒關系,翻出日歷查一下就好了。

圖片

甚至翻譯任務也可以直接丟給它,各國語言都能夠識別并翻譯,直接省去了在軟件切換語言的工夫。

圖片

除了這些工具之外,Toolformer還能夠調用Q&A以及搜索引擎等工具。

圖片

這時,就已經有網友開始暢想未來了:

現在,ChatGPT必應能幫你比較酒店價格,那未來有了Toolformer,預定性價比高的酒店豈不是也可以甩給AI去做了。

圖片

不過話說回來,Toolformer面對不同的任務都能行云流水般地調用對應的工具,它是怎么做到的呢?

一言以蔽之,Toolformer經過訓練,能夠在生成文本中插入API調用,直接將任務外包出去。

在這其中,訓練的過程是以自監(jiān)督的方式完成的。這意味著無需大量人類標注好的數據,Toolformer只需要少量演示就能學會調用API。

具體來說,先給Toolformer提供少量已經手動標注好的例子,然后讓語言模型在實踐中生成一個更大的包含示例的數據集。

這個過程主要分成三步:

首先是取樣,通俗點講就是看輸入的文本提示中,哪個地方需要調用哪種工具,然后直接將“調用的API”插入到對應的地方;

其次是執(zhí)行,執(zhí)行上一步的“調用API”任務,將生成的文本直接插入進去;

最后是過濾,上一步中工具生成的文本如果對輸入文本來說用處不大的話,就可以直接pass掉,保留對文本有用的地方。

圖片

這樣一來,基于這些有用的數據集,Toolformer便可以對預先訓練好的大語言模型進行微調。

講了這么多,Toolformer的真實效果到底如何,有沒有一個橫向的數據對比?

論文將Toolformer和多個其他大語言模型,包括GPT-J,OPT(66B)以及GPT-3(175B)進行了對比,比較了它們在數學、Q&A以及機器翻譯等方面的能力。

結果顯示,在學習使用工具后,GPT-J的零樣本學習性能的到了顯著的提高。

圖片

△Toolformer:是在GPT- J上微調,并加強了CCNet子集中的API調用/ Toolformer (disabled):同上,但解碼期間禁用API調用

并且在大多數任務上性能都有明顯提高,在一些下游任務中Toolformer甚至已經超過了GPT-3。

圖片

“未來大語言模型發(fā)展的重要分支”

說到這里,不知道你怎么看這件事兒。

有不少網友是已經按捺不住,想著去拔AI電源了。

圖片

而引發(fā)更多討論的,是這樣一種觀點:Toolformer可能是未來LLM(大語言模型)發(fā)展的一個重要分支。

圖片

大語言模型進化出使用工具的能力,知道應該在何時、使用何種工具來實現需求,也就意味著許多在今天還需要人類和AI協(xié)作完成的工作,未來AI都能自己搞定了。

比如現在還多少有些“人工智障”的語音助手,如果背后有ChatGPT+Toolformer的技術能力支撐,那么從挑選符合需求的餐廳,到直接訂座,這一系列動作都可以被絲滑地串聯起來。

又比如微軟的必應搜索接入ChatGPT。如果這些大語言模型能充分調用各種API、使用UI,那它不僅能幫人們完成搜索,還能完全改變人們操作網頁的方式——一切輸入都可以化簡為自然語言。

甚至,ChatGPT這樣的模型,借助各種API重寫自己的代碼,也將成為可能。

圖片

事實上,讓AI掌握工具的使用方法這個研究方向,也并不只有Meta在做。

比如谷歌即將嵌入到搜索中的Bard,背后模型LaMDA就內置了一套工具箱,包括計算器、翻譯器和訪問搜索引擎獲取外部信息的接口。

還有開源項目LangChain,也致力于將大語言模型與外部的計算、知識來源相結合,以開發(fā)真正可用的應用程序。

而現在,Meta又使大模型對工具的使用“熟練度”、“自主性”,更上一層樓。

不過,也有網友指出,Toolformer所展現出的“自學”能力,還是一個初級、“狹義”的版本。

這些模型本身仍然是純粹的函數:給定相同的輸入(包括采樣時的隨機值),它將總是產生相同的輸出。
有點像是在說,一個大語言模型能學會將特定領域的語言作為其自然語言的一部分,以此納入來自外部工具的知識。

圖片

One More Thing

Meta新論文炸場,還挑動了人類的“反思”神經。

這不,新鮮梗圖已經出爐:

人類在沉迷,而機器在學習。

圖片

?論文地址:???https://arxiv.org/abs/2302.04761?

責任編輯:張燕妮 來源: 量子位
相關推薦

2023-04-03 09:56:22

模型系統(tǒng)

2023-02-06 14:37:44

LeCun模型

2023-05-12 13:14:59

ChatGPTAI工具

2022-09-30 15:35:43

AI視頻

2022-12-23 15:04:33

Meta模型

2023-03-20 11:29:49

2024-12-18 15:02:48

2023-09-23 12:47:35

開源代碼

2022-05-24 14:55:21

模型AI開源

2022-09-13 14:54:08

模型AI

2023-11-03 07:25:56

語言模型知識圖譜

2022-05-24 09:57:32

微軟開源AI 驅動

2024-03-27 13:34:00

模型訓練

2023-03-02 11:44:08

AI技術

2022-12-07 13:12:14

ChatGPT模型代碼

2023-08-11 08:39:36

工具AI

2025-01-26 10:25:53

2023-03-13 14:05:23

AIChatGPT

2024-02-29 12:56:00

AI訓練

2015-07-20 15:24:44

Linux工具截圖
點贊
收藏

51CTO技術棧公眾號