自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

大模型學(xué)好編程,常識(shí)邏輯能力一起提升!網(wǎng)友:GPT-4更強(qiáng)的關(guān)鍵所在?

人工智能 新聞
模型掌握好代碼能力后,在一些非代碼任務(wù)上也能表現(xiàn)出色。

本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。

大模型代碼能力強(qiáng),順便還能提升其他能力?

最近CMU的一項(xiàng)研究突然在網(wǎng)上火了起來(lái)。

圖片

因?yàn)樗岢隽艘粋€(gè)結(jié)論,模型掌握好代碼能力后,在一些非代碼任務(wù)上也能表現(xiàn)出色。

類比于:學(xué)好數(shù)理化走遍天下都不怕的感覺(jué)。

這一下子把網(wǎng)友們的腦洞給打開(kāi)了。

難道說(shuō)GPT-4比GPT-3.5強(qiáng)的關(guān)鍵原因,就在這里?

圖片

有人提問(wèn):這是否意味著掌握復(fù)雜編程,就能獲得更高的推理水平?

圖片

還有人好奇,是不是說(shuō)學(xué)編程有助于提升邏輯能力,真的有道理。

想要解釋這些疑問(wèn),還要來(lái)看研究本身。

這篇論文首次發(fā)表于ChatGPT(GPT-3.5)面世以前,它提出了一種方法,驗(yàn)證了代碼語(yǔ)言大模型,在完成結(jié)構(gòu)性常識(shí)推理上非常擅長(zhǎng)。

甚至比一些通用大模型專門(mén)微調(diào)過(guò)的效果好,碾壓GPT-3、T5。

之所以又被人們熱議起來(lái),或許是因?yàn)檫@項(xiàng)研究中的一些觀點(diǎn)為解釋ChatGPT、GPT-4的能力涌現(xiàn),提供了一些啟發(fā)。

該論文被EMNLP 2022接收,相關(guān)數(shù)據(jù)和代碼已上傳至GitHub。

圖片

學(xué)學(xué)編程就能提升邏輯

該研究主要提出四方面工作:

1、代碼語(yǔ)言模型比自然語(yǔ)言模型能更好處理結(jié)構(gòu)化常識(shí)推理任務(wù)。

2、提出一種利用代碼語(yǔ)言模型進(jìn)行結(jié)構(gòu)常識(shí)推理的方法:CoCoGEN。

3、在3個(gè)結(jié)構(gòu)化常識(shí)推理任務(wù)上評(píng)估,證明CoCoGEN能優(yōu)于微調(diào)/少樣本測(cè)試下的自然語(yǔ)言大模型。

4、進(jìn)行消融試驗(yàn),測(cè)試數(shù)據(jù)格式、模型大小和少樣本示例數(shù)量的影響。

圖片

大語(yǔ)言模型在挑戰(zhàn)摘要、翻譯、生成、問(wèn)答等方面都有了不錯(cuò)的表現(xiàn),目前還存在的一個(gè)挑戰(zhàn)是如何進(jìn)行結(jié)構(gòu)化常識(shí)推理。

具體任務(wù)包括生成事件圖、推理圖、腳本、論證解釋等。

和傳統(tǒng)的常識(shí)推理任務(wù)不同,結(jié)構(gòu)化常識(shí)需要根據(jù)自然語(yǔ)言輸入,生成結(jié)構(gòu)化輸出。

這要求模型需要既理解語(yǔ)言內(nèi)容,還能預(yù)測(cè)和生成復(fù)雜的結(jié)構(gòu)。

而為了避免跨模態(tài)的復(fù)雜問(wèn)題,現(xiàn)有的結(jié)構(gòu)化常識(shí)生成模型都會(huì)修改問(wèn)題的輸出格式,比如將圖形“扁平化”為節(jié)點(diǎn)對(duì)的列表(下圖d),或者轉(zhuǎn)換為DOT這類規(guī)范語(yǔ)言(下圖c)。

圖片

但是大語(yǔ)言模型在處理這些輸出時(shí)依舊存在困難,因?yàn)檫@些序列化的結(jié)構(gòu)輸出和大部分預(yù)訓(xùn)練數(shù)據(jù)存在很大差異。

而且在自然語(yǔ)言中,語(yǔ)義相關(guān)的詞一般都離得很近,但是在結(jié)構(gòu)化表達(dá)中它們可能離得很遠(yuǎn)。

這就導(dǎo)致大語(yǔ)言模型可能無(wú)法很好理解拓?fù)浣Y(jié)構(gòu),所以想要模型完成這類任務(wù)還要進(jìn)行特定訓(xùn)練。

與此同時(shí),大語(yǔ)言模型在代碼方面的能力越來(lái)越突出,代碼也是一種結(jié)構(gòu)化數(shù)據(jù)。

所以研究人員就想到,與其進(jìn)行額外微調(diào),為什么不利用代碼能力來(lái)搞定結(jié)構(gòu)化常識(shí)推理。

如下圖b就是利用該方法的結(jié)果:

圖片

研究人員將該方法命名為Code for Commonsenses Generation(常識(shí)生成代碼)模型,簡(jiǎn)稱為CoCoGEN。

圖片

CoCoGEN使用一個(gè)由k(5-10)個(gè)Python類組成的提示。

在推理過(guò)程中,測(cè)試輸入被轉(zhuǎn)換為一個(gè)部分類,如上所示,附加到提示中,并由代碼生成模型(如CodeX)完成。

研究人員使用CodeX發(fā)現(xiàn)它在生成代碼上表現(xiàn)很好,總是能輕松轉(zhuǎn)換成圖形。

然后,研究人員進(jìn)行了三項(xiàng)任務(wù)測(cè)試:

  • 腳本生成
  • 實(shí)體狀態(tài)跟蹤
  • 解釋圖生成

在腳本生成任務(wù)中,T5模型進(jìn)行了微調(diào),CURIE(text-curie-001)和DAVINCI(text-davinci-002)使用了15個(gè)示例進(jìn)行少樣本測(cè)試。

(CURIE和DAVINCI是基于GPT-3的兩個(gè)模型)

結(jié)果顯示,CoCoGEN的表現(xiàn)結(jié)果最好。

圖片

在以精確度(Precision)、召回率(Recall)和F1值作為評(píng)估指標(biāo)時(shí),同樣是使用15個(gè)樣本訓(xùn)練后,CoCoGEN的效果優(yōu)于其他模型,并且優(yōu)于在100個(gè)樣本上微調(diào)過(guò)的T5模型。

圖片

另外兩項(xiàng)任務(wù)中,CoCoGEN的表現(xiàn)也都優(yōu)于其他模型。

同時(shí)該方法也驗(yàn)證了其他大模型在使用代碼提示后,表現(xiàn)也會(huì)更好。

圖片

換言之,在讓大模型精通編程后,它的結(jié)構(gòu)常識(shí)能力就會(huì)提升。

網(wǎng)友銳評(píng):這不就是野生版柯里-霍華德同構(gòu)嘛?

圖片

據(jù)了解柯里-霍華德同構(gòu)建立了邏輯和類型理論之間的關(guān)聯(lián),現(xiàn)實(shí)了推理系統(tǒng)和程序語(yǔ)言之間的相似性。

看來(lái),推理可以等于證明,再等于編程了。

GPT-3也能涌現(xiàn)類似能力

與此同時(shí),有人也發(fā)現(xiàn)了一個(gè)半年前的帖子,其中提出了一個(gè)觀點(diǎn)和這項(xiàng)研究由類似之處:

大模型具有復(fù)雜推理能力的思維鏈,可能同樣得益于代碼訓(xùn)練。

圖片

這個(gè)帖子中列舉了幾個(gè)例子。

最初的GPT-3沒(méi)有用代碼訓(xùn)練,它并不具有思維鏈能力(chain-of-thought,CoT)。

text-davincic-001雖然指令調(diào)優(yōu)了,但是執(zhí)行CoT的效果也不理想。

PaLM的訓(xùn)練數(shù)據(jù)中有5%是代碼,就能具備CoT了。

Copilot(據(jù)說(shuō)是12B版本),也能做到CoT。

……

這種相關(guān)性的確非常有趣。

還有人覺(jué)得用代碼訓(xùn)練大模型的好處可能有更多,比如語(yǔ)言模型預(yù)測(cè)下一個(gè)token往往是非常局部的,但是代碼方面通常要求能更加“遠(yuǎn)距離”一些,比如完成一個(gè)括號(hào)閉合的操作。

你怎么看?

論文地址:https://arxiv.org/abs/2210.07128

GitHub地址:
https://github.com/madaan/

責(zé)任編輯:張燕妮
相關(guān)推薦

2023-03-27 18:18:47

GPT-4AI

2023-07-12 16:10:48

人工智能

2023-03-30 11:08:49

AI模型訓(xùn)練

2009-10-12 14:00:24

布線測(cè)試

2023-11-03 13:07:00

AI模型

2011-04-14 13:26:10

2024-01-30 21:18:57

模型智能CMMLU

2024-04-19 14:52:13

MetaGPT-4模型

2024-02-04 12:22:47

AI數(shù)據(jù)

2023-04-04 11:20:40

GPT-4OpenAI

2020-06-10 14:00:28

生物識(shí)別智慧城市網(wǎng)絡(luò)

2023-10-14 17:24:49

2023-03-15 09:19:49

GPT-4ChatGPT

2021-06-23 10:26:19

自動(dòng)化DevSecOps安全防護(hù)

2024-03-11 00:09:00

模型融合場(chǎng)景

2024-03-22 13:33:00

AI模型

2023-03-29 10:31:40

MIT論文

2024-02-01 14:56:13

GPT-4開(kāi)源模型

2024-04-01 08:00:00

AI模型

2023-10-21 12:42:06

數(shù)據(jù)模型
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)