?來(lái)看一個(gè)笑話。

我本該在下午5點(diǎn)開始寫論文。 但后來(lái)我就開始玩這個(gè)很酷的新語(yǔ)言模型，玩了10分鐘，10分鐘后，突然就晚上9點(diǎn)半了！

這個(gè)笑話可能比較簡(jiǎn)單，大家一聽就懂，不就是說(shuō)“快樂的時(shí)光總是覺得很短暫”嘛。

不過(guò)，你能想象這里面說(shuō)的“很酷的新語(yǔ)言模型”，居然也能聽懂這個(gè)笑話？

不僅能聽懂，它甚至還能一本正經(jīng)地解釋這個(gè)笑話：

這個(gè)笑話是關(guān)于當(dāng)你開心的時(shí)候，時(shí)間過(guò)得多么快。 這個(gè)人本來(lái)應(yīng)該在下午5點(diǎn)開始寫一篇論文，但他們卻開始玩語(yǔ)言模型。 他以為自己只玩了1分鐘，但實(shí)際上是4.5小時(shí)。 

這個(gè)能力的背后就是谷歌的新模型——Pathways Language Model (PaLM)，一個(gè)可以解釋笑話的模型，有了它，世界上就再也沒有難懂的梗了。

論文地址：https://arxiv.org/pdf/2204.02311v2.pdf

1 PaLM，5400億參數(shù)，讓世上沒有難懂的梗

當(dāng)然了，PaLM的設(shè)計(jì)之初，肯定不會(huì)只是想解釋解釋笑話。

去年，Google Research宣布了對(duì)PaLM的設(shè)想，PaLM會(huì)是一個(gè)單一的模型，可以在高效率的情況下推廣到各個(gè)領(lǐng)域和任務(wù)。

在“PaLM: Scaling Language Modeling with Pathways”論文中，Google Research詳細(xì)介紹了 Pathways Language Model (PaLM) ，這是一個(gè)5400億參數(shù)的Transformer模型。

PaLM可以實(shí)現(xiàn)在多個(gè)TPU v4 Pods中高效地訓(xùn)練單個(gè)模型。Google Research在數(shù)百個(gè)語(yǔ)言理解和生成任務(wù)上對(duì)PaLM進(jìn)行了評(píng)估，發(fā)現(xiàn)它在大多數(shù)任務(wù)上都達(dá)到了最先進(jìn)的few-shot性能，在許多情況下都有很大的優(yōu)勢(shì)。

這其中就包括解釋笑話的笑點(diǎn)在哪里。

事實(shí)上，解釋笑話并非易事，這需要對(duì)多步邏輯推理、綜合知識(shí)和深層語(yǔ)言理解的復(fù)雜組合的場(chǎng)景生成明確的解釋。

但是憑借著強(qiáng)大的語(yǔ)言處理能力，PaLM還是很好地勝任了這項(xiàng)任務(wù)。

甚至是冷笑話()，PaLM也能很好地識(shí)別出來(lái)。比如別人問(wèn)你，“斑馬和雨傘有什么區(qū)別？”你可能會(huì)期待什么有意思的回答，但是答案是“一個(gè)是和馬有關(guān)的有條紋的動(dòng)物，另一個(gè)是你用來(lái)阻止雨水落到你身上的裝置。”

這種無(wú)厘頭的冷笑話，PaLM給出的解釋是：

這個(gè)笑話是一個(gè)冷笑話（anti-joke）。笑話是答案是顯而易見的，笑點(diǎn)在于你期待一個(gè)有趣的答案。

2 PaLM甚至能從emoji中猜出電影名字

除了解釋笑話，PaLM在許多非常困難的任務(wù)上顯示出突破能力。

Google Research對(duì)29項(xiàng)廣泛使用的英語(yǔ)自然語(yǔ)言處理(NLP)任務(wù)進(jìn)行了評(píng)估。在29個(gè)任務(wù)中的28個(gè)任務(wù)中，PaLM 540B超過(guò)了之前的大型模型，如GLaM、 GPT-3、Megatron-Turing NLG、 Gopher、 Chinchilla和LaMDA，這些任務(wù)包括問(wèn)答任務(wù)、完形填空和句子完成任務(wù)、  Winograd-style任務(wù)、上下文閱讀理解任務(wù)、常識(shí)推理任務(wù)、 SuperGLUE任務(wù)和自然語(yǔ)言推理任務(wù)。

除了英語(yǔ)自然語(yǔ)言處理任務(wù)外，PaLM 在多語(yǔ)言自然語(yǔ)言處理基準(zhǔn)(包括翻譯)方面也表現(xiàn)出色，盡管只有22%的學(xué)習(xí)語(yǔ)料是非英語(yǔ)的。

另外，研究人員還在最近發(fā)布的包含150多個(gè)新語(yǔ)言建模任務(wù)的Beyond the Imitation Game Benchmark(BIG-bench)上探討了PaLM的能力，并發(fā)現(xiàn)PaLM實(shí)現(xiàn)了突破性的性能。

PaLM在幾個(gè)BIG-bench任務(wù)上展示了令人印象深刻的自然語(yǔ)言理解能力和生成能力。例如，該模型可以區(qū)分因果關(guān)系，在適當(dāng)?shù)谋尘跋吕斫飧拍罱M合，甚至可以從emoji中猜出電影名字。

對(duì)于發(fā)展PaLM的未來(lái)愿景，Google AI Blog在報(bào)道中寫道，希望實(shí)現(xiàn)“一個(gè)單一的人工智能系統(tǒng)能夠概括成千上萬(wàn)的任務(wù)，理解不同類型的數(shù)據(jù)，并以非凡的效率完成這些工作”。