論如何在技術(shù)圈爭論中一句話噎到對方：

哥們，是我創(chuàng)造了第一個大語言模型。

發(fā)言者Jeremy Howard為澳大利亞昆士蘭大學(xué)名譽教授、曾任Kaggle創(chuàng)始總裁和首席科學(xué)家，現(xiàn)answer.ai與fast.ai創(chuàng)始人，。

事情的起因是有人質(zhì)疑他最近的項目llms.txt在幫助大模型爬取互聯(lián)網(wǎng)信息上并沒太大作用，從而引發(fā)了這段爭論，迅速引起眾人圍觀。

聞訊而來的“賽博考古學(xué)家們”一番考據(jù)之后，發(fā)現(xiàn)第一個大語言模型這個說法還真有理有據(jù)：

2018年初，Jeremy Howard發(fā)表的論文ULMFiT，使用非監(jiān)督預(yù)訓(xùn)練-微調(diào)范式達(dá)到當(dāng)時NLP領(lǐng)域的SOTA。

甚至GPT-1的一作Alec Radford，在發(fā)表GPT-1時也公開承認(rèn)過ULMFiT是靈感來源之一。

有人搬出綜述論文，指出從“遺傳學(xué)”視角看，ULMFiT是所有現(xiàn)代大模型“最后的共同祖先”。

還有好事者軟件工程師Jonathon Belotti，專門寫了一篇完整考據(jù)《誰才是第一個大語言模型》

大語言模型起源考據(jù)

首先來介紹一下ULMFiT這篇論文，入選ACL 2018：

提出有效遷移學(xué)習(xí)方法，可應(yīng)用于NLP領(lǐng)域的任何任務(wù)，并介紹了微調(diào)語言模型的關(guān)鍵技術(shù)，在六個文本分類任務(wù)上的表現(xiàn)明顯優(yōu)于當(dāng)時的SOTA方法，在大多數(shù)數(shù)據(jù)集上將錯誤率降低了18-24%。此外，僅使用100個帶標(biāo)簽的示例，它的性能就與在100倍以上數(shù)據(jù)上從頭開始訓(xùn)練的模型性能相當(dāng)。

那么ULMFit算不算第一個大語言模型呢？Jonathon Belotti考據(jù)遵循這樣的思路：

首先找一個大家都公認(rèn)肯定算大語言模型的成果，GPT-1肯定符合這個標(biāo)準(zhǔn)。

再從GPT-1和后續(xù)GPT-2、GPT-3中提取一個模型成為成為大語言模型的標(biāo)準(zhǔn)：

• 首先要是一個語言模型，根據(jù)輸入預(yù)測人類書面語言的組成部分，不一定是單詞，而是token
• 核心方法是自監(jiān)督訓(xùn)練，數(shù)據(jù)集是未標(biāo)記的文本，與此前特定于任務(wù)的數(shù)據(jù)集有很大不同
• 模型的行為是預(yù)測下一個token
• 能適應(yīng)新的任務(wù)：不需要架構(gòu)修改，就有few-shot甚至one-shot能力
• 通用性：可以先進(jìn)的性能執(zhí)行各種文本任務(wù)，包括分類、問答、解析等

接下來分析GPT-1引用的幾個重要模型：原版Transformer，CoVe，ELMo和ULMFiT。

Transformer雖然是現(xiàn)代主流大模型的架構(gòu)基礎(chǔ)，但原版只用于機(jī)器翻譯任務(wù)，還不夠通用。同時非Transformer架構(gòu)如LSTM、Mamba甚至Diffusion也可被視作大型語言模型。

CoVE提出了語境化詞向量，是遷移學(xué)習(xí)領(lǐng)域的一項重要創(chuàng)新，但它通過監(jiān)督學(xué)習(xí)訓(xùn)練（英語翻譯德語）創(chuàng)建向量，不符合自監(jiān)督學(xué)習(xí)的條件。

ELMo使用了自監(jiān)督預(yù)訓(xùn)練和監(jiān)督微調(diào)范式，但在few-shot能力上還差點意思。

總之在作者Jonathon Belotti看來，CoVE和ELMo都還沒達(dá)到大語言模型的門檻。

最后再來看ULMFiT，其名字代表在文本分類任務(wù)微調(diào)的通用語言模型（Universal Language Model Fine-tuning for Text Classification）。

它是一個在WikiText數(shù)據(jù)上自監(jiān)督訓(xùn)練的LSTM模型，能夠以低成本適應(yīng)新任務(wù)，無需更改架構(gòu)即可執(zhí)行大量文本分類任務(wù)，且達(dá)到當(dāng)時的SOTA性能。

與GPT-1相比，只差在微調(diào)不夠方便，以及應(yīng)用任務(wù)的廣度。

GPT-1論文原文中，也指出“最接近我們工作的”就是ULMFiT與谷歌的半監(jiān)督序列學(xué)習(xí)（Semi-supervised Sequence Learning）了。

GPT-1論文還聲稱，把LSTM換成Transformer后能拓展預(yù)訓(xùn)練模型的預(yù)測能力，比ULMFit任務(wù)適應(yīng)性更高。

考據(jù)者Jonathon Belotti最后總結(jié)到：

成為第一重要么？我認(rèn)為有一點重要。軟件行業(yè)和學(xué)術(shù)界尊重其創(chuàng)始人，我們都是開源社區(qū)中構(gòu)建開拓智域文化（homesteads the noosphere）的一部分。

而Jeremy Howard本人對此的后續(xù)回應(yīng)是我們創(chuàng)造了第一個“通用語言模型”，但后續(xù)論文沒有沿用，反而創(chuàng)造了“大型語言模型”這個新術(shù)語。

蘋果工程師Nathan Lawrence認(rèn)為，雖然今天大家對誰是第一個LLM可能存在爭議，但最終大家都會把ULMFiT視為一個轉(zhuǎn)折點。

當(dāng)時即使我這樣的懷疑論者，也快開始意識到大規(guī)模通用訓(xùn)練將成為NLP的未來。

也有人建議Jeremy Howard以后說ULMFit是第一個“通用預(yù)訓(xùn)練模型”。

“我發(fā)明了ChatGPT中的GP”，這句話說起來也很酷，一點也不夸張。

ULMFit
https://arxiv.org/abs/1801.06146

GPT-1
https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf