大型語言模型 (LLM) 正在極大地影響 AI 研究，引發(fā)了關(guān)于迄今為止發(fā)生了什么變化以及如何塑造該領(lǐng)域未來的討論。為了澄清這些問題，有研究人員分析新的數(shù)據(jù)集，其中包含16,979篇與LLM相關(guān)的arXiv論文，重點(diǎn)關(guān)注2023年與2018-2022年相比的最新趨勢(shì)。

首先研究人員觀察到LLM 研究越來越多地影響著社會(huì)，這從計(jì)算機(jī)和社會(huì)arXiv中LLM 論文提交量增長20倍可以看出。大量新作者來自非計(jì)算機(jī)的NLP領(lǐng)域，推動(dòng)了各個(gè)學(xué)科擴(kuò)展。

其次，令人驚訝的是2023 年行業(yè)出版物份額較小，主要是由于谷歌和其他大型科技公司的產(chǎn)出減少，亞洲的大學(xué)出版更多。

注意百分比的數(shù)字

2023年，LLMs的研究急劇增加，大約15%的新計(jì)算機(jī)科學(xué)和統(tǒng)計(jì)學(xué)論文都提到了LLMs，比2022年的7.5%有了巨大的飛躍。表明學(xué)術(shù)界對(duì)LLMs的興趣增長得很快。

主要涉及如下六個(gè)方面：

1. 許多論文都集中在模型LLMs的設(shè)計(jì)和訓(xùn)練方法上。研究人員正在探索諸如Transformer架構(gòu)、縮放定律以及如何在大型數(shù)據(jù)集上有效訓(xùn)練這些模型的方法。

2. 提高推理和推理能力是LLMs的主要研究領(lǐng)域。這包括整合外部知識(shí)，創(chuàng)建基準(zhǔn)進(jìn)行測(cè)試，以及使用高級(jí)技術(shù)來增強(qiáng)模型響應(yīng)。

3. LLMs被用于問答、代碼生成、任務(wù)自動(dòng)化和創(chuàng)意寫作等各個(gè)領(lǐng)域的應(yīng)用領(lǐng)域研究也很熱門。該領(lǐng)域主要著眼于LLMs可以做什么、局限性以及如何擴(kuò)大實(shí)際用途。

4. LLMs對(duì)社會(huì)的影響和道德方面的研究也浮上了水面。在LLMs快速發(fā)展的過程中引發(fā)了錯(cuò)誤信息、偏見、隱私和濫用等重要問題。

5. 如何解釋和評(píng)估LLMs是另一個(gè)重點(diǎn)。研究人員正在開發(fā)和測(cè)試解釋這些復(fù)雜模型的方法，旨在使它們更加透明和穩(wěn)健。

6. 隨著LLMs規(guī)模的擴(kuò)大，找到有效的方法來使用和部署它們至關(guān)重要。這里的研究包括模型壓縮、蒸餾和加速硬件的技術(shù)。

機(jī)構(gòu)之間的合作關(guān)系，線段粗細(xì)代表合作的緊密度

該研究還著眼于誰在進(jìn)行LLM研究以及這如何影響正在研究的主題。大多數(shù)LLM論文來自大學(xué)，但像Microsoft和谷歌這樣的大型科技公司也做出了很大貢獻(xiàn)。高被引論文通常擁有更大的團(tuán)隊(duì)，并且更有可能來自工業(yè)界而不是學(xué)術(shù)界。這表明科技公司的合作和資源可能有助于產(chǎn)生更有影響力的研究。

本文轉(zhuǎn)載自 ??魯班模錘??，作者： 龐德公