近日，作為美國(guó)前十的科技博客，Latent Space對(duì)于剛剛過去的NeurIPS 2023大會(huì)進(jìn)行了精選回顧總結(jié)。

在NeurIPS會(huì)議總共接受的3586篇論文之中，除去6篇獲獎(jiǎng)?wù)撐?，其他論文也同樣?yōu)秀和具有潛力，甚至有可能預(yù)示著下一個(gè)AI領(lǐng)域的新突破。

那就讓我們來一起看看吧！

論文題目：QLoRA: Efficient Finetuning of Quantized LLMs

論文地址：https://openreview.net/pdf?id=OUIFPHEgJU

這篇論文提出了QLoRA，這是LoRA的一種更省內(nèi)存但速度較慢的版本，它使用了幾種優(yōu)化技巧來節(jié)省內(nèi)存。

總體而言，QLoRA使得在對(duì)大型語言模型進(jìn)行微調(diào)時(shí)可以使用更少的GPU內(nèi)存。

他們訓(xùn)練了一個(gè)新模型，Guanaco，僅在單個(gè)GPU上進(jìn)行了為期24小時(shí)的微調(diào)，并在Vicuna基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)于先前的模型。

與此同時(shí)，研究人員還開發(fā)了其他方法，如4-bit LoRA量化，其效果相似。

論文題目：DataComp: In search of the next generation of multimodal datasets

論文地址：https://openreview.net/pdf?id=dVaWCDMBof

多模態(tài)數(shù)據(jù)集在最近的突破中扮演著關(guān)鍵角色，如CLIP、Stable Diffusion和GPT-4，但與模型架構(gòu)或訓(xùn)練算法相比，它們的設(shè)計(jì)并沒有得到同等的研究關(guān)注。

為了解決這一機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)中的不足，研究人員引入了DataComp，這是一個(gè)圍繞Common Crawl的新候選池中的128億個(gè)圖文對(duì)進(jìn)行數(shù)據(jù)集實(shí)驗(yàn)的測(cè)試平臺(tái)。

使用者可以通過DataComp進(jìn)行實(shí)驗(yàn)，設(shè)計(jì)新的過濾技術(shù)或精心策劃新的數(shù)據(jù)源，并通過運(yùn)行標(biāo)準(zhǔn)化的CLIP訓(xùn)練代碼，以及在38個(gè)下游測(cè)試集上測(cè)試生成的模型，來評(píng)估他們的新數(shù)據(jù)集。

結(jié)果顯示，最佳基準(zhǔn)DataComp-1B，允許從頭開始訓(xùn)練一個(gè)CLIP ViT-L/14模型，其在ImageNet上的零樣本準(zhǔn)確度達(dá)到了79.2%，比OpenAI的CLIP ViT-L/14模型高出3.7個(gè)百分點(diǎn)，以此證明DataComp工作流程可以產(chǎn)生更好的訓(xùn)練集。

論文題目：Visual Instruction Tuning

論文地址：https://arxiv.org/pdf/2304.08485v1.pdf

在這篇論文中，研究人員提出了首次嘗試使用僅依賴語言的GPT-4生成多模態(tài)語言-圖像指令跟隨數(shù)據(jù)的方法。

通過在這種生成的數(shù)據(jù)上進(jìn)行指令調(diào)整，引入了LLaVA：Large Language and Vision Assistant，這是一個(gè)端到端訓(xùn)練的大型多模態(tài)模型，連接了一個(gè)視覺編碼器和LLM，用于通用的視覺和語言理解。

早期實(shí)驗(yàn)證明LLaVA展示了令人印象深刻的多模態(tài)聊天能力，有時(shí)展現(xiàn)出多模態(tài)GPT-4在未見過的圖像/指令上的行為，并在合成的多模態(tài)指令跟隨數(shù)據(jù)集上與GPT-4相比取得了85.1%的相對(duì)分?jǐn)?shù)。

在對(duì)科學(xué)問答進(jìn)行微調(diào)時(shí)，LLaVA和GPT-4的協(xié)同作用實(shí)現(xiàn)了92.53%的新的最先進(jìn)準(zhǔn)確性。

論文題目：Tree of Thoughts: Deliberate Problem Solving with Large Language Models

論文地址：https://arxiv.org/pdf/2305.10601.pdf

語言模型越來越多地被用于廣泛的任務(wù)中進(jìn)行一般性問題解決，但在推理過程中仍受限于標(biāo)記級(jí)別、從左到右的決策過程。這意味著它們?cè)谛枰剿?、?zhàn)略前瞻或初始決策起關(guān)鍵作用的任務(wù)中可能表現(xiàn)不佳。

為了克服這些挑戰(zhàn)，研究人員引入了一種新的語言模型推理框架，Tree of Thoughts（ToT），它在促使語言模型方面推廣了流行的Chain of Thought方法，并允許在一致的文本單元（思想）上進(jìn)行探索，這些單元作為解決問題的中間步驟。

ToT使語言模型能夠通過考慮多條不同的推理路徑和自我評(píng)估選擇來做出刻意的決策，以決定下一步行動(dòng)，并在必要時(shí)展望或回溯以做出全局性的選擇。

實(shí)驗(yàn)證明，ToT顯著提高了語言模型在需要非平凡規(guī)劃或搜索的三個(gè)新任務(wù)上的問題解決能力：24點(diǎn)游戲、創(chuàng)意寫作和迷你填字游戲。例如，在24點(diǎn)游戲中，雖然使用Chain of Thought提示的GPT-4只解決了4%的任務(wù)，但ToT實(shí)現(xiàn)了74%的成功率。 

論文題目：Toolformer: Language Models Can Teach Themselves to Use Tools

論文地址：https://arxiv.org/pdf/2302.04761.pdf

語言模型表現(xiàn)出在從少量示例或文本指令中解決新任務(wù)方面的顯著能力，尤其是在大規(guī)模情境下。然而，令人矛盾的是，它們?cè)诨竟δ芊矫妫ㄈ缢阈g(shù)或事實(shí)查找），相較于更簡(jiǎn)單且規(guī)模較小的專門模型，卻表現(xiàn)出困難。

在這篇論文中，研究人員展示了語言模型可以通過簡(jiǎn)單的API自學(xué)使用外部工具，并實(shí)現(xiàn)兩者的最佳結(jié)合。

他們引入了Toolformer，這個(gè)模型經(jīng)過訓(xùn)練能夠決定調(diào)用哪些API、何時(shí)調(diào)用它們、傳遞什么參數(shù)以及如何最佳地將結(jié)果合并到未來的token預(yù)測(cè)中。

這是以自監(jiān)督的方式完成的，每個(gè)API只需要少量演示即可。他們整合了各種工具，包括計(jì)算器、問答系統(tǒng)、搜索引擎、翻譯系統(tǒng)和日歷等。

Toolformer在與更大模型競(jìng)爭(zhēng)的時(shí)候，在各種下游任務(wù)中取得了明顯改善的零樣本性能，而不會(huì)犧牲其核心語言建模能力。

論文題目：Voyager: An Open-Ended Embodied Agent with Large Language Models

論文地址：https://arxiv.org/pdf/2305.16291.pdf

該論文介紹了Voyager，這是第一個(gè)由大型語言模型（LLM）驅(qū)動(dòng)的，可以在Minecraft中連續(xù)探索世界、獲取多樣化技能并進(jìn)行獨(dú)立發(fā)現(xiàn)的learning agent。

Voyager包含三個(gè)關(guān)鍵組成部分：

自動(dòng)課程，旨在最大程度地推動(dòng)探索，

不斷增長(zhǎng)的可執(zhí)行代碼技能庫(kù)，用于存儲(chǔ)和檢索復(fù)雜行為，

新的迭代提示機(jī)制，整合了環(huán)境反饋、執(zhí)行錯(cuò)誤和自我驗(yàn)證以改進(jìn)程序。

Voyager通過黑盒查詢與GPT-4進(jìn)行交互，避免了對(duì)模型參數(shù)進(jìn)行微調(diào)的需求。

根據(jù)實(shí)證研究，Voyager展現(xiàn)出強(qiáng)大的環(huán)境上下文中的終身學(xué)習(xí)能力，并在玩Minecraft方面表現(xiàn)出卓越的熟練度。

它獲得了比先前技術(shù)水平高出3.3倍的獨(dú)特物品，行進(jìn)距離更長(zhǎng)2.3倍，并且解鎖關(guān)鍵技術(shù)樹里程碑的速度比先前技術(shù)水平快15.3倍。

不過，雖然Voyager能夠在新的Minecraft世界中利用學(xué)到的技能庫(kù)從零開始解決新穎任務(wù)，但其他技術(shù)則難以泛化。

論文題目：Evaluating Cognitive Maps and Planning in Large Language Models with CogEval

論文地址：https://openreview.net/pdf?id=VtkGvGcGe3

該論文首先提出了CogEval，這是一個(gè)受認(rèn)知科學(xué)啟發(fā)的系統(tǒng)評(píng)估大型語言模型認(rèn)知能力的協(xié)議。

其次，論文使用CogEval系統(tǒng)評(píng)估了八個(gè)LLMs（OpenAI GPT-4、GPT-3.5-turbo-175B、davinci-003-175B、Google Bard、Cohere-xlarge-52.4B、Anthropic Claude-1-52B、LLaMA-13B和Alpaca-7B）的認(rèn)知地圖和規(guī)劃能力。任務(wù)提示基于人類實(shí)驗(yàn)，并且不在LLM訓(xùn)練集中存在。

研究發(fā)現(xiàn)，雖然LLMs在一些結(jié)構(gòu)較簡(jiǎn)單的規(guī)劃任務(wù)中顯示出明顯的能力，但一旦任務(wù)變得復(fù)雜，LLMs就會(huì)陷入盲區(qū)，包括對(duì)無效軌跡的幻覺和陷入循環(huán)。

這些發(fā)現(xiàn)不支持LLMs具有即插即用的規(guī)劃能力的觀點(diǎn)。可能是因?yàn)長(zhǎng)LMs不理解規(guī)劃問題背后的潛在關(guān)系結(jié)構(gòu)，即認(rèn)知地圖，并在根據(jù)基礎(chǔ)結(jié)構(gòu)展開目標(biāo)導(dǎo)向軌跡時(shí)出現(xiàn)問題。

論文題目：Mamba: Linear-Time Sequence Modeling with Selective State Spaces

論文地址：https://openreview.net/pdf?id=AL1fq05o7H

作者指出了目前許多次線性時(shí)間架構(gòu)，如線性注意力、門控卷積和循環(huán)模型，以及結(jié)構(gòu)化狀態(tài)空間模型（SSMs），旨在解決Transformer在處理長(zhǎng)序列時(shí)的計(jì)算效率低下問題。然而，這些模型在重要的語言等領(lǐng)域上并沒有像注意力模型那樣表現(xiàn)出色。作者認(rèn)為這些

型的一個(gè)關(guān)鍵弱點(diǎn)是它們無法進(jìn)行基于內(nèi)容的推理，并進(jìn)行了一些改進(jìn)。

首先，簡(jiǎn)單地讓 SSM 參數(shù)作為輸入的函數(shù)，可以解決其離散模態(tài)的弱點(diǎn)，允許模型根據(jù)當(dāng)前標(biāo)記選擇性地沿序列長(zhǎng)度維度傳播或忘記信息。

其次，盡管這種變化阻止了高效卷積的使用，但作者在循環(huán)模式下設(shè)計(jì)了一種硬件感知的并行算法。將這些選擇性 SSM 集成到簡(jiǎn)化的端到端神經(jīng)網(wǎng)絡(luò)架構(gòu)中，無需注意力機(jī)制，甚至不需要 MLP 模塊 (Mamba)。

Mamba在推理速度上表現(xiàn)出色（比Transformers高5倍），并且在序列長(zhǎng)度上呈線性縮放，在真實(shí)數(shù)據(jù)上的性能提高了，達(dá)到了百萬長(zhǎng)度序列。

作為一種通用的序列模型骨干，Mamba在語言、音頻和基因組學(xué)等多個(gè)領(lǐng)域取得了最先進(jìn)的性能。在語言建模方面，Mamba-1.4B模型在預(yù)訓(xùn)練和下游評(píng)估中均優(yōu)于相同大小的Transformers模型，與其兩倍大小的Transformers模型相匹敵。

雖然這些論文在2023年沒有獲得獎(jiǎng)項(xiàng)，但比如Mamba，作為一種能夠革新語言模型架構(gòu)的技術(shù)模型，評(píng)估其影響還為時(shí)過早。

明年NeurIPS會(huì)如何走向，2024的人工智能和神經(jīng)信息系統(tǒng)領(lǐng)域又會(huì)如何發(fā)展，雖然目前眾說紛紜，但又有誰能打包票呢？讓我們拭目以待。