挑戰(zhàn)Transformer，MIT初創(chuàng)團(tuán)隊(duì)推出LFM（Liquid Foundation Model）新架構(gòu)模型爆火。

LFM 1.3B、LFM 3B兩個(gè)不同大小的模型，性能超越同等規(guī)模Llama3.2等Transformer模型。

LFM架構(gòu)還有很好的可擴(kuò)展性，團(tuán)隊(duì)還推出了基于MoE的LFM 40B（激活12B參數(shù)），能與更大規(guī)模的密集模型或MoE模型相媲美。

LFM用的是一種液態(tài)神經(jīng)網(wǎng)絡(luò)（LNN），從第一性原理出發(fā)而構(gòu)建，其計(jì)算單元植根于動(dòng)態(tài)系統(tǒng)理論、信號(hào)處理和數(shù)值線性代數(shù)。

這種架構(gòu)還有一個(gè)特點(diǎn)：在內(nèi)存效率方面特別強(qiáng)。

基于Transformer的LLM中的KV緩存在長(zhǎng)上下文中會(huì)急劇增長(zhǎng)，而LFM即使在處理100萬(wàn)個(gè)token時(shí)也能保持內(nèi)存最小。

小巧便攜，使得它能夠直接部署在手機(jī)上進(jìn)行文檔和書(shū)籍等分析。

LFM模型背后是一支MIT計(jì)算科學(xué)與人工智能實(shí)驗(yàn)室衍生出來(lái)的小團(tuán)隊(duì)，名叫Liquid AI。

其后訓(xùn)練負(fù)責(zé)人Maxime Labonne在X上為自家模型瘋狂打Call：

這三個(gè)具有SOTA性能的模型，是我職業(yè)生涯中最值得驕傲的版本。

AI暢銷書(shū)《人工直覺(jué)》作者也表示看好。

一直等的就是這樣的模型，基于物理學(xué)或神經(jīng)元的“第一性原理”

目前LFM系列模型還在預(yù)覽測(cè)試中，大伙兒可通過(guò)Liquid官方平臺(tái)、Lambda Chat、Perplexity AI來(lái)訪問(wèn)。

基于液態(tài)神經(jīng)網(wǎng)絡(luò)打造

具體來(lái)看看這三個(gè)模型的性能和特點(diǎn)。

LFM 1.3B在MMLU、MMLU-Pro、ARC-C、GSM8K基準(zhǔn)上相較于下表其它模型，取得SOTA性能。

LFM 3B，還能和Mistral 7B、Llama3.1 8B兩倍大模型打得有來(lái)有回。

LFM 40B性能也可與比其自身更大的模型相媲美，MoE架構(gòu)可實(shí)現(xiàn)更高吞吐可部署在更具成本效益的硬件上。

與Transformer架構(gòu)相比，LFM的一個(gè)突出優(yōu)勢(shì)就是內(nèi)存占用更少。

對(duì)于長(zhǎng)輸入效果更明顯，基于Transformer的LLM中的KV緩存隨著序列長(zhǎng)度線性增長(zhǎng)。通過(guò)有效壓縮輸入，LFM可以在同一硬件上處理更長(zhǎng)的序列。

以下是LFM 3B與其它3B級(jí)模型的對(duì)比，LFM 3B能始終保持較小的內(nèi)存占用。

處理100萬(wàn)個(gè)token，LFM 3B只需16 GB內(nèi)存，而Llama-3.2-3B模型則需48 GB+。

LFM上下文有效長(zhǎng)度為32k。

當(dāng)相應(yīng)得分高于85.6時(shí)，長(zhǎng)度被認(rèn)為是“有效的”（Hsieh等人，2024 RULER）。

LFM 3B在32k的上下文長(zhǎng)度上，仍能保持89.5的高分。

實(shí)驗(yàn)結(jié)果中Llama 3.2生成128k上下文窗口，但實(shí)際只在4k上有效，也引起一波關(guān)注。

除此之外，LFM由結(jié)構(gòu)化運(yùn)算符組成，為基礎(chǔ)模型打開(kāi)了一個(gè)新的設(shè)計(jì)空間。

不僅限于語(yǔ)言，還可以將其應(yīng)用于音頻、時(shí)間序列、圖像等等其它模態(tài)。

還具有高適應(yīng)性，可針對(duì)特定平臺(tái)（如蘋(píng)果、高通、Cerebras、AMD）優(yōu)化架構(gòu)，或匹配給定的參數(shù)要求和推理緩存大小。

Liquid AI團(tuán)隊(duì)直接把目前LFM模型的優(yōu)缺點(diǎn)都一一列了出來(lái)。

現(xiàn)在LFM語(yǔ)言模型擅長(zhǎng)通用和專業(yè)知識(shí)、數(shù)學(xué)和邏輯推理、長(zhǎng)上下文任務(wù)。

主要語(yǔ)言是英語(yǔ)，還支持西班牙語(yǔ)、法語(yǔ)、德語(yǔ)、中文、阿拉伯語(yǔ)、日語(yǔ)和韓語(yǔ)。

但LFM語(yǔ)言模型不擅長(zhǎng)零樣本代碼任務(wù)、精確的數(shù)值計(jì)算、時(shí)效性信息，人類偏好優(yōu)化相關(guān)技術(shù)也尚未廣泛應(yīng)用。

有意思的是，Liquid AI團(tuán)隊(duì)還明確表示LFM現(xiàn)在不會(huì)數(shù)“Strawberry”中“r”的數(shù)量。

經(jīng)網(wǎng)友測(cè)試，它確實(shí)不會(huì)??。

關(guān)于LFM架構(gòu)更多技術(shù)細(xì)節(jié)，官方表示將持續(xù)發(fā)布技術(shù)Blog。

背后團(tuán)隊(duì)來(lái)自MIT CSAIL

下面簡(jiǎn)單介紹一下LFM模型背后團(tuán)隊(duì)——Liquid AI。

Liquid AI是一家從MIT計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室衍生出來(lái)的公司。

目標(biāo)是在每一個(gè)規(guī)模上構(gòu)建能力強(qiáng)大且高效的通用人工智能系統(tǒng)。

聯(lián)合創(chuàng)始人共有四位。

CEO Ramin Hasani，MIT CSAIL人工智能科學(xué)家、前Vanguard Group首席人工智能和機(jī)器學(xué)習(xí)科學(xué)家。

博士論文研究主題就是關(guān)于液態(tài)神經(jīng)網(wǎng)絡(luò)（Liquid Neural Networks），由維也納工業(yè)大學(xué)Radu Grosu教授和麻省理工學(xué)院Daniela Rus教授共同指導(dǎo)。

CTO Mathias Lechner，MIT CSAIL研究員。

維也納工業(yè)大學(xué)計(jì)算機(jī)科學(xué)的學(xué)士、碩士學(xué)位，奧地利科學(xué)與技術(shù)研究所（ISTA）博士學(xué)位。

專注于開(kāi)發(fā)穩(wěn)健可信的機(jī)器學(xué)習(xí)模型。

首席科學(xué)官Alexander Amini，在MIT完成了計(jì)算機(jī)科學(xué)學(xué)士、碩士和博士學(xué)位，同時(shí)輔修數(shù)學(xué)。

研究的領(lǐng)域包括自主系統(tǒng)的端到端控制學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的置信度公式化、人類移動(dòng)性的數(shù)學(xué)建模以及復(fù)雜慣性精細(xì)化系統(tǒng)的構(gòu)建。

另外一位聯(lián)合創(chuàng)始人是MIT CSAIL主任Daniela Rus，她還是MIT電氣工程與計(jì)算機(jī)科學(xué)系的Andrew&Erna Viterbi教授。

Liquid AI成立初就致力于從第一性原理出發(fā)構(gòu)建新一代基礎(chǔ)模型，是一個(gè)基于深度信號(hào)處理和狀態(tài)空間層擴(kuò)展語(yǔ)言模型的團(tuán)隊(duì)。

之前研究有一籮筐：

感興趣的的家人們可以自行查閱：
https://www.liquid.ai/blog/liquid-neural-networks-research

對(duì)新模型感興趣的家人們可以測(cè)試起來(lái)了：
https://playground.liquid.ai/chat?model=cm1ooqdqo000208jx67z86ftk