編輯 ｜言征

小模型王座一夜易主了！冷不防，英偉達就丟出了一個新混合架構(gòu)，以后不再只是Transformer的天下了。

日前，NVIDIA剛剛發(fā)布了Hymba-1.5B-Base，這是一個將Transformer注意力機制與狀態(tài)空間模型（SSM）集成的小型語言模型。

這種全新的混合架構(gòu)只使用1.5T的Tokens進行訓(xùn)練，性能、速度卻全面超越了市面上主流的所有小模型！英偉達的科學(xué)家兼研究經(jīng)理Pavlo Molchanov在X上宣布了這一最新發(fā)展。

圖片

Hugging Face 的技術(shù)負(fù)責(zé)人及大型語言模型（LLMs）專家 Philipp Schmid 對此發(fā)展發(fā)表評論說：“Hymba 在僅使用1.5萬億個標(biāo)記進行訓(xùn)練的條件下，性能超越了其他小型大型語言模型，如Meta 3.2或SmolLM v2?！?/p>

圖片

1.雙重架構(gòu)、精確回憶、高效上下文

據(jù)“抱抱臉”上公開資料顯示，Hymba-1.5B-Base是在今年年9月1日至2024年11月10日期間進行訓(xùn)練的，許可證方面則根據(jù)NVIDIA開放模型許可協(xié)議發(fā)布。

Hymba模型使用雙重結(jié)構(gòu)，具有精確回憶的注意力頭和高效上下文總結(jié)的SSM頭。

具體來講，其特點在于采用了混合頭并行架構(gòu)，該架構(gòu)將Transformer注意力機制與狀態(tài)空間模型（SSM）相結(jié)合，以提高效率。注意力頭提供高分辨率的回憶能力，而SSM頭則實現(xiàn)高效的上下文總結(jié)。此外，模型還引入了可學(xué)習(xí)的Meta標(biāo)記，這些標(biāo)記被添加到提示之前，用于存儲關(guān)鍵信息，并減輕與注意力機制相關(guān)的“被迫關(guān)注”負(fù)擔(dān)。通過引入跨層鍵值（KV）共享和部分滑動窗口注意力，該模型得到了進一步優(yōu)化，從而實現(xiàn)了緊湊的緩存大小。

在一項對比相同設(shè)置下不同架構(gòu)的受控研究中，Hymba-1.5B-Base 展現(xiàn)出了顯著優(yōu)勢。

它在所有公開可用的、參數(shù)少于20億的模型中表現(xiàn)優(yōu)異，并以平均準(zhǔn)確率高出1.32%、緩存大小減少11.67倍、吞吐量提升3.49倍的成績超越了Llama-3.2-3B。

2.模型架構(gòu)非常巧妙

Hymba-1.5B-Base是一款基礎(chǔ)文本到文本的模型，可用于多種自然語言生成任務(wù)。論文《Hymba: A Hybrid-head Architecture for Small Language Models》進一步闡述了模型的思想和實驗對比。

論文地址：https://arxiv.org/pdf/2411.13676

該模型采用混合架構(gòu)，其中Mamba和注意力頭并行運行。每個提示前都會添加一組可學(xué)習(xí)的標(biāo)記（稱為Meta標(biāo)記），以提高模型的有效性。該模型在兩層之間以及單層內(nèi)的各個頭之間共享鍵值（KV）緩存。90%的注意力層采用滑動窗口注意力機制。

Hymba-1.5B-Base的模型嵌入大小為1600，擁有25個注意力頭，MLP中間維度為5504，總層數(shù)為32層，16個SSM狀態(tài)，3個全注意力層，其余為滑動窗口注意力層。與標(biāo)準(zhǔn)Transformer不同，Hymba中的每個注意力層都并行結(jié)合了標(biāo)準(zhǔn)注意力頭和Mamba頭的混合組合。此外，它還使用了分組查詢注意力（GQA）和旋轉(zhuǎn)位置嵌入（RoPE）。

圖片

概括來講，這架構(gòu)有三個值得注意的特點：

首先，在同一層內(nèi)融合注意力頭和SSM頭，對相同輸入進行并行且互補的處理；此外，還引入了元標(biāo)記（meta tokens），這些標(biāo)記被添加到輸入序列的前面，并與所有后續(xù)標(biāo)記進行交互，從而存儲重要信息并減輕注意力中“必須關(guān)注”的負(fù)擔(dān)；最后，還結(jié)合了跨層KV共享和全局-局部注意力，進一步提升內(nèi)存和計算效率。

圖片

3.性能超越所有主流小模型，包括Llama3.2

Hymba-1.5B-Base在所有低于20億的公開模型中表現(xiàn)優(yōu)異。

圖片

研究人員從準(zhǔn)確率、緩存大小、處理速度三個方面綜合評估了現(xiàn)在主流的小語言模型，比如Meta的Llama3.2-1B、Apple的OpenELM-1B、微軟的Phi-1.5B、抱抱臉的SmoILM2-1.7B、阿里巴巴的Qwen2.5-1.5B等。 

綜合評估和消融研究表明，Hymba不僅在眾多具有代表性的任務(wù)中樹立了新的最優(yōu)（SOTA）基準(zhǔn)性能，而且在效率方面相比Transformer和之前的混合模型也更高。例如，在常識推理任務(wù)中，Hymba-1.5B的平均準(zhǔn)確率比Llama-3.2-3B高出1.32%，而所需的緩存大小卻小了11.67倍，速度快了3.49倍。

圖片

NVIDIA 還提供了一個設(shè)置腳本，以簡化環(huán)境配置，支持CUDA 12.1和12.4版本。

4.不過，需要小心

英偉達承認(rèn)該模型是利用從互聯(lián)網(wǎng)上原始抓取的數(shù)據(jù)進行訓(xùn)練的，這就意味著訓(xùn)練數(shù)據(jù)包含有毒語言、不安全內(nèi)容和社會偏見。因此，該模型可能會放大這些偏見，并在接收到有毒提示時返回有毒的回應(yīng)。

即使提示本身不包含任何明顯冒犯性的內(nèi)容，該模型也可能生成不準(zhǔn)確、遺漏關(guān)鍵信息或包含不相關(guān)或冗余文本的答案，從而產(chǎn)生社會不可接受或不受歡迎的文本。

除了有毒內(nèi)容方面需要注意，工程方面也需要注意：

用戶應(yīng)在生成期間將批處理大小設(shè)置為1，因為當(dāng)前設(shè)置不完全支持帶有滑動窗口注意的填充元標(biāo)記。然而，任何批次大小都適用于訓(xùn)練和預(yù)填充。

5.本月25日公開模型權(quán)重，可商用

英偉達非常強調(diào)在創(chuàng)建值得信賴的人工智能方面分擔(dān)責(zé)任的重要性，并為其發(fā)展制定了道德準(zhǔn)則。建議用戶負(fù)責(zé)任地使用該模型，同時注意其局限性。

“在按照我們的服務(wù)條款下載或使用時，開發(fā)者應(yīng)與內(nèi)部模型團隊合作，確保該模型滿足相關(guān)行業(yè)和使用場景的要求，并解決產(chǎn)品濫用等不可預(yù)見的問題?！?/p>

Molchanov 評論道：“我不確定我們是否應(yīng)該為使用1.5萬億個標(biāo)記的訓(xùn)練感到自豪。原因是我們要追求速度；在接下來的兩周里，就會有人做得更好?！?/p>

不過好消息是，Hymba模型已準(zhǔn)備好用于商業(yè)用途了，而且模型權(quán)重也即將推出，預(yù)計11月25日發(fā)布！

相信大家這兩天就可以快速用上這款非常nice的小模型了。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：言征