微軟開(kāi)源1bit大模型推理框架！

現(xiàn)在1000億參數(shù)大模型量化后單CPU可跑，速度可達(dá)每秒5-7個(gè)token。

比如在蘋(píng)果M2新品上運(yùn)行BitNet b1.58 3B模型，be like：

就是今年爆火論文The Era of 1-bit LLMs的官方代碼實(shí)現(xiàn)，開(kāi)源不到一周GitHub已攬獲7.9k Star。

傳統(tǒng)大模型參數(shù)以16位浮點(diǎn)數(shù)（如FP16或BF16）形式的存儲(chǔ)，而B(niǎo)itNet b1.58將其統(tǒng)統(tǒng)變成了三進(jìn)制，也就是 {-1, 0, 1}。

這里的“1.58 bit”指每個(gè)參數(shù)可以用1.58位的信息來(lái)表示。

轉(zhuǎn)換之后，矩陣中的計(jì)算就只會(huì)涉及到加法，因此會(huì)讓大模型在保持一定精度的同時(shí)，顯著減少所需的存儲(chǔ)空間和計(jì)算資源，也顯著提升了在本地設(shè)備上運(yùn)行LLM的可能性。

這個(gè)項(xiàng)目開(kāi)源后，在X上也受到了一波高度關(guān)注。

千億參數(shù)模型量化后單CPU可跑

bitnet.cpp是1bit LLM（例如 BitNet b1.58）的官方推理框架。

該框架配備了一系列優(yōu)化內(nèi)核，支持在CPU上進(jìn)行快速且無(wú)損的1.58bit模型推理，未來(lái)將擴(kuò)展支持NPU和GPU。

bitnet.cpp的首版主要支持CPU推理。

具體性能改進(jìn)方面，在ARM CPU上，該框架可實(shí)現(xiàn)1.37至5.07倍的加速，而且更大的模型將有更顯著的性能提升。

同時(shí)，它能將能耗降低55.4%至70.0%，進(jìn)一步增強(qiáng)效率。

在x86 CPU上，加速效果介于2.37至6.17倍之間，能耗減少71.9%至82.2%。

網(wǎng)友們也發(fā)現(xiàn)了華點(diǎn)，在x86上的性能增益量比ARM更大。

此外，bitnet.cpp能使千億參數(shù)模型量化后單CPU可跑，速度可達(dá)每秒5-7個(gè)token，接近人類(lèi)閱讀速度。

微軟還展示了使用bitnet.cpp推理框架支持的不同1 bit LLM。

6頁(yè)論文，引入1 bit LLM

1 bit LLM的實(shí)現(xiàn)方法，微軟在一年前就有相關(guān)研究，稱(chēng)為BitNet（一種Transformer），用BitLinear替換了nn.Linear。

今年二月，BitNet原班人馬在上一篇論文的基礎(chǔ)之上做了優(yōu)化，提出BitNet b1.58，在原始BitNet的基礎(chǔ)上增加了一個(gè)額外的0值。

然后這篇內(nèi)容只有6頁(yè)的論文引發(fā)熱議：

BitNet b1.58模型的權(quán)重被量化為三元值{-1, 0, 1}，相當(dāng)于在二進(jìn)制系統(tǒng)中使用了1.58 bit來(lái)表示每個(gè)權(quán)重。

采用了absmean量化函數(shù)來(lái)約束權(quán)重，將權(quán)重矩陣通過(guò)其平均絕對(duì)值進(jìn)行縮放，然后四舍五入到最接近的整數(shù)值（-1、0或1）。

激活量化中，激活值被縮放到[?Qb, Qb]的范圍，以此來(lái)消除零點(diǎn)量化。

在架構(gòu)設(shè)計(jì)上，BitNet b1.58借鑒了Llama，使用了RMSNorm、SwiGLU、旋轉(zhuǎn)位置編碼等組件，并移除了所有偏置項(xiàng)。這種設(shè)計(jì)使其能夠輕松集成到主流的開(kāi)源框架中。

實(shí)驗(yàn)中，與Llama相比，BitNet b1.58在矩陣乘法方面節(jié)省了71.4倍的計(jì)算能耗。

這種方法發(fā)布后，也有不少人在這項(xiàng)研究的基礎(chǔ)之上進(jìn)行探索。

其中一個(gè)問(wèn)題是，BitNet b1.58將每個(gè)參數(shù)僅用三元值表示，但是所有這些都需要從頭開(kāi)始訓(xùn)練模型，并不是誰(shuí)都有預(yù)算來(lái)進(jìn)行LLM預(yù)訓(xùn)練。

而Huggingface Transformers最近整合了BitNet b1.58，運(yùn)用了一些技巧，使得現(xiàn)有模型可以直接微調(diào)到1.58bit。

感興趣的童鞋可以自行查閱。

不過(guò)也有網(wǎng)友指出了這種方法的局限：

總之，1 bit LLM具有巨大的潛力。

但也正如網(wǎng)友所言，1 bit LLM關(guān)鍵還得是能在實(shí)踐中證明自己。

參考鏈接：
[1]https://github.com/microsoft/BitNet。
[2]https://x.com/rohanpaul_ai/status/1847814379657462201。
[3]https://x.com/rohanpaul_ai/status/1848172443258728860?s=46&t=iTysI4vQLQqCNJjSmBODPw。
[4]https://huggingface.co/blog/zh/1_58_llm_extreme_quantization。