微軟正嘗試在Office中集成國產(chǎn)開源大模型RWKV！

RWKV官方甚至直接發(fā)了個(gè)推文表示：

RWKV.cpp，現(xiàn)已在全球五億系統(tǒng)中部署。

之所以這么說，是因?yàn)樗麄儼l(fā)現(xiàn)最新版Windows 11系統(tǒng)的Office文件夾中有以rwkv命名的DLL文件，包含GPU、CPU版本。

圖片

對這些二進(jìn)制文件進(jìn)行反編譯檢查，結(jié)果發(fā)現(xiàn)就是GitHub的RWKV.cpp項(xiàng)目的一種變體。

圖片

人人都可以將Windows 11更新到最新版本，通過以下路徑自行驗(yàn)證：

C:\Program Files\Microsoft Office\root\vfs\ProgramFilesCommonX64\Microsoft Shared\OFFICE16

或者，也可以在IT商店的任何“copilot Windows 11”設(shè)備上搜索系統(tǒng)文件中的rwkv。

圖片

消息一出，引發(fā)網(wǎng)友熱議，不少網(wǎng)友喊微軟趕緊打錢。

如果他們沒有給予支持或引用你們的貢獻(xiàn)，那就有點(diǎn)說不過去了。

圖片

希望這項(xiàng)工作能得到豐厚的報(bào)酬。

圖片

微軟可能用RWKV干啥？

RWKV團(tuán)隊(duì)猜測，微軟可能會(huì)將RWKV用于正在測試的本地Copilot、memory recall等功能。

圖片

在之前微軟發(fā)布新一代Copilot+PC中就有提到過，在專為AI重構(gòu)的新版Windows 11上，許多功能都是實(shí)時(shí)的。

為此，微軟引入了全新的系統(tǒng)架構(gòu)，將CPU、GPU和新的高性能神經(jīng)處理單元NPU結(jié)合在一起。

NPU就負(fù)責(zé)在后臺(tái)實(shí)時(shí)運(yùn)行AI，Recall功能背后其實(shí)就是AI對你屏幕上正在處理的所有內(nèi)容做分類。

而RWKV模型的優(yōu)勢是：

支持100多種語言，有利于全球化部署；

相比傳統(tǒng)Transformer模型，運(yùn)行能耗低得多，能夠在包括樹莓派等各種設(shè)備上高效運(yùn)行。

如下圖所示，生成更多token所需的計(jì)算資源隨token數(shù)增加而線性增加，cuda_rwkv-4-pile-3b的曲線在整個(gè)過程中相對低了一大截，表明在相同量token情況下，這個(gè)模型GPU消耗更為高效。

圖片

而能耗對于設(shè)備電池壽命而言至關(guān)重要。

圖片

當(dāng)然這些只是猜測，關(guān)于微軟的真實(shí)用意，團(tuán)隊(duì)表示后續(xù)將密切關(guān)注。

RWKV是什么?

RWKV設(shè)計(jì)靈感來自蘋果21年的研究《An Attention Free Transform》，團(tuán)隊(duì)意識(shí)到如果在公式中使用循環(huán)矩陣（circular matrices）就可以將網(wǎng)絡(luò)結(jié)構(gòu)寫成RNN。

與GPT系列的時(shí)間復(fù)雜度O(n^2)相比，RNN的時(shí)間復(fù)雜度只有O(n),空間復(fù)雜度是O(1)。

這意味著生成內(nèi)容的速度不會(huì)隨長度而夸張?jiān)鰸q，顯存占用也是恒定的。

論文共同一作彭博在接受36kr采訪時(shí)曾這樣形容：

GPT每寫一個(gè)字就要重新看一遍前面所有文字，效率很低。而RWKV就相當(dāng)于人類讀了一遍資料后，在不再看資料的情況下直接回答。

這項(xiàng)研究去年一經(jīng)發(fā)布，就在學(xué)術(shù)圈得到大量關(guān)注。

圖片

RWKV開山論文背后是由來自27家大學(xué)、研究機(jī)構(gòu)和公司的研究人員組成的團(tuán)隊(duì)，作者達(dá)30人。

共同一作彭博（Peng Bo），畢業(yè)于香港大學(xué)物理系，編程經(jīng)驗(yàn)20+年，曾在世界最大外匯對沖基金之一Ortus Capital就職，負(fù)責(zé)高頻量化交易。

還出版過一本關(guān)于深度卷積網(wǎng)絡(luò)的書籍《深度卷積網(wǎng)絡(luò)·原理與實(shí)踐》。

他的主要關(guān)注和興趣方向在軟硬件開發(fā)方面，在此前的公開訪談中，他曾明確表示AIGC是自己的興趣所在，尤其是小說生成。

圖片

但他的最主要公開身份是一家燈具公司稟臨科技的聯(lián)合創(chuàng)始人，主要是做陽光燈、吸頂燈、便攜臺(tái)燈等。

并且其人應(yīng)該是一個(gè)喵星人資深愛好者，Github、知乎、微信頭像，以及燈具公司的官網(wǎng)首頁、微博上，都有橘貓的身影。

今年，RWKV又上新推出了兩種新架構(gòu)模型：Eagle (RWKV-5) 、Finch（RWKV-6)。

圖片

這兩種序列模型以RWKV-4架構(gòu)為基礎(chǔ)，在多頭矩陣值狀態(tài)（multi-headed matrix-valued states）和動(dòng)態(tài)遞歸機(jī)制（dynamic recurrence mechanism）上做了改進(jìn)，提高了RWKV模型的表達(dá)能力，同時(shí)保持RNN的推理效率特征。

同時(shí)，新架構(gòu)引入了一個(gè)新的多語言語料庫，包含1.12萬億個(gè)token。

團(tuán)隊(duì)還基于貪婪匹配（greedy matching）開發(fā)了一種快速的分詞器，以增強(qiáng)RWKV的多語言性。

參考鏈接：
[1]https://x.com/RWKV_AI/status/1831000938120917336
[2]https://github.com/RWKV/rwkv.cpp