讓大模型一次性無損地「吃下」一本書已經(jīng)不是什么稀奇的事了，但如果我告訴你是下面????這樣一本近百萬字的書呢？

沒錯(cuò)，這么瘋狂的事竟然真的發(fā)生了——就在昨天月之暗面（Moonshot AI）召集了一次媒體溝通會(huì)，宣布在大模型長上下文窗口技術(shù)上取得新的突破：不到半年，Kimi 智能助手升級十倍——從支持20萬字直接到支持 200 萬字超長無損上下文。

ps：Kimi Chat已改名為Kimi智能助手，并已在官網(wǎng)（kimi.ai）開啟“內(nèi)測”。

超長上下文解鎖超多可能

月之暗面現(xiàn)場展示了一些超長無損上下文的使用場景示例。最令人印象深刻的自然是開頭提到的近百萬字的《中醫(yī)內(nèi)科學(xué)》一書。當(dāng)月之暗面工程副總裁許欣然抱出這本書時(shí)，引起了現(xiàn)場所有人的驚嘆，好家伙，Kimi還真能一下“消化掉”并給出準(zhǔn)確的診療建議，這背后的技術(shù)就像這本書一樣“沉甸甸”。

支持超長上下文之后，Kimi在處理超多文件的業(yè)務(wù)場景時(shí)自然解鎖了更多可能。例如，公司 HR 可以快速從500 份簡歷中讓 Kimi 快速找出有某個(gè)行業(yè)從業(yè)經(jīng)歷，同時(shí)從計(jì)算機(jī)類專業(yè)畢業(yè)的求職者：

圖片

Kimi十分鐘速成專家

大家肯定都聽過一萬小時(shí)專家定律，月之暗面在現(xiàn)場提出了「Kimi十分鐘速成專家定律」——在 200 萬字無損上下文的支持下，只需 10 分鐘，Kimi 就能接近任何一個(gè)新領(lǐng)域的初級專家水平。比如上傳英偉達(dá)過去幾年的完整財(cái)報(bào)，馬上就能讓 Kimi 成為英偉達(dá)財(cái)務(wù)研究專家，幫用戶分析總結(jié)英偉達(dá)歷史上的重要發(fā)展節(jié)點(diǎn)。

而如果將甄嬛傳全集幾十萬字的劇本傳給 Kimi，你就能成為堪比一個(gè)看了好幾十遍電視劇的“甄”學(xué)家，無論是甄嬛、果郡王的情感線以及和他們孩子的真相，借助Kimi都能秒答出來：

除了快速成為專家之外，Kimi還能讓你扮演跑團(tuán)游戲主持人，體驗(yàn)各種數(shù)字分身……

月之暗面「持續(xù)登月」

實(shí)現(xiàn)通用人工智能就像是登月，在通往AGI的路上，無損的長上下文將會(huì)是一個(gè)很關(guān)鍵的基礎(chǔ)技術(shù)。從 word2vec 到 RNN、LSTM，再到 Transformer，歷史上所有的模型架構(gòu)演進(jìn)，本質(zhì)上都是在提升有效的、無損的上下文長度。”

月之暗面創(chuàng)始人&CEO楊植麟前不久在接受騰訊科技采訪時(shí)表示：“長文本是登月第一步，它很本質(zhì)。它是新的計(jì)算機(jī)內(nèi)存，它能解決很多現(xiàn)在的問題。比如，現(xiàn)在多模態(tài)架構(gòu)還需要tokenizer，但當(dāng)你有一個(gè)無損壓縮的long context就不需要了，可以把原始的放進(jìn)去。進(jìn)一步講，它是把新計(jì)算范式變成更通用的基礎(chǔ)……”

事實(shí)證明，月之暗面在登月的第一步上成績斐然，月之暗面將 Kimi 智能助手的無損上下文長度從20 萬字提升到200 萬字只用了不到半年時(shí)間。而在這半年時(shí)間里，由于沒有采用常規(guī)的漸進(jìn)式提升路線，月之暗面團(tuán)隊(duì)遇到的技術(shù)難度也是指數(shù)級增加的。為了達(dá)到更好的長窗口無損壓縮性能，月之暗面的研發(fā)和技術(shù)團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開發(fā)，不走“滑動(dòng)窗口”、“降采樣”等技術(shù)捷徑，攻克了很多底層技術(shù)難點(diǎn)，才取得了新的突破。

月之暗面工程副總裁許欣然在媒體溝通會(huì)上表示，“無論是內(nèi)存、算力還是網(wǎng)絡(luò)帶寬，歷史上每一次基礎(chǔ)技術(shù)的升級，都會(huì)解鎖新的產(chǎn)品形態(tài)和應(yīng)用場景。我們對 200 萬無損上下文的 Kimi 可以帶來哪些超出想象力的創(chuàng)新機(jī)遇充滿期待?！?/strong>

楊植麟此前在接受采訪時(shí)明確表示，登月的第一步是長文本，第二步則會(huì)有兩個(gè)大的milestone。其中之一就是真正的統(tǒng)一各種不同模態(tài)的世界模型，即一個(gè)真正的scalable和general的architecture（可擴(kuò)展、通用的系統(tǒng)結(jié)構(gòu)）。關(guān)于影響下一步“登月”計(jì)劃的多模態(tài)模型，月之暗面在現(xiàn)場透露，他們早在Sora發(fā)布之前就在研發(fā)多模態(tài)大模型，預(yù)計(jì)今年就會(huì)亮相。

最后，就讓我們小小地期待下，月之暗面會(huì)不會(huì)在視頻生成時(shí)長上也在國內(nèi)帶來類似長文本一樣“一騎絕塵”的突破吧。

本文轉(zhuǎn)載自夕小瑤科技說，作者：王二狗

原文鏈接：??https://mp.weixin.qq.com/s/riq8xlZNNt0m-vZtRMpeAw??