編輯 | 言征

超長(zhǎng)上下文窗口的天花板來了！

剛剛宣布新一輪3.2億美元融資的AI編碼初創(chuàng)新星Magic剛剛放出了一個(gè)重磅炸彈：

推出首個(gè)1億上下文窗口的模型 LTM-2-mini！

圖片

想一下，1億上下文窗口，相當(dāng)于你可以在prompt中直接丟給大模型1000萬行代碼或者750本英文小說，然后告訴大模型一次性消化這些內(nèi)容，并從這些內(nèi)容中得到你想要的答案，而不用再需要來一次微調(diào)、SFT，就可以極低成本的讓大模型秒變成一個(gè)定制版的。

1.AI輔助編程的新角逐點(diǎn)：超長(zhǎng)上下文窗口

AI輔助編程賽道非常卷，巨頭投入的產(chǎn)品也不少，包括微軟很早就投入的GitHub Copilot。但 Magic 的創(chuàng)新之一在于其模型的超長(zhǎng)上下文窗口。

Magic 聲稱其最新型號(hào) LTM-2-mini 擁有 1 億個(gè) token 上下文窗口。（token 是原始數(shù)據(jù)的細(xì)分位，例如單詞“fantastic”中的音節(jié)“fan”、“tas”和“tic”。）1 億個(gè) token 相當(dāng)于大約 1000 萬行代碼或 750 本小說。它是迄今為止所有商業(yè)型號(hào)中最大的上下文窗口；第二大是Google 的 Gemini 旗艦型號(hào)，擁有 200 萬個(gè) token。

PS：國內(nèi)上一次掀起長(zhǎng)文本窗口熱潮的還是Kimi，可以處理200萬字上下文。

Magic 將自己模型的架構(gòu)稱為“長(zhǎng)期記憶網(wǎng)絡(luò)”（Long-term Memory Network），簡(jiǎn)稱“LTM”。

據(jù)本周四Magic官網(wǎng)博客中指出：目前AI模型有兩種學(xué)習(xí)知識(shí)的來源：訓(xùn)練和推理過程中的上下文。但上下文因?yàn)樘塘?，所以?xùn)練占據(jù)主導(dǎo)地位。但超長(zhǎng)文本可能會(huì)改變這一現(xiàn)狀。

“我們的LTM模型不依賴于模糊記憶，而是經(jīng)過訓(xùn)練，可以對(duì)推理過程中給予的多達(dá)1億個(gè)上下文標(biāo)記進(jìn)行推理?！梢韵胂?，如果模型中包含了代碼、文檔和庫（公共互聯(lián)網(wǎng)上不存在的內(nèi)容），代碼合成的質(zhì)量將會(huì)有多么好?！?/p>

此外，Magic還披露了對(duì)于超長(zhǎng)上下文方面的進(jìn)展，通過思維鏈?zhǔn)焦Ｓ?xùn)練，LTM-2-mini的序列維度算法比Llama3.1 405B中的注意力機(jī)制還要便宜，是后者的1/1000。而在內(nèi)存需要方面，LTM只需要每個(gè)用戶單個(gè)HB100的一小部分。

圖片

Magic 表示，得益于其長(zhǎng)遠(yuǎn)背景，LTM-2-mini 能夠?yàn)橐粋€(gè)開源項(xiàng)目實(shí)現(xiàn)一個(gè)密碼強(qiáng)度計(jì)，并幾乎自主地使用自定義 UI 框架創(chuàng)建一個(gè)計(jì)算器。

圖片

可以僅通過代碼庫和聊天，在無需打開文件、編輯記錄或其他指示符的情況下就能實(shí)現(xiàn)自定義上下文框架

圖片

該公司目前正在訓(xùn)練該模型的更大版本。

2.Magic的野心：自動(dòng)編程僅是開始，AGI才是終極

Magic 的團(tuán)隊(duì)規(guī)模很小，只有二十幾個(gè)人，而且沒有什么收入，但Magic的野心很足，商業(yè)版圖中，自動(dòng)編程也僅是剛剛開始。

當(dāng)然，首選編程賽道是一個(gè)明智的選擇。據(jù) Polaris Research 估計(jì)，到 2032 年，Magic 瞄準(zhǔn)的市場(chǎng)價(jià)值可能達(dá)到 271.7 億美元，投資者認(rèn)為這是一項(xiàng)值得的、而且可能非常有利可圖的嘗試。

盡管人們對(duì)人工智能輔助編碼工具的安全性、版權(quán)和可靠性存在擔(dān)憂，但開發(fā)人員對(duì)它們表現(xiàn)出了熱情， GitHub 最新民意調(diào)查中的絕大多數(shù)受訪者表示，他們已經(jīng)以某種形式采用了人工智能工具。微軟 4 月份報(bào)告稱，Copilot 擁有 超過 130 萬付費(fèi)用戶和超過 50,000 個(gè)商業(yè)客戶。

然而，Magic 的野心遠(yuǎn)不止于實(shí)現(xiàn)常規(guī)軟件開發(fā)任務(wù)的自動(dòng)化。該公司在網(wǎng)站上談到了通往 AGI 的道路——即比人類更可靠地解決對(duì)齊等問題的人工智能。

圖片

他們不只是說說而已，而是有了自己堅(jiān)信的實(shí)現(xiàn)路徑，他們希望結(jié)合前沿的預(yù)訓(xùn)練、特定領(lǐng)域的強(qiáng)化學(xué)習(xí)、超長(zhǎng)上下文、測(cè)試時(shí)間計(jì)算這些技術(shù)來實(shí)現(xiàn)這一目標(biāo)。

為了實(shí)現(xiàn)此類人工智能，總部位于舊金山的 Magic 最近聘請(qǐng)了 OpenAI 超級(jí)計(jì)算團(tuán)隊(duì)前負(fù)責(zé)人 Ben Chess，并計(jì)劃擴(kuò)大其網(wǎng)絡(luò)安全、工程、研究和系統(tǒng)工程團(tuán)隊(duì)。

3.狂攬近5億美金

Magic是一家人工智能初創(chuàng)公司，致力于創(chuàng)建模型來生成代碼并自動(dòng)執(zhí)行一系列軟件開發(fā)任務(wù)，該公司已從包括前谷歌首席執(zhí)行官Eric Schmidt在內(nèi)的投資者那里順利籌集了巨額資金。

周四，Magic在一篇博客文章中表示，它完成了一輪 3.2 億美元的融資，投資者包括施密特、Alphabet 的 CapitalG、Atlassian、Elad Gil、Jane Street、Nat Friedman 和 Daniel Gross、Sequoia 等。這筆融資使該公司的總?cè)谫Y額達(dá)到近 5 億美元（4.65 億美元），使其躋身資金雄厚的 AI 編碼初創(chuàng)公司行列，其成員包括Codeium、Cognition、Poolside、Anysphere和Augment。（有趣的是，施密特也支持 Augment。）

7 月份，路透社報(bào)道稱，Magic 正尋求以 15 億美元的估值籌集超過 2 億美元。顯然，這輪融資超出了預(yù)期，盡管這家初創(chuàng)公司目前的估值無法確定；Magic 在 2 月份的估值為 5 億美元。

4.牽手巨頭，與谷歌、英偉達(dá)進(jìn)行合作

Magic 本周四還宣布與 Google Cloud合作，在 Google Cloud Platform 上構(gòu)建兩臺(tái)“超級(jí)計(jì)算機(jī)”。Magic-G4 將由 Nvidia H100 GPU 組成，而 Magic G5 將使用 Nvidia 計(jì)劃于明年上線的下一代 Blackwell 芯片 Nvidia GB200。

Magic 表示，其目標(biāo)是將后者集群擴(kuò)展到“數(shù)萬個(gè)” GPU，并且這些集群一起將能夠?qū)崿F(xiàn) 160 百億億次浮點(diǎn)運(yùn)算，其中 1 百億億次浮點(diǎn)運(yùn)算相當(dāng)于每秒一千萬億次計(jì)算機(jī)運(yùn)算。

Magic 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Eric Steinberger 在一份聲明中表示：“我們很高興與谷歌和 Nvidia 合作，在谷歌云上打造我們的下一代人工智能超級(jí)計(jì)算機(jī)。Nvidia 的 [Blackwell] 系統(tǒng)將大大提高我們模型的推理和訓(xùn)練效率，而谷歌云為我們提供了最快的擴(kuò)展時(shí)間表和豐富的云服務(wù)生態(tài)系統(tǒng)?！?/p>

5.創(chuàng)始人：從高中開始的極客生涯

Eric Steinberger和Sebastian De Ro于 2022 年共同創(chuàng)立了 Magic。在此前的采訪中，Steinberger告訴 TechCrunch，他從小就被人工智能的潛力所啟發(fā)；高中時(shí)，他和朋友們把學(xué)校的電腦連接起來，進(jìn)行機(jī)器學(xué)習(xí)算法訓(xùn)練。

這段經(jīng)歷為Steinberger進(jìn)入劍橋大學(xué)攻讀計(jì)算機(jī)科學(xué)學(xué)士學(xué)位埋下了伏筆（一年后他退學(xué)了），后來他進(jìn)入 Meta 擔(dān)任人工智能研究員。De Ro來自德國業(yè)務(wù)流程管理公司 FireStart，在那里他一路晉升為首席技術(shù)官。Steinberger和De Ro在前者共同創(chuàng)建的環(huán)境志愿者組織 ClimateScience.org 相識(shí)，一拍即合創(chuàng)辦了Magic。

Magic 開發(fā)了AI驅(qū)動(dòng)的軟件開發(fā)工具，旨在幫助軟件工程師編寫、審查、調(diào)試和規(guī)劃代碼更改。這些工具的運(yùn)作方式類似于自動(dòng)配對(duì)程序員，試圖理解并不斷學(xué)習(xí)各種編碼項(xiàng)目的背景。

目前這些工具并不收費(fèi)，但使用需要填寫waitlist：

??https://magic.dev/waitlist??

圖片

6.寫在最后：“小團(tuán)隊(duì)，高融資”屢見不鮮

AI時(shí)代的創(chuàng)業(yè)，似乎有一個(gè)“小團(tuán)隊(duì)，高融資”的現(xiàn)象：一個(gè)幾人、十幾人的小團(tuán)隊(duì)就可以融到上億美元的融資（OpenAI掌舵人Altman的觀點(diǎn)）。

同樣Magic也是如此，目前該公司一共23名員工。不過硬實(shí)例也沒得說：Infra方面，非常豪橫，8000臺(tái)H100；Magic團(tuán)隊(duì)此輪更是拿到了3.2億美融資的融資，谷歌和和英偉達(dá)的支持；人才密度上，前OpenAI成員的加入更是如虎添翼。

回到AI產(chǎn)品領(lǐng)域，我們看到大模型的研究前沿，正在悄然發(fā)生變化，之前發(fā)展得重點(diǎn)是在訓(xùn)練層面的參數(shù)規(guī)模、數(shù)據(jù)多模態(tài)，而現(xiàn)在我們看到的是推理能力的進(jìn)化：超長(zhǎng)文本、推理時(shí)間計(jì)算、強(qiáng)化學(xué)習(xí)、對(duì)齊等。

可以看到，AI輔助賽道的角逐，已經(jīng)成為了這波AI創(chuàng)業(yè)浪潮中的一個(gè)風(fēng)向標(biāo)。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：言征