自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

自己訓(xùn)練模型才能掌握未來?一股腦押注應(yīng)用層或許值得警惕

人工智能 新聞
集成商們現(xiàn)在面臨一個艱難選擇:到底是自己訓(xùn)練模型,還是用別人已經(jīng)訓(xùn)練好的模型。

「所有投資者都在押注應(yīng)用層…… 對訓(xùn)練能力存在強(qiáng)烈的負(fù)面偏見…… 我擔(dān)心這是一場冒險賭注和市場誤判?!惯@是一篇標(biāo)題為「The Model is the Product(模型即產(chǎn)品)」的文章的主要觀點(diǎn)。

image.png

文章指出,當(dāng)前很多企業(yè)都以集成商的形式在提供 AI 服務(wù),也就是調(diào)用 OpenAI、Anthropic 等大公司模型的 API。未來,這將是一種非常危險的做法,因?yàn)檫@些大公司掌握了模型更新的主動權(quán),未來他們也將進(jìn)入應(yīng)用層,并有可能在未來 2-3 年內(nèi)停止銷售 API。如果按照這種趨勢發(fā)展,這些公司將拿走大部分利潤,而現(xiàn)在的集成商實(shí)際上在為他們做免費(fèi)的市場調(diào)研,甚至是免費(fèi)的數(shù)據(jù)設(shè)計和生成服務(wù)。

他還舉了一些例子來證明自己的觀點(diǎn),比如 OpenAI 的 DeepResearch 和 Claude Sonnet 3.7。DeepSearch 不通過 API 提供,只用于為高級訂閱創(chuàng)造價值。Claude 3.7 在 Claude Code 中能完美運(yùn)行,但 Cursor 卻在集成它時遇到困難,已經(jīng)有一些高端用戶因此取消了他們的 Cursor 訂閱。

因,集成商們現(xiàn)在面臨一個艱難選擇:到底是自己訓(xùn)練模型,還是用別人已經(jīng)訓(xùn)練好的模型。作者顯然更傾向于前者。但現(xiàn)在的投資現(xiàn)狀是:選擇自己訓(xùn)練模型沒有那么容易融資。

文章作者 Alexander Doria 是 AI 科技公司 Pleias 的聯(lián)合創(chuàng)始人,同時也是一位專注于大語言模型(LLM)研究的機(jī)器學(xué)習(xí)工程師。

以下是博客原文: 

模型即產(chǎn)品

過去幾年里,關(guān)于 AI 發(fā)展下一個周期會是什么,人們有很多猜測:Agent(智能體)?Reasoner(推理器)?真正的多模態(tài)?

我認(rèn)為是時候下定論了:模型即產(chǎn)品。當(dāng)前研究和市場發(fā)展的所有因素都指向這個方向。

  • 通用模型的 scaling 正在停滯。這正是 GPT-4.5 發(fā)布背后傳達(dá)的信息:能力在線性增長,而計算成本卻呈幾何曲線增長。即使過去兩年訓(xùn)練和基礎(chǔ)設(shè)施效率的提升不小,OpenAI 也無法部署這個巨型模型 —— 至少定價遠(yuǎn)遠(yuǎn)不是用戶能承受的。
  • 某些已有方法的訓(xùn)練效果遠(yuǎn)超預(yù)期。強(qiáng)化學(xué)習(xí)和推理的結(jié)合意味著模型突然開始學(xué)習(xí)任務(wù)。這不是機(jī)器學(xué)習(xí),也不是基礎(chǔ)模型,而是一種秘密的第三種東西。甚至是小模型的數(shù)學(xué)能力也突然變得好得嚇人。這讓編程模型不再僅僅生成代碼,而是自己管理整個代碼庫。這能讓 Claude 在上下文信息很少且沒有專門訓(xùn)練的情況下玩《寶可夢》游戲。
  • 推理成本急劇下降。DeepSeek 最近的優(yōu)化意味著所有可用的 GPU 加起來可以支撐全球用戶每天讓前沿模型輸出 10k token。我們現(xiàn)在還遠(yuǎn)沒有這么大的需求。對模型提供商來說,賣 token 賺錢的思路不再有效了:他們必須向價值鏈的更高處移動。

這也是一個令人不安的方向。所有投資者都在押注應(yīng)用層。在 AI 進(jìn)化的下一階段,應(yīng)用層可能是最先被自動化和顛覆的。 

未來模型的形態(tài)

過去幾周,我們看到了兩個「模型即產(chǎn)品」的重要新案例:OpenAI 的 DeepResearch 和 Claude Sonnet 3.7。

我讀到了很多關(guān)于 DeepResearch 的誤解,而這些誤解并沒有因?yàn)殚_源和閉源版本的克隆增多而得到澄清。OpenAI 并沒有在 O3 之上構(gòu)建一個包裝器。他們訓(xùn)練了一個全新的模型,能夠在內(nèi)部執(zhí)行搜索,無需任何外部調(diào)用、提示或編排:


該模型學(xué)習(xí)了核心瀏覽能力(搜索、點(diǎn)擊、滾動、解釋文件)(...)以及如何通過這些瀏覽任務(wù)的強(qiáng)化學(xué)習(xí)訓(xùn)練來推理綜合大量網(wǎng)站,找到特定信息或撰寫全面報告。


DeepResearch 不是標(biāo)準(zhǔn)的 LLM,也不是標(biāo)準(zhǔn)的聊天機(jī)器人。它是一種新形式的研究語言模型,專為端到端執(zhí)行搜索任務(wù)而設(shè)計。對認(rèn)真使用它的人來說,區(qū)別立即變得明顯:模型生成具有一致結(jié)構(gòu)和底層源分析過程的長篇報告。相比之下,正如 Hanchung Lee 強(qiáng)調(diào)的,所有其他 DeepSearch—— 包括 Perplexity 和 Google 的變體只是你通常的模型加上一些調(diào)整: 

Google 的 Gemini 和 Perplexity 的聊天助手也提供「Deep Research」功能,但兩者都沒有發(fā)表任何關(guān)于他們?nèi)绾蝺?yōu)化模型或系統(tǒng)來完成任務(wù)的文獻(xiàn),也沒有任何實(shí)質(zhì)性的定量評估(...)我們將假設(shè)所做的微調(diào)工作并不重要。 

Anthropic 一直在更清晰地闡述他們當(dāng)前的愿景。在 12 月,他們引入了一個有爭議但在我看來是正確的智能體模型定義。類似于 DeepSearch,智能體必須在內(nèi)部執(zhí)行目標(biāo)任務(wù):它們「動態(tài)指導(dǎo)自己的處理過程和工具使用,保持對如何完成任務(wù)的控制」。 

大多數(shù)智能體初創(chuàng)公司目前正在構(gòu)建的不是智能體,而是工作流,即「通過預(yù)定義的代碼路徑編排 LLM 和工具的系統(tǒng)」。工作流仍可能帶來一些價值,尤其是在垂直領(lǐng)域的適應(yīng)性方面。然而,對于那些在大型實(shí)驗(yàn)室工作的人來說,一個顯而易見的事實(shí)是,所有關(guān)于自主系統(tǒng)的重大進(jìn)展都將首先通過重新設(shè)計模型本身來實(shí)現(xiàn)。

我們在 Claude 3.7 發(fā)布時看到了這方面的一個非常具體的演示,這是一個主要為復(fù)雜代碼用例而訓(xùn)練的模型。所有像 Devin 這樣的工作流適應(yīng)在 SWE 基準(zhǔn)測試上都有了重大提升。

再舉一個規(guī)模小得多的例子:在 Pleias,我們目前正在研究如何自動化 RAG。現(xiàn)有的 RAG 系統(tǒng)是由許多相互關(guān)聯(lián)但又脆弱的工作流組成的,比如路由、分塊、重排序、查詢解析、查詢擴(kuò)展、來源上下文化、搜索工程化等。隨著訓(xùn)練技術(shù)棧的不斷發(fā)展,我們真的有可能將所有這些流程整合到兩個相互關(guān)聯(lián)但又獨(dú)立的模型中,一個用于數(shù)據(jù)準(zhǔn)備,另一個用于搜索 / 檢索 / 報告生成。這需要一個精心設(shè)計的合成數(shù)據(jù)管道,以及為強(qiáng)化學(xué)習(xí)設(shè)計的全新獎勵函數(shù)。這才是真正的訓(xùn)練,真正的研究。

這一切在實(shí)踐中意味著什么?轉(zhuǎn)移復(fù)雜性。訓(xùn)練過程會預(yù)先考慮廣泛的行動和邊緣情況,從而使部署變得更加簡單。但在這一過程中,大部分價值是在訓(xùn)練階段創(chuàng)造的,并且最終很可能會被模型訓(xùn)練者所捕獲。簡而言之,Claude 的目標(biāo)是破壞和取代當(dāng)前的工作流,比如 llama index 中的這個基本「智能體」系統(tǒng):

image.png

取而代之的是:

image.png

自己訓(xùn)練模型,還是用別人訓(xùn)練好的模型?  

重申一下:大型實(shí)驗(yàn)室不是帶著隱藏議程前進(jìn)的。雖然他們有時可能不透明,但他們公開地展示了一切:他們將捆綁,他們將進(jìn)入應(yīng)用層,他們將嘗試在那里捕獲大部分價值。商業(yè)后果相當(dāng)明確。Databricks 的 Gen AI 副總裁 Naveen Rao 很好地表達(dá)了這一點(diǎn):


所有閉源 AI 模型的提供商在未來 2-3 年內(nèi)將停止銷售 API。只有開源模型將通過 API 提供(...)閉源模型提供商正試圖構(gòu)建非商品能力,他們需要出色的 UI 來提供這些能力。它不再只是一個模型,而是一個具有特定目的 UI 的 APP。


image.png

所以,現(xiàn)在發(fā)生的一切只是大量的否認(rèn)而已。模型提供商和集成商(基于大模型 API 構(gòu)建應(yīng)用的公司)之間的蜜月期已經(jīng)結(jié)束。事情可能會朝兩個方向發(fā)展:

  • Claude Code 和 DeepSearch 是這個方向的早期技術(shù)和產(chǎn)品實(shí)驗(yàn)。你會注意到 DeepSearch 不通過 API 提供,只用于為高級訂閱創(chuàng)造價值。Claude Code 是一個極簡的終端集成。奇怪的是,雖然 Claude 3.7 在 Claude Code 中運(yùn)行完美,但 Cursor 卻在集成它時遇到困難,我已經(jīng)看到一些高端用戶因此取消了他們的訂閱。真正的 LLM 智能體不關(guān)心預(yù)先存在的工作流:它們直接替代它。
  • 最高調(diào)的集成商現(xiàn)在正在爭相成為混合 AI 訓(xùn)練公司。它們確實(shí)有一些訓(xùn)練能力,盡管很少宣傳。Cursor 的主要資產(chǎn)之一是他們的小型自動補(bǔ)全模型。WindSurf 有他們內(nèi)部廉價的代碼模型 Codium。Perplexity 一直依賴自家的分類器進(jìn)行路由,最近轉(zhuǎn)向?yàn)樗阉髂康挠?xùn)練自己的 DeepSeek 變體。
  • 對于較小的集成商,情況可能沒有太大變化,除非大型實(shí)驗(yàn)室完全放棄這一市場,否則它們可能會更多地依賴于中立的推理服務(wù)提供商。我也預(yù)計會看到對用戶界面(UI)的更多關(guān)注,因?yàn)?UI 仍然被嚴(yán)重低估。隨著更通用的模型可能會整合常見的部署任務(wù),尤其是在 RAG 領(lǐng)域,這種情況可能會更加明顯。

image.png

對于大型 AI 實(shí)驗(yàn)室將停止銷售 API 的說法,有人提出了不同意見。

簡而言之,大多數(shù)成功集成商的困境很簡單:是自己訓(xùn)練模型,還是依賴于模型提供商的訓(xùn)練成果。目前,他們實(shí)際上在為大型實(shí)驗(yàn)室做免費(fèi)的市場調(diào)研,甚至是免費(fèi)的數(shù)據(jù)設(shè)計和生成服務(wù),因?yàn)樗凶罱K的輸出都是通過模型提供商生成的。

接下來會發(fā)生什么,誰也說不準(zhǔn)。成功的集成商確實(shí)有其優(yōu)勢,比如他們對自己的垂直領(lǐng)域非常了解,并積累了大量寶貴的用戶反饋。然而,根據(jù)我的經(jīng)驗(yàn),從模型層面轉(zhuǎn)向應(yīng)用層面相對容易,而從頭開始構(gòu)建全新的訓(xùn)練能力則要困難得多。集成商的投資者可能也沒有給予他們足夠的幫助。據(jù)我聽到的消息,投資者對訓(xùn)練能力存在如此強(qiáng)烈的負(fù)面偏見,以至于集成商幾乎不得不隱藏其最具價值的部分:例如,cursor small 和 codium 目前都沒有得到適當(dāng)?shù)奈臋n記錄。

強(qiáng)化學(xué)習(xí)尚未被定價 

這讓我來到了真正痛苦的部分:目前,所有的人工智能投資都是相互關(guān)聯(lián)的?;鸲荚谝韵录僭O(shè)下運(yùn)作:

  • 真正的價值完全在于一個與模型層無關(guān)的應(yīng)用層,而這一層最有潛力顛覆現(xiàn)有的市場格局。
  • 模型提供商只會以不斷降低的價格出售 token,這反過來又會使集成商變得更加有利可圖。
  • 閉源模型的集成將滿足所有現(xiàn)有需求,即使是在對外部依賴有長期擔(dān)憂的受監(jiān)管領(lǐng)域。
  • 建立任何訓(xùn)練能力都只是浪費(fèi)時間。這不僅包括預(yù)訓(xùn)練,還包括所有形式的訓(xùn)練。

我擔(dān)心這愈發(fā)像是一場冒險賭注和市場誤判,未能準(zhǔn)確評估最新技術(shù)發(fā)展的價值,特別是在強(qiáng)化學(xué)習(xí)(RL)領(lǐng)域。在當(dāng)前的經(jīng)濟(jì)生態(tài)系統(tǒng)中,風(fēng)險投資基金本應(yīng)尋找低相關(guān)性的投資組合 。它們可能無法超越標(biāo)普 500 指數(shù),但這并不是大型機(jī)構(gòu)投資者所追求的:他們希望分散風(fēng)險,確保在糟糕的一年里至少有一些投資能夠取得成功。

模型訓(xùn)練就是一個教科書般的完美例子:在大多數(shù)西方經(jīng)濟(jì)體走向衰退的背景下,它具有巨大的顛覆潛力。然而,模型訓(xùn)練公司卻難以籌集資金,或者至少無法以傳統(tǒng)的方式籌集。Prime Intellect 是少數(shù)幾家具有明確潛力成為前沿實(shí)驗(yàn)室的西方新晉 AI 訓(xùn)練公司之一。然而,盡管他們?nèi)〉昧税ㄓ?xùn)練第一個去中心化大語言模型(LLM)在內(nèi)的成就,他們?nèi)匀浑y以籌集到比普通集成商更多的資金。

除了這些大型實(shí)驗(yàn)室,當(dāng)前的模型訓(xùn)練生態(tài)系統(tǒng)規(guī)模極小。幾乎可以掰指頭數(shù)清這些公司:Prime Intellect、Moondream、Arcee、Nous、Pleias、Jina、HuggingFace 預(yù)訓(xùn)練團(tuán)隊(實(shí)際很?。?.. 還有一些更學(xué)術(shù)性的機(jī)構(gòu)(Allen AI、Eleuther 等),他們共同構(gòu)建并支持了大部分當(dāng)前開放的訓(xùn)練基礎(chǔ)設(shè)施。在歐洲,我了解到至少有 7-8 個 LLM 項(xiàng)目將采用 Common Corpus 和我們在 Pleias 開發(fā)的預(yù)訓(xùn)練工具 —— 其余項(xiàng)目將使用 fineweb,以及可能來自 Nous 或 Arcee 的后訓(xùn)練指令集。 

當(dāng)前的融資環(huán)境存在嚴(yán)重問題。就連 OpenAI 現(xiàn)在也意識到了這點(diǎn)。最近,他們對硅谷創(chuàng)業(yè)生態(tài)中缺乏「垂直強(qiáng)化學(xué)習(xí)」表示不滿。我相信這一信息直接來自 Sam Altman,這可能會影響下一批 YC 孵化公司的選擇,但更指向一個更大的轉(zhuǎn)變:不久之后,大型實(shí)驗(yàn)室選擇的合作伙伴將不再是 API 客戶,而是參與早期訓(xùn)練階段的技術(shù)承包商。 

如果模型即產(chǎn)品,單打獨(dú)斗的開發(fā)方式將不再可行。搜索和代碼領(lǐng)域是容易摘取的果實(shí):作為過去兩年的主要應(yīng)用場景,市場已接近成熟,你可以在幾個月內(nèi)推出新的 cursor 產(chǎn)品。然而,未來許多最具盈利潛力的 AI 應(yīng)用場景尚未發(fā)展到這一階段 —— 想想那些仍然主導(dǎo)全球經(jīng)濟(jì)大部分的基于規(guī)則的系統(tǒng)。擁有跨領(lǐng)域?qū)I(yè)知識和高度專注的小型團(tuán)隊可能最適合解決這些問題 —— 最終在完成基礎(chǔ)工作后成為潛在的收購對象。我們可能會在 UI 領(lǐng)域看到類似的發(fā)展路徑:一些優(yōu)先合作伙伴獲得閉源專業(yè)模型的獨(dú)家 API 訪問權(quán),前提是他們?yōu)槲磥淼臉I(yè)務(wù)收購做好準(zhǔn)備。 

至今我還沒有提及 DeepSeek 或中國的實(shí)驗(yàn)室。原因很簡單,DeepSeek 已經(jīng)更進(jìn)一步:它不僅是作為產(chǎn)品的模型,而是作為通用基礎(chǔ)設(shè)施層。與 OpenAI 和 Anthropic 一樣,梁文鋒公開了他的計劃:


我們認(rèn)為當(dāng)前階段是技術(shù)創(chuàng)新的爆發(fā)期,而不是應(yīng)用的爆發(fā)期 (...)如果能形成完整的產(chǎn)業(yè)上下游,我們就沒必要自己做應(yīng)用。當(dāng)然,如果需要,我們做應(yīng)用也沒障礙,但研究和技術(shù)創(chuàng)新永遠(yuǎn)是我們第一優(yōu)先級。


在這個階段,僅專注于應(yīng)用開發(fā)就像是「用上一場戰(zhàn)爭的將軍打下一場戰(zhàn)爭」。恐怕許多人甚至還沒意識到,上一場戰(zhàn)爭已經(jīng)結(jié)束了。 

責(zé)任編輯:張燕妮 來源: 機(jī)器之心
相關(guān)推薦

2024-05-29 13:05:29

2010-01-26 17:42:20

應(yīng)用層交換技術(shù)

2019-11-14 15:48:34

區(qū)塊鏈比特幣礦機(jī)

2017-05-11 09:10:31

CAN-bus應(yīng)用層協(xié)議

2009-08-14 13:03:39

博科資訊物流管理

2020-11-26 08:38:57

前端 js 庫vue

2010-01-08 14:19:10

應(yīng)用層交換技術(shù)

2024-02-06 14:09:00

微服務(wù)項(xiàng)目集成

2025-02-19 15:06:31

2020-08-06 22:56:02

機(jī)器人

2024-01-08 09:08:53

2010-06-13 17:51:16

SET應(yīng)用層協(xié)議

2024-12-18 15:09:09

2011-11-21 09:55:31

2010-06-25 15:22:16

2021-08-17 10:08:12

Chrome瀏覽器緩存

2021-08-06 13:04:34

腦機(jī)接口機(jī)器人工智能

2016-11-29 15:22:47

協(xié)議應(yīng)用層安全層

2015-12-29 17:12:15

2010-06-13 17:46:47

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號