隨著2024年的結束，我們可以回顧并認識到，AI已經(jīng)取得了令人矚目且開創(chuàng)性的進展。按照當前的發(fā)展速度，幾乎無法預測2025年AI將帶來怎樣的驚喜，但有幾個趨勢為企業(yè)描繪了一幅來年可期以及如何充分準備的動人畫卷。

推理成本驟降

過去一年，前沿模型的成本穩(wěn)步下降。過去兩年內(nèi)，OpenAI表現(xiàn)最佳的大型語言模型(LLM)每百萬token的價格已經(jīng)降低了200多倍。

推理成本下降的一個關鍵因素是競爭日益激烈。對于許多企業(yè)應用而言，大多數(shù)前沿模型都適用，因此很容易從一種模型切換到另一種，從而將競爭轉向定價。此外，加速器芯片和專用推理硬件的改進也使得AI實驗室能夠以更低的成本提供其模型。

為了利用這一趨勢，企業(yè)應當開始嘗試最先進的LLM，并圍繞其構建應用原型，即使當前成本較高。模型價格的持續(xù)下降意味著，許多此類應用將很快具備可擴展性。同時，模型的能力也在不斷提升，這意味著在相同的預算下，企業(yè)能做的事情比過去一年要多得多。

大型推理模型的崛起

OpenAI o1的發(fā)布在LLM領域掀起了一股新的創(chuàng)新浪潮。讓模型“思考”更長時間并審查其答案的趨勢，使得它們能夠解決以往單次推理調(diào)用無法解決的問題。盡管OpenAI尚未發(fā)布o1的詳細信息，但其令人印象深刻的能力已經(jīng)在AI領域引發(fā)了一場新的競賽。如今，有許多開源模型復制了o1的推理能力，并將這一范式擴展到新領域，如回答開放式問題。

o1類模型(有時被稱為大型推理模型，LRM)的進展對未來可能有兩個重要影響。首先，鑒于LRM必須生成大量token來給出答案，我們可以預期硬件公司將更有動力開發(fā)具有更高token吞吐量的專用AI加速器。

其次，LRM有助于解決下一代語言模型的一個重要瓶頸：高質(zhì)量訓練數(shù)據(jù)。已有報道稱，OpenAI正在使用o1為其下一代模型生成訓練示例。我們還可以預期，LRM將有助于催生新一代小型專用模型，這些模型將針對特定任務使用合成數(shù)據(jù)進行訓練。

為了利用這些發(fā)展，企業(yè)應當為實驗前沿LRM的潛在應用分配時間和預算。他們應當不斷測試前沿模型的極限，并思考如果下一代模型克服這些限制，將可能實現(xiàn)哪些類型的應用。結合推理成本的持續(xù)下降，LRM有望在來年解鎖許多新的應用。

Transformer替代品蓄勢待發(fā)

Transformer(LLM中使用的主要深度學習架構)的內(nèi)存和計算瓶頸催生了一系列具有線性復雜度的替代模型。其中，狀態(tài)空間模型(SSM)是最受歡迎的架構，過去一年取得了許多進展。其他有前景的模型還包括液體神經(jīng)網(wǎng)絡(LNN)，它們使用新的數(shù)學方程，用少得多的人工神經(jīng)元和計算周期完成更多任務。

過去一年，研究人員和AI實驗室發(fā)布了純SSM模型以及結合Transformer和線性模型優(yōu)勢的混合模型。盡管這些模型的性能尚未達到前沿的基于Transformer的模型水平，但它們正在迅速趕超，并且已經(jīng)實現(xiàn)了數(shù)量級的更快速度和更高效率。如果該領域的進展持續(xù)下去，許多更簡單的LLM應用可以卸載到這些模型上，并在邊緣設備或本地服務器上運行，這樣企業(yè)就可以使用定制數(shù)據(jù)，而無需將其發(fā)送給第三方。

擴展定律的變化

LLM的擴展定律在不斷演變。2020年GPT-3的發(fā)布證明，擴展模型規(guī)模將繼續(xù)帶來令人印象深刻的結果，并使模型能夠執(zhí)行它們未經(jīng)明確訓練的任務。2022年，DeepMind發(fā)布了Chinchilla論文，為數(shù)據(jù)擴展定律設定了新的方向。Chinchilla證明，通過在比模型參數(shù)數(shù)量大數(shù)倍的海量數(shù)據(jù)集上訓練模型，可以繼續(xù)獲得改進。這一發(fā)展使得較小的模型能夠與擁有數(shù)百億參數(shù)的前沿模型相競爭。

如今，人們擔心這兩種擴展定律都即將達到極限。報告顯示，前沿實驗室在訓練更大模型方面的回報正在遞減。同時，訓練數(shù)據(jù)集已經(jīng)增長到數(shù)十萬億token，獲取高質(zhì)量數(shù)據(jù)的難度和成本也越來越高。

與此同時，LRM正在開辟一個新的方向：推理時間擴展。在模型和數(shù)據(jù)集大小失效的地方，我們或許可以通過讓模型運行更多推理周期并修正自己的錯誤來開拓新天地。

隨著2025年的到來，AI領域繼續(xù)以意想不到的方式發(fā)展，新的架構、推理能力和經(jīng)濟模型正在重塑可能性。對于愿意嘗試和適應的企業(yè)而言，這些趨勢不僅代表著技術進步，更是我們利用AI解決現(xiàn)實世界問題方式的根本轉變。