編譯|伊風(fēng)

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

在人工智能領(lǐng)域的競爭中，科技巨頭們一直在競相構(gòu)建越來越大的語言模型。Scaling Law 信仰隨著模型規(guī)模的增加，其性能會指數(shù)提升，展現(xiàn)出更好的泛化能力，甚至在某些情況下展現(xiàn)出“涌現(xiàn)”的能力。

然而，一個令人驚訝的新趨勢正在浮現(xiàn)：小即是新大。隨著大型語言模型（LLMs）的進(jìn)步顯示出一些趨于平穩(wěn)的跡象，研究人員和開發(fā)者越來越多地將注意力轉(zhuǎn)向小型語言模型（SLMs）。這些緊湊、高效且高度適應(yīng)性強(qiáng)的人工智能模型正在挑戰(zhàn)“越大越好”的觀念，承諾將改變我們對人工智能開發(fā)的方法。

1.LLMs開始趨于平穩(wěn)了嗎？

最近由Vellum和HuggingFace發(fā)布的性能比較顯示，LLMs之間的性能差距正在迅速縮小。這一趨勢在特定任務(wù)中尤為明顯，例如多項(xiàng)選擇題、推理和數(shù)學(xué)問題，頂級模型之間的性能差異微乎其微。

例如，在多項(xiàng)選擇題中，Claude 3 Opus、GPT-4和Gemini Ultra的得分都超過了83%，而在推理任務(wù)中，Claude 3 Opus、GPT-4和Gemini 1.5 Pro的準(zhǔn)確率超過了92%。

有趣的是，即使是像Mixtral 8x7B和Llama 2 – 70B這樣的小型模型，在某些領(lǐng)域，如推理和多項(xiàng)選擇題，也顯示出了令人驚喜的結(jié)果，它們在這些領(lǐng)域超過了一些較大的模型。這表明模型的大小可能并不是性能的唯一決定因素，其他方面，如架構(gòu)、訓(xùn)練數(shù)據(jù)和微調(diào)技術(shù)，可能也扮演著重要角色。   

最近宣布新的LLMs的研究論文都指向了同一個方向：“如果你只是從經(jīng)驗(yàn)上看，最近十幾篇文章都處于與GPT-4相同的一般領(lǐng)域，”Gary Marcus說，他是Uber AI的前負(fù)責(zé)人，也是關(guān)于構(gòu)建可信人工智能的書籍《重啟人工智能》的作者。Marcus在周四與VentureBeat進(jìn)行了交談。

“其中一些比GPT-4稍好，但沒有質(zhì)的飛躍。我認(rèn)為每個人都會說GPT-4比GPT-3.5領(lǐng)先一代。但一年過去了，大模型仍然沒有[質(zhì)的飛躍]，”Marcus說。

隨著性能差距的持續(xù)縮小，越來越多的模型展示出競爭性的結(jié)果，這引發(fā)了一個問題，即LLMs是否真的開始趨于平穩(wěn)。如果這一趨勢持續(xù)下去，它可能對未來語言模型的開發(fā)和部署產(chǎn)生重大影響，可能將重點(diǎn)從簡單地增加模型大小轉(zhuǎn)移到探索更高效和專業(yè)化的架構(gòu)。

2.LLM方法的缺點(diǎn)

LLMs雖然無疑很強(qiáng)大，但也伴隨著顯著的缺點(diǎn)。首先，訓(xùn)練LLMs需要大量的數(shù)據(jù)，需要數(shù)十億甚至數(shù)萬億個參數(shù)。這使得訓(xùn)練過程極其資源密集，訓(xùn)練和運(yùn)行LLMs所需的計(jì)算能力和能源消耗是驚人的。這導(dǎo)致了高昂的成本，使得較小的組織或個人難以參與核心LLM開發(fā)。去年在麻省理工學(xué)院的一個活動中，OpenAI首席執(zhí)行官Sam Altman表示，訓(xùn)練GPT-4的成本至少為1億美元。

其次，與LLMs合作所需的工具和技術(shù)的復(fù)雜性也呈現(xiàn)出陡峭的學(xué)習(xí)曲線，進(jìn)一步限制了可訪問性。對于開發(fā)者來說，從訓(xùn)練到構(gòu)建和部署模型的周期時間很長，這減緩了開發(fā)和實(shí)驗(yàn)的速度。劍橋大學(xué)最近的一篇論文顯示，公司可能需要90天或更長時間來部署一個單一的機(jī)器學(xué)習(xí)（ML）模型。

LLMs的另一個重大問題是它們?nèi)菀桩a(chǎn)生幻覺——生成看似合理但實(shí)際上并不真實(shí)或事實(shí)的輸出。這源于LLMs被訓(xùn)練來根據(jù)訓(xùn)練數(shù)據(jù)中的模式預(yù)測下一個最可能的單詞，而不是真正理解信息。因此，LLMs可以自信地產(chǎn)生虛假陳述，編造事實(shí)或以荒謬的方式結(jié)合不相關(guān)的概念。檢測和減輕這些幻覺是構(gòu)建可靠和可信語言模型的一個持續(xù)挑戰(zhàn)。

“你試圖用它來解決一個高風(fēng)險問題，如果你不想侮辱你的客戶，或獲得錯誤的醫(yī)療信息，或用它冒著生命危險來駕駛汽車。那仍然是一個問題，”Marcus警告說。

LLMs的規(guī)模和黑盒性質(zhì)也使它們難以解釋和調(diào)試，這對于建立對模型輸出的信任也造成重大的障礙。訓(xùn)練數(shù)據(jù)和算法中的偏見可能導(dǎo)致不公平、不準(zhǔn)確甚至有害的輸出。正如谷歌Gemini所看到的，使LLMs“安全”和可靠的技術(shù)也可能降低它們的有效性。此外，LLMs的集中化性質(zhì)也引發(fā)了關(guān)于權(quán)力和控制在少數(shù)大型科技公司手中的擔(dān)憂。

3.小型語言模型（SLMs）的登場

小型語言模型（SLMs）是LLMs的更簡化版本，參數(shù)更少，設(shè)計(jì)更簡單。它們需要較少的數(shù)據(jù)和訓(xùn)練時間——想象一下幾分鐘或幾個小時，而不像LLMs花費(fèi)許多天。這使得SLMs更高效，更容易在現(xiàn)場或較小的設(shè)備上實(shí)施。   

SLMs的一個關(guān)鍵優(yōu)勢是它們適合特定應(yīng)用。因?yàn)樗鼈兊姆秶?，需要的?shù)據(jù)更少，所以它們可以比大型通用模型更容易地針對特定領(lǐng)域或任務(wù)進(jìn)行微調(diào)。這種定制使得公司能夠創(chuàng)建針對其特定需求非常有效的SLMs，如情感分析、命名實(shí)體識別或特定領(lǐng)域的問答。與使用更通用的模型相比，SLMs的專業(yè)性質(zhì)可以在這些目標(biāo)應(yīng)用中帶來更好的性能和效率。

SLMs的另一個好處是它們對增強(qiáng)隱私和安全的潛力。由于代碼庫更小，架構(gòu)更簡單，SLMs更容易進(jìn)行審計(jì)，不太可能有意外的漏洞。這使得它們對于處理敏感數(shù)據(jù)的應(yīng)用具有吸引力，例如在醫(yī)療保健或金融領(lǐng)域，數(shù)據(jù)泄露可能會產(chǎn)生嚴(yán)重后果。此外，SLMs的計(jì)算需求減少，使它們更可行地在設(shè)備或本地服務(wù)器上本地運(yùn)行，而不是依賴云基礎(chǔ)設(shè)施。這種本地處理可以進(jìn)一步提高數(shù)據(jù)安全性，減少在數(shù)據(jù)傳輸過程中的風(fēng)險。

與LLMs相比，SLMs在其特定領(lǐng)域內(nèi)不太可能出現(xiàn)未被發(fā)現(xiàn)的幻覺。SLMs通常在更狹窄、更有針對性的數(shù)據(jù)集上進(jìn)行訓(xùn)練，這些數(shù)據(jù)集特定于其預(yù)期的領(lǐng)域或應(yīng)用，這有助于模型學(xué)習(xí)與其任務(wù)最相關(guān)的模式、詞匯和信息。這種專注減少了生成不相關(guān)、意外或不一致輸出的可能性。由于參數(shù)更少，架構(gòu)更簡化，SLMs不太可能捕捉和放大訓(xùn)練數(shù)據(jù)中的噪聲或錯誤。

AI初創(chuàng)公司HuggingFace的首席執(zhí)行官Clem Delangue建議，高達(dá)99%的用例可以使用SLMs解決，并預(yù)測2024年將是SLM之年。HuggingFace的平臺使開發(fā)者能夠構(gòu)建、訓(xùn)練和部署機(jī)器學(xué)習(xí)模型，該公司今年早些時候宣布與谷歌建立了戰(zhàn)略合作伙伴關(guān)系。隨后，兩家公司將HuggingFace集成到谷歌的Vertex AI中，使開發(fā)者能夠通過谷歌Vertex Model Garden快速部署數(shù)千個模型。  

4.小型語言模型的變革潛力

隨著人工智能社區(qū)繼續(xù)探索小型語言模型的潛力，更快的開發(fā)周期、提高的效率以及根據(jù)特定需求定制模型的能力等優(yōu)勢變得越來越明顯。SLMs有望民主化人工智能的獲取，并通過對行業(yè)進(jìn)行成本效益高和針對性的解決方案來推動創(chuàng)新。

在邊緣部署SLMs為金融、娛樂、汽車系統(tǒng)、教育、電子商務(wù)和醫(yī)療保健等各個領(lǐng)域中實(shí)時、個性化和安全的應(yīng)用程序開辟了新的可能性。

通過本地處理數(shù)據(jù)并減少對云基礎(chǔ)設(shè)施的依賴，帶有SLMs的邊緣計(jì)算實(shí)現(xiàn)了更快的響應(yīng)時間、改善的數(shù)據(jù)隱私和增強(qiáng)的用戶體驗(yàn)。這種去中心化的人工智能方法有可能改變企業(yè)和消費(fèi)者與技術(shù)互動的方式，在現(xiàn)實(shí)世界中創(chuàng)造更個性化和直觀的體驗(yàn)。隨著LLMs面臨與計(jì)算資源相關(guān)的挑戰(zhàn)，并可能達(dá)到性能平穩(wěn)，SLMs的崛起承諾將以令人印象深刻的速度保持人工智能生態(tài)系統(tǒng)的發(fā)展。

根據(jù)彭博社報(bào)道，蘋果計(jì)劃在 iOS 18 中推出的第一組新人工智能功能將根本不依賴于云服務(wù)器。可見，隨著AI能力在端側(cè)的落地，小模型的時代才剛剛開始。

參考鏈接：??https://venturebeat.com/ai/why-small-language-models-are-the-next-big-thing-in-ai/??   

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：編譯|伊風(fēng)