如何復(fù)盤(pán)大模型技術(shù)爆發(fā)的這一年？除了直觀的感受，你還需要一份系統(tǒng)的總結(jié)。

今天，斯坦福 HAI 研究所發(fā)布了第七個(gè)年度的 AI Index 報(bào)告，這是關(guān)于人工智能行業(yè)現(xiàn)狀的最全面的報(bào)告之一。

訪問(wèn)地址：https://hai.stanford.edu/news/ai-index-state-ai-13-charts

報(bào)告指出，人工智能的發(fā)展正以驚人的速度向前推進(jìn)，開(kāi)發(fā)人員每月都在制造出越來(lái)越強(qiáng)大、越來(lái)越復(fù)雜的模型。然而，盡管發(fā)展速度加快，人工智能行業(yè)在解決人們對(duì)人工智能可解釋性的擔(dān)憂以及對(duì)其對(duì)人們生活影響的日益緊張方面卻進(jìn)展甚微。

在今年的報(bào)告中，斯坦福 HAI 研究所增加了有關(guān)負(fù)責(zé)任人工智能的擴(kuò)展章節(jié)，有關(guān)科學(xué)和醫(yī)學(xué)領(lǐng)域人工智能的新章節(jié)，以及對(duì)研發(fā)、技術(shù)性能、經(jīng)濟(jì)、教育、政策和治理、多樣性和公眾輿論的綜述。

以下是報(bào)告的重點(diǎn)內(nèi)容：

• 2023 年的進(jìn)展速度比以往任何一年都要快得多，GPT-4、Gemini 和 Claude 3 等最先進(jìn)的系統(tǒng)顯示出令人印象深刻的多模態(tài)功能，能夠生成流暢的數(shù)據(jù)多種語(yǔ)言的文本、處理音頻和圖像以及解釋網(wǎng)絡(luò)梗圖。
• 2023 年新發(fā)布的支持生成式 AI 的大型語(yǔ)言模型數(shù)量比前一年翻了一番，其中三分之二是開(kāi)源模型，例如 Meta 的 Llama 2，但性能最佳的是閉源模型，例如 Google 的 Gemini Ultra。
• 2023 年，工業(yè)界繼續(xù)主導(dǎo)人工智能前沿研究。工業(yè)界產(chǎn)生了 51 個(gè)值得關(guān)注的機(jī)器學(xué)習(xí)模型，而學(xué)術(shù)界僅貢獻(xiàn)了 15 個(gè)。2023 年，產(chǎn)學(xué)界合作產(chǎn)生了 21 個(gè)值得關(guān)注的模型，再創(chuàng)新高。
• 美國(guó)領(lǐng)先中國(guó)、歐盟和英國(guó)，成為頂級(jí)人工智能模型的主要來(lái)源地。2023 年，61 個(gè)著名的人工智能模型源自美國(guó)機(jī)構(gòu)，遠(yuǎn)遠(yuǎn)超過(guò)歐盟的 21 個(gè)和中國(guó)的 15 個(gè)。
• Gemini Ultra 是第一個(gè)在大規(guī)模多任務(wù)語(yǔ)言理解關(guān)鍵基準(zhǔn)測(cè)試中達(dá)到人類水平表現(xiàn)的 LLM。OpenAI 的 GPT-4 也不甘示弱，在 Holistic Evaluation of Language Models 基準(zhǔn)上取得了 0.96 的平均勝率得分，該基準(zhǔn)將 MMLU 與其他評(píng)估結(jié)合起來(lái)。
• 不過(guò)，人工智能性能的提高是有代價(jià)的，報(bào)告發(fā)現(xiàn)，前沿人工智能模型的開(kāi)發(fā)成本正變得越來(lái)越高。據(jù)說(shuō) Gemini Ultra 消耗了價(jià)值 1.91 億美元的計(jì)算資源，而 GPT-4 的開(kāi)發(fā)成本估計(jì)為 7800 萬(wàn)美元。

企業(yè)對(duì)生成式 AI 投資猛增

圖 4.3.1 展示了 2013 年至 2023 年全球企業(yè)人工智能投資趨勢(shì)，包括并購(gòu)、少數(shù)股權(quán)、私募投資和公開(kāi)發(fā)行。全球企業(yè)對(duì)人工智能的投資連續(xù)第二年下降。

2023 年，總投資下降至 1892 億美元，較 2022 年下降約 20%。然而，在過(guò)去十年中，企業(yè)對(duì)人工智能相關(guān)投資增加了十三倍。

圖 4.3.3 表明，AI 行業(yè)吸引了 252 億美元的投資，幾乎是 2022 年投資的九倍，是 2019 年投資額的約 30 倍。此外，生成式人工智能占 2023 年所有人工智能相關(guān)私人投資的四分之一以上。

假如按區(qū)域進(jìn)行比較，美國(guó)在人工智能私人投資總額方面再次領(lǐng)先世界。2023 年，美國(guó)投資額為 672 億美元，大約是第二高國(guó)家中國(guó)投資額（78 億美元）的 8.7 倍，是英國(guó)投資額（38 億美元）的 17.8 倍（圖 4.3.8)。

谷歌在基礎(chǔ)模型競(jìng)賽中占據(jù)主導(dǎo)地位

報(bào)告顯示，谷歌在 2023 年發(fā)布的基礎(chǔ)模型最多，圖 1.3.16 總結(jié)了 2023 年各個(gè)機(jī)構(gòu)發(fā)布的各種基礎(chǔ)模型。Google 發(fā)布了最多的模型（18 個(gè)），其次是 Meta（11 個(gè)）和 Microsoft（9 個(gè)）。2023 年發(fā)布基礎(chǔ)模型最多的學(xué)術(shù)機(jī)構(gòu)是加州大學(xué)伯克利分校 (3 個(gè))。

自 2019 年以來(lái)，Google 發(fā)布的基礎(chǔ)模型數(shù)量最多，共有 40 個(gè)，其次是 OpenAI，有 20 個(gè)（圖 1.3.17）。清華大學(xué)也脫穎而出，發(fā)布了七個(gè)基礎(chǔ)模型，而斯坦福大學(xué)是美國(guó)領(lǐng)先的學(xué)術(shù)機(jī)構(gòu)，發(fā)布了五個(gè)模型。

閉源模型優(yōu)于開(kāi)源模型

圖 2.11.4 和 2.11.5 將閉源模型與開(kāi)源模型在選定的基準(zhǔn)上進(jìn)行了對(duì)比。在所有選定的基準(zhǔn)上，閉源模型的表現(xiàn)均優(yōu)于開(kāi)源模型。

訓(xùn)練成本

關(guān)于基礎(chǔ)模型，一個(gè)繞不開(kāi)的話題是推理成本。盡管人工智能公司很少透露訓(xùn)練模型所涉及的費(fèi)用，但人們普遍認(rèn)為這些成本已達(dá)到數(shù)百萬(wàn)美元，并且還在不斷上升。例如，OpenAI 首席執(zhí)行官 Sam Altman 曾提到，GPT-4 的訓(xùn)練成本超過(guò) 1 億美元。

圖 1.3.21 根據(jù)云計(jì)算租賃價(jià)格直觀地顯示了與選定 AI 模型相關(guān)的訓(xùn)練成本。下圖表明近年來(lái)模型訓(xùn)練成本大幅增加。例如，2017 年 Transformer 模型訓(xùn)練成本約為 900 美元。2019 年發(fā)布的 RoBERTa Large 訓(xùn)練成本約為 160,000 美元。2023 年，OpenAI 的 GPT-4 和 Google 的 Gemini Ultra 的訓(xùn)練成本預(yù)計(jì)分別約為 7800 萬(wàn)美元和 1.91 億美元。

圖 1.3.22 顯示了 AI Index 估計(jì)的所有 AI 模型的訓(xùn)練成本。如圖所示，隨著時(shí)間的推移，模型訓(xùn)練成本急劇增加。

如圖 1.3.23 所示，對(duì)計(jì)算訓(xùn)練需求更大的模型需要的訓(xùn)練成本更多。

碳足跡

圖 2.13.1 顯示了選定 LLM 在訓(xùn)練期間釋放的碳（以噸為單位）的比較。例如，Meta 發(fā)布的 Llama 2 70B 模型釋放了約 291.2 噸碳，這比一位旅客從紐約到舊金山的往返航班所釋放的碳排放量高出近 291 倍，大約是普通美國(guó)人一年碳排放量的 16 倍。然而，Llama 2 的排放量仍低于 OpenAI GPT-3 訓(xùn)練期間報(bào)告的 502 噸排放量。

美國(guó)在基礎(chǔ)模型方面處于領(lǐng)先位置

2023 年，全球大部分基礎(chǔ)模型源自美國(guó)（109 個(gè)），其次是中國(guó)（20 個(gè)）和英國(guó)（圖 1.3.18）。自 2019 年以來(lái)，美國(guó)在大多數(shù)基礎(chǔ)模型的研發(fā)方面一直處于領(lǐng)先地位（圖 1.3.19）。

CS 博士畢業(yè)生

美國(guó)和加拿大計(jì)算機(jī)科學(xué)博士畢業(yè)生數(shù)量十年來(lái)首次顯著增加。2022 年，計(jì)算機(jī)科學(xué)博士畢業(yè)生人數(shù)達(dá)到 2105 人，為 2010 年以來(lái)最高（圖 6.1.5）。

越來(lái)越多的 AI 博士畢業(yè)生在工業(yè)界尋求職業(yè)生涯（圖 6.1.7 和圖 6.1.8）。2011 年，工業(yè)界（40.9%）和學(xué)術(shù)界（41.6%）的就業(yè)比例大致相同。然而，到 2022 年，與進(jìn)入學(xué)術(shù)界的人 (20.0%) 相比，畢業(yè)后進(jìn)入工業(yè)界的比例 (70.7%) 明顯更高。過(guò)去 5 年，進(jìn)入政府職位的 AI 博士比例一直保持在相對(duì)較低的水平，穩(wěn)定在 0.7% 左右。

考生類別增加

下圖所示 AP CS 考生的種族多樣性正在增加。雖然白人學(xué)生仍然是最大的群體，但隨著時(shí)間的推移，亞裔、西班牙裔 / 拉美裔等學(xué)生參加 AP CS 考試的人數(shù)不斷增加（圖 8.3.3）。2022 年，白人學(xué)生在考生中所占比例最大（38.2%），其次是亞裔學(xué)生（27.8%）（圖 8.3.3 和圖 8.3.4）。

財(cái)報(bào)電話會(huì)議

去年，財(cái)富 500 強(qiáng)公司財(cái)報(bào)電話會(huì)議中提及人工智能的次數(shù)顯著增加。2023 年，有 394 場(chǎng)財(cái)報(bào)電話會(huì)議提到了人工智能（占所有財(cái)富 500 強(qiáng)公司的近 80%），高于 2022 年的 266 場(chǎng)（圖 4.4.25）。自 2018 年以來(lái)，財(cái)富 500 強(qiáng)財(cái)報(bào)電話會(huì)議中提及人工智能的次數(shù)幾乎增加了一倍。

涉及的主題非常廣泛，最常被提及的主題是生成式人工智能，占所有財(cái)報(bào)電話會(huì)議的 19.7%(圖 4.4.26)。

成本下降，收入上升

人工智能不僅僅是企業(yè)的流行語(yǔ)：麥肯錫的同一項(xiàng)調(diào)查顯示，人工智能的整合使企業(yè)成本下降，收入增加?？傮w而言，42% 的受訪者表示他們的成本降低了，59% 的受訪者表示收入增加了。

2023 年，不同領(lǐng)域的多項(xiàng)研究表明，人工智能使工人能夠更快地完成任務(wù)，并提高工作質(zhì)量。其中一項(xiàng)研究考察了使用 Copilot 的編程人員，其他研究則考察了顧問(wèn)、呼叫中心代理和法律專業(yè)學(xué)生。研究還表明，雖然每個(gè)工人都能從中受益，但人工智能對(duì)低技能工人的幫助要大于對(duì)高技能工人的幫助。

企業(yè)確實(shí)感知到了風(fēng)險(xiǎn)

報(bào)告對(duì)收入至少在 5 億美元以上的 1000 家公司進(jìn)行了一次全球調(diào)查，以了解企業(yè)如何看待負(fù)責(zé)任的人工智能。

結(jié)果顯示，隱私和數(shù)據(jù)管理被認(rèn)為是全球最大的風(fēng)險(xiǎn)，而公平性（通常以算法偏見(jiàn)的形式討論）仍未被大多數(shù)公司所重視。

一張圖表顯示，企業(yè)正在針對(duì)其感知到的風(fēng)險(xiǎn)采取行動(dòng)：各地區(qū)的大多數(shù)企業(yè)都針對(duì)相關(guān)風(fēng)險(xiǎn)實(shí)施了至少一項(xiàng)負(fù)責(zé)任的人工智能措施。

人工智能還不能在所有事情上擊敗人類……

近年來(lái)，人工智能系統(tǒng)在閱讀理解和視覺(jué)推理等一系列任務(wù)上的表現(xiàn)都優(yōu)于人類，如 2015 年的圖像分類、2017 年的基礎(chǔ)閱讀理解、2020 年的視覺(jué)推理和 2021 年的自然語(yǔ)言推理。

但在一些復(fù)雜的認(rèn)知任務(wù)中，人類的表現(xiàn)仍然優(yōu)于人工智能系統(tǒng)，如視覺(jué)常識(shí)推理和高級(jí)數(shù)學(xué)問(wèn)題解決（競(jìng)賽級(jí)數(shù)學(xué)問(wèn)題），讓我們明年再看看情況如何。

制定人工智能責(zé)任規(guī)范

當(dāng)一家人工智能公司準(zhǔn)備發(fā)布一個(gè)大模型時(shí)，標(biāo)準(zhǔn)做法是根據(jù)該領(lǐng)域的流行基準(zhǔn)對(duì)其進(jìn)行測(cè)試，從而讓社區(qū)了解模型在技術(shù)性能方面是如何相互疊加的。然而，根據(jù)負(fù)責(zé)任的人工智能基準(zhǔn)對(duì)模型進(jìn)行測(cè)試的做法并不多見(jiàn)，這些基準(zhǔn)主要評(píng)估有毒語(yǔ)言輸出（RealToxicityPrompts 和 ToxiGen）、反應(yīng)中的有害偏差（BOLD 和 BBQ）以及模型的真實(shí)程度（TruthfulQA）。這種情況正在開(kāi)始改變，因?yàn)槿藗冊(cè)絹?lái)越意識(shí)到，根據(jù)這些基準(zhǔn)檢查自己的模型是一件負(fù)責(zé)任的事情。

然而，報(bào)告中的一張圖表顯示，一致性還很欠缺：OpenAI、Google 和 Anthropic 在內(nèi)的領(lǐng)先開(kāi)發(fā)人員主要根據(jù)不同的負(fù)責(zé)任的 AI 基準(zhǔn)測(cè)試他們的模型。這種做法使得系統(tǒng)地比較頂級(jí)人工智能模型的風(fēng)險(xiǎn)和局限性的工作變得更加復(fù)雜。

法律對(duì)人工智能的促進(jìn)和限制

報(bào)告指出，在 2016 年至 2023 年期間，有 33 個(gè)國(guó)家至少通過(guò)了一項(xiàng)與人工智能有關(guān)的法律，其中大部分行動(dòng)發(fā)生在美國(guó)和歐洲；在此期間，總共通過(guò)了 148 項(xiàng)與人工智能有關(guān)的法案。研究者還將法案分為旨在增強(qiáng)國(guó)家人工智能能力的擴(kuò)張性法律和對(duì)人工智能應(yīng)用和使用施加限制的限制性法律。

可以發(fā)現(xiàn)，雖然許多法案都在繼續(xù)促進(jìn)人工智能的發(fā)展，但限制性立法已成為全球趨勢(shì)。

AI 正讓人們變得緊張

報(bào)告的第九章是關(guān)于「公眾觀點(diǎn)」的，多倫多大學(xué)的一項(xiàng)國(guó)際調(diào)查顯示，63% 的受訪者知道 ChatGPT。在那些知道的人中，大約有一半的人每周至少使用 ChatGPT 一次。

但公眾對(duì)人工智能的經(jīng)濟(jì)影響持悲觀態(tài)度。在 lpsos 的一項(xiàng)調(diào)查中，只有 37% 的受訪者認(rèn)為人工智能將改善他們的工作。只有 34% 的人認(rèn)為人工智能將促進(jìn)經(jīng)濟(jì)，32% 的人認(rèn)為它將促進(jìn)就業(yè)市場(chǎng)。

這一指數(shù)的民意數(shù)據(jù)來(lái)自一項(xiàng)關(guān)于對(duì)人工智能態(tài)度的全球調(diào)查，31 個(gè)國(guó)家的 22816 名成年人（年齡在 16 歲至 74 歲之間）參與了調(diào)查。

超過(guò)半數(shù)的受訪者表示，人工智能讓他們感到緊張，而前一年這一比例為 39%。三分之二的人現(xiàn)在預(yù)計(jì)人工智能將在未來(lái)幾年內(nèi)深刻改變他們的日常生活。

該指數(shù)中的其他圖表顯示，不同人群的觀點(diǎn)存在顯著差異，年輕人更傾向于樂(lè)觀地看待人工智能將如何改變他們的生活。