23年是當(dāng)之無愧的「生成式AI之年」。

24年，AI技術(shù)會(huì)有哪些突破？

英偉達(dá)高級(jí)科學(xué)家Jim Fan稱，2024年將是視頻年。盡管機(jī)器人和具身智能體才剛剛起步，但我認(rèn)為視頻AI將在未來12個(gè)月內(nèi)迎來突破性進(jìn)展的時(shí)刻。

OpenAI聯(lián)創(chuàng)Greg Brockman則預(yù)測(cè)：2024年，AI的能力、安全性、潛在影響的積極性上，都會(huì)是突破性的一年。

當(dāng)然，從更長遠(yuǎn)的角度看，這只是又一個(gè)指數(shù)級(jí)的一年，讓每個(gè)人的生活都比今天更好。

新的一年，人工智能還會(huì)像2023年一樣，大放異彩嗎？

AI大佬2024預(yù)測(cè)

Meta的研究員Martin Signoux對(duì)2024年AI做出了8大預(yù)測(cè)，就連LeCun大佬表示深度贊同。

首先，人工智能智能眼鏡蔚然成風(fēng)。隨著多模態(tài)技術(shù)的興起，領(lǐng)先的人工智能公司將加倍努力開發(fā)人工智能可穿戴設(shè)備。還有什么比眼鏡外形更適合承載人工智能助手呢？

ChatGPT之于人工智能助手，就像谷歌之于搜索一樣。2023年，ChatGPT開始大放異彩，Bard、Claude、Llama、Mistral和數(shù)以千計(jì)的衍生產(chǎn)品相繼問世。

隨著產(chǎn)品化的繼續(xù)推進(jìn)，ChatGPT將不再是這個(gè)領(lǐng)域的唯一參考標(biāo)準(zhǔn)，其估值也將面臨修正。

大模型模型再見，多模態(tài)模型你好。LMM將不斷涌現(xiàn)，并在多模態(tài)評(píng)估、多模態(tài)安全、多模態(tài)這個(gè)、多模態(tài)那個(gè)的爭(zhēng)論中取代LLM。此外，LMM是邁向真正通用人工智能助手的墊腳石。

沒有重大突破，但各方面都有改進(jìn)。新模型不會(huì)帶來真正的突破（GPT-5)，LLM在本質(zhì)上仍然有限，而且容易產(chǎn)生幻覺。我們不會(huì)看到任何飛躍，使它們?cè)?024年可靠到足以「解決基本的AGI」。

在RAG、數(shù)據(jù)整理、更好的微調(diào)、量化等方面的改進(jìn)，將使LLM在許多用例中變得足夠強(qiáng)大/有用，從而推動(dòng)各行業(yè)各種服務(wù)的采用。

小模型（SLM）已經(jīng)出現(xiàn)，但成本效益和可持續(xù)發(fā)展的考慮將加速這一趨勢(shì)。量化技術(shù)也將大大提高，從而推動(dòng)消費(fèi)服務(wù)的設(shè)備集成浪潮。

開源模型擊敗GPT-4，開源與封閉之爭(zhēng)逐漸平息?；仡欉^去12個(gè)月開源社區(qū)的活力和進(jìn)步，很明顯，開源模型將很快縮小性能差距。

基準(zhǔn)仍然是一個(gè)難題。沒有一套基準(zhǔn)、排行榜或評(píng)估工具能夠成為模型評(píng)估的一站式服務(wù)。相反，我們將看到一系列改進(jìn)（如HELM）和新舉措（如GAIA），尤其是在多模態(tài)方面。

與現(xiàn)有風(fēng)險(xiǎn)相比，存在的風(fēng)險(xiǎn)不會(huì)引起太多討論。雖然X風(fēng)險(xiǎn)成為2023年的頭條新聞，但公眾討論將更多地關(guān)注與偏見、假新聞、用戶安全、選舉誠信等相關(guān)的現(xiàn)有風(fēng)險(xiǎn)和爭(zhēng)議。

Lightning AI的創(chuàng)始人William Falcon對(duì)2024年的預(yù)測(cè)是：

- 1B模型性能將優(yōu)于70B。

- 在CPU上部署模型幾乎是免費(fèi)的，而不是API服務(wù)。

- 數(shù)據(jù)質(zhì)量將使性能提升10倍。

- 開源模型的組合將擊敗最好的私有模型。

- 編譯器將使模型（訓(xùn)練和推理）的速度至少提高80%。

- 立法將支持內(nèi)容創(chuàng)建者，而非模型開發(fā)者。

開源工具平臺(tái)LlamaIndex的創(chuàng)始人Jerry Liu表示，

- RAG將繼續(xù)成為一個(gè)大焦點(diǎn)

- 每個(gè)AI工程師仍然需要強(qiáng)大的軟件工程基礎(chǔ)。

- 向量數(shù)據(jù)庫開始開發(fā)類SQL接口并支持多模態(tài)

- 多模態(tài)模型在文檔處理中得到更多使用（但首先，計(jì)算成本/延遲需要降低）

- 類似GPT-4的全部能力成為開源，并且更快/更便宜。

- 如果是這種情況，智能體的開發(fā)會(huì)重新蓬勃發(fā)展。

- 提示和以前一樣重要，但提示工程的重要性會(huì)下降

2023年，ChatGPT訪問量全球居首

過去一年里，AI無處不在，甚至重新定義了整個(gè)行業(yè)。

在線內(nèi)容寫作公司W(wǎng)riterbuddy AI使用SEO行業(yè)著名的工具SEMrush，通過抓取AI工具數(shù)據(jù)，研究了3000+種AI工具。

結(jié)果發(fā)現(xiàn)，從2022年9月-2023年8月，排名前50的AI工具，產(chǎn)生了超過240億次的驚人訪問量，平均每月增長2.363億次。

其中，ChatGPT獨(dú)占了140億流量，占分析流量的60%。

以下是報(bào)告中的關(guān)鍵發(fā)現(xiàn)：

- AI行業(yè)平均每月增長2.363億次訪問量。分析的50個(gè)人工智能工具經(jīng)歷了10.7倍的增長率，平均每月訪問量增加 2.363 億次。

- 過去12個(gè)月中，AI應(yīng)用每月平均訪問量達(dá)到20億次。過去6個(gè)月，每月平均訪問量激增至33億次。

- ChatGPT、Character AI和Google Bard的訪問量分別凈增長了18億次、4.634億次和6800萬次。

- 訪問量最高AI聊天機(jī)器人：ChatGPT處于絕對(duì)領(lǐng)先地位，占AI聊天機(jī)器人類別總訪問量的 76.31%。緊隨其后的是Character AI，以19.86%的訪問量位居第二。

- Craiyon、Midjourney和Quillbot面臨最大的流量下降。

- 美國貢獻(xiàn)了55億人次訪問量，占總訪問量的22.62%，而歐洲國家合計(jì)貢獻(xiàn)了39億人次訪問量。

- AI 聊天機(jī)器人工具最受歡迎，訪問量達(dá)到191億次。

- 超過63%的AI工具用戶通過移動(dòng)設(shè)備訪問。存在性別差異，69.5%為男性用戶，30.5%為女性用戶

除了風(fēng)靡全球的ChatGPT，23年的這些技術(shù)也很驚艷

23年過去了，這一年的關(guān)鍵詞，無疑就是「生成式AI」。

22年底ChatGPT的推出，以及23年3月發(fā)布的GPT-4，讓全世界見識(shí)到了大語言模型的廣泛可用性，讓23年變成了屬于文本、音頻和視頻生成式AI的一年。

除了今年的「寵兒」ChatGPT之外，其他公司的鋒芒也不應(yīng)被忽視，比如放出了第一個(gè)開源語言模型的公司，和幾家新的AI初創(chuàng)公司，包括在年底發(fā)布了目前可用的最佳開源語言模型Mixtral 8x7B的Mistral。

除此之外，還有以下這些讓人印象深刻的技術(shù)。

斯坦福小鎮(zhèn)和機(jī)器貓

「斯坦福小鎮(zhèn)」，展示了令人印象深刻的文本和編碼任務(wù)的應(yīng)用。

團(tuán)隊(duì)創(chuàng)建了一個(gè)受模擬人生啟發(fā)的沙盒環(huán)境，其中的25名AI智能體，每個(gè)都有屬于自己的職業(yè)和個(gè)性，可以自主互動(dòng)。

這些智能體表現(xiàn)出了可信的個(gè)人和緊急社交行為，包括做計(jì)劃、參加情人節(jié)派對(duì)。這項(xiàng)工作展示了基于LLM的智能體如何相互交互，并產(chǎn)生了有趣的結(jié)果。

這一想法已被其他研究和開源項(xiàng)目所采用，例如Auto-GPT和BabyAGI，而OpenAI則通過Assistant API，將其大大簡(jiǎn)化。

GPT-4等基礎(chǔ)模型，也已用于機(jī)器人技術(shù)，取得了一些進(jìn)展，比如谷歌的機(jī)器人RT-2和RoboCat。

RT-2是一種用于機(jī)器人控制的AI模型，可以從機(jī)器人和網(wǎng)絡(luò)數(shù)據(jù)中學(xué)習(xí)。該模型可以處理文本和圖像輸入，并利用其廣泛的網(wǎng)絡(luò)知識(shí)來執(zhí)行尚未經(jīng)過明確訓(xùn)練的任務(wù)。

在6000多次機(jī)器人測(cè)試中，RT-2在未經(jīng)訓(xùn)練的任務(wù)中的成功率，幾乎是其前身的兩倍。

另一方面，RoboCat是一種AI，可以生成訓(xùn)練數(shù)據(jù)，以改善機(jī)器人的控制。

其他公司的技術(shù)，如英偉達(dá)的多模態(tài)VIMA模型，也在機(jī)器人技術(shù)中使用了基礎(chǔ)模型。

DreamerV3和FunSearch

在強(qiáng)化學(xué)習(xí)領(lǐng)域，研究者們也取得了不少重要成果。

一個(gè)例子是DreamerV3，它可以處理完全不同的問題，而無需任何調(diào)整。

在沒有人類模型的情況下，DreamerV3就會(huì)學(xué)習(xí)如何在Minecraft中開采鉆石。

今年早些時(shí)候，DeepMind還展示了AdA（Adaptive Agent），這是DeepMind的一個(gè)基礎(chǔ)強(qiáng)化學(xué)習(xí)模型。

AdA遵循基礎(chǔ)模型的經(jīng)典配方，在具有大量數(shù)據(jù)的任務(wù)上進(jìn)行了訓(xùn)練。AdA之所以意義重大，是因?yàn)樗砻髁?，?qiáng)化學(xué)習(xí)中的擴(kuò)展可以使模型在其他任務(wù)上表現(xiàn)更好。

在各個(gè)科學(xué)領(lǐng)域，深度學(xué)習(xí)展現(xiàn)出越來越多的作用。

DeepMind開發(fā)了AlphaTensor，一種用于快速矩陣乘法的新算法。

同時(shí)，DeepMind最新版本的AlphaFold蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)系統(tǒng)，克服了之前版本的許多弱點(diǎn)，為計(jì)算結(jié)構(gòu)預(yù)測(cè)開辟了新的可能性。

此外，Google DeepMind還展示了FunSearch，這是首次使用代碼生成語言模型與進(jìn)化搜索算法相結(jié)合，為數(shù)學(xué)問題找到以前未知的解決方案。

OthelloGPT、Q-Star和AI法案

2023年，也是AI監(jiān)管的一年，和對(duì)AI存在主義風(fēng)險(xiǎn)發(fā)出警告的一年。

這種趨勢(shì)無疑也會(huì)刺激業(yè)界研究，好讓人類更好地理解LLM的內(nèi)部工作原理。

這期間有一些有趣的論文，比如OthelloGPT，微軟的GPT-4體現(xiàn)了AGI火花，以及谷歌關(guān)于大模型「頓悟」的論文。

提示工程領(lǐng)域提供了對(duì)LLM的見解。

Fran?ois Chollet將提示工程解釋為尋找正確的向量程序和Promptbreeder，這表明，提示在未來可能會(huì)變得更加自動(dòng)化。

在年末，傳起了關(guān)于Q-Star的謠言，伴隨著人們的AI的恐懼、AGI的炒作、以及短短幾天多次反轉(zhuǎn)的OpenAI宮斗鬧劇。

在2024年，或許我們會(huì)看到猜測(cè)變少，談判變多。

AI訓(xùn)練使用的數(shù)據(jù)，在哪些范疇內(nèi)是合理的？最近紐約時(shí)報(bào)對(duì)OpenAI發(fā)起的訴訟，引起了全社會(huì)范圍內(nèi)的廣泛探討。

類似的辯論，也將在歐盟上演，在今年年底前，歐盟各國就《歐盟人工智能法案》達(dá)成一致。這一法案的細(xì)節(jié)將在明年決定，并且對(duì)歐洲的人工智能市場(chǎng)產(chǎn)生重大影響。

2024 AI展望

在經(jīng)歷了爆炸性的2023年之后，2024年的人工智能領(lǐng)域有將會(huì)有哪些進(jìn)展？

毋庸置疑，在這個(gè)新的一年里，我們?nèi)詫⒖吹筋I(lǐng)先的AI在許多新的創(chuàng)造性方式中應(yīng)用，推動(dòng)整個(gè)行業(yè)的進(jìn)步。

Copilot AI登臺(tái)：智能體時(shí)代來臨

OpenAI在首屆開發(fā)者大會(huì)上發(fā)布的GPTs、Assitants等工具，微軟產(chǎn)品全線更名Copilot等等，智能體在今年迎來了大爆發(fā)。

這些工具已經(jīng)開始在一個(gè)又一個(gè)行業(yè)產(chǎn)生影響，但我們迄今所看到的與即將到來的相比微不足道。

今年早些時(shí)候，來自普林斯頓、谷歌團(tuán)隊(duì)發(fā)表的ReAct論文展示了大模型如何有效地學(xué)習(xí)如何使用工具，并推動(dòng)了這方面的大量研究。

OpenAI、Anthropic在內(nèi)的公司已經(jīng)花了一年的時(shí)間來調(diào)整自家模型，以便更好地使用這種技術(shù)。

比如，OpenAI的函數(shù)調(diào)用，以及Anthropic的Claude XML支持。

項(xiàng)目地址：https://react-lm.github.io/

還有一些研究機(jī)構(gòu)專門訓(xùn)練了專門的大模型，比如伯克利的Gorilla LLM。

另外，開源代碼庫Langchain、Rivet等都讓智能體變得容易得多。

看得見，AI智能體比以往任何時(shí)候都更容易開發(fā)，成本也更低。它們?cè)诎l(fā)揮人類聰明才智的同時(shí)，還能深入連接對(duì)用戶和公司最重要的數(shù)據(jù)。

2024年，我們將看到「智能體時(shí)代」的到來，這是通過軟件滿足需求和與技術(shù)互動(dòng)的一個(gè)全新方向的開端。

多模態(tài)大模型突破視覺障礙

ChatGPT能夠理解和表達(dá)人類自然語言，這是吸引用戶和開發(fā)者的突破性功能。

但是，2024年將看到AI視覺可能會(huì)更加重要，影響更加深遠(yuǎn)。

文字固然強(qiáng)大，但圖像、視頻、音頻能以更集中的方式傳遞信息和情感。思想的空間表達(dá)是一種非常強(qiáng)大的工具，可以簡(jiǎn)單地傳達(dá)復(fù)雜的概念。

LLM不僅能對(duì)文本數(shù)據(jù)進(jìn)行訓(xùn)練，還能對(duì)視覺數(shù)據(jù)進(jìn)行訓(xùn)練，多模態(tài)能力更加明顯。

我們已經(jīng)看到，Ai Pin、Apple Vision等可穿戴設(shè)備的發(fā)展，它們有望為我們的日常生活提供幫助。

例如，它們可以提供與交流的人的背景信息、與工作相關(guān)的視覺提示，或完成任務(wù)的實(shí)時(shí)建議。

創(chuàng)新將走向何方？速度有多快？現(xiàn)在還很難說，但能夠解讀圖像和視頻并對(duì)環(huán)境中的物理變化做出即時(shí)反應(yīng)，為智能人工智能只能以如何幫助人類增添了一個(gè)極其重要的維度。

AI操控達(dá)到危險(xiǎn)級(jí)別

AI爆發(fā)為各個(gè)領(lǐng)域帶來翻天，覆地的變化的同時(shí)，也讓我們看到AI生成虛假信息給生活帶來了困擾。

在人類歷史上，大規(guī)模影響和操縱AI從未如此強(qiáng)大，也從未如此普及。

人工智能已經(jīng)讓人們幾乎無法辨別「真實(shí)」的社交互動(dòng)與內(nèi)容，因?yàn)閳D像，甚至視頻都可以很輕而易舉地生成。

未來一年，人工智能操縱可能會(huì)大行其道，從自動(dòng)勒索和欺詐到陰謀論的傳播。

總而言之，2024年，人工智能將給世界帶來許多令人難以置信的東西，但它也將以新的方式挑戰(zhàn)我們。

知友預(yù)測(cè)

關(guān)于此話題的暢想，也上了知乎熱榜。

知友「引線小白」預(yù)測(cè)，在24年，模型效果會(huì)進(jìn)一步突破，可能只要7B的模型推理資源，就能與現(xiàn)在的GPT-4持平。

隨著部署成本大幅下降，24年可能就會(huì)成為AI Agent元年，出現(xiàn)一個(gè)爆款。

多模態(tài)進(jìn)多模態(tài)出一統(tǒng)江湖的模型，有可能出現(xiàn)。

第一部AI電影，也有望在24年出現(xiàn)。

清華自動(dòng)化系在讀博士認(rèn)為，「多模態(tài)大模型取得進(jìn)一步突破，圖片和視頻生成能力進(jìn)一步提升。更多的人力工作，特別是需要部分創(chuàng)造力的工作被取代。部分領(lǐng)域大模型的涌現(xiàn)能力進(jìn)一步凸顯，表現(xiàn)出一些更加具有創(chuàng)造性的行為?！?/span>

AI架構(gòu)師「春陽CYang」預(yù)估，2024年應(yīng)該是AI大模型應(yīng)用落地的元年。

2023一整年，雖然大模型火爆，但真正能夠落地的產(chǎn)品還很少，只集中在改寫文案等淺層的應(yīng)用上。

但現(xiàn)在，有很多大模型領(lǐng)域的創(chuàng)意產(chǎn)品在落地了，可以期待一波。

程序員@小五哥預(yù)測(cè)道——

大語言模型將在手機(jī)端運(yùn)算推理；Agent將代替人做一些更實(shí)用的事情；最令人開心的是，人形機(jī)器人很可能幫我們洗衣、拖地、做飯、收拾房間了！