又是冬日，又到結(jié)尾，

氣溫回升了一點(diǎn)，蒼茫天地間仍有一些尚未消融的潔白。

「雪霽銀裝素，桔高映瓊枝」。

不知大家這一年過(guò)得怎么樣呢？

2023很可能成為人工智能歷史上最狂野、最戲劇性的年份之一。

圖片

Spectrum總結(jié)了本年度關(guān)于AI的最受歡迎的文章，

讓我們一起看看這將會(huì)載入史冊(cè)的一年——除非2024更加瘋狂。

圖表總結(jié)2023

斯坦福大學(xué)以人為本的人工智能研究所（HAI）收集了一年的人工智能數(shù)據(jù)，幫助大家全面了解當(dāng)今的人工智能世界。

下面將這份302頁(yè)的報(bào)告提煉為下面的幾張圖表：

圖片

運(yùn)行大模型的碳成本很高：考慮到模型中的參數(shù)數(shù)量、數(shù)據(jù)中心的能源效率以及用于供電的發(fā)電類型，即使是四種模型中效率最好的BLOOM，排放的碳也比美國(guó)居民一年的平均使用量還要多。

圖片

十年來(lái)，私人人工智能投資首次下降，比2021年下降了約三分之一，為1896億美元。

圖片

2021年（可用的最新數(shù)據(jù)），65.4%的人工智能博士進(jìn)入工業(yè)界，而28.2%的人在學(xué)術(shù)界工作。

圖片

隨著博士人數(shù)的增加，工業(yè)界在開發(fā)新的機(jī)器學(xué)習(xí)模型方面領(lǐng)先于學(xué)術(shù)界。

直到2014年，大多數(shù)新的機(jī)器學(xué)習(xí)模型都來(lái)自學(xué)術(shù)界，而到了2022年，根據(jù)HAI收集的數(shù)據(jù)，有32個(gè)行業(yè)生產(chǎn)的機(jī)器學(xué)習(xí)模型，而學(xué)術(shù)界只有3個(gè)。

《人工智能指數(shù)報(bào)告》指出，工業(yè)界在獲取大量數(shù)據(jù)、計(jì)算機(jī)能力和資金方面也具有優(yōu)勢(shì)，而這些都是構(gòu)建最先進(jìn)的人工智能系統(tǒng)所必需的。

「最大的問(wèn)題之一是，大學(xué)將在多大程度上獲得資源來(lái)建立自己的大型模型，而不是從外部修補(bǔ)模型?！?/span>

圖片

有關(guān)濫用人工智能的事件數(shù)量正在激增。

圖片

HAI報(bào)告稱，127個(gè)國(guó)家/地區(qū)通過(guò)的與人工智能相關(guān)的法律有所增加，2016年僅通過(guò)了一項(xiàng)，而2022年為37項(xiàng)。

圖片

在中國(guó)，公民普遍是人工智能的粉絲；而在法國(guó)、加拿大、荷蘭和美國(guó)，情況并非如此。

78%的中國(guó)受訪者認(rèn)為，使用人工智能的產(chǎn)品和服務(wù)利大于弊。在美國(guó)，只有35%的人認(rèn)為人工智能有凈收益。

圖片

上面是一項(xiàng)對(duì)自然語(yǔ)言處理研究人員進(jìn)行的調(diào)查，絕大多數(shù)人（73%）預(yù)計(jì)人工智能將很快帶來(lái)革命性的社會(huì)變革，而有大約三分之一（36%）的研究人員認(rèn)為人工智能可能導(dǎo)致災(zāi)難。

這是大約一年前的數(shù)據(jù)，現(xiàn)在看起來(lái)有點(diǎn)意思。

200年前的數(shù)學(xué)打開AI黑匣子

無(wú)論是設(shè)計(jì)芯片還是構(gòu)思新的蛋白質(zhì)，神經(jīng)網(wǎng)絡(luò)似乎可以做任何事情。

但是當(dāng)前AI的不可解釋性又常常引發(fā)人們的擔(dān)憂。

圖片

今年二月，一項(xiàng)研究使用數(shù)學(xué)幫助闡明神經(jīng)網(wǎng)絡(luò)如何執(zhí)行復(fù)雜的任務(wù)（例如預(yù)測(cè)氣候或模擬湍流）。這同時(shí)又可以提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性和學(xué)習(xí)速度。

休斯頓萊斯大學(xué)（Rice University, in Houston）的流體動(dòng)力學(xué)家Pedram Hassanzadeh和他的同事，嘗試使用傅里葉分析，來(lái)識(shí)別數(shù)據(jù)中跨空間和時(shí)間的規(guī)則模式。

研究人員選擇了一個(gè)經(jīng)過(guò)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)（該神經(jīng)網(wǎng)絡(luò)可以分析大氣中的空氣或海洋中的水中所看到的復(fù)雜湍流，并預(yù)測(cè)這些流動(dòng)如何隨時(shí)間變化），然后對(duì)這個(gè)網(wǎng)絡(luò)的控制方程進(jìn)行了傅里葉分析。

這個(gè)網(wǎng)絡(luò)有大約100萬(wàn)個(gè)參數(shù)，分布于約40000個(gè)kernel中，在對(duì)所有這些kernel進(jìn)行傅里葉分析后，研究人員發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的參數(shù)表現(xiàn)為低通、高通和Gabor濾波器的組合。

多年來(lái)，科學(xué)家們一直試圖將這些過(guò)濾器結(jié)合起來(lái)分析氣候和湍流。然而，這些組合在對(duì)這些復(fù)雜系統(tǒng)進(jìn)行建模時(shí)往往不能成功?！窠?jīng)網(wǎng)絡(luò)學(xué)會(huì)了正確組合這些過(guò)濾器的方法。

Hassanzadeh表示，除了氣候和湍流模型之外，傅里葉分析還可能有助于研究作用于其他復(fù)雜系統(tǒng)的神經(jīng)網(wǎng)絡(luò)。包括噴氣發(fā)動(dòng)機(jī)內(nèi)部的燃燒、風(fēng)電場(chǎng)中的流動(dòng)、木星和其他行星的大氣層、等離子體、太陽(yáng)和地球內(nèi)部的對(duì)流等等。

「數(shù)字來(lái)世」產(chǎn)業(yè)

These companies could use your data to bring you back——without your consent.

這些公司可能會(huì)在未經(jīng)您同意的情況下使用您的數(shù)據(jù)將您帶回。

今天，「數(shù)字來(lái)世產(chǎn)業(yè)」已經(jīng)使得根據(jù)死者留下的數(shù)據(jù)重建死者成為可能。

比如Microsoft擁有一項(xiàng)專利，可以使用他們的社交數(shù)據(jù)創(chuàng)建特定人的對(duì)話聊天機(jī)器人。

這份長(zhǎng)達(dá)21頁(yè)的專利中，記錄了軟件和硬件系統(tǒng)的設(shè)計(jì)方式。這個(gè)想法是訓(xùn)練一個(gè)聊天機(jī)器人，使用文本或聽(tīng)覺(jué)作為輸入，聊天機(jī)器人會(huì)模擬特定人類的身份進(jìn)行對(duì)話。

五年多前，研究人員確定了一個(gè)由57家公司組成的數(shù)字來(lái)世行業(yè)。目前，此類公司包括：以親人的聲音提供互動(dòng)記憶的公司（HereAfter）；在用戶去世后向親人發(fā)送預(yù)定消息的公司（MyWishes）；

另外還有一家機(jī)器人公司，根據(jù)「她的記憶、感受和信仰」制作了一個(gè)已故女性的機(jī)器人半身像，該半身像繼續(xù)與人類交談，甚至上了大學(xué)課程（Hanson Robotics）。

對(duì)此，作為旁觀者，可以是興奮、可以是畏懼，或者只是聳聳肩。但生活于這個(gè)時(shí)代的每個(gè)人，都肯定會(huì)留下數(shù)字痕跡。

英偉達(dá)成功的秘訣

在過(guò)去的10年里，英偉達(dá)成功地將其芯片在AI任務(wù)上的性能提高了一千倍，我們來(lái)看一下其中有哪些優(yōu)化。

圖片

量化

在P100之前，Nvidia GPU使用單精度浮點(diǎn)數(shù)字表示模型權(quán)重，但機(jī)器學(xué)習(xí)研究人員很快了解到，在許多計(jì)算中，他們可以使用不太精確的數(shù)字，神經(jīng)網(wǎng)絡(luò)仍然會(huì)得出同樣準(zhǔn)確的答案。

這樣做的明顯優(yōu)勢(shì)是，如果機(jī)器學(xué)習(xí)的關(guān)鍵計(jì)算（乘法和累加）需要處理更少的比特，則可以使執(zhí)行機(jī)器學(xué)習(xí)關(guān)鍵計(jì)算的邏輯更快、更小、更高效。

因此，在P100中，英偉達(dá)使用FP16的數(shù)據(jù)格式。

快進(jìn)到今天，英偉達(dá)領(lǐng)先的GPU H100可以使用8位的數(shù)據(jù)格式來(lái)執(zhí)行大規(guī)模神經(jīng)網(wǎng)絡(luò)的某些部分。

圖片

不過(guò)這并不是一個(gè)放之四海而皆準(zhǔn)的解決方案。所以英偉達(dá)的Hopper GPU架構(gòu)實(shí)際上使用兩種不同的FP8格式進(jìn)行計(jì)算，一種精度略高，另一種范圍略高。

復(fù)雜指令

獲取和解碼指令的開銷是執(zhí)行簡(jiǎn)單算術(shù)運(yùn)算的很多倍，所以GPU采取在單個(gè)指令中執(zhí)行大量計(jì)算的方式。

稀疏

經(jīng)過(guò)訓(xùn)練后，神經(jīng)網(wǎng)絡(luò)中有許多神經(jīng)元可能一開始就不存在。對(duì)于某些網(wǎng)絡(luò)，你可以修剪掉一半或更多的神經(jīng)元，而不會(huì)失去準(zhǔn)確性。

使這些網(wǎng)絡(luò)「稀疏」以減少計(jì)算負(fù)載是一項(xiàng)棘手的工作。但是在H100的前身A100中，英偉達(dá)引入了所謂的結(jié)構(gòu)化稀疏性。

硬件可以強(qiáng)制每四個(gè)可能的修剪事件中的兩個(gè)發(fā)生，從而使矩陣計(jì)算變小。

參考資料：

https://spectrum.ieee.org/ai-news-2023