隨著機(jī)器學(xué)習(xí)實(shí)驗(yàn)變得越來越復(fù)雜，它們的碳足跡正在膨脹?，F(xiàn)在，研究人員已經(jīng)計(jì)算了在不同地點(diǎn)的云計(jì)算數(shù)據(jù)中心訓(xùn)練一系列模型的碳成本1。他們的發(fā)現(xiàn)可以幫助研究人員減少依賴人工智能 (AI) 的工作所產(chǎn)生的排放。

研究小組發(fā)現(xiàn)，不同地理位置的排放存在顯著差異。華盛頓西雅圖艾倫人工智能研究所(Allen Institute For AI)機(jī)器學(xué)習(xí)研究員、該研究的共同負(fù)責(zé)人杰西·道奇(Jesse Dodge)表示，在同樣的人工智能實(shí)驗(yàn)中，“效率最高的地區(qū)產(chǎn)生的排放約為效率最低的地區(qū)的三分之一”。

賓夕法尼亞州匹茲堡卡內(nèi)基梅隆大學(xué)的機(jī)器學(xué)習(xí)研究員、氣候變化 AI 組織的聯(lián)合創(chuàng)始人 Priya Donti 表示，到目前為止，還沒有任何好的工具可以測量基于云的人工智能產(chǎn)生的排放量。

“這是偉大的工作，有助于就如何管理機(jī)器學(xué)習(xí)工作負(fù)載以減少排放進(jìn)行重要對話，”她說。

位置很重要

Dodge 和他的合作者(包括來自微軟的研究人員)在訓(xùn)練 11 種常見 AI 模型的同時(shí)監(jiān)控電力消耗，從支持谷歌翻譯的語言模型到自動標(biāo)記圖像的視覺算法。他們將這些數(shù)據(jù)與為 16 臺 Microsoft Azure 云計(jì)算服務(wù)器供電的電網(wǎng)排放量如何隨時(shí)間變化的估計(jì)值結(jié)合在一起，以計(jì)算一系列地點(diǎn)的訓(xùn)練能耗。

由于全球電源的變化以及需求的波動，不同地點(diǎn)的設(shè)施具有不同的碳足跡。該團(tuán)隊(duì)發(fā)現(xiàn)，在美國中部或德國的數(shù)據(jù)中心訓(xùn)練 BERT(一種常見的機(jī)器學(xué)習(xí)語言模型)會排放 22-28 公斤的二氧化碳，具體取決于一年中的時(shí)間。這是在挪威進(jìn)行相同實(shí)驗(yàn)產(chǎn)生的排放量的兩倍多，挪威的大部分電力來自水力發(fā)電，而法國主要依賴核能。

每天進(jìn)行實(shí)驗(yàn)的時(shí)間也很重要。例如，道奇說，在華盛頓的夜間訓(xùn)練人工智能，當(dāng)該州的電力來自水力發(fā)電時(shí)，比在白天訓(xùn)練人工智能的排放量更低，因?yàn)榘滋斓碾娏σ瞾碜匀細(xì)庹?。他上個月在首爾舉行的公平、問責(zé)和透明計(jì)算機(jī)器協(xié)會會議上展示了這一結(jié)果。

人工智能模型的排放量也有很大差異。圖像分類器 DenseNet 產(chǎn)生了與給手機(jī)充電相同的 CO 2排放量，同時(shí)訓(xùn)練了一種稱為 Transformer 的中型語言模型(它比研究公司 OpenAI 制造的流行語言模型 GPT-3 小得多)在加利福尼亞州舊金山產(chǎn)生的排放量與典型的美國家庭一年產(chǎn)生的排放量大致相同。此外，該團(tuán)隊(duì)只進(jìn)行了 Transformer訓(xùn)練過程的 13%;道奇說，完全訓(xùn)練它會產(chǎn)生“相當(dāng)于燃燒一整輛裝滿煤的軌道車的數(shù)量級”的排放量。

他補(bǔ)充說，排放數(shù)據(jù)也被低估了，因?yàn)樗鼈儾话ㄖT如用于數(shù)據(jù)中心開銷的電力或用于創(chuàng)建必要硬件的排放等因素。Donti 說，理想情況下，這些數(shù)字還應(yīng)包括誤差線，以說明給定時(shí)間電網(wǎng)排放的重大潛在不確定性。

更環(huán)保的選擇

在其他因素相同的情況下，道奇希望這項(xiàng)研究可以幫助科學(xué)家選擇用于實(shí)驗(yàn)的數(shù)據(jù)中心，以最大限度地減少排放。他說，“事實(shí)證明，這個決定是該學(xué)科中人們可以做的最有影響力的事情之一”。由于這項(xiàng)工作，微軟現(xiàn)在正在向使用其 Azure 服務(wù)的研究人員提供有關(guān)其硬件電力消耗的信息。

英國布里斯托大學(xué)研究數(shù)字技術(shù)對環(huán)境可持續(xù)性影響的克里斯·普雷斯特(Chris Preist)表示，減少排放的責(zé)任應(yīng)該由云提供商而不是研究人員承擔(dān)。他說，供應(yīng)商可以確保在任何時(shí)候，碳強(qiáng)度最低的數(shù)據(jù)中心使用最多。Donti 補(bǔ)充說，他們還可以采用靈活的策略，允許機(jī)器學(xué)習(xí)運(yùn)行在減少排放的時(shí)候啟動和停止。

道奇表示，進(jìn)行最大規(guī)模實(shí)驗(yàn)的科技公司應(yīng)該對排放的透明度以及盡量減少或抵消排放承擔(dān)最大的責(zé)任。他指出，機(jī)器學(xué)習(xí)并不總是對環(huán)境有害。它可以幫助設(shè)計(jì)高效材料、模擬氣候以及追蹤森林砍伐和瀕危物種。盡管如此，人工智能日益增長的碳足跡正成為一些科學(xué)家關(guān)注的主要原因。道奇說，盡管一些研究小組正在致力于追蹤碳排放量，但透明度“尚未發(fā)展成為社區(qū)規(guī)范”。

“這項(xiàng)工作的重點(diǎn)是試圖讓這個主題變得透明，因?yàn)楝F(xiàn)在嚴(yán)重缺失，”他說。

參考文獻(xiàn)：

1.Dodge, J. et al. Preprint at https://arxiv.org/abs/2206.05229 (2022)。