最近，在谷歌的I/O開(kāi)發(fā)者大會(huì)上，谷歌除了發(fā)布令人眼花繚亂的新手機(jī)、AR眼鏡和全家桶軟件升級(jí)之外， 還為全球的機(jī)器學(xué)習(xí)玩家?guī)?lái)了一發(fā)「重磅炸彈」。

一年前亮相的TPU v4，已經(jīng)正式部署在谷歌云機(jī)器學(xué)習(xí)集群上了。這件機(jī)器學(xué)習(xí)「大殺器」，已經(jīng)正式用在了Google Cloud最新機(jī)器學(xué)習(xí)集群的預(yù)覽版上。

谷歌表示，它將成為世界上最大的公開(kāi)機(jī)器學(xué)習(xí)中心。

目前，除了最新的Google Cloud預(yù)覽版外，谷歌其余SOTA級(jí)別的產(chǎn)品，比如搜索引擎、視頻網(wǎng)站Youtube等等，都應(yīng)用了TPU處理器（即張量處理單元）。

劃時(shí)代的TPU v4，碾壓v3

TPU v4是谷歌在去年的I/O大會(huì)上推出的芯片。

在當(dāng)時(shí)的開(kāi)發(fā)者大會(huì)上，谷歌CEO Sundar Pichai花了1分42秒的時(shí)間介紹了這款芯片。

TPU v4是谷歌的第四代定制AI芯片，其算力是上一版本v3的兩倍。性能相比前一代也提升了十倍多。

可以說(shuō)，TPU v4芯片給谷歌谷歌云平臺(tái)補(bǔ)上了十分關(guān)鍵的一環(huán)。機(jī)器學(xué)習(xí)的訓(xùn)練速度得以顯著提升。

量化來(lái)看，4096個(gè)v4 TPU，即一個(gè)pod的芯片，就可以提供超過(guò)一個(gè)exaflop（百億億浮點(diǎn)運(yùn)算）的AI計(jì)算能力。

可能上述數(shù)據(jù)還不夠直觀。對(duì)比來(lái)看，一個(gè)TPU pod的計(jì)算能力如果達(dá)到了每秒百億億次浮點(diǎn)計(jì)算的級(jí)別，相當(dāng)于一千萬(wàn)臺(tái)筆記本電腦之和。

以前要想獲得1個(gè)exaflop（每秒 10 的 18 次方浮點(diǎn)運(yùn)算）的算力，通常需要建立一個(gè)定制的超級(jí)計(jì)算機(jī)。

TPU是谷歌的第一批定制芯片之一，當(dāng)包括微軟在內(nèi)的其他公司決定為其機(jī)器學(xué)習(xí)服務(wù)采用更靈活的FPGA時(shí)，谷歌很早就在這些定制芯片上下了賭注。

谷歌早已部署了許多這樣的計(jì)算機(jī)，在他們的數(shù)據(jù)中心有幾十個(gè)TPU v4 pods。

此外，最重要的是，谷歌這些數(shù)據(jù)中心將以90%或接近90%的無(wú)碳能源運(yùn)行。

看來(lái)，TPU v4不光性能強(qiáng)大，還環(huán)保。

Google Cloud最新預(yù)覽版！

在最近的谷歌I/O開(kāi)發(fā)者大會(huì)上發(fā)布的Google Cloud最新機(jī)器學(xué)習(xí)集群的預(yù)覽版可謂是會(huì)上的一大亮點(diǎn)。

谷歌表示，「客戶對(duì)機(jī)器學(xué)習(xí)的容量、性能和規(guī)模的需求一直在快速增長(zhǎng)。為了支持AI的下一代基礎(chǔ)性進(jìn)步，我們推出了谷歌云機(jī)器學(xué)習(xí)集群。其中就包括預(yù)覽版的Cloud TPU v4 Pod?！?/span>

谷歌毫不客氣的表示，「這就是世界上最快、最高效和最可持續(xù)的機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施中心?！?/span>

在Cloud TPU v4 Pods的支持下，研究和開(kāi)發(fā)人員能夠訓(xùn)練日益復(fù)雜的模型，來(lái)支持諸多算法系統(tǒng)。

比如，NLP（大規(guī)模自然語(yǔ)言處理）、推薦系統(tǒng)和計(jì)算機(jī)視覺(jué)算法等等。

谷歌表示，在算力最高可達(dá)9 exaflops的峰值聚合性能下，Cloud TPU v4 Pods集群在算力方面是全世界最大的公開(kāi)可用的機(jī)器學(xué)習(xí)中心。

而且別忘了上面說(shuō)過(guò)的，不光算力強(qiáng)，還環(huán)保。

谷歌數(shù)據(jù)中心的Matt Eastwood表示，「我們最近對(duì)2000名IT從業(yè)者進(jìn)行了調(diào)查。我們發(fā)現(xiàn)，基礎(chǔ)設(shè)施算力不足往往是AI項(xiàng)目失敗的根本原因。」

「這也正是我們要推出Cloud TPU v4 Pods的原因。再加上我們能夠做到90%的操作由無(wú)碳能源提供動(dòng)力，說(shuō)明我們不光在拔高算力水平，還同時(shí)關(guān)注可持續(xù)性?！?/span>

這其實(shí)很好理解。哪怕算力再?gòu)?qiáng)，如果耗能過(guò)大，也不會(huì)是長(zhǎng)久之計(jì)。

既然聊到了可持續(xù)性，就再多說(shuō)點(diǎn)有關(guān)該集群對(duì)能源利用的高效性。

除了上述提到的清潔能源供應(yīng)外，谷歌數(shù)據(jù)中心的電源使用效率（PUE）等級(jí)為1.10。

而且，TPU v4芯片每瓦特最大功率的峰值Flop還是上一代的3倍。

在去年推出這款芯片的時(shí)候，谷歌就承諾會(huì)在去年年底前推廣。當(dāng)時(shí)，谷歌就給了一些AI巨頭使用許可，包括Cohere、LG AI研究中心、Meta、Salesforce等等。

谷歌表示，用戶很喜歡新款芯片的性能和可擴(kuò)展性，TPU v4的快速互連和優(yōu)化的軟件堆棧滿足了他們的需求?？蛻艨梢酝ㄟ^(guò)該芯片優(yōu)良的架構(gòu)構(gòu)建各自的交互發(fā)展環(huán)境。

并且，因?yàn)門(mén)PU v4的靈活性，這款芯片也能完美的契合到客戶使用的框架中，包括JAX、Pytorch、TensorFlow等等。

這些特點(diǎn)讓研究人員能不斷推動(dòng)AI的發(fā)展，訓(xùn)練大規(guī)模的SOTA機(jī)器學(xué)習(xí)模型。

幾年前谷歌還成立了TRC，即TPU Research Cloud項(xiàng)目，給機(jī)器學(xué)習(xí)的從業(yè)人員提供了極強(qiáng)的算力支持。

憑借谷歌推出的芯片架構(gòu)，開(kāi)發(fā)人員得以實(shí)現(xiàn)自己的各種奇思妙想。

比方說(shuō)，有人用AI寫(xiě)波斯語(yǔ)詩(shī)集，有人利用計(jì)算機(jī)視覺(jué)和行為遺傳學(xué)來(lái)研究睡眠和運(yùn)動(dòng)引起的疲勞的區(qū)別等等。

用AI寫(xiě)的波斯語(yǔ)詩(shī)篇

谷歌副總裁、人工智能研究中心的Jeff Dean表示，「Cloud TPU v4是一個(gè)里程碑式的產(chǎn)品。我們相信，有了它，未來(lái)我們可以和全球的機(jī)器學(xué)習(xí)開(kāi)發(fā)人員開(kāi)展更多合作，讓AI造福整個(gè)世界?！?/span>