本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

一直以來，Pytorch在Mac上僅支持使用CPU進(jìn)行訓(xùn)練。

就在剛剛，Pytorch官方宣布，其最新版v1.12可以支持GPU加速了。

只要是搭載了M1系列芯片的Mac都行。

這也就意味著在Mac本機(jī)用Pytorch“煉丹”會(huì)更方便了！

訓(xùn)練速度可提升約7倍

此功能由Pytorch與Apple的Metal工程團(tuán)隊(duì)合作推出。

它使用Apple的Metal Performance Shaders(MPS) 作為PyTorch的后端來啟用GPU加速訓(xùn)練。

為了優(yōu)化計(jì)算性能，MPS還針對(duì)Metal GPU系列的獨(dú)特特性對(duì)每個(gè)內(nèi)核進(jìn)行了微調(diào)。

Metal是一個(gè)類似OpenGL的框架，只不過OpenGL適用于各平臺(tái)的移動(dòng)端GPU渲染和計(jì)算，Metal專用于iOS/MacOS平臺(tái)，不過也兼顧了性能和易用性。

MPS就是一套基于Metal框架的庫，直接調(diào)用即可使用GPU的高性能進(jìn)行圖形處理、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)等工作。

蘋果官方在搭載了M1 Ultra、20核CPU、64核GPU、128GB RAM和2TB SSD的Mac Studio上進(jìn)行了測(cè)試。

（這陣容差不多能算是豪華配置了）。

他們分別訓(xùn)練了batch size為128的ResNet50、batch size為64的HuggingFace BERT，以及batch size=64的VGG16。

從下圖中我們可以發(fā)現(xiàn)，相比使用CPU加速，使用GPU可將模型訓(xùn)練速度提高約7倍，評(píng)估（evaluation）速度則最高能提約20倍。

看到這兒，有網(wǎng)友開始好奇它與搭載了Nvidia GPU的laptop相比性能如何。

有人表示，雖說目前M1的原始計(jì)算性能比不上英偉達(dá)的產(chǎn)品，但功耗方面還不錯(cuò)。未來蘋果很有可能慢慢追上性能。

總的來說，Mac Studio現(xiàn)在看起來實(shí)在太香了。

他進(jìn)一步解釋道：

“畢竟它是你花4800美元就能買到的最便宜、包含128GB GPU內(nèi)存的機(jī)器?，F(xiàn)在有了基于GPU加速的PyTorch支持，完全可以用來訓(xùn)練大模型、配置大的batch size。

對(duì)于我所做的那種DL工作，數(shù)據(jù)加載比實(shí)際的原始計(jì)算能力更容易成為瓶頸?！?/span>

你心動(dòng)了嗎？

現(xiàn)在就試試？

只需保證你的macOS操作系統(tǒng)在12.3版本及以上，且安裝了arm64原生Python，然后去官網(wǎng)下載最新的Pytorch預(yù)覽版就可以了。

地址：
https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/