?譯者 | 李睿

審校 | 重樓  

51CTO讀者成長(zhǎng)計(jì)劃社群招募，咨詢小助手（微信號(hào)：TTalkxiaozhuli）

PyTorch不僅用于研究，還用于生產(chǎn)目的，每天有數(shù)十億個(gè)請(qǐng)求得到服務(wù)和訓(xùn)練。

PyTorch社區(qū)最近取得了顯著的進(jìn)步。PyTorch的貢獻(xiàn)者在去年還為GPT等Transformer模型引入了BetterTransformer推理優(yōu)化，這顯著地提高了這些模型的性能。這個(gè)高度優(yōu)化的代碼集合專門設(shè)計(jì)用于加速生產(chǎn)工作負(fù)載中的Transformer模型，允許更準(zhǔn)確和有效的數(shù)據(jù)生成。這是一個(gè)令人興奮的發(fā)展，有可能很快給許多行業(yè)帶來(lái)革命性的變化。

生成式人工智能在從現(xiàn)有來(lái)源生成新數(shù)據(jù)方面的變革潛力已經(jīng)得到了廣泛認(rèn)可。人工智能領(lǐng)域最近的突破引發(fā)了人們對(duì)理解推動(dòng)這些進(jìn)步的潛在機(jī)制的興趣。為了進(jìn)一步了解，行業(yè)領(lǐng)先的人工智能專家為此對(duì)PyTorch是如何為生成式人工智能的發(fā)展鋪平道路進(jìn)行了分析和闡述。

1、硬件加速

在默認(rèn)情況下，PyTorch的發(fā)展速度已經(jīng)很快，但是隨著編譯器技術(shù)的引入，它的性能得到了進(jìn)一步增強(qiáng)。該技術(shù)通過(guò)融合操作、自動(dòng)調(diào)優(yōu)和優(yōu)化程序，在可用的硬件上盡可能快地運(yùn)行，從而實(shí)現(xiàn)了更快的模型訓(xùn)練和服務(wù)，與以前版本的軟件相比，其性能得到了顯著提高。

PyTorch 2.0堆棧的核心Dynamo和Inductor分別獲取一個(gè)程序并對(duì)其進(jìn)行優(yōu)化，使其在現(xiàn)有的硬件上盡可能快地運(yùn)行。Lightning AI公司首席技術(shù)官、PyTorch撰稿人Luca Antiga評(píng)論說(shuō)，“這是通過(guò)融合操作實(shí)現(xiàn)的，這樣計(jì)算就可以飽和，而不會(huì)受到內(nèi)存訪問(wèn)和自動(dòng)調(diào)優(yōu)的阻礙，專用內(nèi)核就可以在運(yùn)行時(shí)進(jìn)行優(yōu)化，以實(shí)現(xiàn)最大性能。訓(xùn)練和推理都可以獲得高達(dá)40%的增益，這是一個(gè)非常重要的發(fā)展。此前，PyTorch擁有優(yōu)化程序的技術(shù)，但它要求用戶調(diào)整代碼以使其工作，并禁止某些操作，例如調(diào)用其他Python庫(kù)。另一方面，PyTorch 2.0將在所有這些情況下發(fā)揮作用，報(bào)告在這一過(guò)程中可以優(yōu)化和不能優(yōu)化的內(nèi)容。”

PyTorch現(xiàn)在支持多種不同的后端和計(jì)算設(shè)備，使其成為最通用的深度學(xué)習(xí)框架之一。這也使得使用PyTorch構(gòu)建的模型比以往任何時(shí)候都更容易部署到生產(chǎn)中，包括通過(guò)ROCm在AMD GPU上部署。Private AI公司首席技術(shù)官Pieter Luitjens表示：“這對(duì)模型開(kāi)發(fā)很有幫助，但最好使用不同的框架來(lái)進(jìn)行生產(chǎn)。這是PyTorch開(kāi)發(fā)人員自己推薦的，因此，PyTorch為FasterTransformer等軟件包提供了強(qiáng)大的支持，F(xiàn)asterTransform是英偉達(dá)公司創(chuàng)建的一個(gè)推理引擎，大多數(shù)大型科技公司都使用它來(lái)運(yùn)行GPT等模型?！?/p>

2、研究人員考慮采用PyTorch

自從2018年推出并取代TensorFlow以來(lái)，PyTorch已經(jīng)顯示出了它的靈活性。

當(dāng)時(shí)，它都是用于卷積神經(jīng)網(wǎng)絡(luò)，而現(xiàn)在PyTorch被用于完全不同類型的模型，例如當(dāng)時(shí)不存在的穩(wěn)定擴(kuò)散。Pieter反思說(shuō)，“在我看來(lái)，PyTorch已經(jīng)成為生成人工智能的首選工具，因?yàn)樗鼘Ｗ⒂趧?dòng)態(tài)執(zhí)行，使研究人員易于使用原型，并且能夠輕松擴(kuò)展到數(shù)千個(gè)GPU。沒(méi)有比GPTNeo和BLOOM最近的開(kāi)源語(yǔ)言模型更好的例子了，如果沒(méi)有PyTorch，這是不可能的。GPTNeo背后的團(tuán)隊(duì)特別呼吁，需要將PyTorch作為一個(gè)推動(dòng)者。”

研究人員越來(lái)越偏愛(ài)PyTorch。然而，同樣明顯的是，與PyTorch不同的是，TensorFlow是為工業(yè)用途量身定制的，擁有大量的可定制功能和支持用例，例如JVM兼容性和在線服務(wù)。Abnormal Security公司機(jī)器學(xué)習(xí)主管Dan Shiebler說(shuō)，“這使得企業(yè)更容易在生產(chǎn)中使用TensorFlow，并將TensorFlow用例擴(kuò)展到數(shù)十億個(gè)用戶。然而，這種強(qiáng)大的功能使得TensorFlow更加僵化，更難以學(xué)習(xí)，也更難適應(yīng)全新的應(yīng)用。例如，TensorFlow對(duì)靜態(tài)圖的依賴使得可變長(zhǎng)度序列(生成式人工智能的核心組件)難以管理。因此，PyTorch被研究團(tuán)體更廣泛地使用。這就產(chǎn)生了飛輪效應(yīng)。PyTorch首先發(fā)布了新模型，這使得研究人員在擴(kuò)大先前的研究時(shí)從PyTorch開(kāi)始?！?/p>

3、為更加輕松簡(jiǎn)便而積極開(kāi)發(fā)

與其他框架相比，編寫PyTorch更像是編寫普通的Python。完全支持控制流、循環(huán)和其他操作，使代碼具有可讀性和表現(xiàn)力。此外，PyTorch的調(diào)試經(jīng)驗(yàn)是一流的；Pdb可以無(wú)縫地工作，允許逐步執(zhí)行程序，并在執(zhí)行過(guò)程中急切地執(zhí)行操作。Luca對(duì)此表示贊賞，他說(shuō)，“這種體驗(yàn)比使用其他框架要輕松得多，使用戶能夠快速迭代到一個(gè)工作模型。”

當(dāng)PyTorch與PyTorch Lightning或Lightning Fabric等項(xiàng)目結(jié)合在一起時(shí)，它真的很出色，這些項(xiàng)目通過(guò)抽象工程細(xì)節(jié)來(lái)補(bǔ)充它，并允許研究人員在不更改代碼的情況下將模型擴(kuò)展到數(shù)十億個(gè)參數(shù)和機(jī)器集群。PyTorch并沒(méi)有什么特別的缺點(diǎn)。也許像vmap這樣的高階導(dǎo)數(shù)和程序轉(zhuǎn)換，在functhorch中提供，但沒(méi)有達(dá)到JAX等其他項(xiàng)目的水平，對(duì)某些領(lǐng)域來(lái)說(shuō)可能是相關(guān)的限制，盡管對(duì)當(dāng)今的深度學(xué)習(xí)來(lái)說(shuō)，限制的不是那么多。

通過(guò)對(duì)PyTorch的貢獻(xiàn)，Luca肯定了當(dāng)今在人工智能和利用人工智能方面進(jìn)行的大多數(shù)研究都是在PyTorch中實(shí)現(xiàn)的，并且這一實(shí)現(xiàn)通常作為開(kāi)源共享。建立在彼此想法基礎(chǔ)上的能力是一種令人難以置信的強(qiáng)大動(dòng)力，創(chuàng)造了一種指數(shù)現(xiàn)象。

原文鏈接：https://dzone.com/articles/why-pytorch-generative-ai-gpt4