[[428679]]

特斯拉、谷歌、微軟、Facebook 等科技巨頭有很多共同點(diǎn)，其中之一是：它們每天都會(huì)運(yùn)行數(shù)十億次 Transformer 模型預(yù)測(cè)。比如，Transformer 在特斯拉 AutoPilot 自動(dòng)駕駛系統(tǒng)中驅(qū)動(dòng)汽車(chē)、在 Gmail 中補(bǔ)全句子、在 Facebook 上及時(shí)翻譯用戶的帖子以及在 Bing 中回答用戶的自然語(yǔ)言查詢。

Transformer 在機(jī)器學(xué)習(xí)模型的準(zhǔn)確率方面帶來(lái)了巨大提升，風(fēng)靡 NLP 領(lǐng)域，并正在擴(kuò)展到其它模態(tài)上（例如，語(yǔ)音和視覺(jué)）。然而，對(duì)于任何一個(gè)機(jī)器學(xué)習(xí)工程團(tuán)隊(duì)來(lái)說(shuō)，將這些大模型應(yīng)用于工業(yè)生產(chǎn)，使它們大規(guī)?？焖龠\(yùn)行都是一個(gè)巨大的挑戰(zhàn)。

如果沒(méi)有像上述企業(yè)一樣聘用數(shù)百名技藝高超的機(jī)器學(xué)習(xí)工程師，應(yīng)該怎么應(yīng)用這樣的大規(guī)模模型呢？近日，Hugging Face 開(kāi)源了一個(gè)新的程序包「Optimum」，旨在為 Transformer 的工業(yè)生產(chǎn)提供最佳的工具包，使得可以在特定的硬件上以最高的效率訓(xùn)練和運(yùn)行模型。

項(xiàng)目地址：https://github.com/huggingface/blog/blob/master/hardware-partners-program.md

Optimum 使 Transformer 實(shí)現(xiàn)高效工作

為了在訓(xùn)練和服務(wù)模型過(guò)程中得到最佳性能，模型加速技術(shù)需要與目標(biāo)硬件兼容。每個(gè)硬件平臺(tái)都提供了特定的軟件工具、特性和調(diào)節(jié)方式，它們都會(huì)對(duì)性能產(chǎn)生巨大影響。同樣地，為了利用稀疏化、量化等先進(jìn)的模型加速技術(shù)，優(yōu)化后的內(nèi)核需要與硅上的操作兼容，并特定用于根據(jù)模型架構(gòu)派生的神經(jīng)網(wǎng)絡(luò)圖。深入思考這個(gè)三維的兼容性矩陣以及如何使用模型加速庫(kù)是一項(xiàng)艱巨的工作，很少有機(jī)器學(xué)習(xí)工程師擁有這方面的經(jīng)驗(yàn)。

Optimum 的推出正是為了「簡(jiǎn)化這一工作，提供面向高效人工智能硬件的性能優(yōu)化工具，與硬件合作者合作，賦予機(jī)器學(xué)習(xí)工程師對(duì)其機(jī)器學(xué)習(xí)的優(yōu)化能力?！?/p>

通過(guò) Transformer 程序包，研究人員和工程師可以更容易地使用最先進(jìn)的模型，無(wú)需考慮框架、架構(gòu)、工作流程的復(fù)雜性；工程師們還可以輕松地利用所有可用硬件的特性，無(wú)需考慮硬件平臺(tái)上模型加速的復(fù)雜性。

Optimum 實(shí)戰(zhàn)：如何在英特爾至強(qiáng) CPU 上進(jìn)行模型量化

量化為何如此重要卻又難以實(shí)現(xiàn)？

BERT 這種預(yù)訓(xùn)練語(yǔ)言模型在各種各樣的 NLP 任務(wù)上取得了目前最佳的性能，而 ViT、SpeechText 等其它基于 Transformer 的模型分別在計(jì)算機(jī)視覺(jué)和語(yǔ)音任務(wù)上也實(shí)現(xiàn)了最優(yōu)的效果。Transformer 在機(jī)器學(xué)習(xí)世界中無(wú)處不在，會(huì)一直存在下去。

然而，由于需要大量的算力，將基于 Transformer 的模型應(yīng)用于工業(yè)生產(chǎn)很困難，開(kāi)銷(xiāo)巨大。有許多技術(shù)試圖解決這一問(wèn)題，其中最流行的方法是量化?？上У氖牵诖蠖鄶?shù)情況下，模型量化需要大量的工作，原因如下：

首先，需要對(duì)模型進(jìn)行編輯。具體地，我們需要將一些操作替換為其量化后的形式，并插入一些新的操作（量化和去量化節(jié)點(diǎn)），其它操作需要適應(yīng)權(quán)值和激活值被量化的情況。

例如，PyTorch 是在動(dòng)態(tài)圖模式下工作的，因此這部分非常耗時(shí)，這意味著需要將上述修改添加到模型實(shí)現(xiàn)本身中。PyTorch 現(xiàn)在提供了名為「torch.fx」的工具，使用戶可以在不改變模型實(shí)現(xiàn)的情況下對(duì)模型進(jìn)行變換，但是當(dāng)模型不支持跟蹤時(shí)，就很難使用該工具。在此基礎(chǔ)之上，用戶還需要找到模型需要被編輯的部分，考慮哪些操作有可用的量化內(nèi)核版本等問(wèn)題。

其次，將模型編輯好后，需要對(duì)許多參數(shù)進(jìn)行選擇，從而找到最佳的量化設(shè)定，需要考慮以下三個(gè)問(wèn)題：

• 應(yīng)該使用怎樣的觀測(cè)方式進(jìn)行范圍校正？
• 應(yīng)該使用哪種量化方案？
• 目標(biāo)設(shè)備支持哪些與量化相關(guān)的數(shù)據(jù)類(lèi)型（int8、uint8、int16）？

再次，平衡量化和可接受的準(zhǔn)確率損失。

最后，從目標(biāo)設(shè)備導(dǎo)出量化模型。

盡管 PyTorch 和 TensorFlow 在簡(jiǎn)化量化方面取得了很大的進(jìn)展，但是基于 Transformer 的模型十分復(fù)雜，難以在不付出大量努力的情況下使用現(xiàn)成的工具讓模型工作起來(lái)。

英特爾的量化神器：Neural Compressor

Neural Compressor 架構(gòu)示意圖。地址：https://github.com/intel/neural-compressor

英特爾開(kāi)源的 Python 程序庫(kù) Neural Compressor（曾用名「低精度優(yōu)化工具」——LPOT）用于幫助用戶部署低精度的推理解決方案，它通過(guò)用于深度學(xué)習(xí)模型的低精度方法實(shí)現(xiàn)最優(yōu)的生產(chǎn)目標(biāo)，例如：推理性能和內(nèi)存使用。

Neural Compressor 支持訓(xùn)練后量化、量化的訓(xùn)練以及動(dòng)態(tài)量化。為了指定量子化方法、目標(biāo)和性能評(píng)測(cè)標(biāo)準(zhǔn)，用戶需要提供指定調(diào)優(yōu)參數(shù)的配置 yaml 文件。配置文件既可以托管在 Hugging Face 的 Model Hub 上，也可以通過(guò)本地文件夾路徑給出。

使用 Optimum 在英特爾至強(qiáng) CPU 上輕松實(shí)現(xiàn) Transformer 量化

實(shí)現(xiàn)代碼如下：

踏上 ML 生產(chǎn)性能下放的大眾化之路

SOTA 硬件

Optimum 重點(diǎn)關(guān)注在專(zhuān)用硬件上實(shí)現(xiàn)最優(yōu)的生產(chǎn)性能，其中軟件和硬件加速技術(shù)可以被用來(lái)實(shí)現(xiàn)效率最大化。Optimum 團(tuán)隊(duì)將與硬件合作伙伴協(xié)作，從而賦能、測(cè)試和維護(hù)加速技術(shù)，將其以一種簡(jiǎn)單易用的方式交互。該團(tuán)隊(duì)近期將宣布新的硬件合作者，與其一同實(shí)現(xiàn)高效機(jī)器學(xué)習(xí)。

SOTA 模型

Optimum 團(tuán)隊(duì)將與硬件合作伙伴研究針對(duì)特定硬件的優(yōu)化模型設(shè)置和組件，成果將在 Hugging Face 模型上向人工智能社區(qū)發(fā)布。該團(tuán)隊(duì)希望 Optimum 和針對(duì)特定硬件優(yōu)化的模型可以提升生產(chǎn)流程中的效率，它們?cè)跈C(jī)器學(xué)習(xí)消耗的總能量中占很大的比例。最重要的是，該團(tuán)隊(duì)希望 Optimum 促進(jìn)普通人對(duì)大規(guī)模 Transformer 的應(yīng)用。