在算力緊缺的背景下，如何提升大模型訓(xùn)練和推理的效率，并降低成本，成為業(yè)界關(guān)注的焦點(diǎn)。

11月23日，騰訊披露，騰訊混元大模型背后的自研機(jī)器學(xué)習(xí)框架Angel再次升級(jí)，大模型訓(xùn)練效率提升至主流開(kāi)源框架的2.6倍，千億級(jí)大模型訓(xùn)練可節(jié)省50%算力成本。升級(jí)后的Angel支持單任務(wù)萬(wàn)卡級(jí)別超大規(guī)模訓(xùn)練，進(jìn)一步提升騰訊云HCC大模型專(zhuān)屬算力集群的性能和效率。

同時(shí)，Angel還提供了從模型研發(fā)到應(yīng)用落地的一站式平臺(tái)，支持用戶通過(guò)API接口或精調(diào)等方式快速調(diào)用騰訊混元大模型能力，加速大模型應(yīng)用構(gòu)建，騰訊會(huì)議、騰訊新聞、騰訊視頻等超過(guò)300個(gè)騰訊產(chǎn)品及場(chǎng)景均已接入騰訊混元內(nèi)測(cè)。

目前，相關(guān)能力已通過(guò)騰訊云對(duì)外開(kāi)放?；谏?jí)后的Angel機(jī)器學(xué)習(xí)框架，騰訊云TI平臺(tái)可提供更優(yōu)的訓(xùn)練和推理加速能力，并支持客戶用自己的數(shù)據(jù)一站式訓(xùn)練精調(diào)，基于騰訊混元大模型打造專(zhuān)屬智能應(yīng)用。

自研機(jī)器學(xué)習(xí)框架升級(jí)，大模型訓(xùn)練推理效率再提升

隨著大模型時(shí)代到來(lái)，模型參數(shù)呈指數(shù)級(jí)增長(zhǎng)，達(dá)到萬(wàn)億級(jí)別。大模型逐漸從支持單一模態(tài)和任務(wù)發(fā)展為支持多種模態(tài)下的多種任務(wù)。在這種趨勢(shì)下，大模型訓(xùn)練所需算力巨大，遠(yuǎn)超單個(gè)芯片的處理速度，而多卡分布式訓(xùn)練通信損耗巨大。如何提高硬件資源利用率，成為影響國(guó)產(chǎn)大模型技術(shù)發(fā)展和實(shí)用性的重要前提。

面向大模型訓(xùn)練，騰訊自研了機(jī)器學(xué)習(xí)訓(xùn)練框架AngelPTM，針對(duì)預(yù)訓(xùn)練、模型精調(diào)和強(qiáng)化學(xué)習(xí)等全流程進(jìn)行加速和優(yōu)化。AngelPTM采用最新的FP8混合精度訓(xùn)練技術(shù)，結(jié)合深度優(yōu)化后的4D并行和ZeROCache機(jī)制優(yōu)化存儲(chǔ)，可兼容適配多款國(guó)產(chǎn)化硬件，能夠以更少的資源和更快的速度訓(xùn)練更大的模型。

2023年4月，騰訊云面向大模型而生的新一代HCC高性能計(jì)算集群正式發(fā)布，性能較前代提升3倍。除了硬件的升級(jí)，針對(duì)大模型訓(xùn)練場(chǎng)景，HCC對(duì)網(wǎng)絡(luò)協(xié)議、通信策略、AI框架、模型編譯等進(jìn)行系統(tǒng)級(jí)優(yōu)化，大幅節(jié)約訓(xùn)練調(diào)優(yōu)和算力成本。此前AngelPTM就已經(jīng)通過(guò)HCC對(duì)外提供服務(wù)，本次Angel機(jī)器學(xué)習(xí)框架升級(jí)，也將進(jìn)一步提升HCC大模型專(zhuān)屬算力集群的性能，助力企業(yè)加速大模型落地。

模型參數(shù)的增大不僅給訓(xùn)練帶來(lái)了挑戰(zhàn)，還導(dǎo)致了推理成本的不斷上升。為解決這一問(wèn)題，騰訊自研的大模型推理框架AngelHCF通過(guò)擴(kuò)展并行能力、采用多種Attention優(yōu)化策略等方式對(duì)性能進(jìn)行了提升。同時(shí)，框架還適配了多種壓縮算法，以提高吞吐能力，從而實(shí)現(xiàn)更快的推理性能和更低的成本，支持大型模型推理服務(wù)。

相較于業(yè)界主流框架，AngelHCF的推理速度提高了1.3倍。在騰訊混元大模型文生圖的應(yīng)用中，推理耗時(shí)從原本的10秒縮短至3至4秒。此外，AngelHCF還支持多種靈活的大模型壓縮和量化策略，支持自動(dòng)壓縮。

一站式應(yīng)用構(gòu)建，讓大模型“開(kāi)箱即用”

作為實(shí)用級(jí)大模型，騰訊混元大模型從研發(fā)之初就面向應(yīng)用場(chǎng)景而生，在實(shí)踐中解決大模型落地難點(diǎn)。騰訊產(chǎn)品及應(yīng)用種類(lèi)多、流量大，讓模型真正“用起來(lái)”挑戰(zhàn)很大。基于Angel，騰訊構(gòu)建了大模型接入和應(yīng)用開(kāi)發(fā)的一站式平臺(tái)，包含數(shù)據(jù)處理、精調(diào)、模型評(píng)估、一鍵部署以及提示詞調(diào)優(yōu)等服務(wù)，讓大模型的“開(kāi)箱即用”成為可能。

模型接入層面，騰訊混元大模型提供千億、百億、十億多個(gè)尺寸的模型，充分適配各類(lèi)應(yīng)用場(chǎng)景的需求，只需要經(jīng)過(guò)簡(jiǎn)單微調(diào)就能達(dá)到滿足業(yè)務(wù)需求的效果，同時(shí)降低模型訓(xùn)練和推理服務(wù)的資源成本，在問(wèn)答、內(nèi)容分類(lèi)等常見(jiàn)應(yīng)用場(chǎng)景中具有更高的性價(jià)比。

應(yīng)用開(kāi)發(fā)層面，騰訊內(nèi)部已有超過(guò)300項(xiàng)業(yè)務(wù)和應(yīng)用場(chǎng)景接入騰訊混元大模型內(nèi)測(cè)，相比上個(gè)月數(shù)量翻了一倍，覆蓋文本總結(jié)、摘要、創(chuàng)作、翻譯、代碼等多個(gè)領(lǐng)域。

2023年9月，騰訊自研的實(shí)用級(jí)大模型騰訊混元正式亮相并通過(guò)騰訊云開(kāi)放。騰訊混元擁有超千億參數(shù)規(guī)模，預(yù)訓(xùn)練語(yǔ)料超 2 萬(wàn)億 tokens，聚合了騰訊在預(yù)訓(xùn)練算法、機(jī)器學(xué)習(xí)平臺(tái)和底層算力資源多個(gè)層面的自研技術(shù)積累，并在應(yīng)用中持續(xù)迭代，不斷優(yōu)化大模型能力。目前，已有來(lái)自零售、教育、金融、醫(yī)療、傳媒、交通、政務(wù)等多個(gè)行業(yè)的客戶，通過(guò)騰訊云接入騰訊混元大模型。