近日，人工智能國(guó)際頂會(huì)AAAI 2023公布評(píng)選結(jié)果。新加坡國(guó)立大學(xué)（NUS）與字節(jié)跳動(dòng)機(jī)器學(xué)習(xí)團(tuán)隊(duì)(AML)合作的CowClip技術(shù)論文入圍杰出論文（Distinguished Papers）。CowClip是一項(xiàng)模型訓(xùn)練優(yōu)化策略，可以在保證模型精度的前提下，實(shí)現(xiàn)在單張GPU上的模型訓(xùn)練速度提升72倍，相關(guān)代碼現(xiàn)已開源。?

論文地址：https://arxiv.org/abs/2204.06240?

開源地址：https://github.com/bytedance/LargeBatchCTR?

AAAI是由國(guó)際人工智能促進(jìn)協(xié)會(huì)主辦的年會(huì)，是人工智能領(lǐng)域中歷史最悠久的頂級(jí)學(xué)術(shù)會(huì)議之一。AAAI 2023共收到8777篇論文投稿，其中1721篇論文被錄用，錄用率為19.6%。牛津大學(xué)計(jì)算機(jī)科學(xué)系獲得此次大會(huì)的最高獎(jiǎng)項(xiàng)（Outstanding Paper Award），北大等機(jī)構(gòu)合作論文則獲得學(xué)生論文獎(jiǎng)（Outstanding Student Paper）。此外，大會(huì)還評(píng)選出12篇杰出論文（Distinguished Papers），內(nèi)容涵蓋模型訓(xùn)練策略優(yōu)化、圖神經(jīng)網(wǎng)絡(luò)優(yōu)化、神經(jīng)架構(gòu)搜索等多個(gè)方向。?

如何提升模型訓(xùn)練速度是機(jī)器學(xué)習(xí)領(lǐng)域永恒的課題。自從谷歌在2018年提出首個(gè)預(yù)訓(xùn)練大模型BERT，大模型訓(xùn)練逐漸成為深度學(xué)習(xí)領(lǐng)域的潮流和趨勢(shì)。然而，模型體量越來(lái)越大也意味著一次完整的訓(xùn)練要花費(fèi)大量的時(shí)間和計(jì)算成本。根據(jù)此前谷歌發(fā)布的信息，訓(xùn)練110億參數(shù)的 T5（谷歌 2019 年推出的預(yù)訓(xùn)練模型）變體時(shí)，單次運(yùn)行成本超過(guò)130萬(wàn)美元。?

入選杰出論文的CowClip模型訓(xùn)練優(yōu)化策略，通過(guò)保障更大批量大小（batch size）的模型精度，可以實(shí)現(xiàn)更加充分的GPU性能挖掘，達(dá)到提高訓(xùn)練速度的目的。實(shí)驗(yàn)顯示，利用 CowClip 訓(xùn)練的模型比其它方法不僅精度更高，訓(xùn)練速度也大幅提升，在單張GPU上訓(xùn)練Deep FM模型可以針對(duì)公開數(shù)據(jù)集的數(shù)據(jù)，將訓(xùn)練時(shí)間從12小時(shí)壓縮至10分鐘，一次性將模型訓(xùn)練速度提升72倍。?

憑借高效的計(jì)算和更加精準(zhǔn)的分析與決策能力，人工智能技術(shù)正越來(lái)越廣泛地應(yīng)用到醫(yī)療、金融、制造、教育和電商等領(lǐng)域，而模型訓(xùn)練的精度和效率將持續(xù)成為影響人工智能產(chǎn)業(yè)發(fā)展的關(guān)鍵因素。?

據(jù)介紹，字節(jié)跳動(dòng)機(jī)器學(xué)習(xí)團(tuán)隊(duì)（AML）已將CowClip的核心技術(shù)在公司部分業(yè)務(wù)中落地實(shí)踐。該團(tuán)隊(duì)為公司提供機(jī)器學(xué)習(xí)中臺(tái)服務(wù)，包括為今日頭條、抖音、西瓜視頻等產(chǎn)品的推薦、廣告、搜索等業(yè)務(wù)場(chǎng)景提供大規(guī)模訓(xùn)練系統(tǒng)和推理系統(tǒng)，并通過(guò)火山引擎向企業(yè)客戶提供簡(jiǎn)單易用、穩(wěn)定可靠的機(jī)器學(xué)習(xí)平臺(tái)。?