全球AI頂會(huì)AAAI 2025 在美開幕,產(chǎn)學(xué)研聯(lián)手的“中國隊(duì)”表現(xiàn)亮眼
當(dāng)?shù)貢r(shí)間2月25日,AAAI 2025 在美國賓夕法尼亞州費(fèi)城舉辦,會(huì)議為期8天,于3月4日結(jié)束。AAAI 由國際人工智能促進(jìn)協(xié)會(huì)主辦,是人工智能領(lǐng)域歷史最悠久、涵蓋內(nèi)容最廣泛的國際頂級學(xué)術(shù)會(huì)議之一,也是中國計(jì)算機(jī)學(xué)會(huì)(CCF)推薦的A類國際學(xué)術(shù)會(huì)議,每年舉辦一屆。AAAI 2025 共有12957篇有效投稿,錄用3032篇,錄取率為 23.4%。其中,Oral論文占比4.6%。
AAAI 2025 收錄了多篇來自中國高校和互聯(lián)網(wǎng)企業(yè)的技術(shù)論文。如廈門大學(xué)信息學(xué)院有32篇論文入選,研究方向涉及多模態(tài)、目標(biāo)檢測、自動(dòng)駕駛等領(lǐng)域。香港科技大學(xué)數(shù)據(jù)科學(xué)與分析學(xué)域有14篇論文入選,研究方向涉及大語言模型壓縮、微調(diào),監(jiān)督學(xué)習(xí),AI圖像處理等領(lǐng)域??焓钟?篇論文入選,研究方向涉及短視頻處理、視頻問答技術(shù)、推薦模型等。螞蟻集團(tuán)則有18篇論文入選,其中3篇入選Oral論文,研究領(lǐng)域涉及增強(qiáng)大模型隱私保護(hù)、提高推理速度與推理能力、提升大模型訓(xùn)練效率、降低模型幻覺等。
這些論文中,聚焦大模型的技術(shù)優(yōu)化和技術(shù)突破尤為引人關(guān)注。
大模型的快速及持續(xù)發(fā)展,離不開對模型所有權(quán)和數(shù)據(jù)隱私的保護(hù)。由螞蟻數(shù)科、浙江大學(xué)、利物浦大學(xué)和華東師范大學(xué)聯(lián)合完成的Oral論文《隱私-實(shí)用性可變的大模型跨域微調(diào)算法》提出了一種全新的跨域微調(diào)(offsite-tuning)框架ScaleOT。該框架可為模型隱私提供多種不同規(guī)模的有損壓縮的仿真器,還能促進(jìn)無損微調(diào)。實(shí)驗(yàn)表明,與基于知識(shí)蒸餾的方法相比,ScaleOT在多種模型上取得了12.5%的全量微調(diào)達(dá)成率提升。相較于知識(shí)蒸餾方法,ScaleOT還節(jié)省了90%的算力需求,為百億級參數(shù)模型的輕量化跨域微調(diào)提供可行方案。目前,該算法已融入螞蟻數(shù)科旗下的摩斯大模型隱私保護(hù)產(chǎn)品中,并成為國內(nèi)首批通過信通院大模型可信執(zhí)行環(huán)境產(chǎn)品專項(xiàng)測試的產(chǎn)品之一。
大語言模型的飛速發(fā)展,還打破了許多自然語言處理任務(wù)間的壁壘。對于知識(shí)圖譜而言,實(shí)體作為最基本的數(shù)據(jù)單元,往往需要多個(gè)自然語言詞元才能準(zhǔn)確描述,這導(dǎo)致知識(shí)圖譜與自然語言之間存在明顯的粒度不匹配。螞蟻集團(tuán)和浙江大學(xué)聯(lián)合實(shí)驗(yàn)室完成的另一篇Oral論文《K-ON:在大模型的輸出層堆疊知識(shí)圖譜知識(shí)》提出了一個(gè)叫K-ON的方法,其采用的多步Token預(yù)測機(jī)制不僅能一步生成對所有實(shí)體的評估結(jié)果,并且實(shí)現(xiàn)了適配語言模型的圖譜實(shí)體層級的對比學(xué)習(xí),這是知識(shí)圖譜表示學(xué)習(xí)中最有力的工具之一。實(shí)驗(yàn)結(jié)果表明,K-ON不僅優(yōu)于傳統(tǒng)方法,而且在性能上也超過了那些利用額外文本和視覺信息的多模態(tài)方法。此外,與傳統(tǒng)方法相比,K-ON的訓(xùn)練輪數(shù)從1000輪減少到了5輪。在DB15K數(shù)據(jù)集上使用8張A100顯卡可以在1小時(shí)內(nèi)完成訓(xùn)練。
記者發(fā)現(xiàn),近年來,全球AI頂級會(huì)議上的“中國隊(duì)”越來越活躍。中國科學(xué)技術(shù)信息研究所《中國科技論文統(tǒng)計(jì)報(bào)告 2024》顯示,中國熱點(diǎn)論文數(shù)世界第一(48.4%),高被引論文數(shù)世界第二(33.8%),以及計(jì)算機(jī)科學(xué)等 7 個(gè)學(xué)科論文被引次數(shù)世界第一。
“中國隊(duì)”中,互聯(lián)網(wǎng)企業(yè)和科技企業(yè)等“隊(duì)友”的表現(xiàn)引人注目。斯坦福 AIIndex2024 總結(jié)的十大趨勢顯示,當(dāng)下,工業(yè)界正在主導(dǎo)人工智能前沿研究。
中國的互聯(lián)網(wǎng)企業(yè)和科技公司,如今亦已成長為不容忽視的中國科研力量,期待由產(chǎn)學(xué)研聯(lián)手的“中國隊(duì)”,繼續(xù)在全球前沿科技舞臺(tái)上斬獲佳績。