ACM SIGKDD（國際數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)大會(huì)，KDD） 會(huì)議始于 1989 年，是數(shù)據(jù)挖掘領(lǐng)域歷史最悠久、規(guī)模最大的國際頂級(jí)學(xué)術(shù)會(huì)議，也是首個(gè)引入大數(shù)據(jù)、數(shù)據(jù)科學(xué)、預(yù)測(cè)分析、眾包等概念的會(huì)議。

今年的 KDD 大會(huì)是第 30 屆，8 月 25 日 - 29 日在西班牙巴塞羅那召開，最佳論文獎(jiǎng)、時(shí)間檢驗(yàn)獎(jiǎng)、杰出博士論文獎(jiǎng)等獎(jiǎng)項(xiàng)也逐一揭曉。

其中有多位華人研究者獲獎(jiǎng)，孟瑜的《Efficient and Effective Learning of Text Representations》獲得了 KDD 2024 杰出博士論文獎(jiǎng)，最佳論文獎(jiǎng)（研究方向）頒給了六位華人學(xué)者參與的《CAT: Interpretable Concept-based Taylor Additive Models》，最佳學(xué)生論文（研究方向）頒給了中國科學(xué)技術(shù)大學(xué)、華為合作的《Dataset Regeneration for Sequential Recommendation》。KDD 2024 最佳論文獎(jiǎng)（應(yīng)用數(shù)據(jù)科學(xué)方向）由領(lǐng)英獲得，此外，大會(huì)還頒發(fā)了兩項(xiàng)時(shí)間檢驗(yàn)獎(jiǎng)。

杰出博士論文獎(jiǎng)

KDD 2024 杰出博士論文獎(jiǎng)?lì)C發(fā)給了《Efficient and Effective Learning of Text Representations》，作者是弗吉尼亞大學(xué)助理教授孟瑜（Yu Meng ）。

孟瑜于 2024 年加入弗吉尼亞大學(xué) (UVA) 計(jì)算機(jī)科學(xué) (CS) 系，擔(dān)任助理教授（tenure-track）。此前，他獲得了伊利諾伊大學(xué)厄巴納 - 香檳分校 (UIUC) 的博士學(xué)位，與韓家煒教授一起工作。他還曾在普林斯頓 NLP 小組擔(dān)任訪問研究員，與陳丹琦一起工作。

論文摘要：文本表示學(xué)習(xí)在廣泛的自然語言處理 (NLP) 任務(wù)中發(fā)揮了關(guān)鍵作用。這些表示通常是通過深度神經(jīng)網(wǎng)絡(luò)將原始文本轉(zhuǎn)換為向量獲得的。LLM 的最新進(jìn)展已經(jīng)證明了學(xué)習(xí)通用文本表示的巨大潛力，可適用于廣泛的應(yīng)用。這一成功由兩個(gè)關(guān)鍵因素支撐：

• 在預(yù)訓(xùn)練和微調(diào)中使用廣泛的文本數(shù)據(jù)來訓(xùn)練 LLM；
• LLM 的規(guī)?？蓴U(kuò)展到包含數(shù)百億甚至數(shù)千億個(gè)參數(shù)。

因此，訓(xùn)練 LLM 需要大量成本，包括獲取大量帶標(biāo)簽的數(shù)據(jù)以及支持這些大型模型所需的基礎(chǔ)設(shè)施。在這些挑戰(zhàn)的基礎(chǔ)上，本文旨在開發(fā)高效且有效的文本表示學(xué)習(xí)方法，涉及以下關(guān)鍵內(nèi)容：

利用球面空間進(jìn)行文本表示學(xué)習(xí)。表示空間的傳統(tǒng)選擇是歐幾里得空間，但非歐幾里得球面空間在通過方向相似性捕捉語義相關(guān)性的研究方面表現(xiàn)出卓越的能力。本文的工作重點(diǎn)是利用球面表示空間進(jìn)行文本表示學(xué)習(xí)的自監(jiān)督技術(shù)。

使用球面文本表示法發(fā)現(xiàn)主題結(jié)構(gòu)?；谠谇蛎婵臻g中學(xué)習(xí)到的文本表示法，本文開發(fā)了通過聯(lián)合建模主題和文本語義自動(dòng)從給定語料庫中發(fā)現(xiàn)主題結(jié)構(gòu)的方法。

使用 LLM 生成訓(xùn)練數(shù)據(jù)以實(shí)現(xiàn)自然語言理解 (NLU)。要在 NLU 任務(wù)上實(shí)現(xiàn)穩(wěn)健的性能，通常需要大量人工標(biāo)注的訓(xùn)練樣本來微調(diào)預(yù)訓(xùn)練的文本表示。為了減輕人工標(biāo)注的需求，本文開發(fā)了一種新范式，使用 LLM 作為訓(xùn)練數(shù)據(jù)生成器來取代人工標(biāo)注過程。

這些努力共同促進(jìn)了文本表征更高效、更有效的學(xué)習(xí)，解決了訓(xùn)練和使用 LLM 面臨的挑戰(zhàn)。

論文詳細(xì)內(nèi)容請(qǐng)參閱：

https://scholar.google.com/citations?view_op=view_citation&hl=en&user=S2-yZKcAAAAJ&cstart=20&pagesize=80&citation_for_view=S2-yZKcAAAAJ:_Qo2XoVZTnwC

杰出博士論文獎(jiǎng)（亞軍）

此次還有兩項(xiàng)研究獲得了本屆 KDD 的杰出博士論文獎(jiǎng)（亞軍）。

• 論文標(biāo)題：Make Knowledge Computable: Towards Differentiable Neural-Symbolic AI 
• 機(jī)構(gòu)：加利福尼亞大學(xué)
• 作者：Ziniu Hu
• 論文地址：https://escholarship.org/uc/item/3ft4t0nj

論文摘要：本論文探討了神經(jīng)人工智能系統(tǒng)與符號(hào)人工智能系統(tǒng)的交叉點(diǎn)。近年來的深度學(xué)習(xí)方法能夠記憶大量的世界知識(shí)，但在此基礎(chǔ)上進(jìn)行符號(hào)推理仍存在局限性；而符號(hào) AI 擅長(zhǎng)解決推理任務(wù)，但在適應(yīng)新知識(shí)方面效率較低。此前將兩者結(jié)合的研究主要集中在構(gòu)建基于解析的系統(tǒng)，這類系統(tǒng)需要大量的中間標(biāo)簽標(biāo)注，且難以擴(kuò)展。

作者的研究目標(biāo)是使神經(jīng)模型能夠以可微分的方式與符號(hào)推理模塊進(jìn)行交互，并實(shí)現(xiàn)無需中間標(biāo)簽的端到端訓(xùn)練的這種神經(jīng) - 符號(hào)模型。為實(shí)現(xiàn)這一愿景，作者開展了以下研究工作：

• 設(shè)計(jì)新型推理模塊：設(shè)計(jì)可微分的神經(jīng)模塊，能夠進(jìn)行符號(hào)推理，包括知識(shí)圖譜推理和復(fù)雜的邏輯推理。  
• 通過自監(jiān)督學(xué)習(xí)：從結(jié)構(gòu)化和符號(hào)知識(shí)庫中獲取自監(jiān)督信號(hào)來訓(xùn)練神經(jīng)模型，無需額外的標(biāo)注。  
• 跨領(lǐng)域泛化：神經(jīng) - 符號(hào)系統(tǒng)的模塊化設(shè)計(jì)天然有助于更好地進(jìn)行分布外、詞匯外、跨語言和跨類型的泛化。

• 論文標(biāo)題：Artificial Intelligence for Data-centric Surveillance and Forecasting of Epidemics
• 機(jī)構(gòu)：佐治亞理工學(xué)院
• 作者：Alexander Rodriguez
• 論文地址：https://repository.gatech.edu/entities/publication/aa292b79-26bb-4aec-a3f3-0fd87911ff74/full

論文摘要：對(duì)流行病的監(jiān)控和預(yù)測(cè)是政府官員、企業(yè)和公眾進(jìn)行決策和規(guī)劃的重要工具。盡管人們?cè)诶斫饧膊∪绾卧谌巳褐袀鞑シ矫嫒〉昧硕囗?xiàng)進(jìn)展，但從許多方面來看，人們對(duì)流行病傳播的理解仍處于初期階段。許多主要的挑戰(zhàn)源于復(fù)雜的動(dòng)態(tài)因素，如人員流動(dòng)模式、政策遵守情況，甚至數(shù)據(jù)收集程序的變化。隨著收集和處理新來源數(shù)據(jù)的努力，擁有許多變量的細(xì)粒度數(shù)據(jù)逐漸變得可用。然而，這些數(shù)據(jù)集很難通過傳統(tǒng)的數(shù)學(xué)流行病學(xué)和基于智能體的建模方法來利用。相反，流行病學(xué)中的 AI 方法面臨數(shù)據(jù)稀疏、分布變化和數(shù)據(jù)質(zhì)量差異的挑戰(zhàn)。

AI 技術(shù)在流行病學(xué)動(dòng)態(tài)方面也缺乏理解，可能會(huì)導(dǎo)致不切實(shí)際的預(yù)測(cè)。為了解決這些挑戰(zhàn)并向數(shù)據(jù)中心方法邁進(jìn)，本論文提出了幾個(gè)框架。具體來說，作者通過多個(gè)實(shí)例展示了將 AI 的數(shù)據(jù)驅(qū)動(dòng)表達(dá)能力引入流行病學(xué)，可以實(shí)現(xiàn)對(duì)流行病更為敏感和精準(zhǔn)的監(jiān)控與預(yù)測(cè)。

研究方向論文獎(jiǎng)

最佳論文

KDD 2024 最佳論文獎(jiǎng)（研究方向）頒給了《CAT: Interpretable Concept-based Taylor Additive Models》。

• 作者：Viet Duong, Qiong Wu, Zhengyi Zhou, Hongjue Zhao, Chenxiang Luo, Eric Zavesky, Huaxiu Yao, Huajie Shao
• 論文地址：https://arxiv.org/pdf/2406.17931
• 項(xiàng)目地址：https://github.com/vduong143/CAT-KDD-2024

論文摘要：作為一種新興的可解釋技術(shù)，廣義相加模型（Generalized Additive Models，GAMs）讓神經(jīng)網(wǎng)絡(luò)單獨(dú)學(xué)習(xí)每個(gè)特征的非線性函數(shù)，然后通過線性模型組合以進(jìn)行最終預(yù)測(cè)。盡管 GAM 可以在特征級(jí)別解釋深度神經(jīng)網(wǎng)絡(luò) (DNN)，但它們需要大量模型參數(shù)，并且容易過度擬合，從而難以訓(xùn)練和擴(kuò)展。

此外，對(duì)人類來說，在具有許多特征的現(xiàn)實(shí)數(shù)據(jù)集中，基于特征的解釋的可解釋性會(huì)降低。為了解決這些問題，最近的研究已轉(zhuǎn)向基于概念的可解釋方法。這些方法試圖將概念學(xué)習(xí)作為做出預(yù)測(cè)之前的中間步驟，并用人類可理解的概念來解釋預(yù)測(cè)。然而，這些方法需要領(lǐng)域?qū)＜矣孟嚓P(guān)名稱及其真實(shí)值廣泛地標(biāo)記概念。

基于此，該研究提出了一種可解釋的、基于概念的新型泰勒相加模型 ——CAT，以簡(jiǎn)化這個(gè)過程。CAT 不需要領(lǐng)域?qū)＜襾碜⑨尭拍罴捌湔鎸?shí)值。相反，它只需要用戶簡(jiǎn)單地將輸入特征分類為廣泛的組，這可以通過快速元數(shù)據(jù)審查輕松完成。

具體來說，CAT 首先將每組輸入特征嵌入到一維高級(jí)概念表征中，然后將概念表征輸入到新的白盒泰勒神經(jīng)網(wǎng)絡(luò)（TaylorNet）中。 TaylorNet 旨在使用多項(xiàng)式學(xué)習(xí)輸入和輸出之間的非線性關(guān)系。多個(gè)基準(zhǔn)的評(píng)估結(jié)果表明，CAT 可以優(yōu)于基準(zhǔn)或與基準(zhǔn)競(jìng)爭(zhēng)，同時(shí)減少對(duì)大量模型參數(shù)的需求。重要的是，它可以通過高級(jí)概念有效地解釋模型預(yù)測(cè)。

最佳學(xué)生論文

KDD 2024 最佳學(xué)生論文（研究方向）頒給了《Dataset Regeneration for Sequential Recommendation》。

• 機(jī)構(gòu)：中國科學(xué)技術(shù)大學(xué)、華為
• 作者：Mingjia Yin, Hao Wang, Wei Guo, Yong Liu, Suojuan Zhang, Sirui Zhao, Defu Lian, Enhong Chen
• 論文地址：https://arxiv.org/pdf/2405.17795
• 項(xiàng)目鏈接：https://anonymous.4open.science/r/KDD2024-86EA

論文摘要：序列推薦系統(tǒng)（SR）是現(xiàn)代推薦系統(tǒng)中的關(guān)鍵組件，其目標(biāo)是捕捉用戶不斷變化的偏好。為了增強(qiáng) SR 系統(tǒng)的能力，已經(jīng)進(jìn)行了大量研究。這些方法通常遵循以模型為中心的范式，即基于固定數(shù)據(jù)集開發(fā)有效模型。然而，這種方法往往忽略了數(shù)據(jù)中潛在的質(zhì)量問題和缺陷?；跀?shù)據(jù)中心化 AI 的潛力，研究團(tuán)隊(duì)提出了一種新穎的數(shù)據(jù)中心化范式，利用名為 DR4SR 的模型無關(guān)數(shù)據(jù)集再生框架來開發(fā)理想的訓(xùn)練數(shù)據(jù)集。該框架能夠生成具有出色跨架構(gòu)泛化能力的數(shù)據(jù)集。此外，他們還引入了 DR4SR + 框架，它結(jié)合了模型感知的數(shù)據(jù)集定制功能，能夠?yàn)槟繕?biāo)模型專門定制再生的數(shù)據(jù)集。

為了驗(yàn)證數(shù)據(jù)中心化范式的有效性，研究團(tuán)隊(duì)將該框架與各種以模型為中心的方法結(jié)合，觀察到在四個(gè)廣泛使用的數(shù)據(jù)集上性能顯著提升。我們還進(jìn)行了深入分析，探索數(shù)據(jù)中心化范式的潛力，并提供了寶貴的見解。

應(yīng)用數(shù)據(jù)科學(xué)方向

最佳論文

KDD 2024 最佳論文（應(yīng)用數(shù)據(jù)科學(xué)方向）頒給了《LiGNN: Graph Neural Networks at LinkedIn》。

• 機(jī)構(gòu)：領(lǐng)英
• 作者：Fedor Borisyuk, Shihai He, Yunbo Ouyang, Morteza Ramezani, Peng Du, Xiaochen Hou, Chengming Jiang, Nitin Pasumarthy, Priya Bannur, Birjodh Tiwana, Ping Liu, Siddharth Dangi, Daqi Sun, Zhoutao Pei, Xiao Shi, Sirou Zhu, Kay Shen, Kuang-Hsuan Lee, David Stein, Baolei Li, Haichao Wei, Amol Ghoting, Souvik Ghosh
• 論文地址：https://arxiv.org/pdf/2402.11139

論文摘要：這篇論文介紹了已部署的大規(guī)模圖神經(jīng)網(wǎng)絡(luò)（GNNs）框架 LiGNN，并分享了領(lǐng)英開發(fā)和部署大規(guī)模 GNN 的經(jīng)驗(yàn)。論文提出了一系列算法改進(jìn)來提升 GNN 表示學(xué)習(xí)的質(zhì)量，包括具有長(zhǎng)期損失的時(shí)間圖架構(gòu)，通過圖密集化、ID 嵌入和 multi-hop 相鄰采樣實(shí)現(xiàn)的有效冷啟動(dòng)解決方案。

具體來說，論文介紹了如何通過自適應(yīng)相鄰采樣、訓(xùn)練數(shù)據(jù) batch 的分組和切片、專用共享內(nèi)存隊(duì)列和局部梯度優(yōu)化，在 LinkedIn 圖上構(gòu)建大規(guī)模訓(xùn)練，并將訓(xùn)練速度提高 7 倍。研究者總結(jié)了從 A/B 測(cè)試實(shí)驗(yàn)中收集到的部署經(jīng)驗(yàn)和教訓(xùn)。這項(xiàng)工作中介紹的技術(shù)幫助提高了約 1% 的工作應(yīng)用回聽率、2% 的廣告點(diǎn)擊率提升、0.5% 的日活用戶提升、0.2% 的會(huì)話提升和 0.1% 的每周活躍用戶數(shù)提升。這項(xiàng)工作有望為大規(guī)模應(yīng)用圖神經(jīng)網(wǎng)絡(luò)的工程師提供實(shí)用的解決方案和見解。

最佳論文亞軍

KDD 2024 最佳論文亞軍（應(yīng)用數(shù)據(jù)科學(xué)方向）頒給了《Nested Fusion: A Method for Learning High Resolution Latent Structure of Multi-Scale Measurement Data on Mars》。

• 機(jī)構(gòu)：佐治亞理工學(xué)院、加州理工學(xué)院
• 作者：Austin Wright, Duen Chau, Scott Davidoff
• 論文地址：https://dl.acm.org/doi/pdf/10.1145/3637528.3671596
• 項(xiàng)目鏈接：https://github.com/pixlise/NestedFusion.

論文摘要：火星探測(cè)車「毅力號(hào)」代表了火星測(cè)量精度的代際變化，然而這種精度的提高也為探索性數(shù)據(jù)分析技術(shù)帶來了新的挑戰(zhàn)。探測(cè)車上的多個(gè)儀器分別測(cè)量科學(xué)家感興趣的特定屬性，因此分析底層現(xiàn)象如何共同影響多個(gè)不同的儀器，對(duì)于全面了解數(shù)據(jù)至關(guān)重要。然而，每個(gè)儀器的分辨率各不相同，使得不同數(shù)據(jù)層的映射變得復(fù)雜。

這項(xiàng)研究提出了 Nested Fusion 方法，該方法能夠結(jié)合不同分辨率的任意分層數(shù)據(jù)集，并在可能的最高分辨率下生成潛在分布，編碼不同測(cè)量和尺度之間的復(fù)雜相互關(guān)系。

該方法能夠?qū)Υ笮蛿?shù)據(jù)集高效處理，甚至可以對(duì)未見過的數(shù)據(jù)進(jìn)行推理，并在真實(shí)的火星探測(cè)車數(shù)據(jù)上，超越了現(xiàn)有的降維和潛在分析方法。他們已在 NASA 噴氣推進(jìn)實(shí)驗(yàn)室（JPL）內(nèi)的火星科學(xué)團(tuán)隊(duì)中部署了 Nested Fusion 方法，并且通過多輪參與式設(shè)計(jì)，大大提升了科學(xué)家的探索性分析工作流程。

時(shí)間檢驗(yàn)獎(jiǎng)

大會(huì)還評(píng)出了兩項(xiàng)時(shí)間檢驗(yàn)獎(jiǎng)。

KDD 2024 時(shí)間檢驗(yàn)獎(jiǎng)（研究方向）頒給了《DeepWalk: online learning of social representations》。

• 機(jī)構(gòu)：紐約州立大學(xué)石溪分校
• 作者：Brian Perozzi, Rami Al-Rfou, Steven Skiena
• 論文鏈接：https://arxiv.org/pdf/1403.6652
• 項(xiàng)目鏈接：https://github.com/phanein/deepwalk

論文摘要：這篇論文介紹了研究團(tuán)隊(duì)所提出的一種用于學(xué)習(xí)網(wǎng)絡(luò)中頂點(diǎn)隱層表示的新方法 ——「DeepWalk」。這些隱層表示將社會(huì)關(guān)系編碼在連續(xù)的向量空間中，統(tǒng)計(jì)模型則可以輕松利用這些表示。

DeepWalk 將語言建模和無監(jiān)督特征學(xué)習(xí)（或深度學(xué)習(xí)）從詞序列推廣到了圖結(jié)構(gòu)。DeepWalk 通過截?cái)嚯S機(jī)游走獲取局部信息，并將游走等同視為句子，從而學(xué)習(xí)隱層表示。他們?cè)诙鄠€(gè)社交網(wǎng)絡(luò)的多標(biāo)簽網(wǎng)絡(luò)分類任務(wù)中展示了 DeepWalk 的隱層表示，例如 BlogCatalog、Flickr 和 YouTube。

結(jié)果表明，DeepWalk 在有缺失信息的情況下，表現(xiàn)優(yōu)于能夠看到全局網(wǎng)絡(luò)視圖的其他強(qiáng)大基線方法。特別是在標(biāo)注數(shù)據(jù)稀缺的情況下，DeepWalk 的表示可以將分?jǐn)?shù)提高最多 10%。在某些實(shí)驗(yàn)中，DeepWalk 使用少于 60% 的訓(xùn)練數(shù)據(jù)時(shí)，仍能超越所有基線方法。DeepWalk 具有可擴(kuò)展性，它是一種在線學(xué)習(xí)算法，能夠構(gòu)建有用的增量結(jié)果，且易于并行化。這些特性使其適用于廣泛的實(shí)際應(yīng)用場(chǎng)景，如網(wǎng)絡(luò)分類和異常檢測(cè)。

KDD 2024 時(shí)間檢驗(yàn)獎(jiǎng)（應(yīng)用數(shù)據(jù)科學(xué)方向）頒給了《U-Air: when urban air quality inference meets big data》。

• 機(jī)構(gòu)：微軟亞洲研究院
• 作者：Yu Zheng, Furui Liu, Hsun-Ping Hsieh
• 論文鏈接：http://chbrown.github.io/kdd-2013-usb/kdd/p1436.pdf

論文摘要：這篇論文介紹了研究團(tuán)隊(duì)所提出的一種基于協(xié)同訓(xùn)練框架的半監(jiān)督學(xué)習(xí)方法。關(guān)于城市空氣質(zhì)量的信息（例如 PM2.5 的濃度），對(duì)于保護(hù)人類健康和控制空氣污染至關(guān)重要。然而，城市中空氣質(zhì)量監(jiān)測(cè)站的數(shù)量有限，并且空氣質(zhì)量在城市空間中又呈現(xiàn)非線性變化，并受多種因素的影響，例如氣象、交通流量和土地利用等。在本文中，研究團(tuán)隊(duì)基于現(xiàn)有監(jiān)測(cè)站報(bào)告的（歷史和實(shí)時(shí)）空氣質(zhì)量數(shù)據(jù)，以及在城市中觀察到的各種數(shù)據(jù)來源（如氣象、交通流量、人員流動(dòng)、道路網(wǎng)絡(luò)結(jié)構(gòu)和興趣點(diǎn) POIs），推斷整個(gè)城市的實(shí)時(shí)、細(xì)粒度的空氣質(zhì)量信息。

他們提出了一種基于協(xié)同訓(xùn)練框架的半監(jiān)督學(xué)習(xí)方法，該框架包含兩個(gè)獨(dú)立的分類器。一個(gè)是基于人工神經(jīng)網(wǎng)絡(luò)（ANN）的空間分類器，它將空間相關(guān)特征（如 POI 的密度和高速公路的長(zhǎng)度）作為輸入，以建模不同地點(diǎn)之間空氣質(zhì)量的空間相關(guān)性。另一個(gè)則是基于線性鏈條件隨機(jī)場(chǎng)（CRF）的時(shí)間分類器，使用時(shí)間相關(guān)特征（如交通和氣象）來建模一個(gè)地點(diǎn)空氣質(zhì)量的時(shí)間依賴性。

研究團(tuán)隊(duì)在北京和上海所獲取的五個(gè)真實(shí)數(shù)據(jù)源的基礎(chǔ)上進(jìn)行了廣泛的實(shí)驗(yàn)評(píng)估。結(jié)果表明，與四類基線方法（包括線性 / 高斯插值、經(jīng)典擴(kuò)散模型、決策樹和 CRF 等著名分類模型，以及 ANN）相比，他們所提出的基于協(xié)同訓(xùn)練框架的半監(jiān)督學(xué)習(xí)方法具有顯著優(yōu)勢(shì)。

更多信息，可參考大會(huì)官網(wǎng)：

https://kdd2024.kdd.org/awards/