交通預(yù)測的目標(biāo)是準(zhǔn)確預(yù)測和分析城市未來的交通模式，這一過程需要同時(shí)考慮時(shí)間和空間因素。

然而，分布偏移的存在在這一領(lǐng)域構(gòu)成了一個(gè)重大挑戰(zhàn)，因?yàn)楝F(xiàn)有模型在面對與訓(xùn)練分布顯著不同的測試數(shù)據(jù)時(shí)，往往難以很好地泛化。

為了解決這個(gè)問題，華南理工大學(xué)、香港大學(xué)的研究人員提出了一個(gè)簡單而通用的時(shí)空提示調(diào)整框架FlashST，能夠使預(yù)訓(xùn)練模型適應(yīng)于不同下游數(shù)據(jù)集的特定特征，提高了其在多種預(yù)測場景中的泛化能力。

代碼地址: ??https://github.com/HKUDS/FlashST??

論文地址: ??https://arxiv.org/abs/2405.17898??

具體來說，所提出的的FlashST框架采用了一個(gè)輕量級的時(shí)空提示網(wǎng)絡(luò)進(jìn)行上下文學(xué)習(xí)，捕捉時(shí)空不變知識(shí)，并有效地適應(yīng)不同場景。

此外，文中還引入了一個(gè)分布映射機(jī)制，對齊預(yù)訓(xùn)練和下游數(shù)據(jù)的數(shù)據(jù)分布，促進(jìn)時(shí)空預(yù)測中有效的知識(shí)轉(zhuǎn)移。實(shí)驗(yàn)表明FlashST在不同類型城市交通數(shù)據(jù)集中的有效性。

概述

現(xiàn)有挑戰(zhàn)

盡管現(xiàn)有時(shí)空預(yù)測方法已顯示出其有效性，但大多數(shù)時(shí)空預(yù)測模型在面對不同下游數(shù)據(jù)集和任務(wù)中的分布變化時(shí)往往難以有效泛化。

其中，訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)之間分布不一致的假設(shè)成為了真實(shí)城市場景中準(zhǔn)確預(yù)測的障礙。如圖1所示，直接將從數(shù)據(jù)集A上學(xué)到的參數(shù)應(yīng)用于數(shù)據(jù)集B的測試，可能因不同數(shù)據(jù)分布間的時(shí)空特征顯著變化而導(dǎo)致性能不佳。

因此，有必要通過有效適應(yīng)這種分布變化來增強(qiáng)時(shí)空預(yù)測模型的泛化能力，設(shè)計(jì)適應(yīng)性方法存在以下難點(diǎn)：

（1）時(shí)空上下文信息有效提?。?nbsp;有效地從下游任務(wù)中提取特定的復(fù)雜時(shí)空上下文信息是至關(guān)重要的。然而，賦予預(yù)訓(xùn)練模型快速理解并整合僅在測試期間可訪問的新領(lǐng)域數(shù)據(jù)的空間和時(shí)間特性的能力是一個(gè)巨大的挑戰(zhàn)。

（2）彌合訓(xùn)練和測試數(shù)據(jù)的分布差距： 訓(xùn)練和測試數(shù)據(jù)集之間經(jīng)常存在顯著的分布差距，尤其是當(dāng)它們來自不同的時(shí)空場景和領(lǐng)域時(shí)。通過使模型適應(yīng)框架能夠有效地彌合分布差距并捕獲時(shí)空不變特征，從而增強(qiáng)模型適應(yīng)性是至關(guān)重要的。

圖1：FlashST背后的動(dòng)機(jī)：左圖展示了不同交通數(shù)據(jù)集中數(shù)據(jù)分布的多樣性，而右圖顯示了端到端模型的參數(shù)對訓(xùn)練集A過度擬合，未能泛化到測試集B

本文貢獻(xiàn)

（1）本文提出了一個(gè)時(shí)空上下文提取機(jī)制來解決挑戰(zhàn)1，該機(jī)制能夠捕獲來自未見數(shù)據(jù)的上下文信號(hào)，有助于適應(yīng)多種時(shí)空場景。

（2）本文引入了一個(gè)統(tǒng)一的分布映射機(jī)制來增強(qiáng)FlashST框架，該機(jī)制彌合了預(yù)訓(xùn)練與下游任務(wù)之間的分布差距。通過正則化提示嵌入來對齊數(shù)據(jù)分布，促進(jìn)從預(yù)訓(xùn)練到下游時(shí)空預(yù)測任務(wù)的有效知識(shí)轉(zhuǎn)移。

方法

圖2: FlashST 整體框架

時(shí)空上下文學(xué)習(xí)

時(shí)空上下文學(xué)習(xí)框架通過一個(gè)時(shí)空提示網(wǎng)絡(luò)實(shí)現(xiàn)，該網(wǎng)絡(luò)包含兩個(gè)主要組成部分：

（1）時(shí)空上下文提取機(jī)制：高效捕捉感知時(shí)間和位置的未見數(shù)據(jù)中的上下文信號(hào)。

通過這種方式，它使模型能夠從數(shù)據(jù)的特定上下文中學(xué)習(xí)，有助于有效地適應(yīng)各種時(shí)空場景。

（2）時(shí)空依賴性建模：將時(shí)間和地點(diǎn)之間的復(fù)雜關(guān)系納入到上下文時(shí)空網(wǎng)絡(luò)中。通過捕捉和建模這些依賴性，網(wǎng)絡(luò)能夠有效地理解不同時(shí)空元素之間的相互依賴和交互。

時(shí)空上下文蒸餾

（1）時(shí)空數(shù)據(jù)映射。 本文采用Z-Score和線性層初始化時(shí)空表征，其中線性層用于對時(shí)間維度特征進(jìn)行轉(zhuǎn)換。時(shí)空初始化表征表示為Er, f ，其中r和f分別表示第r個(gè)區(qū)域的f個(gè)特征。

（2）時(shí)間上下文整合。 為了從多樣化的城市數(shù)據(jù)中捕獲動(dòng)態(tài)和周期性的時(shí)空模式，我們在我們的提示網(wǎng)絡(luò)中引入了時(shí)間感知的上下文。這種上下文基于多分辨率時(shí)間特征，具體包括一天中的某個(gè)時(shí)刻z^(d), 和一周中的某一天z^(w)。

時(shí)間上下文信號(hào)提取過程如下：

（3）空間上下文整合。 為了增強(qiáng)提示網(wǎng)絡(luò)與區(qū)域?qū)傩韵嚓P(guān)的地理上下文信息，我們將城市道路網(wǎng)絡(luò)結(jié)構(gòu)作為反映空間上下文的編碼特征。這一過程首先是構(gòu)建標(biāo)準(zhǔn)化的拉普拉斯矩陣：

其中I、D 和 A 分別代表單位矩陣、度矩陣和鄰接矩陣。鄰接矩陣是通過考慮區(qū)域之間的距離和道路結(jié)構(gòu)來計(jì)算的。

由于拉普拉斯特征向量有效地在歐幾里得空間中保留全局圖結(jié)構(gòu)信息，我們執(zhí)行特征值分解以得到△=UΛU^T。提取出特征值矩陣Λ和相應(yīng)的特征向量矩陣U后，通過將U投影以獲得dr 個(gè)最小的非平凡特征向量，得出結(jié)構(gòu)感知的節(jié)點(diǎn)屬性

由于C在訓(xùn)練集和測試集特征空間中的潛在差異，使用MLP來映射這些特征，以增強(qiáng)網(wǎng)絡(luò)對空間上下文的泛化能力。

隨后，我們使用拼接操作整合上述嵌入以獲得初始的時(shí)空嵌入：

時(shí)空依賴建模

（1）時(shí)間依賴編碼器。 為捕獲不同時(shí)間段間的依賴性并保留時(shí)間演變的數(shù)據(jù)模式，我們引入了一個(gè)輕量級的門控機(jī)制，如下：

其中 

和 

為可訓(xùn)練參數(shù)。

編碼后的時(shí)間嵌入表示為 

。嵌入

圖片

 包含了關(guān)于時(shí)間動(dòng)態(tài)和區(qū)域特征的重要上下文信息，這對于時(shí)間依賴編碼器至關(guān)重要。這些豐富的信息使我們的上下文學(xué)習(xí)能夠有效地識(shí)別不同區(qū)域和時(shí)間間隔中時(shí)空模式的變化，從而有助于精確建模時(shí)間相關(guān)性。

（2）空間依賴編碼器。 我們采用基于圖卷積網(wǎng)絡(luò)的消息傳遞來編碼區(qū)域間關(guān)聯(lián)，形式化如下：

其中A表示鄰接矩陣，

表示可訓(xùn)練參數(shù)。

殘差網(wǎng)絡(luò)用于減輕多層圖神經(jīng)網(wǎng)絡(luò)（GNN）可能導(dǎo)致的過度平滑現(xiàn)象。通過堆疊多層時(shí)空編碼器，提示網(wǎng)絡(luò)生成了富有時(shí)空語義的表征Epro

統(tǒng)一分布映射機(jī)制

為了彌合預(yù)訓(xùn)練和下游任務(wù)中多樣化未見數(shù)據(jù)之間的分布差距，我們通過加入分布映射機(jī)制來增強(qiáng) FlashST。此機(jī)制的目標(biāo)是將預(yù)訓(xùn)練數(shù)據(jù)和下游數(shù)據(jù)都轉(zhuǎn)換到一個(gè)共享的分布空間中。這種數(shù)據(jù)分布的對齊使得知識(shí)能夠無縫轉(zhuǎn)移，確保從預(yù)訓(xùn)練階段獲得的知識(shí)能夠有效地應(yīng)用于下游的時(shí)空上下文。

為實(shí)現(xiàn)這一目標(biāo)，F(xiàn)lashST 采用標(biāo)準(zhǔn)化提示嵌入以確保在多樣的下游數(shù)據(jù)集中保持一致的分布。

我們從對比學(xué)習(xí)的多項(xiàng)工作中汲取靈感，通過引入基于 infoNCE 的損失函數(shù)來規(guī)范提示網(wǎng)絡(luò)的表示生成。

該損失函數(shù)旨在使正樣本對的表示更加接近，同時(shí)將負(fù)樣本對的表示推開。通過利用無需額外標(biāo)注的自監(jiān)督學(xué)習(xí)，優(yōu)化 infoNCE 損失有助于實(shí)現(xiàn)更均勻的嵌入分布。

相關(guān)研究表明，僅通過這一損失，幾乎可以實(shí)現(xiàn)完全均勻的分布。在此基礎(chǔ)上，我們使用 infoNCE 損失來調(diào)整學(xué)習(xí)到的時(shí)空提示嵌入

的分布：

其中，余弦相似度函數(shù) cos?(?) 用于衡量嵌入之間的相似度，溫度系數(shù)τ 用于調(diào)整 softmax 的比率。

FlashST 通過增加不同區(qū)域?qū)?yīng)嵌入之間的分離程度來增強(qiáng)提示嵌入的均勻性。這種改進(jìn)使得下游模型能夠有效地利用提供的提示

，以便在新數(shù)據(jù)和任務(wù)中快速泛化。

預(yù)訓(xùn)練和下游任務(wù)提示范式

在預(yù)訓(xùn)練階段，我們使用專用的預(yù)訓(xùn)練數(shù)據(jù)集來訓(xùn)練和優(yōu)化所有參數(shù)。在提示微調(diào)階段，我們通過在未見過的數(shù)據(jù)集上進(jìn)行有限的訓(xùn)練周期來專門更新提示網(wǎng)絡(luò)的參數(shù)。這使得下游模型能夠快速地適應(yīng)新數(shù)據(jù)。

所提出的FlashST框架與模型無關(guān)，允許與各種現(xiàn)有的時(shí)空預(yù)測基線作為下游模型無縫集成。

（1）預(yù)訓(xùn)練階段： 我們的目標(biāo)是基于預(yù)訓(xùn)練數(shù)據(jù)A的歷史時(shí)空記錄預(yù)測未來趨勢，并同時(shí)更新提示網(wǎng)絡(luò)和下游模型的參數(shù)，過程形式化如下：

（2）提示微調(diào)階段： 我們凍結(jié)了下游模型的參數(shù)并在測試數(shù)據(jù)集B中主要微調(diào)提示網(wǎng)絡(luò)，如下：

實(shí)驗(yàn)

總體表現(xiàn)

對比實(shí)驗(yàn)

對比實(shí)驗(yàn)結(jié)果如下表，結(jié)果顯示對比端到端時(shí)空模型，所提出的方法在多樣化城市數(shù)據(jù)預(yù)測場景中展示出了的顯著優(yōu)勢。這些發(fā)現(xiàn)有力地證明了 FlashST 在準(zhǔn)確捕捉城市數(shù)據(jù)中存在的復(fù)雜時(shí)空不變模式方面的有效性。

所提出的上下文學(xué)習(xí)范式在將這些獲得的知識(shí)轉(zhuǎn)移到適應(yīng)新的下游任務(wù)方面表現(xiàn)出色。通過有效處理分布差距，F(xiàn)lashST 彌合了預(yù)訓(xùn)練模型與實(shí)際遇到的特定預(yù)測場景之間的語義差距。

表1：FlashST對比實(shí)驗(yàn)

模型無關(guān)&模型微調(diào)

（1）模型無關(guān)優(yōu)勢

所提出模型的一個(gè)顯著優(yōu)點(diǎn)是模型無關(guān)，即其能夠與各種現(xiàn)有時(shí)空基礎(chǔ)編碼器無縫集成，提供靈活性并避免了特定模型選擇的限制。

下表展示了所提出 FlashST 方法與四種最先進(jìn)的時(shí)空模型（即 STGCN、GWN、MTGNN、PDFormer）的輕松適配。評估結(jié)果突出了 FlashST 的多功能性，展示了其與出色時(shí)空模型結(jié)合時(shí)的卓越性能提升。與最先進(jìn)模型的成功整合進(jìn)一步增強(qiáng)了FlashST的適應(yīng)性和在多樣化城市數(shù)據(jù)場景中提高預(yù)測準(zhǔn)確性的能力。

（2）與模型微調(diào)的比較

為了進(jìn)一步展示框架的有效性，我們將提出的提示微調(diào)方法與全參數(shù)微調(diào)進(jìn)行了比較。"w/o Finetune" 方法指在預(yù)訓(xùn)練后直接對目標(biāo)數(shù)據(jù)集進(jìn)行預(yù)測，而不進(jìn)行任何微調(diào)。"w/ Finetune" 表示在預(yù)訓(xùn)練后使用全參數(shù)微調(diào)來適應(yīng)目標(biāo)數(shù)據(jù)。

然而，值得注意的是，與端到端預(yù)測結(jié)果相比，直接全參數(shù)微調(diào)的結(jié)果表明其可能未能從預(yù)訓(xùn)練過程中受益。在沒有有效對齊預(yù)訓(xùn)練模型與下游任務(wù)的情況下，可能引入噪聲，導(dǎo)致誤導(dǎo)性的微調(diào)和次優(yōu)的性能。

表2：模型無關(guān)&模型微調(diào)實(shí)驗(yàn)

模型效率評估

（1）訓(xùn)練時(shí)間

本節(jié)通過測量了三種不同場景的訓(xùn)練時(shí)間：端到端訓(xùn)練、完全微調(diào)和 FlashST 評估模型效率，如下表所示。對于端到端訓(xùn)練和完全微調(diào)，我們遵循現(xiàn)有基線的設(shè)置，將訓(xùn)練周期配置為100，提前停止標(biāo)準(zhǔn)設(shè)置為25個(gè)輪次。

FlashST提示調(diào)整的周期數(shù)限制為20，用于證明下游模型對新數(shù)據(jù)集的快速適應(yīng)。結(jié)果表明，相同的基線模型在端到端訓(xùn)練和全參數(shù)微調(diào)的效率是相似的。這兩種設(shè)置之間訓(xùn)練時(shí)間的差異主要源于不同初始化參數(shù)導(dǎo)致的收斂速度變化。

FlashST 框架顯著提高了計(jì)算效率，它將基線模型的訓(xùn)練時(shí)間減少了20%到80%，這顯著提高了它們適應(yīng)新時(shí)空數(shù)據(jù)的效率。

表3：不同模型計(jì)算時(shí)間統(tǒng)計(jì)（秒）

（2）更快地收斂速度

本節(jié)對 FlashST 在不同數(shù)據(jù)集上的收斂速度進(jìn)行了調(diào)查。下圖顯示了在使用 PEMS07(M) 和 CA-D5 數(shù)據(jù)集時(shí)，采用 MTGNN 作為下游模型的驗(yàn)證誤差下降趨勢。

結(jié)果表明，通過整合 FlashST 方法，下游模型在幾個(gè)調(diào)整周期內(nèi)就能實(shí)現(xiàn)收斂。相比之下，端到端訓(xùn)練和微調(diào)范式需要更多的訓(xùn)練輪次來適應(yīng)新數(shù)據(jù)。這一現(xiàn)象可以歸因于我們提出的時(shí)空提示網(wǎng)絡(luò)和數(shù)據(jù)映射策略的有效性。這些組件使得模型能夠結(jié)合預(yù)訓(xùn)練知識(shí)，利用新數(shù)據(jù)的時(shí)空特征，從而快速適應(yīng)多樣的時(shí)空場景。

圖3：FlashST收斂速度

消融實(shí)驗(yàn)

（1）時(shí)空上下文蒸餾的效用： 我們分別移除時(shí)間上下文信息（-TC）和空間上下文信息（-SC）。結(jié)果顯示，當(dāng)去除時(shí)空上下文后大多數(shù)指標(biāo)的性能顯著下降。這突出了在上下文學(xué)習(xí)過程中保留時(shí)間和空間上下文的關(guān)鍵重要性。有效地編碼時(shí)間信息和整合空間信息對于捕捉時(shí)空不變模式和增強(qiáng)模型對數(shù)據(jù)的理解至關(guān)重要。

（2）時(shí)空依賴建模的作用： 我們單獨(dú)刪除了時(shí)間編碼器（-TE）和空間編碼器（-SE）。結(jié)果表明，時(shí)空依賴編碼在上下文學(xué)習(xí)過程中有效整合不同時(shí)間段和地點(diǎn)之間復(fù)雜關(guān)系中發(fā)揮了至關(guān)重要的作用。包含時(shí)間和空間依賴編碼器使得模型能夠理解并利用時(shí)間與空間之間的復(fù)雜交互。這種能力有助于下游模型更快地適應(yīng)新的時(shí)空場景。

（3）統(tǒng)一分布映射機(jī)制的影響： 我們從兩個(gè)方面評估了統(tǒng)一分布映射策略的實(shí)用性。

i）-Uni，去除統(tǒng)一分布映射策略。性能的下降表明了該策略對模型的積極影響。通過將不同的時(shí)空數(shù)據(jù)嵌入映射到一個(gè)統(tǒng)一的分布中，F(xiàn)lashST 有效地減輕了預(yù)訓(xùn)練數(shù)據(jù)與未見時(shí)空數(shù)據(jù)之間分布差異的影響。

ii）r/BN。統(tǒng)一分布映射策略被批歸一化替換。批歸一化根據(jù)小批量的局部統(tǒng)計(jì)特性標(biāo)準(zhǔn)化數(shù)據(jù)，緩解了神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的內(nèi)部協(xié)變量偏移問題，從而提高了收斂效率。

然而，由于缺乏預(yù)訓(xùn)練數(shù)據(jù)與下游任務(wù)數(shù)據(jù)之間確立的聯(lián)系，下游模型難以有效地從預(yù)訓(xùn)練過程中轉(zhuǎn)移知識(shí)。所提出的策略確保模型能夠有效利用預(yù)訓(xùn)練階段獲得的知識(shí)。通過對齊不同數(shù)據(jù)源的分布，模型能夠更好地適應(yīng)新的時(shí)空場景并做出更準(zhǔn)確的預(yù)測。

圖4：FlashST消融實(shí)驗(yàn)

超參分析

本節(jié)研究了不同超參數(shù)設(shè)置的影響，特別是不同的溫度系數(shù)和損失權(quán)重系數(shù)對模型性能的影響。我們的發(fā)現(xiàn)表明，當(dāng)參數(shù)配置為τ=0.3和λ=1.0時(shí)，模型達(dá)到了最佳性能。

值得注意的是，這些參數(shù)的變化對最終結(jié)果的影響很小，突出了模型對不同參數(shù)設(shè)置的有效適應(yīng)性。即使特征尺度存在差異，模型也能學(xué)習(xí)到區(qū)分不同區(qū)域中嵌入特征的高效表示。

此外，模型的性能不會(huì)隨著統(tǒng)一性損失增加而產(chǎn)生較大波動(dòng)。這表明我們分布映射策略并不干擾預(yù)測損失。這進(jìn)一步支持了我們策略的可行性，并促進(jìn)了下游模型對新的時(shí)空環(huán)境的快速泛化。

圖5：關(guān)于τ和λ的模型超參實(shí)驗(yàn)

案例研究

為了評估我們提出的統(tǒng)一分布映射方法在將各種數(shù)據(jù)表示轉(zhuǎn)換為統(tǒng)一分布的有效性，我們對使用和未使用分布映射機(jī)制的提示嵌入進(jìn)行了可視化。

我們首先采用PCA技術(shù)將每個(gè)嵌入樣本的維度降至二維，隨后使用L2范數(shù)將降維后的嵌入投影到單位圓上，如下圖所示。可視化結(jié)果為統(tǒng)一分布映射策略有效地將提示嵌入轉(zhuǎn)換成近似的均勻分布提供了有力證據(jù)。

相比之下，缺乏這一策略的變體未能實(shí)現(xiàn)這種理想的分布屬性。通過將新的時(shí)空環(huán)境中的數(shù)據(jù)轉(zhuǎn)換為一致的分布，F(xiàn)lashST獲得了利用預(yù)訓(xùn)練知識(shí)并迅速適應(yīng)新數(shù)據(jù)集的能力，從而促進(jìn)了其在各種交通任務(wù)上的表現(xiàn)。

圖6：提示嵌入的分布可視化。

總結(jié)與展望

本文介紹了FlashST，用于將時(shí)空預(yù)測模型適應(yīng)于未見過數(shù)據(jù)的各種下游任務(wù)。所提出的上下文學(xué)習(xí)框架利用了一個(gè)時(shí)空提示網(wǎng)絡(luò)，該網(wǎng)絡(luò)包括了時(shí)空上下文提煉機(jī)制和時(shí)空依賴性建模方案。

框架通過捕捉上下文信號(hào)和建模時(shí)間及地點(diǎn)之間的復(fù)雜關(guān)系，有效地適應(yīng)不同的時(shí)空場景。

為了解決分布差異問題，我們通過整合一個(gè)分布映射機(jī)制來增強(qiáng)FlashST，該機(jī)制對齊了預(yù)訓(xùn)練數(shù)據(jù)和下游數(shù)據(jù)的數(shù)據(jù)分布，促進(jìn)了時(shí)空預(yù)測中有效的知識(shí)轉(zhuǎn)移。

廣泛的實(shí)驗(yàn)表明，我們的FlashST在多種下游時(shí)空預(yù)測場景中的有效性和泛化能力。未來的研究方向之一可能是探索在FlashST框架中整合大型語言模型作為知識(shí)指導(dǎo)的潛力。

本文轉(zhuǎn)自 新智元 ，作者：新智元

原文鏈接:??https://mp.weixin.qq.com/s/xQ7nAsmEGweksc-rqx5npw??