時空預(yù)測技術(shù)致力于深入分析和預(yù)測動態(tài)的城市環(huán)境，它不僅關(guān)注時間的變化，也考慮空間的布局。這項技術(shù)的目標(biāo)是揭示城市生活中交通、人口遷移和犯罪率等各個方面的未來趨勢和模式。盡管許多研究集中于利用神經(jīng)網(wǎng)絡(luò)來提高時空數(shù)據(jù)預(yù)測的準(zhǔn)確性，但這些方法通常需要大量的訓(xùn)練數(shù)據(jù)來生成可靠的時空特征。

然而，在實際的城市監(jiān)測場景中，數(shù)據(jù)往往不足，特別是在某些情況下，收集有標(biāo)記的數(shù)據(jù)變得非常困難，這進一步加劇了挑戰(zhàn)。因此，開發(fā)一個能夠適應(yīng)不同時空背景并具備強大泛化能力的模型顯得尤為關(guān)鍵。

受到大型語言模型（LLMs）在多個領(lǐng)域的顯著進展的啟發(fā)，香港大學(xué)、華南理工大學(xué)等機構(gòu)的研究人員發(fā)布了一個全新的時空大語言模型UrbanGPGT，將時空依賴的編碼器和指令微調(diào)技術(shù)相結(jié)合，其目標(biāo)是開發(fā)一個能夠廣泛適用于城市任務(wù)的時空大型語言模型。

項目鏈接：https://urban-gpt.github.io/

代碼鏈接：https://github.com/HKUDS/UrbanGPT

論文鏈接：https://arxiv.org/abs/2403.00813

視頻展示：https://www.bilibili.com/video/BV18K421v7ut

這種結(jié)合使得模型能夠深入理解時間和空間的復(fù)雜關(guān)系，并在數(shù)據(jù)有限的情況下提供更全面和精確的預(yù)測。

為了測試這一方法的有效性，我們在多個公共數(shù)據(jù)集上進行了廣泛的實驗，這些實驗涉及多種時空預(yù)測任務(wù)。實驗結(jié)果一致顯示，UrbanGPT 在性能上始終超越了現(xiàn)有的頂尖模型。這些成果證明了在數(shù)據(jù)標(biāo)記較少的情況下，利用大型語言模型進行時空學(xué)習(xí)的巨大潛力。

概述

現(xiàn)有挑戰(zhàn)

C1. 標(biāo)簽數(shù)據(jù)的稀缺性與重新訓(xùn)練成本高昂：盡管現(xiàn)有的時空神經(jīng)網(wǎng)絡(luò)在預(yù)測準(zhǔn)確性方面表現(xiàn)出色，但它們對大量標(biāo)注數(shù)據(jù)的依賴性極大。

在實際的城市監(jiān)測環(huán)境中，數(shù)據(jù)的稀缺性是一個顯著的障礙。例如，考慮到成本問題，在整個城市范圍內(nèi)部署傳感器來監(jiān)測交通流量或空氣質(zhì)量是不現(xiàn)實的。此外，現(xiàn)有的模型在面對新的地區(qū)或城市預(yù)測任務(wù)時，往往缺乏足夠的泛化能力，需要重新訓(xùn)練才能生成有效的時空特征。

C2. 大型語言模型和現(xiàn)有時空模型在零樣本場景下的泛化能力不足：如圖2所示，大型語言模型LLaMA能夠根據(jù)輸入文本推斷流量模式。然而，它在處理具有復(fù)雜時空依賴性的數(shù)字時間序列數(shù)據(jù)時，有時會出現(xiàn)預(yù)測失誤。

與此同時，雖然預(yù)訓(xùn)練的基線模型在編碼時空依賴關(guān)系方面表現(xiàn)良好，但它們可能會因為過度適應(yīng)源數(shù)據(jù)集而在零樣本場景中表現(xiàn)不佳。

C3. 將大型語言模型的推理能力擴展到時空預(yù)測領(lǐng)域：時空數(shù)據(jù)的獨特性質(zhì)與大型語言模型中編碼的知識之間存在顯著差異。如何縮小這種差異，進而構(gòu)建一個在廣泛的城市任務(wù)中具有卓越泛化能力的時空大型語言模型，是一個亟待解決的重要問題。

圖1：與LLM和時空圖神經(jīng)網(wǎng)絡(luò)相比，UrbanGPT 在零樣本場景下有著更好的預(yù)測性能

現(xiàn)有挑戰(zhàn)

（1）據(jù)我們了解，這是首次嘗試創(chuàng)建一個能夠跨多個數(shù)據(jù)集預(yù)測各種城市現(xiàn)象的時空大型語言模型，特別是在訓(xùn)練數(shù)據(jù)有限的情況下。

（2）本文介紹了一個名為UrbanGPT的時空預(yù)測框架，它允許大型語言模型深入理解時間和空間之間的復(fù)雜聯(lián)系。通過將時空依賴編碼器與指令微調(diào)技術(shù)緊密結(jié)合，有效地將時空信息融入語言模型中。

（3）在真實世界數(shù)據(jù)集上進行的廣泛實驗驗證了UrbanGPT在零樣本時空學(xué)習(xí)環(huán)境中的卓越泛化能力。這些結(jié)果不僅展示了模型在預(yù)測和理解時空模式方面的高效性，還證明了其在缺乏樣本的情況下依然能夠提供準(zhǔn)確的預(yù)測。

方法
  

圖2：UrbanGPT 整體框架

時空依賴編碼器

盡管大型語言模型在處理語言文本方面取得了顯著成就，但它們在解析時空數(shù)據(jù)中的時序變化和動態(tài)模式時仍存在挑戰(zhàn)。

為了應(yīng)對這一問題，本研究提出了一種創(chuàng)新的方法，即整合時空依賴編碼器，以提升大型語言模型在捕捉時空上下文中的時間序列依賴性的能力。

具體來說，我們設(shè)計的時空編碼器由兩個核心組件構(gòu)成：一個是門控擴散卷積層，另一個是多層次關(guān)聯(lián)注入層。

上式 為初始化時空嵌入，從原始時空數(shù)據(jù)中獲取。Er'是Er的切片，用于進行殘差操作以緩解梯度消失。

我們使用一維擴散卷積來編碼時間關(guān)聯(lián)。

Sigmoid 激活函數(shù)δ 用于控制多層卷積運算的信息保留程度。

經(jīng)過門控時間擴展卷積層的處理，我們能夠精確地捕捉到連續(xù)多個時間步長內(nèi)的時間序列依賴性，進而生成豐富的時間特征表示。這些表示涵蓋了多層次的時間依賴關(guān)系，揭示了不同粒度級別的時間演變模式。

為了完整地保留這些時間信息，我們引入了一種多層次關(guān)聯(lián)注入層，該層特別設(shè)計用于捕捉并整合不同層次之間的相互聯(lián)系：

其中是形如的卷積核，在通過L層的編碼處理之后，我們利用一個簡單的線性層將門控擴散卷積層和多層次關(guān)聯(lián)注入層的輸出進行整合，最終生成的時空依賴性特征表示為

為應(yīng)對可能在各種城市場景中出現(xiàn)的復(fù)雜情況，本文設(shè)計的時空編碼器在處理空間相關(guān)性時不依賴于特定的圖結(jié)構(gòu)。這是因為在零樣本預(yù)測環(huán)境中，實體間的空間聯(lián)系往往是未知的或難以預(yù)測的。這樣的設(shè)計使得UrbanGPT能夠在廣泛的城市應(yīng)用場景中保持其適用性和靈活性。

時空指令微調(diào)框架

時空數(shù)據(jù)-文本對齊

為了使語言模型能夠深入理解時空動態(tài)，確保文本內(nèi)容與時空數(shù)據(jù)的一致性是關(guān)鍵。這種一致性使得模型能夠整合多種數(shù)據(jù)類型，生成更加豐富的數(shù)據(jù)表示。通過將文本內(nèi)容與時空領(lǐng)域的上下文特征相結(jié)合，模型不僅能夠捕捉到補充性的信息，還能夠提煉出更高層次的、具有更強表現(xiàn)力的語義特征。

為了實現(xiàn)這一點，本文采用輕量對齊模塊來投影時空依賴性表示。

投影操作采用線性層參數(shù)進行，其中dL表示大語言模型常用的隱藏維度。所得到的投影 ，在指令中使用特殊的標(biāo)記表示為：<ST_start>，<ST_HIS>，...，<ST_HIS>，<ST_end>。在這里，<ST_start> 和 <ST_end> 是用來標(biāo)記時空信息起始和終止的特殊符號，它們可以通過擴展詞匯庫的方式被納入到大型語言模型中。

占位符 <ST_HIS> 代表時空標(biāo)記，它對應(yīng)于隱藏層中的向量 H。利用這種技術(shù)，模型能夠識別時空依賴關(guān)系，這顯著增強了其在城市環(huán)境中進行時空預(yù)測任務(wù)的能力。

時空提示指令

在進行時空預(yù)測時，時間和空間數(shù)據(jù)都蘊含著關(guān)鍵的語義信息，這些信息對于模型捕捉特定情境下的時空規(guī)律至關(guān)重要。

比如，交通流量在早晨和高峰時段會有顯著變化，商業(yè)區(qū)與住宅區(qū)的交通模式也各有不同。因此，將時間與空間信息作為提示文本引入時空預(yù)測任務(wù)，可以顯著提升模型的預(yù)測效果。我們利用大型語言模型在文本理解方面的專長來處理這些信息。

在UrbanGPT的架構(gòu)中，我們整合了不同粒度的時間數(shù)據(jù)和空間細節(jié)，作為大型語言模型的指令輸入。時間信息涵蓋了一周中的日期和具體時間點，而空間信息則包括城市區(qū)域、行政區(qū)劃以及周邊的興趣點（POI）等，如圖3所示。

通過整合這些多樣化的元素，UrbanGPT能夠深入識別并理解在復(fù)雜時空背景下，不同區(qū)域和時間段的時空動態(tài)，進而提升其在零樣本情況下的推理能力。

圖3: 編碼時間和位置感知信息的時空提示指令

大語言模型的時空指令微調(diào)

在利用指令微調(diào)大型語言模型（LLMs）生成時空預(yù)測的文本描述時，面臨兩大挑戰(zhàn)。一方面，時空預(yù)測通?；跀?shù)值型數(shù)據(jù)，這些數(shù)據(jù)的結(jié)構(gòu)和模式與自然語言處理中的語言模型所擅長的語義和句法關(guān)系不同。

另一方面，LLMs在預(yù)訓(xùn)練階段通常采用多分類損失函數(shù)來預(yù)測詞匯，這導(dǎo)致其生成的是詞匯的概率分布，而時空預(yù)測任務(wù)則需要連續(xù)值的輸出。

為了克服這些問題，UrbanGPT采取了一種創(chuàng)新的方法。它不是直接預(yù)測未來的時空值，而是生成輔助性的預(yù)測標(biāo)記。這些標(biāo)記隨后通過一個回歸層處理，將模型的隱藏層表示轉(zhuǎn)換為更精確的預(yù)測值。這種方法使得UrbanGPT能夠更有效地進行時空預(yù)測。

上式中預(yù)測標(biāo)記的隱藏表征用表示，其中預(yù)測標(biāo)記可通過擴充LLMs詞表的方式引入。W1,W2,W3為回歸層的權(quán)重矩陣，[?,?]為拼接操作。

實驗

零樣本預(yù)測性能

相同城市內(nèi)未見區(qū)域的預(yù)測

在跨區(qū)域預(yù)測中，我們利用同一城市中某些區(qū)域的數(shù)據(jù)來預(yù)測模型未接觸過的其他區(qū)域的未來狀況。通過深入分析模型在此類跨區(qū)域預(yù)測任務(wù)中的表現(xiàn)，我們注意到：

（1）卓越的零樣本預(yù)測能力。表1中的數(shù)據(jù)展示了所提出模型在不同數(shù)據(jù)集上的回歸和分類任務(wù)中超越基線模型的優(yōu)異表現(xiàn)。UrbanGPT的出色表現(xiàn)主要歸功于兩個核心要素。

i）時空數(shù)據(jù)-文本對齊。將時空上下文信號與語言模型的文本理解能力對齊，對模型的成功至關(guān)重要。這種整合使得模型能夠充分利用編碼自時空信號的城市動態(tài)信息，同時結(jié)合大語言模型對文本上下文的深入理解，從而擴展了模型在零樣本場景下的預(yù)測能力。

ii）時空指令的微調(diào)。通過自適應(yīng)調(diào)整，LLMs能夠更有效地吸收指令中的關(guān)鍵信息，提升其對空間和時間因素復(fù)雜關(guān)系的理解。UrbanGPT通過將時空指令微調(diào)和時空依賴編碼器相結(jié)合，成功地保留了通用且可轉(zhuǎn)移的時空知識，實現(xiàn)了在零樣本場景中的準(zhǔn)確預(yù)測。

（2）對城市語義的深入理解。城市語義提供了對空間和時間特性的深刻洞察。通過在多種數(shù)據(jù)集上訓(xùn)練模型，增強了其對不同時間段和地理位置的時空動態(tài)的理解。

相比之下，傳統(tǒng)的基準(zhǔn)模型通常更注重編碼時空依賴關(guān)系，而忽略了區(qū)域、時段和數(shù)據(jù)類型之間的語義差異。通過將豐富的語義信息融入UrbanGPT，我們顯著提升了其在未見過的區(qū)域中進行精確零樣本預(yù)測的能力。

（3）在稀疏數(shù)據(jù)環(huán)境中，提升預(yù)測性能。在數(shù)據(jù)點稀疏的環(huán)境中預(yù)測時空模式是一項挑戰(zhàn)，主要因為模型在這種情況下容易過擬合。例如，在預(yù)測犯罪等場景中，數(shù)據(jù)往往較為稀疏，這使得基線模型在跨區(qū)域預(yù)測任務(wù)中表現(xiàn)不佳，召回率低，暗示可能存在過擬合的問題。

為解決這一挑戰(zhàn)，我們的模型采用了一種創(chuàng)新的策略，將時空學(xué)習(xí)與大型語言模型相結(jié)合，并通過有效的時空指令微調(diào)方法進行優(yōu)化。這種方法通過整合豐富的語義信息，增強了模型對時空數(shù)據(jù)的理解和表示能力，使其能夠更有效地處理稀疏數(shù)據(jù)，并顯著提高了預(yù)測的準(zhǔn)確性。

表1：跨區(qū)域零樣本預(yù)測場景性能比較

跨城市預(yù)測任務(wù)

為了檢驗?zāi)Ｐ驮诓煌鞘虚g的預(yù)測能力，我們選擇了芝加哥的出租車數(shù)據(jù)集進行實驗驗證。（注意，此數(shù)據(jù)集并未在訓(xùn)練階段使用）。如圖4所示，測試結(jié)果表明，模型在所有時間點上均展現(xiàn)出優(yōu)于對比方法的性能，這證明了UrbanGPT在跨城市知識遷移方面的有效性。

通過將時空編碼器與時空指令微調(diào)技術(shù)相結(jié)合，模型能夠捕捉到普遍性和特殊性并存的時空規(guī)律，從而進行更準(zhǔn)確的預(yù)測。此外，模型通過綜合考慮不同的地理位置、時間因素以及學(xué)習(xí)到的知識遷移，能夠?qū)⒉煌δ軈^(qū)域和歷史時期的時空模式聯(lián)系起來。這種全面的時空理解為在跨城市場景中進行精確的零樣本預(yù)測提供了關(guān)鍵的洞察。

圖4：跨城市零樣本預(yù)測場景性能比較

典型的有監(jiān)督預(yù)測任務(wù)

本章節(jié)重點研究UrbanGPT在完全監(jiān)督的預(yù)測環(huán)境中的表現(xiàn)，具體來說，我們通過使用時間跨度較大的測試數(shù)據(jù)集來評估模型在長期時空預(yù)測任務(wù)中的效果。例如，模型使用2017年的數(shù)據(jù)進行訓(xùn)練，并用2021年的數(shù)據(jù)進行測試。

測試結(jié)果顯示，UrbanGPT在長期時間跨度的預(yù)測任務(wù)中明顯優(yōu)于基線模型，這突出了其在處理長期預(yù)測時的卓越泛化能力。這一特性減少了對頻繁重新訓(xùn)練或增量更新的需求，使得模型更加適合實際應(yīng)用場景。此外，實驗結(jié)果還證實，引入額外的文本信息不僅不會影響模型的性能，也不會引入噪聲，這進一步證明了利用大型語言模型來增強時空預(yù)測任務(wù)的有效性。

表2：端到端有監(jiān)督設(shè)置下的預(yù)測性能評估

消融實驗

（1）時空上下文的重要性：STC。 當(dāng)從指示文本中移除時空信息后，模型的性能出現(xiàn)了下降。這可能是因為缺少時間信息，使得模型只能依賴時空編碼器來處理與時間相關(guān)的特征并執(zhí)行預(yù)測任務(wù)。同時，空間信息的缺失也限制了模型捕捉空間相關(guān)性的能力，使得分析不同區(qū)域的時空模式變得更加困難。

（2）多數(shù)據(jù)集指令微調(diào)的效果：Multi。 我們僅在NYC-taxi數(shù)據(jù)集上對模型進行訓(xùn)練。由于缺乏其他城市指標(biāo)的信息，這限制了模型揭示城市時空動態(tài)的能力。因此，模型的表現(xiàn)欠佳。通過整合來自不同城市的不同時空數(shù)據(jù)，模型能夠更有效地捕捉不同地理位置的獨特特征和時空模式的演變。

（3）時空編碼器的作用：STE。 當(dāng)從模型中移除時空編碼器時，結(jié)果表明，這種缺失顯著降低了大語言模型在時空預(yù)測任務(wù)中的預(yù)測能力。這突出了時空編碼器在提升模型預(yù)測性能中的關(guān)鍵作用。

（4）指令微調(diào)中的回歸層：T2P。 我們指導(dǎo)UrbanGPT直接以文本格式輸出其預(yù)測結(jié)果。模型的性能表現(xiàn)不佳，主要是因為在訓(xùn)練過程中依賴于多類損失函數(shù)進行優(yōu)化，這導(dǎo)致了模型輸出的概率分布與時空預(yù)測任務(wù)所需的連續(xù)值分布不匹配。為了解決這個問題，我們在模型中引入了一個回歸預(yù)測器，顯著提升了模型在回歸任務(wù)中生成更準(zhǔn)確數(shù)值預(yù)測的能力。

圖5：UrbanGPT消融實驗

模型魯棒性研究

在本節(jié)中，我們對UrbanGPT在處理不同時空模式場景時的穩(wěn)定性進行了評估。我們根據(jù)特定時間段內(nèi)數(shù)值變化的幅度（如出租車流量）對區(qū)域進行區(qū)分。較小的方差通常意味著區(qū)域具有穩(wěn)定的時間模式，而較大的方差則暗示著區(qū)域的時空模式更為多樣化，常見于商業(yè)活躍區(qū)或人口密集區(qū)。

如圖6所示，多數(shù)模型在方差較低的區(qū)域表現(xiàn)出色，因為這些區(qū)域的時空模式較為一致和可預(yù)測。然而，基線模型在方差較高的區(qū)域表現(xiàn)不佳，尤其是在方差處于（0.75, 1.0]區(qū)間的區(qū)域，這可能是因為基線模型在零樣本場景下難以準(zhǔn)確推斷出這些區(qū)域復(fù)雜的時空模式。在城市管理中，如交通信號控制和安全調(diào)度等，對人口密集或繁華區(qū)域的準(zhǔn)確預(yù)測至關(guān)重要。UrbanGPT在（0.75, 1.0]區(qū)間內(nèi)顯示出顯著的性能提升，這證明了其在零樣本預(yù)測場景中的強大能力。

圖6：模型魯棒性研究

案例研究

案例研究對不同大型語言模型在零樣本時空預(yù)測場景中的有效性進行了評估，結(jié)果如表3所示。研究結(jié)果表明，各類LLMs能夠根據(jù)提供的指令生成預(yù)測，這驗證了提示設(shè)計的有效性。

具體來看，ChatGPT在預(yù)測時主要依賴于歷史平均值，而沒有明確地將時間或空間數(shù)據(jù)納入其預(yù)測模型中。Llama-2-70b雖然能夠分析特定時間段和區(qū)域，但在處理數(shù)值時間序列的依賴性時遇到了挑戰(zhàn)，這影響了其預(yù)測的準(zhǔn)確性。

相比之下，Claude-2.1能夠更有效地總結(jié)和分析歷史數(shù)據(jù)，利用高峰時段的模式和興趣點來實現(xiàn)更準(zhǔn)確的流量趨勢預(yù)測。

而我們提出的UrbanGPT通過時空指令微調(diào)的方式，將時空上下文信號與大型語言模型的推理能力緊密結(jié)合，顯著提升了預(yù)測數(shù)值和時空趨勢的準(zhǔn)確性。這些發(fā)現(xiàn)突出了UrbanGPT在捕捉普遍時空模式方面的潛力和有效性，使得零樣本時空預(yù)測成為可能。

表3：不同的LLMs對紐約市自行車流量的零樣本預(yù)測案例

總結(jié)與展望

本研究提出了UrbanGPT，這是一種具備在多樣城市環(huán)境中良好泛化能力的時空大型語言模型。為了實現(xiàn)時空上下文信號與大型語言模型（LLMs）的無縫整合，本文提出了一種創(chuàng)新的時空指令微調(diào)方法。這種方法賦予了UrbanGPT在各種城市數(shù)據(jù)中學(xué)習(xí)普遍和可遷移的時空模式的能力。通過廣泛的實驗分析，證明了UrbanGPT架構(gòu)及其核心組件的高效性和有效性。

盡管當(dāng)前的成果令人振奮，但未來研究中仍有一些挑戰(zhàn)需要克服。首先，我們將積極收集更多類型的城市數(shù)據(jù)，以增強UrbanGPT在更廣泛城市計算領(lǐng)域的應(yīng)用能力。其次，理解UrbanGPT的決策機制同樣重要。盡管該模型在性能上表現(xiàn)出色，但提供模型預(yù)測的可解釋性也是未來研究的關(guān)鍵方向。未來的工作將致力于使UrbanGPT能夠解釋其預(yù)測結(jié)果，從而增加其透明度和用戶信任。