在數(shù)據(jù)分布持續(xù)變化的動態(tài)環(huán)境中，如何進(jìn)行連續(xù)模型泛化？

東京大學(xué)等高校的研究人員提出了名為Koodos的新框架，可以基于在一些隨機(jī)時間點(diǎn)觀測的數(shù)據(jù)分布，在任意時刻生成當(dāng)下適用的神經(jīng)網(wǎng)絡(luò)。 

盡管數(shù)據(jù)隨時間持續(xù)發(fā)生變化，但是泛化的模型能在連續(xù)時間中與數(shù)據(jù)分布始終保持協(xié)調(diào)一致。

Koodos將模型的復(fù)雜非線性動態(tài)轉(zhuǎn)化為可學(xué)習(xí)的連續(xù)動態(tài)系統(tǒng)，同時利用先驗(yàn)知識以確保泛化過程的穩(wěn)定性和可控性。

實(shí)驗(yàn)表明，Koodos顯著超越現(xiàn)有方法，為時域泛化開辟了全新的研究方向。

模型泛化面臨三大難題

在實(shí)際應(yīng)用中，數(shù)據(jù)集的數(shù)據(jù)分布往往隨著時間而不斷變化，預(yù)測模型需要持續(xù)更新以保持準(zhǔn)確性。

時域泛化旨在預(yù)測未來數(shù)據(jù)分布，從而提前更新模型，使模型與數(shù)據(jù)同步變化。

領(lǐng)域泛化（Domain Generalization, DG）作為一種重要的機(jī)器學(xué)習(xí)策略，旨在學(xué)習(xí)一個能夠在未見目標(biāo)領(lǐng)域中也保持良好表現(xiàn)的模型。

近年來研究人員發(fā)現(xiàn)，在動態(tài)環(huán)境中，領(lǐng)域數(shù)據(jù)（Domain Data）分布往往具有顯著的時間依賴性，這促使了時域泛化（Temporal Domain Generalization, TDG）技術(shù)的快速發(fā)展。

時域泛化將多個領(lǐng)域視為一個時間序列而非一組獨(dú)立的靜態(tài)個體，利用歷史領(lǐng)域預(yù)測未來領(lǐng)域，從而實(shí)現(xiàn)對模型參數(shù)的提前調(diào)整，顯著提升了傳統(tǒng)DG方法的效果。

然而，現(xiàn)有的時域泛化研究集中在“離散時間域”假設(shè)下，即假設(shè)領(lǐng)域數(shù)據(jù)在固定時間間隔（如逐周或逐年）收集。

基于這一假設(shè)，概率模型被用于預(yù)測時域演變，例如通過隱變量模型生成未來數(shù)據(jù)，或利用序列模型（如LSTM）預(yù)測未來的模型參數(shù)。

然而在現(xiàn)實(shí)中，領(lǐng)域數(shù)據(jù)的觀測并不總是在離散、規(guī)律的時間點(diǎn)上，而是隨機(jī)且稀疏地分布在連續(xù)時間軸上。

例如在下圖展示的示例中，與傳統(tǒng)TDG假設(shè)的領(lǐng)域在時間軸上規(guī)律分布不同，實(shí)際情況下人們只能在特定事件發(fā)生時獲得一個域，而這些事件的發(fā)生時間并不固定。

同時，概念漂移（Concept Drift）在時間軸上發(fā)生，即領(lǐng)域數(shù)據(jù)分布隨著時間不斷演變：如活躍用戶增加、新交互行為形成、年齡與性別分布變化等。

理想情況下，每個時態(tài)域?qū)?yīng)的預(yù)測模型也應(yīng)隨時間逐漸調(diào)整，以應(yīng)對這種概念漂移。

最后，由于未來的域采集時間未知，作者希望泛化預(yù)測模型到未來的任意時刻。

此外，傳統(tǒng)方法也難以保證泛化過程在整個時間流中保持穩(wěn)定和可控。

為了應(yīng)對這些場景中的模型泛化，作者提出了“連續(xù)時域泛化”（Continuous Temporal Domain Generalization, CTDG）任務(wù)，其中觀測和未觀測的領(lǐng)域均分布于連續(xù)時間軸上隨機(jī)的時間點(diǎn)。

CTDG關(guān)注于如何表征時態(tài)領(lǐng)域的連續(xù)動態(tài)，使得模型能夠在任意時間點(diǎn)實(shí)現(xiàn)穩(wěn)定、適應(yīng)性的調(diào)整，從而完成泛化預(yù)測。

CTDG任務(wù)的挑戰(zhàn)遠(yuǎn)超傳統(tǒng)的TDG方法。

CTDG不僅需要處理不規(guī)律時間分布的訓(xùn)練域，更重要的是，它旨在讓模型泛化到任意時刻，即要求在連續(xù)時間的每個點(diǎn)上都能精確描述模型狀態(tài)。

而TDG方法則僅關(guān)注未來的單步泛化：在觀測點(diǎn)優(yōu)化出當(dāng)前模型狀態(tài)后，只需將其外推一步即可。

這使得CTDG區(qū)別于TDG任務(wù)——

CTDG的關(guān)鍵在于如何在連續(xù)時間軸上同步數(shù)據(jù)分布和模型參數(shù)的動態(tài)演變，而不是僅局限于未來某一特定時刻的模型表現(xiàn)。

具體而言，與TDG任務(wù)相比，CTDG的復(fù)雜性主要來自以下幾個尚未被充分探索的核心挑戰(zhàn)：

• 如何建模數(shù)據(jù)動態(tài)并同步模型動態(tài)
• 如何在高度非線性模型動態(tài)中捕捉主動態(tài)
• 如何確保長期泛化的穩(wěn)定性和可控性

接下來具體分析一下這三大挑戰(zhàn)。

如何建模數(shù)據(jù)動態(tài)并同步模型動態(tài)

CTDG要求在連續(xù)時間軸上捕捉領(lǐng)域數(shù)據(jù)的動態(tài)，并據(jù)此同步調(diào)整模型狀態(tài)。

然而，數(shù)據(jù)動態(tài)本身難以直接觀測，需要通過觀測時間點(diǎn)來學(xué)習(xí)。

此外，模型動態(tài)的演變過程也同樣復(fù)雜。理解數(shù)據(jù)演變?nèi)绾悟?qū)動模型演變構(gòu)成了CTDG的首要挑戰(zhàn)。

如何在高度非線性模型動態(tài)中捕捉主動態(tài)

領(lǐng)域數(shù)據(jù)的預(yù)測模型通常依賴過參數(shù)化（over-parametrized）的深度神經(jīng)網(wǎng)絡(luò)，模型動態(tài)因此呈現(xiàn)出高維、非線性的復(fù)雜特征。

這導(dǎo)致模型的主動態(tài)嵌藏在大量潛在維度中。

如何有效提取并將這些主動態(tài)映射到可學(xué)習(xí)的空間，是CTDG任務(wù)中的另一重大挑戰(zhàn)。

如何確保長期泛化的穩(wěn)定性和可控性

為實(shí)現(xiàn)未來任意時刻的泛化，CTDG必須確保模型的長期穩(wěn)定性。

此外，在許多情況下，人們可能擁有數(shù)據(jù)動態(tài)的高層次先驗(yàn)知識。

如何將這些先驗(yàn)知識嵌入CTDG的優(yōu)化過程中，進(jìn)而提升泛化的穩(wěn)定性和可控性，是一個重要的開放性問題。

模型與動態(tài)聯(lián)合優(yōu)化

數(shù)學(xué)問題建模

設(shè)計思路

作者提出的方法通過模型與數(shù)據(jù)的同步、動態(tài)簡化表示，以及高效的聯(lián)合優(yōu)化展開。

具體思路如下：

• 同步數(shù)據(jù)和模型的動態(tài)：作者證明了連續(xù)時域中模型參數(shù)的連續(xù)性，而后借助神經(jīng)微分方程（Neural ODE）建立模型動態(tài)系統(tǒng)，從而實(shí)現(xiàn)模型動態(tài)與數(shù)據(jù)動態(tài)的同步。
• 表征高維動態(tài)到低維空間：作者將高維模型參數(shù)映射到一個結(jié)構(gòu)化的庫普曼空間（Koopman Space）中。該空間通過可學(xué)習(xí)的低維線性動態(tài)來捕捉模型的主要動態(tài)。
• 聯(lián)合優(yōu)化模型與其動態(tài)：作者將單個領(lǐng)域的模型學(xué)習(xí)與各時間點(diǎn)上的連續(xù)動態(tài)進(jìn)行聯(lián)合優(yōu)化，并設(shè)計了歸納偏置的約束接口，通過端到端優(yōu)化保證泛化的穩(wěn)定性和可控性。

數(shù)據(jù)動態(tài)建模與模型動態(tài)同步

也就是說，模型參數(shù)會隨數(shù)據(jù)分布的變化而平滑調(diào)整。

用庫普曼算子簡化模型動態(tài)

在實(shí)際任務(wù)中，預(yù)測模型通常依賴于過參數(shù)化的深度神經(jīng)網(wǎng)絡(luò)，使得模型動態(tài)h呈現(xiàn)為在高維空間中糾纏的非線性動態(tài)。

直接對h建模不僅計算量大，且極易導(dǎo)致泛化不穩(wěn)定。

然而，h受數(shù)據(jù)動態(tài)f的支配，而數(shù)據(jù)動態(tài)通常是簡單、可預(yù)測的。

這意味著在過參數(shù)化空間中，模型的主動態(tài)（Principal Dynamics）可以在適當(dāng)轉(zhuǎn)換的空間內(nèi)進(jìn)行更易于管理的表示。

受此驅(qū)動，作者引入了庫普曼理論（Koopman Theory）來簡化復(fù)雜的模型動態(tài)。

庫普曼理論在保持動態(tài)系統(tǒng)特征的同時將復(fù)雜的非線性動態(tài)線性化。

最終，通過庫普曼算子的引入，作者實(shí)現(xiàn)了對模型動態(tài)的簡化，保證了泛化過程的穩(wěn)健性。

聯(lián)合優(yōu)化與先驗(yàn)知識結(jié)合

作者對多個組件同時施加約束確保模型能穩(wěn)定泛化，其中包含以下關(guān)鍵項(xiàng)：

• 預(yù)測準(zhǔn)確性：通過最小化預(yù)測誤差，使預(yù)測模型在每個觀測時間點(diǎn)都能準(zhǔn)確預(yù)測實(shí)際數(shù)據(jù)。
• 泛化準(zhǔn)確性：通過最小化預(yù)測誤差，使泛化模型在每個觀測時間點(diǎn)都能準(zhǔn)確預(yù)測實(shí)際數(shù)據(jù)。
• 重構(gòu)一致性：確保模型參數(shù)在原始空間與庫普曼空間之間的轉(zhuǎn)換具有一致性。
• 動態(tài)保真性：約束庫普曼空間的動態(tài)行為，使得映射后的空間符合預(yù)期的動態(tài)系統(tǒng)特征。
• 參數(shù)一致性：確保泛化模型參數(shù)映射回原始空間后與預(yù)測模型參數(shù)保持一致。
  引入庫普曼理論的另一優(yōu)勢在于，可以通過庫普曼算子的譜特性來評估模型的長期穩(wěn)定性。

此外，還可以在庫普曼算子中施加約束來控制模型的動態(tài)行為。

通過觀察庫普曼算子的特征值，可以判斷系統(tǒng)是否穩(wěn)定：

• 若所有特征值實(shí)部為負(fù)，系統(tǒng)會穩(wěn)定地趨向于一個平衡狀態(tài)。
• 若存在特征值實(shí)部為正，系統(tǒng)將變得不穩(wěn)定，模型在未來可能會崩塌。
• 若特征值實(shí)部為零，系統(tǒng)可能表現(xiàn)出周期性行為。

通過分析這些特征值的分布，可以預(yù)測系統(tǒng)的長期行為，識別模型在未來是否可能出現(xiàn)崩潰的風(fēng)險。

此外，還可以通過對庫普曼算子施加顯式約束來調(diào)控模型的動態(tài)行為。例如：

• 周期性約束：當(dāng)數(shù)據(jù)動態(tài)為周期性時，可將庫普曼算子K設(shè)為反對稱矩陣，使其特征值為純虛數(shù)，從而使模型表現(xiàn)出周期性行為。
• 低秩近似：將K表示為低秩矩陣，有助于控制模型的自由度，避免過擬合到次要信息。

通過這些手段，不僅提高了泛化的長期穩(wěn)定性，還增強(qiáng)了模型在特定任務(wù)中的可控性。

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置

為驗(yàn)證算法效果，作者使用了合成數(shù)據(jù)集和多種真實(shí)世界場景的數(shù)據(jù)集：

合成數(shù)據(jù)集包括 Rotated 2-Moons 和 Rotated MNIST 數(shù)據(jù)集，通過在連續(xù)時間區(qū)間內(nèi)隨機(jī)生成時間戳，并對 Moons 和 MNIST 數(shù)據(jù)按時間戳逐步旋轉(zhuǎn)生成連續(xù)時域。

真實(shí)世界數(shù)據(jù)集則包括以下三類：

• 事件驅(qū)動數(shù)據(jù)集Cyclone：基于熱帶氣旋的衛(wèi)星圖像預(yù)測風(fēng)力強(qiáng)度，氣旋發(fā)生日期對應(yīng)連續(xù)時域。
• 流數(shù)據(jù)集Twitter和House：分別從任意時間段抽取推文和房價數(shù)據(jù)流構(gòu)成一個領(lǐng)域，多次隨機(jī)抽取形成連續(xù)時域
• 不規(guī)則離散數(shù)據(jù)集Yearbook：人像圖片預(yù)測性別，從 84 年中隨機(jī)抽取 40 年數(shù)據(jù)作為連續(xù)時域。

定量分析

作者首先對比了Koodos方法與各基線方法的定量性能。

下表顯示，Koodos方法在所有數(shù)據(jù)集上展現(xiàn)了顯著的性能提升。

在合成數(shù)據(jù)集上，Koodos能夠輕松應(yīng)對持續(xù)的概念漂移，而所有基線方法在這種場景下全部失效。

在真實(shí)世界數(shù)據(jù)集上，盡管某些基線方法（如 CIDA、DRAIN和DeepODE）在少數(shù)場景中略有表現(xiàn)，但其相較于簡單方法（如Offline）的改進(jìn)非常有限。

相比之下，Koodos顯著優(yōu)于所有現(xiàn)有方法，彰顯出在時域泛化任務(wù)中考慮分布連續(xù)變化的關(guān)鍵作用。

決策邊界

為直觀展示泛化效果，作者在Rotated 2-Moons數(shù)據(jù)集上進(jìn)行了決策邊界的可視化。

該任務(wù)具有極高難度：模型需在0到35秒左右的35個連續(xù)時域上訓(xùn)練，隨后泛化到不規(guī)律分布在35到50秒的15個測試域。而現(xiàn)有方法通常只能泛化至未來的一個時域（T+1），且難以處理不規(guī)律的時間分布。

下圖展示了從15個測試域中選取了7個進(jìn)行可視化測試的結(jié)果（紫色和黃色表示數(shù)據(jù)區(qū)域，紅線表示決策邊界）。

結(jié)果清晰地表明，基線方法在應(yīng)對連續(xù)時域的動態(tài)變化時表現(xiàn)不足。隨著時間推進(jìn)，決策邊界逐漸偏離理想狀態(tài)。

尤其是最新的DRAIN方法（ICLR23）在多步泛化任務(wù)中明顯失效。

相比之下，Koodos在所有測試域上展現(xiàn)出卓越的泛化能力，始終保持清晰、準(zhǔn)確的決策邊界，與實(shí)際數(shù)據(jù)分布變化高度同步。

這一效果突顯了Koodos在時域泛化任務(wù)中的優(yōu)勢。

模型演變軌跡

為更深入地分析模型的泛化能力，作者通過t-SNE降維，將不同方法的模型參數(shù)的演變過程（Model Evolution Trajectory）在隱空間中可視化。

可以看出，Koodos的軌跡呈現(xiàn)出平滑而有規(guī)律的螺旋式上升路徑，從訓(xùn)練域平滑延伸至測試域。

這一軌跡表明，Koodos能夠在隱空間中有效捕捉數(shù)據(jù)分布的連續(xù)變化，并隨時間自然地擴(kuò)展泛化。

相比之下，基線模型的軌跡在隱空間中缺乏清晰結(jié)構(gòu)，隨著時間推移，逐漸出現(xiàn)明顯的偏離，未能形成一致的動態(tài)模式。

時域泛化的分析與控制

在 Koodos 模型中，庫普曼算子為分析模型動態(tài)提供了有效手段。

作者對Koodos在2-Moons數(shù)據(jù)集上分析表明，庫普曼算子的特征值在復(fù)平面上分布在穩(wěn)定區(qū)和不穩(wěn)定區(qū)。

這意味著Koodos在中短期內(nèi)能穩(wěn)定泛化，但在極長時間的預(yù)測上將會逐漸失去穩(wěn)定性，偏離預(yù)期路徑（下圖b）。

為提升模型的穩(wěn)定性，作者通過將庫普曼算子配置為反對稱矩陣（即Koodos版本），確保所有特征值為純虛數(shù)，使模型具有周期性穩(wěn)定特性。

在這一配置下，Koodos展現(xiàn)出高度一致的軌跡，即使在長時間外推過程中依然保持穩(wěn)定和準(zhǔn)確，證明了引入先驗(yàn)知識對增強(qiáng)模型穩(wěn)健性的效果（下圖c）。

（a：部分訓(xùn)練域數(shù)據(jù)；b：不受控，模型最終偏離預(yù)期；c：受控，模型始終穩(wěn)定且準(zhǔn)確。）

時域泛化與生成式模型任務(wù)有天然的關(guān)聯(lián)，Koodos所具備的泛化能力能夠?yàn)樯窠?jīng)網(wǎng)絡(luò)生成技術(shù)帶來新的可能。

Koodos的應(yīng)用并不局限于時域泛化，它也可以適用于其他分布變化的任務(wù)中。

作者計劃探索其在非時態(tài)領(lǐng)域的應(yīng)用。

同時，作者也將探索時域泛化在大模型中的集成，幫助LLM在復(fù)雜多變的分布中保持魯棒性和穩(wěn)定性。

論文地址：https://arxiv.org/pdf/2405.16075
GitHub：https://github.com/Zekun-Cai/Koodos/