大語言模型潛力被激發(fā)——

無需訓練大語言模型就能實現(xiàn)高精度時序預測，超越一切傳統(tǒng)時序模型。

來自蒙納士大學、螞蟻、IBM研究院提出了一種通用框架，結果成功激活大語言模型跨模態(tài)處理時序數(shù)據(jù)的能力。

時序預測有益于城市、能源、交通、遙感等典型復雜系統(tǒng)的決策制定。

自此，大模型有望徹底改變時序/時空數(shù)據(jù)挖掘方式。

通用大語言模型重編程框架

簡單來說，研究團隊提出了一個通用框架，將大語言模型輕松用于一般時間序列預測，而無需做任何訓練。

主要提出兩大關鍵技術：時序輸入重編程；提示做前綴。

Time-LLM首先使用文本原型（Text Prototypes）對輸入的時序數(shù)據(jù)進行重編程，通過使用自然語言表征來表示時序數(shù)據(jù)的語義信息，進而對齊兩種不同的數(shù)據(jù)模態(tài)，使大語言模型無需任何修改即可理解另一個數(shù)據(jù)模態(tài)背后的信息。

為了進一步增強LLM對輸入時序數(shù)據(jù)和對應任務的理解，作者提出了提示做前綴（Prompt-as-Prefix，PaP）的范式，通過在時序數(shù)據(jù)表征前添加額外的上下文提示與任務指令，充分激活LLM在時序任務上的處理能力。

主要貢獻包括：

• 提出了通過重編程大型語言模型用于時序分析的全新概念，無需對主干語言模型做任何修改。
• 提出一個通用語言模型重編程框架Time-LLM，它包括將輸入時序數(shù)據(jù)重新編程為更自然的文本原型表示，并通過聲明性提示（例如領域專家知識和任務說明）來增強輸入上下文，以指導LLM進行有效的跨域推理。
  
• 在主流預測任務中的表現(xiàn)始終超過現(xiàn)有最好的模型性能，尤其在少樣本和零樣本場景中。此外，Time-LLM在保持出色的模型重編程效率的同時，能夠實現(xiàn)更高的性能。大大釋放LLM在時間序列和其他順序數(shù)據(jù)方面尚未開發(fā)的潛力。

具體來看這一框架，首先，輸入時序數(shù)據(jù)先通過RevIN歸一化操作，然后被切分成不同patch并映射到隱空間。

時序數(shù)據(jù)和文本數(shù)據(jù)在表達方式上存在顯著差異，兩種屬于不同的模態(tài)。

時間序列既不能直接編輯，也不能無損地用自然語言描述。因此，我們需要將時序輸入特征對齊到自然語言文本域上。

而對齊不同模態(tài)的一個常見方式是cross-attention，但是LLM固有的詞匯表很大，因此無法有效直接將時序特征對齊到所有詞上，而且也并不是所有詞都和時間序列有對齊的語義關系。

為了解決這個問題，這項工作對詞匯表進行了線形組合來獲取文本原型，其中文本原型的數(shù)量遠小于原始詞匯量，組合起來可以用于表示時序數(shù)據(jù)的變化特征。

而為了充分激活LLM在指定時序任務上的能力，這項工作提出了提示做前綴的范式。

通俗點說，就是把時間序列數(shù)據(jù)集的一些先驗信息，以自然語言的方式，作為前綴prompt，和對齊后的時序特征拼接喂給LLM，是不是能夠提升預測效果？

在實踐中，作者確定了構建有效提示的三個關鍵組件：

數(shù)據(jù)集上下文；（2）任務指令，讓LLM適配不同的下游任務；（3）統(tǒng)計描述，例如趨勢、時延等，讓LLM更好地理解時序數(shù)據(jù)的特性。

團隊在長程預測上經(jīng)典的8大公開數(shù)據(jù)集上進行了全面的測試。

結果Time-LLM在基準比較中顯著超過此前領域最優(yōu)效果，比如對比直接使用GPT-2的GPT4TS，Time-LLM有明顯提升，表明了該方法的有效性。

此外，在zero-shot場景中也表現(xiàn)了很強的預測能力。

本項目獲得螞蟻集團智能引擎事業(yè)部旗下AI創(chuàng)新研發(fā)部門NextEvo支持。

感興趣的小伙伴可戳下方鏈接了解論文詳情~

論文鏈接https://arxiv.org/abs/2310.01728。