??摘要——準(zhǔn)確的負(fù)荷預(yù)測對于維持發(fā)電機(jī)和消費(fèi)者之間的電力平衡至關(guān)重要，特別是在可再生能源日益融合的情況下，這些能源帶來了顯著的間歇性波動(dòng)。隨著數(shù)據(jù)驅(qū)動(dòng)方法的發(fā)展，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的模型已成為負(fù)荷預(yù)測任務(wù)的主要方法。近年來，預(yù)訓(xùn)練語言模型（PLM）在各個(gè)領(lǐng)域表現(xiàn)出色，取得了顯著進(jìn)展。本文提出了一種基于PLM的負(fù)荷預(yù)測方法，該方法不僅具有準(zhǔn)確的預(yù)測能力，還具有通用性和靈活性。此外，本文還提出了一種數(shù)據(jù)建模方法，可以有效地將負(fù)荷序列數(shù)據(jù)轉(zhuǎn)換為自然語言以進(jìn)行PLM訓(xùn)練。我們還引入了一種數(shù)據(jù)增強(qiáng)策略，以消除PLM幻覺對預(yù)測結(jié)果的影響。所提出方法的有效性已在兩個(gè)現(xiàn)實(shí)世界數(shù)據(jù)集上得到了驗(yàn)證。與現(xiàn)有方法相比，我們的方法在所有驗(yàn)證指標(biāo)上均表現(xiàn)出最先進(jìn)的性能。

I. 引言

負(fù)荷預(yù)測在維持現(xiàn)代電力系統(tǒng)的穩(wěn)定性中起著重要作用。通過準(zhǔn)確的預(yù)測結(jié)果，電力系統(tǒng)可以最大限度地整合不穩(wěn)定的可再生能源，如光伏和風(fēng)能。近年來，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法由于其出色的性能，已成為負(fù)荷預(yù)測任務(wù)的主流方法。各種網(wǎng)絡(luò)不斷被改進(jìn)以提高預(yù)測精度，如極端梯度提升（XGBoost）、隨機(jī)森林（RF）和長短期記憶網(wǎng)絡(luò)（LSTM）。

除了模型本身，用于訓(xùn)練這些模型的數(shù)據(jù)的質(zhì)量和分布也對預(yù)測精度有影響。為了確保模型在一般任務(wù)上的最佳表現(xiàn)，通常會為特定模型設(shè)計(jì)數(shù)據(jù)建模和特征工程策略。例如，參考文獻(xiàn)中，通過增加可用特征數(shù)量并將每日電力負(fù)荷信息轉(zhuǎn)換為每周負(fù)荷信息，提出了一種基于XGBoost的電力負(fù)荷預(yù)測方案。另一篇文獻(xiàn)展示了基于RF的負(fù)荷預(yù)測與專家選擇相結(jié)合的靈活性，以適應(yīng)復(fù)雜的客戶行為。還有文獻(xiàn)描述了一種基于LSTM的住宅負(fù)荷預(yù)測框架，結(jié)合了客戶級別的數(shù)據(jù)分析。

面對來自不同場景的負(fù)荷數(shù)據(jù)的日益多樣性，單一模型的有限能力有時(shí)難以實(shí)現(xiàn)高精度預(yù)測。一些研究通過結(jié)合多種方法來提高總體性能。例如，參考文獻(xiàn)中，將RF和平均生成函數(shù)結(jié)合使用，設(shè)置可調(diào)權(quán)重參數(shù)用于短期負(fù)荷預(yù)測。另一篇文獻(xiàn)提出了一種基于CNN和LSTM網(wǎng)絡(luò)集成的混合方法來預(yù)測短期電力負(fù)荷。此外，還有文獻(xiàn)通過結(jié)合時(shí)間卷積網(wǎng)絡(luò)（TCN）和LightGBM來擴(kuò)展多種不同類型工業(yè)客戶的負(fù)荷預(yù)測應(yīng)用。

最近，預(yù)訓(xùn)練語言模型（PLM）在深度學(xué)習(xí)領(lǐng)域表現(xiàn)出強(qiáng)大的準(zhǔn)確性和靈活性。PLM模型中的注意力機(jī)制被證明在捕捉時(shí)間序列數(shù)據(jù)的長程依賴性方面非常有效，這對負(fù)荷預(yù)測任務(wù)很有幫助。一些正在進(jìn)行的研究已經(jīng)將PLM應(yīng)用于時(shí)間序列預(yù)測。例如，有研究引入了一種基于提示的學(xué)習(xí)范式，用于時(shí)間序列預(yù)測，其中用戶的數(shù)據(jù)集直接在模型上訓(xùn)練。另一篇研究通過對提示進(jìn)行標(biāo)記，并在保持大語言模型參數(shù)靜止的情況下完成訓(xùn)練，通過更新重編程層參數(shù)完成訓(xùn)練。然而，PLM也有其自身的局限性，即在各種下游研究中普遍存在幻覺現(xiàn)象。在負(fù)荷預(yù)測任務(wù)中，幻覺可能導(dǎo)致極其不準(zhǔn)確的預(yù)測或輸出序列中的缺失值。

因此，本文提出了一種名為LFPLM的負(fù)荷預(yù)測框架，利用其靈活性和通用性，在多時(shí)間尺度和多場景數(shù)據(jù)集上實(shí)現(xiàn)更準(zhǔn)確的結(jié)果。此外，本文引入了一種數(shù)據(jù)集建模方法，使PLM能夠有效地執(zhí)行預(yù)測。根據(jù)作者的知識，這是首個(gè)在電力系統(tǒng)負(fù)荷預(yù)測任務(wù)中應(yīng)用PLM的研究。

本文的具體貢獻(xiàn)如下：

1) 提出了一種基于PLM的通用且靈活的電力系統(tǒng)負(fù)荷預(yù)測方法。該方法可以應(yīng)用于具有不同時(shí)間尺度的各種負(fù)荷預(yù)測任務(wù)。

2) 提出了一種結(jié)合語言和統(tǒng)計(jì)信息的數(shù)據(jù)集格式化方法，以更好地利用PLM的預(yù)測能力。

3) 提出了一種數(shù)據(jù)增強(qiáng)方法，通過將數(shù)值序列與語言描述分離來解決PLM的幻覺問題。

4) 驗(yàn)證了所提出方法在不同時(shí)間尺度的開源和現(xiàn)實(shí)世界負(fù)荷預(yù)測數(shù)據(jù)集上的有效性。與現(xiàn)有負(fù)荷預(yù)測方法相比，所提出框架的優(yōu)越性和適應(yīng)性得到了明確證明。

II. 數(shù)據(jù)集描述和建模

在本節(jié)中，我們介紹一種創(chuàng)建數(shù)據(jù)集以訓(xùn)練LFPLM的方法。從將數(shù)值數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù)開始，我們將詳細(xì)說明如何通過這些方法有效地微調(diào)模型。此外，還介紹了一種解決PLM幻覺現(xiàn)象的技術(shù)。需要強(qiáng)調(diào)的是，所提出的數(shù)據(jù)集建模方法適用于所有基于PLM的負(fù)荷預(yù)測任務(wù)。

A. 結(jié)合語言和統(tǒng)計(jì)信息

在常見的負(fù)荷預(yù)測任務(wù)中，歷史負(fù)荷數(shù)據(jù)通常作為預(yù)測的輸入。輸入數(shù)據(jù)通常被建模為一個(gè)連續(xù)序列X ∈ R^L×d，其中L和d分別表示序列的長度和維度。由于LFPLM需要以文本格式輸入數(shù)據(jù)，我們提出了一種數(shù)據(jù)集建模方法，將數(shù)值序列轉(zhuǎn)換為自然語言表達(dá)X_text，如下所示：

其中，x_i 是輸入序列中的第i個(gè)數(shù)據(jù)，R 表示實(shí)數(shù)集合，S代表從實(shí)數(shù)到文本的轉(zhuǎn)換。

此外，為了進(jìn)一步利用文本表達(dá)的優(yōu)勢，我們引入了統(tǒng)計(jì)信息 X_stat 來增強(qiáng)輸入數(shù)據(jù)的特征維度，表示為 X_ts。統(tǒng)計(jì)信息包括最大值、最小值和平均值。具體來說，我們使用預(yù)測時(shí)間前N_obs步內(nèi)的最大值和最小值來建模全局特征，并用輸入序列的平均值表示局部特征。

其中，X_ts表示具有統(tǒng)計(jì)信息的PLM輸入，X_stat是包含最大值、最小值和平均值的統(tǒng)計(jì)信息，X_obs表示預(yù)測時(shí)間前N_obs時(shí)間步內(nèi)的歷史負(fù)荷數(shù)據(jù)。

B. 將數(shù)值序列與語言分離

負(fù)荷預(yù)測任務(wù)中幻覺現(xiàn)象的原因，如數(shù)據(jù)缺失或生成多余數(shù)據(jù)，可歸因于兩個(gè)主要方面：1）在將數(shù)值數(shù)據(jù)轉(zhuǎn)換為文本描述的過程中，以字符串格式存儲的數(shù)據(jù)長度不一致。2）PLM的預(yù)訓(xùn)練參數(shù)來源于自然語言的訓(xùn)練，因此缺乏有效識別純數(shù)值的能力。

利用PLM對語言描述的敏感性，本節(jié)提出了一種數(shù)據(jù)增強(qiáng)方法，將數(shù)值數(shù)據(jù)與文本信息分離。增強(qiáng)輸入數(shù)據(jù)集 X_ets 基于 X_text^* 構(gòu)建如下所示：

其中，X_text^* 是帶有時(shí)間信息的數(shù)值序列的文本表達(dá)，t_i 是文本表達(dá)中與 x_i 對應(yīng)的時(shí)間步。

由于LFPLM的輸出數(shù)據(jù)也以文本形式存在，因此在訓(xùn)練過程中需要相應(yīng)的文本真實(shí)值。對于每種輸入格式的 X，我們生成對應(yīng)的真實(shí)值 Y_gt。

C. 預(yù)測數(shù)據(jù)集

為了評估所提出方法在負(fù)荷預(yù)測任務(wù)中的通用性和準(zhǔn)確性，我們選擇了以下兩個(gè)不同時(shí)間尺度的現(xiàn)實(shí)世界數(shù)據(jù)集進(jìn)行研究。

1) 電力負(fù)荷預(yù)測數(shù)據(jù)集（ELFD）：這是一個(gè)在Kaggle上可用的開源數(shù)據(jù)集，涵蓋了2015年至2020年間巴拿馬地區(qū)超過40,000條小時(shí)負(fù)荷數(shù)據(jù)。該數(shù)據(jù)集可通過以下網(wǎng)址訪問：kaggle.com/datasets/saurabhshahane/electricity-load-forecasting/data。

2) 工業(yè)客戶負(fù)荷數(shù)據(jù)集（ICLD）：這個(gè)現(xiàn)實(shí)世界數(shù)據(jù)集包括了2018年至2021年間10個(gè)工業(yè)客戶約9000條日負(fù)荷數(shù)據(jù)。該數(shù)據(jù)集來自中國東部一個(gè)真實(shí)的電力系統(tǒng)。

兩個(gè)數(shù)據(jù)集的分布如圖1所示。本節(jié)中建立的策略下的詳細(xì)示例數(shù)據(jù)集如表I所示。上述方法的有效性將在第四節(jié)中驗(yàn)證。

表I 基于所提出方法的數(shù)據(jù)集示例

圖1. 負(fù)荷預(yù)測數(shù)據(jù)集的分布

III. 提出的框架

在本節(jié)中，我們詳細(xì)介紹了所提出的預(yù)測框架的基本結(jié)構(gòu)和用于完成預(yù)測任務(wù)的PLM。此外，我們還詳細(xì)說明了不同PLM的訓(xùn)練方法，并列出了用于評估其預(yù)測結(jié)果的指標(biāo)。

A. 用于負(fù)荷預(yù)測的PLM

PLM結(jié)構(gòu)上可以分為三類：

1. 僅編碼器模型：以BERT為代表，這些模型通過掩碼語言建模學(xué)習(xí)雙向上下文編碼器。訓(xùn)練目標(biāo)包括隨機(jī)掩碼部分文本并預(yù)測被掩碼的單詞。這種架構(gòu)主要適用于不需要序列生成的任務(wù)，而是需要編碼和處理輸入的任務(wù)，如文本分類和情感分析。

2. 僅解碼器模型：以GPT和BLOOM為代表，這些模型通常用于序列生成任務(wù)，稱為生成模型。它們直接從輸入生成序列，并執(zhí)行無監(jiān)督預(yù)訓(xùn)練。然而，它們需要大量的訓(xùn)練數(shù)據(jù)來提高生成文本的質(zhì)量和多樣性。

3. 編碼器-解碼器模型：以T5和BART為代表，這些模型使用編碼器處理輸入序列，提取特征和語義信息，并使用解碼器生成相應(yīng)的輸出序列。被稱為序列到序列模型，它擅長處理輸入和輸出序列之間的關(guān)系，提高在機(jī)器翻譯和對話生成等任務(wù)中的準(zhǔn)確性。

根據(jù)負(fù)荷預(yù)測任務(wù)的特點(diǎn)，我們主要考慮基于僅解碼器和編碼器-解碼器架構(gòu)的PLM，如表II所示。此外，還選擇了不同語言訓(xùn)練的PLM，以驗(yàn)證預(yù)測結(jié)果是否受自然語言表達(dá)的影響。

B. 不同PLM的訓(xùn)練策略

我們的工作框架如圖2所示。為了充分利用大模型中的預(yù)訓(xùn)練參數(shù)，我們采用多種訓(xùn)練方法針對不同的PLM，旨在實(shí)現(xiàn)最佳預(yù)測結(jié)果，同時(shí)保持訓(xùn)練效率。

1. 全參數(shù)訓(xùn)練：在LFPLM下的全參數(shù)化訓(xùn)練方法用于訓(xùn)練PLM（除BLOOM外）與所提出的數(shù)據(jù)集。盡管這種方法犧牲了它們預(yù)訓(xùn)練參數(shù)的原始問題解決能力，但它可以在負(fù)荷預(yù)測任務(wù)中表現(xiàn)良好。

2. 參數(shù)高效微調(diào)（PEFT）：如BLOOM等大語言模型，針對一般任務(wù)預(yù)訓(xùn)練，其預(yù)訓(xùn)練參數(shù)中編碼了對知識的全面理解。然而，完全在專用數(shù)據(jù)集上訓(xùn)練這些模型會破壞預(yù)訓(xùn)練參數(shù)的分布模式，降低其在文本理解中的可行性。因此，我們采用了LoRA技術(shù)的PEFT方法微調(diào)模型參數(shù)。在此方法中，我們使用低秩分解模擬基于原始模型參數(shù)分布的參數(shù)變化，從而間接訓(xùn)練一個(gè)參數(shù)較少的大模型。我們處理來自原始模型的參數(shù)矩陣W_d×k如下：

W_d×k = U_d×r · V_r×k   r < d, k

其中r是低秩系數(shù)，U和V是低秩矩陣。

在我們的研究中，PEFT選定的參數(shù)是自注意層中的W_Q、W_K和W_V指標(biāo)，可訓(xùn)練參數(shù)總量占原始模型的10%。

C. 評估方法和指標(biāo)

對于模型的預(yù)測結(jié)果，我們主要關(guān)心自然語言中的數(shù)值序列的準(zhǔn)確性。根據(jù)第二節(jié)中的真實(shí)值格式設(shè)置，我們可以輕松從文本中提取數(shù)據(jù)序列，借此計(jì)算預(yù)測準(zhǔn)確性以分析模型性能。

幻覺率被提出用于評估預(yù)測結(jié)果中的幻覺現(xiàn)象。我們研究中的三個(gè)評價(jià)指標(biāo)分別是幻覺率、平均絕對誤差（MAE）和均方根誤差（RMSE），其定義如下：

其中，N是樣本數(shù)量，Y_i是第i個(gè)預(yù)測結(jié)果，Y_i,gt是對應(yīng)的真實(shí)值，H ∈ (0, 1)是幻覺率，n_h是幻覺樣本的數(shù)量。

IV. 案例研究

在本節(jié)中，我們將驗(yàn)證所提出方法的有效性。首先，我們將展示訓(xùn)練過程中使用的物理環(huán)境和超參數(shù)配置。其次，我們將應(yīng)用LFPLM預(yù)測框架到第二節(jié)介紹的兩個(gè)數(shù)據(jù)集上。作為PLM的代表，Mengzi-T5模型將接受深入評估，并與傳統(tǒng)方法的統(tǒng)計(jì)結(jié)果進(jìn)行比較。此外，還將測試第三節(jié)提到的各種PLM，以確認(rèn)其在預(yù)測任務(wù)中的能力。

A. 參數(shù)配置

我們的模型使用PyTorch和來自HuggingFace的Transformers實(shí)現(xiàn)，所有實(shí)驗(yàn)在NVIDIA 4090-24G GPU上進(jìn)行。所有模型可以通過表II中的訪問密鑰從HuggingFace Model Hub訪問。所提出框架和對比方法的超參數(shù)如表IV所示。

B. 不同時(shí)間尺度數(shù)據(jù)集的預(yù)測結(jié)果

在ICLD和ELFD的驗(yàn)證集（長度分別為860和2670）中，我們計(jì)算了預(yù)測數(shù)據(jù)的幻覺率、MAE和RMSE。PLM的幻覺可能導(dǎo)致結(jié)果中出現(xiàn)缺失或多余問題。為了確保指標(biāo)計(jì)算的準(zhǔn)確性，我們解決這個(gè)問題的方法如下：1）用零補(bǔ)充缺失數(shù)據(jù)，2）移除多余數(shù)據(jù)以保持所有輸出序列長度一致。我們使用Mengzi-T5模型作為LFPLM框架，并與傳統(tǒng)方法（包括XGBoost、隨機(jī)森林和LSTM）進(jìn)行比較。如表III所示，LFPLM方法相比三種傳統(tǒng)預(yù)測方法表現(xiàn)出最先進(jìn)的性能。LFPLM、LFPLM-ts和LFPLM-ets方法僅在輸入數(shù)據(jù)格式上有所不同，分別對應(yīng)X_text、X_ts和X_ets。預(yù)測結(jié)果表明，將長期統(tǒng)計(jì)信息整合到數(shù)據(jù)中可以提高預(yù)測準(zhǔn)確性。為了提供直觀的展示，LFPLM與其他方法的預(yù)測曲線如圖3和圖4所示。

特別是，表III中的紅色數(shù)據(jù)突出了預(yù)測中幻覺問題的影響，尤其是在ICLD數(shù)據(jù)集中，這導(dǎo)致RMSE顯著高于正常值。我們確認(rèn)這個(gè)問題源于預(yù)測數(shù)據(jù)序列中的缺失值。使用Xets作為輸入數(shù)據(jù)時(shí)，幻覺率降至零，MAE和RMSE也顯著改善。這些結(jié)果表明，在未預(yù)處理原始數(shù)據(jù)的情況下，PLM的預(yù)測能力尚未充分發(fā)揮。使用第二節(jié)中提出的方法，LFPLM可以有效消除幻覺并提高預(yù)測準(zhǔn)確性。

C. 基于不同PLM模型的預(yù)測結(jié)果

我們驗(yàn)證了所提出方法在表II中給出的不同結(jié)構(gòu)的PLM上的通用性。如表V所示，基于LFPLM的預(yù)測框架在不同PLM上始終實(shí)現(xiàn)了較低的MAE和RMSE，Mengzi-T5模型在兩個(gè)數(shù)據(jù)集上的預(yù)測性能最佳。結(jié)果還表明，基于中文預(yù)訓(xùn)練參數(shù)和相應(yīng)數(shù)據(jù)集的模型在預(yù)測任務(wù)中表現(xiàn)更好。我們通過兩個(gè)中文預(yù)訓(xùn)練模型Mengzi-T5和BART-CN實(shí)現(xiàn)了更好的預(yù)測結(jié)果。使用我們提出的數(shù)據(jù)建模方法結(jié)合PEFT，BLOOM和BLOOM-CN模型在負(fù)荷預(yù)測任務(wù)中表現(xiàn)不佳。模型輸出不準(zhǔn)確，幻覺大量存在，如“電力消耗為1834,133,12699,,- - -,192,,”。盡管其輸出的文本部分可以反映一些訓(xùn)練信息，但數(shù)值輸出顯示出顯著的扭曲。因此，這兩個(gè)模型的結(jié)果被排除在統(tǒng)計(jì)之外。

V. 結(jié)論

本文提出了一種基于預(yù)訓(xùn)練語言模型的通用且靈活的負(fù)荷預(yù)測框架，得出以下結(jié)論：

1. 建立了一種數(shù)據(jù)集格式化方法，將序列格式的數(shù)據(jù)轉(zhuǎn)換為自然語言，以便PLM訓(xùn)練，并整合統(tǒng)計(jì)信息的語言描述以拓寬輸入特征維度。

2. 針對PLM在負(fù)荷預(yù)測任務(wù)中的幻覺問題，提出了一種數(shù)據(jù)增強(qiáng)方法。通過適當(dāng)分離數(shù)值序列和語言描述，幻覺率顯著降低至0%。

3. 在兩個(gè)現(xiàn)實(shí)世界數(shù)據(jù)集上驗(yàn)證了LFPLM的綜合預(yù)測性能。LFPLM的MAE在ICLD和ELFD上分別降至40.6和4.0，顯示出相對于現(xiàn)有方法的優(yōu)越預(yù)測準(zhǔn)確性。

在未來的工作中，我們旨在將更大的語言模型應(yīng)用于負(fù)荷預(yù)測問題。我們將專注于建立適合大語言模型的數(shù)據(jù)集和開發(fā)訓(xùn)練方法，確?？煽康呢?fù)荷預(yù)測，同時(shí)最大限度地利用預(yù)訓(xùn)練參數(shù)。此外，中文預(yù)訓(xùn)練模型在負(fù)荷預(yù)測任務(wù)中表現(xiàn)更好的原因尚不明確，我們將繼續(xù)探究其背后的原因。此外，我們還將探索PLM在其他電力系統(tǒng)任務(wù)中的潛力，如故障診斷和電能質(zhì)量分析。

Gao M, Zhou S, Gu W, et al. LFPLM: A General and Flexible Load Forecasting Framework based on Pre-trained Language Model[J]. arXiv preprint arXiv:2406.11336, 2024.

Southeast University

State Grid Jiangsu Electric Power Co.Ltd

?

本文轉(zhuǎn)載自公眾號AIRoobt ，作者：AIRoobt

原文鏈接：??https://mp.weixin.qq.com/s/Fpikk13kncoWo-Lze7CZqg??