?摘要——基礎(chǔ)模型，如大型語(yǔ)言模型（LLMs），可以在不進(jìn)行任何任務(wù)特定的數(shù)據(jù)收集或模型訓(xùn)練的情況下響應(yīng)各種無(wú)格式查詢，為大規(guī)模電力系統(tǒng)的建模和運(yùn)行創(chuàng)造了各種研究和應(yīng)用機(jī)會(huì)。在本文中，我們概述了如何開發(fā)諸如GPT-4之類的大型基礎(chǔ)模型，并討論了它們?nèi)绾卧诰哂刑魬?zhàn)性的電力和能源系統(tǒng)任務(wù)中發(fā)揮作用。我們首先通過(guò)驗(yàn)證其在電力系統(tǒng)領(lǐng)域四個(gè)代表性任務(wù)中的性能來(lái)調(diào)查現(xiàn)有基礎(chǔ)模型的潛力，包括最優(yōu)潮流（OPF）、電動(dòng)汽車（EV）調(diào)度、電力工程技術(shù)報(bào)告的知識(shí)檢索和態(tài)勢(shì)感

I. 引言

近年來(lái)，像大型語(yǔ)言模型（LLM）和大型多模態(tài)模型這樣的基礎(chǔ)模型的進(jìn)步極大地改變了人工智能和機(jī)器學(xué)習(xí)（ML）的格局[1]，[2]。由OpenAI開發(fā)的生成預(yù)訓(xùn)練變換器4（GPT-4）的對(duì)話變體ChatGPT被廣泛認(rèn)為是向大型基礎(chǔ)模型邁進(jìn)的里程碑。標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)模型通常是在單一來(lái)源、特定領(lǐng)域的數(shù)據(jù)集上訓(xùn)練的，這在很大程度上受到數(shù)據(jù)收集和應(yīng)用范圍的限制。而大型基礎(chǔ)模型則基于變換器神經(jīng)網(wǎng)絡(luò)架構(gòu)[3]，在前所未有的計(jì)算和數(shù)據(jù)規(guī)模上進(jìn)行訓(xùn)練。一旦訓(xùn)練完成，它們?cè)谕评?、抽象、理解和預(yù)測(cè)等各種領(lǐng)域和任務(wù)中展示出令人印象深刻的、可推廣的能力。這些模型確實(shí)徹底改變了機(jī)器學(xué)習(xí)算法的發(fā)展和實(shí)施，并揭示了許多新的機(jī)會(huì)。

基礎(chǔ)模型提供的等同于甚至超越人類水平的能力，激勵(lì)我們探索提升電力系統(tǒng)建模和運(yùn)行性能的新機(jī)會(huì)。[4]探討了大型變換器模型在電力系統(tǒng)時(shí)間序列預(yù)測(cè)和插補(bǔ)中的預(yù)訓(xùn)練，而在[5]中，作者展示了ChatGPT在生成測(cè)試電路方面的早期成功。然而，基礎(chǔ)模型提供的許多能力尚未用于提高電網(wǎng)的可靠性和效率。例如，這些大型基礎(chǔ)模型已被證明能夠在一定程度上輸出理解、推理，并在各種領(lǐng)域使用工具[6]。這些能力可能有助于甚至改變大規(guī)模電網(wǎng)的操作程序。

在本文中，我們系統(tǒng)地開發(fā)了應(yīng)用管道，并檢查了大型基礎(chǔ)模型在一組電力系統(tǒng)建模和操作任務(wù)中的能力。我們發(fā)現(xiàn)，使用現(xiàn)成的預(yù)訓(xùn)練基礎(chǔ)模型，如GPT-4和GPT-4 Vision（GPT-4V），確實(shí)能夠?yàn)閹椭こ處?、政策制定者和能源用戶解決電力和能源領(lǐng)域的挑戰(zhàn)性問題創(chuàng)造多條新路徑。這些問題通常涉及高維無(wú)結(jié)構(gòu)數(shù)據(jù)，例如與純文本技術(shù)文檔、系統(tǒng)測(cè)量或圖像數(shù)據(jù)的交互。此外，通過(guò)利用大型基礎(chǔ)模型的力量，有效地消除了用戶與電力系統(tǒng)互動(dòng)的障礙。這不同于其他機(jī)器學(xué)習(xí)在電網(wǎng)應(yīng)用中的實(shí)施。例如，先前的研究表明，機(jī)器學(xué)習(xí)算法可以成功預(yù)測(cè)位置邊際價(jià)格和電力調(diào)度信號(hào)[7]，[8]。但這需要訓(xùn)練有素的工程師仔細(xì)制作標(biāo)記的操作數(shù)據(jù)和特定的機(jī)器學(xué)習(xí)模型。相反，大型基礎(chǔ)模型可以潛在地減輕數(shù)據(jù)收集和模型訓(xùn)練的負(fù)擔(dān)，同時(shí)為系統(tǒng)操作員和能源用戶提供即時(shí)反饋[9]。為了探索大型基礎(chǔ)模型在電力系統(tǒng)任務(wù)中提供的能力，我們?cè)O(shè)計(jì)了特定的提示和互動(dòng)范式，展示了基礎(chǔ)模型可以通過(guò)僅與提示互動(dòng)而無(wú)需使用優(yōu)化求解器直接解決簡(jiǎn)化的最優(yōu)潮流（OPF）問題；我們還演示了LLM可以作為終端用戶和電動(dòng)汽車充電控制算法之間的中介，以便根據(jù)用戶的偏好輕松設(shè)置優(yōu)化調(diào)度模型；雖然預(yù)訓(xùn)練的大型基礎(chǔ)模型在電力和能源系統(tǒng)方面可能缺乏準(zhǔn)確知識(shí)，但我們發(fā)現(xiàn)使用檢索增強(qiáng)生成[10]通過(guò)在特定領(lǐng)域嵌入大型技術(shù)報(bào)告來(lái)解決這些挑戰(zhàn)。

特別是，我們關(guān)注電力系統(tǒng)建模和運(yùn)行的獨(dú)特特征[11]，因?yàn)樗啾扔谄渌话愕淖匀徽Z(yǔ)言處理或視覺相關(guān)任務(wù)表現(xiàn)出不同的復(fù)雜性和領(lǐng)域知識(shí)。本文中展示的示例應(yīng)用可以擴(kuò)展到各種電力系統(tǒng)任務(wù)，如電網(wǎng)建模[11]、市場(chǎng)運(yùn)行[12]、態(tài)勢(shì)感知[13]、能源管理和電力調(diào)度[14]、異常檢測(cè)[15]以及在各種設(shè)置下的預(yù)測(cè)任務(wù)[16]。為了促進(jìn)此類強(qiáng)大工具的發(fā)展和利用，我們將我們的算法和詳細(xì)的模擬測(cè)試案例，特別是多模態(tài)和其他時(shí)間序列預(yù)測(cè)示例公開1。

II. 方法論

A. 作為優(yōu)化器的LLM

優(yōu)化已被視為解決電力系統(tǒng)中各種決策問題的基礎(chǔ)工具，如最優(yōu)潮流（OPF）、電動(dòng)汽車充電調(diào)度和建筑能源系統(tǒng)管理[17]。盡管研究人員已經(jīng)提供了許多解決方案，但從計(jì)算成本和算法性能的角度來(lái)看，仍然存在挑戰(zhàn)。特別是，對(duì)于缺乏優(yōu)化或電力系統(tǒng)領(lǐng)域知識(shí)的各種用戶來(lái)說(shuō)，學(xué)習(xí)建模和解決這些問題是不現(xiàn)實(shí)的[18]。通過(guò)提示進(jìn)行優(yōu)化（OPRO）展示了LLM通過(guò)自然語(yǔ)言描述問題，然后根據(jù)任務(wù)描述和先前生成的解決方案迭代生成新解決方案的能力[19]。我們進(jìn)一步開發(fā)了一個(gè)名為L(zhǎng)LM for the OPF（LLM4OPF）的框架來(lái)解決約束優(yōu)化問題，如圖1(a)所示。在這個(gè)框架中，我們生成帶有歷史解-成本對(duì)和任務(wù)描述的提示。在每個(gè)優(yōu)化步驟中，從解-成本對(duì)緩沖區(qū)中檢索具有最小成本值的若干解-成本對(duì)，LLM優(yōu)化器根據(jù)精心設(shè)計(jì)的提示生成新解決方案。滿足物理約束的新解決方案將存儲(chǔ)在解-成本對(duì)緩沖區(qū)中。詳細(xì)的提示和響應(yīng)示例在我們的在線存儲(chǔ)庫(kù)中描述[20]。我們還探討了LLM4OPF在不同約束下快速適應(yīng)新問題的能力，基于新的任務(wù)描述和先前問題的解決方案。

（注釋：最優(yōu)潮流（Optimal Power Flow，簡(jiǎn)稱 OPF）是電力系統(tǒng)中的一種計(jì)算方法。它的目標(biāo)是找到一種最優(yōu)的電力分配方式，使得電力網(wǎng)絡(luò)的運(yùn)行既經(jīng)濟(jì)又安全。簡(jiǎn)單來(lái)說(shuō)，就是在確保電網(wǎng)穩(wěn)定的前提下，盡量降低發(fā)電成本或其他運(yùn)營(yíng)成本。

具體來(lái)說(shuō)，OPF 會(huì)考慮電力系統(tǒng)中的各種因素，比如發(fā)電廠的生產(chǎn)能力、電力需求、傳輸線路的容量限制等，通過(guò)數(shù)學(xué)優(yōu)化的方法找到最優(yōu)解。這一過(guò)程會(huì)幫助電力公司決定哪些發(fā)電機(jī)應(yīng)該運(yùn)行、運(yùn)行多少功率，以及如何調(diào)度電力在網(wǎng)絡(luò)中的傳輸，從而實(shí)現(xiàn)最經(jīng)濟(jì)高效的電力供應(yīng)。）

雖然OPRO可以在某些優(yōu)化問題中找到高質(zhì)量的解決方案，但在解決空間中的低效搜索限制了其在大規(guī)模優(yōu)化問題中的應(yīng)用。[18]經(jīng)驗(yàn)性地展示了LLM生成代碼的能力，但在執(zhí)行過(guò)程中偶爾會(huì)觸發(fā)錯(cuò)誤。因此，我們?cè)诿麨長(zhǎng)LM for EV（LLM4EV）的新框架中引入了優(yōu)化問題的函數(shù)模板，而不是依賴LLM生成整個(gè)代碼。LLM與終端用戶交互，理解查詢，編寫代碼調(diào)用函數(shù)，并向終端用戶解釋代碼執(zhí)行的結(jié)果。如圖1(b)所示，我們的交互過(guò)程在用戶和LLM之間進(jìn)行。完整的交互過(guò)程在[20]中詳細(xì)描述。

圖 1：大型基礎(chǔ)模型的設(shè)計(jì)：

(a) 解決 OPF（LLM4OPF）；

(b) 調(diào)度電動(dòng)汽車充電（LLM4EV）；

(c) 文檔摘要和知識(shí)檢索。

（注釋：（a）流程圖分為以下幾個(gè)步驟：

1. Retrieve data (檢索數(shù)據(jù))

- 在第一個(gè)步驟中，系統(tǒng)從數(shù)據(jù)源中檢索到解決問題所需的基礎(chǔ)數(shù)據(jù)，包括元提示（Meta-Prompt）、解決方案-成本對(duì)（Solution-Cost Pairs）和任務(wù)描述（Task Description）。

2. Input prompt (輸入提示)

- 將檢索到的數(shù)據(jù)輸入到一個(gè)大型語(yǔ)言模型（LLM）優(yōu)化器中，這一步驟負(fù)責(zé)生成新的解決方案。

3. Generate new solution (生成新方案)

- LLM優(yōu)化器基于輸入的提示生成一個(gè)新的解決方案。

4. Evaluates whether the new solution can satisfy constraints (評(píng)估新方案是否滿足約束條件)

- 生成的解決方案會(huì)通過(guò)約束評(píng)估器進(jìn)行評(píng)估，以確保它滿足所有的約束條件。

5. If yes, calculate the cost (如果滿足約束，計(jì)算成本)

- 如果新的解決方案通過(guò)了約束評(píng)估，那么接下來(lái)由目標(biāo)函數(shù)評(píng)估器計(jì)算該方案的成本。

6. Derive solution-cost pair and store (生成解決方案-成本對(duì)并存儲(chǔ))

- 成本計(jì)算完成后，生成一個(gè)解決方案-成本對(duì)，并將其存儲(chǔ)到解決方案-成本對(duì)緩沖區(qū)中。

7. Solution-Cost Pair Buffer (解決方案-成本對(duì)緩沖區(qū))

- 在緩沖區(qū)中存儲(chǔ)多個(gè)解決方案-成本對(duì)，便于進(jìn)一步優(yōu)化和選擇。

8. When finish, output the solution with minimal cost (完成時(shí)，輸出成本最低的方案)

- 最后一步，當(dāng)所有步驟完成時(shí)，系統(tǒng)會(huì)輸出成本最低的解決方案。

這張圖的流程展示了一個(gè)優(yōu)化系統(tǒng)如何使用大型語(yǔ)言模型生成和評(píng)估多種解決方案，并最終選出最優(yōu)的解決方案，確保在滿足所有約束條件的前提下，找到成本最低的解決方案。）

B. 用于知識(shí)檢索的LLM

在本小節(jié)中，我們介紹了采用LLM實(shí)現(xiàn)能源領(lǐng)域長(zhǎng)文本文件摘要和問答（QA）的方法，稱為L(zhǎng)LM4Doc。我們的方法框架如圖1(c)所示，其中我們采用檢索增強(qiáng)生成（RAG）和提示工程（PE）作為工作主力。RAG是一種基于自然語(yǔ)言生成和信息檢索的混合機(jī)制，能夠通過(guò)從有用數(shù)據(jù)語(yǔ)料庫(kù)中提取信息來(lái)豐富LLM的知識(shí)，就像從圖書館借書一樣[10]。結(jié)合RAG，LLM不僅可以生成上下文準(zhǔn)確的信息豐富的輸出。檢索涉及從大量數(shù)據(jù)語(yǔ)料庫(kù)（如文本文件和數(shù)據(jù)庫(kù)）中搜索相關(guān)信息。僅使用檢索可能會(huì)生成不準(zhǔn)確或不相關(guān)的輸出。增強(qiáng)涉及將檢索到的信息納入LLM的內(nèi)部知識(shí)表示中，以顯著提高LLM的輸出質(zhì)量。生成則涉及從LLM生成文本。

我們首先將長(zhǎng)文本文檔處理成向量嵌入，然后將這些向量集成到一個(gè)外部知識(shí)庫(kù)中?；诖酥R(shí)庫(kù)，我們要求GPT-4對(duì)處理后的文檔進(jìn)行摘要和多個(gè)QA。另一方面，提示工程是LLM開發(fā)中的一個(gè)關(guān)鍵步驟，專注于改進(jìn)語(yǔ)言提示，以幫助LLM更好地理解人類的需求，并生成相當(dāng)準(zhǔn)確、相關(guān)且信息豐富的輸出[21]。提示工程有多種目的。具體來(lái)說(shuō)，在本文中，我們?cè)O(shè)計(jì)了一種提示格式，用戶可以定制不同部分以獲得多樣化的答案，如圖2所述。

圖 2：處理電力系統(tǒng)技術(shù)文檔的提議工程化提示的格式。

C. 用于態(tài)勢(shì)感知的大型多模態(tài)模型

多模態(tài)模型能夠跨不同數(shù)據(jù)類型（如語(yǔ)言、視覺等）連接學(xué)習(xí)到的表示，以獲得更全面的理解并生成適當(dāng)?shù)捻憫?yīng)。當(dāng)前最先進(jìn)的多模態(tài)模型基于LLM，并通過(guò)圖文對(duì)的增量預(yù)訓(xùn)練構(gòu)建[22]，因此所得到的模型可以通過(guò)多種類型的模型輸入和輸出數(shù)據(jù)來(lái)完成各種任務(wù)。這種能力可以為電力系統(tǒng)應(yīng)用提供有價(jià)值的工具，因?yàn)橄到y(tǒng)測(cè)量和日志數(shù)據(jù)本質(zhì)上是大規(guī)模和多模態(tài)的。特別是，我們研究了可以通過(guò)大型多模態(tài)模型解決的態(tài)勢(shì)感知問題[13]。為了保證操作安全，系統(tǒng)操作員需要進(jìn)行及時(shí)有效的測(cè)量處理、操作狀態(tài)理解和異常檢測(cè)。例如，[23]中使用成像數(shù)據(jù)來(lái)識(shí)別絕緣子表面狀態(tài)。然而，目標(biāo)情況樣本的可用性有限和操作情況的多樣性有限，如變電站通常處于正常狀態(tài)，很少發(fā)生火災(zāi)，這使得難以培養(yǎng)專門的火災(zāi)檢測(cè)器。因此，具有可靠和一致的視覺-文本表示的零/少樣本情況監(jiān)控非常受歡迎。GPT-4V是一個(gè)有能力的候選者[24]，它擁有強(qiáng)大的圖文檢索能力，可以為測(cè)量圖像生成準(zhǔn)確的場(chǎng)景描述，以及出色的零/少樣本泛化推理和場(chǎng)景轉(zhuǎn)移能力，以識(shí)別罕見情況。在這項(xiàng)工作中，我們提出了一個(gè)名為L(zhǎng)LM4SA的框架，通過(guò)采用上下文學(xué)習(xí)加提示工程[25]來(lái)繞過(guò)繁瑣的事后微調(diào)。在這方面，適當(dāng)?shù)奶崾驹O(shè)計(jì)起著關(guān)鍵作用，應(yīng)該提供高對(duì)應(yīng)性和具體檢測(cè)任務(wù)或情況類別信息的多模態(tài)QA示例[26]。

有兩種正交的方法來(lái)實(shí)現(xiàn)理想的情況理解。一種方法是指令調(diào)整結(jié)合提示學(xué)習(xí)[27]，需要手工制作領(lǐng)域特定的輸入-標(biāo)簽對(duì)，并使用它們來(lái)定制一個(gè)特設(shè)的提示嵌入并優(yōu)化LLM的原始參數(shù)。但由于大規(guī)模參數(shù)微調(diào)所需的數(shù)據(jù)收集和計(jì)算工作量巨大，這種方法難以執(zhí)行。另一種方法是上下文學(xué)習(xí)加提示工程[25]，這種方法繞過(guò)了繁瑣的事后微調(diào)。在這方面，適當(dāng)?shù)奶崾驹O(shè)計(jì)起著關(guān)鍵作用，應(yīng)該提供高對(duì)應(yīng)性和具體檢測(cè)任務(wù)或情況類別信息的多模態(tài)查詢-回答示例[26]。在這項(xiàng)工作中，我們主要關(guān)注上下文學(xué)習(xí)能力，通過(guò)策劃詳細(xì)的上下文提示來(lái)實(shí)現(xiàn)零/少樣本態(tài)勢(shì)感知。

III. 在電力系統(tǒng)中的應(yīng)用

A. 最優(yōu)潮流

在本文中，我們考慮了在節(jié)點(diǎn)功率平衡和功率流方程上簡(jiǎn)化約束的OPF問題。詳細(xì)的公式可以在[20]中找到。在這個(gè)問題中，我們最小化二次發(fā)電成本Ci (Pi) = aiPi2 + biPi + ci，i ∈ Ω，其中Pi表示發(fā)電機(jī)i ∈ Ω的輸出功率。ai, bi和ci表示成本系數(shù)。所有發(fā)電機(jī)都有發(fā)電限制。

我們?cè)谝粋€(gè)5單元測(cè)試案例[28]上評(píng)估LLM4OPF，并在兩個(gè)任務(wù)中將其性能與Gurobi求解器[29]進(jìn)行比較。在第一個(gè)任務(wù)中，我們?cè)O(shè)置節(jié)點(diǎn)負(fù)載Le = 400，并指示GPT-4執(zhí)行n = 300次優(yōu)化步驟。隨后，在第二個(gè)任務(wù)中，我們將Le設(shè)置為405，并將從第一個(gè)實(shí)驗(yàn)中獲得的解-成本對(duì)作為提示的一部分。然后，我們讓GPT-4 API執(zhí)行50次優(yōu)化步驟，以評(píng)估LLM4OPF在不同約束下適應(yīng)新任務(wù)的能力。

實(shí)驗(yàn)結(jié)果如圖3(a)和圖3(b)所示，表明LLM4OPF可以迭代優(yōu)化以最小化成本。請(qǐng)注意，我們僅存儲(chǔ)和繪制滿足約束的解。如表I所示，LLM4OPF獲得的成本和發(fā)電機(jī)熱輸出值與Gurobi優(yōu)化器實(shí)現(xiàn)的值非常接近。此外，顯然，當(dāng)提供相關(guān)問題的解決方案時(shí)，LLM4OPF可以用更少的優(yōu)化步驟來(lái)實(shí)現(xiàn)新任務(wù)的解決方案。這些結(jié)果顯示了LLM在解決優(yōu)化任務(wù)中的強(qiáng)大能力。

圖 3：OPF 測(cè)試案例

(a) 總成本；

(b) 發(fā)電值。

B. 電動(dòng)汽車充電

我們考慮一個(gè)可以同時(shí)為一組電動(dòng)汽車j ∈ V提供充電服務(wù)的充電站[30]。電動(dòng)汽車充電優(yōu)化問題被表述為優(yōu)化每輛電動(dòng)汽車的充電功率uj(t)，受電動(dòng)汽車充電動(dòng)態(tài)xj(t) = xj(t - 1) + δuj(t)的約束。δ和xj(t)分別表示充電效率和電動(dòng)汽車在時(shí)間t的電荷狀態(tài)。我們使用由5個(gè)充電會(huì)話和20個(gè)時(shí)間步組成的測(cè)試案例進(jìn)行實(shí)驗(yàn)，以評(píng)估LLM4EV框架的性能。通過(guò)此測(cè)試，我們主要評(píng)估我們提出的方法在以下方面的性能：

- 給定任務(wù)描述和代碼示例，LLM是否能利用自然語(yǔ)言向用戶詢問解決電動(dòng)汽車充電優(yōu)化問題所需的參數(shù)？

- LLM能否理解用自然語(yǔ)言描述的電動(dòng)汽車充電優(yōu)化問題，并生成正確的代碼來(lái)調(diào)用提供的函數(shù)？

- LLM能否準(zhǔn)確解釋代碼的輸出并向用戶解釋結(jié)果？

從圖4中，我們發(fā)現(xiàn)GPT-4能夠智能地根據(jù)提供的函數(shù)和任務(wù)描述向用戶生成精確的問題。值得注意的是，提出的8個(gè)問題完全對(duì)應(yīng)于函數(shù)solve EV的8個(gè)參數(shù)。此外，即使用戶以自然語(yǔ)言提供答案，GPT-4也表現(xiàn)出強(qiáng)大的理解和生成相應(yīng)代碼的能力。例如，當(dāng)提出“你的車輛的初始狀態(tài)（電荷水平）是什么？如果有多輛，請(qǐng)分別列出”的問題時(shí)，用戶的回答是“它們都從零開始”。隨后，GPT-4生成準(zhǔn)確的代碼“initial states = [0, 0, 0, 0, 0]”。詳細(xì)的實(shí)驗(yàn)結(jié)果見[20]。

C. 通過(guò)多模態(tài)能力實(shí)現(xiàn)態(tài)勢(shì)感知

我們利用GPT-4V的多模態(tài)能力基于場(chǎng)景圖像實(shí)現(xiàn)態(tài)勢(shì)感知。態(tài)勢(shì)感知通常涉及異常檢測(cè)等分類任務(wù)。在本部分中，我們展示了基于衛(wèi)星圖像的野火檢測(cè)結(jié)果[31]，這是一個(gè)二元分類任務(wù)。我們?cè)O(shè)計(jì)了4種方法：(1)一個(gè)圖像查詢并直接詢問圖像中是否存在野火；(2)一個(gè)圖像查詢并應(yīng)用提示工程；(3)多個(gè)圖像示例以及作為工程提示的真實(shí)標(biāo)簽；(4)在(3)的基礎(chǔ)上，添加與真實(shí)標(biāo)簽相關(guān)的語(yǔ)言解釋。

為了獲取每種方法的平均準(zhǔn)確率，我們進(jìn)行了多輪實(shí)驗(yàn)，每輪涉及5張正面圖像和5張負(fù)面圖像。方法(3)的一個(gè)示例如圖5所示，完整結(jié)果見[20]。在所有方法中，方法(4)的準(zhǔn)確率最高，達(dá)到了91%，證明了GPT-4V能夠利用多模態(tài)信息提高性能，而方法(3)的準(zhǔn)確率為86%，也表明少樣本提示的有效性。然而，值得注意的是，GPT-4V在特定圖像分類任務(wù)中的表現(xiàn)仍然不如標(biāo)準(zhǔn)ML模型，如卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率為94%，隨機(jī)森林為96%。即便如此，GPT-4V在節(jié)省訓(xùn)練時(shí)間和數(shù)據(jù)收集過(guò)程方面具有顯著潛力，這對(duì)于典型的ML方法是必要的。此外，GPT-4V在接受和生成多模態(tài)輸出方面更具靈活性，例如生成當(dāng)前狀態(tài)的解釋。

D. 基于能源上下文的文檔理解

在這個(gè)實(shí)驗(yàn)中，我們構(gòu)建了第二節(jié)B部分所示的管道，用于從電力系統(tǒng)文檔中描繪和檢索知識(shí)，并將其應(yīng)用于177頁(yè)的聯(lián)邦能源監(jiān)管委員會(huì)（FERC）第901號(hào)命令[32]。此FERC命令制定了處理涉及逆變器資源的可靠性差距的可靠性標(biāo)準(zhǔn)。為了探索GPT-4在不同QA任務(wù)中的能力，我們將問題分為兩類。一般性問題詢問文檔的整體內(nèi)容，如“請(qǐng)總結(jié)此文件”、“此技術(shù)報(bào)告的結(jié)構(gòu)是什么”。而技術(shù)性問題則更關(guān)注文檔中提到的技術(shù)細(xì)節(jié)，如“文件中相鎖環(huán)同步是什么？”，“請(qǐng)告訴我，在此文件中的可靠性標(biāo)準(zhǔn)中，哪個(gè)標(biāo)準(zhǔn)最有用？”完整的評(píng)估問題列表見[20]。

為了研究RAG帶來(lái)的專業(yè)能力，我們比較了兩個(gè)技術(shù)問題的答案，如圖6所示。使用RAG的GPT-4能夠處理基于大型能源上下文的文檔的深度理解。我們可以看到，沒有RAG的GPT-4無(wú)法理解相對(duì)復(fù)雜的技術(shù)短語(yǔ)。使用RAG后，GPT-4不僅可以詳細(xì)解釋技術(shù)詞匯，還可以解釋其重要性或用途。這有助于理解技術(shù)報(bào)告以及將用戶特定的電力系統(tǒng)知識(shí)嵌入基礎(chǔ)模型中。

圖 6：基于 FERC 第 901 號(hào)命令的兩項(xiàng)技術(shù)問答的評(píng)估，有和沒有 RAG 的比較。

表 II：使用案例、限制及未來(lái)可能的發(fā)展總結(jié)。

IV. 限制、總結(jié)和未來(lái)工作

在本文中，我們探索了一組有前途的應(yīng)用，展示了開發(fā)基礎(chǔ)模型在電力系統(tǒng)中的承諾和挑戰(zhàn)。通過(guò)一系列理解、建模和操作任務(wù)驗(yàn)證了這些模型的潛力。我們展示了LLM和多模態(tài)模型在沒有微調(diào)或進(jìn)一步訓(xùn)練的情況下提供的顯著性能。我們得出結(jié)論，這些基礎(chǔ)模型的強(qiáng)大能力可以為系統(tǒng)操作員、政策制定者和終端用戶提供高效工具。

雖然我們注意到大型基礎(chǔ)模型在工業(yè)部署中仍處于初期階段，因?yàn)閷?duì)模型行為的理解仍然有限，并且需要在實(shí)際場(chǎng)景中進(jìn)行徹底的評(píng)估和測(cè)試。我們還注意到當(dāng)前基礎(chǔ)模型使用中的一系列限制，如模型有效性、效率和適用場(chǎng)景，詳細(xì)信息見表II。

Huang C, Li S, Liu R, et al. Large foundation models for power systems[J]. arXiv preprint arXiv:2312.07044, 2023.

Monash University, Australia

本文轉(zhuǎn)載自公眾號(hào)AIRoobt ，作者：AIRoobt

原文鏈接：??https://mp.weixin.qq.com/s/qC7VakvIP8x6PUf6AuKHBQ??