在這個(gè)由智能設(shè)備主導(dǎo)的時(shí)代，維護(hù)工作的重要性愈發(fā)凸顯，幾乎成了生產(chǎn)活動的守護(hù)神。想象一下，當(dāng)一臺精密的機(jī)器在深夜突發(fā)故障，而維護(hù)手冊卻像天書一樣難以理解，這時(shí)，交互式電子技術(shù)手冊（IETMs）就像一束溫暖的燈塔，指引著維護(hù)人員安全渡過難關(guān)。

面對從圖形用戶界面（GUIs）到自然語言用戶界面（LUIs）的轉(zhuǎn)變，以及復(fù)雜邏輯關(guān)系的梳理，傳統(tǒng)的IETMs顯得有些力不從心。為了應(yīng)對這一挑戰(zhàn)，一個(gè)革命性的方法——LLM-R應(yīng)運(yùn)而生，它基于大型語言模型，為維護(hù)方案的生成帶來了全新的思路。

LLM-R的核心創(chuàng)新包括：

• 低秩適應(yīng)-知識保留（LORA-KR）損失技術(shù)：這是一種新穎的數(shù)據(jù)微調(diào)方法，它能夠調(diào)和混合維護(hù)數(shù)據(jù)，防止知識沖突，從而提升模型在特定維護(hù)領(lǐng)域的適應(yīng)性和推理能力。
• 層次化任務(wù)Agent：這種Agent能夠深入挖掘任務(wù)的細(xì)節(jié)，確保每一步操作都精準(zhǔn)無誤。
• 指令級檢索增強(qiáng)生成（RAG）技術(shù)：這是一種智能檢索技術(shù)，能夠在海量數(shù)據(jù)中迅速定位到最相關(guān)的維護(hù)方案，極大地提高了檢索的效率和準(zhǔn)確性。

LLM-R框架的關(guān)鍵步驟如下：

圖片

整個(gè)過程的目標(biāo)是利用LLMs來剖析復(fù)雜維護(hù)任務(wù)，并精確檢索相應(yīng)的維護(hù)方案。這種方法不僅優(yōu)化了傳統(tǒng)IETMs中存在的機(jī)械輸入問題，還顯著提升了維護(hù)人員處理復(fù)雜任務(wù)的效率。

LLM-R框架的結(jié)構(gòu)和組件包括三個(gè)關(guān)鍵部分：指令級RAG機(jī)制、LORA-KR損失和層次化任務(wù)基礎(chǔ)Agent模塊。

1. 指令級RAG（Instruction-level RAG）：

• 作為智能體的核心工具，指令級RAG技術(shù)大幅提升了檢索特定維護(hù)對象方案的效率和準(zhǔn)確性。
• 用戶或智能體識別維護(hù)任務(wù)的關(guān)鍵詞后，這些關(guān)鍵詞被輸入到RAG工具中，轉(zhuǎn)換為模型可以處理的向量格式，并與數(shù)據(jù)庫中向量化的數(shù)據(jù)匹配，以找到最相似的項(xiàng)。
• RAG在檢索階段使用BERT編碼器進(jìn)行最大內(nèi)積搜索（MIPS），以選擇相關(guān)的文本塊用于生成輸出。

2. LORA-KR損失（Supervised Fine-Tuning of LORA-KR loss）：

• LORA-KR損失是一種新的正則化方法，它結(jié)合了特定任務(wù)損失和領(lǐng)域獨(dú)立知識正則化，以在微調(diào)模型時(shí)保持預(yù)訓(xùn)練知識領(lǐng)域的一致性。

• 包括任務(wù)特定損失（?CE）和領(lǐng)域獨(dú)立正則化損失（?KL），通過動態(tài)調(diào)整權(quán)重（w）來平衡這兩種損失。

• LORA-KR損失通過結(jié)合任務(wù)特定交叉熵?fù)p失和領(lǐng)域獨(dú)立KL散度正則化損失，在LoRA梯度更新中保持模型對原始預(yù)訓(xùn)練領(lǐng)域知識的記憶力，同時(shí)適應(yīng)新任務(wù)領(lǐng)域。

3. 層次化任務(wù)基礎(chǔ)智能體（Hierarchical Task-Based Agent）：

• 為了克服LLM在處理未知或高度復(fù)雜需求時(shí)可能出現(xiàn)的幻覺現(xiàn)象，采用了層次化任務(wù)基礎(chǔ)Agent技術(shù)。

• LLM作為“中央大腦”組織和總結(jié)信息，而智能體作為“助手”提供額外的具體信息支持。

• 設(shè)計(jì)了三個(gè)具有不同功能的智能體，都使用微調(diào)后的ChatGLM3模型作為基礎(chǔ)，分別負(fù)責(zé)解析用戶輸入、提供定制解決方案和將解決方案返回給基礎(chǔ)LLM進(jìn)行進(jìn)一步優(yōu)化。

為了驗(yàn)證所提出方法在維護(hù)任務(wù)中的有效性，使用不同領(lǐng)域的對象構(gòu)建了一個(gè)維護(hù)方案數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，所提出方法生成的維護(hù)方案的準(zhǔn)確率達(dá)到了91.59%，這表明了其在提高維護(hù)方案的智能性和引入設(shè)備維護(hù)的新技術(shù)方法方面的顯著改進(jìn)。

圖片

圖片

https://arxiv.org/abs/2411.04476
LLM-R: A Framework for Domain-Adaptive Maintenance Scheme Generation Combining Hierarchical Agen