論文作者來自杭州北航國新院、北航，主要作者：陶來發(fā)、劉海菲、寧國澳、曹文燕、黃博昊、呂?。ㄍㄓ嵶髡撸?。呂琛教授：國家級領(lǐng)軍人才、英國皇家航空學(xué)會會士；陶來發(fā)教授：國家級青年人才。

近日，《Mechanical System and Signal Processing》（MSSP）在線發(fā)表刊登北航 PHM 團隊最新研究成果：基于大語言模型的軸承故障診斷框架（LLM-based Framework for Bearing Fault Diagnosis）。

• 這是北航 PHM 實驗室在健康管理大模型領(lǐng)域的成功嘗試，研究團隊提出了基于大語言模型的軸承故障診斷框架，提升預(yù)訓(xùn)練大模型對振動數(shù)據(jù)的解析與泛化能力。
• 以軸承為例，他們探索并打通了基于預(yù)訓(xùn)練大語言模型解決泛化故障診斷難題的技術(shù)路線，初步展現(xiàn)了對跨工況、小樣本、跨對象等泛化診斷任務(wù)的綜合解決能力。
• 北航 PHM 實驗室為業(yè)界學(xué)者應(yīng)對故障診斷領(lǐng)域泛化痛點問題提供了新思路，也是深入開展大模型與健康管理交叉研究并建立健康管理大模型的重要基礎(chǔ)與參考。

• 論文原文：https://doi.org/10.1016/j.ymssp.2024.112127（MSSP 期刊）
• https://arxiv.org/abs/2411.02718（arXiv 預(yù)?。?/span>

背景介紹

健康管理（Prognostics and Health Management，PHM）是避免設(shè)備故障導(dǎo)致人員安全和經(jīng)濟財產(chǎn)損失的重要技術(shù)手段，而算法模型泛化性不足等瓶頸問題嚴重制約著 PHM 技術(shù)的發(fā)展應(yīng)用。作為健康管理的重要環(huán)節(jié)，傳統(tǒng)故障診斷也面臨著跨工況適應(yīng)能力、小樣本學(xué)習能力和跨對象泛化能力等諸多挑戰(zhàn)。

大語言模型（LLM）通過千億級參數(shù)化的先驗知識與深層次的模式識別能力，為提升故障診斷模型的泛化性提供了新的可能性。因此，團隊整合 LLM 與傳統(tǒng)故障診斷技術(shù)優(yōu)勢，以軸承為例探索并打通基于預(yù)訓(xùn)練大語言模型解決泛化故障診斷難題的可能性和技術(shù)路線，初步展現(xiàn)了對跨工況、小樣本、跨對象等泛化診斷任務(wù)的綜合解決能力。

分別開展了單數(shù)據(jù)集跨工況實驗和全量及少量樣本的跨數(shù)據(jù)集遷移實驗，驗證所提出框架同時完成三種泛化故障診斷任務(wù)的能力，證明 LLM 對輸入的模式和形式具有良好的適應(yīng)性。

主要創(chuàng)新及成果

為解決泛化診斷難題，論文提出基于 LLM 的軸承故障診斷框架，創(chuàng)新點主要包括振動數(shù)據(jù)特征的文本化處理和預(yù)訓(xùn)練模型微調(diào)方法。

針對軸承故障診斷中振動數(shù)據(jù)難以挖掘語義信息的問題，基于傳統(tǒng)故障診斷的統(tǒng)計學(xué)分析框架，提出了一種融合時域和頻域特征提取的信號特征量化方法，將時序數(shù)據(jù)進行文本化處理，旨在通過精簡的特征選擇高效學(xué)習小樣本和多工況下的共性特征。

針對 LLM 在解析振動數(shù)據(jù)特征時泛化能力不足的問題，該團隊采用基于 LoRA 和 QLoRA 的振動數(shù)據(jù)微調(diào)方法，有效利用預(yù)訓(xùn)練模型的深層語義理解能力，提高故障診斷的精確度并增強模型的泛化性能。

針對創(chuàng)新點的實驗驗證。通過單數(shù)據(jù)集實驗、單數(shù)據(jù)集跨工況實驗以及全量、少量跨數(shù)據(jù)集實驗，該團隊證明了所提出框架同時具備跨工況、小樣本、跨數(shù)據(jù)集故障診斷能力。

研究團隊采用 CWRU、MFPT、JNU、PU 四個軸承故障診斷公開數(shù)據(jù)集，分別針對基于特征的 LLM 故障診斷和基于數(shù)據(jù)的 LLM 故障診斷方法進行驗證。

案例實驗驗證了所提出框架在三種泛化任務(wù)上的適應(yīng)性，且經(jīng)過跨數(shù)據(jù)集學(xué)習的模型同比獲得 10% 左右的精度提升。

未來研究方向

1. 該框架更多地在特征提取和故障模式判別階段將 LLM 與故障診斷相結(jié)合，未來可充分利用診斷領(lǐng)域知識和大模型架構(gòu)知識，實現(xiàn)大模型與裝備故障診斷的深度融合。

2. 論文以軸承為例，探索了預(yù)訓(xùn)練 LLM 解決泛化故障診斷難題新思路。未來可將其作為基礎(chǔ)與參考，特異性設(shè)計模型結(jié)構(gòu)，將框架拓展至其他領(lǐng)域?qū)ο?/strong>，如動力、控制系統(tǒng)的電源、功能電路等。

3. 論文以故障診斷為例展示了 LLM 對傳統(tǒng)健康管理手段的擴展能力，未來還可將技術(shù)延拓到預(yù)測、評估等典型健康管理領(lǐng)域，打通 PHM 開發(fā)方案生成、數(shù)據(jù)生成、能力生成、解決方案生成、驗證評價、方案更新等技術(shù)流程，支撐裝備 PHM 設(shè)計、診斷、評估、預(yù)測、決策、推薦、驗證、更新等下游任務(wù)。

4. 論文利用 LLM 的文本處理能力及泛化性能，初步實現(xiàn)了基于預(yù)訓(xùn)練 LLM 的泛化故障診斷功能；未來將在此基礎(chǔ)上，構(gòu)建以健康管理領(lǐng)域多模態(tài)信息為基礎(chǔ)、以 PHM 各種功能需求為主要業(yè)務(wù)、以生成涌現(xiàn)能力為目標的垂直領(lǐng)域健康管理大模型，實現(xiàn)以通用化、判別式、實戰(zhàn)性為主要特點的健康管理領(lǐng)域新生態(tài)及根本性技術(shù)轉(zhuǎn)變（參考 An Outline of Prognostics and Health Management Large Model: Concepts, Paradigms, and Challenges, https://arxiv.org/abs/2407.03374）。

也歡迎關(guān)注北航 PHM 團隊提出的健康管理大模型進階研究范式 roadmap！