1.模型簡(jiǎn)介與創(chuàng)新點(diǎn)介紹

1.1 模型簡(jiǎn)介

將時(shí)頻圖像和一維時(shí)序信號(hào)相結(jié)合，并使用CBAM注意力機(jī)制優(yōu)化的ResNet和GRU多模態(tài)特征融合模型，來(lái)進(jìn)行故障信號(hào)分類，能夠有效地結(jié)合時(shí)頻圖像空間特征和一維信號(hào)時(shí)間序列特征，能夠充分利用多模態(tài)特征的優(yōu)勢(shì)。

1.2 創(chuàng)新點(diǎn)介紹

創(chuàng)新一：多模態(tài)融合

本模型將時(shí)頻圖像和一維時(shí)序信號(hào)進(jìn)行多模態(tài)融合，充分利用這兩類數(shù)據(jù)的互補(bǔ)性。時(shí)頻圖像通過(guò)馬爾可夫轉(zhuǎn)移場(chǎng)MTF，將信號(hào)的頻率和時(shí)間特征可視化。而一維時(shí)序信號(hào)則保留了原始時(shí)間依賴信息，適合使用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）或GRU進(jìn)行處理。通過(guò)融合這兩種特征：

• 時(shí)頻圖像捕捉了信號(hào)中的高頻、低頻變化趨勢(shì)，有助于識(shí)別頻域中的故障特征。
• 一維時(shí)序信號(hào)保留了信號(hào)的時(shí)間依賴特性，能夠反映出故障在時(shí)間上的動(dòng)態(tài)演化。

這種雙通道的數(shù)據(jù)融合使得模型能夠同時(shí)利用時(shí)間、頻率和圖像特征，從而大幅提升了故障分類的準(zhǔn)確性。

創(chuàng)新二：基于CBAM注意力機(jī)制優(yōu)化的ResNet

CBAM（Convolutional Block Attention Module）是一種用于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的注意力機(jī)制，旨在提高模型的表示能力。CBAM通過(guò)結(jié)合通道注意力（Channel Attention）和空間注意力（Spatial Attention）來(lái)增強(qiáng)特征表示，從而提升模型性能。

將 CBAM 模塊插入到 ResNet 的每個(gè)殘差塊之后，以平衡計(jì)算量與性能提升：

（1）增強(qiáng)的特征表示

通道注意力與空間注意力的結(jié)合：CBAM 提供了通道注意力和空間注意力兩個(gè)模塊。這兩個(gè)模塊分別從特征圖的通道維度和空間維度增強(qiáng)特征表示。通過(guò)在 ResNet 的基本單元中插入 CBAM，網(wǎng)絡(luò)可以更好地捕捉不同特征的重要性，從而在更深的層次上進(jìn)行有效的信息提取和聚合。

（2）細(xì)粒度的特征選擇

細(xì)粒度特征聚焦：CBAM 通過(guò)為特征圖的每一個(gè)通道和每一個(gè)空間位置分配權(quán)重，能夠細(xì)粒度地選擇和強(qiáng)調(diào)重要特征。這種機(jī)制允許 ResNet 更加智能地忽略無(wú)關(guān)的背景信息，專注于故障分類的關(guān)鍵特征。

（3）與殘差連接的無(wú)縫集成

與殘差結(jié)構(gòu)的兼容性：CBAM 可以無(wú)縫地集成到 ResNet 的殘差塊中。由于 CBAM 的設(shè)計(jì)簡(jiǎn)單且高效，它可以直接插入到 ResNet 的每個(gè)殘差塊中，而不會(huì)顯著增加計(jì)算復(fù)雜度。這種集成方式使得 ResNet 保持其原有的優(yōu)勢(shì)（如梯度流動(dòng)性和訓(xùn)練穩(wěn)定性）的同時(shí)，獲得了更強(qiáng)的特征表達(dá)能力。

（4）提升網(wǎng)絡(luò)性能

性能提升：在 ResNet 中加入 CBAM 后，通常能觀察到在圖像分類、目標(biāo)檢測(cè)等任務(wù)上的準(zhǔn)確率提升。通過(guò)對(duì)特征圖的動(dòng)態(tài)調(diào)整，CBAM 能夠幫助網(wǎng)絡(luò)更好地適應(yīng)數(shù)據(jù)的分布特性和任務(wù)需求。

（5）計(jì)算效率與靈活性

• 計(jì)算效率：CBAM 設(shè)計(jì)簡(jiǎn)單，計(jì)算開銷小，適合在不顯著增加網(wǎng)絡(luò)復(fù)雜度的情況下，提升模型性能。
• 靈活性：CBAM 可以靈活地應(yīng)用于 ResNet 的不同變體（如 ResNet-18、ResNet-34、ResNet-50 等），并且能夠根據(jù)具體任務(wù)的需求進(jìn)行調(diào)整和優(yōu)化。

將 CBAM 與 ResNet（Residual Network） 結(jié)合，是一種提升 ResNet 表達(dá)能力的有效方法。這種組合在保持網(wǎng)絡(luò)深度和寬度的同時(shí)，通過(guò)引入注意力機(jī)制來(lái)增強(qiáng)特征表示能力。

創(chuàng)新三：基于一維信號(hào)序列堆疊的時(shí)序特征提取

在處理一維時(shí)序信號(hào)時(shí)，我們對(duì)一維信號(hào)序列數(shù)據(jù)進(jìn)行了堆疊，采用了GRU（門控循環(huán)單元）來(lái)提取時(shí)序特征。這一創(chuàng)新設(shè)計(jì)加快了GRU的計(jì)算效率，在處理一維時(shí)序信號(hào)時(shí)，能夠更加有效地提取出故障發(fā)生時(shí)的關(guān)鍵特征，顯著提高了信號(hào)分類的精度。

創(chuàng)新四：特征融合優(yōu)勢(shì)

模型中的多模態(tài)融合部分，通過(guò)ResNet-CBAM提取時(shí)頻圖像特征和GRU處理一維信號(hào)特征后，我們采用特征拼接融合的方式，將兩種特征結(jié)合。相比于僅使用單一模式特征的傳統(tǒng)模型，融合后的特征在分類任務(wù)中的表現(xiàn)更加優(yōu)越，主要優(yōu)勢(shì)體現(xiàn)在：

• 時(shí)頻圖像和時(shí)序信號(hào)各自提供了不同視角的特征信息，前者提供頻率域特征，后者保留了時(shí)間依賴特性，兩者的結(jié)合能更加全面地反映信號(hào)的故障特征。
• 通過(guò)特征融合，模型在捕捉不同模式下的故障特征時(shí)更加魯棒，尤其在復(fù)雜的故障信號(hào)環(huán)境下，融合的特征能夠更好地應(yīng)對(duì)噪聲干擾和信號(hào)變化。

這種特征融合策略使得我們的模型在多種故障模式下，依然能夠保持高效準(zhǔn)確的分類性能，提升了模型在實(shí)際應(yīng)用中的魯棒性和泛化能力。

2.軸承故障數(shù)據(jù)的預(yù)處理

2.1 導(dǎo)入數(shù)據(jù)

參考之前的文章，進(jìn)行故障10分類的預(yù)處理，凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)10分類數(shù)據(jù)集：

train_set、val_set、test_set 均為按照7：2：1劃分訓(xùn)練集、驗(yàn)證集、測(cè)試集，最后保存數(shù)據(jù)

上圖是數(shù)據(jù)的讀取形式以及預(yù)處理思路

2.2 數(shù)據(jù)預(yù)處理，時(shí)頻圖像變換

我們提供了馬爾可夫轉(zhuǎn)換場(chǎng) MTF 、遞歸圖 RP 、格拉姆矩陣GAF、連續(xù)小波變換CWT、短時(shí)傅里葉變換STFT五種時(shí)頻圖像變換方法，可靈活替換多模態(tài)特征中的時(shí)頻圖像類型！

本文采用馬爾可夫轉(zhuǎn)換場(chǎng) MTF來(lái)作為時(shí)頻圖像變換的處理方法，生成的時(shí)頻圖像如下所示：

3.創(chuàng)新模型效果展示

（1）模型訓(xùn)練可視化

（2）模型評(píng)估

50個(gè)epoch，準(zhǔn)確率98%，用1D-GRU+2D-MTF-ResNet-CBAM網(wǎng)絡(luò)分類效果顯著，模型能夠充分提取軸承故障信號(hào)的空間和時(shí)序特征，收斂速度快，性能優(yōu)越，精度高，效果明顯!

（3）混淆矩陣

其他可視化圖：

（1）原始數(shù)據(jù) t-SNE特征可視化

（2）模型訓(xùn)練后的 t-SNE特征可視化：

本文轉(zhuǎn)載自??建模先鋒??，作者： 小蝸愛(ài)建模 ????