前言

本文基于凱斯西儲(chǔ)大學(xué)（CWRU）軸承數(shù)據(jù)，先經(jīng)過數(shù)據(jù)預(yù)處理進(jìn)行數(shù)據(jù)集的制作和加載，最后通過Pytorch實(shí)現(xiàn)優(yōu)化的KAN模型和KAN卷積模型對(duì)故障數(shù)據(jù)的分類。

1、KAN 網(wǎng)絡(luò)介紹

1.1 KAN 網(wǎng)絡(luò)三大特征

• 數(shù)學(xué)上有據(jù)可依
• 準(zhǔn)確性高
• 可解釋性強(qiáng)

1.2 傳統(tǒng) MLP 的本質(zhì)

多層感知機(jī)（MLPs），也稱為全連接前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)模型的基礎(chǔ)構(gòu)建塊。MLPs 的重要性不言而喻，因?yàn)樗鼈兪菣C(jī)器學(xué)習(xí)中用于逼近非線性函數(shù)的默認(rèn)模型，其表達(dá)能力由普適逼近定理保證。

（1）容易產(chǎn)生梯度消失和梯度爆炸：

• 梯度消失：梯度趨近于零，網(wǎng)絡(luò)權(quán)重?zé)o法更新或更新的很微小，網(wǎng)絡(luò)訓(xùn)練再久也不會(huì)有效果；
• 梯度爆炸：梯度呈指數(shù)級(jí)增長，變的非常大，然后導(dǎo)致網(wǎng)絡(luò)權(quán)重的大幅更新，使網(wǎng)絡(luò)變得不穩(wěn)定。

（2）參數(shù)效率低：

    MLP 通常使用全連接層，意味著每層的每個(gè)神經(jīng)元都與前一層的所有神經(jīng)元相連接，導(dǎo)致參數(shù)數(shù)量迅速增加，尤其是對(duì)輸入維度很高的數(shù)據(jù)；這不僅增加了計(jì)算負(fù)擔(dān)，也增加了模型過擬合的風(fēng)險(xiǎn)。

（3）可解釋性差：

盡管 MLPs 的使用普遍，但它們有著顯著的缺點(diǎn)。例如，在Transformer中，MLPs 幾乎消耗所有非嵌入?yún)?shù)，并且通常在沒有后續(xù)分析工具的情況下（相對(duì)于注意力層）不太可解釋。其可解釋性比較差，和一個(gè)黑盒模型一樣，無法探究是怎么進(jìn)行學(xué)習(xí)的。

1.3 MLP 與 KAN 對(duì)比

（1）Kolmogorov-Arnold 定理：

任何一個(gè)多變量連續(xù)函數(shù)都可以表示為一些單變量函數(shù)的組合?。ㄔ跀?shù)學(xué)的視角，任何問題的核心都是在擬合函數(shù)）

（2）激活函數(shù)可學(xué)習(xí)的：

神經(jīng)網(wǎng)絡(luò)中每一層的輸入輸出都是一個(gè)線性求和的過程，所以如果沒有激活函數(shù)，那么無論你構(gòu)造的神經(jīng)網(wǎng)絡(luò)多么復(fù)雜，有多少層，最后的輸出都是輸入的線性組合，純粹的線性組合并不能夠解決更為復(fù)雜的問題。而引入激活函數(shù)之后，我們會(huì)發(fā)現(xiàn)常見的激活函數(shù)都是非線性的，使得神經(jīng)網(wǎng)絡(luò)可以逼近其他的任何非線性函數(shù)。與MLP不同激活函數(shù)固定 ，而 KAN 激活函數(shù)可學(xué)習(xí)的, 是可變的！

• MLP: 激活函數(shù)固定, 輸入先相加再激活
• KAN: 激活函數(shù)可學(xué)習(xí)的，輸入先激活再相加

（3）樣條函數(shù)：

KAN 中的每層非線性函數(shù) Ф 都采用同樣的函數(shù)結(jié)構(gòu)，只是用不同的參數(shù)來控制其形狀，文章選擇了數(shù)值分析中的樣條函數(shù) spline ,樣條理論是函數(shù)逼近的有力工具。

樣條函數(shù)是由多個(gè)多項(xiàng)式片段組成的函數(shù)，每個(gè)片段在相鄰節(jié)點(diǎn)之間定義。這些片段在節(jié)點(diǎn)處連接，以確保整體函數(shù)的光滑性。

b樣條曲線有一個(gè)優(yōu)勢就是有明顯的幾何意義。通過砍角算法(嵌套的線性插值)可以方便的進(jìn)行曲線的細(xì)分、導(dǎo)矢計(jì)算、曲線分割、逼近(消去節(jié)點(diǎn))，不僅可以方便的進(jìn)行各種操作，而且精度比采用冪基函數(shù)的多項(xiàng)式樣條高。

（4）MLP 與 KAN 對(duì)比：

MPL 是固定的非線性激活 + 線性參數(shù)學(xué)習(xí)，KAN 則是直接對(duì)參數(shù)化的非線性激活函數(shù)的學(xué)習(xí)。KAN 實(shí)現(xiàn)了使用更少的節(jié)點(diǎn)，更小的網(wǎng)絡(luò)，來實(shí)現(xiàn)同樣的效果，甚至更優(yōu)的效果！

1.4 KAN 執(zhí)行過程

1.5 可解釋性

運(yùn)行代碼文件中的 hellokan.ipynb 實(shí)現(xiàn)上述可視化過程

2 KAN 卷積（CKAN）

2.1 CKAN 

最近，有研究者將 KAN 創(chuàng)新架構(gòu)的理念擴(kuò)展到卷積神經(jīng)網(wǎng)絡(luò)，將卷積的經(jīng)典線性變換更改為每個(gè)像素中可學(xué)習(xí)的非線性激活函數(shù)，提出并開源 KAN 卷積（CKAN）

KAN 卷積與卷積非常相似，但不是在內(nèi)核和圖像中相應(yīng)像素之間應(yīng)用點(diǎn)積，而是對(duì)每個(gè)元素應(yīng)用可學(xué)習(xí)的非線性激活函數(shù)，然后將它們相加。KAN 卷積的內(nèi)核相當(dāng)于 4 個(gè)輸入和 1 個(gè)輸出神經(jīng)元的 KAN 線性層。

2.2 CKAN 中的參數(shù)

假設(shè)有一個(gè) KxK 內(nèi)核，對(duì)于該矩陣的每個(gè)元素，都有一個(gè) ?，其參數(shù)計(jì)數(shù)為：gridsize + 1，? 定義為：

這為激活函數(shù) b 提供了更多的可表達(dá)性，線性層的參數(shù)計(jì)數(shù)為 gridsize + 2。因此，KAN 卷積總共有 K^2(gridsize + 2) 個(gè)參數(shù)，而普通卷積只有 K^2。

3.3 CKAN 在軸承故障診斷中的應(yīng)用

通過前面的對(duì)比實(shí)驗(yàn)可以看出，基于 KAN 的卷積網(wǎng)絡(luò)比傳統(tǒng)卷積網(wǎng)絡(luò)在軸承故障分類任務(wù)上效果會(huì)好一些，但是訓(xùn)練時(shí)間較長。后續(xù)可以考慮融合其他模塊，做進(jìn)一步優(yōu)化；同時(shí)基礎(chǔ)的 KAN 層完全可以替代分類任務(wù)中的全連接層，效果顯著，可以在其他數(shù)據(jù)集上做進(jìn)一步的對(duì)比實(shí)驗(yàn)?？偟膩碚f，KAN 卷積的實(shí)現(xiàn)是一個(gè)很有前景的想法，在軸承故障診斷任務(wù)上也存在一定的應(yīng)用前景，值得我們?nèi)ヌ剿鳎?/p>

3 軸承故障數(shù)據(jù)的預(yù)處理

3.1 導(dǎo)入數(shù)據(jù)

參考之前的文章，進(jìn)行故障10分類的預(yù)處理，凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)10分類數(shù)據(jù)集：

train_set、val_set、test_set 均為按照7：2：1劃分訓(xùn)練集、驗(yàn)證集、測試集，最后保存數(shù)據(jù)

上圖是數(shù)據(jù)的讀取形式以及預(yù)處理思路

3.2 數(shù)據(jù)預(yù)處理，制作數(shù)據(jù)集

4 基于 Pytorch的 KANConv 的軸承故障診斷

4.1 定義 KANConv 分類網(wǎng)絡(luò)模型，設(shè)置參數(shù)，訓(xùn)練模型

100個(gè)epoch，訓(xùn)練集、驗(yàn)證集準(zhǔn)確率98%，用改進(jìn) KAN 卷積 網(wǎng)絡(luò)分類效果顯著，模型能夠充分提取軸承故障信號(hào)中的故障特征，收斂速度快，性能優(yōu)越，精度高，效果明顯!（代價(jià)是運(yùn)行時(shí)間比傳統(tǒng)CNN網(wǎng)絡(luò)要慢）

4.2 模型評(píng)估

準(zhǔn)確率、精確率、召回率、F1 Score

故障十分類混淆矩陣：

本文轉(zhuǎn)載自 ??建模先鋒??，作者： 小蝸愛建模