機(jī)器學(xué)習(xí)技術(shù)之預(yù)測(cè)性維護(hù)
本文要點(diǎn)：
- 學(xué)習(xí)預(yù)測(cè)性維護(hù)系統(tǒng)(PMS)，監(jiān)控未來(lái)的系統(tǒng)故障并提前安排維護(hù)時(shí)間表
- 探討如何構(gòu)建機(jī)器學(xué)習(xí)模型進(jìn)行系統(tǒng)的預(yù)測(cè)性維護(hù)
- 了解機(jī)器學(xué)習(xí)的處理步驟，如選擇模型以及用Auto-Encoder技術(shù)去除傳感器噪聲
- 了解如何訓(xùn)練機(jī)器學(xué)習(xí)模型，并在WSO2復(fù)雜事件處理器產(chǎn)品中運(yùn)行模型
- 應(yīng)用例子，在NASA引擎故障數(shù)據(jù)集上用回歸模型來(lái)預(yù)測(cè)剩余使用壽命(RUL)
在日常生活中，我們依賴(lài)于很多系統(tǒng)和機(jī)器。我們要開(kāi)車(chē)出門(mén)、乘坐電梯或者搭乘飛機(jī)。渦輪能產(chǎn)生電，醫(yī)院里的機(jī)器能讓我們活著。這些系統(tǒng)會(huì)發(fā)生故障。有些故障只是給人的生活帶來(lái)不方便，而有些故障則生死攸關(guān)。
當(dāng)風(fēng)險(xiǎn)很高的時(shí)候，我們要對(duì)系統(tǒng)進(jìn)行常規(guī)性維護(hù)。譬如，車(chē)每幾個(gè)月保養(yǎng)一次，飛機(jī)每天保養(yǎng)一次。但是，如同我們?cè)诖宋暮竺嫠懻摰哪菢樱@些方法導(dǎo)致資源的浪費(fèi)。
預(yù)測(cè)性維護(hù)能預(yù)測(cè)故障，采取行動(dòng)來(lái)維修、更換系統(tǒng)，甚至計(jì)劃何時(shí)出現(xiàn)故障。它能極大地節(jié)省開(kāi)銷(xiāo)、帶來(lái)高的可預(yù)測(cè)性和增強(qiáng)系統(tǒng)的可用性。
預(yù)測(cè)性維護(hù)有兩種形式來(lái)節(jié)省開(kāi)銷(xiāo)：
- 避免或最小化故障停機(jī)時(shí)間。它會(huì)避免出現(xiàn)對(duì)故障停機(jī)不滿意的客戶，省錢(qián)，有時(shí)候還能挽救生命。
- 優(yōu)化周期性的維護(hù)操作。
為了了解這些，我們來(lái)看看出租車(chē)公司。如果一輛出租車(chē)壞了，該公司需要安慰不滿意的顧客并派出替換的車(chē)輛，而該出租車(chē)和司機(jī)在維修期間都將閑著。故障的代價(jià)要遠(yuǎn)高于表面上的代價(jià)。
解決這個(gè)問(wèn)題的一種方法是，做一個(gè)消極者，在出現(xiàn)故障之前就更換不可靠的組件。譬如，進(jìn)行常規(guī)的維護(hù)操作，如更換機(jī)油或輪胎。盡管常規(guī)維護(hù)比出現(xiàn)故障好，但是我們會(huì)在系統(tǒng)真正需要維護(hù)之前就進(jìn)行維護(hù)。因此，這不是一個(gè)***的解決辦法。比如，每跑3000英里就換一次機(jī)油，不一定能有效地使用機(jī)油。如果我們能更準(zhǔn)確地預(yù)測(cè)故障，那么該出租車(chē)可以跑幾百英里而不用換油。
預(yù)測(cè)性維護(hù)避免了兩種極端，***化地利用資源。它將檢測(cè)異常和故障模式，早早地給出警報(bào)。這些警報(bào)能促使人們更有效地維護(hù)這些組件。
在這篇文章中，我們將探討如何構(gòu)建一個(gè)用于預(yù)測(cè)性維護(hù)的機(jī)器學(xué)習(xí)模型。下一章節(jié)討論機(jī)器學(xué)習(xí)技術(shù)，隨后討論例子中的NASA數(shù)據(jù)集。第四和第五章節(jié)討論如何訓(xùn)練機(jī)器學(xué)習(xí)模型。“用WSO2 CEP運(yùn)行模型”這一章節(jié)涵蓋了如何將模型應(yīng)用于實(shí)際數(shù)據(jù)流上。
用于預(yù)測(cè)性維護(hù)的機(jī)器學(xué)習(xí)技術(shù)
為了進(jìn)行預(yù)測(cè)性維護(hù)，首先，我們向系統(tǒng)中加入了傳感器，用于監(jiān)控和收集系統(tǒng)運(yùn)行的數(shù)據(jù)。預(yù)測(cè)性維護(hù)所需要的數(shù)據(jù)是時(shí)間序列數(shù)據(jù)。數(shù)據(jù)包括時(shí)間戳、在該時(shí)間戳所收集的傳感器讀數(shù)以及設(shè)備號(hào)。預(yù)測(cè)性維護(hù)的目的是，在時(shí)間“t”，使用截至到該時(shí)間的數(shù)據(jù)來(lái)預(yù)測(cè)設(shè)備在近期是否會(huì)發(fā)生故障。
預(yù)測(cè)性維護(hù)可通過(guò)以下兩種方法之一來(lái)實(shí)現(xiàn)：
- 分類(lèi)方法 – 預(yù)測(cè)在接下來(lái)的n步中是否有可能發(fā)生故障。
- 回歸方法 – 預(yù)測(cè)在下次故障發(fā)生之前的剩余時(shí)間。我們稱(chēng)之為剩余使用壽命(RUL)。
前一種方法只能提供一個(gè)由布爾值表示的答案，但是能從很少的數(shù)據(jù)上獲得很高的準(zhǔn)確率。后一種方法可以提供關(guān)于故障發(fā)生時(shí)間的更多的信息，但也需要更多的數(shù)據(jù)。我們將在NASA引擎故障數(shù)據(jù)集上嘗試這兩種方法。
Turbofan引擎退化數(shù)據(jù)集
Turbofan引擎是一種現(xiàn)代的汽油渦輪引擎，NASA空間探索局用的就是這種引擎。NASA生成了下面的數(shù)據(jù)集來(lái)預(yù)測(cè)Turbofan引擎運(yùn)行一段時(shí)間后的故障?？梢詮腜CoE數(shù)據(jù)集獲得該數(shù)據(jù)集。
數(shù)據(jù)集包括每個(gè)引擎的時(shí)間序列。所有的引擎都是同一類(lèi)型，但在制造過(guò)程中，每個(gè)引擎的初期的磨損程度和差異是不同的，這一點(diǎn)用戶是不知道的。有三種可選的配置，可用于改變每個(gè)引擎的性能。每個(gè)引擎有21個(gè)傳感器，當(dāng)引擎運(yùn)行時(shí)，傳感器收集與引擎狀態(tài)相關(guān)的測(cè)量數(shù)據(jù)。收集到的數(shù)據(jù)中有一些傳感器噪聲。
逐漸地，每個(gè)引擎會(huì)有一些不足，這些可以從傳感器讀數(shù)中發(fā)現(xiàn)。時(shí)間序列在發(fā)生故障前的某個(gè)時(shí)間結(jié)束。數(shù)據(jù)包括引擎單元號(hào)、時(shí)間戳、三種配置以及21個(gè)傳感器讀取的數(shù)據(jù)。
下面圖1和圖2顯示了數(shù)據(jù)的子集。
圖1：數(shù)據(jù)子集
圖2：數(shù)據(jù)子集的前幾列
該實(shí)驗(yàn)的目的是預(yù)測(cè)下一次故障發(fā)生的時(shí)間。
用回歸來(lái)預(yù)測(cè)剩余使用壽命(RUL)
預(yù)測(cè)RUL的目標(biāo)是減小實(shí)際RUL值與預(yù)測(cè)RUL值之間的誤差。我們用均方根誤差作為衡量值，因?yàn)樗鼤?huì)嚴(yán)厲地懲罰大的誤差，迫使算法預(yù)測(cè)結(jié)果接近實(shí)際RUL。
***階段：下面的管道描述了預(yù)測(cè)過(guò)程。作為***個(gè)階段，我們運(yùn)行管道中的幾個(gè)突出的步驟，大致了解下可行性。我們沒(méi)有運(yùn)行特征工程，而是在原始數(shù)據(jù)上運(yùn)行算法。
第1階段：選擇模型
下面的圖3顯示了預(yù)測(cè)性維護(hù)的模型選擇管道。這里只用到了深顏色的管道步驟。
圖3：用于模型選擇的預(yù)測(cè)性維護(hù)管道
我們用到了scikit learn和H2O中的很多回歸算法。關(guān)于深度學(xué)習(xí)，我們用到了H2O中的深度學(xué)習(xí)算法，它既可以用于分類(lèi)應(yīng)用，也可以用于回歸應(yīng)用。該算法基于多層結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，用后向傳播的隨機(jī)梯度下降法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
下面圖4顯示了結(jié)果。模型可以產(chǎn)生25-35的均方根誤差，也就是說(shuō)，RUL將有約25-35時(shí)間步長(zhǎng)的誤差。
圖4：模型選擇的均方根誤差
下面的幾個(gè)步驟，我們將集中在深度學(xué)習(xí)模型上。
第2階段：用Auto-Encoder去除傳感器噪聲
下圖5顯示了帶去噪功能的預(yù)測(cè)性維護(hù)管道。這里只用到了深顏色的管道步驟。
圖5：用于模型選擇的預(yù)測(cè)性維護(hù)管道
一般而言，傳感器讀數(shù)含有噪聲。軟件中自帶的ReadMe文件證實(shí)了這一點(diǎn)。因此，我們用autoencoder來(lái)去除噪聲。Autoencoder是一種簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，它用同一個(gè)數(shù)據(jù)集作為網(wǎng)絡(luò)的輸入和輸出來(lái)訓(xùn)練模型，網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)少于數(shù)據(jù)集的維度。這與主成分分析(PCA)(http://setosa.io/ev/principal-component-analysis/)非常類(lèi)似，在PCA中，數(shù)據(jù)被表示為它的幾個(gè)主要維度。由于噪聲的維度要遠(yuǎn)高于常規(guī)數(shù)據(jù)，該過(guò)程能降低噪聲。
我們用到了有三個(gè)隱藏層的H2O Auto-encoder和下面的標(biāo)準(zhǔn)來(lái)去除噪聲。
去除噪聲后，均方根誤差降低了2。
表1：去除噪聲前后的均方根誤差
第3階段：特征工程
下面的圖6顯示了預(yù)測(cè)性維護(hù)的特征工程管道。這里只用到了深顏色的步驟。
圖6：用于模型選擇的預(yù)測(cè)性維護(hù)管道
在這一步，我們嘗試了很多特征，保留了最有預(yù)測(cè)能力的特征子集。我們用到的數(shù)據(jù)集是時(shí)間序列數(shù)據(jù)集，因此傳感器讀數(shù)是自相關(guān)的。因此，在時(shí)間“t”時(shí)的預(yù)測(cè)很有可能受到“t”之前的某些時(shí)間窗的影響。我們用到的大多數(shù)特征都是基于這些時(shí)間窗的。
在第三章節(jié)中，我們討論了數(shù)據(jù)集含有21個(gè)傳感器的讀數(shù)。更多的細(xì)節(jié)信息可參看與數(shù)據(jù)集一起提供的ReadMe文件。經(jīng)過(guò)一些實(shí)驗(yàn)之后，我們只用到了傳感器2、3、4、6、7、8、9、11、12、13、14、15、17、20和21。對(duì)于每一個(gè)被選中的傳感器，我們通過(guò)運(yùn)用以下方法來(lái)生成特征：滑動(dòng)標(biāo)準(zhǔn)差(窗口大小是5)、滑動(dòng)k-最近平均值(窗口大小是5)以及窗口內(nèi)的概率分布(窗口大小是10)。
我們?cè)囘^(guò)其他某些特征但最終沒(méi)有使用它們，包括：滑動(dòng)平均值、自相關(guān)、直方圖、滑動(dòng)熵和滑動(dòng)加權(quán)平均值。
這些特征使得均方根誤差降低了1。
表2：特征選擇前后的均方根誤差
第4階段：用網(wǎng)格搜索來(lái)優(yōu)化超參數(shù)
圖7顯示了帶超參數(shù)優(yōu)化的預(yù)測(cè)性維護(hù)管道。這里只用到了深顏色的管道步驟。
圖7：用于模型選擇的預(yù)測(cè)性維護(hù)管道
超參數(shù)控制算法的行為特點(diǎn)。在***一步，我們優(yōu)化了如下的超參數(shù)：迭代次數(shù)、分布、激活函數(shù)以及隱藏層的個(gè)數(shù)。每個(gè)參數(shù)的詳細(xì)描述可以參看H2O文檔。我們用網(wǎng)格搜索找到***的參數(shù)，結(jié)果如下表所示。
Table 3：不同超參數(shù)下的均方根誤差
如結(jié)果所描述的，超參數(shù)優(yōu)化將均方根誤差減小了3。在剩余誤差直方圖(圖8)中，可以看見(jiàn)誤差收斂到“0”。過(guò)早預(yù)測(cè)和過(guò)遲預(yù)測(cè)的頻率都被最小化了。
圖8：用于模型選擇的預(yù)測(cè)性維護(hù)管道
構(gòu)建模型來(lái)預(yù)測(cè)后N步的故障
在這個(gè)方法中，我們將預(yù)測(cè)某機(jī)器是否會(huì)在接下來(lái)的30次循環(huán)中發(fā)生故障，而不是預(yù)測(cè)它的剩余壽命長(zhǎng)短。我們將有故障的狀態(tài)看作正面的(P)，沒(méi)有故障的狀態(tài)看作正常的(N)。我們運(yùn)行一個(gè)深度學(xué)習(xí)分類(lèi)模型，用到了同樣的特征工程和去噪過(guò)程。圖9給出了結(jié)果。
混淆矩陣
圖9：用于模型選擇的預(yù)測(cè)性維護(hù)管道
準(zhǔn)確率(accuracy)描述了有多大比列的測(cè)試數(shù)據(jù)被正確地預(yù)測(cè)了。它給出了準(zhǔn)確預(yù)測(cè)的測(cè)試案例的個(gè)數(shù)與測(cè)試案例總個(gè)數(shù)的比列。
如果類(lèi)的分布不均衡，那么僅僅考慮準(zhǔn)確率會(huì)誤導(dǎo)人。在數(shù)據(jù)集中，當(dāng)同一個(gè)類(lèi)被過(guò)分表示時(shí)，就會(huì)出現(xiàn)不均衡的類(lèi)分布。這種情況下，有些模型可能有很高的準(zhǔn)確率但很差的預(yù)測(cè)性能。
為了避免這個(gè)問(wèn)題，我們用查準(zhǔn)率(precision)和查全率(recall)作為衡量標(biāo)準(zhǔn)。查全率是被正確預(yù)測(cè)的正面類(lèi)的個(gè)數(shù)與所有實(shí)際為正面類(lèi)的數(shù)據(jù)的個(gè)數(shù)的比例。
查準(zhǔn)率被定義為一個(gè)模型能預(yù)測(cè)正面類(lèi)的能力。它是被正確預(yù)測(cè)的正面類(lèi)的個(gè)數(shù)與所有被預(yù)測(cè)為正面類(lèi)的數(shù)據(jù)的個(gè)數(shù)的比列。
F1分?jǐn)?shù)用于衡量測(cè)試的準(zhǔn)確率。查準(zhǔn)率和查全率都被用于該分?jǐn)?shù)的計(jì)算中。
關(guān)于準(zhǔn)確率、查全率、查準(zhǔn)率和F1分?jǐn)?shù)，***是值接近1，訓(xùn)練的模型才有很好的性能。
用WSO2 CEP運(yùn)行模型
在處理存儲(chǔ)在磁盤(pán)上的數(shù)據(jù)時(shí)，我們用批處理的形式來(lái)構(gòu)建模型。然而，為了運(yùn)用模型，我們需要在運(yùn)行時(shí)向模型輸入可用的數(shù)據(jù)。數(shù)據(jù)的處理被稱(chēng)為“流處理”。我們用流處理引擎WSO2 CEP來(lái)運(yùn)用模型。
我們用H2O來(lái)構(gòu)建模型。H2O能將模型導(dǎo)出為兩種格式中的一種：POJO(簡(jiǎn)單Java對(duì)象)或MOJO(優(yōu)化的模型對(duì)象)。前者需要被編譯而后者可以直接使用。我們用了CEP中的MOJO模型。
為了評(píng)估模型，我們用到了WSO2 CEP中的一個(gè)擴(kuò)展。WSO2使用一種類(lèi)似于SQL的查詢語(yǔ)言來(lái)處理數(shù)據(jù)流中的數(shù)據(jù)。
如圖10所示，一個(gè)復(fù)雜的事件處理系統(tǒng)接收事件流數(shù)據(jù)，并用一種類(lèi)SQL查詢來(lái)評(píng)估它們。比如，一個(gè)給定的查詢可以計(jì)算一個(gè)一分鐘滑動(dòng)窗口的stockQuotes流，將其與一分鐘窗口的Tweets流連接，并發(fā)送一個(gè)事件到PredictedStockQuotes流。
圖10：用于模型選擇的預(yù)測(cè)性維護(hù)管道
用CEP評(píng)估模型的查詢例子如下面所示。
- from data_input#h2opojo:predict('ccpp/DRF_model_python_1479702792496_1')
- select T, V, AP, RH, prediction
- insert into data_output
下面的圖11顯示了整個(gè)管道，包括訓(xùn)練步驟和評(píng)估步驟。
圖11：用于模型選擇的預(yù)測(cè)性維護(hù)管道
該查詢?nèi)∽咚偷?ldquo;數(shù)據(jù)輸入”流的事件，并運(yùn)用機(jī)器學(xué)習(xí)模型。運(yùn)用機(jī)器學(xué)習(xí)模型包括下面幾個(gè)步驟：
- 用“第3階段：特征工程”章節(jié)中所描述的預(yù)處理步驟對(duì)事件數(shù)據(jù)進(jìn)行預(yù)處理，并生成特征集
- 用生成的特征集來(lái)評(píng)估機(jī)器學(xué)習(xí)模型。
- 返回結(jié)果
結(jié)論
預(yù)測(cè)性維護(hù)的主要目的是預(yù)測(cè)設(shè)備可能發(fā)生故障的時(shí)間。然后采取相關(guān)行動(dòng)來(lái)預(yù)防這些故障。預(yù)測(cè)性維護(hù)系統(tǒng)(PMS)監(jiān)控未來(lái)的故障并提前安排維護(hù)時(shí)間。
這些能降低一些成本。
- 減少維護(hù)頻率。
- 最小化花在某個(gè)被維護(hù)的設(shè)備上的時(shí)間，更充分地利用時(shí)間。
- 最小化維護(hù)費(fèi)用。
本文探討了預(yù)測(cè)性維護(hù)的不同方法，使用了不同的回歸和分類(lèi)算法。而且，本文一步步地展示了調(diào)整這些模型的技術(shù)。我們的最終解決方案在預(yù)測(cè)剩余使用壽命上的RMSE值是18.77，在預(yù)測(cè)后N(30)步內(nèi)可能出現(xiàn)故障上的準(zhǔn)確率是94%。
