基於人工智能的滾動軸承PHM方法綜述

原文

A comprehensive review of artificial intelligence-based approaches for rolling element bearing PHM:shallow and deep learning

https://link.springer.com/article/10.1007/s42791-019-0016-y#Sec14

原文是一篇英文的綜述，這篇博客和論文大意上一致，但內容上有所刪減，表述上有修改。寫這邊博客的目的也是爲了對該方向的研究有個大致的瞭解，以方便自己後來的學習。然後也期待和有相同研究的人一起交流。

摘要

本文的目的是對當前滾動軸承（REB）的故障檢測、診斷以及預測的技術進行全面回顧。與基於模型的方法相反，數據驅動方法由於低成本傳感器和大數據的可用性而越來越受歡迎。首先我們先回顧REB的預測與健康管理技術（PHM）的基本原理。然後給出不同軸承失效模式的簡要描述，展示用於REB故障診斷和預測的不同健康特徵（指標、標準）。本文旨在爲研究人員提供一個整體平臺，以選擇和採用最適合其應用的方案。本文提供了當前REB PHM技術的概述，尤其關注人工智能技術在REB故障檢測、診斷和預測中的應用。

簡介

物聯網（IoT），大數據分析和人工智能的迅速發展對PHM產生了深遠影響。作爲一門新興學科，PHM通過保護工程資產免受潛在危險和突然故障的影響，確保工程系統的經濟高效運行和管理。PHM還提高了工程資產的效率，可靠性和可用性。PHM的內容主要包括故障檢測（故障是否存在），故障類型和位置的分析（診斷）以及未來的健康狀況和剩餘使用壽命預測（RUL）（預後）[1, 2, 3, 4, 5, 6, 7, 8, 9]。PHM還審查決策和反饋，以提供改進的基於狀態的維護策略（CBM）。PHM的主要過程一般表示如圖1所示。

圖1：PHM的主要過程

PHM是一個廣泛的研究領域，本文重點回顧和總結旋轉電機（REM） 的現代PHM技術。REM是大多數工程流程的核心，REM故障是工業故障的主要原因之一，其中REB故障佔REM故障的45%-55%[10, 11],所以下文的討論主要圍繞REB的PHM技術展開。基於現有模型（物理/數學）的REB PHM研究存在許多困難，這是因爲嘈雜和複雜的工作條件導致建模十分困難從而限制了其發展。此外現有的模型，尤其是基於物理的模型無法使用新測量到的數據實時更新，物理模型如圖2(a)所示。與基於模型的方法不同，數據驅動方法越來越受歡迎，因爲它們無需建模。此外傳感器以及計算系統的發展使得我們能夠容易地獲取大量測量數據，如振動、溫度、聲吸收、聲音測量、油污、激光唯一以及定子電流監測等。獲取的信號包含故障信息和特徵，對信號進行預處理，然後就可以提取不同的特徵以更好地理解REB的健康狀態。然而我們必須認識到，由於工業中實際惡劣的工作條件（高機械負載，機械衝擊等），這些信號通常具有低信噪比和非平穩統計參數。這因素使得標準的基於數據驅動的REB PHM方法變得困難並限制了其有效性、性能和靈活性[5]。因此需要擴展或改進現有的標準的基於數據驅動的REB PHM方法，又或者完全開發其他方法，以上這些方法稱爲智能數據驅動方法。例如將傳統機器（淺層學習）和目前火熱的深度學習應用到PHM中，如圖2(b)(c)所示。

圖2：a 基於物理/數學模型的PHM技術，b 基於淺層學習的PHM技術，c 基於深度學習的PHM技術

再次說明，本文的目的是回顧和總結應用於REB故障檢測、診斷和預測的最新智能PHM技術，爲進一步研究相關主題提供參考。本文首先對淺層學習算法進行討論和分類，然後再回顧最先進的基於深度學習的滾動軸承故障檢測、診斷和預測技術。本文組織機構將以下順序安排，第二章簡要介紹不同的軸承失效模式及其原因，然後總結了不同的表示健康的特徵（指標和標準）。第三章將詳細介紹現有的REB PHM的淺層學習算法。第四章則說明了PHM的最新調查和研究成果，即基於深度學習 的REB故障檢測、診斷和預測。最後，在第五章中給出總結。

2. REB PHM的基礎知識

在工業中，許多機器的健康狀況取決於REB的穩健性和可靠性。在操作期間獲製造安裝期間，REB都可能出現故障。因此導致故障發生的缺陷的檢測、診斷和預測十分有必要。

2.1 軸承失效模式

裂縫，擠壓，磨損，壓痕等微小缺陷就會引起異常振動，噪音甚至設備的突然故障。不同的故障可能由多種因素引起，比如剝落，腐蝕，生鏽，蠕動和歪斜等。根據ISO 15243[12]，最常見的缺陷是疲勞，磨損，腐蝕，電腐蝕，塑性變形以及斷裂和開裂，接下來將簡要介紹每種缺陷的產生原因。

• 疲勞開始是由於材料結構變化導致的軸承表面（滾子或滾道）上的微小裂縫，這是由接觸區域中的重複應力引起的。
• 由於密封不好或潤滑不足，來自軸承內部污垢或異物導致了磨損。
• 電腐蝕是由於通過軸承的電流導致一個軸承部件（滾子或座圈）損壞（以凹坑的形式）。
• 腐蝕主要是由於水或腐蝕劑存在於軸承內部從而導致密封件損壞，酸性潤滑劑或工作溫度的突然大幅度變化也會導致腐蝕的產生。
• 塑性變形主要在軸承承受大負荷而導致滾道凹陷時產生的。
• 斷裂和開裂則是由衝擊或循環應力引起的，另外高溫也是其產生的因素之一。

2.2REB的健康指標

滾動原件軸承的PHM技術通常使用不同的傳感器來收集幾個原始物理信號（振動，定子電流，溫度，轉自速度等），通常是從這些原始信號的時頻域中提取出數十個特徵以用於檢測、診斷和預測REB系統的健康狀況。

Table1 Various features used in REB PHM techniques

No.	Features	Definition	Physical meaning
Time domain features
1	Maximum		動能相關
2	Minimum		動能相關
3	Absolute maximum		動能相關
4	Sum		動能相關
5	Median		動能相關
6	Most frequent value [13]		動能相關
7	Mean		動能相關
8	Absolute mean		動能相關
9	Mean absolute deviation [13]		動能相關
10	Harmonic mean（調和平均數）		提供最真實的平均能量
11	Trapezoidal numerical integration（梯形數值積分）[13]		None
12	Percentiles		None
13	Interquartile rang(IQR) [13]		None
14	Energy quantification related [14]		能量量化
Cation related
15	Root mean square (RMS)		動能相關
16	RMS error		動能相關
17	Delta RMS [13]		動能相關
18	Energy quantification related [14]		能量量化
Cation related
19	Peak value [15]		動能相關
20	Peak to peak [15]		動能相關
21	Peat to RMS [14]		動能相關
22	skewness [15]		數據統計相關
23	Kurtosis [16]		數據統計相關
24	Crest factor [15]		正弦波形統計相關
25	Clearance factor [15]		None
26	Impulse factor [15]		正弦波形統計相關
27	shape factor [15]		正弦波形統計相關
28	Margin factor[34]		None
29	Coefficient of variance
30	Coefficient of skewness
31	Coefficient of kurtosis
32	不想敲公式了截圖吧

PHM技術中利用頻域信息的有：功率譜分析，快速傅里葉變換（FFT），離散傅里葉變換（DFT），Welch法。利用時頻域信息的技術有：短時傅里葉變換。三維Wigner-Ville分佈，連續小波變換（CWT），離散小波變換（DWT）以及小波包變換（WPT）。

3. REB PHM 的淺層學習算法

本章將介紹基於SL的PHM方法及其在REB PHM中的應用和最新評價。此處將基於SL的各種REB PHM技術分成了三類：統計方法，NN（人工神經網絡）方法和組合方法。此外，根據每種算法的性質和任務，將統計方法細分爲基於LDA（Linear Discriminant Analysis）的REB PHM，基於SVM的REB PHM，基於KNN的REB PHM，基於ELM（極端學習機）的REB PHM以及適用於REB PHM的其他非NN算法。組合方法是利用具有NN方法的非NN算法，或具有信號處理技術的NN算法，或具有信號處理方法的非NN算法的方法，總之是幾種基本方法結合起來使用。

3.1 REB PHM的統計方法

本節將詳細描述應用於REB PHM的基於SL的統計方法。首先會簡要介紹每種算法的典型結構，並概述了其在REB PHM中的應用，然後列出其挑戰、優缺點及其最新進展。

3.1.1 基於LDA的REB PHM

LDA算法旨在找到能夠很好地分離不同類的特徵的線性組合。它通過尋找新的投影方向來幫助分類過程，期望的投影方向應當使數據在那些方向上投影時模內距離減小而模式距離增加[52]。因此它通過最大化類間散射和類內散射的比率來減少維數。LDA的主要目標是減少維度或進行分類。圖3展示了基於LDA的分類的描述性示例。可以看出，如果呈現兩個（分別用紅色和藍色代替），LDA將在投影線（（a）和（b））之後將它們映射到新的特徵空間，從而使得其更加容易進行線性判別。

圖3：線性判別分析（LDA）示例

從圖中可以看出在投影到（b）上的類間距離更大，類內距離更小，因此有更好的判別效果。 LDA算法已經被用於改進根據滾珠軸承故障的嚴重程度的分類問題中[53]。LDA還被用作降維技術，用於尋找可以最佳區分從原始振動信號中提取的一組特徵的特徵維度[54]。zhao等人提出了LDA的跟蹤比例版本（a trace ratio version of LDA TR-LDA）[55]，它使用新的類間散佈矩陣來評估不同類別的可分離性，同時使用新的類內散佈矩陣以評估每個類別中的緊湊性（在許多故障診斷問題中，數據集中的樣本可能並不遵循高斯分佈，所以使用改進的散佈矩陣），其目標函數的分子和分母代表平均類間距離和平均類內距離（歐式距離）。zhao等人還擴展了線性判別中解決痕量比問題（trace ratio problem）的算法(改進版ITR算法，論文中稱爲iITR)以適用於故障診斷問題。Jin等人也提出了TR-LDA算法並用於降維[56]，然後用作電機軸承健康狀態分類，包括單點故障和廣義粗糙度引起的故障。Ciabattoni等人提出了另一種形式的LDA，稱之爲Δ-LDA[57]，該算法應用於REB故障檢測問題，用於處理故障數據降維和故障檢測。Δ-LDA主要用於克服類間散射矩陣跡線非常接近於零的問題，這種情況一般出現在檢測不同軸承故障的時候，當類重疊時，這種算法確實提高了分類的準確性。文獻[58]提出了一種軸承損傷的故障診斷方案，即通過LDA算法評估定子電流頻譜中頻率從而挑選產生出電流特徵，再由貝葉斯分類器進行故障診斷。

3.1.2 基於SVM的REB PHM

機器學習和統計方法中的分類器都是從給定的輸入數據中學習，然後使用學習到的模型（用於表示數據潛在的規律的一組參數）對新觀察的數據進行分類。這種方法也被應用到檢測並診斷各種軸承故障中（外圈故障（ORF），內圈故障（IRF）和滾珠軸承故障（BBF）或保持架故障）。其中最常用的分類器就是SVM。

SVM的基本思想就是首先將輸入數據非線性地映射到更高維的特徵空間使得輸入數據變得線性可分，然後在新的特徵空間中，構造線性決策函數。在新的特徵空間的內積可以看作是原始空間內積非線性映射的結果，這種非線性映射可以抽象成核函數。在機器學習中，SVM被認爲是用於分類和迴歸分析的監督學習模型。對於分類問題，SVM就是找到具有最大間隔（兩個異類支持向量到超平面的距離）的超平面以構建最佳的邊際分類器。SVM的一個重要性質就是：訓練完成後，大部分訓練樣本都不需要保留，最終模型僅與支持向量有關，如圖4所示。

圖4：支持向量機（SVM）的示例

爲了適應各種具體使用場景，許多研究人員提出了改進版SVM算法。Sugumaran等使用SVM和近端SVM（PSVM）分類器用於尋找振動信號的最佳時域統計特徵和直方圖特徵[60]。 針對REB的故障診斷問題，文獻[61]提出了一種混合的兩級一對一（OAA）SVM方法，以更準確地預測故障類型。在第一級的SVM中，振動信號被分爲正常或故障，然後在第二級SVM故障再被細分爲具體的故障類型。此外文獻[62]提出了一種用於自動軸承故障診斷的單級v-SVM算法，該算法僅使用正常狀態的數據。爲了充分發揮SVM的優勢，文獻[63]提出了兩種多層核學習模型，監督增量局部切線空間對齊（supervised incremental local tangent space alignment SILTSA）-SVM和監督線性局部切線空間對齊（supervised linear local tangent space alignment SLLTSA）-SVM，並將其應用於REB故障診斷中。文獻[64]則將監督方法與降維算法（ILTSA和LLTSA）相結合。此外，爲了優化對分類性能有顯著影響的SVM參數，文獻[65]提出了一種改進的蟻羣優化算法（IACO）來確定參數，然後將IACO-SVM算法應用於滾動軸承故障檢測。更近的關於將SVM應用到REB軸承故障檢測和診斷的研究請參照以下文獻[66, 67, 68, 69, 70]。

3.1.3基於KNN的REB PHM

KNN是非參數的（模型結構主要由數據確定但不對底層數據分佈做任何假設）懶惰算法（與急切算法相反，它不學習判別函數但是使用所有的訓練數據用於分類），其中現有的數據被分組成若干類以用於對新數據進行分類。因此，KNN的主要優點是學習非常簡單，易於理解（有清晰的物理意義），對於噪聲訓練數據和複雜目標函數而言是一種有效的分類算法，十分適用於REB PHM[71]。然而，基於KNN的REB PHM也存在一些缺點，因爲它是一個惰性算法，它需要存儲整個數據集，因此需要比較整個訓練樣本的距離值，這十分耗費時間和空間。

圖5：KNN示例

KNN的示意圖如圖5所示。如果k=3，則測試數據（圖中綠色乘法符號）被分類爲等級1（圖中內圈），但如果k=6，則將測試數據分類爲等級2（圖中外圈）。因此參數k的確定對於基於KNN 的REB故障檢測和診斷的準確性是至關重要的。但是k的最佳選擇是取決於數據是什麼樣子。如果k很大，噪聲的影響就會減少，但類之間的界限不那麼明顯；如果k很小，雖然可以獲得嚴格的邊界，但分類可能容易受到噪聲和異常值的影響（即會出現過擬合的問題）；而在解決軸承故障檢測和診斷的時就會面臨這種情況。1992年KNN首次用於低速（<=100rpm）REB的故障檢測和診斷[72]。Y.Lee等人提出了加權KNN（WKNN）分類器的組合[73]，用以克服前面提到的兩個基於KNN的REB故障檢測和診斷的缺點。KNN還可以和其他分類方法相結合，以增強REB的故障檢測和診斷能力，如與SVM結合[74]，與KPCA（kernel PCA）結合[75]，模糊C均值方法（the fuzzy C-means method ）[76]，二元差分進化算法[77]，或the K-star classifier[78]。最近有個研究就是把最優KNN模型和KPCA結合起來處理軸承故障檢測和診斷，其中KNN使用粒子羣優化方法進行優化[79]。

3.1.4 基於ELM的REB PHM

ELM由G.Huang等人於2006年提出[80]，具有極快的學習速度（與運用反向傳播算法訓練相比）並能提供良好的泛化性能。ELM提供了對前饋神經網絡（FNN）學習速度的改進，因爲傳統的FNN學習速度非常慢，特別是在實時應用中。FNN學習速度慢主要有兩個原因：FNN廣泛使用基於慢梯度的學習算法進行訓練，而在使用的過程中所有的網絡參數都被迭代調整[80]。ELM是僅使用單個隱藏層的前饋神經網絡（SLFNN），如圖6所示，隨機確定輸入到隱藏層的權值然後再分析確定輸出權值。

圖6：ELM的基本結構

ELM首先由Razavi-Far和Saif單獨應用於REB故障診斷系統[81]，以處理非平穩環境中增量學習的能力 並能在類不平衡條件下檢測和診斷軸承故障。另外還有兩種採用最先進集成技術的ELM方法，一個是文獻[82]提出的Learn++.CDS（Concept Drift with SMOTE）用於克服非平穩環境中的類不平衡問題，另一個是文獻[83]提出的Learn++.NIE（nonstationary and imbalanced environment）用於在非靜態環境的增量階段處理類不平衡數據。最近一項使用ELM進行REB狀態監測的研究由W.Mao等人進行[84]，他們試圖解決在按順序在線收集數據時發生的在線不平衡數據問題，即故障數據的數量遠遠少於正常數據的數量。

3.1.5 REB PHM的其他統計算法

Sugumaran等研究了基於自動規則學習的決策樹應用於模糊分類器的有效性[85]。決策樹用於從振動信號中選擇不同的提取統計特徵，然後基於生成的“if-then”規則設計多個隸屬函數。最後，構建模糊推理引擎設定預定閾值，然後對REB的健康狀況進行分類。文獻[86]提出了一種基於決策樹的方法，在數據集中數據點較小的情況下，利用直方圖特徵來改進以前的結果。

本文還調研了其他不同的用於檢測和診斷REB健康狀態的非NN 方法。Yu提出了一種基於監督學習的局部和非局部保持投影（SLNPP）方法[87]；Kankar等人使用學習矢量量化（LVQ）作爲REB故障分類器[88]。Cao等人開發了一種基於半監督模糊C均值（SFCM）聚類分析的故障診斷方法[89]；最近，針對來自故障滾動軸承的振動信號的非平穩和非高斯特性，Han等人開發了VMD-AR（variational mode decomposition-autoregressive）模型[90]，並研究了使用隨機森林學習（RFL）分類器診斷REB故障。應用VMD分解振動信號，能夠獲得一系列靜止分量信號，然後爲每個分量模式建立相應的AR模型。這些模型用作故障特徵向量。最後，考慮使用新型RFL分類器進行模式識別，以診斷不同的軸承故障。

Mohsenzadeh等[91]引入了一種新的稀疏貝葉斯學習（SBL）算法，稱爲相關樣本特徵機（RSFM），它具有爲迴歸或分類問題同時選擇相關樣本和相關特徵的能力。此外，論文還說明，RSFM具有避免過度擬合的優點，其在測試階段減少了系統的複雜性和取得了更好的泛化性能。Wong 等人[92]， 成功地採用了一種基於稀疏貝葉斯極值學習委員會機器的新型結構，實現了對軸承故障的智能診斷和同時診斷。

Shen等人還提出了基於遷移學習（TL）技術的軸承故障診斷技術[93]，這種遷移並不限於同一領域[94]；它使用奇異值分解技術（SVD）[95]作爲其特徵提取工具。文獻[93]描述了所提出的TL方法的主要思想“利用選擇性輔助數據來輔助目標數據分類，其中通過TrAdaBoost算法來調整它們之間的權值從而來增強故障診斷能力。此外，可以通過兩個源之間的相似性判斷來避免負遷移，從而提高了所提出方法的準確性和減少了計算量。”

流形學習（Manifold learning (ML) ）[96]的技術被廣泛用於聚類分析[97]，圖像處理[98]，生物信息[99]等領域。然而ML技術很少用於故障診斷，當前ML僅被用作爲一種非線性時間序列的降噪方法，應用於齒輪振動信號分析[100]。最近Wang等人[101]提出了一種新的基於統計局部線性嵌入的流形學習算法的REB故障診斷方法，該算法是LLE的擴展[102]。Wang等人還進行了另一項研究，就是將ML技術與小波包變換相結合，再用於檢測REB故障振動信號中的弱瞬態信號。該研究提出了一種名爲波形特徵流形（WFM）[103]的提出方法，該方法利用二進制小波包變換得到波形特徵空間，然後用於提出弱信號。

剩下沒有提到的一些學習技術，例如貝葉斯學習（BL）[104]和Widrow-Hoff學習算法（WHL）[105]。原文作者未發現任何將這些技術應用於REB PHM的研究，儘管研究人員可能會在未來考慮這些技術。

3.2 REB PHM的神經網絡方法

人工神經網絡是一種統計模型，其靈感來自與構成人類大腦的生物神經網絡。NN通常由輸入層，隱藏層和輸出層組成，如圖7所示。輸入層中的節點表示從所獲取的信號中提出的歸一化特徵。

3.3 REB PHM的組合方法

合併不同的技術是技術開發中常用的方法，在此基礎上，許多研究人員將不同的基於SL的方法結合起來處理REB PHM。因此在本文中，這些基於SL的組合方法可以分爲使用NN方法的統計算法，具有信號處理方法的NN算法和具有信號處理的統計算法。

4 應用於REB PHM的深度學習算法

4.1 基於CNN的REB PHM方法

卷積神經網絡（CNN）是一種深度學習技術。根據其定義CNN是一個多層的前饋神經網絡，其輸入是具有網格結構的數據。例如時間序列（振動信號也是時間序列的一種）數據（可以認爲是在時間軸上有規律採樣形成的一維網格），圖像數據（可以看作二維的像素網格）。它受到人類視覺皮層神經元的啓發，具有兩個特徵。一個是局部連接，這意味着由於網格數據在子區域內具有高相關性，而這些相關信息對於網格數據的識別是非常關鍵的，通過濾波器（也稱核函數，與輸入作卷積運算的權重矩陣）與前一層中的子區域作卷積可以把這些相關信息提取出來作爲特徵映射。另一個特徵是參數共享，因爲關鍵的特徵信息可能出現在網格數據的任何位置，通過讓濾波器在網格數據上移動（可以認爲在網格數據上使用了多個參數相同的濾波器），可以提取出不受位置影響的特徵信息。參數共享的做法使得CNN的參數大大減少，訓練效率得到有效的提升。更重要的是，如今許多開源的CNN模型都可以使用（例如，GoogLeNet，AlexNet），這對研究人員而言無疑是具有極大吸引力的。

CNN由一系列層組成，其中卷積層和池化層首先出現，而完全連接層在最後。CNN架構的描述性示例如圖8所示。卷積層用於檢測來自前一層的局部相關性。它有許多超參數，例如濾波器的數量，濾波器大小，步幅大小以及如何填充。然後一般會在卷積層後面接一個非線性的激活函數，常用的有ReLU等，這保證了對原始數據處理後能生成不變的局部特徵，也有效地抑制了梯度消失的問題。池化層用於匯聚局部特徵中最具代表性的特徵，常見的幾種做法是最大池化（取局部的最大值來代表這個塊），平均池化（取局部的平均值來代表這個塊），L2範數池化。當然也有一些研究，不使用池化層，而是考慮更大的步幅。可以通過多次堆疊卷積層和池化層來學習得到更高階的特徵，最後通過完全連接層將這些特徵完全連接，然後將其輸入到softmax函數中最後輸出類別概率向量。

圖8：卷積神經網絡的描述性示例

文獻[161]在原始故障振動信號上分別使用了單層到三層的卷積神經網絡，以研究網絡結構參數對故障分類準確性的影響。上述研究還發現當輸入信號包含噪聲時，卷積神經網絡搭建的分類器還能有效地工作。爲了更好地處理REB PHM問題，文獻[162]提出了分層自適應DCNN和能量波動的多尺度特徵學習。總的來說，CNN可以自主地從數據本身學習用於故障檢測的有用特徵，可以被認爲是一種特徵學習模型。 

4.2 基於RNN的REB PHM方法

循環神經網絡（RNN）可以理解爲在深度神經網絡中以遞歸的方式應用相同權重的一種神經網絡結構（即，權重在整個網絡中共享，但此處的權重共享並不是使用一模一樣的權重矩陣，後面處理後續輸入使用的權重由前面的權重迭代得到的，而每次迭代的方法是一樣的，所以可以用遞歸來理解RNN）。RNN在隱藏層中具有循環連接，這種結構可以使得RNN具有一定的記憶功能以保留過去的信息。RNN常用來處理序列數據（具有時間軸的傳感器數據，自然語言數據等），其具有遞歸結構，因此可以方便地處理可變長度的序列。傳統的RNN雖然在分析序列信息方面非常強大，然而在模型訓練的反向傳播過程中，它可能面臨梯度消失的問題。因此出現了改進版的RNN，即LSTM[173]和GRU[174]技術。RNN結構圖如圖9所示。

圖9：RNN結構示意圖

大部分文獻使用RNN不僅對REB做故障診斷，也用於預後。文獻[175]研究表明動態遞歸神經網絡（DRNN）可以學習非線性系統的動態特徵，而傳統的靜態神經網絡不能。而利用正交模糊鄰域判別分析（OFNDA）特徵對DRNN進行饋送，可以應用到實時的REB健康狀態監測。

Malhi等人[176]使用CWT技術預處理來自具有缺陷誘因的REB（即當前尚沒有明顯缺陷，但存在缺陷誘因，會使得其未來會出現明顯缺陷）的振動信號，然後使用基於競爭學習的RNN算法進行長期預測。文獻使用不同的統計參數作爲RNN的輸入，根據競爭學習原理做聚類以有效表示軸承缺陷的發展。研究結果表明RNN在短期預測案例中效果不佳，但對於長期預測，RNN確實提高了訓練速度並取得了良好的預後效果。Sharma等人[177]提出了一種魯棒的故障分析方法來診斷和預測REB的故障嚴重程度。文章首先使用DWT進行特徵提取，並使用正交模糊鄰域判別分析（OFNDA）技術來篩選特徵，最後使用DRNN方法預測REB的健康狀態並對其不同故障進行分類。Xie和zhang[178]使用了兩種方法，即回波狀態網絡（ESN）和循環多層感知機（RMLP），這都是RNN的變體，用於基於振動信號的REB故障預測。所使用的兩種方法與自迴歸移動平均（ARMA）和SVM方法相比，可以在數據有限的情況下更快地預測REB的健康狀況。各種研究表明，RNN可用於做缺陷預後，尤其適用於軸承的健康狀態預測，具體可以參見文獻[179]和[180]。

4.3 基於DNN的REB PHM方法

深度神經網絡（DNN）是人工神經網絡的一種，通常具有更優越的性能，更深層次的結構使得其具有強大的特徵學習能力。使用深度學習技術構建體系結構的DNN是一種逐層學習技術，能夠解決局部最優的問題，從而很好的訓練網絡參數。可以通過受限玻爾茲曼機（RBM）或自編碼器（AE）技術構建深層DNN結構。接下來的兩個小節將分別回顧基於RBM和基於AE的REB PHM的研究。因此，先做RBM的簡要描述，然後再介紹它的一些變體在REB PHM中的應用。

由於我對深度生成模型這塊內容的基礎理解還不夠，感覺這塊沒有講清楚，先再學習深度生成模型的東西，再來寫後續內容吧。

4.4 基於AE的REB PHM方法

5 總結

未完待續！！!

參考文獻

[1] V. Venkatasubramanian, R. Rengaswamy, S.N. Kavuri, K. Yin, A review of process fault detection and diagnosis Part III: process history based methods. Comput. Chem. Eng. 27(3), 327–346 (2003)

[2] S.X. Ding, P. Zhang, T. Jeinsch, E.L. Ding, P. Engel, W. Gui, A survey of the application of basic data-driven and model-based methods in process monitoring and fault diagnosis. Preprints of the 18th IFAC World Congress Milano (Italy) (2011), pp. 12380–12388

[3] S. Yin, S.X. Ding, X. Xie, H. Luo, A review on basic data-driven approaches for industrial process monitoring. IEEE Trans. on Industrial Electronics 61(11), 6418–6428 (2014)

[4] C. Hu, B.D. Youn, P. Wang, Time-dependent reliability analysis in operation: prognostics and health management. in Engineering Design Under Uncertainty and Health Prognostics. Springer Series in Reliability Engineering (Springer, Cham, 2019). pp. 233–301

[5] C. Hu, B.D. Youn, P. Wang, Case studies: prognostics and health management (PHM). in Engineering Design under Uncertainty and Health Prognostics. Springer Series in Reliability Engineering (Springer, Cham, pp. 303–342), 2019

[6] I. Shin, J. Lee, J.Y. Lee, K. Jung, D. Kwon, B.D. Youn, A framework for prognostics and health management applications toward smart manufacturing systems. International Journal of Precision Engineering and Manufacturing-Green Technology 5, 519–538 (2018)

[7] C. Hu, B.D. Youn, P. Wang, J.T. Yoon, Ensemble of Data-Driven Prognostic Algorithms for Robust Prediction of Remaining Useful Life. Reliability Engineering and System Safety 103, 120–135 (2012)

[8] G. Niu, J. Jiang, B.D. Youn, M. Pecht, Autonomous health management for PMSM rail vehicles through demagnetization monitoring and prognosis control. ISA Trans. 72, 245–255 (2018)

[9] C. Hu, B.D. Youn, P. Wang, Engineering Design Under Uncertainty and Health Prognostics (Springer, Cham, 2018). ISBN 978-3-319-92572-1

[10] C. Lanham, Understanding the tests that are recommended for electric motor predictive maintenance. Baker Instrument Company (2002)

[11] S. Nandi, H. Toliyat, X. Li, Condition monitoring and fault diagnosis of electrical motors- Areview. IEEE Trans. Energy Convers. 20(4), 719–729 (2005)

[12] ISO 15243 Rolling bearings: damage and failures—terms, characteristics and causes (2004)

[13] B. Attaran, A. Ghanbarzadeh, Bearing Fault Detection Based on Maximum Likelihood Estimation and Optimized ANN Using the Bees Algorithm. Journal of Applied and Computational Mechanics 1(1), 35–43 (2015)

[14] S. Devendiran, K. Manivannan, S.C. Kamani, R. Refai, An early bearing fault diagnosis using effective feature selection methods and data mining techniques. Int. J. Eng. Technol. (IJET) 7(2), 583–598 (2015)

[15] P.P. Kharche, S.V. Kshirsagar, Review of fault detection in rolling element bearing. Int. J. Innov Res Adv Eng (IJIRAE) 1(5), 169–174 (2014)

[16] J. Park, M. Hamadache, J.M. Ha, Y. Kim, K. Na, B.D. Youn, A positive energy residual (per) based planetary gear fault detection method under variable speed conditions. Mechanical Systems and Signal Processing 117, 347–360 (2019)

[52] A.A. Krishnamurthy, M.N. Belur, D. Chakraborty, Comparison of various linear discriminant analysis techniques for fault diagnosis of Re-usable Launch Vehicle. in 2011 50th IEEE Conference on Decision and Control and European Control Conference (CDC-ECC), Orlando, FL, USA, pp. 3050–3055 (2011)

[53] J. Harmouche, C. Delpha, D. Diallo, Linear discriminant analysis for the discrimination of faults in bearing balls by using spectral features. in 2014 First International Conference on Green Energy ICGE 2014, (2014), pp. 182–187

[54] T. Liu, J. Chen, X.N. Zhou, W.B. Xiao, Bearing performance degradation assessment using linear discriminant analysis and coupled HMM. J. Phys: Conf. Ser. 364(012028), 12 (2012)

[55] M. Zhao, X. Jin, Z. Zhang, B. Li, Fault diagnosis of rolling element bearings via discriminative subspace learning: visualization and classification. Expert Syst. Appl. 41, 3391–3401 (2014)

[56] X. Jin, M. Zhao, T.W.S. Chow, M. Pecht, Motor bearing fault diagnosis using trace ratio linear discriminant analysis. IEEE Tran. on Ind. Electr. 61(5), 2441–2451 (2014)

[57] L. Ciabattoni, G. Cimini, F. Ferracuti, A. Freddi, G. Ippoliti, A. Monteri`u, A novel LDA-based approach for motor bearing fault detection. in 2015 IEEE 13th International Conference on Industrial Informatics (INDIN) (IEEE, 2015), pp. 771–776

[58] C.P. Mbo’o, K. Hameyer, Fault diagnosis of bearing damage by means of the linear discriminant analysis of stator current features from the frequency selection. IEEE Trans. Ind. Appl. 52(5), 3861–3868 (2016)

[60] V. Sugumaran, K.I. Ramachandran, Effect of number of features on classification of roller bearing faults using SVM and PSVM. Expert Syst. Appl. 38(4), 4088–4096 (2011)

[61] K.C. Gryllias, I. Ioannis, A. Antoniadis, A support vector machine approach based on physical model training for rolling element bearing fault detection in industrial environments. Eng. Appl. Artif. Intell. 25(2), 326–344 (2012)

[62] D. Fernández-Francos, D. Martínez-Rego, O. Fontenla-Romero, A. Alonso-Betanzos, Automatic bearing fault diagnosis based on one-class ν-SVM. Comput. Ind. Eng. 64(1), 357–365 (2013)

[63] G. Wang, Y. He, K. He, Multi-layer kernel learning method faced on roller bearing fault diagnosis. J. Softw. 7(7), 1531–1538 (2012)

[64] X.M. Liu, J.W. Yin, Z.L. Feng, J. Dong, Incremental manifold learning via tangent space alignment. in Artificial Neural Networks in Pattern Recognition, (Ulm, Germany, 2006), pp. 107–121

[65] X. Li, A. Zheng, X. Zhang, C. Li, L. Zhang, Rolling element bearing fault detection using support vector machine with improved ant colony optimization. Measurement 46(8), 2726–2734 (2013)

[66] D. Hwang, Y. Youn, J. Sun, K. Choi, J. Lee, Y. Kim, Support vector machine based bearing fault diagnosis for induction motors using vibration signals. J. Electr. Eng. Technol. 10, 30–40 (2015)

[67] R. Liua, B. Yang, X. Zhang, S. Wang, X. Chen, Time-frequency atoms-driven support vector machine method for bearings incipient fault diagnosis. Mech. Syst. Signal Proc. 75, 345–370 (2016)

[68] Y. Li, M. Xu, Y. Wei, W. Huang, A new rolling bearing fault diagnosis method based on multiscale permutation entropy and improved support vector machine based binary tree. Measurement 77, 80–94 (2016)

[69] M.M. Manjurul Islam, J. Kim, S.A. Khan, J. Kima, Reliable bearing fault diagnosis using Bayesian inference-based multi-class support vector machines. J. Acoust. Soc. Am. 141(2), 7 (2017)

[70] N. Zhang, L. Wu, J. Yang, Y. Guan, Naive bayes bearing fault diagnosis based on enhanced independence of data. Sensors 18(463), 17 (2018)

[71] M. Tabaszewski, Optimization of a nearest neighbors classifier for diagnosis of condition of rolling bearings. Diagnostyka 15(1), 37–42 (2014)

[72] M. Tabaszewski, Fault detection and diagnosis in low speed rolling element bearings Part II The use of nearest neighbour classification. Mech. Syst. Signal Proc. 6(4), 309–316 (1992)

[73] Y. Lei, Z. He, Y. Zi, A combination of WKNN to fault diagnosis of rolling element bearings. J. Vib. Acoust. 131, 6 (2009)

[74] A.B. Andre, E. Beltrame, J. Wainer, A combination of support vector machine and k-nearest neighbors for machine fault detection. Applied Artificial Intelligence: An Int. J. 27(1), 36–49 (2013)

[75] Q. Wang, Y. Liu, X. He, S. Liu, J. Liu, Fault diagnosis of bearing based on KPCA and KNN method. Advanced Materials Research 986–987, 1491–1496 (2014)

[76] S. Dong, X. Xu, R. Chen, Application of fuzzy C-means method and classification model of optimized K-nearest neighbor for fault diagnosis of bearing. J. Braz. Soc. Mech. Sci. Eng. 38(8), 2255–2263 (2016)

[77] P. Baraldi, F. Cannarile, F.D. Maio, E. Zio, Hierarchical k-nearest neighbours classification and binary differential evolution for fault diagnostics of automotive bearings operating under variable conditions. Eng. App. of Artificial Intell. 56, 1–13 (2016)

[78] R.K. Sharma, V. Sugumaran, H. Kumar, M. Amarnath, Condition monitoring of roller bearing by k-star classifier and k-nearest neighborhood classifier using sound signal. SDHM Structural Durability and Health Monitoring 12(1), 1–16 (2017)

[79] S. Dong, T. Luo, L. Zhong, L. Chen, X. Xu, Fault diagnosis of bearing based on the kernel principal component analysis and optimized k-nearest neighbour model. J. Low Freq. Noise Vib. Active Control 36(4), 354–365 (2017)

[80] G. Huang, Q. Zhu, C. Siew, Extreme learning machine: theory and applications. Neurocomputing 70, 489–501 (2006)

[81] R. Razavi-Far, M. Saif, Ensemble of extreme learning machines for diagnosing bearing defects in non-stationary environments under class imbalance condition. in 2016 IEEE Symposium Series on Computational Intelligence (SSCI)(2016)

[82] G. Ditzler, R. Polikar, N. Chawla, An incremental learning algorithm for non-stationary environments and dass imbalance. in International Conference on Pattern Recognition (ICPR) (2010), pp. 2997–3000

[83] G. Ditzler, R. Polikar, Incremental learning of concept drift from streaming imbalanced data. IEEE Trans. Knowl. Data Eng. 25(10), 2283–2301 (2013)

[84] W. Mao, L. He, Y. Yan, J. Wang, Online sequential prediction of bearings imbalanced fault diagnosis by extreme learning machine. Mech. Syst. Signal Proc. 83, 450–473 (2017)

[85] V. Sugumaran, K.I. Ramachandran, Automatic rule learning using decision tree for fuzzy classifier in fault diagnosis of roller bearing. Mech. Syst. Signal Proc. 21(5), 2237–2247 (2007)

[86] V. Sugumarana, K.I. Ramachandran, Fault diagnosis of roller bearing using fuzzy classifier and histogram features with focus on automatic rule learning. Expert Syst. Appl. 38(5), 4901–4907 (2011)

[87] J. Yu, Local and nonlocal preserving projection for bearing defect classification and performance assessment. IEEE Trans. Ind. Electr. 59(5), 2363–2376 (2012)

[88] P.K. Kankar, S.C. Sharma, S.P. Harsha, Rolling element bearing fault diagnosis using wavelet transform. Neurocomputing 74(5), 1638–1645 (2011)

[89] S. Cao, X. Ma, Y. Zhang, L. Luo, F. Yi, A fault diagnosis method based on semisupervised fuzzy c-means cluster analysis. Inter. J. on Cyber. & Informatics (IJCI) 4(2), 281–289 (2015)

[90] T. Han, D. Jiang, Rolling bearing fault diagnostic method based on VMD-AR model and random forest classifier. Shock Vib 216, 11 (2016). Article ID 5132046

[91] Y. Mohsenzadeh, H. Sheikhzadeh, A.M. Reza, N. Bathaee, M.M. Kalayeh, The relevance sample-feature machine: a sparse bayesian learning approach to joint feature-sample selection. IEEE Trans. Cybern. 43(6), 2241–2254 (2013)

[92] P.K. Wong, J. Zhong, Z. Yang, C.M. Vong, A new framework for intelligent simultaneous-fault diagnosis of rotating machinery using pairwise-coupled sparse Bayesian extreme learning committee machine. Arch. Proc. Inst. Mech. Eng. Part C J. Mech. Eng. Sci. 1989-1996 203–210, 16 (2016)

[93] F. Shen, C. Chen, R. Yan, R.X. Gao, Bearing fault diagnosis based on SVD feature extraction and transfer learning classification. in Prognostics and System Health Management Conference (PHM) (IEEE, 2015), pp. 1–6

[94] S.J. Pan, Q. Yang, A survey on transfer learning. IEEE Trans. Knowl. Data Eng. 22(10), 1345–1359 (2010)

[95] B. Lei, L.Y. Soon, E.L. Tan, Robust SVD-based audio watermarking scheme with differential evolution optimization. IEEE Trans. Audio Speech Lang. Process. 21(1), 2368–2378 (2013)

[96] H.S. Seung, D.L. Daniel, The manifold ways of perception. Science 290, 2268–2269 (2000)

[97] S. Kadoury, M.D. Levine, Face detection in gray scale images using locally linear embeddings. Comput. Vis. Image Underst. 105, 1–20 (2007)

[98] X. Liu, D. Tosun, M.W. Weiner, N. Schuff, Locally linear embedding (LLE) for MRI based Alzheimer’s disease classification. Neuroimage 83, 148–157 (2013)

[99] K. Kima, J. Lee, Sentiment visualization and classification via semi-supervised nonlinear dimensionality reduction. Pattern Recognit. 47, 758–768 (2014)

[100] J.H. Yang, J.W. Xu, D.B. Yang, Noise reduction method for nonlinear time series based on principal manifold learning and its application to fault diagnosis. Chin. J. Mech. Eng. 42, 154–158 (2006)

[101] X. Wang, Y. Zheng, Z. Zhao, J. Wang, Bearing fault diagnosis based on statistical locally linear embedding. Sensors 15, 16225–16247 (2015)

[102] S.T. Roweis, L.K. Saul, Nonlinear dimensionality reduction by locally linear embedding. Science 290, 2323–2326 (2000)

[103] Y. Wang, G. Xu, L. Liang, K. Jiang, Detection of weak transient signals based on wavelet packet transform and manifold learning for rolling element bearing fault diagnosis. Mech. Syst. Signal Process. 54–55, 259–276 (2015)

[104] A. Hertzmann, Introduction to Bayesian Learning, Course Notes (University of Toronto, Ontario, 2004)

[105] M.R.G. Meireles, P.E.M. Almeida, M.G. Simões, A comprehensive review for industrial applicability of artificial neural networks. IEEE Trans. Ind. Electr. 50(3), 585–601 (2003)

[161] D. Lee, V. Siu, R. Cruz, C. Yetman, Convolutional neural net and bearing fault analysis. in Proceedings of the International Conference on Data Mining (DMIN’16), (2016), pp. 194–200

[162] X. Guo, L. Chen, C. Shen, Hierarchical adaptive deep convolution neural network and its application to bearing fault diagnosis. Measurement 93, 490–502 (2016)

[173] K. Cho, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio, Learning phrase representations using RNN encoder–decoder for statistical machine translation. in Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), (Doha, Qatar, October 25-29, 2014), pp. 1724–1734

[174] R. Dey, F.M. Salem, Gate-variants of gated recurrent unit (GRU) neural networks. in IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS), 2017 (2017), pp. 5

[175] W. Abed, S. Sharma, R. Sutton, A. Motwani, A robust bearing fault detection and diagnosis technique for brushless DC motors under non-stationary operating conditions. J. Control Autom. Electr. Syst. 26, 14 (2015)

[176] A. Malhi, R. Yan, R.X. Gao, Prognosis of defect propagation based on recurrent neural networks. in IEEE Transaction on Instrumentation and Measurement, (vol. 60, no. 3, March 2011)

[177] S. Sharma, W. Abed, R. Sutton, B. Subudhi, Corrosion fault diagnosis of rolling element bearing under constant and variable load and speed conditions. IFAC-PapersOnLine 48–30, 049–054 (2015)

[178] Y. Xie, T. Zhang, The application of echo state network and recurrent multilayer perceptron in rotating machinery fault prognosis. in Proceedings of 2016 IEEE Chinese Guidance, Navigation and Control Conference, (China, 2016), pp. 2286–2291

[179] L. Guo, N. Li, F. Jia, Y. Lei, J. Lin, A recurrent neural network based health indicator for remaining useful life prediction of bearings. Neurocomputing 240, 98–109 (2017)

[180] Q. Cui, Z. Li, J. Yang, B. Liang, Rolling bearing fault prognosis using recurrent neural network. in 29th Chinese Control And Decision Conference (CCDC), (2017), pp. 1196–1201