振動データ解析を目的とした深層ニューラルネットワークおよび その軸受故障識別への適用
公開日:
カテゴリ: 第17回
振動データ解析を目的とした深層ニューラルネットワークおよびその軸受故障識別への適用
Deep Neural Networks for Vibration Signal Analysis and Its Application for Bearing Fault Classification
東京都立産業技術研究センター
三木大輔
DaisukeMIKI
Member
東京大学
出町和之
KazuyukiDEMACHI
Member
Abstract
Condition-based maintenance (CBM) technology is required to perform maintenance on rotating machinery at the optimal time before deterioration and failure occurs. In this study, we describe a deep neural network (DNN) model and corresponding training method for analyzing vibration data to realize CBM for rotating machinery. To apply DNN models in order to analyze time-series data such as vibration data, we first need to optimize the parameters of the models by training them on a dataset consisting of data as well as annotations about anomalies contained in the data. In addition, when assigning annotations to time-series data, understanding quantitatively where the anomalies are contained in the data and the extent of those anomalies is crucial. In this research, we establish a DNN model and corresponding training method that can detect anomalies from time-series data, which are difficult to annotate. In our experiment, we evaluate the applicability of this method to bearing fault diagnosis using vibration data acquired by acceleration sensors attached to bearings.
Keywords: Fault diagnosis, Deep learning, Neural network, Time-series analysis, Bearings
１．はじめに
回転機器において故障が最も頻繁に発生する部位の一つが転がり軸受であり、転がり軸受に関する故障は回転機器の故障の約40% を占めるという報告もある [1] 。転がり軸受は内輪と外輪および荷重を受けながらその間を接触する転動体から構成されており、その経年劣化や施工不良、給油不足等の問題によって摩耗や疲労剥離、焼付 き等を生じることがある。このような機器に対し、劣化傾 向を管理し故障が生じる前の最適な時期に最善の保全を行う状態基準保全（Condition-Based Maintenance, CBM）技術が求められている。高度な CBM 技術を実現することで、予め定められた周期に従い定期的に保全を行う時間計画保全（Time-Based Maintenance, TBM）の代替とすることができれば、事故の発生を未然に防ぐのみならず、機器 の稼働期間の延長、コストの削減等に繋がる可能性があ
〒113-00334 東京都江東区青海2-4-10
地方独立行政法人東京都立産業技術研究センター 開発本部情報システム技術部IoT 技術グループ
E-mail: miki.daisuke@iri-tokyo.jp
る。
軸受の故障診断法として、軸受に搭載した加速度セン サデータを解析し、異常を検知する振動診断法がある。こ の手法では、加速度センサから取得される振動データに 対して包絡線検波処理等を行った後、高速フーリエ変換
（Fast Fourier Transform, FFT）により得られるスペクトル情報から異常を検知する方法が一般的である。スペクトル情報から得られたピーク周波数は、軸受に生じた亀裂の箇所と転がり軸受に含まれる転動体の直径と個数、回転周波数、ピッチ円半径および接触角によって決定されることが知られており、これらを用いて故障部位を推定する方法も提案されている。振動診断法は回転機器の故障診断に最もよく用いられる方法であるが、故障の原因やその進行の程度の理解には熟練者や専門家の知識が必要であることが課題であり、熟練者や専門家の知識に頼ることのない自動的、客観的、定量的な自動診断方法も求 められている。
このようなデータの解析技術は、機器の故障診断や状態監視等を実現する上で重要な技術であり、統計的手法 や機械学習手法等に基づく様々な手法が提案されている。 上記のような特徴抽出作業は特徴量エンジニアリングと
呼ばれるが、従来の機械学習手法ではこれらの特徴抽出 器の設計は手作業で行われることが多く、結局のところ 熟練者や専門家の知識を必要とすることが課題であった。
一方で、機械学習手法の中でも特に DNN モデルを用いた手法は表現力の高さからデータの多様性に対して頑健であり、特徴抽出器を設計する作業が少なく実装が容 易であり、時系列解析のみならず様々な分野で活用が期 待されている技術の一つである。Janssens らは、加速度センサによって取得された振動データに対し、畳み込みニ ューラルネットワーク（Convolutional Neural Network, CNN） を用いた方法によって、人手で設計された特徴抽出器により得られた特徴量にランダムフォレスト分類器を適用 する場合と比較し、良好な精度で故障の検知を可能とし ている [2] 。これにより従来の機械学習手法では困難であったすべり軸受の劣化のような明示的な特徴周波数を 持たない波形から異常を検知できることを報告している。 また、Pan らは、DNN モデルにCNN 層と長期短期記憶
（Long Short-Term Memory, LSTM）層を組み合わせた方法を採用することで、故障の検知のみならず、故障の識別精 度を改善できることを示している [3] 。
DNN モデルを時系列データ解析に適用するには、事前に時系列データおよびそれらに含まれる異常に関するアノテーションの対から成るデータセットを用いた学習によって、そのパラメータを最適化することが必要である。 さらに、時系列データにアノテーションを付与する際には、データにおける異常が含まれる箇所やその程度を定量的に把握することが必要である。しかし、一般にそれらは未知であることが多いため、アノテーションの付与作業は困難である。そこで、本研究ではそのようなアノテーションの付与が困難な時系列データから適切に異常を検知可能な DNN モデルおよびその学習手法を確立する。実験では軸受に取り付けられた加速度センサにより取得されたデータを用い本手法の軸受故障診断への適用可能性を評価した。
２．方法
時系列解析のためのDNN
パラメータ ??= {??, ??, … , ???? をもつニューラルネットワーク ?? の学習は、入力データ ??=
{??, ??, … , ???? を入力データとした際の推定値 ???? ?? と真値 ??との誤差を最小化するようにパラメータ ??? を得ることを目標とする。つまり、データ集合 ??=
{(???? ????}??{1,…,?? において、ニューラルネットワークの
学習は次のような二乗和誤差で与えられる損失関数の最 小化として定式化できる
??? = arg min ????,
??(1)
??12
???? = ∑(????－ ?????? ??) .
2
??1
(2)
この学習手法を時系列データからの異常検知のためのDNN モデルの学習に適用するためには、損失 ???? の算出のため、一連の時系列データに対しその特性を決定 づける上で重要な箇所に対してアノテーションを付与し、 学習に供することが有効である。つまり、時系列データにおける各時点 ??∈ {1, … , ?? に含まれる異常の大きさの程度 ???? が既知であれば、時点 ??における DNN モデ ルの推定値 ??????; ?? を用い、二乗和誤差
??12
???? = ∑ (???? － ??????; ??) 2
??1
(3)
を最小化するように DNN モデルのパラメータを最適化すればよい。しかし、膨大な時系列データにおけるそれぞ れの時点に対してアノテーションを付与する作業は困難 であり、実際には ??時点における異常度の大きさの程度
???? は未知であることが多い。このようにデータに特定の事象が含まれていることが既知であるが、その事象が含まれる位置やその程度が未知であるデータを弱教師ありデータと呼ぶ。このような弱教師ありデータを用いてDNN モデルを学習可能とし、軸受故障検知への適用可能性を評価する。
異常パターン認識のためのDNNモデルのマルチインスタンス学習
時系列データからの異常検知に DNN モデルを適用するためには、時系列データに対し異常を含む箇所のそれぞれにアノテーションを付与することが有効であるが、それらに含まれる異常箇所やその程度について定量的に把握した上でアノテーションを付与することは困難であ る。このようなデータの性質は弱教師あり学習手法の一つであるマルチインスタンス学習 [4] で扱われるデータと類似している。一般的な教師あり学習では、入力データ 要素の集合と、それぞれの要素に対するアノテーションから成る学習用データセットが与えられるが、マルチインスタンス学習では個々の要素ではなく要素の集合ごとに教師信号が与えられる。データ集合に含まれるそれぞ れの要素に対し教師信号を付与するには煩雑な作業を要
するが、データ集合に教師信号を付与することは比較的容易である。Sultani らはマルチインスタンス学習に着想を得ることで、弱教師ありデータを用いた DNN モデルの学習手法を提案し、異常検知に適用可能であることを 報告している [5] 。本研究ではこの先行研究を参考に時系列データを扱うための DNN モデルおよび学習手法の改良を行った。先行研究で提案された手法により学習さ れた DNN モデルは、弱教師ありデータを用いて上手く学習を行えることから、映像データに含まれる異常のように定義が曖昧な事象の検知に有効である。しかし、先行 研究では DNN モデルの出力が異常を含む、または含まない、の二値識別に限られ、異常の識別にはそのまま適用 できないことが課題であったため、本研究ではそれらの改良を行う。
パラメータ ??をもつニューラルネットワーク ??の学習では、一般に入力データ ??に対する推定値 ???? ?? と真値との誤差を最小化するようにパラメータ を得ることを目標とする。つまり、データ集合 ??=
{(???? ????}??{1,…,?? において、ニューラルネットワークの学習は次のような二乗和誤差で与えられる損失関数
2
???? = ∑ (???? － ??????; ??)
??(4)
を最小化するように DNN モデルのパラメータを最適化すればよい。しかし、深層学習で用いられるような膨大な 時系列データにおける、それぞれの時点にアノテーションを付与する作業は困難であり、実際には ??時点における異常度の真値 ???? は未知であることが多い。本研究で
は、弱教師ありデータを用いて DNN モデルを学習可能
Fig.1 Visualization of loss function for weakly supervised DNN training method for bearing fault diagnosis.
それぞれのデータ集合は、それぞれの要素の中に少なく とも一つ以上の要素の教師信号が正である正の集合、お よびすべての要素の教師信号が負である負の集合に分割 される。各データにおいてその特性を決定付ける上で重 要な箇所は未知であるため、ここでは各データ集合から 推定される最大値に着目し、
max ??(???? ) > max ??(???? )
????????????????(5)
を満たすように DNN モデルを学習する。ここで、
?????? ) および ?????? ) はそれぞれ正および負のデ
????????????
とし、異常検知へ応用する。
本研究で扱う時系列データからの異常検知のためのDNN モデルは、長さ ??の時系列データ {??1), … , ????} を入力した際に {??1), … , ????} を出力する構造とし、入力データに含まれる異常の有無は既知であるがそれらが含まれる箇所は未知であるものとする。DNN モデルの学習では、まず時系列データに異常を含む（正）または、含まない（負）によって各データ集合に分割し、それぞれのデータを DNN モデルに入力した際に、正のデータ集合に対して高い値が、負のデータ集合に対して低い値が出 力されるように DNN モデルのパラメータを最適化する。
ータを DNN モデルに入力した際に出力される ??∈
{1, … , ?? 時点における推定値である。このような条件を満たすDNN モデルの学習では、以下の損失関数
??= max (0,1 － max ??(???? ) － max ??(???? )) + ??????????????????(6)
を最小化するように DNN モデルのパラメータを最適化する。ここで??は
???12
??= ??∑ (??(???? ) － ??(????1)))
1??????????????1
??+ ??∑ ??(???? )
2????????
(7)
で表される正則化項であり、DNN モデルの学習用データ
への過学習を防ぎ学習を安定させる効果がある。第 1 項は平滑化項であり、推定値における前後の時点で大きな変動がないように調整する項である。第 2 項はスパース化項であり、異常が長期に渡って生じることが考えづらい場合や、その頻度が少ないことが想定される場合に誤検知を低減する効果がある。それぞれの項に、ハイパパラ メータ ?? または ?? が設けられてあり、実際の問題に適用する際にはこれらを調整することで正則化の度合いが調整される。
異常パターンの識別
先に述べた単一クラス認識のための DNN モデルの学習手法を識別へ応用するため、学習手法の改良を行う。具体的には、前節で提案した式 (6) の損失関数を一般化し、
??= max ( 0, ∑ ∑(??????－ ????????????2) + ???? ??(8)
とした。第1 項はデータセットに含まれる ??∈ ??番目のデータについて ??∈ {1, … , ?? 番目のクラスの事象を含んでいるかによりその損失の大きさを決定する。ここで、 ??⊂ {1, … , ?? および ???? = 2 であり、ランダムに抽出された 1 組のデータ対のインデックスの集合を表す。??????は ??番目の時系列データに ??番目のクラスに属する異常が含まれる期待値について、DNN モデルの
推定値 ??(????; ?? における ??∈ {1, … , ?? 時点の中で
???1
??= ?? ∑ ∑ ∑ (??(????; ??
11?????? ????2
－ ??(????1); ??) ,
????
(13)
??= ?? ∑ ∑ ∑ ??(????; ??,
22?????? ????
(14)
exp(??????
?? = －?? ∑ ∑ ??????log ∑ exp(?? )
?? ????????
(15)
と表される。ここで第 1 項および第 2 項は前節と同様に
それぞれ平滑化項、およびスパース化項であり、第 3 項は交差エントロピー損失である。また、 ?? 、 ?? および ?? は各損失の大きさを制御するハイパパラメータである。
３．実験
実験方法
実環境により得られたデータからの異常検知が可能で あるか確認するため、軸受故障診断の実現可能性を評価した。軸受は回転機器の重要な構成要素であり、その故障 を早期に検知する技術の開発を目的とした様々なデータ
セットが公開されている。本研究では、以下に示す公開デ
????
最も高い値を示し、
?? max ??(????; ??
??????????(9)
で表される。また、??????は
?? {1 if ??h fault is included,
???? otherewise,
(10)
と表され、 ??番目のデータに ??番目のクラスに属する異常が含まれるかに応じて 1 または 0 のいずれかの値をとる。同様に ??????もまた
?? { 1if ??h fault is included,
?????1 otherewise,
(11)
と表され、 ??番目のデータに ??番目のクラスに属する異常が含まれるかに応じて 1、-1 のいずれかの値をとる。さらに、式 (8) の第2 項は正則化項であり、
??= ?? + ?? + ??,
(12)
ータセットを用い、本手法が軸受故障の検知に適用可能 か評価した。
データセット
Machinery Failure Prevention Technology（MFPT）は軸受に生じる複数種類の故障を模擬したデータセットを公開している [6]。本データセットには 3 つの正常状態
（Normal, N）な軸受および、7 の外輪の故障状態（Outer Race, OR）、7 の内輪の故障状態（Inner Race, IR）における軸受から取得されている。正常データに含まれる 3 つのデータは 97,656 Hz のサンプリング周波数および 270 lbs の荷重下で収集された。7 つの外輪故障データは 48,828 Hz のサンプリング周波数および、それぞれ25、50、100、150、200、250、300 lbs の荷重下で収集された。7 つの内輪故障データは 48.828 Hz のサンプリング周波数および、それぞれ0、50、100、150、200、250、300 lbs の荷重下で収集された。データはSun らの方法 [7, 8] と同様に、データ全体について 4,000 時点を含むように個別のデータに区切り学習および評価データとした。DNN モデルの学習および評価ではそれぞれを7 : 3 の割合で学習および評
価に用いた。
Fig.2 Example of vibration-signal data in the MFPT dataset:
N (b) IR, and (c) OR
Fig.3 Bearing components in the MFPS dataset: (left) outer race failure and (right) inner race failure [6].
DNN モデルの実装
DNN モデルの構造は図 4 に示す 3 層の構造とし、1 層目に 128 チャネルをもつ長短期記憶 (Long Short-Term Memory, LSTM) 層、隠れ層には128 チャネル、カーネル幅9 を有する畳み込み層、最終層には128 チャネル、カーネル幅 1 を有する畳み込み層を用いた。1 層目および2 層目の畳み込み層からの出力に対しては正規化線形関数（Rectified Linear Unit, ReLU）による活性化およびバッチ正規化を適用し、最終層の出力に対してシグモイド活性化を適用した。畳み込み層のそれぞれの重みパラメータはHe の初期値、バッチ正規化における ??を平均 1 分散 0.01 の正規分布に従う値、 ??を0 で初期化した。ハイパパラメータを ?? = 10－1 、?? = 10－5 、?? = 10－0 学習係数 10－3 とし、式 (8) の損失関数を最小化するよ
うに 100, 000 回のパラメータ更新を行った。DNN モデルの実装には Tensorflow 2.0.0 を用い、Ubuntu18.04 環境における Python 3.7.4 上で実行した。学習および評価には GPU（NVIDIA TITAN V）を搭載したワークステーシ
Fig.4 DNN model for bearing fault diagnosis
ョン（Intel Xeon E5-2698v4, 50MB Cache, 2:20 GHz）を用いた。
４．結果
4.1 異常識別
図 5 および図 6 は、実験に供したMFPT データセットに含まれる各振動データと、提案手法により学習された DNN モデルの推定値である。故障に独特な波形を含む箇所に対して適切に高い値が推定され、一方でそれら を含まない箇所に対しては低い値が推定されていること が確認できる。この結果は提案する DNN モデルおよびその学習手法によって、データに潜在する特徴を自動的 に抽出し、異常の識別ができることを示している。ここで、 提案手法の故障識別能力を評価するために、 ?? 時点目に おける、 ??番目のクラスに属する異常を含む期待値
????????; ?? に対して
detected anomaly = arg max ∑ ????????; ??
????(16)
とすることで、波形がどのクラスの異常を含むか判定し、 その識別精度を先行研究と比較した。表 1 は、同様のデータセットに対する他の手法 [7, 8] との識別精度の比較 である。提案手法により学習された DNN モデルは他のDNN モデルを用いた手法と比べて良好な精度で異常を識別可能であることが確認された。
Fig.5 Fault-classification results on the IR vibration data in MFPT dataset
Fig.6 Fault-classification results on the IR vibration data in MFPT dataset
Fig.7 Confusion matrix on MFPT dataset.
Table1 Comparison of classification accuracy on MFPT datasets.
Methods
Accuracy
Sun et al. [7]
95.8%
Sun et al. [8]
98..7%
Ours
99.4%
５．まとめ
本論文では振動データの解析を目的とした深層ニュー ラルネットワークおよびその学習方法とその軸受故障診 断への適用について述べた。具体的には回転機器における軸受部に搭載された加速度センサデータを解析することで故障を検知するための DNN モデルの学習手法を検討し、特に学習データに対して振動データに正常箇所と 異常箇所が混在し、それぞれが存在する箇所が不明確なデータを用いて異常検出のための DNN モデルを学習することを可能とした。実験では提案手法により学習され た DNN モデルが異常に特徴的な箇所に対して高い値を推定可能であることを確認した。さらに、異常データの取 得が困難な場合を想定し、正常時の機器から取得された波形データのみを用いて DNN モデルを学習した場合に
おいても異常検知が可能であることが確認できた。今後 は、より多くの環境から得られたデータに対して本手法 を適用することで、提案手法により学習された異常検出 器の汎化性能を確認することで、実データへの適用可能 性を評価する。
参考文献
P. O'Donnell. Report of Large Motor Reliability Survey of Industrial and Commercial Installations, Part I. IEEE Transactions on Industry Applications, Vol. IA-21, No. 4, 1985, pp. 853-864.
O. Janssens, V. Slavkovikj, B. Vervisch, K. Stockman, M. Loccufier, S. Verstockt, R. Van de Walle, and S. Van Hoecke. Convolutional Neural Network Based Fault Detection for Rotating Machinery. Journal of Sound and Vibration, Vol. 377, pp. 331-345, 2016.
H. Pan, X. He, S. Tang, and F. Meng. An improved bearing fault diagnosis method using one-dimensional CNN and LSTM. Journal of Mechanical Engineering, Vol. 64, No. 7-8, 2018, pp. 443-452.
T. G. Dietterich, R. H. Lathrop, and T. Lozano-Perez. Solving the multiple instance problem with axis-parallel rectangles. Artificial Intelligence, Vol. 89, No. 1-2, 1997, pp. 31-71.
W. Sultani, C. Chen, and M. Shah. Real-World Anomaly Detection in Surveillance Videos. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 6479-6488.
https://www.mfpt.org/fault-data-sets/
G. Sun, Y. Gao, K. Lin, and Y. Hu. Fine-grained fault diagnosis method of rolling bearing combining multisynchrosqueezing transform and sparse feature coding based on dictionary learning. Shock and Vibration, 2019.
G. Sun, Y. Gao, Y. Xu, and W. Feng, Data-driven fault diagnosis method based on second-order time- reassigned multisynchrosqueezing transform and evenly mini-batch training. IEEE Access, 8, 2020, pp. 120859-120869.