深層学習を用いた動的機器モニタリング信号による予知保全
公開日:
カテゴリ: 第16回
深層学習を用いた動的機器モニタリング信号による予知保全
Predictive Maintenance of Dynamic Equipment Monitoring Signal using
Deep Learning
東京大学出町和之KazuyukiDEMACHIMember
東京大学寺山怜司Satoshi TERAYAMANon-Member
A time-series data future prediction algorithm using Long-Short Term Memory (LSTM), which is a kind of Regression Neural Network (RNN), has been proposed for the purpose of detecting early abnormality of monitoring signals of dynamic devices. An improvement for applying this algorithm to actual dynamic equipment monitoring signals was proposed, and an anomaly judgment method was also proposed.
Keywords: Deep Learning, Recurrent Neural Network, Predictive maintenance, Condition Based Maintenance
はじめに
予知保全とは、機器のモニタリング信号の少し末来を予測し測定値との乖離を評価することで機器不具合の予兆を検知する手法である。
原子力発電所では多数のセンサーによる複数機器のモニタリングが行われているが、多くの場合において線形予測手法に必要な連続的時系列特徴が失われており、こ のために末来予測の精度に限界があった。
そこで本研究では、非線形予測手法の1 である回帰土ニ ーラルネットワーク(Recurrent Neural Network, RNN)の である長期 期 ユニット(Long-Short Term Memory, LSTM)を用い、過去の時系列データを入力にして末来予測を行う予知保全アルゴリズムを提案した。さらに提案したアルゴリズムを原子力発電所における実
…
の不具合モニタリング信号 と 用するための を行い、時系列データの末来予測手法としての有効性を示すとともに、異常予兆の判定手法も提案した。
を用いて 習を行うが、系列が長くなると重みが掛けられる回数が多くなり、長期の時間依存性は勾配が消失してしまう[3]。これに対してLSTM では、長期依存性を習するために導入されたLSTM ブロックと呼ばれる回路のような仕組みを並べることにより、長期の時間依存性を 習できなくなる問題が解消された。Figure 1 にLSTM のメモリー・ユニット構造を示す。
xtzt-1
予知保全のための提案アルゴリズム
…
…
長・短期記憶ユニット(LSTM)
LSTM[1]は、時系列性のあるデータを 習できるニーラルネットワークである RNN の である。RNN を時間 に すると 的なニ ーラルネットワークとみることができ、これを誤差逆伝播法[2]
Fig.1 Memory Unit Structure of LSTM
入力ユニット(I)に入力された時刻t における信号xt
は、セルを して られ 、入力 ート(I)、
ート(FG)、出力 ート(O)の演算を受けてメモリーユニット(U)の 出力され、 出力ztとなる。
メモリーセル(C)ではループを用いて各時刻の(C)の出 力を次の時刻の(C)に受け渡す役割をしており、これにより時間 の情報が保持されている。
また、各 ートではxtとzt ら ート値gtを出力し、
やってきた信号に ート値gtを掛け合わせて出力する。
ート値は0 ? gt ? 1 の範囲を取り、1 に近ければ信号はほとんど減衰しないが、0 に近いと の役割を果たす。
これらセルと ートの働きにより、データの時間変化の特徴を捉 、入力された信号が近い末来に取るであろう値を予測することが可能となる。
LSTM モデルの改良
本研究では末来予測の精度 上のため、本研究では下
の4 のLSTM モデルの を行った。
(1) 規格化
習を進めていくう で、重みの更新が重要になってくるが、単位や特徴量の異なるデータを 緒に 習させると、重みの更新が 切に行われない可能性がある。そこで、入力データが 定の範囲になるように、(1)式のようにデータの 小値を 0、 値を 1 とする規格化を行った。ここでxk は時刻j におけるセンサーk の出力、xk はセンサーk の全時刻における出力を表す。
yk = rand × xk , rand E [1 - u,1 + u](3)
(4) 正則化
勾配降下法により 習が進むと、誤差関数は減少し 習データに即したモデルが構築される。し し、そのモデルが必ずしも末 習データに即しているとは限らず、時にはフィッティング制度が悪く過 習が起きることもある。これを避けるため、誤差関数に重みの 2 乗を加 たものを 習のコスト関数として重みに対する制約を けるL2 正則化[4]を 用した。コスト関数をJ(t), 誤差関数をE(t), 出力時の重みを v(t), 重減衰 数を とすると(4)式となる。このJ(t)が 小化されるように 習を進めた。
J(t) = E(t) + Jv(t)2(4)
異常判定手法の提案
習後のLSTM モデルにより予測された値と測定値の乖離のうち、 習に使用した1000 ステップ分における乖
離を 習誤差、 習に使用した直後の 500 ステップ分における誤差を予測誤差とし、その両 を総称して平常時
ノイズ除去
yk
=xkj- in(xk )
(xk )- in(xk )
(1)
誤差とした。その平常時誤差の平均二乗誤差(MSE)の値の3 を異常判定 値とし、MSE がこの 値を2 ステップ連続で超 た時刻を異常判定時刻とした。(Figure 2)
習データに含まれるノイズは 習プロセスに無駄な負 を け、 習のスムーズな進行を妨害する。そこで、LPF(Low Pass Filter)を けることでデータのノイズを軽減した。今回はLPF の中でも簡単な、平均を取る手法を用い、50 ステップ分の平均を取った。
j-1 xk(j-i)
y= i=O(50 > j)
k
j-1
SO-1 xk(j-i)
ki=O
y=(50 $ j)
50
(2)
Fig.2 Abnormality Judgment Threshold and Time
習データ拡張
過 習を避けて 習のロバスト性を高めるため、元の
習データにランダム変動を付加することで疑似的な 習データを作成し、データ数を拡張した。ここで、ノイズ 付与率をu として、1-u らl十u の範囲を動き、 様分布に従うランダムな数値をrand_iE[1-u,l十u]とすると、ノイズ付加後のデータセットは次式で算出される。今回はデータ数を100 に拡張した。
解析対象データ
今回は、2006 年6 月15 日午前8 時39 分に発生した中部電力浜岡原子力発電所 5 号機における低圧タービン B 第12 段羽根脱落事象を対象とした。
事象発生前の6 月 1 日 0 時 0 分,--- 6 月 15 日 8 時 30 分
のセンサー信号を10 分おきに 録した 2069 ステップのうち、1,--- 1000 ステップを 習データ、1001,--- 2069 ステップを末 習データとして使用した。用いたデータは、タービン軸受振動センサーの全10 基である。
異常検知結果と考察
LSTM による予測誤差
10 基のタービン軸受振動センサーの測定データと無しの LSTM による予測データとの MSE を示したものが Figure3 である。横軸は予測 始 らのステップ数(step/10min.)、縦軸は MSE (mm2)を表す。緑線は MSE の
値の 3 とした異常判定 値であるが、異常が顕著となる1,900 ステップ以降にもMSE が 値を超 ることが無い。
MSE(mm2)
Fig.3 Mean squared error of predicted value of time-series data of turbine vibration sensors by LSTM
規格化およびノイズ除去による早期検知化
Figure 4 に、測定データを規格化し、さらにLPF によりノイズ除去をした後に LSTM に 習させた場合の予測データのMSE を示す。Figure 3 に比べて値が2 桁小さくなっており、揺動成分も小さく抑 られていることが分る。 値をMSE の 値の3 に取った場合、タービン翼脱落の 84 ステップ前(839 分前）で異常を検知することができる。
MSE(mm2)
Fig.4 Mean squared error of predicted value of normalized and noise-removed time-series data of turbine vibration sensors by LSTM
データ拡張後による早期検知化
続けて、ノイズ付与による 習データの拡張を追加した場合の予測値のMSE を、3.2 節の予測値のMSE と比較した結果をFigure.5 に示す。1,000,... 1,900 ステップにおける揺動の 値には変化が無いが、異常が顕著になる1,900 ステップ以降の MSE が きくなり、異常に対する感度が上がった様子が見られる。
さらに、MSE 値の 3 とした 値との交差部分を拡 した図をFigure 6 に示す。タービン翼脱落の96 ステップ前(959 分前）で異常を検知することができており、
3.2 節の場合に比べて12 ステップ(120 分)の早期検知ができた。
MSE(mm2)
Fig.5 Mean squared error of predicted value of normalized, noise-removed and extended time-series data of turbine vibration sensors by LSTM
Fig.6 Enlarged view of the intersection of the threshold line with the mean squared error of predicted value of normalized, noise-removed and extended time-series data of turbine vibration sensors by LSTM
MSE(mm2)
正則化による早期検知化
さらに、 習時の誤差関数に重みの 2 乗を加 たものを 習のコスト関数として重みに対する制約を けるL2 正則化を追加した場合の予測値の MSE を、3.2 節の予測
値のMSE と比較した結果をFigure.7 に示す。異常が顕著になる 1,900 ステップ以降の異常に対する感度がさらに
くなっていることが分 る。
MSE(mm2)
Fig.7 Mean squared error of predicted value of normalized, noise-removed, extended and regularized time-series data of turbine vibration sensors by LSTM
Fig.8 Enlarged view of the intersection of the threshold line with the mean squared error of predicted value of normalized, noise-removed, extended and regularized time-series data of turbine vibration sensors by LSTM
MSE(mm2)
LSTM の改良による早期検知効果の比較
4 のLSTM の による、タービン翼脱落前の異常検知時間の比較をTable 1 に示す。異常検知にLSTM を用い、さらにこれら4 の を行うことで、17 時間以上前の段階でタービン翼脱落の検知が可能であることが示された。
Table 1 Comparison of anomaly detection time before turbine blade dropout
異常検知時刻(発生 分前）
規格化&ノイズ除去
6/14 17:40 (839 分前)
データ拡張
6/14 16:40 (959 分前)
正則化
6/14 14:50 (1069 分前)
結論
動的機器モニタリング信号 らのLSTM による早期異常検知手法を 発した。規格化、ノイズ除去、データ拡張、正則化の を行うことにより、事象発生よりも前の十分に早い時点の異常の検知が可能であることが示された。
参考文献
Hochreter, Schmidhuber, “Long Short-Term
Memory”, Neural Computation, Vol.9, No.8, pp1735-1780(1997).
Zipser, Andersen, “A back-propagation programmed network that simulate response properties of a subset of posterior parietal neurons”, Nature331, pp679-684,(1988)
Bengio, Simard, Fransconi, “Learning Long-Term Dependencies with Gradient Descent is Difficult”, IEEE, Transactions on Neural Network, Vol.5, No.2, (1994).
Tibshirani R, “The lasso method for variable selection in the cox model”, Statistics inMedicine, Vol.16, No.4, (1998).
謝辞
本研究において、タービン軸受振動センサーのモニタ リングデータをご提供頂きました中部電力(株）殿に、心より感謝を申し上げます。