実機振動診断カルテに基づいたマルチモーダル・ディープラーニングによる中・小型回転機械の診断効率化
公開日:
カテゴリ: 第16回
実機振動診断カルテに基づいたマルチモーダル・
ディープラーニングによる中・小型回転機械の診断効率化
An approach to building an efficient diagnosis system for middle range rotational machinery using multimodal deep learning and diagnosis database.
株式会社プライア
長野 達朗
Tatsuro NAGANO
Member
株式会社沢田テクニカルサービス
沢田 作雄
Sakuo SAWADA
Member
Abstract
For the purpose of detecting anomaly of rotational machinery, the vibration diagnostic method is often used. However, it requires experts to understand insights of cause or sign of abnormal progression. We have developed SA-FRONTIER-PRO, a diagnosis system that assists operators to acquire vibration signals, analyze measured data, and examine machinery through an inquiry approach. To step forward towards further efficiency, we employ multimodal deep learning techniques to mimic decision-making process of experts especially focusing on how to perceive and extract features from measurement data.
Keywords: Vibration Analysis, Anomaly Detection, Multimodal Deep Learning, Machine Leaning
はじめに
回転機器の状態を把握する上で振動診断法はよく用いられる手法の一つである。しかし、異常原因や進行程度の推定は難易度が裔く、熟練者や専門家の知識を要する。また設備診断の実施には、従来型の振動計では機能的に限度があり、取り扱いにも技術が求められる。総じて振 動診断は熟練者の経験と勘によるところが依然多い。一方、熟練者の不足と後継者の育成は常に課題であり、そ れに対処すべく、業界各社は様々 自動診断装置を製品化している。しかし現状は、各々に得意不得意があり、異常要因の特定には限りがある。
この状況を踏まえ我々は、熟練者の思考・判断プロセ スを分析し、計測から解析、診断機能までを実装したSA-FRONTIER-PRO（以下、SA)を開発した[1]。SA には、熟練者による の診断 の実 を ー ースとして登録してあるため、ユーザは問診形式にて分析を進めることが出来る。この問診法により、SA は診断の効率化を可能にすると同時に、ユーザの診断スキルも向上出来るよう れている。
Fig.1 Appearance of SA-FRONTIER-PRO
SA-FRONTIER-PRO による診断
熟練者は、設備を診断するにあたり、 と 分的視診を行い外観的 異常や特徴を捉え、聴音棒等を用いて異常の察知や潤滑状態の良否 ど聴診を行う。更に、軸受温度や指先に伝わる揺れを触診で感じ取り、問診にて異常発 の時 、 、 状況 どを把握する。つまり五感を働かせて総合的に判断をしている。
このよう 熟練者の技術を て診断装置に置き換えることは難しいが、SA は 易的 計測で効率良く 要 診断が出来るよう設計 れている。 えば、設備の状態は、振動 として、 の 度セ サ で同 を取り
がらリアル イムにPC に 録 れる。 の解析プロセスを経て、回転軸受 の異常やその兆候を可視化し、更に傾向的 振動推移からユーザに適切 対策を促す。特にSA は、問診形式による診断を特徴としており、回転機器の属性や軸受等 要 構成 品の情報を入力することで、特徴量を自動抽出し判定する機能を備え持つ。しかし一方で、振動の時系列波形や周波 スペクトルのパー 認識 どは、定量的に特定・自動化することが難しく、人手を介して ー ースと比較をして選択する必要がある。
Fig.2 Example of SA-FRONTIER-PRO diagnosis report
パターン認識
パ ー 認識において、 ィープラーニ グ技術は近年著しい成 を挙げている。2012 年、大規模画像認識コ
テストのImageNet Large Scale Visual Recognition Challenge (ILSVRC) にて、トロ ト大学のSuperVision チームが認識率で他チームに大差を付けて優勝した。その 際に使用したアルゴリズムは、畳み込みニューラルネットワーク（以下、CNN)と呼ばれる人 の脳の視覚野に
トを得た ィープラーニ グの技術である[2]。以 、CNN を始めとした ィープラーニ グは、機械翻訳[3] から画像の自動キャプチャ[4]、自律走行車[5]に至るまで、機械認識における 要 技術の一つとして様々 分野で応用 れている。
アプリケーショ の増 と共に、アルゴリズムも日々改良が繰り返 れており、振動分野においても 外では
い。 えば、回転設備の振動をスペクトログラムとして表現しCNN を適用することで、正常と異常のパ ー分類が可能であることが報告 れている[6]。設備を常時監視し、異常の兆候が表れた時点で適切 処置を行うことが出来るように れば、TBM（時 基準 )からCBM
（状態基準 )への 方法の移行もしくは融合も現実的 ものに ると考えられる[7]。
マルチモーダル・ディープラーニング
人は、1 つの事象を感覚器毎に特定種類の刺激として受け取り、末梢神経系を経て中枢神経系に情報を伝達す る。脳はその情報を集約、分析、統合して事象を認識す る。振動診断の熟練者もまた、同様のプロセスを経て総 合的に判断している。これを踏まえ、ここではSA の診断
程で手作業を要している波形 ー のパ ー 認識において、マルチモーダル ニューラルネットワークの適用を考える。
特徴抽出
熟練者は、収録した 度 ー から微細 疵や衝撃により発 する振動を検知し、また 度 ー から摩耗や劣化情報を読み取る。これに倣い、 度波形（以下、ACC)及び、その 処理により得られる 度波形（以下、VEL)、そして 度の包絡線波形（以下、ENV)もパ ー 認識の対象に めて考える。
ACC、VEL、ENV の各波形から、それぞれが持つ詳細
特徴を捉えるべく、基と る時系列波形（以下、WAVE)と併せて、裔 フーリエ変換によるスペクトル波形（以下、FFT)及び波形振幅の確率分布（以下、AMP)を、 前処理を施して扱う。FFT は周波 情報、AMP は時系列波形の長 的 振る舞いを捉えることを目的とする。
Fig.3 Features and corresponding time-domain signals
スライド窓によるデータ拡張
各特徴量は、収録した時系列波形に対して、一定サイズの窓をスライド せ がら ー を切り出し、前処理を施す。窓サイズの設定は、FFT において周波 分解能を め、またAMP に対しては時系列波形の情報量に関係する[8]。窓のスライド量は、1 つの時系列波形 ー から得られる ー 量に繋がり、後に述べるニューラルネットワークの学習 ー に関わる。重 りを多く取れば ー を増やすことが出来るが、一方で 々の ー
を 化してしまうため、ニューラルネットワークの学習状況を確認し がら設定する必要がある。
Fig.4 Sliding-window technique for the feature extraction
ニューラルネノトワーク構造
一般に、実設備の診断 ー は、その運用面から、正常状態のものが圧倒的に多く、異常 ー が少 いことが である。そのため、実機 ー を使用して ィープラーニ グを行う場合、教師 し学習の手法を用いて
異常検知や外れ値検知を行う場合が多い[9, 10]。幸い我々は、 の実機診断カルテを ー ースとして所有しており、異常を め十分 量の ー が手元にある。診断 から ー を「現象J毎に振り分け、教師ラ ルを付 することで詳細分類が可能 教師あり学習を実施することが出来る。
ィープニューラルネットワークを用いて、FFT、AMP、WAVE の形状を認識するにあたり、最も単純 方法は、それぞれに独立したネットワークを定義し学習を行うこ
とである。この場合、入力 クトルの次元や ー セット が異 っていても学習を実施する上では問題に ら
い。しかし推論時、それぞれのネットワークから出力
れる分類クラスは、必ずしも一致するとは限らず、総合 は、各出力の多 や 値等から判断する必要がある。クラス毎の ー に明確 特徴が見られる場合はこれで問題無いが、実際には特徴抽出方法により捉えやす は異 る。これは学習モ ルの精度が上がら い要因と り得るため別のアプローチを検討する。
並列ネットワーク[11]や、ラ ダムマルチモ ル[12]他 幾つか方法は考えられるが、ここでは 入力を統合して同時に処理可能 マルチモーダル・ ィープニューラルネットワークを採用する[13]。マルチモーダルの手法は、ロバスト性が裔く、1 つの ー で特徴を捉えられ くとも、他の ー にて 出来ることが みである[14]。えば、時系列波形に長 的で緩やか 変動がある場合、FFT やWAVE でその特徴を掴むことは難しいが、AMP
がそれを捉えることで、 として学習モ ルにその特徴を反映 せることが出来る。
Fig.5 Multimodal deep neural network structure
具 的には、図5 に示すよう、ニューラルネットワーク前 で各入力に適した構 を用意し、 別に特徴抽出を行う。各特徴 クトルを 合した上で、後 の分類用
ネットワークにてクラスを予測する構 とした。前 は1 次元の畳み込みニューラルネットワーク（CONV )を定義し、後 では 合層（FC )を重 た構 とした。各ネットワークの詳細を表1、2、3 及び4 に示す。
Table 1 FFT feature extraction layers of the network
Layer
Input
Size
Filter
Number
Filter
Size
Stride
CONV1
2,048
32
32
2
POOL1
1,024
32
4
4
CONV2
256
64
16
2
POOL2
128
64
4
4
CONV3
32
128
8
2
POOL3
16
128
2
2
Table 2 AMP feature extraction layers of the network
Layer
Input
Size
Filter
Number
Filter
Size
Stride
CONV1
256
32
32
2
POOL1
128
32
2
2
CONV2
64
64
16
2
POOL2
32
64
2
2
CONV3
16
128
8
1
POOL3
16
128
2
2
Table 3 WAVE feature extraction layers of the network
Layer
Input
Size
Filter
Number
Filter
Size
Stride
CONV1
25,600
16
64
2
POOL1
12,800
16
5
5
CONV2
2,560
32
32
2
POOL2
1,280
32
4
4
CONV3
320
64
16
2
POOL3
160
64
4
4
CONV4
40
128
8
2
POOL4
20
128
2
2
Table 4 Classification layers of the network
Layer
Input Size
Output Size
FC1
3,328
1600
FC2
1,600
800
Output
800
16
ニューラルネノトワークの学習
層の活性化関 はReLU とし、プーリ グ層にはMax Pooling を用いた。また、各層にBatch Normalization、合層にはL2 正則化とDropout を使用した。各層の重みはHe 初 化を行い、AdamOptimizer を最適化関 とし、学習は誤差逆伝搬法にて行った。
学習 ー は、規模が同程度の 用 持 機の診断 ー を4 機種、計56 セット用いた。各セットには、ACC、VEL、ENV の波形 ー が、それぞれ約10 秒以上収録 れており、スライド窓により、FFT、AMP、WAVE ー を各々4,000 セット以上抽出した。クラス分類は、ACC、VEL、ENV それぞれ 別の現象に けられるよう、各々クラスを定義した。
学習は、ACC、VEL、ENV 共に ー セットの70%を学習用、10%を評価用、残り20%をテスト用とした。ENV の学習モ ルをテスト ー で評価した際の混同行列を図6、学習モ ルの精度を表5 に示す。ENV の を示したのは、分類クラス が最も多いためである。ACC 及びVEL も傾向は同様である。クラスは、良好域（2)、frア バラ ス（3)、fr2 （4)、その他（7)、f0 周 （8)、柔構 の偏芯の影響（10)、軸受 摩耗の兆候、揺れ（11)、軸受 摩耗の 状（12)である。混同行列より、「軸受 摩耗の兆候、揺れJのラ ルが付 れた ー を「良好域Jと誤認識したケースがいくつか見られる。学習モ
ルの精度は 値こそ裔いものの、次節に述べる理由で
化性に課題があるため、参考値として す。
Fig.6 Confusion Matrix of ENV evaluated with test data
Table 5 Accuracy of ENV evaluated with test data
Class
Precision
Recall
F-measure
Accuracy
Entry
2
0.997
0.952
0.974
0.976
312
3
1.000
1.000
1.000
1.000
26
4
1.000
1.000
1.000
1.000
62
7
1.000
0.950
0.974
0.999
20
8
1.000
1.000
1.000
1.000
15
10
1.000
1.000
1.000
1.000
187
11
0.732
1.000
0.845
0.978
41
12
1.000
1.000
1.000
1.000
17
学習モデルの精度
今回使用した ー ースは、教師ラ ル付 が 了してい いため、学習に使用出来る ー 量に限りがある。また基と る振動測定 ー は、機器の定常稼働状態を 録したものであり、収録中の変化はほぼ見られい。そのため、スライド窓で拡張した ー セットは、
こそ増すが、テスト ー を め学習 ー が特徴空 内でクラス毎に局在化していると考えられる。また、窓サイズ（25600 点)とスライド幅（4096 点)の設定により重 分が比較的大きいため、 ー が 化
れ、これも局在化に影響していると考えられる。一般に、局在化した ー 分布において、境界の 定は比較的容易である。モ ル評価に使用したテスト ー も、局所化 れた領域から大きく外れ いため、裔い精度が得られたと考えられる。学習モ ルの精度は、直接 化性とは関係性が く教師 ー 拡充の課題が残る。
マルチモーダル手法のロバスト性
今回は、FFT、AMP、WAVE の入力 ー を1 つのマルチモーダル ネットワーク内で統合し同時に扱った。ここではそのロバスト性を考える。ロバスト性の検証は、本来、様々 ー を用意して実際にモ ルを適用した際の振る舞いを確認することが理想であるが、現時点で は教師 ー 量に限りがあるため、既存の ー を用いて以下のように行う。
まず、FFT、AMP、WAVE の ー セットに対して各々独立したユニモーダル ネットワークを別途用意し学習モ ルを作成する。次に、FFT、AMP、WAVE から何れか1 つを選択し、マルチモーダル及びユニモーダルの両方に同じテスト ー を入力する。テスト ー は、一定の 合でラ ダムに選択した指 の値を0 に置き換え
る。置換率を0%から100%まで変化 せ、その際の両モ
ルの精度（多クラス分類であるため、Macro F1 Score を使用)の推移を比較する。
ACC ー において、FFT の置換を行った場合の精度推移を図7 に示す。ユニモーダルの学習モ ルは、置換率が20%を えたあたりから精度 下が見られるが、マルチモーダルでは置換の影響を ど受けず精度を 持している。置換率100%（Ratio=1.0)は、FFT の入力が て 0 であることを意 するが、他モード（AMP 及びWAVE)の により、精度 下を回 していると考えられる。
Fig.7 Macro F1 score under disturbance on FFT (ACC)
次に、AMP のみ置換を行った場合を図8 に示す。ユニモ ーダルは僅か 置換に対して精度 下が顕著に表れるが、マルチモーダルでは置換率が90%程度まで精度を 持している。この場合も、他モードによる が働いている と考えられる。
Fig.8 Macro F1 score under disturbance on AMP (ACC)
続いてWAVE のみ置換を行った場合を図9 に示す。ユニモーダルは置換率が20%あたりから、またマルチモーダ ルは30%あたりから精度 下が見られる。WAVE における置換は、マルチモーダルにおいても精度 下を招き、FFT やAMP とは傾向が異 る。た‘し、精度はマルチモーダルの方がユニモーダルと比べて 域で裔い。以上より、ACC のクラス分類では、WAVE が 役 を たしていると言える。
Fig.9 Macro F1 score under disturbance on WAVE (ACC)
次に、VEL ー における比較を図10、11、12 に示す。何れもマルチモーダルの方が外乱に いことが分かる。特にVEL では、マルチモーダルにおいてWAVE ‘けで
く、AMP にも置換の影響が見られる。また、その分WAVE の精度 下が抑えられている可能性もある。これはクラス分類を行う上で、時系列波形の形状（WAVE)と波形振幅の長 的変動（AMP)がその役 を担っていることを意 する。
Fig.10 Macro F1 score under disturbance on FFT (VEL)
Fig.11 Macro F1 score under disturbance on AMP (VEL)
Fig.12 Macro F1 score under disturbance on WAVE (VEL)
最後に、ENV ー における比較を図13、14、15 に示す。ここでは、FFT とWAVE における精度 下が見られるため、時系列波形の形状と周波 の特徴が、クラス分類に影響していると考えられる。
Fig.13 Macro F1 score under disturbance on FFT (ENV)
Fig.14 Macro F1 score under disturbance on AMP (ENV)
Fig.15 Macro F1 score under disturbance on WAVE (ENV)
以上より、扱った ー において、マルチモーダルのアプローチは、ユニモーダルと比較をしてロバスト性が裔いことが分かる。更に、振動 ー から現象を特定する上で、 度（ACC)から時系列波形の形状（WAVE)、
度（VEL)から波形形状（WAVE)と波形振幅分布（AMP)、包絡線（ENV)から波形形状（WAVE)と周波 スペク
トル（FFT)が分類に影響していることが分かる。
実機シミュレータにおける検証
実機シミュレータ
今回作成した学習モ ルの有効性を確認すべく、 ー
を取得した装置と同規模の実機シミュレー （出力1.5kW、極 4P の三相誘導電動機を搭載)を用いて実験を行った（図16)。シミュレー は、再現性を確 し がら、軸受 の摩耗やア バラ ス、外輪クリープ等の不具合を任意に発 せられる構 を持つ。
Fig.16 Appearance of the rotation machinery simulator
転移学習
用 持 機の測定 ー を用いて作成した学習モ ルを、シミュレー の状態判定に適用するにあたり、ドメイ 適用を考慮する必要がある。近年、ドメイ 適用に関して様々 報告があげられているが[15, 16, 17]、ここでは一般的 転移学習の手法を用いた。具 的には、マルチモーダル・ ィープニューラルネットワークの前
である畳み込み層の重みを固定した上で、後 の合層を、シミュレー より測定した新た ー を用いて学習 せた。
シミュレー においても、ACC、VEL、ENV を取得し、各々に対して学習モ ルを作成した。何れも同様の傾向であるが、ここでは前述のとおりENV の計算 を示す。分類クラスは、新た ドメイ で再定義しており、良好域（2)、fr ア バラ ス（3)、fr2 （4)、fr3 （6)、軸受 摩耗の兆候、揺れ（11)、軸受 摩耗の兆候、ア バラ ス（13)、 ルト駆動の揺れやすい構 （15)である。
転移学習における学習モ ルをテスト ー にて評価した際の混同行列を図17 に、そして精度一覧を表6 に示す。本来、良好域にある ー が、その他のクラスとして誤認識 れたケースがいくつか見られるが、おおよそは正しく分類 れている。しかし、シミュレー の動作安定性や不具合再現性を考慮すると、一定の予測精度を 求める際は、必ずしも 化性の裔い学習モ ルは必要い。これは以前と同様に特徴空 での ー 分布がクラス毎に局在化していると考えられるためである。これより、今回のモ ルは精度こそ裔いが、このまま一般の設備に当てはまるとは言えず今後の課題である。
Fig.17 Confusion Matrix of ENV simulator data
Table 6 Accuracy of ENV simulator data
Class
Precision
Recall
F-measure
Accuracy
Entry
2
1.000
0.975
0.987
0.986
592
3
0.959
1.000
0.979
0.990
259
4
0.969
1.000
0.984
0.998
63
6
1.000
1.000
1.000
1.000
17
11
0.943
1.000
0.971
0.998
33
13
1.000
1.000
1.000
1.000
91
15
1.000
1.000
1.000
1.000
15
まとめ
熟練者頼みの振動診断の現状改善に少しでも貢献すべ く、SA-FRONTIER-PRO の開発からその課題と対策に付き考えた。特に人手を必要とする波形形状のパ ー 認識を自動化する上で、マルチモーダル ィープニューラルネットワークの手法の有用性を検討した。
現時点では、振動診断カルテの ー ースから一の ー に対して教師ラ ルの付 が 了した状況であり、現実的 化性のある学習モ ルの作成には至ってい い。しかし、マルチモーダルのロバスト性の検証
からは、そのアプローチに一定の効 があると考えている。また、転移学習と併せて実機シミュレー を用いた実験では、十分 精度で現象を推論することが確認出来た。
今後は、教師 ー を拡充し、本手法にてどの程度化性のあるモ ルが作成可能であるか検討していく。また、今回はACC、VEL、ENV を 別に扱ったが、次の階では総合的に判定できるようマルチモーダルのアプローチを広げて実装していく。
謝辞
本研究は、株式会社ジェイテック及び株式会社JFE メカフロ ト福山の協力のもと行われた。ここに感謝の意を表します。
参考文献
SA-FRONTIER-PRO, http://sawada-ts.co.jp
Hinton, G. E., Osindero, S. and Teh, Y. “A fast learning algorithm for deep belief nets”, Neural Computation, Vol.18, 2006, pp.1527-1554.
Y. Wu, et al., "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation", arXiv preprint, arXiv:1609.08144v2
O. Vinyals, A. Toshev, S. Bengio, D. Erhan, "Show and Tell: A Neural Image Caption Generator", ICML, 2015
M. Bojarski, et al., "End to End Learning for Self-Driving Cars", arXiv preprint, 2016, arXiv:1604.07316v1
A. Shaheryar, X. Yin, W. Y. Ramay, "Robust Feature Extraction on Vibration Data under Deep-Learning Framework: An Application for Fault Identification in Rotary Machines", International Journal of Computer Applications, 2017, Vol.167, No.4, pp.37-45
凌元錦, 真木紘, 遊佐訓孝, 宮健三, "TBM とCBM を
併用した 方式におけるTBM 実施 隔最適化モ
ルの開発", 日本原子力学会和文論文心, 2007, Vol.6,
No.3, pp.312-319
田 , "設備診断技術（その2)振動音響解析による回転機械の診断技術", 安 学, 1997, Vol.36, No.5, pp.321-328
D. Abati, A. Porrello, S. Calderara, R. Cucchiara, "Latent Space Autoregression for Novelty Detection", arXiv preprint, 2019, arXiv:1807.01653v2
R. Chalapathy, S. Chawla, "Deep Learning for Anomaly Detection: A Survey", arXiv preprint, 2019, arXiv:1901.03407v2
S. Yang, G. Peng, "D-PCN: Parallel Convolutional Networks for Image Recognition via a Discriminator",
arXiv preprint, 2018, arXiv:1711.04237v3
K. Kowsar, M. Heidarysafa, D. E. Brown, K. J. Meimandi,
L. E. Barnes, "RMDL: Random Multimodel Deep Learning for Classification", Proceedings of the 2nd International Conference on Information System and Data Mining, 2018, pp.19-28
J. Choi, J. Lee, "EmbraceNet: A robust deep learning architecture for multimodal classification", Information Fusion, Vol.51, 2019, pp.259-270
K. Noda, H. Arie, Y. Suga, T. Ogata, "Multimodal integration learning of robot behavior using deep neural networks", Robotics and Autonomous Systems, Vol.62,
2014, pp.721-736
[15] A. R. Zamir, A. Sax, W. Shen, L. Guibas, J. Malik, S. Savarese, "Taskonomy: Disentangling Task Transfer Learning", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018
K. Saenko, B. Kulis, M. Fritz T. Darrell, "Adapting Visual Category Models to New Domains", Computer Vision ?
ECCV, 2010, pp.213-226
K. Saito, K. Watanabe, Y. Ushiku, T. Harada, "Maximum Classifier Discrepancy for Unsupervised Domain Adaptation", CVPR.2018.00392, 2018, pp.3723-3732