動画像の時系列解析による妨害破壊行為動作の検知
公開日:
カテゴリ: 第14回
1.緒言
福島第一原子力発電所事故によって、原子力発電所の電源や冷却装置を代表とする枢要設備を意図的に破壊することでも同等の事故を引き起こせる可能性が示された。このため、今後は原子力発電所に対する核セキュリティ脅威が増加すると考えられる。原子力発電所の核セキュリティ脅威の中でも内部脅威者による妨害破壊行為は、通常の保全作業等との区別が困難であるという特徴があり、既存の検知技術での検知は困難である。従って、内部脅威者による妨害破壊行為を検知するためには、行為そのものを詳細に分析し、妨害破壊行為の特徴を検知する新たな判別手法の開発が必要である。妨害破壊行為の特徴を検知するためには、工具による電源盤、回路盤などへの工作のように、手を用いた妨害破壊行為を対象とするのが効果的である。しかし、従来の画像による動作判定手法では「立つ」「歩く」といったjj全身行動の検知 を対象としとており、手の詳細な動作の検知はしていない。本研究では、手の動作が重要な 5 種類の代表的な害破壊行為の動作を対象とし、ニューラルネットワーク を用いてこれらを検知・判別する手法を開発した。
2.手法 2.1 データの取得 Microsoftの製品であるKinect-v2を用いて、代表的な妨害破壊行為の動作の例として「押す」「叩く」「切る」「掴 む」「まわす」の 5 種類の動作(j=1~5)を 20 回繰り返した \動画を 3 人分撮影し、五指の先端の 3 次元座標を機械学 習用の教師データおよびテスト用データとした[1]。なお、 テスト用データでは、5種類の動作間にランダムな動作を 挟み、これを「未定義(j=6)」とした。 2.2 時系列データの作成 動作jのiフレーム目の五指の指先の3次元座標を縦に 並べた 15 行 1 列のベクトルを pj,iFとし、さらにその 60 フレーム分を縦に並べて式(1)のような900 行1 列の時系 列データベクトル xj,,iを作成して、これを機械学習のため の教師データとした。 px ij , = ( T iFj , ,, p T ij )160(, + - F )T (1) 2.3 ディープラーニング Figs.1,2 に Auto-encoder[2]、AANN(Auto Associative Neural Networks)[3]のニューラルネットワークを示す。本 研究では、Auto-encode と AANN をそれぞれ積み重ねて 特徴量を順次抽出した後に、出力層をソフトマックス層 として 5 種類の動作(j=1~5)の確率 yjを出力する 2 つのモ デルを構築した。 連絡先:出町和之、〒113-8654東京都文京区本郷7-3-1、 東京大学大学院工学系研究科原子力専攻、 E-mail: demachi@n.t.u-tokyo.ac.jp Fig.1 Deep-learning using Auto-encoder [2] - 37 - Fig.2 Deep-learning using AANN [3] 2.4 動作の判定 2つのニューラルネットワークモデルに対してテスト 用時系列データを入力として得られる出力 yiから、式(2) に示す分散zjを求め、これを動作の判定に用いた。zjが各 動作に(j=1~5)対して設定した閾値を超えた場合には、zj が最大値となるj に相当する動作(j=1~5)を判定結果とし、 閾値を超えない場合には「未定義(j=6)」の動作を判定結 果とした。 ( )2 yyz - = j (2) 3.結果と考察 5種類の動作(j=1~5)のテスト用データを入力して、2つ のニューラルネットワークモデルから得られた動作確率 値yiの時間変化の結果をFig.3, 4 に示す。いずれの手法で も正解の動作が90%以上で最大の確率を示している。 ただし、「まわす(j=5)」の出力値y5が他の動作に比較し て小さい。これは、「まわす」の時系列データが他の動作 の時系列データとの共通成分を多く持つためであると考 えられる。対策として、肩や肘を含めた時系列データを 用いることが挙げられる。 Fig.3 Output of Auto-encoder for 5 motions and unknown motion Fig.4 Output of AANN for 5 motions and unknown motion また、Auto-encoderでは、5種類の動作間で「未定義(j=6)」 に相当するy6がほぼ1となり、2.4で述べた動作判定が出 来ず、AANN のみを対象に動作判定を行った。Fig.5に示 すようにその判定の正解率は65.05%であった。 Fig.5 Identification Results of 5 motions and unknown motion by AANN 4.結論 参考文献 [1] Kazuyuki Demachi, Shi Chen, Yusuke Kawasaki, and Shigeru Kamenoto, _Development of malicious behaviors detection method by movie analysis”, IAEA International Conference on Nuclear Scurity: Commitment and Action, No. 44, Dec 5-9, (2016) [2] Geoffrey E. Hinton, R. R. Salakhutdinov, _Reducing the Dimensionality of Data with Neural Networks”, Science. 313, 504-507, (2006) [3] M.A. Kramer, _Nonlinear Principal Component Analysis Using Autoassociative Neural Networks”, AIChE Journal, Vol. 37, No. 2, 233-343, (1991) - 38 - 画像解析より得られる五指の指先座標時系列データの ディープラーニングによる手の動作検知・判定手法を開 発した。AANN を判定の正解率は約65%であった。 動画像の時系列解析による妨害破壊行為動作の検知 出町 和之,Kazuyuki DEMACHI,陳 実,Shi CHEN
福島第一原子力発電所事故によって、原子力発電所の電源や冷却装置を代表とする枢要設備を意図的に破壊することでも同等の事故を引き起こせる可能性が示された。このため、今後は原子力発電所に対する核セキュリティ脅威が増加すると考えられる。原子力発電所の核セキュリティ脅威の中でも内部脅威者による妨害破壊行為は、通常の保全作業等との区別が困難であるという特徴があり、既存の検知技術での検知は困難である。従って、内部脅威者による妨害破壊行為を検知するためには、行為そのものを詳細に分析し、妨害破壊行為の特徴を検知する新たな判別手法の開発が必要である。妨害破壊行為の特徴を検知するためには、工具による電源盤、回路盤などへの工作のように、手を用いた妨害破壊行為を対象とするのが効果的である。しかし、従来の画像による動作判定手法では「立つ」「歩く」といったjj全身行動の検知 を対象としとており、手の詳細な動作の検知はしていない。本研究では、手の動作が重要な 5 種類の代表的な害破壊行為の動作を対象とし、ニューラルネットワーク を用いてこれらを検知・判別する手法を開発した。
2.手法 2.1 データの取得 Microsoftの製品であるKinect-v2を用いて、代表的な妨害破壊行為の動作の例として「押す」「叩く」「切る」「掴 む」「まわす」の 5 種類の動作(j=1~5)を 20 回繰り返した \動画を 3 人分撮影し、五指の先端の 3 次元座標を機械学 習用の教師データおよびテスト用データとした[1]。なお、 テスト用データでは、5種類の動作間にランダムな動作を 挟み、これを「未定義(j=6)」とした。 2.2 時系列データの作成 動作jのiフレーム目の五指の指先の3次元座標を縦に 並べた 15 行 1 列のベクトルを pj,iFとし、さらにその 60 フレーム分を縦に並べて式(1)のような900 行1 列の時系 列データベクトル xj,,iを作成して、これを機械学習のため の教師データとした。 px ij , = ( T iFj , ,, p T ij )160(, + - F )T (1) 2.3 ディープラーニング Figs.1,2 に Auto-encoder[2]、AANN(Auto Associative Neural Networks)[3]のニューラルネットワークを示す。本 研究では、Auto-encode と AANN をそれぞれ積み重ねて 特徴量を順次抽出した後に、出力層をソフトマックス層 として 5 種類の動作(j=1~5)の確率 yjを出力する 2 つのモ デルを構築した。 連絡先:出町和之、〒113-8654東京都文京区本郷7-3-1、 東京大学大学院工学系研究科原子力専攻、 E-mail: demachi@n.t.u-tokyo.ac.jp Fig.1 Deep-learning using Auto-encoder [2] - 37 - Fig.2 Deep-learning using AANN [3] 2.4 動作の判定 2つのニューラルネットワークモデルに対してテスト 用時系列データを入力として得られる出力 yiから、式(2) に示す分散zjを求め、これを動作の判定に用いた。zjが各 動作に(j=1~5)対して設定した閾値を超えた場合には、zj が最大値となるj に相当する動作(j=1~5)を判定結果とし、 閾値を超えない場合には「未定義(j=6)」の動作を判定結 果とした。 ( )2 yyz - = j (2) 3.結果と考察 5種類の動作(j=1~5)のテスト用データを入力して、2つ のニューラルネットワークモデルから得られた動作確率 値yiの時間変化の結果をFig.3, 4 に示す。いずれの手法で も正解の動作が90%以上で最大の確率を示している。 ただし、「まわす(j=5)」の出力値y5が他の動作に比較し て小さい。これは、「まわす」の時系列データが他の動作 の時系列データとの共通成分を多く持つためであると考 えられる。対策として、肩や肘を含めた時系列データを 用いることが挙げられる。 Fig.3 Output of Auto-encoder for 5 motions and unknown motion Fig.4 Output of AANN for 5 motions and unknown motion また、Auto-encoderでは、5種類の動作間で「未定義(j=6)」 に相当するy6がほぼ1となり、2.4で述べた動作判定が出 来ず、AANN のみを対象に動作判定を行った。Fig.5に示 すようにその判定の正解率は65.05%であった。 Fig.5 Identification Results of 5 motions and unknown motion by AANN 4.結論 参考文献 [1] Kazuyuki Demachi, Shi Chen, Yusuke Kawasaki, and Shigeru Kamenoto, _Development of malicious behaviors detection method by movie analysis”, IAEA International Conference on Nuclear Scurity: Commitment and Action, No. 44, Dec 5-9, (2016) [2] Geoffrey E. Hinton, R. R. Salakhutdinov, _Reducing the Dimensionality of Data with Neural Networks”, Science. 313, 504-507, (2006) [3] M.A. Kramer, _Nonlinear Principal Component Analysis Using Autoassociative Neural Networks”, AIChE Journal, Vol. 37, No. 2, 233-343, (1991) - 38 - 画像解析より得られる五指の指先座標時系列データの ディープラーニングによる手の動作検知・判定手法を開 発した。AANN を判定の正解率は約65%であった。 動画像の時系列解析による妨害破壊行為動作の検知 出町 和之,Kazuyuki DEMACHI,陳 実,Shi CHEN