時系列データを用いた人の危険行動検知手法の開発
公開日:
カテゴリ: 第13回
1. 序論
福島第一原発事故以降、原子力発電所の枢要設備の構造と存在がメディアによって取り上げられ、人為的に過酷事故が発生可能であることが世界に知られた。これにより、原子力施設に対するテロリズムの脅威が増加している。核セキュリティの脅威の中でも特に内部脅威者による妨害破壊行為には現行の監視カメラを用いた検知技術は有効ではなく、新技術の開発が急務である。本研究では画像解析に基づく内部脅威者の検知を目的とし、画像の時系列データを用いて人間の行動の判別が可能かを検証した。 時系列データの解析に当たり、データの軽量化のために Kinectを用いて撮影実験を行い、三次元骨格データを取得することを試みた。データの解析には主成分分析(Principal Component Analysis)(以下 PCA)とSimilarity Based Modeling(以下 SBM)を採用した。
2.手法 2.1 撮影方法 撮影機材として Kinect を用い「たたく(縦)」、「叩 く(横)」、「歩く」、「突く」、「物を置く」の 5 種類の 動作(j =1~5)を撮影した。判定用動画として 5 動作 をそれぞれ 10 回繰り返す動画と、判定対象として 5 動作を2回ずつランダムな順番で10回行う動画を撮 影した。なお、撮影速度は 30fps であり、各動画の 撮影フレーム数は 500F とした。 2.2 右腕の動作の検出 今回は右腕の動きのみに着目し、Fig.1 に示す 5 関 節の x,y,d 座標(縦、横、奥行き)座標から 4 つの角度 θ1 ~ θ4を得た。 θ1 θ2 θ4 θ3 頭 Fig.1 4 acquired angles 2.3 時系列データ Xjの作成 式(2.1)のように j 番目の動作の 1~50F の 4 角度を 縦に並べたものを時系列ベクトル xj,1とし、同じく 2 ~51F を xj,2とし、これを xj,451まで繰り返す。xj,1か ら xj,451 を横に並べて時系列行列 Xjとした。 Xj = [xj,1, ? xj,451] = ? θj,1,1F ? θj,1,451F ? ? ? θj,4,50F ? θj,4,500F? (2.1) θj,1,1F ? θj,1,451F ? ? ? θj,4,50F ? θj,4,500F? (2.1) 2.4 動作パターンの解析 2.4.1 PCA(principal Component Analysis) まず Xj の自己相関行列Xj ? Xjtの主成分分析によ り固有ベクトルを求め、このうち固有値の大きい 30 個の主成分ベクトルvj,1~vj,30を横に並べて行列 Vj とした。判定対象動画の時間ステップ t における時 系列ベクトルを xtとし、vj,1~vj,30で張られる平面と 連絡先:藤田智之、〒113-8654 東京都文京区本郷 7-3-1、東京大学大学院工学系研究科原子力専攻、 E-mail: pikapoke516@gmail.com - 185 - xtとの距離 Lj,tを求めた。 Vj = [vj,1 ? vj,30] (2.2) Lj,t = ?xt ? Vj ? Vjt ? xt? (2.3) 2.4.2 SBM(Similarity Based Modeling) 時系列データ Xjから 5 列おきに 30 列を抜き出し 結合して、テンプレート行列 Djとした。更に、内挿 行列 Gjの逆行列を計算し、xtとテンプレート Djから 類似度 aj,tを計算した。[1] Gj?1 = iii(Djt ? Dj) (2.4) aj,t = Djt ? xt (2.5) 類似度 aj,tから xtの推定値x?j,tを求め、xtとx?j,tの距離 L’j,tを求めた。 x?j,t = Dj ? Gj?1 ? aj,t ∑Gj?1 ? aj,t (2.6) L′j,t = ?xt ? x?j,t? (2.7) 2.5 判定方法 上で求めた2 つの距離 Lj,t, L’j,tは図2-2 のように表 される。緑線は xtの軌跡、各平面は 5 種類の動作か ら得られる PCA の主成分ベクトルまたは SBM のテ ンプレートを基底ベクトルとする平面である。赤線 は xtの各平面への射影である。ここでは xtとの距離 Lj,t, L’j,t が最小となる平面に対応する動作を判定結 果とした。 Fig.2 The determination target xt (the green line), the principal component vector V (or template D) corresponding to the 5 types of behavior, xt of the projection of the plane to the ground (red line), and from xt to 5 plane distance (blue line) 3.結果と考察 3.1 PCA による判定 PCA を用いて判定対象動画の 5 動作判定を行った。 Fig.3 の横軸は時間ステップ、縦軸は 5 動作について の距離 Lj,t である。Fig.3 中の○×は判定の正解・不 正解を表している。「叩く 1(縦)」と「叩く 2(横)」の 結果が混同し、同じく「突く」と「物を置く」の結 果が混同した。「歩く」の判定は正しい結果を得るこ とができた。 - 186 - Fig.3 5 behavior judgment result by the PCA 3.2 SBM による判定 SBM における 5 動作判定結果を Fig.4 に示す。「歩 く」、「叩く(縦)」、「叩く(横)」、「物を置く」、の判定 に成功し、「突く」と「物を置く」、の判定が混同し た。 Fig.4 5 behavior judgment result by the SBM 3.3 課題解決のための提案 まずKinectを用いて正確に骨格追跡を行うために、 複数のKinectを同時に接続し別々の角度から撮影を 行うという解決策がある。次に判定精度の向上につ いては、腕の角度のみでなく腕の動きに連動した手 首や背骨、腰など別の骨格情報も入力データとして 用いるという解決策を提案する。 4.結論 1 座標変換、時系列データ作成、PCA、SBM を用 いた動作判定手法を提案しプログラムを作製し た。 2 SBM による判定は、「突く」と「物を置く」の混 同はあるものの概ね成功した。 3 判定結果を検証し以下の課題を抽出した ・撮影条件によるデータ取得精度の向上 ・入力データ追加による判定結果の精度向上 参考文献 [1] 高木幹雄、下田陽久(2004)「新編 画像解析ハ ンドブック」pp.757-764, 東京大学出版会 [2] W. Duch, “Similarity- based methods: a general framework for classification, approximation and associartion,” Contorol and Cybernetics, Vol. 29, No. 4(2000) - 187 -“ “時系列データを用いた人の危険行動検知手法の開発“ “藤田 智之,Tomoyuki FUJITA,出町 和之,Kazuyuki DEMACHI
福島第一原発事故以降、原子力発電所の枢要設備の構造と存在がメディアによって取り上げられ、人為的に過酷事故が発生可能であることが世界に知られた。これにより、原子力施設に対するテロリズムの脅威が増加している。核セキュリティの脅威の中でも特に内部脅威者による妨害破壊行為には現行の監視カメラを用いた検知技術は有効ではなく、新技術の開発が急務である。本研究では画像解析に基づく内部脅威者の検知を目的とし、画像の時系列データを用いて人間の行動の判別が可能かを検証した。 時系列データの解析に当たり、データの軽量化のために Kinectを用いて撮影実験を行い、三次元骨格データを取得することを試みた。データの解析には主成分分析(Principal Component Analysis)(以下 PCA)とSimilarity Based Modeling(以下 SBM)を採用した。
2.手法 2.1 撮影方法 撮影機材として Kinect を用い「たたく(縦)」、「叩 く(横)」、「歩く」、「突く」、「物を置く」の 5 種類の 動作(j =1~5)を撮影した。判定用動画として 5 動作 をそれぞれ 10 回繰り返す動画と、判定対象として 5 動作を2回ずつランダムな順番で10回行う動画を撮 影した。なお、撮影速度は 30fps であり、各動画の 撮影フレーム数は 500F とした。 2.2 右腕の動作の検出 今回は右腕の動きのみに着目し、Fig.1 に示す 5 関 節の x,y,d 座標(縦、横、奥行き)座標から 4 つの角度 θ1 ~ θ4を得た。 θ1 θ2 θ4 θ3 頭 Fig.1 4 acquired angles 2.3 時系列データ Xjの作成 式(2.1)のように j 番目の動作の 1~50F の 4 角度を 縦に並べたものを時系列ベクトル xj,1とし、同じく 2 ~51F を xj,2とし、これを xj,451まで繰り返す。xj,1か ら xj,451 を横に並べて時系列行列 Xjとした。 Xj = [xj,1, ? xj,451] = ? θj,1,1F ? θj,1,451F ? ? ? θj,4,50F ? θj,4,500F? (2.1) θj,1,1F ? θj,1,451F ? ? ? θj,4,50F ? θj,4,500F? (2.1) 2.4 動作パターンの解析 2.4.1 PCA(principal Component Analysis) まず Xj の自己相関行列Xj ? Xjtの主成分分析によ り固有ベクトルを求め、このうち固有値の大きい 30 個の主成分ベクトルvj,1~vj,30を横に並べて行列 Vj とした。判定対象動画の時間ステップ t における時 系列ベクトルを xtとし、vj,1~vj,30で張られる平面と 連絡先:藤田智之、〒113-8654 東京都文京区本郷 7-3-1、東京大学大学院工学系研究科原子力専攻、 E-mail: pikapoke516@gmail.com - 185 - xtとの距離 Lj,tを求めた。 Vj = [vj,1 ? vj,30] (2.2) Lj,t = ?xt ? Vj ? Vjt ? xt? (2.3) 2.4.2 SBM(Similarity Based Modeling) 時系列データ Xjから 5 列おきに 30 列を抜き出し 結合して、テンプレート行列 Djとした。更に、内挿 行列 Gjの逆行列を計算し、xtとテンプレート Djから 類似度 aj,tを計算した。[1] Gj?1 = iii(Djt ? Dj) (2.4) aj,t = Djt ? xt (2.5) 類似度 aj,tから xtの推定値x?j,tを求め、xtとx?j,tの距離 L’j,tを求めた。 x?j,t = Dj ? Gj?1 ? aj,t ∑Gj?1 ? aj,t (2.6) L′j,t = ?xt ? x?j,t? (2.7) 2.5 判定方法 上で求めた2 つの距離 Lj,t, L’j,tは図2-2 のように表 される。緑線は xtの軌跡、各平面は 5 種類の動作か ら得られる PCA の主成分ベクトルまたは SBM のテ ンプレートを基底ベクトルとする平面である。赤線 は xtの各平面への射影である。ここでは xtとの距離 Lj,t, L’j,t が最小となる平面に対応する動作を判定結 果とした。 Fig.2 The determination target xt (the green line), the principal component vector V (or template D) corresponding to the 5 types of behavior, xt of the projection of the plane to the ground (red line), and from xt to 5 plane distance (blue line) 3.結果と考察 3.1 PCA による判定 PCA を用いて判定対象動画の 5 動作判定を行った。 Fig.3 の横軸は時間ステップ、縦軸は 5 動作について の距離 Lj,t である。Fig.3 中の○×は判定の正解・不 正解を表している。「叩く 1(縦)」と「叩く 2(横)」の 結果が混同し、同じく「突く」と「物を置く」の結 果が混同した。「歩く」の判定は正しい結果を得るこ とができた。 - 186 - Fig.3 5 behavior judgment result by the PCA 3.2 SBM による判定 SBM における 5 動作判定結果を Fig.4 に示す。「歩 く」、「叩く(縦)」、「叩く(横)」、「物を置く」、の判定 に成功し、「突く」と「物を置く」、の判定が混同し た。 Fig.4 5 behavior judgment result by the SBM 3.3 課題解決のための提案 まずKinectを用いて正確に骨格追跡を行うために、 複数のKinectを同時に接続し別々の角度から撮影を 行うという解決策がある。次に判定精度の向上につ いては、腕の角度のみでなく腕の動きに連動した手 首や背骨、腰など別の骨格情報も入力データとして 用いるという解決策を提案する。 4.結論 1 座標変換、時系列データ作成、PCA、SBM を用 いた動作判定手法を提案しプログラムを作製し た。 2 SBM による判定は、「突く」と「物を置く」の混 同はあるものの概ね成功した。 3 判定結果を検証し以下の課題を抽出した ・撮影条件によるデータ取得精度の向上 ・入力データ追加による判定結果の精度向上 参考文献 [1] 高木幹雄、下田陽久(2004)「新編 画像解析ハ ンドブック」pp.757-764, 東京大学出版会 [2] W. Duch, “Similarity- based methods: a general framework for classification, approximation and associartion,” Contorol and Cybernetics, Vol. 29, No. 4(2000) - 187 -“ “時系列データを用いた人の危険行動検知手法の開発“ “藤田 智之,Tomoyuki FUJITA,出町 和之,Kazuyuki DEMACHI