主成分分析とMSSA法を用いた動画予測手法の技術改良
公開日:
カテゴリ: 第10回
1緒言
近年、ビデオカメラを利用したシステムは世に氾濫しており、それに伴ってリアルタイムで得られた動画情報を利用するシステムの数も非常に多くなっている。東京大学出町研究室では、主成分分析[1]というデータの低次元化手法と、MSSA法[2]と呼ばれる多次元時系列データの予測手法を用いた動画予測手法を開発した[3]。本手法の予測精度は比較的良好であるが、現状では計算速度の面からリアルタイムでの動画出力にはまだ至っていない。また、本手法は対象物の変形を予測する事には優れているが、対象物の動きに拡大縮小・回転・平行移動が含まれる場合に変形予測の精度が著しく低下してしまう。よって、本研究ではアルゴリズムの改良によって計算時間を削減し、リアルタイムでの予測動画出力を可能にすることと、対象物の動きに拡大縮小・回転・平行移動が含まれる場合の変形予測の精度を向上させることを試みる。
2計算手法
2.1動画の主成分分析 動画は一定間隔で並んだ多数の静止画から構成されている。本手法ではまず、１つの動画を構成する静止画に共通する主成分画像を主成分分析により抽出した。例えばある動画データI(t) がN枚の静止画から構成されているとする。各静止画の２次元画素データを１次元ベクトルに配列し直したものをN個並べてできる行列をXとする。この行列Xの自己相関行列XXtへの固有値解析で得られる固有ベクトルが、動画を構成する主成分画像ベクトルV1～VNに相当する。 22主成分画像ベクトルの係数関数 我々は主成分画像ベクトルV1～VNと、動画I(t)との関係は、(1),(2)式のように表すことができると仮定した。 -1.....33221)()()()(VVV1tatatatI-2iitItaV..)()(ここでai(t)は各主成分画像ベクトルの係数関数とする。 23係数関数の時間予測 更にai(t)と仮定した係数関数の未来変化を予測して-1式に代入する事により、撮影した動画の近未来の予測動画が得られると仮定した。ai(t)の予測は、すでに開発済みであったSingular Spectral Analysis(SSA)法を多次元に応用したMSSA法を適用した。 3．改良点 3.1計算時間の短縮 本手法の計算時間を短縮するにあたって、まずは計算の各処理でのCPU時間を調査した。Table1は、実際に画像10枚分の予測を行った際のCPU時間を処理別に集計した表である。 Table 1A list of the calculation time Process Calculation Time(s) Ratio(%) Eigenvalue calculation 87.495.9MSSA 0.380.4Others 3.43.7Sum 91.18100Table1より、固有値計算が全計算時間の約96％を占めていることが分かった。よって、固有値計算方法の改良を行った。[4] 当初行っていた固有値解析は-3式である。 -3iiTvXvX..ここで-3式の左から行列を掛け、(4)式を得る。また、行列の固有ベクトルをとすると、は(5)式のように定義される。 XTXX-4iiTXvXvXX.. (5) iiTuuXX..(4),(5)式より、の固有ベクトルはが分かれば求められることが分かる。行列のサイズは画像枚数×画像枚数であり、元の行列のサイズが画素数×画素数であることと比べて遥かに小さいため、固有値計算の計算コストは飛躍的に下がった。 iXv3.2動きの変数分離 本手法には、予測対象の動きが大きすぎる場合に、その主成分の値が大きく変化してしまうため、予測精度が落ちてしまうという問題点がある。そこで本研究では、Region Of Interest(ROI)と位相限定相関法[5]を用いて変形と変形以外の動きを変数分離し、それぞれ独立に評価・予測する事を試みる。これによって、対象の拡大縮小・平行移動・回転に影響されずに変形予測を行う事が可能となる。Fig.1は、実際に位相限定相関法を用いて画像から拡大縮小・平行移動・回転を取り除いた結果である。 Fig.1 Remove of the expansion and rotation 4．検証 4.1計算速度改良検証 3.1に示した固有値計算方法変更によって、計算速度にどの程度の改良が見られたかを検証した。予測対象動画は、CCDカメラを用いた撮影によって作成した。なお、動画の画素数は100×75、用いたCPUはCorei7-3600kである。Fig.2に用いた撮影機器を示す。Fig.3に固有値計算法改良前後の計算時間比較表を示す。 Fig.2Photography apparatus Fig.3Comparison of the calculation time Fig.3から分かるように、固有値計算方法の変更によって、固有値計算時間は約200分の1程度にまで削減され、 結果的に予測画像1枚を出力するのにかかる計算時間は、約9秒から約0.2秒にまで削減された。 4.2動きの変数分離検証 3章2節で提案した動きの変数分離を検証するため、蝶が羽ばたきながら円を描いて移動するという動画を用い、変数分離の有無で変形予測の結果がどのように変わるかを検証した。 変数分離を行った場合、行わなかった場合の変形予測結果をそれぞれFig.4、Fig.5に示す。それぞれの図は、左が元画像、中が予測画像、右が差分画像である。 C:\Users\demachi-stuednt\Pictures\卒\buttpre.PNGFig.4Prediction Result (After Improvemrent) C:\Users\demachi-stuednt\Pictures\卒\prerpt1.PNGFig.5Prediction Result (Before Improvemrent) Fig.4、Fig.5より動きの変数分離を行うことによって、予測精度が大きく改善されることが分かった。 5．結論 固有値計算の工夫によって動画予測計算時間を200分の1にまで削減でき、予測システムのリアルタイム適用に近づいた。また、動きの変数分離により拡大縮小・回転・平行移動を含む動画でも、予測精度の向上に成功した。これは監視カメラなどの不規則な動きが対象となるような分野で有効であり、今後の広範な応用先の可能性が期待できる。 参考文献 [1] L. Sirovich andM.Kirby,“Low-Dimensional Procedure for Characterization of Human Faces,” J. Optical Soc. Am., vol. 4, pp. 519-524, 1987. [2]R.VartardaandaM.Ghil,”Singularspectrumanalysisainanonlinearadynamics,with applications to paleoclimatic time series,” Physica D, 35, pp.395-424,(1989) [3]aM.Kawai,K.Demachi,H.ShiratoaandaM.Ishikawa,““DevelopmentaofaPredictionaSystemaforaMovingaTumorabyaMSSAaforaChasingaRadiotherapy““, Proc of JKMP- AOCMP 2011[4] M.Turk and A.Pentland,“Eigenfaces for Recognition”, Journal of Cognitive Neuro- science, Vol.3, NO.1, pp.71-86,(1991) [5] Qin-sheng Chen,Michel Defrise and F.Deconinck, “Symmetric Phase-Only Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition” IEEE,VOL16,NO,12 DECEMBER 1996
“ “主成分分析とMSSA法を用いた動画予測手法の技術改良 “ “上赤 一馬,Kazuma KAMIAKA,出町 和之,Demachi KAZUYUKI,榊原 洋志,Hiroshi SAKAKIBARA,笠原 直人,Naoto KASAHARA“ “主成分分析とMSSA法を用いた動画予測手法の技術改良 “ “上赤 一馬,Kazuma KAMIAKA,出町 和之,Demachi KAZUYUKI,榊原 洋志,Hiroshi SAKAKIBARA,笠原 直人,Naoto KASAHARA
近年、ビデオカメラを利用したシステムは世に氾濫しており、それに伴ってリアルタイムで得られた動画情報を利用するシステムの数も非常に多くなっている。東京大学出町研究室では、主成分分析[1]というデータの低次元化手法と、MSSA法[2]と呼ばれる多次元時系列データの予測手法を用いた動画予測手法を開発した[3]。本手法の予測精度は比較的良好であるが、現状では計算速度の面からリアルタイムでの動画出力にはまだ至っていない。また、本手法は対象物の変形を予測する事には優れているが、対象物の動きに拡大縮小・回転・平行移動が含まれる場合に変形予測の精度が著しく低下してしまう。よって、本研究ではアルゴリズムの改良によって計算時間を削減し、リアルタイムでの予測動画出力を可能にすることと、対象物の動きに拡大縮小・回転・平行移動が含まれる場合の変形予測の精度を向上させることを試みる。
2計算手法
2.1動画の主成分分析 動画は一定間隔で並んだ多数の静止画から構成されている。本手法ではまず、１つの動画を構成する静止画に共通する主成分画像を主成分分析により抽出した。例えばある動画データI(t) がN枚の静止画から構成されているとする。各静止画の２次元画素データを１次元ベクトルに配列し直したものをN個並べてできる行列をXとする。この行列Xの自己相関行列XXtへの固有値解析で得られる固有ベクトルが、動画を構成する主成分画像ベクトルV1～VNに相当する。 22主成分画像ベクトルの係数関数 我々は主成分画像ベクトルV1～VNと、動画I(t)との関係は、(1),(2)式のように表すことができると仮定した。 -1.....33221)()()()(VVV1tatatatI-2iitItaV..)()(ここでai(t)は各主成分画像ベクトルの係数関数とする。 23係数関数の時間予測 更にai(t)と仮定した係数関数の未来変化を予測して-1式に代入する事により、撮影した動画の近未来の予測動画が得られると仮定した。ai(t)の予測は、すでに開発済みであったSingular Spectral Analysis(SSA)法を多次元に応用したMSSA法を適用した。 3．改良点 3.1計算時間の短縮 本手法の計算時間を短縮するにあたって、まずは計算の各処理でのCPU時間を調査した。Table1は、実際に画像10枚分の予測を行った際のCPU時間を処理別に集計した表である。 Table 1A list of the calculation time Process Calculation Time(s) Ratio(%) Eigenvalue calculation 87.495.9MSSA 0.380.4Others 3.43.7Sum 91.18100Table1より、固有値計算が全計算時間の約96％を占めていることが分かった。よって、固有値計算方法の改良を行った。[4] 当初行っていた固有値解析は-3式である。 -3iiTvXvX..ここで-3式の左から行列を掛け、(4)式を得る。また、行列の固有ベクトルをとすると、は(5)式のように定義される。 XTXX-4iiTXvXvXX.. (5) iiTuuXX..(4),(5)式より、の固有ベクトルはが分かれば求められることが分かる。行列のサイズは画像枚数×画像枚数であり、元の行列のサイズが画素数×画素数であることと比べて遥かに小さいため、固有値計算の計算コストは飛躍的に下がった。 iXv3.2動きの変数分離 本手法には、予測対象の動きが大きすぎる場合に、その主成分の値が大きく変化してしまうため、予測精度が落ちてしまうという問題点がある。そこで本研究では、Region Of Interest(ROI)と位相限定相関法[5]を用いて変形と変形以外の動きを変数分離し、それぞれ独立に評価・予測する事を試みる。これによって、対象の拡大縮小・平行移動・回転に影響されずに変形予測を行う事が可能となる。Fig.1は、実際に位相限定相関法を用いて画像から拡大縮小・平行移動・回転を取り除いた結果である。 Fig.1 Remove of the expansion and rotation 4．検証 4.1計算速度改良検証 3.1に示した固有値計算方法変更によって、計算速度にどの程度の改良が見られたかを検証した。予測対象動画は、CCDカメラを用いた撮影によって作成した。なお、動画の画素数は100×75、用いたCPUはCorei7-3600kである。Fig.2に用いた撮影機器を示す。Fig.3に固有値計算法改良前後の計算時間比較表を示す。 Fig.2Photography apparatus Fig.3Comparison of the calculation time Fig.3から分かるように、固有値計算方法の変更によって、固有値計算時間は約200分の1程度にまで削減され、 結果的に予測画像1枚を出力するのにかかる計算時間は、約9秒から約0.2秒にまで削減された。 4.2動きの変数分離検証 3章2節で提案した動きの変数分離を検証するため、蝶が羽ばたきながら円を描いて移動するという動画を用い、変数分離の有無で変形予測の結果がどのように変わるかを検証した。 変数分離を行った場合、行わなかった場合の変形予測結果をそれぞれFig.4、Fig.5に示す。それぞれの図は、左が元画像、中が予測画像、右が差分画像である。 C:\Users\demachi-stuednt\Pictures\卒\buttpre.PNGFig.4Prediction Result (After Improvemrent) C:\Users\demachi-stuednt\Pictures\卒\prerpt1.PNGFig.5Prediction Result (Before Improvemrent) Fig.4、Fig.5より動きの変数分離を行うことによって、予測精度が大きく改善されることが分かった。 5．結論 固有値計算の工夫によって動画予測計算時間を200分の1にまで削減でき、予測システムのリアルタイム適用に近づいた。また、動きの変数分離により拡大縮小・回転・平行移動を含む動画でも、予測精度の向上に成功した。これは監視カメラなどの不規則な動きが対象となるような分野で有効であり、今後の広範な応用先の可能性が期待できる。 参考文献 [1] L. Sirovich andM.Kirby,“Low-Dimensional Procedure for Characterization of Human Faces,” J. Optical Soc. Am., vol. 4, pp. 519-524, 1987. [2]R.VartardaandaM.Ghil,”Singularspectrumanalysisainanonlinearadynamics,with applications to paleoclimatic time series,” Physica D, 35, pp.395-424,(1989) [3]aM.Kawai,K.Demachi,H.ShiratoaandaM.Ishikawa,““DevelopmentaofaPredictionaSystemaforaMovingaTumorabyaMSSAaforaChasingaRadiotherapy““, Proc of JKMP- AOCMP 2011[4] M.Turk and A.Pentland,“Eigenfaces for Recognition”, Journal of Cognitive Neuro- science, Vol.3, NO.1, pp.71-86,(1991) [5] Qin-sheng Chen,Michel Defrise and F.Deconinck, “Symmetric Phase-Only Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition” IEEE,VOL16,NO,12 DECEMBER 1996
“ “主成分分析とMSSA法を用いた動画予測手法の技術改良 “ “上赤 一馬,Kazuma KAMIAKA,出町 和之,Demachi KAZUYUKI,榊原 洋志,Hiroshi SAKAKIBARA,笠原 直人,Naoto KASAHARA“ “主成分分析とMSSA法を用いた動画予測手法の技術改良 “ “上赤 一馬,Kazuma KAMIAKA,出町 和之,Demachi KAZUYUKI,榊原 洋志,Hiroshi SAKAKIBARA,笠原 直人,Naoto KASAHARA