３６０°映像を利用したパトロールシステムの開発
公開日:
カテゴリ: 第16回
360゜映像を利用したパトロールシステムの開発
Development of a Patrol System using 360-degree view
東芝エネルギーシステムズ（株） 尾崎
健司
Kenji OSAKI
Member
東芝エネルギーシステムズ（株） 大島
朋美
Tomomi OSHIMA
Member
東芝エネルギーシステムズ（株） 相川
徹郎
Tetsuro AIKAWA
東芝エネルギーシステムズ（株） 金子
智一
Tomokazu KANEKO
東芝エネルギーシステムズ（株） 畠山
誠
Makoto Hatakeyama
東芝エネルギーシステムズ（株） 吉田
光明
Mitsuaki YOSHIDA
東芝エネルギーシステムズ（株） 亀井
政昭
Masaaki KAMEI
Abstract
From a viewpoint of safe operation and the improvement in an operating ratio of equipment, Efficient maintenance engineering and inspection work is needed. Therefore, we developed a patrol system using 360-degree camera and self-localization technology. A 360-degree camera which can photo the image of all the directions was used for this system. It can record the spherical image of an inspection worker, and enables the inspection image of the direction to need. Moreover, early detection of change of an on-site situation was made possible by difference processing with the past spherical image. In this paper, the prototype under development is reported.
Keywords: Patrol system, 360-degree camera, Simultaneous Localization and Mapping
1 はじめに
発電所などでは、工事進捗管理や異常検知のため、定期的な巡回点検が実施される。巡回点検では、確認事項の 録の 、 場 の での 録が れる。撮影された箇所以外を把握する必要が生じた場合は再度撮影する必要がある。このような追加作業の削減など、 場確認作業の効率化を目的として、巡回点検の際に、点検した箇所の位置情報とともに全方位の映像（360゜映像） を 録、閲覧できるシステムを開発した。
ここでは、プロトタイプでの評価結果を報告する。
Fig 1 System configuration
2 システム概要
図1にシステムの構成を示す。点検員は、360゜カ メラとSLAM（Simultaneous Localization and Mapping*1）
による 位置 定 を した を所 して巡視点検を う。360゜映像（動画）の撮影と同時にSLAM により1 秒間隔で 位置を 定し移動軌跡
（3次元座標）を 録する。映像と移動軌跡は同期しており、レイアウト図などの地図情報に軌跡を重ね合 ることで、軌跡上で選択した任意の位置での全方位の映像を閲覧できるようになる。図2に360゜カメラで撮影 した映像の例を示す。360゜カメラは、背面合せした魚眼カメラで取得された映像を合成したものであり、閲覧する際は、補正して表示する。
図3に閲覧システム画面の例を示す。当社工場内にある動力管理設備にて試験的に取得したものである。図3
（1）は設備のレイアウト図であり、それぞれのデータが登録されている位置を●で示している。図3（2）から（4）にそれぞれ360゜映像、レーザスキャン、3 D-CAD のデータを示す。ここで、360゜映像については、移動軌跡のう 、 する イントの を して
連絡先: 尾崎 健司
〒183-8511 東京都府中市東芝町1 東芝エネルギーシステムズ（株） E-mail: kenji.osaki@toshiba.co.jp
いる。こうすることで、同じ場所での360゜映像、レーザスキャン、3D-CAD のデータを切り替えて できる。設計データや建設、改造工事後の 場 の変化などの把握に活用できる。また、詳細な情報はレーザスキャンで取得し、容易に取得できる360゜映像で補完して 録する方法が効果的と考えられる。
Fig 2 Sample of 360-degree image
Fig 3 Sample mage of Viewer
3 映像差分処理
器の配置や漏洩による変色など、 場 の変化を
動的に検 することを目的として、2つの360゜映像の変化を検 する を開発した。ここでは、 器の配置 の変化に対して、差分処理の適用性を評価した結果を示す。図4に差分処理のアル ズムを示す。3 60゜カメラの動画映像をトラッキングし映像中の特徴点を して、3次元点群データ化する。次にSLAM
にて測定したカメラの位置と向きの情報と3次元点群データの情報から構造物の位置を算 する。同様な処理を同じ場所で別の時刻に撮影された映像に対しても い、構造物の位置を算 する。ここで、SLAM により撮影場所を特定できることで同じ場所での映像の を可
としている。
図5に工場にて撮影した撮影日の異なる2つ映像に対する差分処理の結果を示す。図中の視点がカメラの中心
であり、差分処理の結果、 器の配置が変化した部分（①
②）をボクセル表示している。①と②はそれぞれ、移動 された 器と新たに配置された 器を示す。カメラからの距離5m程度で、約30cm以上の 器の配置変化を検 できることを確認した。
Fig 4 Algorithm for differential processing
Fig 5 Result of differential processing
4 まとめ
360゜カメラとSLAM による 位置 定により、屋内でも地図上の任意の位置の全方位映像を閲 覧できるシステムを開発した。また、差分処理により異 なる映像から構造物の配置の変化を検 できることを確認した。今後、実プラントでの 検証や差分処理の高精度化を進める。
参考文献
[1] Jorge F., et al., Visual simultaneous localization and mapping: a survey, Artificial Intelligence Review, Vol 43, 2012, pp 55?81