巡視点検高度化を目指した映像管理技術開発 Development of information management technology for advanced patrol inspection 東芝エネルギーシステムズ（株） 尾崎 健司 Kenji OSAKI Member 東芝エネルギーシステムズ（株） 坂本 直弥東芝エネルギーシステムズ（株） 田副 佑典 Naoya SAKAMOTO Yusuke TAZOE Member 東芝エネルギーシステムズ（株） 渋谷 真人 （株）東芝佐野 雄磨 （株）東芝関 晃仁 Masato SHIBUYA Yuma SANO Akihito SEKI Abstract During operation or regular inspections at power plants, regular patrol inspections are carried out in order to identify abnormalities at the site at an early stage. In the patrol inspection, in addition to recording the confirmation items, the site situation is recorded with images such as photographs and videos. It is a process that consumes the administrator's time because it is necessary to manage photos and videos by collating them with the layout of the building. For the purpose of streamlining these managements, we have developed a technology to estimate the movement trajectory from the 360 ° camera image and manage it together with the image, and a technology to record the on-site equipment layout from the 360 ° image as 3D data. Furthermore, we have developed a technology to simultaneously estimate the location and depth information of photographs taken with a general camera. With these technologies, it is possible to manage information based on location information even in no GPS environment such as inside a power plant, and contribute to the management of patrol inspection data. Keywords: 360-degree camera, Visual-SLAM, SfM, DNN, Localization technology, Depth estimation １．はじめに 発電所などでは、運転中や定期点検時など、現場におけ る異常を早期に把握するため、定期的な巡視点検が実施 される。巡視点検では、点検票への記録の他、現場状況を 写真やビデオ等の映像で記録している。その際、写真や映 像を建屋レイアウトなどと照合して整理する必要があり、現場での負担となっている。これらの映像を効率的に管 理することを目的として、巡視点検を行った箇所の位置 情報とともに全方位の映像（360°映像）を記録、閲覧で きるシステムを開発してきた[1]。従来は、360°カメラとSLAM（Simultaneous Localization and Mapping）技術に よる自己位置推定機能を搭載した端末により移動軌跡を 推定していた。本報告では、360°カメラの映像から移動 軌跡を推定可能とするとともに、現場の機器配置などを3 次元データとして記録する技術、さらに、一般の単眼カメ ラで撮影した写真から撮影場所や映像とともに奥行方向 の情報を推定する技術について報告する。 これらの技術により、位置情報と同時に現場の状況を 連絡先: 尾崎 健司 〒183-8511 東京都府中市東芝町１、東芝エネルギーシステムズ（株） E-mail: kenji.osaki@toshiba.co.jp 記録可能となり、巡視点検において取得した大量の映像管理を省力化でき、ある特定のエリアや機器の映像比較が容易になることから、異常や劣化の早期検知が可能となる。特に発電所屋内のような非GPS 環境下においても、位置情報に基づいた現場情報の管理を実現する。 ２．360°映像利用技術 図１にシステム構成を示す。360°カメラ画像を用いて、移動軌跡を推定し、画像を閲覧し、3 次元点群データを作成する技術に関して説明する。 Fig.1 Management system using 360 ° video 360°映像による自己位置推定技術 360°カメラで撮影した動画にVisual-SLAM 技術を適用することにより、巡視点検時の移動軌跡を推定する。Visual-SLAM とは、映像などの視覚情報(Visual)から、 自己位置の推定（Localization）と周囲環境の地図情報構築(Mapping）を同時(Simultaneously)に行う技術の総称である。処理の手順を以下に示す。 ①360°画像は、２つの魚眼レンズを持つカメラ画像を組み合わせた画像であるため、歪みを補正する。 ②歪み補正した画像上の特徴点を抽出するとともに同特徴点を複数フレーム間で追跡する。図2 に360°画像の例を示す。画像中に抽出した特徴点を示している。 ③特徴点の追跡結果からカメラの位置・姿勢を推定する。 ④ ②～③を繰り返すとともに、特徴点のマッチングから３次元点群データを作成する。以上の処理を動画像に対して繰り返し行うことにより移動軌跡を推定する。図3 に当社工場内にある動力管理設備にて試験を行った際の移動軌跡を示す。推定誤差は、48cm（平均+バラつき3σ）以内であった。図4 に閲覧システムの画面例を示す。レイアウト図上に移動軌跡を表示するとともに、移動軌跡上の現在地における360°画像を表示している。巡視点検のルートに沿った映像を確認できるとともに、異なる日時の映像に対して、場所を指定した表示が可能であり、現場状況の変化の確認を効率的に行うことができる。 Fig.2 Feature point extraction result Fig.3 Movement trajectory estimation result Fig.4 Typical screen of browsing system 360°映像による3 次元再構成技術 巡視点検時に取得した360°映像から機器や設備の配置状況をより詳細に把握することを目的として、360° 映像から3 次元点群データを生成する3 次元再構成技術を開発した。3 次元再構成には”COLMAP”[2] [3]（画像間のカメラ位置・姿勢をSfM(Structure-from-Motion)とMVS(Multi-View-Stereo)によって推定するオープンソー スソフトウェア）を用いた。図3 に示す移動軌跡にて取得した360°映像を3 次元点群にデータ化した結果を図5 示す。360°映像に3 次元点群データを併用することで、機器や機材の配置状況を、より正確に把握することが可能となる。 Overall view Enlarged view Fig.5 3 dimensional reconstruction result ３．画像1 枚からの点検情報の認識と管理 本章では、単眼カメラで撮影した 1 枚の画像から、撮影場所と被写体の大きさなどの点検情報を認識し管理する点検情報管理システムについて説明する。 全体構成 点検情報管理システムの概要を図 6 に示す。点検情報管理システムは、1 枚の画像から撮影位置を特定する位置推定技術と、被写体の奥行を認識する奥行推定技術の2 つの技術を組み合わせたものである。点検の際に撮影した1 枚の画像をサーバーにアップロードすれば、撮影位置と被写体の奥行を同時に推定し、被写体の大きさを計測することが出来る。これにより、GPS の電波が届かない発電プラント施設内であっても、追加の機材を導入することなく、点検情報に位置情報を付与してサーバーに蓄積することが出来る。蓄積された点検情報は、配置図の該当箇所にアクセスすることで簡単に入手することが可能であり、巡視・保守点検作業を効率化できる。 Fig.6 Inspection information management system 位置推定技術 点検情報管理システムは、ディープニューラルネットワーク(DNN)を使用して、画像の撮影位置を推定している[4]。図7 に位置推定技術の概要を示す。まず、点検対象の施設を事前に撮影した画像と、配置図上の撮影位置とを対応付けたデータベースを作成する。データベースの事前に撮影した画像と、点検時に新たに撮影した画像の、特徴量をDNN によって抽出する。両画像の特徴量を比較することで、点検時に撮影した画像に類似したデータベース画像が特定される。次に、撮影した画像と類似画像の間の画素の対応をDNN によって取得する。最後に、画素の対応に基づいて、撮影画像と類似画像の間の相対的な位置姿勢を幾何的に算出する。データベースの類似画像は撮影された絶対位置が既知であるため、撮影画像と類 似画像の間の相対的な位置姿勢を算出することで、撮影画像の絶対位置を推定することが可能である。 Fig.7 Localization technology 奥行推定技術 カメラで撮影された画像は、カメラから被写体までの距離に依存して、画素の位置によりぼけ方が異なることがわかっている。点検情報管理システムは、図 8 に示すように被写体までの距離に応じて生じる画像のぼけをDNN で解析することにより、カメラから被写体までの距離を計測している[5]。これにより、市販の単眼カメラでステレオカメラ並みの距離計測が可能である。 Fig.8 Depth estimation technology 動作例 点検情報管理システムの動作例を示す。まず、図 9 にデータベース用に撮影した画像と、配置図における撮影位置の対応の例を示す。このようにデータベースには事前に撮影された画像と撮影位置が記録されている。 次に、点検用に別のカメラで撮影した画像に対して、撮 影位置と被写体の奥行を推定する。図 11(a)に示す撮影画像をサーバーにアップロードすると撮影位置が推定され、図10 の配置図上にピンで示されている。図9 のデータベ ース情報、図10 の推定位置、図11(a)の撮影画像を比較すると、図11(a)の画像の撮影位置は適切に推定されている ことがわかる。また、図11(a)の撮影画像に対して図11(b) に示す奥行画像も同時に推定される。点検情報管理システムでは、図10 の配置図をWEB ブラウザに表示し、配置図に示されたピンをクリックすることで、撮影画像や奥行画像を表示することが出来る。また、撮影画像や奥行画像などの点検情報は、撮影日時ごとに分類してデータベースで管理されるため、過去の点検情報へも容易にアクセスすることが可能である。 Fig.9 Database images and their camera locations Fig.10 Estimated camera location input image(b) depth image Fig.11 Input image and depth image ４．まとめ 巡視点検における現場状況管理の効率化と高度化を目的として、360°映像による自己位置推定を行い、巡視点検時の移動軌跡と連動した360°映像の閲覧システムと360°映像から現場の3 次元点群データを作成する技術を開発した。また、一般の単眼カメラの映像から撮影位置と奥行きを同時に推定する技術を開発した。いずれの技術も工場内の施設にて動作検証を行い、機能検証を完了した。 これらの技術により、巡視点検時に全周を撮影する360°カメラあるいは単眼カメラで現場の映像を取得するだけで、撮影位置とともに映像を管理することが可能となった。また、映像から得られた3 次元点群データや写真の奥行き情報から、機器や設備の配置状況などの変化を詳細に把握することが可能となる。 今後、発電プラント等への実機適用を図っていく。 参考文献 尾崎健司、他、”360°映像を利用したパトロールシステムの開発,” 第16 回学術講演会要旨集,日本保全学会 2019. Johannes L. Sch?nberger, Jan-Michael Frahm, “Structure- from-Motion Revisited”, Conference on Computer Vision and Pattern Recognition (CVPR), 2016 Johannes L. Sch?nberger, Enliang Zheng, “Pixelwise View Selection for Unstructured Multi-View Stereo”, European Conference on Computer Vision (ECCV), 2016 R. Nakashima and A. Seki, “SIR-Net: Scene Independent End-to-End Trainable Visual Relocalizer,” 3DV, 2019. M. Kashiwagi, N. Mishima, T. Kozakaya, S. Hiura, “Deep Depth from Aberration Map,”ICCV, 2019. 本論文に掲載の商品の名称は，それぞれ各社が商標として使用している場合があります。

検索

• [ニュース] ボリューム検索機能を追加しました（2019/03/27 ）
• [ニュース] 著者検索機能を追加しました（2019/03/07 ）
• [ニュース] 解説記事を掲載しました。（2019/03/06 ）
• [ニュース] 当サイトを公開しました。（2019/03/06 ）