AR技術を活用した保全業務支援ツールの開発(その２)
公開日:
カテゴリ: 第16回
AR 技術を活用した保全業務支援ツールの開発（その2)
Development of a Maintenance Supporting Tool
Using Augmented Reality Technology(2)
東芝エネルギーシステムズ（株） 大島朋美
Tomomi OSHIMA
Member
東芝エネルギーシステムズ（株） 尾崎健司
Kenji OSAKI
Member
東芝エネルギーシステムズ（株） 西優弥
Yuya NISHI
Member
東芝エネルギーシステムズ（株） 吉田光明
Mitsuaki YOSHIDA
東芝エネルギーシステムズ（株） 亀井政昭
Masaaki KAMEI
Abstract
New inspection system is supposed to be introduced in nuclear power plants in Japan. In the corrective action program (CAP) based on quality management system、 sharing of nonconformity information、management of corrective and preventative action are required. For management of the corrective action、relevant data have to be correctly and efficiently recorded and managed. In order to address the new system、we developed a maintenance support tool using augmented reality (AR) technology. This tool helps users identify apparatus or parts to be inspected correctly with self-localization and 3D object recognition technology、and assists users’ recognition and judgment of the object conditions. The function to cooperate plant design information, such as 3 D-CAD data, and the information on the terminal used at the field for the purpose of carrying out management of an inspection program and inspection record efficiently using a self-localization technology was developed.
Keywords:
Maintenance supporting tool, Augmented reality technology, Visual Simultaneous Localization and Mapping
はじめに
原子力発電所においては、安全に関する設備が増加したことや、米国で運用されている原子炉監視プロセス（ROP Reactor Oversight Process）を参考とした新しい検査制度への見直しが実施されるなど、保全業務に関する環境が変化している。
保全環境の変化に伴い、作業量の増加や手順の見直しが れる で、 れた ースで作業質を維持、向上させていく必要がある。それゆえに、これまで以上に作業の 化やヒューマンエラーを防止する仕組みが必要になると予想される。また、発電所における安全上の問題を発電所の関係者が自発的に発見・収集していくために、気づき事項を容易に収集・記録・管理する是正処置対応を支援する仕組みが必要になると予想される。
このような 的で、近年、点検時の記録や点検手順の提示などタブレット等のモバイル端末を用いた作業支援ツールが開発され、現場適用が進め れている。
我々は拡張現実（AR）技術や位置推定技術を活用
し、点検時の判断や記録作業を支援する保全業務支援ツールを開発中である。これまでに、発電所内で の点検作業を想定して、点検対象機器や部位の自動認識、発電所内の位置情報および点検対象に対応した作業内容提示、作業記録を支援する機能を開発した*1。
本報告では、現場作業に使用する端末の自己位置推定機能により、点検計画および点検記録の管理を
的で、 実に実施することを 的として開発した、3D-CAD などの設計情報と端末の情報を連携する機能に いて報告する。
拡張現実技術および自己位置推定技術点検対象を 実に短時間で特定し、点検対象に対応した作業内容等を提示するため、タブレット等の端末上に表示された風景（カメラにより撮影し、画面上に表示されている実画像）に、文字や図形など仮想的な情報（AR コンテンツ）を重ね合 せて表
示することが可能な拡張現実（AR）技術を採用した。
AR コンテンツは、位置情報を用いて点検対象の位置に表示する。位置情報を計測するために、自己
連絡先:大島 朋美、〒183-8511 東京都府中市東芝町1番地、東芝エネルギーシステムズ（株）、
E-mail: tomomi.oshima@toshiba.co.jp
位置推定技術（Visual Simultaneous Localization and Mapping*2）を適用した。
本技術は、端末のカメラ・赤外 深度センサーを用いて周囲の物体までの距離を測定する。続いて、物体の特徴点（例えば角など）を アルタイムに追
し、端末自 の 動距離・ 動 向・ を推定 するものである。図1に、自己位置推定技術の概念図を示す。ここでは、2 次元バーコード状のマーカーを端末で撮影することで、3 次元空間の原点として設定し、そこ 各地点で周囲の特徴点との距離を順次計測し周辺の地図と端末の自己位置（3 次元座標）を算出する。GPS（Global Positioning System） が 用できない屋内においても、端末の位置の推定および周囲にある点検対象の認識が可能となる。
Fig.1 Self-localization method using Visual Simultaneous Localization and Mapping
設計情報との連携機能
前章の自己位置推定技術による現場での位置推定機能と、3D-CAD などの設計情報を連携する機能を開発した。図 に、システム を示す。事務所の管理者が操作する PC と現場で作業者が携帯する端末で する。事務所の PC では、作業現場の3D-CAD などの設計情報を表示する。
作業者が携帯する端末は、自己位置推定機能により、現場に設置した 2 次元バーコード状のマーカーの位置を原点とした位置情報を取得することができ る。図3に示すように、このマーカーの位置（原点） と3D-CAD 上に定義したマーカーの位置情報を連携させれば、3D-CAD と現場のそれぞれの座標を 致させることが可能となる。具体的には、予め 3D-CAD 上で点検対象の位置を設定すると、現場で該当部分
に端末を向けたときに、AR コンテンツとしてそれ
の情報が表示可能となる。 LAN などが 用できる環境であれば、 アルタイムに情報連携をすることが可能であり、オフラインの環境においては、 予め事務所で関連する情報を端末にダウンロードして 現場に持 み、作業を うことも可能である。点検記録や処置内容など現場で追加した情報は、事務所に た にアップロードすることで、位置情報をキーとして設計情報に反映することが可能である。
Fig.2 System configuration
Fig.3 Coordination of location information
点検業務を例として、手順を説明する。図4に、 事務所 PC の 3D CAD を表示した例を示す。図4中の矢印は、今回の点検対象として選択した機器を示している。次に、選択された機器の情報と位置座標を現場の端末に保存する。点検対象の機器が設置されたエ アの二次元バーコード状のマーカーを読み
めば、点検対象の位置情報に基づいて、点検対象を示す AR 表示がされる仕組みとな ている。
点検対象を示す AR コンテンツが端末上に表示された例を図5に示す。現場に設置した 2 次元バーコ
ード状のマーカーを撮影すると原点が設定され、点検計画で設定した位置関係 点検対象に端末をざすとその点検対象が AR で表示される。点検の順番や該当する機器の番号や付随する情報を合 せて表示することが可能である。
Fig.4 Designation of inspection points on 3D-CAD
Fig.5 Display of inspection target on tablet PC
作業支援機能
関連データ付加・表示機能
現場作業中に図書や図面などの関連データを 認したい場合に、点検対象に関連づけて図書や図面を現場の端末で 認できる機能を試作した。図6に示すように、端末上で点検対象の AR 表示を選択すると、関連する図書や図面が表示され、それを 認することができる。表示する図書や図面は、その日の作業内容や担当者に応じて、内容をアレンジすることもできる。
Fig.6 Display related data
Fig.7 List of notes on 3D-CAD and tablet PC
仮想付箋機能
本機能は、点検作業やその他、現場作業において気づきや注意事項の記録、 認作業を支援する。
図6に示すように、現場での注意事項などを対象部位に仮想付箋として設置、AR 表示させる機能であり、注意事項が位置情報とともに記録される。現場で設置した仮想付箋の情報は、位置情報に基づいて 3D-CAD 上に反映され、その情報を共有・ 認することができる。漏洩箇所などヒンポイントで位置 を指定して記録できるため、漏洩箇所の 認や処置の管理などに いて、 的 実な作業実施を支援できる。
また、事務所の PC にて 3D-CAD の空間上で座標を指定して仮想付箋を設置することが可能である。作業指示内容や過去の点検記録や図書などのデータを付与することができ、現場での 認を 実に う
ことができる。図7に示すように、設置された仮想付箋の情報は、注意事項の 覧として、端末上と3D-CAD に表示することができ、簡易に 実に是正処置の 認と管理を支援することができる。
以上のように、作業員の所持する端末が自己位置推定機能を有することにより、位置情報をキーとして事務所と現場の情報を連携させることが可能となり、点検作業の 化や 実な記録および管理を支援できると考え れる。
おわりに
今後の原子力プラントで要求される、点検作業の
化やヒューマンエラーの防止、点検・是正処置対応の 化を 的として、AR 技術と位置推定技術を活用した保全業務支援ツールを開発した。その機能として、点検計画および点検記録の管理を的 実に実施するために、3D-CAD などの設計情報と現場での位置推定機能を連携する機能を新たに試作した。
今後、位置推定機能で推定した現場位置の3D-CAD 上における位置精度の検証や、機能の改善を進めていく。
参考文献
大島朋美、 尾崎健司、“AR 技術を活用した保
全業務支援ツールの開発”, 日本保全学会 第
15 回学術講演会、福岡、2018、pp.311-314.
Jorge F., et al., Visual simultaneous localization and mapping: a survey, Artificial Intelligence Review, Vol 43, 2012, pp 55?81.