プラント保守作業支援のための拡張現実感用トラッキング手法の開発

公開日:
カテゴリ: 第2回
1. はじめに
近年、電力自由化に伴って、原子力発電に伴うコス ト削減が強く要求されるようになってきた。それに加 えて熟練作業員の減少が進んでいることや、さらには 後継者に保守作業の技術伝承を行っていくことの難し さも問題となっている。その一方で、発電設備自体の 高経年化や CBM(Condition Based Maintenance)の導入に よって、ますます保守作業のありかたは複雑になって きており、保守作業支援の高度化が望まれている。そこで、拡張現実感技術を利用して保守作業を支援 するシステムを利用することで、効率的かつ安全、確 実に作業を行う研究が進められている[1]。拡張現実感 技術とは Fig.1 に示すように HMD(Head Mounted Display)などを利用してユーザの視界に情報を重畳表 示する技術であり、ユーザにとって直感的に情報提示 を行える方法として注目されている。拡張現実感技術 の実現には、その要素技術として(1)ディスプレイ技術、 (2)トラッキング技術、(3)レジストレーション技術、(4) キャリブレーション技術が必要であるが、その中でも トラッキング技術が拡張現実感技術の実現のキーテク ノロジーである。トラッキング技術は、仮想情報を重 畳表示させる周囲の実物とユーザの視点位置との相対位置関係をリアルタイムで計測する技術であり、この 計測結果に基づいて現実世界の意図した位置に常に正 しく仮想情報を表示させることができる。トラッキン グには様々な手法があるが、原子力発電所内という特 殊な環境に適した方法はこれまであまり研究されてい なかった。そこで本研究では、原子力発電所内での使 用を前提としたトラッキング手法として、配管類に貼 付して使用することのできるバーコードマーカを利用 した方法を提案する。
Worker's view
Instruction information by ARCheck the crack of the upper pipe.HMDSmall CameraField Worker Barcode MarketFig. 1Image of Barcode marker and Tracking System.1232. 提案するトラッキング手法2.1 人エマーカによるトラッキングトラッキング技術には、GPS や超音波センサに代表 される(a)信号到達時間差法[2,3]、交流磁界センサを用」 いた(b)磁気センサ法[4]、ジャイロセンサや加速度セン サを用いた(C)自律センサ法[5]、模様付きマーカを用い」 た(d)人工マーカ法[6]、周囲環境の特徴をマーカとする (e)マーカレス法 幻等が提案されている。しかし、プラ ント構内では、屋内でGPS が使えないこと、複雑な形 状の機器が多数あるため超音波センサが使えないこと、 金属製の機器が多いため磁気センサが使えないこと、 照明環境が多様なためマーカレス法では安定した画像 認識が難しいこと、等の問題がある。そのため、現在 までプラント構内で安定して使用でき、低コストで実 現可能なトラッキング手法は提案されていない。以上 の背景を鑑み、ここでは、上記の(d)人工マーカ法を応 用することを検討する。代表的なマーカによるトラッキング手法としては ARToolKit[8]がある。ARToolKit では1辺約 8cm の正 方形のマーカを用いており、マーカから 1m までの範 囲であれば比較的精度よくトラッキングが行える。し かしトラッキング可能な範囲を十分広くするためには、 マーカを発電所内に大量に貼る必要があり、これは実 現性に乏しい。そこで本研究では、プラント構内に多 数存在する配管類に貼付可能なバーコード型のマーカ (以下、バーコードマーカ)を設計し、小型 CCD ビデオ カメラによってマーカを撮影した画像からマーカを認 識することで、マーカとビデオカメラとの相対位置と 相対方向をリアルタイムで計測するトラッキング手法 を開発する。2.2 バーコードマーカの設計 設計したバーコードマーカの一例を Fig. 2 に示す。バーコードは短い黒縞と長い黒縞から構成され、そ れぞれを0と1の符号とする。符号長は 11bit であり、 先頭の 7bit は情報部、後部 4bit は符号誤りを訂正する ための冗長部とする。この場合、最大で 128 種類のマ ーカを使用できることになる。誤り訂正符号はハミン グ符号を用い、任意の 1bit の誤りを訂正できるように した。バーコードマーカの素材は、光沢によって黒縞がカ メラに白く映るのを防ぐため、光が乱反射しやすいフ・ ェルトを用いて認識精度の向上を図った。4cm 8cm 2cm 4cm[■■■■■■■■■■■0 1 0 1 0 0 0 0 1 0 1情報部誤訂正用冗長部Fig. 2Example of barcode marker.* 2.3 マーカ検出とトラッキング次に、HMD などにとりつけたカメラで撮影した画像 からのバーコードマーカの抽出と、そこからユーザの 頭部の位置・姿勢を計算する方法について述べる。まず、得られたカメラ画像(320×240 ピクセル)をあ らかじめ設定した閾値により二値化する。そして画像 全域に対してラベリング処理を施し、連結成分を得る。 さらに、得られた連結成分のうち、面積が 4~150 ピク セルでないものを除去する。また、著しくバーコード の黒縞と形状の異なるものも除外する。こうして選択された黒縞の可能性のある領域のう 一定の角度以内で 10~12 個並んでいるものをバーコー ドマーカの可能性があるものとして抽出する。そして そのバーコード中の各黒縞について、面積が最大値と 最小値の中央値より大きければ 1、そうでなければ 0 と判断する。バーコードの符号が得られたら、あらか じめ登録されている各バーコードの位置情報と照合し て、そのバーコードの 3 次元座標を確定する。なお、 黒縞が 10bit しか連続していなかった場合は1bit ずっず らしながら照合していき、10bit が一致した時点で確定 する。黒縞が 12bit 連続していた場合は、両端どちらか を無視して 11bit 分についてのみ照合を行う。また、 11bitの照合の前にはハミング符号によってチェック及 び訂正を行う。こうすることで、ノイズや隠蔽によっ てバーコード読み取りに過不足がある場合や符号が誤 認識された場合でも、ロバストに識別が行える。 - 以上の処理によって2 つ以上の画像中のバーコード について3次元位置が求められたら、Fig.3 に示したよ うに、2 つのバーコードを含む平面上に仮想的な正方 形マーカを作り、この仮想マーカについて ARToolKit と同様の方法で P4P 問題[9]を解くことで、バーコード マーカとカメラの位置・姿勢関係を求める。これによ ってユーザの頭部の位置・姿勢を算出できる。124仮想的な正方形マーカ■■■■■■■■CHIHONEP4P問題を解くのに用いる点Fig. 3 Virtual Square Marker.51 仮想的な正方形マーカ-■■■■■HTML3.1 評価実験の方法 まず、バーコードマーカの検出がどの程度の距離・ 角度から行えるかの評価実験を行う。バーコードマー カを貼付けた直径 6.0cm、全長 110cm のパイプをカメ ラの前方に垂直に配置し、距離を1~6mまで1m刻みで、 パイプの中心を軸としたカメラとの角度を0~80°ま で20°刻みで変化させながら撮影する。このようにし て得られた各画像に対して本手法を適用し、バーコー ドが正しく認識できるかどうかを調べる。なお、実験環境の照明は蛍光灯であり、バーコード マーカ上の照度は 120lux 程度であった。また、背景は バーコードマーカを抽出しやすいように白い壁とし、 画像を二値化する際の閾値は256段階の輝度中で90 と○P4P問題を解くのに用いる点Fig. 3Virtual Square Marker.3. トラッキング手法の評価した。Pistance | .om | 2.0m | 3.0m 4.0m |60°Table 1 Experimental Result3.2 評価実験の結果実験結果を Table 1 に示す。正面からマーカを捉えた5.0m Angle6.0m場合、最大 6m 離れた位置から正しくバーコードを認 Tolorolololo識できた。また、角度が 40°以内であれば、4m 離れ 20° |o|o|o|o||x た位置から認識することができた。回転角度が 80°の 40°Tomoloro|x|x場合ではほとんどの距離において抽出が不可能であっ | 0 | 0 | x | x | x | xた。 - 80° ||o|x|x|x|x| また、バーコードマーカの認識する速度は通常で30fps、遅くとも 10fps であった。これらは人間が違和 Table 2 Specifications of Hardware Components感を覚えないとされる 10fps を超えており、リアルタ Component ModelSpecificationイムと見なせる速度である。 TotalH524×V497 Pixels4. ふげん発電所での動作検証 Output Video Signal composite実際の環境中での本手法の可用性を評価するために、 CCDWhite WAT-240Aふげん発電所の純水生成装置室内にバーコードマーカAutomatic Camera balanceを数個貼り、一定時間室内を歩き回って撮影した画像 Exposure Automatic W36.0×H30.0に対して本手法を適用し、正しくバーコードの認識が SizeXD15.0 mm 行えるかを確認した。実験に使用したシステムのハー Weight 30gドウェア仕様を Table 1 に示す。 os Windows XPその結果、記録した 1000 フレームの画像のうち ProfessionalPentium M 64.3%からバーコードマーカが抽出され、52.8%についCPU Thinkpad1.4GHz Laptop PCて認識が行われた。またバーコードマーカの誤認率は X31, IBM Memory 256MB1.8%であった。逆光になっているなど、光の条件によ W273×H2231 Size XD24.9 mmっては2値化が正しく行えなくなり、バーコードの抽 Weight 1.64kg出ができない場合があった。また、距離が遠すぎる場 Frame合や角度が大きすぎる場合にも、バーコードの認識が VideoH320×V240size USB-CAP2,うまく行えなかった。こういった問題は、バーコード CapturingW15.1× H82 IO-DATA Sizeの配置をより適切に計画することで改善できると考え DeviceXD31 mm Weight 90gられる。また実験の際には、遅くとも 10fps でトラッキングを行うことができた。これはトラッキング結果 に基づいて情報提示を行った場合にユーザにとってほ こんど違和感のないフレームレートであり、処理速度 の観点からも本手法の有効性が確認された。5. まとめFig. 4Example of Inspection Support with Proposed Tracking Method.本研究では、原子力発電所の保守作業支援を行うた めの拡張現実感技術に適したトラッキング技術として、 パイプに貼ることのできるバーコードマーカを用いる 手法を提案した。また、カメラ画像からマーカを抽出・ 認識する方法を開発し、その評価を行った。その結果、 生来手法に比べて遠距離からのトラッキングが可能で あることを示した。 Fig 4.に本手法を用いてプラント内の保守作業を支 している様子を示す。図の中央部の塗りつぶされて いる部分を事前に EMAT で検査した結果が、左下に重 量表示されている。ユーザの視点が移動すれば、本手 ミによるトラッキング結果に基づいて,塗りつぶされいる部分も追随して変化する。このように直感的に 皇解できる形で検査結果が提示されることで、紙など ニ書かれた場合と比較して現場作業員は必要な情報を ミ易に理解することが可能になり、保守作業の効率化 につながると考えられる。 今後の課題として、より広い範囲で本手法を利用でるように改善することが挙げられる。本手法では、 ミーコードが 2 つ以上画像中に含まれないと、トラッ ーングが行えないために、バーコードを密に配置する -要がある。そこで、撮影に用いるカメラを複数にし 、より広い範囲の画像を解析できるようにすること 考えられる。また、加速度センサやジャイロセンサ どを併用し、バーコードが視界の外に出て追跡が行 ない場合にもトラッキングを可能とすることも、利 可能な範囲を広げるのに有用であると考えられる。参考文献1] A. Droivoldsmo, T. Johnsen, M.N.Loulca, M. Reigstad,“Using wearable equipment for an augmented presentation of radiation““, EPRI Wireless Conference,2002, pp.19-21. 2] B.Thomas, V.Demczuk, W.Piekarski, D.Hepworth,B.Gunther, “A Wearable Computer System with Augmented Reality to Support Terrestrial Navigation”, Proc. of 2nd International Symposium on WearableComputers, 1998, pp.166-167. B] J.Newman, D.Ingram, A.Hopper, “Augmented Realityin a Wide Area Sentient Environment““, Proc. ofISAR2001,2001, pp.77-86. :] A.State, G.Hirota, D.T.Chen, W.F.Garrett,M.A.Livingston, “Superior augmented reality registration by integrating landmark tracking and magnetic tracking““, Proc. of SIGGRAPH 96, ACM,1996, pp.429-438. ] E.Foxlin, “Inertial Head-Tracker Sensor Fusion by aComplementary Separate-Bias Kalman Filter”, Proc. ofVRAIS '96, 1996, pp.185-194. ] H.Kato,H., M.Billinghurst, “Marker Tracking andHMD Calibration for a Video-based Augmented Reality Conferencing System”, Proc. of 2nd Int.Workshop on Augmented Reality, 1999, pp.85-94. ] A.I.Comport, E.Marchand, F.Chaumette, “AReal-Time Tracker for Markerless Augmented Reality”,Proc. of ISMAR2003,2003, pp.36-45. ] 加藤博一、“拡張現実感システム構築ツールARToolKit の開発““、電子情報通信学会技術研究報告、Vol. 101、No.652、 2002、 pp.79-86. 1出口光一郎、“センシング/認識シリーズ 第5巻画像と空間 コンピュータビジョンの幾何学”、昭 晃堂、1997、pp.128-142.“ “プラント保守作業支援のための拡張現実感用トラッキング手法の開発“ “関山 友輝,Tomoki SEKIYAMA,中井 俊憲,Toshinori NAKAI,前嶋 真行,Masayuki MAESHIMA,下 志強,Zhigiang BIAN,石井 裕剛,Hirotake ISHII,下田 宏,Hiroshi SHIMODA,吉川 榮和,Hidekazu YOSHIKAWA
著者検索
ボリューム検索
論文 (1)
解説記事 (0)
論文 (1)
解説記事 (0)
論文 (0)
解説記事 (0)
論文 (1)
解説記事 (0)
論文 (2)
解説記事 (0)
論文 (2)
解説記事 (0)
論文 (1)
解説記事 (0)
論文 (2)
解説記事 (0)
論文 (0)
解説記事 (0)
論文 (5)
解説記事 (0)
論文 (5)
解説記事 (0)
論文 (0)
解説記事 (0)
論文 (0)
解説記事 (0)