原子力発電プラントの現場作業支援のための 拡張現実感用トラッキング手法の開発と評価
公開日:
カテゴリ: 第3回
1.緒言
近年の電力自由化により、原子力発電に伴うコスト の削減が強く要求されている。また、熟練作業員の減 少が進んでおり、如何に保守技術レベルを維持・向上 させるかが問題となっている。その一方で、発電設備 の高経年化や保守形態の TBM から CBM への移行に よって、ますます保守作業のありかたは複雑になって きており、保守作業支援の高度化が望まれている。そこで、拡張現実感(Augmented Reality; AR)技術を利 用して保守作業を支援することにより、効率的かつ安 全、確実に作業を行うことを可能にする研究が進めら れている[1]。AR とは、コンピュータで生成した仮想 の物体や情報を、あたかも現実の世界に存在するかの ように見せることで、現実の世界を拡張する技術であ る。例えば、Fig.1 に示すように、AR の機能を付加し た HMD(Head Mounted Display)を装着したユーザは、周囲の外界(実世界映像)だけでなく、重畳表示された 仮想の物体や情報を同時に見ることができる。ここで 重要なのは、AR では、ユーザの位置や向いている方向 に応じて仮想の物体や情報の表示位置を調整すること で、どの位置や方向から見ても、その仮想の物体や情 報が、現実の世界のある定まった位置に存在するよう に見えることである。これにより、現実の世界に重畳 された仮想の物体や情報の存在感が増すだけでなく、 現実の世界の 3 次元的な位置を、より直感的に示すこ とが可能になる。ARを保守の現場に導入するためには、まず、高い精 度と安定性を備えたトラッキング技術(ユーザの位置 と方向をリアルタイムで計測する技術)を確立する必
実世界映像
ARによる融合HMDを装着したユーザ コンピュータ生成仮想物体Fig. 1 Example of Augmented Reality.387要がある。これまでの ARに関する研究開発では、様々 なトラッキング技術が提案・開発されてきたが、原子 力発電プラント内という特殊な環境に適した方法はあ まり研究されていなかった。そこで筆者らは、原子力 発電プラント内での使用を前提としたトラッキング手 法として、配管類に貼付して使用できるラインマーカ を利用した手法を開発してきた[2]。しかし、これまで のラインマーカを用いた手法は、同時に 2 個以上の マーカをカメラで撮影できなければトラッキングがで きないという制約条件があり、広い範囲でトラッキン グを行うためには、多数のマーカを環境に貼付する必 要があった。そこで本研究では、複数のカメラを同時 に使用することにより撮影する映像の視野を広げ、ま た、ジャイロセンサを併用することにより撮影された マーカの数が1個以下の場合でも、トラッキングが継 続できるようにした。そして新しく開発した手法の性 能を評価するために、実際の発電プラント内部にライ ンマーカを貼付し、貼付したマーカの総数と、トラッ キングできる領域の関係を実験により調べた。2. ラインマーカを用いたトラッキング手法 2.1 既存のトラッキング手法とその問題点 - AR で使用可能なトラッキング手法としては、GPS や超音波センサに代表される信号到達時間差法[3,4、 交流磁界センサを用いた磁気センサ法[5]、ジャイロセ ンサや加速度センサを用いた自律センサ法[6]、模様付 きマーカとカメラを用いた人工マーカ法[7]、周囲環境 の特徴をマーカとする自然特徴点法[8]等が提案されて いる。しかし、プラント構内は、屋内であるために GPS が使えない、複雑な形状の機器が多数あるため超音波 センサが使えない、金属製の機器が多いため磁気セン サが使えない、長時間使用する必要があるため誤差が 蓄積する自律センサ単体では精度が維持できない、機 器の位置が頻繁に変わるために自然特徴点法では安定 しない等の問題がある。そこで本研究では人工マーカ 法に注目し、プラント内部での使用に特化したマーカ を考案し、AR用のトラッキングに用いることにした。人工マーカ法としては、四角形マーカを用いたト ラッキング手法が多用されている[91。四角形マーカを 用いた手法は、1 個のマーカだけで位置と方向の両方 を得ることができ、AR に精通していない人でも容易に 利用できる利点があるが、高い精度が要求される場合 や、マーカとカメラとの間の距離を長くする必要がある場合は、非常に高解像度のカメラや非常に大きなサ イズのマーカを用いる必要がある。発電プラント内は、 多数の機器が配置されており、広い平面はそれほど多 くは無いため、大きなサイズのマーカを多数貼付する ことは実際上難しく、四角形マーカを用いた手法は、 そのままでは発電プラント内部では使用できない。 2.2 ラインマーカの概要と問題点そこで本研究では、発電プラント内には配管が多数 存在するため、細い形状の物は長くても比較的貼り付 けやすいという点に注目し、線形状のマーカ(ライン マーカ)を新たに考案し、予めその3次元位置が既知 のラインマーカを複数同時にカメラで撮影することに より、マーカとカメラの間の相対的な位置と方向をリ アルタイムで計測できる手法を開発した[2]。 - Fig.2 に本研究で考案したラインマーカのデザイン を、Fig.3 にラインマーカを用いてトラッキングを行う 手法の概念図を示す。 1 個のラインマーカは黒い正方 形と長方形(面積は正方形の2倍)を直線状に 11 個並べ た形状をしており、正方形を 0、長方形を 1 とするこ とにより、複数ビットの符号を表現する(7 ビットで マーカの種類を表現し、残りの4 ビットで誤りを訂正 する)。トラッキングを実行する際には、ユーザのヘル メットに固定したカメラで環境内に貼付した複数の マーカを撮影し、それらのマーカの3次元位置とカメ ラ画像上のマーカの位置から、P4P 法[10]により、カメ ラとマーカの間の相対的な位置と方向を求める。 114cm 8cm 2cm4mm■■■■■■■■■■01 0 1 0 0 0 01 01Marker IDError correction Fig. 2 Example of line marker.Worker's view Instruction information by ARCheck the crack of the upper pipe.Small CameraTTLaptop PCField WorkerLine-marker Fig. 3 Concept image of line marker tracking.388- 以上に述べた方法により、カメラに十分な数のマー カが写っている場合は、従来の四角形マーカを使用し た場合と比べて、高精度で安定したトラッキングが行 えることを確認した[2]。 しかし、ラインマーカはその 性質上、1つのマーカから3個以上の特徴点を抽出す ることが難しい。カメラ画像上のマーカの位置から、 カメラとマーカの間の相対的な位置と方向を一意に求 めるためには、4 個以上の特徴点がカメラに同時に写 る必要がある。そのため、ラインマーカを使用する場 合、2 個以上のマーカが同時にカメラに写らない場合 は、トラッキングを実行できず、常にトラッキングを 継続して行うためには環境内に多数のマーカを貼付す る必要があった。そこで本研究では、複数のカメラを 同時に使用することにより撮影する映像の視野を広げ、 また、ジャイロセンサを併用することにより貼付する 必要があるマーカの総数を低減させる試みを行った。3. 必要なマーカの総数を低減させる試み 3.1 マルチカメラを用いたトラッキング環境内に貼付する必要があるマーカの総数を低減さ せるには、より広い範囲の画像を同時に取得できるよ うにする方法が有効である。広い範囲の画像を取得す る方法としては、広角レンズを使用する方法も考え れるが、その場合、画像の歪みが大きくなり、また 画像の周辺部の解像度が低くなるために、トラッキン グに使用する画像としては適さない。そこで、本研究 では Fig.4 に示すように、視野角約 40°のカメラ3台 を角度(約 40°)を付けて並べたマルチカメラユニット を作成し、トラッキングに用いた。この方法では、特殊なカメラやレンズを用いる必要 がなく、視野が広いながらも歪みの少ない画像を得る ことができるが、1台のカメラだけを用いた従来のト ラッキングアルゴリズム(マーカの3次元位置とカメ ラに写ったマーカの位置からマーカとカメラの相対的 な位置と姿勢を求めるアルゴリズム)は、そのままでは 利用できない。そこで本研究では、マーカは空間的に 互いに平行になるように貼付するという条件を付加す ることにより、3 台のカメラに写ったマーカの映像を 仮想的な1台のカメラの映像に変換し、その後、既存 のトラッキングアルゴリズムを用いてトラッキングす る手法を開発した。なお、発電プラント内には多数の 配管がほぼ平行に配置されているため、マーカを空間 的に平行に貼付することは大きな制約にはならない。View angle of single camera,View angle of multi-cameraFig. 4 Concept image of multi-camera unit. 3.2 ジャイロセンサを併用したトラッキング * 3.1 節で述べた手法により、環境に貼付する必要があ るマーカの総数をある程度は低減できると期待される。 しかし、カメラの映像にブラーが生じる程にユーザが 位置や姿勢を急激に変化させた場合や、マーカがュー ザの体の一部や工具によって隠蔽された場合には、ト ラッキングが一時的に行えなくなる。そこで本研究で は、環境に新たに機器を設置する必要がなく、比較的 高精度に計測ができるジャイロセンサ(InterSense 社 InertiaCube3)とラインマーカを併用したトラッキング 手法を開発した。 InertiaCube3 は Yaw/Pitch/Roll の3自 由度の角度値を 180Hzで計測できる小型センサであり、 比較的ドリフト誤差が少ないセンサである。本研究で は、この InetiaCube3 を 3.1 節で述べたマルチカメラユ ニットに固定して用いた。ラインマーカと InetiaCube3 を併用する際の処理は、カメラで撮影されたマーカの 総数に応じて以下の3種類に分けられる。1.2個以上のマーカを認識できた場合 2. マーカを全く認識できなかった場合 3.1個のマーカを認識できた場合 以下、それぞれの場合の処理を説明する。 2個以上のマーカを認識できた場合まず、マルチカメラによるトラッキング結果が1フ レーム得られる度に InetiaCube3 から回転角度情報を得 る。このとき、マルチカメラによるトラッキングの誤 差(推定されたカメラ位置・姿勢から求めたカメラ画 面上のマーカの位置と、実際にカメラ画像から検出さ れたマーカの位置の差)を計算する。この誤差がある 一定値よりも大きい場合は、マルチカメラによる結果 の回転成分と InetiaCube3 による結果にそれぞれの計測 結果の誤差の自乗の逆数を重みとして重み付き平均を 計算し、その結果を最終的なトラッキングの結果の回 転成分とする(InetiaCube3 の時間あたりの誤差は常に 一定とし、その値は予め実験により得た)。平行移動成 分は、マルチカメラによる結果をそのまま利用する。 一方、マルチカメラによるトラッキングの誤差がある389一定値よりも小さい場合は、マルチカメラからの結果 を用いて InetiaCube3 の蓄積誤差を補正する。すなわち、 マルチカメラから得た結果と InetiaCube3 から得た結果 の差分を計算し、この差分にマルチカメラから得た結 果の誤差の自乗の逆数を重みとして乗算した後、 InetiaCube3 の現在値に乗算して新しい現在値とする。 マーカを全く認識できなかった場合マルチカメラでマーカを全く撮影できなかった場合 は、回転成分は InetiaCube3 による結果を用いる。平行 移動成分は前フレームの結果を用いる。従って、この 場合、カメラが平行移動していた場合は、その平行移 動分だけトラッキング結果に誤差が含まれることになる。1個のマーカを認識できた場合まず推定位置・姿勢の初期値として、位置を直前の フレームのトラッキング結果と同じ位置、姿勢をジャ イロセンサで得た姿勢とする。それらの位置と姿勢を 用いて認識された1個のマーカのカメラ画像上での位 置を計算する。その結果と実際に認識されたマーカの カメラ画像上での位置を比較する。その差が最小にな」 るように位置と姿勢の推定値を非線形に最適化する。4. トラッキング手法の評価4.1 実験室環境における精度・速度評価マルチカメラを用いたトラッキング手法の精度と処 理速度を評価するために、実験室環境内にラインマー カを貼り付け、トラッキングを行い、別途計測したカ メラの位置・姿勢と比較する実験を行った。Tablel に実験に使用した PC とカメラの主要な性能 を示す。トラッキングの精度は(1)マーカ間の距離(D、 (2)マーカとカメラの間の距離(d)、(3)マーカを撮影する 角度(水平面内の角度 、垂直面内での角度か)、(4)マー カを撮影するカメラの台数(C)、(5)同時に撮影される マーカの総数(m)に依存すると予想される(Fig.5)。しかTable 1 Hardware spec. of the experimental systemMarkertMarker3PCMarker2cmCPU Memory Interface Resolution Frame rate Focal lengthPentium4 3.2GHz512MBIEEE1394a 512×384 (Half of original)15fps6.37mm 63.5×50.8×13.2mmDragonfly Color配置A 配置B 配置C 配置D使用するマーカー Marker1,2のみ Marker1,2,3のみ Marker1,2,4のみ Marker1,2,3,430cmCameraMarker45SizeModelFig.6 Marker layout for the experiment 2.IVIVUVI-390Marker 1Marker 2Distance between* markers() Camera SK angle(0)//OriginCamera Cameradistance(d) angle(0)- Multi-camera unitFig. 5 Variable definitions of the experimental setup. し、全ての条件を変化させて精度評価を行うのは組み 合わせの数が膨大になるため困難である。そこで今回 は、m=2 個、c-2 台、p=0°と固定した条件において、 その他のパラメータを、=0.5, 1.0m、2.0, 3.0, 4.0, 5.0m、 _0 =0, 15, 30, 45, 60°に変化させた場合(実験 1)と、c=2台、=1.0m、1 =0° 、p=0°と固定した条件において、 その他のパラメータを、m=2, 3, 4個(配置 A~D、Fig.6 参照)、db2.0, 3.0, 4.0, 5.0m に変化させた場合(実験 2)の トラッキングの精度と処理速度を評価した。なお、実 験システムの開発は Microsoft Visual C++ Ver.6 を用い、 Intel C++ Compiler Ver.8.0 を用いてコンパイルした。 * 実験 1 の結果を Fig.7(l=0.5m の場合)および Fig.8 (-1.0m の場合)に、実験2の結果を Fig.9 に示す。 1各条件の結果で、全体的に誤差のばらつきが大きい。 これはカメラに写るマーカの画面上での位置が一定で なく、キャリブレーションによって除去しきれていな いカメラのレンズの歪みの影響を受けたためであると 考えられる。その他、全体的に以下の傾向が見られる。 1. dが大きくなるにつれて、dの精度が悪化する。 2. ,共に 0 =0°付近では精度が悪い。これは四角形マーカを用いたトラッキングと同様である[9]。00““Error of distance (mm)Error of distance (mm)Error of distance (mm)飲んでみる045““045° ■60■60X:NA20 30_4050Distance between camera and markers (m)3014015.0 Distance between camera and markers (m)200 3.0. 15.0 Distance between camera and markers (m)D000Error of angle 8 (*)815 日30°■30““Error of angle 0 ()Error of angle 0 ()160°パークスNax. IN XIN LX. 20 30 40 50Distance between camera and markers (m)X:NA20 30 4050 Distance between camera and markers (m)20: 30 40 5 0 Distance between camera and markers (m)(°)000 S15 1日30°NBError of angle (°)■30Error of angleError of angle O ( )245 ■600045°X:NA20_ 30 40_ 50 Distance between camera and markers (m)201304050 Distance between camera and markers (m)20 30 40 5 0 Distance between camera and markers (m)Fig. 7 Result of experiment1 (1=0.5m). Fig.8 Result of experiment1 (1=1.0 m). Fig.9 Result of experiment2. 3. 8は1が大きいほど精度が良くなる。Fig. 10 に実験に使用した部屋のレイアウトを示す。 4. はしが変化しても精度に大きな変化はない。 室内は蛍光灯照明で、200-500Lux 程度の明るさがあり、また、使用するマーカの総数が精度に与える影響に容易にラインマーカを視認できた。実験の手順は以下 関しては、Fig.9 より、以下のことが分かる。の通りである。まず、パイプやタンクなどの機器もし 1. マーカが同一平面上にある場合、同時に撮影する くは壁に適当な密度で、15 個のラインマーカ(長さはマーカが増えても、精度はあまり向上しない。 70cm~82cm)を貼付した。そして、各マーカの位置を 2. 同一平面上に無い 3 個以上のマーカをトラッキン レーザ計測機器(Leica社 DISTO Pro4a)によって計測し、 グに利用できる場合は、精度が高い。・ トラッキングシステムに登録した。その後、ジャイロ また、処理速度に関しては、簡単な情報の重畳表示 センサを取り付けた状態のマルチカメラユニットを実 を含めて1フレーム当たり平均 52ms(19.2fps)であった験者が頭の上に手で持ち、システムを動作させながら (10フレーム平均、3台のカメラ合計)。今後も PC の性 Fig. 10 に示す2つのルート(Routel, Route2)を歩いた。 能が向上していくことを考慮すると、例えより複雑なこのときに撮影された画像、認識されたマーカの ID と 情報をユーザに提示する場合でも、十分違和感無く、 そのスクリーン座標、ジャイロセンサの出力を記録し 開発したトラッキング手法が利用できると考えられる。 た。そしてオフラインでトラッキングを実施した。 4.2 プラント内部における可動範囲の評価その結果、撮影したフレーム総数は、Routel の場合 4.1 節で述べた実験は、実験室内にマーカを貼付したで411、Route2 の場合で 330 となった。画像データは、 場合の評価であったが、実際には発電プラント内には通常動作では保存しないが、今回は解析を詳細に行う 多数の複雑な形状をした機器が配置されており、必ずためにハードディスクに保存したため、通常動作時よ しも理想的な位置にマーカを貼付できるとは限らない。 りもフレームレートは低く、平均で約 5fps であった。 また、貼付したマーカが環境内に配置された機器に隠Fig.11 および Fig.12 に、カメラ1台を用いた場合、マ 蔽される場合もあり得る。そこで、実際に配管や機器ルチカメラユニットを用いた場合、ジャイロセンサを が多数配置されている発電プラント内の一室を利用し併用した場合の Route 1 と Route 2でのトラッキングが て、部屋内に貼り付けたマーカの総数と、トラッキン 可能であったフレームの割合を示す。ただし、ジャイ グを実行できる領域の関係を実験により評価した。 ロセンサを併用した場合では、マルチカメラによるト391Working areaOrigin? Line markerID:10Route2ID:0■ ID:11 ID:9FTankTankID:8ID:1ID:71ID:12ViewrotationTankTankID:15ID:6]ID:13Route2TankRoute 1 ID:5TankID:140ID:4Tank9.5mFig. 10 Layout of experimental room. ラッキングが行えている状態から、マーカが認識でき なくなった後、500ms 以内であればトラッキングが継 続できると仮定した。 - Fig.11 および Fig.12 より、同じマーカ配置でも、マ ルチカメラを用いることでマーカの認識数が増加して いることが分かる。ジャイロセンサを併用した場合と 併用しない場合を比較すると、Routel、Route2 共に 20% 程度、トラッキング可能な範囲が増加している。保存 した画像を解析した結果、カメラが比較的速く回転し た際に画像に一時的にブラーが生じ、その影響でマー カを用いたトラッキングができなかった場合にジャイ ロセンサが有効に利用できていることが確認された。5. まとめ1. 本研究では、ラインマーカを用いたトラッキングを 利用する際に環境に貼付する必要があるマーカの総数 を低減させるために、マルチカメラとジャイロセンサ を併用したトラッキング手法を開発し、実験室環境お よびプラント内部の部屋を用いて評価実験を行った。 その結果、従来のカメラ 1台だけを用いてトラッキン グする場合と比べて約3倍の領域でトラッキングが可 能になることを確認した。今回の実験では、実験室内で精度と処理速度を、プ ラント内部でトラッキングが可能な領域を評価したが、 実用化のためには、プラントを模擬した環境において、 開発したトラッキング手法を用いて実際に作業支援を 行い、有効性の評価や問題点の抽出を行う必要がある。Gyro |15:1.41666666666667002012Multi camera15N34Marker23 Marker=2 Gyro FailSingle camera21300.20.40.60.81Fig. 11 Percentage of frames where the trackingis available. (Routel).65Multi camera 16 |F Single cameraMarker 23 ■Marker%3D2Gyro Fail/イ9800.20.40.60.81Fig. 12 Percentage of frames where the trackingis available. (Route2).参考文献1[1] A. Droivoldsmo et. al., “Using wearable equipment foran augmented presentation of radiation““, EPRI WirelessConference, 2002, pp.19-21. [2] 関山友輝ら, “プラント保守作業支援のための拡張現実感用トラッキング手法の開発”, 保全学会第 2回学術講演会,2005. [3] B. Thomas et. al., “A Wearable Computer System withAugmented Reality to Support Terrestrial Navigation”, Proc. of 2nd Int. Symp. on Wearable Computers, 1998,pp.166-167. [4] J. Newman et. al., “Augmented Reality in a Wide AreaSentient Environment““, Proc. of ISAR2001, pp.77-86. [5] A. State et. al., “Superior augmented reality registrationby integrating landmark tracking and magnetictracking““, Proc. of SIGGRAPH 96, pp.429-438. [6] E. Foxlin, “Inertial Head-Tracker Sensor Fusion by aComplementary Separate-Bias Kalman Filter”, Proc. ofVRAIS '96, pp.185-194. [7] H. Kato et. al., “Marker Tracking and HMD Calibrationfor a Video-based Augmented Reality Conferencing System”, Proc. of 2nd Int. Workshop on AugmentedReality, 1999, pp.85-94. [8] A. Comport et. al., ““A Real-Time Tracker forMarkerless Augmented Reality”, Proc. of ISMAR2003,pp.36-45. [9] 加藤博一、“拡張現実感システム構築ツールARToolKit の開発”、電子情報通信学会技術研究報告、Vol. 101、No.652、 2002、 pp.79-86. [10] 出口光一郎、“センシング/認識シリーズ 第5 1 巻 画像と空間 コンピュータビジョンの幾何学”、昭晃堂、1997、 pp.128-142.3929“ “原子力発電プラントの現場作業支援のための 拡張現実感用トラッキング手法の開発と評価“ “石井 裕剛,Hirotake ISHII,志 強,Zhiqiang BIAN,関山 友輝,Tomoki SEKIYAMA,下田 宏,Hiroshi SHIMODA,吉川 榮和,Hidekazu YOSHIKAWA,泉 正憲,Masanori IZUMI,兼平 宜紀,Yoshiki KANEHIRA,森下 喜嗣,Yoshitsugu MORISHITA
近年の電力自由化により、原子力発電に伴うコスト の削減が強く要求されている。また、熟練作業員の減 少が進んでおり、如何に保守技術レベルを維持・向上 させるかが問題となっている。その一方で、発電設備 の高経年化や保守形態の TBM から CBM への移行に よって、ますます保守作業のありかたは複雑になって きており、保守作業支援の高度化が望まれている。そこで、拡張現実感(Augmented Reality; AR)技術を利 用して保守作業を支援することにより、効率的かつ安 全、確実に作業を行うことを可能にする研究が進めら れている[1]。AR とは、コンピュータで生成した仮想 の物体や情報を、あたかも現実の世界に存在するかの ように見せることで、現実の世界を拡張する技術であ る。例えば、Fig.1 に示すように、AR の機能を付加し た HMD(Head Mounted Display)を装着したユーザは、周囲の外界(実世界映像)だけでなく、重畳表示された 仮想の物体や情報を同時に見ることができる。ここで 重要なのは、AR では、ユーザの位置や向いている方向 に応じて仮想の物体や情報の表示位置を調整すること で、どの位置や方向から見ても、その仮想の物体や情 報が、現実の世界のある定まった位置に存在するよう に見えることである。これにより、現実の世界に重畳 された仮想の物体や情報の存在感が増すだけでなく、 現実の世界の 3 次元的な位置を、より直感的に示すこ とが可能になる。ARを保守の現場に導入するためには、まず、高い精 度と安定性を備えたトラッキング技術(ユーザの位置 と方向をリアルタイムで計測する技術)を確立する必
実世界映像
ARによる融合HMDを装着したユーザ コンピュータ生成仮想物体Fig. 1 Example of Augmented Reality.387要がある。これまでの ARに関する研究開発では、様々 なトラッキング技術が提案・開発されてきたが、原子 力発電プラント内という特殊な環境に適した方法はあ まり研究されていなかった。そこで筆者らは、原子力 発電プラント内での使用を前提としたトラッキング手 法として、配管類に貼付して使用できるラインマーカ を利用した手法を開発してきた[2]。しかし、これまで のラインマーカを用いた手法は、同時に 2 個以上の マーカをカメラで撮影できなければトラッキングがで きないという制約条件があり、広い範囲でトラッキン グを行うためには、多数のマーカを環境に貼付する必 要があった。そこで本研究では、複数のカメラを同時 に使用することにより撮影する映像の視野を広げ、ま た、ジャイロセンサを併用することにより撮影された マーカの数が1個以下の場合でも、トラッキングが継 続できるようにした。そして新しく開発した手法の性 能を評価するために、実際の発電プラント内部にライ ンマーカを貼付し、貼付したマーカの総数と、トラッ キングできる領域の関係を実験により調べた。2. ラインマーカを用いたトラッキング手法 2.1 既存のトラッキング手法とその問題点 - AR で使用可能なトラッキング手法としては、GPS や超音波センサに代表される信号到達時間差法[3,4、 交流磁界センサを用いた磁気センサ法[5]、ジャイロセ ンサや加速度センサを用いた自律センサ法[6]、模様付 きマーカとカメラを用いた人工マーカ法[7]、周囲環境 の特徴をマーカとする自然特徴点法[8]等が提案されて いる。しかし、プラント構内は、屋内であるために GPS が使えない、複雑な形状の機器が多数あるため超音波 センサが使えない、金属製の機器が多いため磁気セン サが使えない、長時間使用する必要があるため誤差が 蓄積する自律センサ単体では精度が維持できない、機 器の位置が頻繁に変わるために自然特徴点法では安定 しない等の問題がある。そこで本研究では人工マーカ 法に注目し、プラント内部での使用に特化したマーカ を考案し、AR用のトラッキングに用いることにした。人工マーカ法としては、四角形マーカを用いたト ラッキング手法が多用されている[91。四角形マーカを 用いた手法は、1 個のマーカだけで位置と方向の両方 を得ることができ、AR に精通していない人でも容易に 利用できる利点があるが、高い精度が要求される場合 や、マーカとカメラとの間の距離を長くする必要がある場合は、非常に高解像度のカメラや非常に大きなサ イズのマーカを用いる必要がある。発電プラント内は、 多数の機器が配置されており、広い平面はそれほど多 くは無いため、大きなサイズのマーカを多数貼付する ことは実際上難しく、四角形マーカを用いた手法は、 そのままでは発電プラント内部では使用できない。 2.2 ラインマーカの概要と問題点そこで本研究では、発電プラント内には配管が多数 存在するため、細い形状の物は長くても比較的貼り付 けやすいという点に注目し、線形状のマーカ(ライン マーカ)を新たに考案し、予めその3次元位置が既知 のラインマーカを複数同時にカメラで撮影することに より、マーカとカメラの間の相対的な位置と方向をリ アルタイムで計測できる手法を開発した[2]。 - Fig.2 に本研究で考案したラインマーカのデザイン を、Fig.3 にラインマーカを用いてトラッキングを行う 手法の概念図を示す。 1 個のラインマーカは黒い正方 形と長方形(面積は正方形の2倍)を直線状に 11 個並べ た形状をしており、正方形を 0、長方形を 1 とするこ とにより、複数ビットの符号を表現する(7 ビットで マーカの種類を表現し、残りの4 ビットで誤りを訂正 する)。トラッキングを実行する際には、ユーザのヘル メットに固定したカメラで環境内に貼付した複数の マーカを撮影し、それらのマーカの3次元位置とカメ ラ画像上のマーカの位置から、P4P 法[10]により、カメ ラとマーカの間の相対的な位置と方向を求める。 114cm 8cm 2cm4mm■■■■■■■■■■01 0 1 0 0 0 01 01Marker IDError correction Fig. 2 Example of line marker.Worker's view Instruction information by ARCheck the crack of the upper pipe.Small CameraTTLaptop PCField WorkerLine-marker Fig. 3 Concept image of line marker tracking.388- 以上に述べた方法により、カメラに十分な数のマー カが写っている場合は、従来の四角形マーカを使用し た場合と比べて、高精度で安定したトラッキングが行 えることを確認した[2]。 しかし、ラインマーカはその 性質上、1つのマーカから3個以上の特徴点を抽出す ることが難しい。カメラ画像上のマーカの位置から、 カメラとマーカの間の相対的な位置と方向を一意に求 めるためには、4 個以上の特徴点がカメラに同時に写 る必要がある。そのため、ラインマーカを使用する場 合、2 個以上のマーカが同時にカメラに写らない場合 は、トラッキングを実行できず、常にトラッキングを 継続して行うためには環境内に多数のマーカを貼付す る必要があった。そこで本研究では、複数のカメラを 同時に使用することにより撮影する映像の視野を広げ、 また、ジャイロセンサを併用することにより貼付する 必要があるマーカの総数を低減させる試みを行った。3. 必要なマーカの総数を低減させる試み 3.1 マルチカメラを用いたトラッキング環境内に貼付する必要があるマーカの総数を低減さ せるには、より広い範囲の画像を同時に取得できるよ うにする方法が有効である。広い範囲の画像を取得す る方法としては、広角レンズを使用する方法も考え れるが、その場合、画像の歪みが大きくなり、また 画像の周辺部の解像度が低くなるために、トラッキン グに使用する画像としては適さない。そこで、本研究 では Fig.4 に示すように、視野角約 40°のカメラ3台 を角度(約 40°)を付けて並べたマルチカメラユニット を作成し、トラッキングに用いた。この方法では、特殊なカメラやレンズを用いる必要 がなく、視野が広いながらも歪みの少ない画像を得る ことができるが、1台のカメラだけを用いた従来のト ラッキングアルゴリズム(マーカの3次元位置とカメ ラに写ったマーカの位置からマーカとカメラの相対的 な位置と姿勢を求めるアルゴリズム)は、そのままでは 利用できない。そこで本研究では、マーカは空間的に 互いに平行になるように貼付するという条件を付加す ることにより、3 台のカメラに写ったマーカの映像を 仮想的な1台のカメラの映像に変換し、その後、既存 のトラッキングアルゴリズムを用いてトラッキングす る手法を開発した。なお、発電プラント内には多数の 配管がほぼ平行に配置されているため、マーカを空間 的に平行に貼付することは大きな制約にはならない。View angle of single camera,View angle of multi-cameraFig. 4 Concept image of multi-camera unit. 3.2 ジャイロセンサを併用したトラッキング * 3.1 節で述べた手法により、環境に貼付する必要があ るマーカの総数をある程度は低減できると期待される。 しかし、カメラの映像にブラーが生じる程にユーザが 位置や姿勢を急激に変化させた場合や、マーカがュー ザの体の一部や工具によって隠蔽された場合には、ト ラッキングが一時的に行えなくなる。そこで本研究で は、環境に新たに機器を設置する必要がなく、比較的 高精度に計測ができるジャイロセンサ(InterSense 社 InertiaCube3)とラインマーカを併用したトラッキング 手法を開発した。 InertiaCube3 は Yaw/Pitch/Roll の3自 由度の角度値を 180Hzで計測できる小型センサであり、 比較的ドリフト誤差が少ないセンサである。本研究で は、この InetiaCube3 を 3.1 節で述べたマルチカメラユ ニットに固定して用いた。ラインマーカと InetiaCube3 を併用する際の処理は、カメラで撮影されたマーカの 総数に応じて以下の3種類に分けられる。1.2個以上のマーカを認識できた場合 2. マーカを全く認識できなかった場合 3.1個のマーカを認識できた場合 以下、それぞれの場合の処理を説明する。 2個以上のマーカを認識できた場合まず、マルチカメラによるトラッキング結果が1フ レーム得られる度に InetiaCube3 から回転角度情報を得 る。このとき、マルチカメラによるトラッキングの誤 差(推定されたカメラ位置・姿勢から求めたカメラ画 面上のマーカの位置と、実際にカメラ画像から検出さ れたマーカの位置の差)を計算する。この誤差がある 一定値よりも大きい場合は、マルチカメラによる結果 の回転成分と InetiaCube3 による結果にそれぞれの計測 結果の誤差の自乗の逆数を重みとして重み付き平均を 計算し、その結果を最終的なトラッキングの結果の回 転成分とする(InetiaCube3 の時間あたりの誤差は常に 一定とし、その値は予め実験により得た)。平行移動成 分は、マルチカメラによる結果をそのまま利用する。 一方、マルチカメラによるトラッキングの誤差がある389一定値よりも小さい場合は、マルチカメラからの結果 を用いて InetiaCube3 の蓄積誤差を補正する。すなわち、 マルチカメラから得た結果と InetiaCube3 から得た結果 の差分を計算し、この差分にマルチカメラから得た結 果の誤差の自乗の逆数を重みとして乗算した後、 InetiaCube3 の現在値に乗算して新しい現在値とする。 マーカを全く認識できなかった場合マルチカメラでマーカを全く撮影できなかった場合 は、回転成分は InetiaCube3 による結果を用いる。平行 移動成分は前フレームの結果を用いる。従って、この 場合、カメラが平行移動していた場合は、その平行移 動分だけトラッキング結果に誤差が含まれることになる。1個のマーカを認識できた場合まず推定位置・姿勢の初期値として、位置を直前の フレームのトラッキング結果と同じ位置、姿勢をジャ イロセンサで得た姿勢とする。それらの位置と姿勢を 用いて認識された1個のマーカのカメラ画像上での位 置を計算する。その結果と実際に認識されたマーカの カメラ画像上での位置を比較する。その差が最小にな」 るように位置と姿勢の推定値を非線形に最適化する。4. トラッキング手法の評価4.1 実験室環境における精度・速度評価マルチカメラを用いたトラッキング手法の精度と処 理速度を評価するために、実験室環境内にラインマー カを貼り付け、トラッキングを行い、別途計測したカ メラの位置・姿勢と比較する実験を行った。Tablel に実験に使用した PC とカメラの主要な性能 を示す。トラッキングの精度は(1)マーカ間の距離(D、 (2)マーカとカメラの間の距離(d)、(3)マーカを撮影する 角度(水平面内の角度 、垂直面内での角度か)、(4)マー カを撮影するカメラの台数(C)、(5)同時に撮影される マーカの総数(m)に依存すると予想される(Fig.5)。しかTable 1 Hardware spec. of the experimental systemMarkertMarker3PCMarker2cmCPU Memory Interface Resolution Frame rate Focal lengthPentium4 3.2GHz512MBIEEE1394a 512×384 (Half of original)15fps6.37mm 63.5×50.8×13.2mmDragonfly Color配置A 配置B 配置C 配置D使用するマーカー Marker1,2のみ Marker1,2,3のみ Marker1,2,4のみ Marker1,2,3,430cmCameraMarker45SizeModelFig.6 Marker layout for the experiment 2.IVIVUVI-390Marker 1Marker 2Distance between* markers() Camera SK angle(0)//OriginCamera Cameradistance(d) angle(0)- Multi-camera unitFig. 5 Variable definitions of the experimental setup. し、全ての条件を変化させて精度評価を行うのは組み 合わせの数が膨大になるため困難である。そこで今回 は、m=2 個、c-2 台、p=0°と固定した条件において、 その他のパラメータを、=0.5, 1.0m、2.0, 3.0, 4.0, 5.0m、 _0 =0, 15, 30, 45, 60°に変化させた場合(実験 1)と、c=2台、=1.0m、1 =0° 、p=0°と固定した条件において、 その他のパラメータを、m=2, 3, 4個(配置 A~D、Fig.6 参照)、db2.0, 3.0, 4.0, 5.0m に変化させた場合(実験 2)の トラッキングの精度と処理速度を評価した。なお、実 験システムの開発は Microsoft Visual C++ Ver.6 を用い、 Intel C++ Compiler Ver.8.0 を用いてコンパイルした。 * 実験 1 の結果を Fig.7(l=0.5m の場合)および Fig.8 (-1.0m の場合)に、実験2の結果を Fig.9 に示す。 1各条件の結果で、全体的に誤差のばらつきが大きい。 これはカメラに写るマーカの画面上での位置が一定で なく、キャリブレーションによって除去しきれていな いカメラのレンズの歪みの影響を受けたためであると 考えられる。その他、全体的に以下の傾向が見られる。 1. dが大きくなるにつれて、dの精度が悪化する。 2. ,共に 0 =0°付近では精度が悪い。これは四角形マーカを用いたトラッキングと同様である[9]。00““Error of distance (mm)Error of distance (mm)Error of distance (mm)飲んでみる045““045° ■60■60X:NA20 30_4050Distance between camera and markers (m)3014015.0 Distance between camera and markers (m)200 3.0. 15.0 Distance between camera and markers (m)D000Error of angle 8 (*)815 日30°■30““Error of angle 0 ()Error of angle 0 ()160°パークスNax. IN XIN LX. 20 30 40 50Distance between camera and markers (m)X:NA20 30 4050 Distance between camera and markers (m)20: 30 40 5 0 Distance between camera and markers (m)(°)000 S15 1日30°NBError of angle (°)■30Error of angleError of angle O ( )245 ■600045°X:NA20_ 30 40_ 50 Distance between camera and markers (m)201304050 Distance between camera and markers (m)20 30 40 5 0 Distance between camera and markers (m)Fig. 7 Result of experiment1 (1=0.5m). Fig.8 Result of experiment1 (1=1.0 m). Fig.9 Result of experiment2. 3. 8は1が大きいほど精度が良くなる。Fig. 10 に実験に使用した部屋のレイアウトを示す。 4. はしが変化しても精度に大きな変化はない。 室内は蛍光灯照明で、200-500Lux 程度の明るさがあり、また、使用するマーカの総数が精度に与える影響に容易にラインマーカを視認できた。実験の手順は以下 関しては、Fig.9 より、以下のことが分かる。の通りである。まず、パイプやタンクなどの機器もし 1. マーカが同一平面上にある場合、同時に撮影する くは壁に適当な密度で、15 個のラインマーカ(長さはマーカが増えても、精度はあまり向上しない。 70cm~82cm)を貼付した。そして、各マーカの位置を 2. 同一平面上に無い 3 個以上のマーカをトラッキン レーザ計測機器(Leica社 DISTO Pro4a)によって計測し、 グに利用できる場合は、精度が高い。・ トラッキングシステムに登録した。その後、ジャイロ また、処理速度に関しては、簡単な情報の重畳表示 センサを取り付けた状態のマルチカメラユニットを実 を含めて1フレーム当たり平均 52ms(19.2fps)であった験者が頭の上に手で持ち、システムを動作させながら (10フレーム平均、3台のカメラ合計)。今後も PC の性 Fig. 10 に示す2つのルート(Routel, Route2)を歩いた。 能が向上していくことを考慮すると、例えより複雑なこのときに撮影された画像、認識されたマーカの ID と 情報をユーザに提示する場合でも、十分違和感無く、 そのスクリーン座標、ジャイロセンサの出力を記録し 開発したトラッキング手法が利用できると考えられる。 た。そしてオフラインでトラッキングを実施した。 4.2 プラント内部における可動範囲の評価その結果、撮影したフレーム総数は、Routel の場合 4.1 節で述べた実験は、実験室内にマーカを貼付したで411、Route2 の場合で 330 となった。画像データは、 場合の評価であったが、実際には発電プラント内には通常動作では保存しないが、今回は解析を詳細に行う 多数の複雑な形状をした機器が配置されており、必ずためにハードディスクに保存したため、通常動作時よ しも理想的な位置にマーカを貼付できるとは限らない。 りもフレームレートは低く、平均で約 5fps であった。 また、貼付したマーカが環境内に配置された機器に隠Fig.11 および Fig.12 に、カメラ1台を用いた場合、マ 蔽される場合もあり得る。そこで、実際に配管や機器ルチカメラユニットを用いた場合、ジャイロセンサを が多数配置されている発電プラント内の一室を利用し併用した場合の Route 1 と Route 2でのトラッキングが て、部屋内に貼り付けたマーカの総数と、トラッキン 可能であったフレームの割合を示す。ただし、ジャイ グを実行できる領域の関係を実験により評価した。 ロセンサを併用した場合では、マルチカメラによるト391Working areaOrigin? Line markerID:10Route2ID:0■ ID:11 ID:9FTankTankID:8ID:1ID:71ID:12ViewrotationTankTankID:15ID:6]ID:13Route2TankRoute 1 ID:5TankID:140ID:4Tank9.5mFig. 10 Layout of experimental room. ラッキングが行えている状態から、マーカが認識でき なくなった後、500ms 以内であればトラッキングが継 続できると仮定した。 - Fig.11 および Fig.12 より、同じマーカ配置でも、マ ルチカメラを用いることでマーカの認識数が増加して いることが分かる。ジャイロセンサを併用した場合と 併用しない場合を比較すると、Routel、Route2 共に 20% 程度、トラッキング可能な範囲が増加している。保存 した画像を解析した結果、カメラが比較的速く回転し た際に画像に一時的にブラーが生じ、その影響でマー カを用いたトラッキングができなかった場合にジャイ ロセンサが有効に利用できていることが確認された。5. まとめ1. 本研究では、ラインマーカを用いたトラッキングを 利用する際に環境に貼付する必要があるマーカの総数 を低減させるために、マルチカメラとジャイロセンサ を併用したトラッキング手法を開発し、実験室環境お よびプラント内部の部屋を用いて評価実験を行った。 その結果、従来のカメラ 1台だけを用いてトラッキン グする場合と比べて約3倍の領域でトラッキングが可 能になることを確認した。今回の実験では、実験室内で精度と処理速度を、プ ラント内部でトラッキングが可能な領域を評価したが、 実用化のためには、プラントを模擬した環境において、 開発したトラッキング手法を用いて実際に作業支援を 行い、有効性の評価や問題点の抽出を行う必要がある。Gyro |15:1.41666666666667002012Multi camera15N34Marker23 Marker=2 Gyro FailSingle camera21300.20.40.60.81Fig. 11 Percentage of frames where the trackingis available. (Routel).65Multi camera 16 |F Single cameraMarker 23 ■Marker%3D2Gyro Fail/イ9800.20.40.60.81Fig. 12 Percentage of frames where the trackingis available. (Route2).参考文献1[1] A. Droivoldsmo et. al., “Using wearable equipment foran augmented presentation of radiation““, EPRI WirelessConference, 2002, pp.19-21. [2] 関山友輝ら, “プラント保守作業支援のための拡張現実感用トラッキング手法の開発”, 保全学会第 2回学術講演会,2005. [3] B. Thomas et. al., “A Wearable Computer System withAugmented Reality to Support Terrestrial Navigation”, Proc. of 2nd Int. Symp. on Wearable Computers, 1998,pp.166-167. [4] J. Newman et. al., “Augmented Reality in a Wide AreaSentient Environment““, Proc. of ISAR2001, pp.77-86. [5] A. State et. al., “Superior augmented reality registrationby integrating landmark tracking and magnetictracking““, Proc. of SIGGRAPH 96, pp.429-438. [6] E. Foxlin, “Inertial Head-Tracker Sensor Fusion by aComplementary Separate-Bias Kalman Filter”, Proc. ofVRAIS '96, pp.185-194. [7] H. Kato et. al., “Marker Tracking and HMD Calibrationfor a Video-based Augmented Reality Conferencing System”, Proc. of 2nd Int. Workshop on AugmentedReality, 1999, pp.85-94. [8] A. Comport et. al., ““A Real-Time Tracker forMarkerless Augmented Reality”, Proc. of ISMAR2003,pp.36-45. [9] 加藤博一、“拡張現実感システム構築ツールARToolKit の開発”、電子情報通信学会技術研究報告、Vol. 101、No.652、 2002、 pp.79-86. [10] 出口光一郎、“センシング/認識シリーズ 第5 1 巻 画像と空間 コンピュータビジョンの幾何学”、昭晃堂、1997、 pp.128-142.3929“ “原子力発電プラントの現場作業支援のための 拡張現実感用トラッキング手法の開発と評価“ “石井 裕剛,Hirotake ISHII,志 強,Zhiqiang BIAN,関山 友輝,Tomoki SEKIYAMA,下田 宏,Hiroshi SHIMODA,吉川 榮和,Hidekazu YOSHIKAWA,泉 正憲,Masanori IZUMI,兼平 宜紀,Yoshiki KANEHIRA,森下 喜嗣,Yoshitsugu MORISHITA