視線情報と拡張現実感を利用した遠隔作業支援システムの開発
公開日:
カテゴリ: 第1回
1.はじめに
テムの構築を目的とする。 * 現在、日本の電力供給を考える上で、原子力 プラントの継続的な信頼性や安全性の向上が 2.遠隔保守協調作業支援システムの概要 求められ、運転・保守の高度化・効率化が重要。 と課題 な課題となっている。そこで、複数プラントの2.1 遠隔保守協調作業支援システムの概要 運転保守機能を集約するオフサイトの運転保 守支援センターが提案されている[1]。Fig.1 に、運転保守支援センターによる保全 このセンターの機能の一つとして、遠隔地か作業支援の概念図を示す。現場の作業員は、通 ら現場作業を支援することがあげられ、これに 常時は独自の判断で行動するが、何か問題が発 より、(1)個人の能力を多くの現場で活かす、 生したときは、センターにいる監督者と相談し (2)現場に行く時間がかからない、(3)危険な現 指示・支援を受ける方式である。 場に行く人数を減らすことが実現できると考本研究では、このようなセンターで用いる遠 えられる。例えば、立会い検査、非熟練者への 隔支援システムの開発の第一段階として、 作業支援・OJT(On the Job Training)等を遠隔 Fig.2 に示す「遠隔地にいる監督者」1名と「現 地から複数の現場に対して行うことができる。 場の作業員」 1 名で構成されるプロトタイプシ トラブル発生時には、遠隔地にいる同種のトラステムの開発を行っている。 ブルの経験者に指示を仰ぐこともできる。また、 1 遠隔保守協調作業支援システムを構築する 管理区域作業、高所作業、狭い場所での作業等、 際、離れた場所で円滑に協同作業を行うことは 多人数が行きにくい場所での作業を支援する 単に通信路を整備しただけでは達成すること ことも可能となる。ができないので、現場のどのような情報を監督 1. 本研究では、現場で作業に従事する作業員を者側に伝送し、どのような指示方法で現場作業
PS2-3員に指示するかが、最も重要な問題となる。そこで、効果的に作業員に情報を提示する方 法として、計算機で作成した情報を現実環境に 重畳させる拡張現実感 (Augmented Reality: AR)技術を適用する。また、遠隔地にいる監督 者が作業員の状況を把握するには、作業員の前 方を撮影する視野カメラだけでなく、作業員の 眼球の動きを撮影する眼球カメラも設置し、作 業員の視点を利用する。これにより、遠隔地側 では、作業員がどこを注視しているかを見なが ら作業の指示・支援を行うことができる。現場A現場B運転保守支援センター Fig. 1 Concept of Support from Operation andMaintenance Support CenterES-HMD CCDカメラ40現場遠隔地Fig.2 Concept of the system2.2 これまでのシステムと課題 - これまでに開発したシステム[2]は、眼球画 像の撮影が可能な両眼タイプのヘッドマウン トディスプレイ (ES-HMD)[3,4]を利用し、現場 の作業員と遠隔地の監督者端末は有線で接続 したものであった。これを用いて、二相流熱流 体ループの操作を遠隔地にいる熟練者が現場 の非熟練作業員を支援するシナリオで実験室 で実験を行い、利用者に実施したアンケートにより以下の知見が得られている。1) AR 技術による熟練者からの指示情報は、音 声だけにより作業を支援する場合に比べて 格段に優れている。 2) 現場作業員の視点位置情報は、熟練者が現 場作業員の状況を知るために非常に有効で ある。特に前方を撮影するカメラの解像度 に限界がある場合、液位の確認時には視点 位置がその液位を指し示すため、非常に有効であった。 3) 熟練者側も、指示を HMD に表示して注目し てもらいたい場所を直接指示できるので、 音声だけで指示してどこを注目してもらい たいか上手く伝わらない場合に比べて、作 業に必要な本質的なシーケンスの思考に集 中できるメリットがある。 4) ハードウェアの大きさ・重量、HMD の視野、 接続ケーブルの問題により、動きやすさの 観点では改善の余地がある。 以上のように、システムのコンセプトの有効 性は示されているが、実用化に向けては、使い やすさが課題となっている。3.システムの開発 - 前章で述べた課題を実現するために、これま でのシステムを基に、小型化・無線化に重点を 置き、Fig.3 に示すシステム構成とした。視野カメラビデオトラ視野柄像 ンスミッタービデオ信号ビデオキャプチャ眼球カメラノートパソコンモニタLORヤプチャヘッドフォン視線位 設計算ビデオ信号視線位置無線LAN無線LANILAN アクセス ポイントIMDマイクRor L無線LAN?マウス0|指示・音声指示画像パソコン作業用表 示画像生成 背景色:黒マイクキーボードヘッドフォンノートパソコンFig.3 System Configuration-198Fig.5 に眼球カメラを示す。このカメラは処 理部分がレンズ部と分離しているためカメラ 部分が小さくなっている。カメラ下部には、赤 外線 LED を取り付けた。この LED を利用すると、 眼球の虹彩を明るく照らし、瞳孔を黒く撮影で きるため画像処理の際に安定的に処理ができ るようになる。カメラ赤外線LED_ 小型化に関しては、新しい HMD を開発すると ともに、これまでのシステムでワゴンに載って いた周辺装置類の見直しを行った。例えば、ア ナログでやりとりしていた音声は音声交換ソ フトの利用により、無線 LAN 経由で送受信する こととし、ケーブル、アンプ等を削除した。一 方、視野カメラの映像に関しては処理速度の問 題があるため無線 LAN の利用はせずに、ビデオ トランスミッタにより伝送することとした。次に新しい HMD に関して述べる。これまでの システムでは、両目型眼球画像撮影機能付き HMD を使用していた。しかし、両目が覆われて いるため足元が見づらく視野が狭いため動き 回る作業には不向きであった。そのため、新た に片日型の HMD を採用することとしたが、片日小型化に関しては、新しい HMD を開発すると ともに、これまでのシステムでワゴンに載って いた周辺装置類の見直しを行った。例えば、ア ナログでやりとりしていた音声は音声交換ソ フトの利用により、無線 LAN 経由で送受信する こととし、ケーブル、アンプ等を削除した。一 方、視野カメラの映像に関しては処理速度の問 題があるため無線 LAN の利用はせずに、ビデオ トランスミッタにより伝送することとした。次に新しい HMD に関して述べる。これまでの システムでは、両目型眼球画像撮影機能付き HMD を使用していた。しかし、両目が覆われて いるため足元が見づらく視野が狭いため動き 回る作業には不向きであった。そのため、新た に片目型の HMD を採用することとしたが、片目 型眼球画像撮影機能付き HMD は存在しないた め、市販の片目型 HMD を使用し、空いている方 の眼球を狙う形でカメラを設置することとしそこで、本システムの用途に必要な、片目型 で、シースルー機能があり、眼球全面被うとい う条件を満たした島津製作所製の単眼 HMD(Data Glass2 [5])を採用することとした。 これを用いて開発したデバイスを Fig.4 に示 す。ディスプレイ部は単眼 HMD を利用してあり、 これに視野カメラと眼球カメラを取り付けて いる。視野カメラ、眼球カメラ、ディスプレイ は取り外しが可能であり、フレームを裏返して、 固定し直すことにより、左右を交換できるよう に設計した。Fig.6 Worker with the New DeviceFig.7 に眼球画像を処理した画像を示す。左 の図が元画像であり、赤外線 LED の効果により、Fig.4 New device-199- Fig.5 に眼球カメラを示す。このカメラは処 理部分がレンズ部と分離しているためカメラ 部分が小さくなっている。カメラ下部には、赤 外線 LED を取り付けた。このLED を利用すると、 眼球の虹彩を明るく照らし、瞳孔を黒く撮影で きるため画像処理の際に安定的に処理ができ るようになる。Fig.6 に HMD を装着した作業員を示す。これ までのシステムは、HMD で目が被われていたた め、目を動かすことにより横方向を見ることは できず、前方の狭い角度の範囲内しか見ること ができなかった。そのため、周囲を確認するた めには、目を動かすだけでなく、首を動かす必 要があった。新しいシステムでは、前方をさえ ぎるものが少ないので、現場を移動する際の安 全確保が容易である。また、HMD は最初は違和 感があるが、HMD がシースルーとなっているた め、慣れれば問題なく行動できるようになる。Fig.7 に眼球画像を処理した画像を示す。 の図が元画像であり、赤外線 LED の効果によ 瞳孔が黒く写っている。これを処理した画像が 右側の画像であり、瞳孔の輪郭を抽出し、瞳孔 中心を適切に計算している。ファイルEDキャプチャークヘルプFig.7 Processed Image of EyeFig.8 は、遠隔地の監督者用端末のインタフ ェースの画面を示している。四角い枠は作業員 の視界のうち映像の提示が可能な範囲を、「+」 印は作業員の視点を、「○」印は監督者の指示 を示す。「+」のところにある作業員の視点を 見て、監督者が「○」で操作すべき弁を示し、 音声でも指示している。またテキストデータも 送信可能となっている。作業員の視界の内映像の提示が可能な範囲無題 - Naker2 Paints ファイル(E) 編集(E) 表示(ヘルプ(H)四回インターたかがマンテラボsend message青い画びょう B30241レディ作業員の視点監督者の指示Fig .8 Interface for a supervisor5.まとめ* 複数プラントの運転保守機能を集約するオ フサイトの運転保守支援センターでの利用を 想定して、遠隔作業支援システムの開発を行っ ているが、これまでの研究成果を踏まえ、より 実用レベルに近づけるために、新しい ES-HMD の開発を行うとともに小型・軽量・無線化を行 った。今後は、このシステムのユーザビリティ 評価を行い、実用化に向けてさらに改良を重ね ていく予定である。謝發- 本研究は、文部科学省科学研究費補助金(若 手研究(B))及び(財)エネルギー総合工学研究 所の革新的実用原子力技術開発提案公募事業 により支援を受け実施しました。深く感謝いた します。参考文献[1]尾崎禎彦,吉川榮和,北村正晴,古田一雄,五福明夫,伊藤広二:原子力発電所運用高度化の ための次世代 HMS に関する技術開発,日本原子力学会 2002 年春の年会要旨集,H31, p.407(2002). [2] T. Nagamatsu, T. Otsuji, H. Ishii, H. Shimoda,H. Yoshikawa, W. Wu: Information Support for Annual Maintenance with Wearable Device, Proceedings of HCI International 2003 Human - Computer Interaction Theory and Practice(Part II), Vol.2, pp.1253-1257 (2003) [3] 福島省吾,新井豪,森川大輔,下田宏,吉川榮和:Eye-Sensing Head Mounted Display の開発, 計測自動制御学会論文集, Vol.35, No.6,pp.699-707 (1999). [4]福島省吾,鈴木健之,村上宗司,仲島了治:映像表示機能を備えた軽量型瞳孔・眼球運動計測器 の開発, ヒューマンインタフェース学会研究報告集 Vol3, No.2, pp.75-78 (2001). [ 5 ]http://www.shimadzu.co.jp/hmd/-200“ “視線情報と拡張現実感を利用した遠隔作業支援システムの開発“ “長松 隆,Takashi NAGAMATSU,北川 雄樹,Yuki KITAGAWA,大辻 友雄,Tomoo OTSUJI,吉川 榮和,Hidekazu YOSHIKAWA,大井 忠,Tadashi OHI“ “視線情報と拡張現実感を利用した遠隔作業支援システムの開発“ “長松 隆,Takashi NAGAMATSU,北川 雄樹,Yuki KITAGAWA,大辻 友雄,Tomoo OTSUJI,吉川 榮和,Hidekazu YOSHIKAWA,大井 忠,Tadashi OHI
テムの構築を目的とする。 * 現在、日本の電力供給を考える上で、原子力 プラントの継続的な信頼性や安全性の向上が 2.遠隔保守協調作業支援システムの概要 求められ、運転・保守の高度化・効率化が重要。 と課題 な課題となっている。そこで、複数プラントの2.1 遠隔保守協調作業支援システムの概要 運転保守機能を集約するオフサイトの運転保 守支援センターが提案されている[1]。Fig.1 に、運転保守支援センターによる保全 このセンターの機能の一つとして、遠隔地か作業支援の概念図を示す。現場の作業員は、通 ら現場作業を支援することがあげられ、これに 常時は独自の判断で行動するが、何か問題が発 より、(1)個人の能力を多くの現場で活かす、 生したときは、センターにいる監督者と相談し (2)現場に行く時間がかからない、(3)危険な現 指示・支援を受ける方式である。 場に行く人数を減らすことが実現できると考本研究では、このようなセンターで用いる遠 えられる。例えば、立会い検査、非熟練者への 隔支援システムの開発の第一段階として、 作業支援・OJT(On the Job Training)等を遠隔 Fig.2 に示す「遠隔地にいる監督者」1名と「現 地から複数の現場に対して行うことができる。 場の作業員」 1 名で構成されるプロトタイプシ トラブル発生時には、遠隔地にいる同種のトラステムの開発を行っている。 ブルの経験者に指示を仰ぐこともできる。また、 1 遠隔保守協調作業支援システムを構築する 管理区域作業、高所作業、狭い場所での作業等、 際、離れた場所で円滑に協同作業を行うことは 多人数が行きにくい場所での作業を支援する 単に通信路を整備しただけでは達成すること ことも可能となる。ができないので、現場のどのような情報を監督 1. 本研究では、現場で作業に従事する作業員を者側に伝送し、どのような指示方法で現場作業
PS2-3員に指示するかが、最も重要な問題となる。そこで、効果的に作業員に情報を提示する方 法として、計算機で作成した情報を現実環境に 重畳させる拡張現実感 (Augmented Reality: AR)技術を適用する。また、遠隔地にいる監督 者が作業員の状況を把握するには、作業員の前 方を撮影する視野カメラだけでなく、作業員の 眼球の動きを撮影する眼球カメラも設置し、作 業員の視点を利用する。これにより、遠隔地側 では、作業員がどこを注視しているかを見なが ら作業の指示・支援を行うことができる。現場A現場B運転保守支援センター Fig. 1 Concept of Support from Operation andMaintenance Support CenterES-HMD CCDカメラ40現場遠隔地Fig.2 Concept of the system2.2 これまでのシステムと課題 - これまでに開発したシステム[2]は、眼球画 像の撮影が可能な両眼タイプのヘッドマウン トディスプレイ (ES-HMD)[3,4]を利用し、現場 の作業員と遠隔地の監督者端末は有線で接続 したものであった。これを用いて、二相流熱流 体ループの操作を遠隔地にいる熟練者が現場 の非熟練作業員を支援するシナリオで実験室 で実験を行い、利用者に実施したアンケートにより以下の知見が得られている。1) AR 技術による熟練者からの指示情報は、音 声だけにより作業を支援する場合に比べて 格段に優れている。 2) 現場作業員の視点位置情報は、熟練者が現 場作業員の状況を知るために非常に有効で ある。特に前方を撮影するカメラの解像度 に限界がある場合、液位の確認時には視点 位置がその液位を指し示すため、非常に有効であった。 3) 熟練者側も、指示を HMD に表示して注目し てもらいたい場所を直接指示できるので、 音声だけで指示してどこを注目してもらい たいか上手く伝わらない場合に比べて、作 業に必要な本質的なシーケンスの思考に集 中できるメリットがある。 4) ハードウェアの大きさ・重量、HMD の視野、 接続ケーブルの問題により、動きやすさの 観点では改善の余地がある。 以上のように、システムのコンセプトの有効 性は示されているが、実用化に向けては、使い やすさが課題となっている。3.システムの開発 - 前章で述べた課題を実現するために、これま でのシステムを基に、小型化・無線化に重点を 置き、Fig.3 に示すシステム構成とした。視野カメラビデオトラ視野柄像 ンスミッタービデオ信号ビデオキャプチャ眼球カメラノートパソコンモニタLORヤプチャヘッドフォン視線位 設計算ビデオ信号視線位置無線LAN無線LANILAN アクセス ポイントIMDマイクRor L無線LAN?マウス0|指示・音声指示画像パソコン作業用表 示画像生成 背景色:黒マイクキーボードヘッドフォンノートパソコンFig.3 System Configuration-198Fig.5 に眼球カメラを示す。このカメラは処 理部分がレンズ部と分離しているためカメラ 部分が小さくなっている。カメラ下部には、赤 外線 LED を取り付けた。この LED を利用すると、 眼球の虹彩を明るく照らし、瞳孔を黒く撮影で きるため画像処理の際に安定的に処理ができ るようになる。カメラ赤外線LED_ 小型化に関しては、新しい HMD を開発すると ともに、これまでのシステムでワゴンに載って いた周辺装置類の見直しを行った。例えば、ア ナログでやりとりしていた音声は音声交換ソ フトの利用により、無線 LAN 経由で送受信する こととし、ケーブル、アンプ等を削除した。一 方、視野カメラの映像に関しては処理速度の問 題があるため無線 LAN の利用はせずに、ビデオ トランスミッタにより伝送することとした。次に新しい HMD に関して述べる。これまでの システムでは、両目型眼球画像撮影機能付き HMD を使用していた。しかし、両目が覆われて いるため足元が見づらく視野が狭いため動き 回る作業には不向きであった。そのため、新た に片日型の HMD を採用することとしたが、片日小型化に関しては、新しい HMD を開発すると ともに、これまでのシステムでワゴンに載って いた周辺装置類の見直しを行った。例えば、ア ナログでやりとりしていた音声は音声交換ソ フトの利用により、無線 LAN 経由で送受信する こととし、ケーブル、アンプ等を削除した。一 方、視野カメラの映像に関しては処理速度の問 題があるため無線 LAN の利用はせずに、ビデオ トランスミッタにより伝送することとした。次に新しい HMD に関して述べる。これまでの システムでは、両目型眼球画像撮影機能付き HMD を使用していた。しかし、両目が覆われて いるため足元が見づらく視野が狭いため動き 回る作業には不向きであった。そのため、新た に片目型の HMD を採用することとしたが、片目 型眼球画像撮影機能付き HMD は存在しないた め、市販の片目型 HMD を使用し、空いている方 の眼球を狙う形でカメラを設置することとしそこで、本システムの用途に必要な、片目型 で、シースルー機能があり、眼球全面被うとい う条件を満たした島津製作所製の単眼 HMD(Data Glass2 [5])を採用することとした。 これを用いて開発したデバイスを Fig.4 に示 す。ディスプレイ部は単眼 HMD を利用してあり、 これに視野カメラと眼球カメラを取り付けて いる。視野カメラ、眼球カメラ、ディスプレイ は取り外しが可能であり、フレームを裏返して、 固定し直すことにより、左右を交換できるよう に設計した。Fig.6 Worker with the New DeviceFig.7 に眼球画像を処理した画像を示す。左 の図が元画像であり、赤外線 LED の効果により、Fig.4 New device-199- Fig.5 に眼球カメラを示す。このカメラは処 理部分がレンズ部と分離しているためカメラ 部分が小さくなっている。カメラ下部には、赤 外線 LED を取り付けた。このLED を利用すると、 眼球の虹彩を明るく照らし、瞳孔を黒く撮影で きるため画像処理の際に安定的に処理ができ るようになる。Fig.6 に HMD を装着した作業員を示す。これ までのシステムは、HMD で目が被われていたた め、目を動かすことにより横方向を見ることは できず、前方の狭い角度の範囲内しか見ること ができなかった。そのため、周囲を確認するた めには、目を動かすだけでなく、首を動かす必 要があった。新しいシステムでは、前方をさえ ぎるものが少ないので、現場を移動する際の安 全確保が容易である。また、HMD は最初は違和 感があるが、HMD がシースルーとなっているた め、慣れれば問題なく行動できるようになる。Fig.7 に眼球画像を処理した画像を示す。 の図が元画像であり、赤外線 LED の効果によ 瞳孔が黒く写っている。これを処理した画像が 右側の画像であり、瞳孔の輪郭を抽出し、瞳孔 中心を適切に計算している。ファイルEDキャプチャークヘルプFig.7 Processed Image of EyeFig.8 は、遠隔地の監督者用端末のインタフ ェースの画面を示している。四角い枠は作業員 の視界のうち映像の提示が可能な範囲を、「+」 印は作業員の視点を、「○」印は監督者の指示 を示す。「+」のところにある作業員の視点を 見て、監督者が「○」で操作すべき弁を示し、 音声でも指示している。またテキストデータも 送信可能となっている。作業員の視界の内映像の提示が可能な範囲無題 - Naker2 Paints ファイル(E) 編集(E) 表示(ヘルプ(H)四回インターたかがマンテラボsend message青い画びょう B30241レディ作業員の視点監督者の指示Fig .8 Interface for a supervisor5.まとめ* 複数プラントの運転保守機能を集約するオ フサイトの運転保守支援センターでの利用を 想定して、遠隔作業支援システムの開発を行っ ているが、これまでの研究成果を踏まえ、より 実用レベルに近づけるために、新しい ES-HMD の開発を行うとともに小型・軽量・無線化を行 った。今後は、このシステムのユーザビリティ 評価を行い、実用化に向けてさらに改良を重ね ていく予定である。謝發- 本研究は、文部科学省科学研究費補助金(若 手研究(B))及び(財)エネルギー総合工学研究 所の革新的実用原子力技術開発提案公募事業 により支援を受け実施しました。深く感謝いた します。参考文献[1]尾崎禎彦,吉川榮和,北村正晴,古田一雄,五福明夫,伊藤広二:原子力発電所運用高度化の ための次世代 HMS に関する技術開発,日本原子力学会 2002 年春の年会要旨集,H31, p.407(2002). [2] T. Nagamatsu, T. Otsuji, H. Ishii, H. Shimoda,H. Yoshikawa, W. Wu: Information Support for Annual Maintenance with Wearable Device, Proceedings of HCI International 2003 Human - Computer Interaction Theory and Practice(Part II), Vol.2, pp.1253-1257 (2003) [3] 福島省吾,新井豪,森川大輔,下田宏,吉川榮和:Eye-Sensing Head Mounted Display の開発, 計測自動制御学会論文集, Vol.35, No.6,pp.699-707 (1999). [4]福島省吾,鈴木健之,村上宗司,仲島了治:映像表示機能を備えた軽量型瞳孔・眼球運動計測器 の開発, ヒューマンインタフェース学会研究報告集 Vol3, No.2, pp.75-78 (2001). [ 5 ]http://www.shimadzu.co.jp/hmd/-200“ “視線情報と拡張現実感を利用した遠隔作業支援システムの開発“ “長松 隆,Takashi NAGAMATSU,北川 雄樹,Yuki KITAGAWA,大辻 友雄,Tomoo OTSUJI,吉川 榮和,Hidekazu YOSHIKAWA,大井 忠,Tadashi OHI“ “視線情報と拡張現実感を利用した遠隔作業支援システムの開発“ “長松 隆,Takashi NAGAMATSU,北川 雄樹,Yuki KITAGAWA,大辻 友雄,Tomoo OTSUJI,吉川 榮和,Hidekazu YOSHIKAWA,大井 忠,Tadashi OHI