レーザースキャンデータからの現場3次元認識システム
公開日:
カテゴリ: 第9回
1. はじめに
プラントの耐震評価や改造設計には現場アズビルトに 即した3DCAD モデルが必要とされており、3D レーザ ースキャナによる現場計測を試みてきた。しかし、3D レーザースキャナで取得されるデータは、3次元座標と レーザーの反射強度を列挙した点群データであるため、 評価や設計に利用するには、点群データから3DCAD モ デルに変換する必要がある。現状では、点群データから 3DCAD モデルへの変換には人手による長時間作業が発 生しており、工期長期化の一因となっている。そのため、 3DCAD モデルの自動生成に対するニーズが高く、短時 間で3DCAD モデルに変換できれば、工期短縮につなげ ることが出来る。そこで、本稿では自動で点群データか ら3DCADモデルを生成する手法について提案する。これまで、点群データから3次元モデルを生成する研 究が行われているが[1-3]、条件が限られていたり、3次 元モデルを生成するまでに多くの処理時間を要したりす るという課題がある。本研究では、点群データ全体から対象に相当する点群データのみを抽出し、2次元認識処 理を階層的に実行することで、対象の断面形状・寸法お よび長さを同定し、部材の3DCAD モデルを自動生成す る手法を提案する。今回は、プラント内で多く利用され、 耐震評価解析・改造設計の主対象である配管やH形鋼や L 形鋼などの一般的な構造部材を対象とし、システム構 築及び評価実験を実施した。
2. 現場3次元認識システム
1. 本節では、3D レーザースキャナで取得した点群デー タから配管や鋼材の3DCAD モデルを生成する手法を説 明する。提案手法の処理の流れを Fig.1 に示す。2.1 部材の点群データ抽出 1 まず、3D レーザースキャナで取得した点群データから 2次元投影画像を生成する。投影画像は Fig.2 に示すよう に、3次元空間中に存在する点群データを2次元の画像 平面上に透視投影することにより生成される。Fig.3 は生 成した投影画像の例であり、画像の輝度は、レーザーの 反射強度を表している。このとき、処理コストを抑える ため、Fig.4 に示すようにユーザーは投影画像上で処理対 象領域(Region of Interest: RONを指定して、処理対象とな331Make perspective image and depth mapfrom point-cloud dataDraw ROI on perspective image(user action)Extract Partial point-cloud based on ROI and Depth mapReshape the partial point-cloud based on distance between each point dataDetect the cross-section of the partial point-cloudRecognize the shape and sizeof cross-sectionCross-section (shape and size)DBDetect the length of the partial point cloudGenerate 3DCAD model from detected cross-sectional shape and lengthFig. 1 Outline of processing flowPoint-cloud (3D coordinate)Fig.4 Example of dTO...Laser scannerや設置位置の3次元認識を行う。 Perspective image (2D coordinate)2.2 部材の3次元認識部材の断面の形状および寸法 Fig.2 Relationship between point-cloud示すように断面の法線方向に沿 and perspective imageタを2次元断面に投影した断面 Tto I tuna る点群データ数を減らすことが出来る。次に、指定され たROI と投影画像、Depth Map に基づいて点群データ全 体から対象を含む部分データを抽出する。 Fig.5 は Depth Map の例であり、輝度値が高いほど3D レーザースキャ ナから離れていることを表している。ROI 内で Depth Map の値が類似する領域内にある点群データを抽出する。こ うして抽出された点群データには対象以外の点群データ も含まれているため、3次元空間中の点同士の距離に応 じて点群データをグループ分けし、対象に相当する点群 データを抽出する。Fig.6 は対象に相当する点群データを 抽出し、2次元の画像平面上に再度投影した例である。 以上の処理で抽出した点群データを用いて、部材の寸法5Fig.3 Example of perspective imagePUで12時ソニービ26Fig.4 Example of drawing ROI2.2 部材の3次元認識部材の断面の形状および寸法を認識するため、Fig.7 に 示すように断面の法線方向に沿った局所領域の点群デー タを2次元断面に投影した断面像を複数取得する。ここ では、部材の長手方向を断面の法線方向と仮定し、それ に直交する平面を断面として点群データを投影すること で断面像を取得することとしている。次に、取得した断 面像と部材の断面モデルと照合し、断面形状と寸法・設 置姿勢を認識する。Fig.8は認識結果の例を示しており、 認識した断面形状の断面モデルを線分で表している。こ こで、プラント内では工業規格に従った部材が使用され ることから、今回は IIS 規格に従って、部材断面の外周部 を断面モデルとしてデータベース化しておくこととした。対象を表現する最適なモデルを認識するため、式(I)で 表されるエネルギー関数を定義する。E(M;)=3E,(M,,p)+ E (M,p) ... ...... (1) ここでE」は、断面に投影された点群データと断面モデ332ルとの距離に基づいて算出される項であり、E, は点群デ ータ中の外れ値により算出されるペナルティ項である。 このエネルギー関数は、断面像と断面モデルとの類似度 を表しており、これを最小化することで最適な断面モデ ルを同定する。 M= argmin E(M;)........・・・・・・(2)さらに、Fig.9 に示すように断面の法線方向に沿って、こ115915日Fig.5 Example of depth mapミニカーニーカーラインのFig.6 Extracted and reshaped point-cloudon perspective image:Point -cloudNormal vector of cross-section al planePoints in local space-04100--0-0---9、Different component dataAreas0Data gapData gap]「1000-O--O--O-1otod1““000-0--0--0110ProjectedpointsCross-sectionalplaneFig. 7 Relationship between partial point-cloud andcross-sectional plane* 同定した断面モデルと点群データの類似度を計算し、 閾値評価することにより長さを同定する。最後に、同定 した断面形状および長さ情報を基に3DCAD モデルを生 成する。Fig.10 に生成される3DCADモデルの例を示す。Fig.8 Projected point-cloud on cross-sectional planeand recognized cross-sectional shapeNormal vector of cross-section al plane-A00-0ONIRO--O--OO--OFig.9 Recognition of cross-sectional shapeand detecting lengthFig. 10 Example of generated 3D-CAD model3. 実験結果提案手法の有効性を確認するため、配管や鋼材を含む) 環境を3D レーザースキャナで計測して取得した点群デ ータを用いて3DCAD モデルを生成する実験を行った。333Fig.11、Fig.13 はそれぞれ点群データを投影した2次元画 像であり、白い矩形は指定した ROI を表している。 Fig.12 は、Fig.11 で指定された点群データから生成された3 DCAD モデルであり、Fig.14 は Fig.13 で指定された点群 データから3DCAD モデルを生成し、点群データを投影 した画像に重ね合わせたものである。この実験の結果、提案手法を用いることで、ユーザー は点群データから3DCAD モデルを容易に生成できるこ とを確認した。また、3DCAD モデル自動生成に必要な 処理時間は1本辺り約20秒とユーザーにストレスのない 処理時間であった。4.おわりに本研究の目的は、3D レーザースキャナで取得した点群 データから配管や鋼材の3DCAD モデルを自動で生成す るシステムを構築することである。今回、プラント内に 多数存在する配管や鋼材を対象として、3DCAD モデル を自動で生成する手法を提案し、実験によりその適用性 を確認した。これにより、プラントの改造工事等の工期 短縮に寄与できる見通しを得ることができた。参考文献 [1] Chen, J., and Chen, B., “Architectural Modeling fromSparsely Scanned Range Data” , International. Journal ofComputer Vision, Vol. 78, 2008, No. 2-3, pp 223-236. [2] Masuda, H. and Tanaka, I., “As-Built 3D Modeling ofLarge Facilities Based on Interactive feature Editing”, Computer-Aided Design and Applications, Vol.7, 2010,No.3, pp.349-360. [3] Sharf, A., Alexa, M., and Cohen-Or, D., ““Context-basedSurface Completation” , ACM Transaction of Graphics, Vol.23,2004, No.3, pp.875-884.Fig.11 Perspective image and ROI draw by userFig.12 3D CAD model generated from the point-cloudin Fig.11Fig.13 Perspective image and ROI draw by userFig.14 Example of overlaying 3DCAD models generatedfrom the point-cloud in Fig.13(平成24年6月21日) 334“ “レーザースキャンデータからの現場3次元認識システム“ “河口 裕治,Yuji KAWAGUCHI,佐藤 美徳,Yoshinori SATOH,木村 静,Shizuka KIMURA,遠藤 哲央,Tetsuo ENDOH,本橋 正宏,Masahiro MOTOHASHI,畠山 誠,Makoto HATAKEYAMA
プラントの耐震評価や改造設計には現場アズビルトに 即した3DCAD モデルが必要とされており、3D レーザ ースキャナによる現場計測を試みてきた。しかし、3D レーザースキャナで取得されるデータは、3次元座標と レーザーの反射強度を列挙した点群データであるため、 評価や設計に利用するには、点群データから3DCAD モ デルに変換する必要がある。現状では、点群データから 3DCAD モデルへの変換には人手による長時間作業が発 生しており、工期長期化の一因となっている。そのため、 3DCAD モデルの自動生成に対するニーズが高く、短時 間で3DCAD モデルに変換できれば、工期短縮につなげ ることが出来る。そこで、本稿では自動で点群データか ら3DCADモデルを生成する手法について提案する。これまで、点群データから3次元モデルを生成する研 究が行われているが[1-3]、条件が限られていたり、3次 元モデルを生成するまでに多くの処理時間を要したりす るという課題がある。本研究では、点群データ全体から対象に相当する点群データのみを抽出し、2次元認識処 理を階層的に実行することで、対象の断面形状・寸法お よび長さを同定し、部材の3DCAD モデルを自動生成す る手法を提案する。今回は、プラント内で多く利用され、 耐震評価解析・改造設計の主対象である配管やH形鋼や L 形鋼などの一般的な構造部材を対象とし、システム構 築及び評価実験を実施した。
2. 現場3次元認識システム
1. 本節では、3D レーザースキャナで取得した点群デー タから配管や鋼材の3DCAD モデルを生成する手法を説 明する。提案手法の処理の流れを Fig.1 に示す。2.1 部材の点群データ抽出 1 まず、3D レーザースキャナで取得した点群データから 2次元投影画像を生成する。投影画像は Fig.2 に示すよう に、3次元空間中に存在する点群データを2次元の画像 平面上に透視投影することにより生成される。Fig.3 は生 成した投影画像の例であり、画像の輝度は、レーザーの 反射強度を表している。このとき、処理コストを抑える ため、Fig.4 に示すようにユーザーは投影画像上で処理対 象領域(Region of Interest: RONを指定して、処理対象とな331Make perspective image and depth mapfrom point-cloud dataDraw ROI on perspective image(user action)Extract Partial point-cloud based on ROI and Depth mapReshape the partial point-cloud based on distance between each point dataDetect the cross-section of the partial point-cloudRecognize the shape and sizeof cross-sectionCross-section (shape and size)DBDetect the length of the partial point cloudGenerate 3DCAD model from detected cross-sectional shape and lengthFig. 1 Outline of processing flowPoint-cloud (3D coordinate)Fig.4 Example of dTO...Laser scannerや設置位置の3次元認識を行う。 Perspective image (2D coordinate)2.2 部材の3次元認識部材の断面の形状および寸法 Fig.2 Relationship between point-cloud示すように断面の法線方向に沿 and perspective imageタを2次元断面に投影した断面 Tto I tuna る点群データ数を減らすことが出来る。次に、指定され たROI と投影画像、Depth Map に基づいて点群データ全 体から対象を含む部分データを抽出する。 Fig.5 は Depth Map の例であり、輝度値が高いほど3D レーザースキャ ナから離れていることを表している。ROI 内で Depth Map の値が類似する領域内にある点群データを抽出する。こ うして抽出された点群データには対象以外の点群データ も含まれているため、3次元空間中の点同士の距離に応 じて点群データをグループ分けし、対象に相当する点群 データを抽出する。Fig.6 は対象に相当する点群データを 抽出し、2次元の画像平面上に再度投影した例である。 以上の処理で抽出した点群データを用いて、部材の寸法5Fig.3 Example of perspective imagePUで12時ソニービ26Fig.4 Example of drawing ROI2.2 部材の3次元認識部材の断面の形状および寸法を認識するため、Fig.7 に 示すように断面の法線方向に沿った局所領域の点群デー タを2次元断面に投影した断面像を複数取得する。ここ では、部材の長手方向を断面の法線方向と仮定し、それ に直交する平面を断面として点群データを投影すること で断面像を取得することとしている。次に、取得した断 面像と部材の断面モデルと照合し、断面形状と寸法・設 置姿勢を認識する。Fig.8は認識結果の例を示しており、 認識した断面形状の断面モデルを線分で表している。こ こで、プラント内では工業規格に従った部材が使用され ることから、今回は IIS 規格に従って、部材断面の外周部 を断面モデルとしてデータベース化しておくこととした。対象を表現する最適なモデルを認識するため、式(I)で 表されるエネルギー関数を定義する。E(M;)=3E,(M,,p)+ E (M,p) ... ...... (1) ここでE」は、断面に投影された点群データと断面モデ332ルとの距離に基づいて算出される項であり、E, は点群デ ータ中の外れ値により算出されるペナルティ項である。 このエネルギー関数は、断面像と断面モデルとの類似度 を表しており、これを最小化することで最適な断面モデ ルを同定する。 M= argmin E(M;)........・・・・・・(2)さらに、Fig.9 に示すように断面の法線方向に沿って、こ115915日Fig.5 Example of depth mapミニカーニーカーラインのFig.6 Extracted and reshaped point-cloudon perspective image:Point -cloudNormal vector of cross-section al planePoints in local space-04100--0-0---9、Different component dataAreas0Data gapData gap]「1000-O--O--O-1otod1““000-0--0--0110ProjectedpointsCross-sectionalplaneFig. 7 Relationship between partial point-cloud andcross-sectional plane* 同定した断面モデルと点群データの類似度を計算し、 閾値評価することにより長さを同定する。最後に、同定 した断面形状および長さ情報を基に3DCAD モデルを生 成する。Fig.10 に生成される3DCADモデルの例を示す。Fig.8 Projected point-cloud on cross-sectional planeand recognized cross-sectional shapeNormal vector of cross-section al plane-A00-0ONIRO--O--OO--OFig.9 Recognition of cross-sectional shapeand detecting lengthFig. 10 Example of generated 3D-CAD model3. 実験結果提案手法の有効性を確認するため、配管や鋼材を含む) 環境を3D レーザースキャナで計測して取得した点群デ ータを用いて3DCAD モデルを生成する実験を行った。333Fig.11、Fig.13 はそれぞれ点群データを投影した2次元画 像であり、白い矩形は指定した ROI を表している。 Fig.12 は、Fig.11 で指定された点群データから生成された3 DCAD モデルであり、Fig.14 は Fig.13 で指定された点群 データから3DCAD モデルを生成し、点群データを投影 した画像に重ね合わせたものである。この実験の結果、提案手法を用いることで、ユーザー は点群データから3DCAD モデルを容易に生成できるこ とを確認した。また、3DCAD モデル自動生成に必要な 処理時間は1本辺り約20秒とユーザーにストレスのない 処理時間であった。4.おわりに本研究の目的は、3D レーザースキャナで取得した点群 データから配管や鋼材の3DCAD モデルを自動で生成す るシステムを構築することである。今回、プラント内に 多数存在する配管や鋼材を対象として、3DCAD モデル を自動で生成する手法を提案し、実験によりその適用性 を確認した。これにより、プラントの改造工事等の工期 短縮に寄与できる見通しを得ることができた。参考文献 [1] Chen, J., and Chen, B., “Architectural Modeling fromSparsely Scanned Range Data” , International. Journal ofComputer Vision, Vol. 78, 2008, No. 2-3, pp 223-236. [2] Masuda, H. and Tanaka, I., “As-Built 3D Modeling ofLarge Facilities Based on Interactive feature Editing”, Computer-Aided Design and Applications, Vol.7, 2010,No.3, pp.349-360. [3] Sharf, A., Alexa, M., and Cohen-Or, D., ““Context-basedSurface Completation” , ACM Transaction of Graphics, Vol.23,2004, No.3, pp.875-884.Fig.11 Perspective image and ROI draw by userFig.12 3D CAD model generated from the point-cloudin Fig.11Fig.13 Perspective image and ROI draw by userFig.14 Example of overlaying 3DCAD models generatedfrom the point-cloud in Fig.13(平成24年6月21日) 334“ “レーザースキャンデータからの現場3次元認識システム“ “河口 裕治,Yuji KAWAGUCHI,佐藤 美徳,Yoshinori SATOH,木村 静,Shizuka KIMURA,遠藤 哲央,Tetsuo ENDOH,本橋 正宏,Masahiro MOTOHASHI,畠山 誠,Makoto HATAKEYAMA