目視検査画像の超解像度処理による検査員支援システム
公開日:
カテゴリ: 第6回
1.緒言
TV カメラ等を用いた間接目視検査は、対象面がその まま画像化されることから結果を直感的に理解でき、 また遠隔非接触であるメリットもあって、幅広く利用 される検査法である。但し、詳細な画像が得たければ カメラを対象に対し物理的に近接させるか、ズーム機 能で光学的に拡大する必要がある。また、一般的に素 早く移動しながら画像を撮影すれば、撮像物の視認性 は低下する。原子炉内目視検査を考えた場合、カメラ の操作は水中遠隔となり、特に形状が複雑で狭あいな 部位において所望の近接やズームを利用するには熟練 したスキルが要求される。また、走査による視認性低 下の観点からカメラの走査速度には上限がある。そこ で我々は、画像処理の一手法である“超解像度”[1]に 着目し、ソフト的に撮像の空間分解能を向上させるこ とを提案する。解像度が向上すれば、カメラの動作や 光学的操作なしに、実質的に近接やズームと同じ効果 が得られるし、また、高速走査時の視認性低下を防止 することも期待される。本稿では、超解像度処理を実 際の検査画像に適用し、検査員を支援するために試作 したシステムについて、その性能を試験結果に基づき 報告する。
2.手法概要適用を考える超解像度は、動画像内の複数枚フレー ム、つまり時間変化のみを利用し、情報の追加なしに 解像度を向上させた静止画像を得る画像処理手法であ る。この解像度向上により、視認性の良い検査画像を 提供でき、目視検査の精度改善を図れるものと考えた。 本手法では、まず、解像度の低い複数フレーム同士の 相対位置関係を1画素以下の精度で計測する。そして、 その位置情報を基に、Fig.1 のように元の画素より細か い格子上でそれらのフレームを再配置し重ね合わせる。 この格子上の輝度を複数フレームの輝度情報から統計 的に推定することで、解像度の高い画像を生成できる。frame1frame 2frame 2 AFig. 1Principle of Super ResolutionFig. 13. 評価試験結果超解像度を適用した場合、間接目視の性能がどれだ け向上するか、ASME2007 の目視検査規格 VT-1 グレー ド[2]の考え方に基づいて検証試験を行った。同規格は、 ひび検出等の検査を行う際、1.1mm 高の文字を確認で きる条件で検査を行うことと定めている。そこで我々 は、1.1mm 高のアルファベット文字列が描かれた試験 用紙を CCD カメラで撮影、映像中に映る同文字列の視 認性を官能試験にて評価した。今回は、38 万画素アナ ログ CCD カメラ、8mm 固定焦点レンズを用いた。ま た XY ステージにて試験用紙を走査することで、被写 体の移動(カメラ運動)による影響も評価対象とした。Fig.2 に、実際に撮影した原画像とそれを超解像度化 した画像を示す。この例では「awcneuo」の文字列が描 かれており、原画像では解像度不足とステージによる 移動の影響で文字を判読できないが、超解像度化の結 果では判読可能になっている様子がわかる。Raw DataSuper ResolutionFig.2 Result of Super Resolution for VT-1 charactersFig.3 に、試験用紙 カメラ間の距離と、可読率 (3 人 の試験者が正しく読めた文字数の割合) の関係を示す。 原映像 (●)、その映像からキャプチャして得られた静 止画像(■)、約3倍超解像度化した画像(▲)、それ ぞれで文字を判読した場合の可読率を比較した。その 結果、例えば、撮影距離 150mm で撮影した原映像にお ける可読率が 65%であるのに対し、まったく同じ撮像 系および撮影条件の画像に対して超解像度処理を施す ことによって、100%の可読率を保てることが分かる。 * 最後に、Fig.4 に模擬検査画像に対して超解像度化処 理を施した例を示す。同例は、平板試験体に付与した ひび(応力腐食割れ)であるが、ひび部の視認性が向 上していることがわかる。Readability (%)・11? Raw Video (X1) ■ One Frame (X1) A Super Resolution (X3)200Fig.350 100150 Working Distance (mm) Relation between readability and working distance(Scanning speed: 10mm/sec)CrackRaw DataSR ImageFig.4 Result of Super Resolution for a crack4.結言今回、間接目視検査の品質向上のため、超解像度の適 用を試み、その評価試験にて以下の効果を確認した。 D より遠くから撮像した場合でも従来と同等の解像 度画像が得られる(同じ撮影距離条件ではより精 細な画像が得られる)ため、撮影条件をフレキシブルに選択できる。 つ より高速にカメラを移動させて撮影しても視認性のよい静止画像が得られるため、撮影のための走査時間を短縮できる。 今後、実プラントへの適用を推進するとともに、画像 処理を応用した更なる目視検査の高品質化を目指す。参考文献 1] S. C. Park et al., “Super-Resolution ImageReconstruction: A Technical Overview,” IEEE SignalProcessing Magazine, Vol.20, No.3, 2003, pp.21-36. 2] ASME Boiler & Pressure Vessel Code, Sec XI,2997 Edition, IWA-2211.66“ “目視検査画像の超解像度処理による検査員支援システム“ “佐藤 美徳,Yoshinori SATOH,相川 徹郎,Tetsuro AIKAWA,湯口 康弘,Yasuhiro YUGUCHI,安達 弘幸,Hiroyuki ADACHI,落合 誠,Makoto OCHIAI
TV カメラ等を用いた間接目視検査は、対象面がその まま画像化されることから結果を直感的に理解でき、 また遠隔非接触であるメリットもあって、幅広く利用 される検査法である。但し、詳細な画像が得たければ カメラを対象に対し物理的に近接させるか、ズーム機 能で光学的に拡大する必要がある。また、一般的に素 早く移動しながら画像を撮影すれば、撮像物の視認性 は低下する。原子炉内目視検査を考えた場合、カメラ の操作は水中遠隔となり、特に形状が複雑で狭あいな 部位において所望の近接やズームを利用するには熟練 したスキルが要求される。また、走査による視認性低 下の観点からカメラの走査速度には上限がある。そこ で我々は、画像処理の一手法である“超解像度”[1]に 着目し、ソフト的に撮像の空間分解能を向上させるこ とを提案する。解像度が向上すれば、カメラの動作や 光学的操作なしに、実質的に近接やズームと同じ効果 が得られるし、また、高速走査時の視認性低下を防止 することも期待される。本稿では、超解像度処理を実 際の検査画像に適用し、検査員を支援するために試作 したシステムについて、その性能を試験結果に基づき 報告する。
2.手法概要適用を考える超解像度は、動画像内の複数枚フレー ム、つまり時間変化のみを利用し、情報の追加なしに 解像度を向上させた静止画像を得る画像処理手法であ る。この解像度向上により、視認性の良い検査画像を 提供でき、目視検査の精度改善を図れるものと考えた。 本手法では、まず、解像度の低い複数フレーム同士の 相対位置関係を1画素以下の精度で計測する。そして、 その位置情報を基に、Fig.1 のように元の画素より細か い格子上でそれらのフレームを再配置し重ね合わせる。 この格子上の輝度を複数フレームの輝度情報から統計 的に推定することで、解像度の高い画像を生成できる。frame1frame 2frame 2 AFig. 1Principle of Super ResolutionFig. 13. 評価試験結果超解像度を適用した場合、間接目視の性能がどれだ け向上するか、ASME2007 の目視検査規格 VT-1 グレー ド[2]の考え方に基づいて検証試験を行った。同規格は、 ひび検出等の検査を行う際、1.1mm 高の文字を確認で きる条件で検査を行うことと定めている。そこで我々 は、1.1mm 高のアルファベット文字列が描かれた試験 用紙を CCD カメラで撮影、映像中に映る同文字列の視 認性を官能試験にて評価した。今回は、38 万画素アナ ログ CCD カメラ、8mm 固定焦点レンズを用いた。ま た XY ステージにて試験用紙を走査することで、被写 体の移動(カメラ運動)による影響も評価対象とした。Fig.2 に、実際に撮影した原画像とそれを超解像度化 した画像を示す。この例では「awcneuo」の文字列が描 かれており、原画像では解像度不足とステージによる 移動の影響で文字を判読できないが、超解像度化の結 果では判読可能になっている様子がわかる。Raw DataSuper ResolutionFig.2 Result of Super Resolution for VT-1 charactersFig.3 に、試験用紙 カメラ間の距離と、可読率 (3 人 の試験者が正しく読めた文字数の割合) の関係を示す。 原映像 (●)、その映像からキャプチャして得られた静 止画像(■)、約3倍超解像度化した画像(▲)、それ ぞれで文字を判読した場合の可読率を比較した。その 結果、例えば、撮影距離 150mm で撮影した原映像にお ける可読率が 65%であるのに対し、まったく同じ撮像 系および撮影条件の画像に対して超解像度処理を施す ことによって、100%の可読率を保てることが分かる。 * 最後に、Fig.4 に模擬検査画像に対して超解像度化処 理を施した例を示す。同例は、平板試験体に付与した ひび(応力腐食割れ)であるが、ひび部の視認性が向 上していることがわかる。Readability (%)・11? Raw Video (X1) ■ One Frame (X1) A Super Resolution (X3)200Fig.350 100150 Working Distance (mm) Relation between readability and working distance(Scanning speed: 10mm/sec)CrackRaw DataSR ImageFig.4 Result of Super Resolution for a crack4.結言今回、間接目視検査の品質向上のため、超解像度の適 用を試み、その評価試験にて以下の効果を確認した。 D より遠くから撮像した場合でも従来と同等の解像 度画像が得られる(同じ撮影距離条件ではより精 細な画像が得られる)ため、撮影条件をフレキシブルに選択できる。 つ より高速にカメラを移動させて撮影しても視認性のよい静止画像が得られるため、撮影のための走査時間を短縮できる。 今後、実プラントへの適用を推進するとともに、画像 処理を応用した更なる目視検査の高品質化を目指す。参考文献 1] S. C. Park et al., “Super-Resolution ImageReconstruction: A Technical Overview,” IEEE SignalProcessing Magazine, Vol.20, No.3, 2003, pp.21-36. 2] ASME Boiler & Pressure Vessel Code, Sec XI,2997 Edition, IWA-2211.66“ “目視検査画像の超解像度処理による検査員支援システム“ “佐藤 美徳,Yoshinori SATOH,相川 徹郎,Tetsuro AIKAWA,湯口 康弘,Yasuhiro YUGUCHI,安達 弘幸,Hiroyuki ADACHI,落合 誠,Makoto OCHIAI