header

 HALCON によるマシンビジョンソリューション

大盛況のうちに幕を閉じたマシンビジョンソリューションセミナーで発表した内容から、アンケートの結果を基に注目を集めたトピックを抜粋して紹介するシリーズ企画『リンクスソリューション』。今回は第3回『基板の三次元高精度検査』にも登場した透視歪マッチング(可変形状サーチ)の実装と活用の方法について紹介します。
  

単眼カメラによる三次元位置姿勢計測

視線方向に対する傾きがある場合でも対象物の検出が可能なマッチング機能、それが透視歪マッチングです。透視歪マッチングは、高精度な二次元マッチングだけでなく、対象物の三次元位置姿勢計測にも活用できます。HALCON は2つの異なるアルゴリズムによる透視歪マッチング機能を提供してます。

可変形状サーチ透視歪マッチング
HALCONが提供する高速かつロバストな形状ベースパターンマッチング技術が、可変形状サーチ透視歪マッチングに進化しました。 エッジが明確に見える対象(金属製品など)に対して特に高い性能を発揮します。

特徴点サーチ透視歪マッチング
画像中の複数の特徴点の配置を、周囲の輝度パターンとともにモデルとして登録して探索を行う、HALCON独自の新機能です。最新のHALCON9.0.1では内部アルゴリズムに更なる改良が加えられ、より高速、高精度な検査が可能になりました。
 


 
可変形状サーチ透視歪マッチング
 

 
特徴点サーチ透視歪マッチング
 
透視歪マッチングの実装

透視歪マッチングは簡単に実装することが可能です。以下では可変形状サーチ透視歪マッチングを例に挙げ、モデル登録と処理の流れについて紹介します。

わずか1ステップ、または2ステップでモデル登録が完了!
「物体の三次元位置姿勢計測を行いたいけれど、モデル登録やキャリブレーションにかける手間は可能な限り減らしたい」。そのような要望をお持ちの方は、是非、透視歪マッチングをお試しください。 二次元計測用のモデル登録は1ステップで、三次元計測用のモデル登録でさえ、わずか2ステップで完了します。

【ステップ1】 対象物を撮影する
対象物を1枚撮影し、その画像から可変形状モデルを生成します。

【ステップ2】 対象物に座標系を与える
例えば、対象物平面と平行になるようにキャリブレーションプレートを置いて撮影することで、対象物に座標系を与えます。
※二次元計測の場合は、ステップ2を行う必要はありません。

以上で、モデル登録は完了です。


 
【ステップ1】対象物の撮影
 

 
【ステップ2】キャリブレーションプレートの撮影
 

透視歪マッチング関数1行で対象物の二次元位置、または三次元位置姿勢を算出!
透視歪マッチング関数を実行すれば、対象物の二次元位置または三次元位置姿勢を直接取得できます。
   
【二次元計測の流れ】
1.モデル画像の撮影
2.モデル登録(create_planer_uncalib_deformable_model)
3.探索画像撮影
4.透視歪マッチング(find_planer_uncalib_deformable_model)

【三次元計測の流れ】 ※あらかじめカメラキャリブレーションを実行しておきます。
1.モデル画像の撮影
2.キャリブレーションプレート画像の撮影と座標系の定義
3.モデル登録(create_planer_calib_deformable_model)
4.探索画像撮影
5.透視歪マッチング(find_planer_calib_deformable_model)

このように、お客様は非常にシンプルなプログラムで、透視歪マッチングによる計測アプリケーションの開発を進めることが可能です。

     
透視歪マッチングの活用

透視歪マッチングを活用することで、より精密に対象物の二次元位置または三次元位置姿勢を計測することが可能です。以下では、透視歪マッチングの活用例を紹介します。

二次元マッチング性能アップ!
位置決めの手法として、一般的にマッチング処理がよく用いられます。 しかしながら、計測対象物にわずかでも傾きがある場合や、計測面自体がわずかでも傾いている場合、マッチング処理による精確な位置検出は困難となります。 このような場合、HALCONでは透視歪マッチングを行うことで、視線方向に対して傾きがある対象物の位置も、精確かつ高速に検出することが可能になり、位置決めの精度は格段に向上します。
  



 傾いた対象物の位置決め
   

立体的な物体でも、平面部分があればマッチング可能!
透視歪マッチングで計測できる対象物は、平面的な物体に限られます。ただし、立体的な形状を成している物体でも、特徴的な平面部分を持っていれば、その部分をモデルとして登録することで、透視歪マッチングを適用することが可能です。
  



 自動車ドアの位置姿勢検出例

上図では自動車ドアの平面部分の一部をモデルとして登録し、透視歪マッチングによりドアの三次元位置姿勢を計測しています。
 

ステレオ計測との組み合わせで、より精密な計測を実現!
カメラ2台で対象物を撮影して距離計測を行うステレオ計測と、透視歪マッチングを組み合わせることで、より精密な三次元計測が可能になります。
例えば、左右のカメラでは対象物の見え方が異なりますが、透視歪マッチングの適用により、1つのモデルで左右の画像の対象物の位置を正確に計測できます。この左右の画像のマッチング結果と、ステレオキャリブレーションによって得られる2台のカメラの位置関係から、計測部位の精密な三次元位置計測を行えます。
  



透視歪マッチングとステレオ計測の組み合わせによる三次元計測
  

上図は、2台のカメラから取得した画像に透視歪マッチングを適用し、それぞれのマッチング結果から算出される対応点に対してステレオ計測を実行した結果を示しています。

以上のように、透視歪マッチングを適用することで、対象物が視線方向に対して傾いている場合でも精度よく位置決めを行うことが可能であり、単眼カメラによる対象物の三次元位置姿勢を計測することができます。さらには、ステレオ計測と併用することでより高精度な対象物の三次元位置の計測が可能です。
マッチング性能の更なる向上のために、透視歪マッチングを是非ご活用ください。