画像処理ライブラリ HALCONは、ディープラーニングを含む豊富な画像処理機能、高速・高精度な処理性能、そして高い信頼性により、様々な業界で幅広く活用されています。本号では、近年需要が目覚ましいロボットピッキングに関するHALCON機能を取り上げ、ユースケースと対応機能を紹介します。
ロボットピッキング種別とHALCON機能
ロボットを使ったピッキングはユースケースごとにいくつかの種類に分けることができます。ここでは、代表的な5つのユースケースと、それに対応するHALCONの機能を紹介します。
コンベアピッキング
|  |
通い箱ピッキング
|  |
デパレタイズ
|  |
バラ積みピッキング
|  |
ピースピッキング
|  |
これらのユースケースに対応するHALCONの機能をまとめました。
ここからは、各HALCON機能をご紹介します。
形状ベースマッチング
形状ベースマッチングはHALCONの最も基本的なマッチング機能です。2D画像または2D CADをモデルとして登録し、2D画像内での対象物の位置を出力します。
平面上での移動や回転を安定して高速に検出でき、ロボットピッキングにおいてはコンベアピッキングに最も適しています。コンベアで不等間隔、不揃いに流れてくるワークを、コンベアtoコンベアで整列させる、トレイに整列して配置するといった用途で使用できます。
ワークの高さ情報や三次元的な回転を扱わないため、スカラロボットやパラレルリンクロボットを使用するようなシーンで特に有用です。
3D CADマッチング
3D CADマッチングは形状ベースマッチングの延長線にある機能です。2D画像内で3D CADモデルの姿勢角を変えた場合にどのような輪郭になるかをシミュレーションしたものをモデルとします。画像内の輪郭で最も一致する姿勢角を返すことで、2D画像から三次元的な位置・姿勢を出力します。
通い箱ピッキングのように、ある程度対象物がどこに配置されているかが事前にわかっており、微小な姿勢角の変化に追従したい場合に特に有効な機能です。
オブジェクト検出・インスタンスセグメンテーション
オブジェクト検出、インスタンスセグメンテーションはHALCON ディープラーニング機能のひとつです。形状ベースマッチングと並んでコンベアピッキングのような平置きのシーンで使用できます。
ディープラーニング由来のロバスト性で、対象物の大きな変形を許容することが特徴です。形状変化の大きな袋状のパッケージ品などにも対応できます。
変形のある対象をコンベアピッキングする場合や、パレタイズ・デパレタイズのシーンでも使用できます。
サーフェスマッチング
サーフェスマッチングは3Dセンサから得られた点群内でのマッチングを行う伝統的な手法です。3D CADデータまたは実物を3Dカメラ (縞投影・ToF・ステレオ他) で撮像した点群データをモデルとして、シーン点群内で対象物を探索し三次元位置・姿勢を出力します。
バラ積みピッキングアプリケーションにおける古典的、伝統的な手法で、幅広い使い方が可能です。
Deep 3D Matching
Deep 3D Matchingは、3D CADモデルだけで学習を行い、2Dカメラの画像だけで対象物の三次元位置・姿勢を出力する機能で、バラ積みピッキングアプリケーションへの新たなアプローチ方法です。
サーフェスマッチングと比較して、点群データ・3Dカメラが不要で、安価な2Dカメラのみで構築できるためコスト面で有利です。また、ディープラーニング由来のロバスト性で、光沢、反射に強く、点群化の難しい透明体であっても対象ワークにすることができます。
3D グリッピングポイント検出
3D グリッピングポイント検出は、モデルレスであらゆる対象物の把持点を出力するHALCON ディープラーニングの機能です。入力は3Dセンサからの点群データ (XYZ画像) で、ロボットの吸着ハンドを移動させるべき位置と姿勢を出力します。
不特定多数のワークを対象とし、事前に対象物体を特定できないピースピッキングの用途に最適です。
ロボットピッキングのご相談はリンクスへ
本記事でご紹介したように、ロボットピッキングの実現方法は多岐にわたります。対象物、要求タクト、コストなど、状況によって最適なアプローチは様々です。
リンクスでは、画像処理のエキスパートがお客様の課題を丁寧にヒアリングし、HALCONの豊富な機能の中から最適なソリューションをご提案します。またHALCONだけでなく組み合わせる産業用カメラ・3Dカメラもセットでご提供いたします。
自動化による生産性向上の第一歩として、ぜひお気軽にご相談ください。
本号に関する製品情報はこちら
