2008年11月に発行された『Vision Systems Design』誌（米国）にてHALCONの開発元であるMVTec社の社長Dr.Wolfgang Eckstein氏は、興味深い提案を行いました。 　　 ユーザーが仕様に合った最適なソフトウエアを選定するためには、ベンチマークはどのようにあるべきか。この問いに対してEckstein氏はマシンビジョンベンチマーク(MVB)の基準化を提案し、その内容についてEMVA（Europe Machine Vision Association）やAIA（Automated Imaging Association）など標準化団体が注目しています。 今回は『Vision Systems Design』誌で取り上げられた、MVTec社が提唱するマシンビジョンベンチマークの実現に関する記事をご紹介します。

MVTec社長 Dr.Wolfgang Eckstein氏

■ マシンビジョンベンチマーク（MVB）とは

  
マシンビジョンシステムの公正なベンチマークを行うためには、ベンチマークを実施する目的を十分に理解しておく必要があります。照明、カメラ、グラバーボードなどのコンポーネントの情報も必要ですが、これらハードウエアを評価することがベンチマークの目的ではありません。
　
マシンビジョンベンチマークで評価すべきもの、それはソフトウエアです。ソフトウエアが様々なハードウエアにおいてどう機能するかを評価するべきです。もちろんその結果は使用しているCPUあるいはGPUに関連しているものとして扱われるべきです。また、マシンビジョンベンチマークはPCに限るべきではなく、画像処理ソリューションがオープンシステム、組込みシステム、スマートカメラなどの環境下でどのように機能するかも評価すべきです。
　
マシンビジョンベンチマークの目的はマシンビジョンのソフトウエアやシステムにおける市場の透明性を高めることであるべきです。そうすればユーザは特定のアプリケーションの要求仕様に対して最適なソフトウエアはどれなのかをより簡単に決定できるようになります。
　
ベンチマークを行う目的は、1つの手法（例えばSobelフィルターの実行時間）を比較することではなく、ソフトウエアによってどれ程アプリケーションの課題が解決されるかを評価することであるべきです。これは、処理速度、処理精度、ロバスト性などの複数の指標に基づいて評価すべきです。
　
この手のベンチマークを確立するために、企業や団体はベンチマークのルールや基準を定義し、それを遂行し、そして、ベンチマークデータおよび結果を公表することができると考えられます。
　
中立的な機関、例えばEMVAやAIA、によりそのベンチマークが主催されるようになることが望ましいです。なぜなら、マシンビジョンベンチマークはある特定の企業によってコントロールされるものではなく、すべてのメーカーにオープンであるべきだからです。
　
エンドユーザやマシンビジョンのコミュニティ全体がベンチマークの結果を閲覧できるようになれば、マシンビジョンベンチマークの発展が促進されるでしょう。また、すべてのメーカーは最新のソフトウエアを使用してマシンビジョンベンチマークが最新であることを保証することに特別な関心を持つようになるでしょう。このことがマシンビジョンベンチマークが常に有効な情報を含んでいることを保証するとともに、マシンビジョンの発展をさらに促進することになるのではないしょうか。
 　　

■ マシンビジョンベンチマーク（MVB）のルール

  
マシンビジョンベンチマークの実現において、まず一定のルールが確立される必要があります。これには処理課題や、ベンチマークデータが生成された手順についての説明が含まれるでしょう。
　
ベンチマークは、ブロブ解析、計測、テンプレートマッチング、文字認識などの画像処理の伝統的な分野に基づいて選択されることになるでしょう。
　
ベンチマークは使用されたデータがどのように生成されたものなのかを特定しなければなりません。合成により生成されたのか、一部を改変して生成されたのか、それともカメラを用いて撮像されたものなのかを明記するべきです。テスト画像を取得するために使用された、光学系やカメラなどの情報もあわせて明記すれば有用です。
　
データに加えて、解決されなければならない課題を明確に記述することも必要です。重要なことは、ソリューションは限定されず、適したソフトウエアであればどれでも使用できるということです。
　
ベンチマークの結果には、課題を解決するためにどのような情報が用いられたのかが明記されなければなりません。例えば、画像中のバーコードの検索範囲を絞り込むために、対象の大まかな位置情報を用いたのか、それともバーコードの向き情報を用いたのかどうか、などは明確にすべきです。なぜならば、これらの制限は処理速度とロバスト性に影響するからです。
　 

ベンチマーク用にMVTecが提供する画像例 ※一部※
（ ピンぼけに対するロバスト性を検査するために作動距離を連続的に変化させて撮像したPCB画像）

さらに重要なことは、ベンチマーク結果が透過的であるということです。この達成のために、各メーカーおよび団体が使用したソフトウエアの具体的なバージョン、ソフトウエアが動作するハードウエア、ベンチマークの実行時間などを示す必要があります。

画像処理の様々な手法にはパラメータの調整が必要となります。これらのパラメータはデフォルトの値とは異なる可能性もあるため、それぞれの値を特定する必要があります。また、使用されたコードの一部の情報を含んでいる可能性があります。これにより、ユーザーが特定のシステムの使用についてより詳細を知ることができるようになり、また、同じテストを実施することができるようになります。
　

■ マシンビジョンベンチマーク（MVB）の実施方法

 
マシンビジョンベンチマークを実施後、ベンチマークのデータとその仕様書は自由に入手可能にするべきです。これらのベンチマークに基づいて、各メーカーは最適なソリューションを実現し、それを実施し、その結果を提供することが可能となります。
特定の課題1つ1つに対して、定められたルールが満たされているかどうかを確認した後、その結果は表にまとめられ、公表されたデータを相互認証するために自由に利用できるようにするべきです。

マシンビジョンベンチマークの確立を進めるためには、こられの共通のベンチマークは容易に理解できるものでなければなりません。また、これらは典型的なマシンビジョンの課題を網羅しており、マシンビジョンシステム同士の比較を容易に行えるべきです。

MVTecは以下の表に示すように、非常に多くのベンチマークを提供しており、それぞれのベンチマークは一連の画像シーケンスから構成されています。特定のソフトウエアの品質は正しく処理できた画像の枚数により評価することができます。テストでは各アプリケーションの課題に対する処理速度、ロバスト性、処理精度が評価されることになるでしょう。
　

マシンビジョンベンチマークのためのアプリケーションリスト例

　
もしEMVAやAIAのような中立的な機関がマシンビジョンベンチマークを主催するのであれば、MVTecはこれらのテスト画像を適切な課題の仕様書と合わせて提供します。加えて、MVTecはメーカーやユーザを公開討論の場に招待し、マシンビジョンマーケットにおける透明性を高めるために、マシンビジョンベンチマークのアイデアを促進していきます。
 　

※本内容は、Vision Systems Design のウェブサイトで紹介されています。詳細は以下を参照ください。
<http://www.vision-systems.com/blogs/business_views/8925165629501108187/post.html>

■ リンクスの提案：　ベンチマーク無償対応

リンクスではお客様一人一人のアプリケーション課題に対して、個別にベンチマーク対応を行っています。
画像処理ライブラリHALCONと画像入力ボードGINGAを組み合わせたベンチマークを実施し、サンプルプログラムとレポートを提出しています。また、お客様の要求に合った、カメラ、レンズ、照明などのコンポーネントの提案も行っています。
リンクスのソリューションが皆様のお役に立てれば幸いです。お気軽にご相談ください。
■ コンサルティング依頼ページ
<https://linx.jp/support/>