画像処理で外観検査を実施する場合、一般的には2値化処理によって異物領域のみを抽出し、品質検査を行います。しかし現実には、異物のコントラストが極端に低いため抽出できない場合や、画像全体に輝度むらがあり異物だけ抽出することが困難な場合が多々あります。
今回は、FPD業界での検査事例を中心に、HALCONが提供する強力な外観検査機能について具体例を紹介します。
各事例の末尾より、検査画像ファイル・HALCONの日本語解説文付きサンプルプログラム(dev形式)をダウンロード可能です。HALCON Trial Kit3.0に付属のHALCON体験版でも実行可能ですのでお試しください。
|
|
■ 事例1:LCD表面上のムラ欠陥検査
【技術課題】
・画像全体に輝度むらが発生
・低コントラストのムラ領域のみ検出
輝度むらや低コントラストといった悪条件により、
本画像では単純な2値化処理での検査が不可能です。
これに対し、HALCONは下記のアプローチにより検査を
実現しました。
[Step1] FFTによるシェーディング補正
[Step2] 画像圧縮によるノイズ除去
[Step3] エッジ抽出関数による異物検出
|
図1:撮影した検査画像
図2:画像処理による検査結果
|
[Step1] FFTによるシェーディング補正
最初に画像全体に発生している輝度むらを除去します。輝度むらの除去は、「検査画像」と「輝度むらだけの画像」の差分をとり、「輝度むらの無い画像」を生成するシェーディング補正が一般的です。
HALCONには強力な高速フーリエ変換(FFT)機能が用意されており、「検査画像」から直接「輝度むらだけの画像」(シェーディング画像)を生成することが可能です。
検査画像にFFTを適用し高周波成分を除外した画像を生成することで、背景画像、つまり「輝度むらだけの画像」を生成することができます。この画像を使用してシェーディング補正を適用することができます。
|
図3:FFT用ローパスフィルタ
|
図4:FFTでシェーディング補正
画像を生成
|
図5:シェーディング補正で 輝度むらを除外
| |
|
[Step2] 画像圧縮によるノイズ除去
画像サイズを故意に圧縮することにより、1ピクセルごとの細かなノイズを除去することができます。
|
図6:画像圧縮前
|
図7:画像圧縮後
|
|
|
|
[Step3] エッジ抽出関数による異物検出
単純な2値化処理では検出が難しい、低コントラストかつエッジのぼやけた「ムラ」欠陥を、いかに検出するかが本検査の肝になります。
ここではエッジ抽出関数を活用することで、エッジ成分=ムラ欠陥を抽出します。
HALCONには、ひと繋がりのエッジ成分を1つのオブジェクト(XLDオブジェクト)として扱うことができる独自の仕組みがあります。エッジを抽出するための関数lines_gaussを適用することで、ムラ欠陥をひと繋がりのエッジとして抽出することができます。エッジのコントラストはパラメーターで指定できますので、低コントラストであっても確実に抽出します。
当然、欠陥がなければエッジは抽出できないので、良品ということになります。
|
図8:lines_gauss適用結果
|
図9:検査の最終結果画像
|
|
|
|
以上のように、一般的に困難とされる検査であってもHALCONの独自機能を活用することで実現することができました。
■ 事例2:LCDのセル及びフレームの検査
【技術課題】
・セルとフレームとの輝度差が小さく低コントラスト
・ドット欠陥がフレーム幅計測に大きく影響
・各セルにおけるドット欠陥の個数をカウント
本事例では、LCDのフレーム幅を計測します。
一般的に低コントラストのエッジは、検出するために
検出感度を上げる必要があるため、ノイズを誤検出
してしまい、安定した検査が困難です。これに対し、
HALCONは下記のアプローチにより安定した検査を
実現しました。
[Step1] 動的閾値法によるフレーム領域抽出
[Step2] 計測関数によるフレームエッジ抽出
[Step3] 直線フィッティングによるエッジ補正
[Step4] 動的閾値法によるドット欠陥抽出
|
図10:撮影した検査画像
図11:画像処理による検査結果
|
[Step1] 動的閾値法によるフレーム領域抽出
動的閾値法はHALCONが提供する特殊な2値化処理手法です。(動的閾値法の詳細はこちら)
画像の局所ごとに閾値を変動させながら2値化処理を行うため、画像全体の輝度むらに影響を受けない画期的な2値化処理が可能です。
|
図12:横方向に動的閾値法
|
図13:縦方向に動的閾値法
|
図14:全体の検出結果
| |
|
[Step2] 計測関数によるフレームエッジ抽出
Step1で抽出したフレーム領域に沿うように、フレーム両端のエッジを抽出します。画像に1Dの 計測関数(キャリパーツール)を適用し、正確なエッジ位置をサブピクセル精度で検出することが できます。
抽出したエッジ座標(点列データ)を結び、ひと繋がりの線分オブジェクト(XLDオブジェクト)とします。
|
図15:フレーム領域に対し 1D計測を適用
|
図16:点列データを結ぶことで ひと繋がりのXLDオブジェクト生成
|
|
|
[Step3] 直線フィッティングによるエッジ補正
低コントラストのエッジ計測を実施したため、画像上に点在するドット欠陥のエッジを誤検出することがあります。
ここではフレームは線状であるという条件を利用し、XLDオブジェクトに対して直線フィッティング処理を実施します。フィッティングを実施することで、誤検出部分を補正し、正しい計測を実施することができます。
フレーム両端のエッジをそれぞれ正確に抽出できましたので、2つのXLDオブジェクトの最短距離を算出する関数distance_cc_minを実行し、エッジ間距離を計測します。
|
図17:直線フィッティングによる エッジ補正
|
図18:計測結果
|
|
|
|
[Step4] 動的閾値法によるドット欠陥抽出
最後にドット欠陥を抽出します。本画像では通常の2値化処理でのドット欠陥抽出が安定しません。
Step1で利用した動的閾値法を適用することで、画像全体よりドット欠陥を抽出できました。
|
図19:動的閾値法による ドット欠陥抽出
|
図20:最終的な計測結果
|
|
|
|
■ HALCON適用事例について
FPDの分野で実用化されている適用事例を紹介しました。
このようにHALCONには、低コントラスト画像や輝度むらを持つ画像に対する外観検査へのソリューションを標準で提供しています。
HALCON適用事例 32例を、機能別に画像サンプル・プログラム
付きで無償ダウンロードできるHALCON Trial Kit 3.0も是非お試しください。HALCON Trial Kit付属のHALCON体験版で、お手元の環境にて動作確認できます。
↓HALCON Trial Kit 3.0ダウンロードページはこちら
<http://www.linx.jp/product/mvtec/halcon/trial_kit.html>
|
|
|
|
|
|