１．はじめに

画像に写っているものから、特定の画像とか、顔の画像の中で唇の部分だけ、などを抽出することが必要になるときがあります。
画像認識のための画像処理の方法は、いろいろな方法が提案され、実際に使われています。
一番簡単な方法は、探索する画像を1ピクセル目から、順番に1ピクセルづつ移動させて、同じ画像が出てくるまで最後のピクセルになるまで、繰り返し探索することでしょう。

しかし、この方法は、容易に想像がつきますが、膨大なコンピュータ処理量が必要になり、数秒が必要になるのではないでしょうか。
したがって、画像処理しながら製造する製造ラインでは、オンラインで使うことができません。

このコラムでは、デジタル画像相関法によって2つの画像を比較した類似度から、基準となる画像を見つける方式について紹介します。

この方法は、単に画像の類似度を測るというだけでなく、部品や製品の力や熱などのストレスによってどのように変形するかも調べる画像解析方法です。
この方法では、数ミリ秒で結果が出る、という報告もある画像処理技術です。

また、デジタル画像相関法を用いた画像処理を導入して、

• 省力化、省人化してコストダウンしたい
• 検査レベルを高めて品質価値を高めたい

というご希望がございましたら、お気軽に画処ラボまでお問い合わせください。

ルール型画像処理からＡＩによる画像処理まで、ご希望に対して幅広い対応が可能です。

２．画像認識とは

画像認識とは、画像に写っているものを判別することです。この画像判断は、

• 画像の位置
• 画像の何が写っているか
• 写っている物体の特徴

です。
これらを調べることが画像解析であり、次のような特徴を抽出します。

画像解析の方法

• 画像前処理
  画像を解析する前に、ぼやけや照明の当たり具合での不鮮明さ、ノイズなどを取り除く画像処理です。
• 特徴抽出
  特徴となる属性・領域・輪郭を抽出する処理です。
• 領域分割
  画像中に同じ輝度や色を持つ領域を分割します。
• 形状認識
  画像から得られる物体の領域に関する特徴、大きさと方向など、を調べる処理です。
• 物体抽出
  画像の中から同じような属性のものを抽出する処理です。

画像認識には、デジタル画像相関法のように、相関の技術を使って、画像を認識・抽出することが行われます。
デジタル画像相関法は、画像相関法、DIC、デジタル相関法など呼び方にはいろいろありますが、要は画素をいくつかの領域、または基準の画素と比較し、相関値を求め、同じものを見つけ出す手法です。

３．相関について

(１)　画像相関法の適用イメージ

図1で紹介することは、画像相関法によって、基準画像を探し出す様子です。

探索する画像にある回路図の「電子部品」の画像から、基準画像の電子部品とパターンがマッチングした画像を選び出すために、相関値を使っています。
相関値は1が最も類似し、0が全く異なることになります。

電子部品が存在する領域を探し出し、それぞれの領域の相関値を計算した結果を、図に表しています。
図1では、領域AとDは形状が異なるため相関値が低く、領域Cは形状が同じですが輝度が異なるため相関値が低く、領域Bのみが相関値1となった様子を表しています。

(２)　相関とは

①　相関値の求め方

初めに、相関について、数学的なお話を紹介します。
図2では、相関値の求め方を紹介します。

相関値 r は、図2で示す計算式で求めます。

この計算の意味(順序)を概説すると、

1. それぞれの変数の平均値を求める
2. 変数の偏差(平均値を引いた値)を求める
3. 変数の標準偏差(分散の正の平方根)を求める
4. 偏差の積の平均(共分散)を求める
5. 共分散をそれぞれの標準偏差で割る
6. 相関係数が得られる

②　テンプレートの画像と検索対象画像から、相関値を求める方法

テンプレートの画像と検索対象画像から、相関値を求める方法を紹介します。

• 図2右上に書いてある、テンプレートの画像と検索対象画像は、分かり易いように、5画素の画像とします。
• 5画素の画素ごとの記号，が、画素の輝度を表します。画像がグレー画像なら、数値は0～255です。
• この画素の値から、相関値を計算式に沿って計算します。
• 図2の下側に、2値化されたテンプレート画像と対象画像A，Bの画素の値を例として示しています。
• これから、テンプレートと同じ画像であれば、相関値は1となり、強い相関と表現します。
• 一方、テンプレートと大きく異なる場合は、相関値は0に近くなり、相関なしと表現されます。

③　相関値と画像の類似性を示すグラフ

図3に相関値と画像の類似性についてグラフを紹介します。

• 図3は2つのデータ間にどのような関係があるかと、相関値を表すグラフです。
• 2つのデータ間に右上がりの直線性があれば、相関値は1となって、強い相関を表します。
• 逆に、2つのデータ間に右下がり直線性になると、相関値は－1となって、負の相関を表します。
• 2つのデータ間に何の傾向もみられなければ、相関値は0となって、相関なしとなります。

４．画像認証について

(１)　画像相関法とは

図4では、検査する対象の画像から、基準画像と同じ画像を探索する方式について、ご紹介します。

基準画像と探索する画像には画像を認識できる特異点を見つけられるものとします。
このマークから微小の検索領域をB(x，y)を設けます。基準画像の領域はA(x，y)とします。
領域は計算結果から少しずつ動かし、相関する領域を探索します。

図4に右側に二値化検索画像を示していますが、画像間の距離や形の類似度を見るために、画像の二値化が行われます。
しかし、基準と検査画像から輝度を含めた類似性の探索では、二値化は有効でないことが分かり、画像相関法の有効性が分かります。

(２)　画像相関法の相関値の計算方式

2つの領域の相関を求めるには、図5で紹介する計算式を使います。
図6では、2つの領域の画素に対して変数がどのように割り付けられているかのイメージで、5×5画素ですが、一般の相関値計算ではm×nの画素数です。

それぞれの式の意味を概説します。

• SAD：画素の輝度値の差の絶対値を求め、その和を求めます。
  2つの領域が類似するほど値が小さくなります。
• SSD：画素の輝度値の差の二乗を求め、その和を求めます。
  2つの領域が類似するほど値が小さくなります。
• NCC：正規化相互相関。分子では、輝度値の内積から、似た画像では内積の値が大きくなります。分母では、分子の数値を正規化します。2つの領域が類似するほど値が大きくなり、最大＝１、最小＝0です。
• ZNCC：補正NCC。2つの画像の明るさが同じであれば、NCCで相関値が求められますが、2つの画像の明るさが違ってくると、画素の輝度値が異なるため、同じ画像でも相関値が異なってしまいます。
  そこで、2つの領域の輝度値の平均をそれぞれ引くことで、明るさの違いを補正する役割を果たします。

(３)　テンプレートマッチング方式

2つの画像の類似度を求める画像相関法を前節で紹介しました。

図7では、同じように2つの画像の類似度を探索するパターンマッチング方式を紹介します。

• テンプレートマッチングによる類似度探索は、最初の画素から、1画素づつ移動させて、2つの画像の類似度を探索するものです。
• 極端に言えば、100万画素あれば100万回探索することになります。探索を終えるまでに膨大な時間を要することが想像できます。
• テンプレート画像と探索画像に明るさの違いや、ぼけなどがあると、類似度が極端に悪くなる欠点があります。
• しかし、このような欠点は、明るさなど正規化することで、同じ画像を見つける可能性は非常に大きいと言えます。
• さらに、ある類似度のしきい値を設け、類似度がしきい値以下であれば探索を中止することで、探索時間を減らせます。
• また、画像全体の中から、画像探索に必要な画素量が含まれる領域だけを探索対象とすれば、探索回数と探索時間を減らすことができます。

(４)　画像相関法の問題点と解決法

• 画像相関法にしろ、テンプレートマッチング法にしろ、大きな問題または欠点があります。
• それは、計算量が非常に大きいということです。
• そのため、探索するには、非常に長い時間が掛かり、製造ラインでは使えないという欠点があります。
• しかし、近年の計算機の処理量アップによって、この問題はコンピュータの高速、高機能化で解決できます。
• さらに、計算量を減らすプログラミング技術の研究などでも、解決が試みられています。

５．画像相関の応用例

画像相関を利用した測定例として、木材やコンクリートなどの部材に力を加えたときに、どのように変形し、ひずみがどれほどになるかの測定例を紹介します。

(１)　サブセット

図8は、画像相関で探索を行うときに、使う方法の工夫としてのサブセットについて、紹介します。

1. 画像のある領域を調べるために微小な画素の集合を使います。これをサブセットとと言います。
2. 図8の上側に模様にない画像があり、初期画像と変形後の画像があります。
3. 初期画像と変形後の画像から、検索対象の画像を見付け相関を求める場合、サブセットをセットする位置によって、相関値が正しく求められないことが予想されます。
4. そこで、画像をユニークとするため、塗装をスプレーで吹きかけるなどで、ワークに模様を塗布します。
5. 初期画像で検索した画像の模様から特徴となる点を中心に、サブセットをセットします。
6. 一方、変形画像でも元の検索したい画像が、位置づれによって違う場所にあると考えらます。
7. しかし、変形があっても特徴点は変わらないため、特徴点を見つけ、そこを中心にサブセットをセットします。
8. 2つのサブセット画像から相関値を求めることで、変形後の画像かどうかかが分かります。

(２)　ひずみの測定

図9では、部材に変形力を与えたのちに、ひずみを計測する様子を紹介します。

1. ひずみ検査用の材料に塗装を噴霧し、模様を付けます。
2. 材料に変形する力を加えます。
3. 変形前の画像で計測しやすい位置にサブセットをセットします。
   (図９では、適当な位置に円形のサブセットを描いていますが、実際的には寸法が計測し易いように、0点を中心に矩形画像を用意します)
4. 変形前のサブセット画像から、特徴点(特徴となる模様)を準備します。
5. 変形後の画像から、特徴点のある領域を見出し、サブセットをセットします。
6. 2つの画像から相関値を求め、最も類似したサブセットを探索します。
7. サブセットを少しづつ移動させ、相関値を求め、類似度を探索します。
8. 特徴点のある円形画像が、変形後のやや変形した画像と判定します。
9. 変形前と変形後の位置関係から、部材の移動量や変形量を計算します。
10. 変形量から部材のひずみが求められます。

(３)　その他の応用例

• 車の稼働時のエンジンやモーターなどのひずみ計測
• 車両タイヤの車種ごと、素材ごとの変形状況解析
• フィルム・プラスチックの引張試験、圧縮試験、熱変形試験
• 物体落下時の破壊、変形試験
• 電子回路基盤の温度変化の解析

６．画像相関法の事例

この章では、画像処理に係る製造メーカーが有する、画像相関法に関する製造品や技術を紹介します。Ｗｅｂページを合わせて紹介していますので、詳細はそのページで確認してください。

①株式会社FAプロダクツ

【所在地】
茨城県土浦市卸町2-13-3
TEL：050-1743-0310（代表）
FAX：050-3156-2692（代表）
https://jss1.jp/

【特徴】
同社の画像解析技術は、デジタル画像相関法で、ワークの変形量や欠陥を見出す案件に、数多くの実績があります。
画像処理装置の導入する際には、複数の画像処理メーカーと複数の画像処理機器メーカーを選択し、検査対象ごとに個別対応します。
FAプロダクツ社は、画像処理メーカーの選定から装置導入まで一貫対応することで、多数の画像処理メーカーとの選定から導入・運用・メンテまで一元管理しています。

また、お打ち合わせから原則1週間以内に「お見積りとポンチ絵」をご送付。

【ポンチ絵とお見積りのサンプル】

テキストやお電話だけでは伝わりづらいゴールイメージを共有し、スピード感を持った対応を心がけています。

加えて、FAプロダクツ社は、ガショラボ(ガショラボ)を運営しています。
ガショラボは、メーカー横断での機器選定から判断プログラムの選定及び装置の設置構想までを⼀括で提案し、設置からサポートまで⼀元管理する仕組みです。
その特徴には、カメラ機器をマルチメーカーから選定できること、検討から設置までトータルインテグレーションができること、ルール型画像処理からAIによる画像処理まで幅広く対応が可能ということがあります。

FAプロダクツ社によるサポート体制は、遠隔サポートの導入により、トラブル時の迅速な初期対応が可能です。

②株式会社フォトロン

【所在地】
東京都千代田区神田神保町一丁目105番地 神保町三井ビルディング21階
TEL：03-3518-6290

【製品】
・民生用および産業用電子応用システム（CAD関連ソフトウェア、高速度カメラ・画像処理システム、放送用映像機器、映像情報関連システム、その他）の開発
・民生用および産業用電子応用システム製造
・民生用および産業用電子応用システム販売、輸出入

【プロダクト事例】
『ハイスピードひずみ解析（DIC）』
解析対象にランダムパターンを付与したのちに、2台のハイスピードカメラで同期撮影し、各種材料試験や部品試験において解析対象の表面の3次元ひずみと変位を接触・非破壊で解析します。
空間のキャリブレーションデータと同期撮影データから、DICによりサブピクセル単位での高い解析精度を実現します。
図は、ハイスピードひずみ解析です。

（引用：ハイスピードひずみ解析（DIC））

③株式会社構造計画研究所

【所在地】
東京都中野区本町4丁目38番13号 日本ホルスタイン会館内
TEL：03-5342-1100

【製品】
・建物の構造設計業務
・人工構築物を取り巻く自然現象（地震、津波、風など）の解析やシミュレーション
・情報通信分野でのソフトウェア開発
・製造分野へのCAD/CAEのソフトウェア販売やカスタマイズ
・人間の意思決定支援分野でのコンサルティング

【プロダクト事例】
『デジタル画像相関法 (DIC) の土木建築分野への応用』
下図参照ください。

（引用：デジタル画像相関法 (DIC) の土木建築分野への応用）

④株式会社レーザー計測

【所在地】
東京都杉並区梅里1-19-12　OTビル5F
TEL：03-6304-9600

【製品】
・電子光学部品、レーザー装置及びその関連機器の設計、製作、使用販売
・製品の納入調整
・アフターサービス業務

【プロダクト事例】
『デジタル画像相関法』
同社では、Correlated Solutions社の、画像相関法を用いたシステムを代理提供しています。
Correlated Solutions社では、非接触かつ3次元で変形計測やひずみ解析ができるデジタル3Dリコレーションシステム VIC-3Dをはじめ、さまざまな計測システムを展開しています。
以下は、VIC-3Dシステムの仕組みを表した画像です。

（引用：Correlated Solutions・Three-dimensional Example）

⑤西華デジタルイメージ株式会社

【所在地】
東京都港区赤坂4-9-6 タク赤坂ビル
TEL：03-3405-1280

【製品】
・粒度分布、粉体計測
・ひずみ、変位測定
・流体計測、可視化
・薄膜、多孔質素材評価

【プロダクト事例】
『非接触歪み・変位計測 デジタル画像相関法：DICシステム』
同社では、sDIC（DICのソフトウェア）の開発を通して、画像相関法を導入したい企業をサポートしているのが特徴です。システムには、sDIC 2DとsDIC 3Dがあり、2次元と3次元のどちらの解析にも対応しています。また、他機器との同時計測技術を活かし、多様なシステムの提供を行っています。
図は、同社の測定事例です。

（引用：非接触歪み・変位計測 デジタル画像相関法:DICシステムとは）

７．おわりに

このコラムでは、相関法によって画像を認識する方式について、ご紹介しました。
この画像処理技術は、単に画像の類似度を測って見つけ出す画像処理を超えて、部品や製品の変形度合い調べる画像処理へと移り変わっています。

これまでは変形の度合いを、いろいろな高い精度の計測器を使って調べていましたが、画像を得ることで、それに近いことができるようになっています。
測定する対象によっては、画像処理の方が精度高く、時間も早いというケースも出てくることでしょう。

製造ラインにデジタル画像相関法を使って、製品の精度や安全性を確認をこれから進めたいと考えている製造関係者も多いことでしょう。
その製造ラインを多く手掛けていれば、経験から短時間でデジタル画像相関法を導入することも可能ですが、画像処理技術も含め経験が不足していると、短時間での完成はできません。

6章で紹介したように、デジタル画像相関法を使って、画像の探索だけでなく、部材の変形度合いを調べる画像処理に実績と経験が豊富なメーカーが多くあります。
そのような経験が豊富なメーカーなどに相談することで、確実な画像処理と変形解析を、短時間で完成できるのではないでしょうか。

FAプロダクツでは、AIを使った画像システムにより画像解析はもちろん、画像処理メーカーの選定から装置導入まで一貫対応することで、多数の画像処理メーカーとの選定から導入・運用・メンテまで一元管理し、製造業を支援しております。
お気軽にFAプロダクツへご相談ください。

 

• イメージセンサの種類まとめ│知っておきたい特徴もあわ...
• 【業界別】スマート工場が解決する課題と事例+おすすめ...