レーザスペックルによる高精度移動量センサの開発 Development of Laser Speckle-Based Displacement Sensor with High Accuracy 高浦 淳* 二瓶 Atsushi TAKAURA 工藤 靖厚* Yasuhiro NIHEI 上田 健* 清水 Takeshi UEDA 研一* Kenich SHIMIZU 増田 浩二* Koji MASUDA 宏一* Koichi KUDO 要 旨 _________________________________________________ 近年，画像機器分野において，高画質化に向けた高精度紙搬送制御を実現するため，紙搬 送量を高速かつ高精度にリアルタイム計測できるセンサが求められている．しかしながら， 従来のセンサにおいては，広い環境温度範囲における精度や高速化に課題を残していた．そ こで今回，これらの課題を解決する移動量センサを新規に開発した．本センサでは，レーザ 光を被検物に照射することで発生するスペックルパターンをエリアセンサに取り込み，フ レーム間の画像相関演算によって移動量を計算しており，相関演算における背景ノイズ処理 とサブピクセル推定最適化，温度補償型撮像光学系システムの搭載，演算回路のパイプライ ン処理とFPGA一体化により，線速100mm/sec，環境温度5℃～50℃において，計測誤差 0.042%以下の安定した精度で計測できるようになった．また，業務用印刷機クラスの高線 速450mm/secにおいて，室温で計測誤差0.050%以下の精度で計測できるようになった． ABSTRACT _________________________________________________ In this paper, characteristics and performances of the displacement sensor based on laser speckle image correlation are introduced. Well-tuned image processing algorithm enables the accuracy of this sensor for the application of sheet handling and control on high-end printing machines such as 450mm/s of paper handling velocity. Thermally optimized optical-mechanical compensation system enables sensing eroor stability less than 0.042% for environmental tempareture variation range of 5℃ ～50℃. * 画像エンジン開発本部 ICT開発センター Image Core Technology Center，Imaging Engine Development Division Ricoh Technical Report No.39 40 JANUARY, 2014 1. が，T1とT2の時間間隔が短ければ，これらのス 背景・目的 ペックル画像間には高い相関が得られる． Fig.1に，T1におけるスペックル画像パターンf， 画像機器分野において，高画質化に向けた高精度 T2におけるスペックル画像パターンgを示す．また， 紙搬送制御を実現するため，マークレスで非接触計 下式(1)に従う相互相関演算を行った結果をFig.2に 測が可能な光学式移動量センサに対するニーズが高 示す． まっている． f g F 従来の光学式移動量センサにおいては，測定範囲 ±100μm（2D），データ更新レート20Hz，室温に 1 [ F [ f ] F [ g ]] 式(1)において，「 (1) 」は「複素共役」，F[ ]は おいて分解能が1nmのセンサ 1) や，搬送紙面に垂直 「離散フーリエ変換」を表し，F-1[ ]は「逆離散 な 方 向 の セ ン サ 長 が 75mm ほ ど で ， 搬 送 速 度 フーリエ変換」を表す． 152.4mm/secにおいて，送り量50mmあたりの計測精 度が±20μm以内のセンサ2)がある． しかしながら，計測精度が高く，使用環境温度変 (a) Speckle pattern image f (b) Speckle pattern image g 動に対する計測精度の安定性や，高線速対応性，セ Fig.1 ンサのコンパクト性においても優れたセンサを実現 Speckle pattern image f and g. した例はこれまでになく，課題を残していた． 上記の背景に鑑み，本報告では，画像機器内にお ける用紙の搬送量をマークレスで高精度にリアルタ Fig.2 950000 イム計測できるのみならず，従来よりも小型で動作 900000 相関ピーク 850000 相関強度 温度範囲が広く，高線速対応性にも優れた光学式移 動量センサの開発結果について述べる． 800000 750000 700000 650000 2. 600000 本センサの測定原理 1 S32 X (画素） 相関ピーク位置 移動量 本センサの測定原理であるスペックル相関を用い た移動量検出については，既に詳細に解説されてい Fig.2 る3)ので，本稿では要点のみ簡単に説明する． 128 S1 Y (画素） Result of correlation operation f g . レーザ光を被検物の粗面に照射すると，表面で散 乱した光が互いに干渉し，「スペックルパターン」 Fig.2において，X，Yは画素番号を示しており， と呼ばれるランダムな斑点模様を形成する．被検物 被検物の移動に伴い，相関ピーク位置が中心から移 が面内を移動すると，その動きに応じてスペックル 動する．したがって，この移動量から被検物の移動 パターンも移動する．このパターンの移動量を検出 量を求めることができる． することで，被検物の変位が求められる．離間した しかしながら，高線速で高精度な計測を実現する 時刻T1と時刻T2の各々においてスペックルパター ためには，スペックルパターン画像を取得するフ ンの画像（以下，「スペックル画像」と称する）を レームレートや画像相関演算などに様々な工夫が必 取得すると，被検物の移動に伴い観察領域が変化す 要となってくる． るため，スペックルパターンも変化することになる Ricoh Technical Report No.39 41 JANUARY, 2014 ここでは，前者を静的な解像度，後者を動的な解像 3. 本センサの特徴 度と称することにする． 静的な解像度については，本センサの撮像光学系 のF値や倍率により定まる光学的空間分解能が画素 本センサの構成・配置 3-1 サイズより小さくなるように構成している．動的な Fig.3に本センサの構成配置を示す．本センサは， 解像度については，フレームレートを高速化すると 被検物を照明してスペックルパターンを形成するた ともに，露光時間の調整によって相関ピーク位置の めの，半導体レーザ光源（LD）とコリメート光学 検出誤差が最小になるように，取得画像の流れ量を 系（CL）を備えている．また，スペックルパター 制御している．なお，被検物の移動速度と露光時間 ンの画像を取得するためのCMOSイメージセンサと， の積を流れ量と定義した． 前記イメージセンサにスペックルパターンを集光結 3-2-2 像するためのテレセントリック撮像光学系（OL） 背景ノイズの低減 を備えている．イメージセンサで取得したスペック Fig.4 (a)は，相互相関関数の相関強度分布を示し ルパターンは，FPGA回路において相互相関演算を ている．照明光量分布に依存した背景ノイズの分布 行ってリアルタイム出力される．センサのサイズW の上に測定対象物のフレーム間移動距離に対応する ×D×Hは，15×60×32 [mm]である． ピークが乗っており，背景ノイズの分布形状によっ て，ピーク位置検出に誤差が生じてしまう．これに FPGA Image Sensor 対し，本センサにおいては，相関ピークの演算フ D ローにおける，フーリエ変換演算後の周波数空間に おいて，ローカットフィルタによって，背景ノイズ H W となっている低周波数成分の値をゼロにする計算処 理を行っている．この計算結果をFig.4 (b)に示す． これにより，背景ノイズが低減し，ピーク位置を正 Telecentric Optics Laser Diode しく計算できるようになった． Collimator Lens Fig.3 Target Schematic configuration of sensor module. 本センサの特徴について，以下に説明していく． 3-2 3-2-1 高精度化 取得画像の解像度 被検物が静止している状態においても，撮像光学 系とCMOSセンサの組合せ条件によっては，取得画 像の解像度が劣化し，ぼけた画像となる．また，被 検物が移動している状態においては，取得画像が移 動方向に流れることによって，解像度が劣化する． Ricoh Technical Report No.39 42 JANUARY, 2014 フィッティング関数について比較評価したところ， 1.36E+06 Fig.5に示す結果が得られた． 相関強度 1.32E+06 1.28E+06 1.5 1.24E+06 1 演算誤差(a.u.) 1.20E+06 1.16E+06 1 0.5 0 -0.5 32 S32 X S1 1 128 -1 0 1 2 Y 3 4 5 移動量[画素] 等角パラボラフィッティング 等角直線フィッティング パラボラフィッティング (a) Without low-cut filtering Fig.5 1.60E+04 1.40E+04 Relationship between fitting function and fitting error. 1.20E+04 相関強度 1.00E+04 8.00E+03 Fig.5から，いずれのフィッティング関数におい 6.00E+03 4.00E+03 2.00E+03 ても，移動量が画素ピッチのN/2倍（N：整数）以 0.00E+00 1 外の部分では演算誤差が大きくなる傾向があること が分かる．これはピクセルロッキング現象といわれ X S1 1 32 S32 る もの である ． Fig.5の 結 果か ら，等 角パ ラボラ Y フィッティング方式を用いると，スペックルパター 128 (b) With low-cut filtering Fig.4 ン画像の相互相関評価法において，ピクセルロッキ ング現象が生じにくくなり，画素のN/2倍以外の部 Cross-correlation function distribution. 分における演算誤差が小さくなることが分かった． 次に，画像の流れ量とピーク形状の関係をシミュ 3-2-3 サブピクセル推定 レーション評価し，流れ量と演算誤差の関係を，上 述の3つのフィッティング関数についてFig.6にプ 相関ピーク位置を求める際には，相互相関値が最 も高い画素の位置を探す方法があるが，この方法で ロットした．等角パラボラフィッティング関数では， は画素ピッチ以上の分解能が得られない．そこで， 流れ量が変化しても演算誤差は0.05μmを超えず， 演算誤差が小さく保たれていることがわかった． 本センサでは，相関ピーク位置を画素以下の分解能 演算誤差 [μm] で求めるサブピクセル推定を行うことによって，相 関ピーク位置の検出精度を向上している． サブピクセル推定に用いるフィッティング関数に は等角直線フィッティング，パラボラフィッティン 0.2 0.15 0.1 0.05 0 0 4) グ，等角パラボラフィッティングなどがある ． 5 10 15 取得画像の流れ量 [[画素.] 画素.] ] 20 25 等角パラボラフィッティング そこで，被検紙を手動でΔX1移動させてスペック 等角直線フィッティング ル画像を取り込み，移動前後の画像の相互相関演算 パラボラフィッティング によって得られた相関ピーク位置の推定移動量ΔX2 Fig.6 とΔX1の差，すなわち演算誤差を，上述の3つの Ricoh Technical Report No.39 43 Relationship between image deletion and fitting error. JANUARY, 2014 これらのシミュレーション評価結果から，本セン 3-4 サでは等角パラボラフィッティング方式を用いてサ 温度補償 ブピクセル推定を行った． 光学パラメータと検出長の関係5) 3-4-1 高速化 3-3 本センサは，半導体レーザやCMOSセンサのほか， 高線速において高精度計測を実現するためにはフ FPGAやLD駆動用ICを搭載しているため，これらの レームレートを高くする必要があるため，本センサ 発熱によってセンサの温度が上昇してセンサ構成部 では，最大フレーム周波数2,500[fps]で動作するグ 材が変形しても，センサが検出する移動量（以下， ローバルシャッター方式のCMOSセンサを選定し， 「検出長」と称する）が変化しないように，温度補 128画素×32画素の領域でスペックル画像を取得し， 償を行っている． 前述の相互相関演算によって移動量を求めている． 被検面の面内方向の移動速度V1とイメージセン 上記フレームレートで転送される画像を演算処理で サで検出される移動速度V2の関係は，式(2)で示さ きる回路を，FPGAに実装してリアルタイム計測を れる5)． 実現した．Fig.7に演算回路の構成を示す．演算回 V2/V1=M・(D/ Db -1) 路は，画像取得回路，FFT回路，背景処理および (2) -1 FFT 回路，サブピクセル処理回路で構成されている． 式(2)について，Fig.9の光学配置図を用いて説明 F1 g 画像 取得 F[g] メモリ F2 -1 * F [F1・F2 ] メモリ する．Fig.9に光源LD，コリメート光学系CL，移動 サブ ピクセル 処理 背景ノイズ処理 移動量 する被検面A-A’，撮像光学系OL，ボイリング面BB’，撮像面C-C’，ガウス像面E-E’の配置関係を示す． メモリ Fig.9において，B-B’は光源と共役な面である．BFig.7 B’ではV2方向の移動速度がゼロとなっており，ボ Block diagram of operation circuit. イリング面と呼ばれている 3)．E-E’は，移動する被 検面A-A’と共役な面である． また，これらの回路は，Fig.8に示すようなパイ プライン処理を行っている．回路は，演算精度と回 路規模を考慮し，16bitの固定小数点数で実装した． A B C E Db これらの結果，最大フレームレート2,500[fps]の 速度で演算結果をリアルタイム出力できるように D V1 なった． V2 LD フレーム 信号 画像取得 画像取得 画像取得 FFT FFT -1 FFT CL FFT -1 FFT サブ ピクセル Fig.8 画像取得 A' OL B' C' E' FFT -1 サブ ピクセル Fig.9 FFT-1 FFT サブ ピクセル Configuration of conventional speckle sensor optics. Block diagram of pipe-line operation. 式(2)において，Mは撮像光学系の倍率，Dは撮像 面とガウス像面の距離，Db はボイリング面とガウ ス像面の距離である．検出長はV2の時間積となる． Ricoh Technical Report No.39 44 JANUARY, 2014 Fig.9の配置では，光源，コリメート光学系，撮像 双方の温度変動の関係についてシミュレーション解 光学系，イメージセンサの温度が変動するとそれら 析を行ったところ，Fig.11の結果が得られた．この の位置も変動し，式(2)におけるM，D，および，Db 結果から，群間隔の温度変動量が0.327μm/Kのとき も変動し，検出長も変動する．これに対し，本セン 実像高倍率の温度変化がゼロとなることが分かる． サにおいては，式(2)における右辺第2項のパラメー (% //K) 倍率の温度変動率 倍率の温度変動率（% K) タDおよびDbに着目し，Fig.10に示すようなテレセ ントリック配置にしている．Fig.10の配置において は，CLで平行光束化された照明光はOLの前群OL1 で絞りの位置に集光された後に発散して後群OL2で 平行光束に変換されるため，光源の像の位置，すな わち，B-B’の位置は無限遠であり，Db の値は無限 1.E-03 5.E-04 0.E+00 -5.E-04 -1.E-03 -2.E-03 -2.E-03 0 0.1 大になっている．そのため，式(2)の右辺第2項は実 0.2 0.3 0.4 0.5 群間隔の温度変動量（μm / K） 質的に-1となり，検出長に誤差を発生させる主な要 因は撮像倍率Mの誤差のみとなる． Fig.11 Correlation of change of distance of lens group and change of magnification by temperature. C D A B 上記の群間隔の温度変動特性を実現する鏡筒構成 V1 をFig.12に示す．前群OL1の単位温度あたりのZ方 V2 LD CL A' OL1 OL2 C' D' 向変位量はα1･Z1，OL2の単位温度あたりのZ方向 変位量はα2･Z2－α3･Z3，OL1とOL2の群間隔の単位 B' 温度あたりの変位量dZ/dTはα1･Z1－α2･Z2＋α3･Z3 OL となっている（α：線膨張係数）．Z1は，OL1の初 Fig.10 Optical configuration of sensor with telecentric optics. 期位置で規定される．dZ/dT=0.327μm/Kとなるよう に，Z2，Z3，および鏡筒1～3の材料を設定した． このように，本センサでは，コリメート光学系や CMOSセンサの初期または経時の位置変動に対して Z 検出長が変動しにくい構成にしたことにより，撮像 OL1 倍率の温度変動の抑制によって検出長の温度変動を Cell 1 抑制することができるようになった． Aperture Cell 3 3-4-2 撮像倍率の温度変動抑制 Z1 Cell 2 OL2 Z3 Z2 Fig.10のようにテレセントリック配置した撮像光 CMOS Sensor Z=0 PCB 学系において，前群OL1と後群OL2の各々の焦点距 離の温度変動がゼロになる硝材を選定すると，近軸 Fig.12 Schematic configuration of lens cell system. 倍率の温度変動をゼロにできるが，実際には温度変 動によってレンズ形状や群間隔が変化するため，実 像高倍率の温度変動は厳密にはゼロにはならない． そこで，より高い精度で倍率の温度変動を抑制する ため，前群OL1と後群OL2の群間隔と実像高倍率の Ricoh Technical Report No.39 45 JANUARY, 2014 0.15 Measurement Error Error (%) (%) 小型化 3-5 本センサにおける撮像光学系の位置関係をFig.13 に示す．物体側と像側のテレセントリック性を確保 しており，前出の静的解像度を考慮した低倍率化に よりOL2の焦点距離f2を短くした上で，群間の光束 0.1 0.147%(Before) 0.05 0.028%(After) 0 -0.05 0 に収束性を与えることによって，前群焦点距離に対 5 10 に対してバックフォーカスが短くなるよう設計し， 9.9mm 25 30 Fig.14 Transient characteristics of measurement error. (Velocity of 100mm/sec at room temperature) 光軸方向のセンササイズを小型化している． 12.4mm 20 Time (min) してワーキングディスタンスが長く，後群焦点距離 21.1mm 15 3.7mm 3-6-2 計測誤差の環境温度変動特性 Fig.15，Fig.16，Fig.17に，恒温槽温度5℃，25℃， 50℃における計測誤差の評価結果を示す． Image Plane Object Plane Lens Group 1 f1=13.0mm Aperture Lens Group 2 f2=10.4mm 3-6 3-6-1 Measurement Error (%) Fig.13 Telecentric imaging optics configuration. 本センサの基本特性 室温時の計測精度 0.1 0.08 0.06 0.04 0.02 0 -0.02 -0.04 -0.06 -0.08 -0.1 0.042% 0 5 10 15 20 25 30 Time (min) 光学定盤上で，位置決め精度0.2μm，繰り返し位 置決め精度±0.1μmのリニアステージを用いて，印 Fig.15 Transient characteristics of measurement error. (Velocity of 100mm/sec at 5°C) 刷用粘着紙を移動量50mm，移動速度100mm/secで4 往復8回連続運動させた時の，8回ごとの計測誤差を Fig.14に示す．グラフの横軸は，センサの電源投入 後の経過時間を示している．室温環境では，温度補 Measurement Eroor (%) 償前（Before）の誤差変動幅は0.147%と大きく，経 時的にドリフトしているが，温度補償後（After） の計測誤差はドリフトがなく，変動幅は0.028%に 改善した． 0.1 0.08 0.06 0.04 0.02 0.028% 0 -0.02 -0.04 -0.06 -0.08 -0.1 0 5 10 15 20 25 30 Time (min) Fig.16 Transient characteristics of measurement error. (Velocity of 100mm/sec at 25°C) Ricoh Technical Report No.39 46 JANUARY, 2014 Measurement Eroor (%) 0.1 0.08 0.06 0.04 0.02 3-6-4 0.035% デフォーカス特性 本センサは，撮像光学系がデレセントリックであ るため，デフォーカスに伴う倍率の変動が極めて小 0 -0.02 -0.04 -0.06 -0.08 -0.1 さい．本センサの光軸方向へのデフォーカス量と， 用紙搬送量の計測誤差との関係について，室温にて 計測評価した結果をFig.19に示す．デフォーカス量 0 5 10 15 20 25 30 ±1mmに対し，計測誤差の変動幅は0.008%と極め Time (min) て小さく，デフォーカス特性にも優れていることが 分かった． Fig.17 Transient characteristics of measurement error. (Velocity of 100mm/sec at 50°C) Measurement Error (%) 0.25 いずれの温度においてもドリフトなく安定して計 測できており，5℃～50℃における計測誤差の変動 幅は0.042%以下と小さい．これらの結果から，本 センサの撮像光学系によって計測精度の環境温度変 0.2 0.15 0.1 ±1mm 0.05 0.008% 0 -0.05 -3 動が抑制されていることが分かった．本結果では， -2 -1 0 1 2 3 Defocus (mm) 紙の移動量50mmに対する計測誤差は±10.5μm以内 Fig.19 Measurement stability for defocusing position of sensor. (Velocity of 100mm/sec at room temperature) となっており，5℃～50℃の温度範囲においても， 従来のセンサ2)の計測誤差±20μmより誤差が小さい ことが分かった． 高線速対応性 3-6-3 3-6-5 送り速度を450mm/secに高速化し，室温27℃で計 本センサの基本性能のまとめ Table 1に本センサの主要特性をまとめた．小型で， 測誤差を評価した結果をFig.18に示す．計測誤差は ワーキングディスタンスが長く，デフォーカス範囲 変動幅0.050%以下であり，高線速でもドリフトな が広く，高線速にも対応し，広い温度範囲で計測で く安定して計測できることが分かった． きるセンサとなっている．高画質化の進展に伴い， Measurement Error (%) (%) Measurement Error 画像機器の紙搬送量の計測誤差として±0.1%以内 0.10 0.08 0.06 0.04 0.02 0.00 -0.02 -0.04 -0.06 -0.08 -0.10 が求められていることから，本センサの計測誤差は 対応可能なレベルにあると考えられる．異なる紙種 0.050% でも，ほぼ同様のバラツキで計測できている． Table 1 List of typical performances. 0 5 10 15 Time (min) 20 25 30 Fig.18 Transient characteristics of measurement error. (Velocity of 450mm/sec at room temperature) Ricoh Technical Report No.39 47 JANUARY, 2014 4. 参考文献 __________________________________ 応用計測事例 1) 森洋篤ほか: 非接触画像相関二次元エンコーダ, 光 計 測 シ ン ポ ジ ウ ム 2008 論 文 集 , pp.88-91 本センサを用いて，用紙搬送実験機の速度ムラを (2008). 室温環境で計測評価した結果をFig.20に示す．紙送 2) M.Casaldàliga et al.: HP’s Optical Media Advance り速度100mm/secに対し，搬送ローラの偏心やトル Sensor (OMAS), NIP 27 and Digital Fabrication ク負荷変動による検出速度ムラ±0.22mm/secを計測 2011 Technical Program and Proceedings, pp.624- 検出できた．これは送り速度の0.2%程度に相当し， 627 (2011). レーザドップラー変位計では計測精度が不足して測 3) 定が困難であったが，本センサを用いることにより， 山口一郎: レーザースペックルとその応用, 光 技術コンタクト, Vol.46, No.6, pp.245-252 (2008). 非接触・マークレスで，リアルタイム計測できるよ 4) うになった． 新井元基, 鷲見和彦, 松山隆司: 画像ブロック マッチングにおける相関関数とサブピクセル推 定方式の最適化, 情報処理学会 研究報告 CVIM-144-5, pp.33-40 (2004). Velocity(mm/s) Velocity (mm/s) 100 99.8 256frames 5) 0.22mm/s 高井信勝, 朝倉利光: 動的レーザースペックル 99.6 の特性と速度測定への応用(I), レーザー研究, 99.4 Vol8, No2, pp.37-45 (1980). 99.2 99 98.8 3000 3200 3400 3600 3800 4000 Frame Number Fig.20 Measurement result of paper transfer velocity. 5. まとめと今後の展開 以上のように，従来よりも環境温度変動に対する 計測精度の安定性や業務用印刷機クラスの高線速対 応性に優れ，小型で画像機器内への設置許容性にも 優れた，高精度移動量センサを開発した． 今後は，高線速への対応や市場における様々な紙 種への対応を進めるとともに，マークレス，非接触 で，計測精度が高く，環境温度変動やデフォーカス 変動にも強いという本センサの特徴を活かし，広く 応用分野を開拓していく予定である． Ricoh Technical Report No.39 48 JANUARY, 2014