超高速高精度AFの開発 Ultraspeed, Highly Precise Autofocus 北島 達敏* 大内田 茂** 菊池 宏弥*** Tatsutoshi KITAJIMA Shigeru OOHCHIDA Kouya KIKUTI 要 旨 デジタルカメラで各社10倍以上の高倍率ズーム化が進む中で，特に望遠領域において従来のコ ントラスト方式ではAF時間が遅いことが問題となっている．そこで，全ズーム領域に対応して， かつ，動いている被写体に対しても高速にAFするために二次元のエリアセンサーを用いた測距ユ ニットを，レーザー溶着による自動組み立て装置とともに開発した．この測距ユニットを2011年 2月発売のデジタルカメラCX5に搭載し，AF時間は前機種CX4に比べ最大1/2の短縮を実現したの で報告する． ABSTRACT The latest digital camera has more than 10 times optical zoom magnification. However, there is a problem that the AF speed is slow in the telephoto side in particular under conventional contrast method. Therefore, we have developed the distance measuring unit (AF unit) using the two-dimensional area sensor. It can precisely measure the distance of a subject moving fast in all optical zoom domains. We have also developed the automatic assembling equipment using LTW (Laser Transmission Welding) for it. This AF unit was included in digital camera CX5 released in February, 2011. Regarding AF time, at maximum, it became two times faster than the previous model CX4. * パーソナルマルチメディアカンパニー プロダクト推進室 Product Business Office, Personal MultiMedia Products Company ** グループ技術開発本部 デバイスモジュール技術開発センター Device and Module Technology Development Center,Corporate Technology Development Group *** リコー光学株式会社 特機事業推進室 Special Equipment Buisiness Department, Ricoh Optical Industries Co., Ltd. Ricoh Technical Report No.37 44 DECEMBER, 2011 ラインセンサを複数のエリアに分けて複数点を測距 1. はじめに 1-1 するものである．各エリアの長さは，左右の像データ のマッチング比較を行う上で，最低数十画素のライン 背景と目的 長が必要であり，撮影画角の水平方向に対してエリア 近年，コンパクトデジタルカメラの光学ズーム倍率 数を多くとれない．さらに，Fig.2のTele撮影画角では は，各社10倍を超えている．これにより，被写体の距 エリア数が少なくなってしまう． 離によらず自由な構図での撮影が楽しめている． また，横長のエリア内に主要被写体（本例では人 一方，デジタルカメラで広く採用されているコント 物）と背景が混在することも多く，背景のコントラス ラストAF方式では，高倍率ズーム時には被写界深度は トが高い場合は，その影響が測距誤差の要因となる． 狭く，より広い範囲でピント探索のためにレンズを動 さらに，主レンズで撮影する至近距離の被写体も測 かすことから，AF時間が遅い問題が生じる．Fig.1は近 距するために，ラインセンサの視野を主レンズの光軸 年のカメラのAF時間であり，ズーム位置Wideでも0.2 方向にあわせて若干下向きに傾けてカメラに搭載して 秒，特にTeleで0.4秒を超え，一瞬のシーンを捉えるの いるため，遠距離側の被写体を正しく測距できないこ には不十分であった．（CX4，A，B，C社） ともあった． さらに，望遠により被写体に寄った（拡大した） 㪮㫀㪻㪼 ᓇ↹ⷺ シーンであったり，また，動きの激しい被写体では， 測距エリア内でのコントラストが低かったり，また， AF途中でのコントラスト変化が激しかったりとAF誤 㪫㪼㫃㪼 ᓇ↹ⷺ 差の懸念もある． このような場合でも，コントラストAF方式ではない Fig.2 Line sensor area. 測距装置を持っていれば，短時間に合焦制御可能であ る． 以上から，ズーム位置によらず，またダイナミック CX5 5 に動く被写体であても，十分な測距点を確保して，高 CX4 4 Wide Tele A社 3 速に捕捉・合焦制御を行うために，エリアセンサによ B社 2 る測距ユニット（AFユニット）を開発した． C社 1 ⵍ౮ 0 0.1 0.2 0.3 0.4 0.5 0.6 時間[秒] Fig.1 # 〒㔌 $ AF time. ၮ✢㐳 ࡦ࠭ ࡦ࠭ 1-2 実現方法 㨟 㨟 㨒ὶὐ 〒㔌 コントラストAF以外では，過去には左右に対の１次 %/15 元のラインセンサを配置し，その左右像の相対位置差 Fig.3 （視差）を求める三角測距原理による測距装置を搭載 Area sensor system. しているものもあった． S＝Ｂ×ｆ／Ａ Fig.2は撮影画角に対してラインセンサによる測距視 S：視差（s1＋s2） 野を重ねたものである． Ricoh Technical Report No.37 ・・・・・・式１ 45 DECEMBER, 2011 Fig.5は，AFユニット画角内の中央，周辺四隅の縦縞 エリアセンサによる三角測距の視差をFig.3に示す． 距離Ａの被写体は，左右センサ上で基線長Ｂと水平 チャートと，中央45度に傾けた縞チャートに対して距 な線上（エピポーラ線）に距離１／Ａと比例する視差 離Ｌを変えて測定した測距特性である．前述の通り１ Ｓ（式１）をもって結像する．Ｓは式１の通りである． ／Ｌに比例した特性になる．基線長Ｂ，焦点距離ｆの エリアセンサ内の各場所において，左右像の一致する 設計値による理論値と主にオフセット方向の差がある 場所を像マッチングで探索して視差Ｓを求めることで， が，Fig.6のようにオフセット調整をした場合，測距精 エリアセンサ内の任意位置での測距結果Ａを得ること 度は⊿1/Lで±0.03の直線性である． ができる． AF像 中心 周辺 45度 測距精度(1/L特性) 2.50 である．左右のVGAセンサ内を８×８画素の微小ブ 2.00 ロックごとに測距できるので，遠近被写体が混在する 1.50 測距結果(1/L) Fig.4は試作したエリアセンサによる距離画像データ シーンでも正しく測距できるメリットがある． 理論値 左上 右上 中央 45度 左下 右下 1.00 0.50 0.00 0.00 0.50 1.00 1.50 2.00 2.50 -0.50 1/L Fig.5 Distance characteristic. オフセット補整後の精度 0.06 Fig.4 Distance image. 理論値との差⊿1/L 0.04 Table 1 Specification of AF unit. ラインセンサ 方式 224 センサピッチｐ[μm] ７ 2.25 基線長[mm] 5.566 6.72 焦点距離[mm] 10.7 3.56 B・ｆ積[mm2] 32.1 23.9 AF視野角[度] 10.8 22.8 測距分解能（Ｂ・ｆ/p） 4.586 10.26 0.00 0 0.5 1 1.5 2 2.5 -0.02 左上 右上 中央 45度 左下 右下 -0.04 エリアセンサ 方式 VGA (640×480) センサ画素数（片ch.） ⊿1 / L＝±０．０３ 0.02 -0.06 1/L Fig.6 Distance precison. 2. 開発技術 2-1 構成 Fig.7にAFユニットの構成図を示す． Table 1に，過去にリコーカメラで搭載した１次元の また，Fig.8が実際の外観である． ラインセンサのAFユニットと今回開発したエリアセン 開発要素は，AFレンズ，AFフォルダーとAFセンサ， サによるAFユニットの諸元を比較する． 及び，それらの自動組立装置である． 今回開発したエリアセンサは,ユニットサイズの実寸 また，これらを制御する合焦制御ソフトも開発を からなるB・ｆ積は25％小さいが，センサピッチを７ 行った． μmから2.25μmにすることで，測距分解能B・ｆ/ｐは， 約２倍となる小型高精度AFユニットといえる． Ricoh Technical Report No.37 46 DECEMBER, 2011 結したままでダイシングして左右センサの水平度を確 センサ ー押さえ 防塵シート AFホ ル ダ ー 絞りシート 保した． 遮光シート 尚 ， セ ン サ は WCSP （ Wafer Level Chip Size Package）技術で，TSV工法（Through Silicon Via）で センサ裏面にソルダーボールで電極が引き出されてい クッション るものを採用し，ワイヤーボンディグ等のパッケージ センサ リジ ット FPC 化は不要で，そのままリジットフレキに既存のリフ レンズ レン ズ押さえ Fig.7 ロー工程で実装する方法とした． レーザ ー溶着 Construction of AF unit. 通常は個片に ダイシング センサーを連結で ダイシング 保護ガラス センサー ウェハー Fig.9 Fig.8 AF unit. 2-5 2-2 VGA sensor wafer. AFレンズ 自動組立装置 AF枠フォルダーに対して，AFレンズとAFセンサを， X並進，Y並進，及び回転方向の位置を調整して組み立 近距離から無限遠まで測距するためにレンズ中央， 周辺でデフォーカスに対してブロードなMTF特性を得 てする． るように設計した． 前述の通り，三角測距はエピポーラ線上の左右像の 相対位置差を求めるものであるが，特にFig.10のよう 2-3 AFフォルダー に，AFセンサとAFレンズが回転方向にずれた場合， フォルダー枠内面やセンサの保護ガラス面からの反 左右センサ像におけるエピポーラ線は⊿Yだけずれる． 射による光線分析により極力フレアーを防止した． ⊿Y情報は正しくセット装置（カメラ等）に記憶され， 視差演算時の左右像の相対位置を求める際に使用され 2-4 AFセンサ る必要がある．ユニットを調整して組み立てる際も， センサは，専用で新規のセンサを開発する場合，投 また，一旦完成した後の衝撃，使用環境中に対しても 資には数億円，期間で１～２年が必要となるが，本セ エピポーラ線がずれると，正しく測距できなくなるの ンサでは，携帯電話用などで市場流通量も多い汎用品 で，⊿Yは安定している必要がある．本ユニットにおい のVGAセンサを採用した． ても許容ずれ量は約１μｍに抑える必要がある． また，前述の通り，測距データ処理上では左右セン サの水平画素ラインはエピポーラ線として互いに水平 であることが重要であり，その精度は画素ピッチの 1/100以下が必要である．このため，VGAセンサを個片 としてではなく，Fig.9の通りにセンサウェハ上で，連 Ricoh Technical Report No.37 47 DECEMBER, 2011 ①テクスチャーブロック検出 䊧䊮䉵 ㅪ⚿䉶䊮䉰䊷 視差は二次元ブロックの相関性をもとに行うため， 十分なコントラスト差を持つブロック（テクスチャー ブロック）を探す必要がある．視差はエピポーラ線に 㼺㪰 沿って水平な方向に探索するので，その方向にできる だけ垂直なテクスチャー（コントラスト差）をもつ画 像位置を優先して検出している．このテクスチャー検 㪘㪝ฝ Fig.10 㪘㪝Ꮐ 出を数画素間隔で細かく行っており，これにより，被 Rotation error. 写体のほぼ同じ部位でも垂直成分の多いテクスチャー 位置を優先して視差演算対象の基準ブロックに設定で 組み立て装置の目標を以下として，部品装填・セッ きている．Fig.11のように左右センサで基準とする方 ト，位置調整，組み立ての完全自動化を行った． の画像（基準画像）内でこれを行う． ① 製造後もAFレンズとAFセンサの位置関係が変 ②テクスチャーブロックの視差算出 わらない十分な固定強度を実現する． 基準画像内で検出したテクスチャーブロックを基準 ② 短い製造タクト時間で位置調整，組み立てを ブロックとして，他方の比較画像内で，⊿Yだけずらし する． たエピポーラ線上に比較ブロックを設定し，二次元ブ ロック内の相関値を出しながら，Fig.11のように矢印 固定方法に関して，接着方式を用いると，接着剤の の範囲内でその極小位置を探索する．その極小位置が 硬化時の10μｍ程度の変化やまた接着剤の塗布量管理 視差量となる．相関値は式２のZSAD（Zero-mean Sum が大きな課題であった．そのためレーザー溶着方式を Of Absolute Difference）手法を用いた． N 1 N 1 採用した． RZSAD ( I (i, j ) I ) (C (i, j ) C ) 位置調整したAFレンズとセンサ位置を保持した状態 式2 j 0 i 0 N：ブロックサイズ（N×N） でFig.７の赤破線の箇所をレーザー溶着した． I：基準画像画素位置 尚，⊿Yは，組み立て装置でメカニカル的には，数 C：比較画像画素位置 画素ラインずれまで追い込み，製造装置自体には過度 な要求調整精度にならないようにしている．１ライン 以下のサブピクセルラインずれ量は，セット装置（カ Fig.11の背景の木の部分や，他の画像位置でも検出 メラ）にAFユニットを搭載した後にチャートを用いて したテクスチャーブロックでも同じ処理をして，画面 測定し，セット装置の不揮発性メモリに保存記憶して 内の各所での視差を求める． 式２のZSADの処理は，CX5では，カメラ内の画像処 いる． 2-6 理エンジンSmooth Imaging Engine Ⅳ内のSIMD構造の 視差算出 1024個の演算プロセサーで実施している． AFセンサに対する露光制御をし，撮像したAF左右 像に対して，以下の処理を繰り返して行う． ① テクスチャーブロック検出（基準画像） ② テクスチャーブロックの視差算出（比較画像） ③ 視差の信頼性評価 Ricoh Technical Report No.37 48 DECEMBER, 2011 ①常時測距 ၮḰ䊑 䊨䉾䉪 シャッタ釦を押される前にも，常時測距（１秒間に 約15回）を行い，シャッタ釦をオンされた際には，そ の直前で既に算出済みの測距結果を採用する． 䋼ၮḰ↹䋾 ②高速HBAF（ハイブリットAF） 測距結果に応じた距離付近の所定数のフォーカス位 置のコントラストをサンプリングし，最もコントラス Ყセ 䊑䊨䉾䉪 トの高いレンズ位置を求め，フォーカスレンズをその 位置に駆動する． 䋼Ყセ↹䋾 ③一気押しAF シャッタ釦を第二スイッチまで一気押しされた場合 は，広角～中望遠領域なら，測距結果に応じたフォー カスレンズ位置に駆動して撮影する．（一気押しAF） 㪱㪪㪘㪛 㫄㫀㫅㑣୯ ハイブリットAF（HBAF）において，従来のコント 㪪 Fig.11 ラストAFのように撮影最至近から無限遠の距離範囲を Parallax calculation. 全てピント探索することはせず，測距で得た被写体距 離付近のみをコントラストAFしている．また，取得す ③視差の信頼性評価 るコントラスト値に対して新たなデータ補間，ピーク 視差の信頼性に関しては，Fig.11のZSADによるマッ 位置検出方法を開発し，コントラスト値のサンプリン チング特性の極小値に対して，min値の閾値を設けて グ数をズーム領域によらず一定数に抑えて，約0.2秒の いる． 一定時間でHBAFを行っている．これにより外部AFを これにより相関度が低く，極小値がmin値以上のも もたない前機種CX4に比べ約１／２のAF時間を実現し ている．（Fig.1） のは信頼性がないとして排除できる． 外界の光源でフレアーがあった場合も，左右像での また，Fig.12のように，撮影レンズの被写体深度 相関度が落ちるので，信頼性閾値によって誤測距を排 （ピントがあって見える範囲）がズーム広角側で広い 除できる． ことを利用し，測距性能がその距離深度範囲内である 信頼性のパラメータはmin値以外にも，既知の苦手 ズーム領域においては，一気押しされた場合は， 被写体である例えば縦テクスチャーの繰り返しパター HBAFを行わず，測距結果のフォーカス位置で撮影を ンなどにも対応できるように複数の信頼性パラメータ 行う． この場合シャッタ釦を押し込んでから撮影されるま を持たせている． 2-7 では約0.1秒である． 高速AF AFユニットを2011年2月10日発売の光学ズーム10.7 倍のCX5に搭載した． 以下の合焦制御で高速化を行っている． Ricoh Technical Report No.37 49 DECEMBER, 2011 AF距離情報とともにさらにアドバンテージを得ること ズーム焦点距離と許容被写界深度 ができる． 許容被写界深度 ⊿1/Ｌ 測距以外に関しても,本AFユニットによりカメラとし 一気押し AF て三次元情報を得て，AF，AE，AWBへのインテリ 高速HBAF 測距 ⊿1/L ジェント化を進めたり，また，3Dセンサとしてのカメ ラ以外への用途も考えられる． 0 Wide 100 200 300 Tele 最後に，AFユニットの開発からCX5に搭載するまで 400 焦点距離(35mmカメラ換算） にあたり，社内外の多くの方々にご指導，ご支援を賜 Fig.12 Depth of field and fast AF system. りましたことに深く感謝いたします． 3. まとめ AFの高速化について，Table 2で各方式の特徴を考察 する． コントラストＡＦでは，撮像素子のフレームレート の高速化やまたフォーカス駆動機構の高速化が主要技 術である． また，撮影用撮像素子の中の一部の受光部を位相差 用にする方式も実現化されている． Table 2 Comparison of AF method. 今回開発したエリアセンサによるAFユニットは，今 後,後段の視差演算処理部を全てハードウェア化するこ とによりVGA全面で1200点の測距演算を数msで得るこ とも可能である．この点においてAF時間，測距点，及 び，小型化において発展性もあり最もバランスのとれ たものと考えている．また，他のAF方式同様に撮像素 子のフレームレートやメカの高速化がさらに進めば， Ricoh Technical Report No.37 50 DECEMBER, 2011