マルチタップマクロピクセル計算CMOSイメージセンサーを使用した圧縮時間の深さイメージングにおけるマルチパス干渉の解決

マルチパス干渉は、間接的な飛行時間（TOF）カメラに深さエラーを引き起こします。この論文では、マルチタップマクロピクセルの計算CMOSイメージセンサーを使用した表面反射によって引き起こされるマルチパス干渉の解決が実証されています。イメージング領域は、4件の横方向電界電場変調器（LEFM）で具体化された4つのサブピクセルで構成されるマクロピクセルの配列によって実装されます。このセンサーは、異なる時間的シャッターに対して16の画像を同時に取得できます。この方法では、多周波シャッターとサブクロックシフトを備えた圧縮センシングに基づいて、16を超える画像を再現できます。シミュレーションでは、オブジェクトをセンサーから16 m離れて配置し、干渉オブジェクトの深さは1 mステップで1〜32 mまで変化しました。2つの反射は、2つの段階で分離されました。圧縮センシングソルバーに基づく粗い推定と、センサーの可能性を調査するための非線形検索による改良です。相対標準偏差（精度）および相対平均誤差（精度）は、光子ショットノイズの影響下で評価されました。提案された方法は、シングルパスおよびデュアルパスの状況でのプロトタイプマルチタップマクロピクセル計算CMOSイメージセンサーを使用して検証されました。実験では、アクリルプレートをセンサーから1 mまたは2 m、ミラーを9.3 mに配置しました。

Multi-path interference causes depth errors in indirect time-of-flight (ToF) cameras. In this paper, resolving multi-path interference caused by surface reflections using a multi-tap macro-pixel computational CMOS image sensor is demonstrated. The imaging area is implemented by an array of macro-pixels composed of four subpixels embodied by a four-tap lateral electric field charge modulator (LEFM). This sensor can simultaneously acquire 16 images for different temporal shutters. This method can reproduce more than 16 images based on compressive sensing with multi-frequency shutters and sub-clock shifting. In simulations, an object was placed 16 m away from the sensor, and the depth of an interference object was varied from 1 to 32 m in 1 m steps. The two reflections were separated in two stages: coarse estimation based on a compressive sensing solver and refinement by a nonlinear search to investigate the potential of our sensor. Relative standard deviation (precision) and relative mean error (accuracy) were evaluated under the influence of photon shot noise. The proposed method was verified using a prototype multi-tap macro-pixel computational CMOS image sensor in single-path and dual-path situations. In the experiment, an acrylic plate was placed 1 m or 2 m and a mirror 9.3 m from the sensor.