スナップショットハイパースペクトルイメージングのための非シリアル量子化認識深い光学系

Deep Opticsは、光学エンコーダーがイメージングのパフォーマンスを決定する上で重要な役割を果たしている動的なシーンのハイパースペクトル画像をキャプチャするよう努めてきました。私たちの重要な洞察は、ディープオプティクスシステムの光エンコーダーは、実装フェーズで忠実に実現され、それぞれ設計フェーズのデコーダーと完全に相互作用するために、製造やデコーダーのやりがいを維持することが期待されることです。このホワイトペーパーでは、製造に優しい量子化対応モデル（QAM）とデコーダーに優しい非シリアルマナー（NSM）で構成される非シリアル量子化認識深い光学（NSQDO）を提案します。QAMは、量子化プロセスを最適化に統合し、各量子化レベルの物理的高さを適応的に調整し、DOE物理構造の量子化操作の認識と適応を通じて、数値シミュレーションから物理エンコーダーの偏差を減らします。NSMは、双方向のヒント接続を介した完全な相互作用でエンコーダーとデコーダーをブリッジし、ゲーティングメカニズムとの接続を柔軟にし、深い光学の共同最適化の力を高めます。提案されているNSQDOは、エンコーダーの製造やデコーダーフレンドリー性を改善し、より実用的で強力にするためにディープオプティクスフレームワークを開発します。広範な合成シミュレーションと実際のハードウェア実験は、提案された方法の優れた性能を示しています。

Deep optics has been endeavoring to capture hyperspectral images of dynamic scenes, where the optical encoder plays an essential role in deciding the imaging performance. Our key insight is that the optical encoder of a deep optics system is expected to keep fabrication-friendliness and decoder-friendliness, to be faithfully realized in the implementation phase and fully interacted with the decoder in the design phase, respectively. In this paper, we propose the non-serial quantization-aware deep optics (NSQDO), which consists of the fabrication-friendly quantization-aware model (QAM) and the decoder-friendly non-serial manner (NSM). The QAM integrates the quantization process into the optimization and adaptively adjusts the physical height of each quantization level, reducing the deviation of the physical encoder from the numerical simulation through the awareness of and adaptation to the quantization operation of the DOE physical structure. The NSM bridges the encoder and the decoder with full interaction through bidirectional hint connections and flexibilize the connections with a gating mechanism, boosting the power of joint optimization in deep optics. The proposed NSQDO improves the fabrication-friendliness and decoder-friendliness of the encoder and develops the deep optics framework to be more practical and powerful. Extensive synthetic simulation and real hardware experiments demonstrate the superior performance of the proposed method.