ランバートの反射を維持する補助タスクを伴うドメイン翻訳による監視されていない大腸内視鏡深度推定

目的：2次元画像から見られる3次元（3D）構造抽出技術は、大腸内視鏡検査用のコンピューター支援診断（CAD）システムの開発に不可欠です。ただし、大腸内視鏡のいくつかの制限のために、既存の深度推定方法を大腸内視鏡画像に簡単に適用することは不可能または不適切です。特に、大腸内視鏡画像の根真実の深さがないことは、監視された機械学習方法の適用を妨げます。これらの困難を回避するために、監視されていない正確な深度推定方法を開発しました。 方法：実際の大腸内視鏡画像間のドメイン翻訳への補助タスクとしてランバート反射モデルを導入することにより、監視されていない深度推定法を提案します。この補助タスクは、ランベルト反射の仮定を維持することにより、正確な深度推定に貢献します。実験では、提案された方法を最先端の監視なしの方法と比較することにより、提案された方法を定性的に評価します。さらに、測定デバイスを使用して提案された方法の2つの定量的評価、および新しい3D再構成技術と測定されたポリープサイズを提示します。 結果：提案された方法は、2つのタイプの定量的評価の両方で大腸内視鏡に近い領域で1 mm未満の平均推定誤差で正確な深度推定を達成しました。定性的評価は、導入された補助タスクが深さ推定に対する鏡面反射と結腸壁のテクスチャの影響を減らし、提案された方法がノイズなしで滑らかな深さ推定を達成し、提案された方法を検証することを示した。 結論：補助タスクを備えた新しいタイプの監視されていないドメイン翻訳を使用した正確な深度推定方法を開発しました。この方法は、大腸内視鏡画像の分析や、正確な3D情報を抽出できるため、CADシステムの開発に役立ちます。

PURPOSE: A three-dimensional (3D) structure extraction technique viewed from a two-dimensional image is essential for the development of a computer-aided diagnosis (CAD) system for colonoscopy. However, a straightforward application of existing depth-estimation methods to colonoscopic images is impossible or inappropriate due to several limitations of colonoscopes. In particular, the absence of ground-truth depth for colonoscopic images hinders the application of supervised machine learning methods. To circumvent these difficulties, we developed an unsupervised and accurate depth-estimation method. METHOD: We propose a novel unsupervised depth-estimation method by introducing a Lambertian-reflection model as an auxiliary task to domain translation between real and virtual colonoscopic images. This auxiliary task contributes to accurate depth estimation by maintaining the Lambertian-reflection assumption. In our experiments, we qualitatively evaluate the proposed method by comparing it with state-of-the-art unsupervised methods. Furthermore, we present two quantitative evaluations of the proposed method using a measuring device, as well as a new 3D reconstruction technique and measured polyp sizes. RESULTS: Our proposed method achieved accurate depth estimation with an average estimation error of less than 1 mm for regions close to the colonoscope in both of two types of quantitative evaluations. Qualitative evaluation showed that the introduced auxiliary task reduces the effects of specular reflections and colon wall textures on depth estimation and our proposed method achieved smooth depth estimation without noise, thus validating the proposed method. CONCLUSIONS: We developed an accurate depth-estimation method with a new type of unsupervised domain translation with the auxiliary task. This method is useful for analysis of colonoscopic images and for the development of a CAD system since it can extract accurate 3D information.