ロボット支援ラジカル前立腺切除のためのマーカーレス、リアルタイム、拡張現実ガイダンスシステムの前臨床評価

目的：手術中の術中拡張現実（AR）は、医療イメージングデータからカメラ画像に抽出された解剖学的境界をオーバーレイすることにより、不完全な癌除去を軽減することができます。この論文では、医療データを経直腸超音波（TRU）から内視鏡カメラ画像に変換するロボット支援腹腔鏡下根治的前立腺切除術（RALRP）の最初の完全にマーカーレスARガイダンスシステムを紹介します。さらに、ハンドアイとカメラのキャリブレーションを1つのステップで組み合わせることにより、変換の総数を減らします。 方法：提案されたソリューションでは、2つの変換が必要です。ロボットへのTRU、[式：テキストを参照]、およびカメラ投影マトリックス、[式：テキストを参照]（つまり、内視鏡からカメラ画像フレームへの変換）。[式：テキストを参照]は、Mohareri et al。で提案されている方法によって推定されます。（J Urol 193（1）：302-312、2015）。[式：テキストを参照]は、射影カメラの仮定を持つ手術器具のCADモデルと術前カメラ固有マトリックスを使用して、それぞれ内視鏡と画像座標フレームに対応する3D-2Dデータポイントを選択することにより推定されます。パラメーターは、Levenberg-Marquardtアルゴリズムを使用して推定されます。全体的な平均再投影エラー（MRE）は、水浴を使用してシミュレートされた実際のデータを使用して報告されています。[式：テキストを参照]手術中に焦点が変更された場合、再推定できることを示します。 結果：シミュレートされたデータを使用して、単一鏡およびステレオの左および右カメラのために、11.69-13.32ピクセルの範囲で全体のMREを受け取りました。水浴実験では、全体のMREは、単一鏡カメラとステレオカメラの26.04-30.59ピクセルの範囲です。TRUSからカメラワールドフレームへの全体的なシステムエラーは4.05 mmです。手順の詳細は、補足資料に記載されています。 結論：キャリブレーションマーカーを必要としないRALRPのマーカーレスARガイダンスシステムを実証します。したがって、焦点の変更により、手術中に変更された場合、カメラ投影マトリックスを再指定する能力があります。

PURPOSE: Intra-operative augmented reality (AR) during surgery can mitigate incomplete cancer removal by overlaying the anatomical boundaries extracted from medical imaging data onto the camera image. In this paper, we present the first such completely markerless AR guidance system for robot-assisted laparoscopic radical prostatectomy (RALRP) that transforms medical data from transrectal ultrasound (TRUS) to endoscope camera image. Moreover, we reduce the total number of transformations by combining the hand-eye and camera calibrations in a single step. METHODS: Our proposed solution requires two transformations: TRUS to robot, [Formula: see text], and camera projection matrix, [Formula: see text] (i.e., the transformation from endoscope to camera image frame). [Formula: see text] is estimated by the method proposed in Mohareri et al. (in J Urol 193(1):302-312, 2015). [Formula: see text] is estimated by selecting corresponding 3D-2D data points in the endoscope and the image coordinate frame, respectively, by using a CAD model of the surgical instrument and a preoperative camera intrinsic matrix with an assumption of a projective camera. The parameters are estimated using Levenberg-Marquardt algorithm. Overall mean re-projection errors (MRE) are reported using simulated and real data using a water bath. We show that [Formula: see text] can be re-estimated if the focus is changed during surgery. RESULTS: Using simulated data, we received an overall MRE in the range of 11.69-13.32 pixels for monoscopic and stereo left and right cameras. For the water bath experiment, the overall MRE is in the range of 26.04-30.59 pixels for monoscopic and stereo cameras. The overall system error from TRUS to camera world frame is 4.05 mm. Details of the procedure are given in supplementary material. CONCLUSION: We demonstrate a markerless AR guidance system for RALRP that does not need calibration markers and thus has the capability to re-estimate the camera projection matrix if it changes during surgery, e.g., due to a focus change.