NextMed：拡張および仮想現実を使用した自動イメージングセグメンテーション、3D再構築、3Dモデル視覚化プラットフォーム

拡張現実や仮想現実など、高度な技術を使用した医療画像の視覚化は、医療専門家のブレークスルーを表しています。3D機能を欠く従来の視覚化ツールとは対照的に、これらのシステムは3つの利用可能な次元を使用します。3Dで医療画像を視覚化するには、関心のある解剖学的領域をセグメント化する必要があります。現在、最も一般的に使用される手法である手動セグメンテーション、および半自動性アプローチは、医師が必要であるため時間がかかる場合があり、個々のケースごとにセグメンテーションを行うことができません。セグメンテーションアルゴリズムのコンピュータービジョンや人工知能などの新しいテクノロジーを使用し、視覚化技術の実装のための拡張および仮想現実を使用して、この問題を解決し、医療専門家が医療イメージングから得られた解剖学的3Dモデルでより頻繁に作業できるようにしました。その結果、実装されたソフトウェアアプリケーションが異なるため、次のプロジェクトでは、安全なクラウドプラットフォーム上の医学および医学（DICOM）画像へのデジタルイメージングと通信のインポートと、特定の解剖学的構造の自動セグメンテーションを可能にします。現在の研究結果。次に、セグメント化された構造の3Dメッシュが自動的に生成され、3Dで印刷するか、設計されたソフトウェアシステムを使用して拡張および仮想現実の両方を使用して視覚化できます。次のプロジェクトは、DICOM画像のアップロードから自動セグメンテーション、3D再構成、3D視覚化、および拡張および仮想現実を使用した操作までのプロセス全体をカバーするため、ユニークです。医療画像3D視覚化のための拡張および仮想現実の適用に関する多くの研究があります。ただし、自動化されたプラットフォームではありません。他の解剖学的構造を研究することができますが、肺の研究である1つのケースに焦点を当てました。プラットフォームの適用を1000を超えるDICOM画像に分析し、医療専門家との結果を研究して、病院にこのシステムを設置することで、医療画像の視覚化のツールとしてかなりの改善が得られると結論付けました。

The visualization of medical images with advanced techniques, such as augmented reality and virtual reality, represent a breakthrough for medical professionals. In contrast to more traditional visualization tools lacking 3D capabilities, these systems use the three available dimensions. To visualize medical images in 3D, the anatomical areas of interest must be segmented. Currently, manual segmentation, which is the most commonly used technique, and semi-automatic approaches can be time consuming because a doctor is required, making segmentation for each individual case unfeasible. Using new technologies, such as computer vision and artificial intelligence for segmentation algorithms and augmented and virtual reality for visualization techniques implementation, we designed a complete platform to solve this problem and allow medical professionals to work more frequently with anatomical 3D models obtained from medical imaging. As a result, the Nextmed project, due to the different implemented software applications, permits the importation of digital imaging and communication on medicine (dicom) images on a secure cloud platform and the automatic segmentation of certain anatomical structures with new algorithms that improve upon the current research results. A 3D mesh of the segmented structure is then automatically generated that can be printed in 3D or visualized using both augmented and virtual reality, with the designed software systems. The Nextmed project is unique, as it covers the whole process from uploading dicom images to automatic segmentation, 3D reconstruction, 3D visualization, and manipulation using augmented and virtual reality. There are many researches about application of augmented and virtual reality for medical image 3D visualization; however, they are not automated platforms. Although some other anatomical structures can be studied, we focused on one case: a lung study. Analyzing the application of the platform to more than 1000 dicom images and studying the results with medical specialists, we concluded that the installation of this system in hospitals would provide a considerable improvement as a tool for medical image visualization.