TC-NET：多Lision医療画像セグメンテーションのためのCNNと視覚変圧器に基づく共同学習フレームワーク

背景: 医用画像技術の急速な進歩に伴い、医用画像の正確なセグメンテーションに対する需要が高まっています。しかし、既存の方法のほとんどは、医用画像の局所性と長距離依存性情報を統合された方法で取得することができません。 方法: この論文では、医用画像の局所性を認識した依存性と長距離依存性の両方を利用できる、TC-Net という医用画像用のエレガントなセグメンテーション フレームワークを提案します。局所性を意識した観点に関しては、CNN ベースのエンコーダおよびデコーダ構造を採用しています。CNN ブランチは、畳み込み演算の局所性を利用して、医療画像内の局所的な情報を掘り出します。長期的な依存関係に関しては、グローバル コンテキストに焦点を当てるために Transformer ブランチを構築します。さらに、2 つのサブブランチから得られた特徴マップを集約するために、局所性を認識した長距離依存関係連結戦略 (LLCS) を提案しました。最後に、複数病変セグメンテーションにおけるクラスの不均衡問題に対処するための動的周期的焦点損失 (DCFL) を紹介します。 結果: 2 つの眼底画像データベースと皮膚画像データベースを使用して、病変セグメンテーション タスクに関する包括的な実験が行われました。TC-Net は、IDRiD データベースと DDR データベースの平均ピクセル精度の指標で、それぞれ 0.6985 と 0.5171 のスコアを達成しています。さらに、肌画像データベースでは、TC-Net の平均ピクセル精度は 0.8886 に達しました。実験結果は、提案された方法が他の深層学習セグメンテーション スキームよりも優れたパフォーマンスを達成することを示しています。さらに、提案された DCFL は、複数の病変のセグメンテーションにおいて他の損失関数よりも高いパフォーマンスを達成します。 重要性: 提案された TC-Net は、複数病変の医用画像セグメンテーションおよびその他の多くの困難な画像セグメンテーション タスクのための有望な新しいフレームワークです。© 2001 エルゼビア サイエンス。無断転載を禁じます。

BACKGROUND: With the rapid advancement of medical imaging technology, the demand for accurate segmentation of medical images is increasing. However, most existing methods are unable to capture locality and long-range dependency information in integrated ways for medical images. METHOD: In this paper, we propose an elegant segmentation framework for medical images named TC-Net, which can utilize both the locality-aware and long-range dependencies in the medical images. As for the locality-aware perspective, we employ a CNN-based encoder and decoder structure. The CNN branch uses the locality of convolution operations to dig out local information in medical images. As for the long-range dependencies, we construct a Transformer branch to focus on the global context. Additionally, we proposed a locality-aware and long-range dependency concatenation strategy (LLCS) to aggregate the feature maps obtained from the two subbranches. Finally, we present a dynamic cyclical focal loss (DCFL) to address the class imbalance problem in multi-lesion segmentation. RESULTS: Comprehensive experiments were conducted on lesion segmentation tasks using two fundus image databases and a skin image database. The TC-Net achieves scores of 0.6985 and 0.5171 in the metric of mean pixel accuracy on the IDRiD and DDR databases, respectively. Moreover, on the skin image database, the TC-Net reached mean pixel accuracy of 0.8886. The experiment results demonstrate that the proposed method achieves better performance than other deep learning segmentation schemes. Furthermore, the proposed DCFL achieves higher performance than other loss functions in multi-lesion segmentation. SIGNIFICANCE: The proposed TC-Net is a promising new framework for multi-lesion medical image segmentation and many other challenging image segmentation tasks. © 2001 Elsevier Science. All rights reserved.