未熟児網膜症の診断と治療提案のための 2 つの AI チャットボットの比較: 遡及研究

背景: 未熟児網膜症 (ROP) は、予防可能な小児失明の主な原因です。しかし、経験豊富な小児眼科医が世界的に不足しているため、タイムリーな診断と治療が妨げられています。新しい AI チャットボットは、一部の眼科疾患における臨床意思決定支援ツールとして有望ですが、ROP 診断と治療提案の提供におけるパフォーマンスは依然として不確実です。 目的: この研究は、ROP 診断における Google の Gemini 2.5 Pro と OpenAI の ChatGPT o4-mini のパフォーマンスを比較し、臨床的コンセンサスのゴールドスタンダードに対して治療提案を提供することを目的としています。 方法：治療が必要なROPを持つ70人の乳児（140眼）を対象に遡及的分析が実施され、それぞれ構造化された臨床テキストデータと広視野眼底画像が提供された。AI チャットボットには 2 段階のプロンプト戦略を採用し、最初に ROP 診断 (ゾーン、ステージ、プラス疾患の有無を含む) を生成し、続いて治療提案を提供するように指示しました。生成された応答を収集した後、診断と治療提案の一貫性をコンセンサスのゴールドスタンダードと比較することで、そのパフォーマンスを評価しました。さらに、2 人の独立した専門家が、1 (使用不可) から 5 (優れた) までの 5 段階評価である ROP 固有のグローバル品質スコア (GQS) を使用して、Gemini 2.5 Pro と ChatGPT o4-mini の出力を定量的に評価しました。統計的有意性は P<.05 に設定され、すべての統計分析は R (バージョン 4.4.1; R Foundation for Statistical Computing) を使用して実行されました。 結果: ROP ゾーニングとステージングのタスクに関して、Gemini 2.5 Pro と ChatGPT o4-mini の間の一貫性率は、それぞれ 79.3% (111/140) 対 85.7% (120/140; ゾーン)、64.3% (90/140) 対 70.0% (98/140; ステージ) でした。治療必要性のタスクについては、割合 (感度とも呼ばれます) は、それぞれ 93.6% (131/140) 対 90.7% (127/140) でした。これらの差はいずれも統計的に有意ではありませんでした (P>.05)。ただし、Gemini 2.5 Pro は、疾患の特定に加えて、有意に優れたパフォーマンスを示しました (一貫性: 108/140、77.1% 対 80/140、57.1%、P=.006)。一方、ChatGPT o4-mini は、ゴールドスタンダード ROP 診断に基づく治療法の提案において、ガイドライン遵守が著しく高いことが示されました (一貫性: 91/140、65.0%、対55/140、39.3%; P=.01)。Gemini 2.5 Pro と比較して、ChatGPT o4-mini は ROP 治療提案の提供において優れたパフォーマンスを示しました (GQS スコア; P=.001)。一方、2 つの AI チャットボットは診断タスクにおいて同等の GQS スコアを示しました。 結論: ChatGPT o4-mini は、ゴールドスタンダード診断に基づいて証拠に基づいた治療提案を生成する点で大きな期待を示していますが、Gemini 2.5 Pro は視覚的解釈において利点を示しており、特にプラス疾患の特定において、標的を絞った ROP 診断スクリーニングの可能性を裏付けています。これらの AI チャットボットは進化し続けるため、そのパフォーマンスは大規模なコホートを使用してさらに検証する価値があります。

BACKGROUND: Retinopathy of Prematurity (ROP) is a leading cause of preventable childhood blindness; yet, a global shortage of experienced pediatric ophthalmologists impedes timely diagnosis and treatment. While emerging AI chatbots are promising clinical decision-support tools in some ophthalmic diseases, their performance in ROP diagnosis and providing treatment suggestions remains uncertain. OBJECTIVE: This study aimed to compare the performance of Google's Gemini 2.5 Pro and OpenAI's ChatGPT o4-mini in ROP diagnosis and providing treatment suggestions against the gold standard of clinical consensus. METHODS: A retrospective analysis was conducted on 70 infants (140 eyes) with treatment-requiring ROP, each providing structured clinical text data and wide-field fundus images. We adopted a 2-stage prompting strategy for AI chatbots, instructing them first to generate ROP diagnoses (including zone, stage, and presence of plus disease), and subsequently to provide treatment suggestions. After collecting the generated responses, we assessed their performance by comparing the consistency of their diagnosis and treatment suggestions with the consensus gold standard. Furthermore, 2 independent specialists quantitatively assessed the outputs of Gemini 2.5 Pro and ChatGPT o4-mini using the ROP-specific Global Quality Score (GQS), which is a 5-point scale ranging from 1 (unusable) to 5 (excellent). Statistical significance was set at P<.05, and all statistical analyses were performed using R (version 4.4.1; R Foundation for Statistical Computing). RESULTS: For the tasks of ROP zoning and staging, the consistency rates between Gemini 2.5 Pro and ChatGPT o4-mini were 79.3% (111/140) vs 85.7% (120/140; zone), 64.3% (90/140) vs 70.0% (98/140; stage), respectively. For the task of treatment requirement, the rates (also referred to as sensitivity) were 93.6% (131/140) vs 90.7% (127/140), respectively. None of these differences were statistically significant (P>.05). However, Gemini 2.5 Pro showed significantly better performance in plus disease identification (consistency: 108/140, 77.1% vs 80/140, 57.1%; P=.006), while ChatGPT o4-mini demonstrated significantly higher guideline adherence in treatment modality suggestions based on gold-standard ROP diagnoses (consistency: 91/140, 65.0%; vs 55/140, 39.3%; P=.01). Compared to Gemini 2.5 Pro, ChatGPT o4-mini performed better in providing ROP treatment suggestions (GQS score; P=.001), while the 2 AI chatbots had comparable GQS scores in diagnostic tasks. CONCLUSIONS: ChatGPT o4-mini shows greater promise in generating evidence-based treatment suggestions based on gold-standard diagnoses, whereas Gemini 2.5 Pro shows advantages in visual interpretation, supporting its potential for targeted ROP diagnostic screening, particularly in identifying plus disease. As these AI chatbots continue to evolve, their performance merits further validation using larger cohorts.