臨床予測モデルのROC曲線パート1 ROCプロットは、臨床予測モデルのパフォーマンスを評価する際にAUCより上に付加価値を示しませんでした

目的：レシーバーの動作特性（ROC）曲線は、リスク予測モデルが状態の有無にかかわらず患者をどれだけうまく区別するかを示しています。ROC曲線が文献でどのように提示されるかを調査し、潜在的な制限を議論し、説明することを目指しています。 研究デザインと設定：臨床予測モデルを外部から検証した現代の出版物の実用的な文献レビューを実施しました。精巣癌のケーススタディとシミュレートされたデータを使用して、ROC曲線の制限を示しました。 結果：86の特定された予測モデリング研究のうち、52（60％）はしきい値なしでROC曲線を提示し、1つ（1％）はROC曲線を少数のしきい値しか提示しませんでした。標準の形式のROC曲線は、しきい値の源泉徴収型情報を、曲線下（AUC）の下の同じ領域でも不安定な形状であり、しきい値を条件とするモデルのパフォーマンスを比較するのに問題があることを示しています。ROC曲線を分類プロットと比較します。これは、リスクのしきい値を条件とする感度と特異性を示しています。 結論：ROC曲線は、識別能力を示すためにAUCよりも多くの情報を提供しません。意思決定のためのモデルのパフォーマンスを評価するには、結果をリスクのしきい値を条件とする必要があります。したがって、差別的な能力を視覚化する必要がある場合、分類プロットは魅力的です。

OBJECTIVES: Receiver operating characteristic (ROC) curves show how well a risk prediction model discriminates between patients with and without a condition. We aim to investigate how ROC curves are presented in the literature and discuss and illustrate their potential limitations. STUDY DESIGN AND SETTING: We conducted a pragmatic literature review of contemporary publications that externally validated clinical prediction models. We illustrated limitations of ROC curves using a testicular cancer case study and simulated data. RESULTS: Of 86 identified prediction modeling studies, 52 (60%) presented ROC curves without thresholds and one (1%) presented an ROC curve with only a few thresholds. We illustrate that ROC curves in their standard form withhold threshold information have an unstable shape even for the same area under the curve (AUC) and are problematic for comparing model performance conditional on threshold. We compare ROC curves with classification plots, which show sensitivity and specificity conditional on risk thresholds. CONCLUSION: ROC curves do not offer more information than the AUC to indicate discriminative ability. To assess the model's performance for decision-making, results should be provided conditional on risk thresholds. Therefore, if discriminatory ability must be visualized, classification plots are attractive.