個別のユーティリティ分析を使用した病院の再入院予測の改善

目的：再入院介入を割り当てるための機械学習（ML）モデルは、通常、その識別能力に従って選択されます。私たちの目的は、再入院介入を割り当てるためのMLモデルが、全体的な有用性と識別能力に基づいて異なる有用性を持っているかどうかを判断することでした。 材料と方法：Optum Clinformatics Data Martから取得したクレームデータを使用して、MLモデルの遡及的ユーティリティ分析を実施しました。2016年1月から2017年1月までの期間は、平均90日間のコストが11,552ドルで、50州すべてから。ユーティリティ分析では、90日間のコストの削減に基づいて再入院リスクを下げるための介入を割り当てるコストをドルで推定します。 結果：再入院を予測するように訓練されたGBDTモデルに基づいた再入院介入の割り当てにより、患者あたり104ドルの推定ユーティリティゲインと0.76（95％CI 0.76、0.77）のAUCが達成されました。プロキシとしてコストを予測するために訓練されたモデルに基づいて介入を割り当てることで、プロキシが患者あたり175.94ドルのより高いユーティリティ、および0.62（95％CI 0.61、0.62）のAUCを達成しました。両方の介入戦略を組み合わせたハイブリッドモデルは、どちらのメトリックでも最高のモデルと同等です。推定ユーティリティは、介入コストと有効性によって異なり、各モデルは異なる介入設定で最高のパフォーマンスを発揮します。 結論：機械学習モデルは、全体的な有用性と識別能力に基づいて異なるランク付けされる可能性があることを実証します。限られた健康資源の割り当てのための機械学習モデルは、ユーティリティのために直接最適化することを検討する必要があります。

OBJECTIVE: Machine learning (ML) models for allocating readmission-mitigating interventions are typically selected according to their discriminative ability, which may not necessarily translate into utility in allocation of resources. Our objective was to determine whether ML models for allocating readmission-mitigating interventions have different usefulness based on their overall utility and discriminative ability. MATERIALS AND METHODS: We conducted a retrospective utility analysis of ML models using claims data acquired from the Optum Clinformatics Data Mart, including 513,495 commercially-insured inpatients (mean [SD] age 69 [19] years; 294,895 [57%] Female) over the period January 2016 through January 2017 from all 50 states with mean 90 day cost of $11,552. Utility analysis estimates the cost, in dollars, of allocating interventions for lowering readmission risk based on the reduction in the 90-day cost. RESULTS: Allocating readmission-mitigating interventions based on a GBDT model trained to predict readmissions achieved an estimated utility gain of $104 per patient, and an AUC of 0.76 (95% CI 0.76, 0.77); allocating interventions based on a model trained to predict cost as a proxy achieved a higher utility of $175.94 per patient, and an AUC of 0.62 (95% CI 0.61, 0.62). A hybrid model combining both intervention strategies is comparable with the best models on either metric. Estimated utility varies by intervention cost and efficacy, with each model performing the best under different intervention settings. CONCLUSION: We demonstrate that machine learning models may be ranked differently based on overall utility and discriminative ability. Machine learning models for allocation of limited health resources should consider directly optimizing for utility.