フリーテキストの手術ノートと構造化されたEHRデータに基づいたマルチモーダルディープラーニングを使用した緑内障のマルチクラス外科的転帰の予測

目的：外科的転帰予測は困難ですが、術後管理には必要です。現在の機械学習モデルは、手術前の情報を外科的ノートの術中情報を除き、術前および術後のデータを利用しています。現在のモデルは、通常、手術が異なる術後管理を必要とする複数の結果を持っている場合でも、バイナリの結果を予測します。この研究では、マルチクラス緑内障手術の結果予測のために術中情報をマルチモーダルモデルに組み込むことにより、これらのギャップに対処します。 材料と方法：構造化されたEHRデータとフリーテキストの手術ノートの両方を使用して、マルチクラス緑内障の骨ect骨摘出手術の結果のマルチモーダルディープラーニングモデルを開発および評価しました。それらを、構造化されたEHRデータのみを使用するベースラインモデル、または手術ノートのみを活用するニューラルネットワークモデルと比較します。 結果：マルチモーダルニューラルネットワークは、0.750とF1スコアが0.583のマクロAurocで最高のパフォーマンスを示しました。構造化されたEHRデータのみでベースライン機械学習モデル（0.712およびF1スコア0.486）を使用して優れていました。さらに、マルチモーダルモデルは、低血圧外科的障害の最高のリコール（0.692）を達成しましたが、外科的成功グループは最高の精度（0.884）およびF1スコア（0.775）でした。 議論：この研究は、手術ノートが予測情報の重要なソースであることを示しています。周術期のノートと構造化された前後のEHRデータを組み合わせたマルチモーダル予測モデルは、他のモデルよりも優れていました。マルチクラス外科的結果予測は、臨床的意思決定のための貴重な洞察を提供できます。 結論：我々の結果は、術後管理のための臨床的意思決定を強化する深い学習モデルの可能性を示しています。それらを他の専門分野に適用して、外科的転帰予測を改善できます。

OBJECTIVE: Surgical outcome prediction is challenging but necessary for postoperative management. Current machine learning models utilize pre- and post-op data, excluding intraoperative information in surgical notes. Current models also usually predict binary outcomes even when surgeries have multiple outcomes that require different postoperative management. This study addresses these gaps by incorporating intraoperative information into multimodal models for multiclass glaucoma surgery outcome prediction. MATERIALS AND METHODS: We developed and evaluated multimodal deep learning models for multiclass glaucoma trabeculectomy surgery outcomes using both structured EHR data and free-text operative notes. We compare those to baseline models that use structured EHR data exclusively, or neural network models that leverage only operative notes. RESULTS: The multimodal neural network had the highest performance with a macro AUROC of 0.750 and F1 score of 0.583. It outperformed the baseline machine learning model with structured EHR data alone (macro AUROC of 0.712 and F1 score of 0.486). Additionally, the multimodal model achieved the highest recall (0.692) for hypotony surgical failure, while the surgical success group had the highest precision (0.884) and F1 score (0.775). DISCUSSION: This study shows that operative notes are an important source of predictive information. The multimodal predictive model combining perioperative notes and structured pre- and post-op EHR data outperformed other models. Multiclass surgical outcome prediction can provide valuable insights for clinical decision-making. CONCLUSIONS: Our results show the potential of deep learning models to enhance clinical decision-making for postoperative management. They can be applied to other specialties to improve surgical outcome predictions.