タスク定義、注釈付きデータセット、および構造化されていない臨床ノートからの症状抽出のための監視された自然言語処理モデル

はじめに：機械学習（ML）と自然言語処理は、さまざまな臨床検索および要約ツールの電子医療記録（EMR）内の情報抽出（つまり）を改善する大きな可能性があります。MLの進歩にもかかわらず、患者ケアのためのリアルタイムIEツールの臨床採用は低いままです。臨床的に動機付けられたIEタスク定義、公開されている注釈付き臨床データセット、およびコルファレンス解像度や名前付きエンティティの正規化などのサブタスクの包含は、有用な臨床ツールの開発に重要です。 材料と方法：臨床的に動機付けられた症状抽出タスクのタスク定義と包括的な注釈要件を提供します。症状とラベル付けされた4つのアノテーターは、指定されたエンティティ認識、共同解像度、および名前付きエンティティの正規化のタスクのための2つの公共臨床ノートデータセットから1108の放電概要以内に言及されています。これらの注釈は一般に公開されます。ベースラインのヒトパフォーマンスを評価し、症状抽出タスクで2つのMLモデルを評価しました。 結果：16,922件の症状が退院概要内で特定され、コアレーション解決後11,944の症状インスタンスと1255のユニークな正規化された回答フォームが特定されました。人間のアノテーター性能の平均92.2％F1。再発ネットワークモデルのパフォーマンスは85.6％F1（リコール85.8％、精度85.4％）であり、トランスベースのモデルパフォーマンスは86.3％F1（リコール86.6％、精度86.1％）でした。私たちのモデルは、あいまいな症状、頭字語、誤植、およびグループ化ステートメントを抽出しました。モデルは、独立した臨床ノートコーパスに効果的に一般化され、リアルタイムで実行できます。 結論：私たちの知る限り、このデータセットは、1000を超える臨床文書の名前付きエンティティ認識、共同参照、および正規化の注釈が含まれるため、臨床的に動機付けられた症状抽出のための最大かつ最も包括的な公開された注釈付きデータセットです。私たちのニューラルネットワークモデルは、リアルタイムで人間のパフォーマンスに近い構造化されていない臨床フリーテキストから症状を抽出しました。この論文では、臨床的に動機付けられたタスク定義、データセット、および単純な監視された自然言語処理モデルを提示して、臨床的に適用可能な情報抽出ツールを構築する可能性を実証します。

INTRODUCTION: Machine learning (ML) and natural language processing have great potential to improve information extraction (IE) within electronic medical records (EMRs) for a wide variety of clinical search and summarization tools. Despite ML advancements, clinical adoption of real time IE tools for patient care remains low. Clinically motivated IE task definitions, publicly available annotated clinical datasets, and inclusion of subtasks such as coreference resolution and named entity normalization are critical for the development of useful clinical tools. MATERIALS AND METHODS: We provide a task definition and comprehensive annotation requirements for a clinically motivated symptom extraction task. Four annotators labeled symptom mentions within 1108 discharge summaries from two public clinical note datasets for the tasks of named entity recognition, coreference resolution, and named entity normalization; these annotations will be released to the public. Baseline human performance was assessed and two ML models were evaluated on the symptom extraction task. RESULTS: 16,922 symptom mentions were identified within the discharge summaries, with 11,944 symptom instances after coreference resolution and 1255 unique normalized answer forms. Human annotator performance averaged 92.2% F1. Recurrent network model performance was 85.6% F1 (recall 85.8%, precision 85.4%), and Transformer-based model performance was 86.3% F1 (recall 86.6%, precision 86.1%). Our models extracted vague symptoms, acronyms, typographical errors, and grouping statements. The models generalized effectively to a separate clinical note corpus and can run in real time. CONCLUSION: To our knowledge, this dataset will be the largest and most comprehensive publicly released, annotated dataset for clinically motivated symptom extraction, as it includes annotations for named entity recognition, coreference, and normalization for more than 1000 clinical documents. Our neural network models extracted symptoms from unstructured clinical free text at near human performance in real time. In this paper, we present a clinically motivated task definition, dataset, and simple supervised natural language processing models to demonstrate the feasibility of building clinically applicable information extraction tools.