臨床メモのマイニング転倒関連情報：ルールベースと新しい単語埋め込みベースの機械学習アプローチの比較

背景：健康関連データの自然言語処理（NLP）は、依然として専門知識を要求し、リソースの高価なプロセスです。Nimbleminerと呼ばれる新しいオープンソースラピッド臨床テキストマイニングシステムを作成しました。Nimbleminerは、いくつかの機械学習技術（単語の埋め込みモデルと肯定的なラベル学習）を組み合わせて、人間が臨床物語のテキストマイニングを迅速に実行し、機械学習コンポーネントに支えられているプロセスを促進します。 目的：この原稿は、一般的なシステムアーキテクチャとユーザーインターフェイスについて説明し、ホームケア訪問ノートの転倒関連情報（秋の歴史、転倒予防介入、転倒リスクを含む）を分類することを目的としたケーススタディの結果を示します。 方法：米国を拠点とする大規模なホームケア機関から89,459人の患者に対して、馬鹿訪問ノート（n = 1,149,586）のコーパスを抽出しました。2人の人間のレビュアーが注釈した750ノートのゴールドスタンダードテストデータセットを使用して、以前に開発されたルールベースのNLPシステムで転倒関連情報を含むかどうかについてドキュメントを分類する能力を比較しました。 結果：Nimbleminerは、ほぼすべてのドメインでルールベースのシステムを上回りました。全体のFスコアは、ルールベースのシステムによる81％と比較して85.8％で、一般的な秋の履歴を特定するのに最適なパフォーマンス（F = 89％対F = 85.1％のルールベース）、続いて転倒リスク（F =87％対F = 78.7％ルールベース）、転倒予防介入（F = 88.1％対F = 78.2％のルールベース）、ノート日付の2日以内（F = 83.1％対F = 80.6％ルールベース）。ルールベースのシステムは、ノート日付の2週間以内にわずかに優れたパフォーマンスを達成しました（F = 81.9％対F = 84％ルールベース）。 議論と結論：Nimbleminerは、以前に開発されたルールベースのアプローチを含む、秋の情報分類を目的とした他のシステムを上回りました。これらの有望な結果は、他のタイプの機械学習に必要な大きなラベル付きデータセットを必要とせずに臨床テキストマイニングを実装できることを示しています。これは、看護や同盟の健康職業など、NLPの開発がほとんどないドメインにとって重要です。

BACKGROUND: Natural language processing (NLP) of health-related data is still an expertise demanding, and resource expensive process. We created a novel, open source rapid clinical text mining system called NimbleMiner. NimbleMiner combines several machine learning techniques (word embedding models and positive only labels learning) to facilitate the process in which a human rapidly performs text mining of clinical narratives, while being aided by the machine learning components. OBJECTIVE: This manuscript describes the general system architecture and user Interface and presents results of a case study aimed at classifying fall-related information (including fall history, fall prevention interventions, and fall risk) in homecare visit notes. METHODS: We extracted a corpus of homecare visit notes (n = 1,149,586) for 89,459 patients from a large US-based homecare agency. We used a gold standard testing dataset of 750 notes annotated by two human reviewers to compare the NimbleMiner's ability to classify documents regarding whether they contain fall-related information with a previously developed rule-based NLP system. RESULTS: NimbleMiner outperformed the rule-based system in almost all domains. The overall F- score was 85.8% compared to 81% by the rule based-system with the best performance for identifying general fall history (F = 89% vs. F = 85.1% rule-based), followed by fall risk (F = 87% vs. F = 78.7% rule-based), fall prevention interventions (F = 88.1% vs. F = 78.2% rule-based) and fall within 2 days of the note date (F = 83.1% vs. F = 80.6% rule-based). The rule-based system achieved slightly better performance for fall within 2 weeks of the note date (F = 81.9% vs. F = 84% rule-based). DISCUSSION & CONCLUSIONS: NimbleMiner outperformed other systems aimed at fall information classification, including our previously developed rule-based approach. These promising results indicate that clinical text mining can be implemented without the need for large labeled datasets necessary for other types of machine learning. This is critical for domains with little NLP developments, like nursing or allied health professions.