前臨床動物文献のためのPICOエンティティ抽出

背景：自然言語処理は、系統的レビューの複数のタスクを支援して、研究集団、介入、コンパレータ、結果などのPICO要素の抽出など、ワークフローを減らすことができます。PICOフレームワークは、特定の系統的レビューの質問に関連する証拠を含めるための検索と選択の基礎を提供し、PICO抽出への自動アプローチは特に臨床試験結果のレビューのために開発されました。前臨床動物研究と臨床試験の違いを考慮すると、個別のアプローチの開発が必要です。前臨床系統的レビューを促進すると、前臨床から臨床研究への翻訳が通知されます。 方法：in vivo動物研究で説明されたPubMed Central Open Accessデータベースから400の要約をランダムに選択し、種、株、介入、介入、比較、および結果のPICOフレーズを手動で注釈しました。前臨床PICO抽出のための2段階のワークフローを開発しました。まず、Pico文の分類用のさまざまな事前訓練のモジュールでBertを微調整しました。次に、PICO機能とは無関係のテキストを削除した後、PICOエンティティ認識のためのLSTM、CRFベースのモデル、およびBERTベースのモデルを検討しました。また、小規模なトレーニングコーパスのために、自己訓練アプローチも調査しました。 結果：PICO文の分類では、すべての訓練を受けたすべてのモジュールを使用したBERTモデルのF1スコアは80％以上を達成し、PubMedアブストラクトで事前トレーニングを受けたモデルは85％の最高のF1を達成しました。PICOエンティティの認識のために、PubMedアブストラクトで事前に訓練された微調整BERTは、種（98％）、株（70％）、介入（70％）、および結果（67％）の全体的なF1と満足のいくF1を達成しました。誘導とコンパレータのスコアは満足度が低くなりますが、セルフトレーニングを適用することにより、コンパレータのF1を50％に改善できます。 結論：私たちの研究は、テストされたアプローチのうち、PubMed要約で事前に訓練されたBertがPICO文の分類と前臨床要約におけるPICOエンティティの認識の両方に最適であることを示しています。セルフトレーニングは、コンパレータと株を識別するためのより良いパフォーマンスをもたらします。

BACKGROUND: Natural language processing could assist multiple tasks in systematic reviews to reduce workflow, including the extraction of PICO elements such as study populations, interventions, comparators and outcomes. The PICO framework provides a basis for the retrieval and selection for inclusion of evidence relevant to a specific systematic review question, and automatic approaches to PICO extraction have been developed particularly for reviews of clinical trial findings. Considering the difference between preclinical animal studies and clinical trials, developing separate approaches is necessary. Facilitating preclinical systematic reviews will inform the translation from preclinical to clinical research. METHODS: We randomly selected 400 abstracts from the PubMed Central Open Access database which described in vivo animal research and manually annotated these with PICO phrases for Species, Strain, methods of Induction of disease model, Intervention, Comparator and Outcome. We developed a two-stage workflow for preclinical PICO extraction. Firstly we fine-tuned BERT with different pre-trained modules for PICO sentence classification. Then, after removing the text irrelevant to PICO features, we explored LSTM-, CRF- and BERT-based models for PICO entity recognition. We also explored a self-training approach because of the small training corpus. RESULTS: For PICO sentence classification, BERT models using all pre-trained modules achieved an F1 score of over 80%, and models pre-trained on PubMed abstracts achieved the highest F1 of 85%. For PICO entity recognition, fine-tuning BERT pre-trained on PubMed abstracts achieved an overall F1 of 71% and satisfactory F1 for Species (98%), Strain (70%), Intervention (70%) and Outcome (67%). The score of Induction and Comparator is less satisfactory, but F1 of Comparator can be improved to 50% by applying self-training. CONCLUSIONS: Our study indicates that of the approaches tested, BERT pre-trained on PubMed abstracts is the best for both PICO sentence classification and PICO entity recognition in the preclinical abstracts. Self-training yields better performance for identifying comparators and strains.