Optimclm：知識の蒸留、剪定、量子化を介して患者の転帰を予測するための臨床言語モデルの最適化

背景：臨床言語モデル（CLM）は、臨床的意思決定と最適なリソース利用を支援することにより、従来の医療システムを改革する可能性を備えています。彼らは患者の転帰を強化し、予測的な臨床タスクを通じて医療管理を支援することができます。ただし、時間と空間の複雑さの両方の点で、推論での計算コストが高いため、実際の展開は制限されています。 目的：この研究の目的は、パフォーマンスの大幅な損失なしにCLMを圧縮する効率的なフレームワークを開発および最適化し、推論時間と円盤スペースを短縮し、実世界の臨床アプリケーションを可能にすることです。 方法：Ensemble Learning、Knowledge Distillation（KD）、Pruning、および量子化でCLMを最適化するためのフレームワークであるOptimclmを紹介します。ドメインの知識とパフォーマンスに基づいて、ドメインに適合したCLMS排出バートとCorebertを教師のアンサンブルモデルとして選択および結合します。教師の知識を2つの小規模なジェネラリストモデル、Bert-PKDとTinybertに転送し、トレーニング後の非構造化されていない剪定およびトレーニング後の8ビットモデルの量子化をそれらに適用します。充電式の設定では、模倣III臨床データベースからの入学ノートを使用して、4つの臨床結果予測タスク（滞在期間、死亡率予測、診断予測、手順予測）のフレームワークを評価します。 結果：OptimCLMフレームワークは、最大22.88×圧縮率と28.7×推論のスピードアップを達成し、それぞれTinybertとBert-PKDのマクロ平均Aurocで5％未満と2％の損失が失われました。教師モデルは、すべてのタスクで5つの最先端モデルを上回りました。最適化されたBERT-PKDモデルは、ほとんどのタスクでもそれらを上回りました。 結論：我々の調査結果は、アンサンブル学習とKDを使用したドメイン固有の微調整が、ドメイン知識転送およびテキスト分類タスクのドメイン固有のプリトレーニングよりも効果的であることを示唆しています。したがって、この作業は、ヘルスケア設定に最適化されたCLMを展開し、より少ない計算リソースでそれらを開発する可能性と可能性を示しています。

BACKGROUND: Clinical Language Models (CLMs) possess the potential to reform traditional healthcare systems by aiding in clinical decision making and optimal resource utilization. They can enhance patient outcomes and help healthcare management through predictive clinical tasks. However, their real-world deployment is limited due to high computational cost at inference, in terms of both time and space complexity. OBJECTIVE: This study aims to develop and optimize an efficient framework that compresses CLMs without significant performance loss, reducing inference time and disk-space, and enabling real-world clinical applications. METHODS: We introduce OptimCLM, a framework for optimizing CLMs with ensemble learning, knowledge distillation (KD), pruning and quantization. Based on domain-knowledge and performance, we select and combine domain-adaptive CLMs DischargeBERT and COReBERT as the teacher ensemble model. We transfer the teacher's knowledge to two smaller generalist models, BERT-PKD and TinyBERT, and apply black-box KD, post-training unstructured pruning and post-training 8-bit model quantization to them. In an admission-to-discharge setting, we evaluate the framework on four clinical outcome prediction tasks (length of stay prediction, mortality prediction, diagnosis prediction and procedure prediction) using admission notes from the MIMIC-III clinical database. RESULTS: The OptimCLM framework achieved up to 22.88× compression ratio and 28.7× inference speedup, with less than 5% and 2% loss in macro-averaged AUROC for TinyBERT and BERT-PKD, respectively. The teacher model outperformed five state-of-the-art models on all tasks. The optimized BERT-PKD model also outperformed them in most tasks. CONCLUSION: Our findings suggest that domain-specific fine-tuning with ensemble learning and KD is more effective than domain-specific pre-training for domain-knowledge transfer and text classification tasks. Thus, this work demonstrates the feasibility and potential of deploying optimized CLMs in healthcare settings and developing them with less computational resources.