パラメーター効率の高いチューニングを使用した深い学習による自動うつ病の重症度評価

はじめに：メンタルヘルスケア提供者がうつ病の評価を支援するために、標準化され、アクセス可能な、非侵襲的な手法を開発するための研究がかなりの注目を集めています。私たちの研究は、臨床インタビューの転写に基づいたうつ病の重症度を自動評価するためのディープラーニングモデルの適用に焦点を当てています。深い学習の最近の成功にもかかわらず、大規模な高品質のデータセットの欠如は、多くのメンタルヘルスアプリケーションの主要なパフォーマンスボトルネックです。 方法：うつ病の評価のためのデータ希少性の問題に対処するための新しいアプローチが提案されています。事前に処理された大規模な言語モデルとパラメーター効率の高いチューニング技術の両方を活用します。このアプローチは、プレフィックスベクトルとして知られる小さな調整可能なパラメーターのセットを適応させると、患者の健康アンケート（PHQ）-8人のスコアの予測に向けて前処理されたモデルを導くと構築されます。実験は、苦痛分析インタビューコーパス - 189人の被験者を対象としたオズのウィザード（DAIC -WOZ）ベンチマークデータセットで行われ、トレーニング、開発、およびテストセットに分割されました。モデル学習はトレーニングセットで行われました。5つのランダムに開始された実行を伴う各モデルの予測性能の平均と標準偏差が、開発セットで報告されました。最後に、最適化されたモデルがテストセットで評価されました。 結果：プレフィックスベクトルを備えた提案されたモデルは、複数のタイプのデータモダリティを利用したモデルを含む、以前に公開されたすべての方法を上回り、4.67のルート平均平方根誤差でDAIC-WOZのテストセットで最も報告されたパフォーマンスを達成し、平均絶対的なパフォーマンスを達成しました。PHQ-8スケールでの3.80のエラー。従来の微調整されたベースラインモデルと比較して、プレフィックス強化モデルは、トレーニングパラメーターがはるかに少ない（比較的6％未満）を使用することで、過剰適合しやすいものでした。 議論：前処理された大規模な言語モデルを介した転送学習は、下流の学習のための優れた出発点を提供できますが、プレフィックスベクトルは、少数のパラメーターのみを調整することで、事前に排出されたモデルをうつ病評価タスクに効果的に適応させることができます。改善は、モデルの学習能力の調整におけるプレフィックスベクトルサイズの細い粒微粒い柔軟性の一部です。我々の結果は、接頭辞調整が自動うつ病評価のためのツールを開発する上で有用なアプローチになる可能性があるという証拠を提供します。

INTRODUCTION: To assist mental health care providers with the assessment of depression, research to develop a standardized, accessible, and non-invasive technique has garnered considerable attention. Our study focuses on the application of deep learning models for automatic assessment of depression severity based on clinical interview transcriptions. Despite the recent success of deep learning, the lack of large-scale high-quality datasets is a major performance bottleneck for many mental health applications. METHODS: A novel approach is proposed to address the data scarcity problem for depression assessment. It leverages both pretrained large language models and parameter-efficient tuning techniques. The approach is built upon adapting a small set of tunable parameters, known as prefix vectors, to guide a pretrained model towards predicting the Patient Health Questionnaire (PHQ)-8 score of a person. Experiments were conducted on the Distress Analysis Interview Corpus - Wizard of Oz (DAIC-WOZ) benchmark dataset with 189 subjects, partitioned into training, development, and test sets. Model learning was done on the training set. Prediction performance mean and standard deviation of each model, with five randomly-initialized runs, were reported on the development set. Finally, optimized models were evaluated on the test set. RESULTS: The proposed model with prefix vectors outperformed all previously published methods, including models which utilized multiple types of data modalities, and achieved the best reported performance on the test set of DAIC-WOZ with a root mean square error of 4.67 and a mean absolute error of 3.80 on the PHQ-8 scale. Compared to conventionally fine-tuned baseline models, prefix-enhanced models were less prone to overfitting by using far fewer training parameters (<6% relatively). DISCUSSION: While transfer learning through pretrained large language models can provide a good starting point for downstream learning, prefix vectors can further adapt the pretrained models effectively to the depression assessment task by only adjusting a small number of parameters. The improvement is in part due to the fine-grain flexibility of prefix vector size in adjusting the model's learning capacity. Our results provide evidence that prefix-tuning can be a useful approach in developing tools for automatic depression assessment.