救急医療訓練における評価の評価

目的：毎年150万人以上の医療専門家が救急医療コースに参加しています。患者の高い利害関係と関連する広範なリソースにもかかわらず、評価の質に関する証拠はほとんど存在しません。この研究の目的は、救急医療スキルの評価において一般的に使用される形式の妥当性と信頼性を評価することでした。 方法：2週間の緊急事態コースの終わりに住民が評価されました。サブグループはビデオ録画されました。心理測定分析を実施して、チェックリスト、9項目のコンピテンシースケール、グローバルパフォーマンススケールを含む評価機器の評価と評価者間の信頼性を評価しました。 結果：144人の居住者と12人の評価者のグループが研究に参加しました。22人の居住者がビデオ録画され、8人の評価者によって再評価されました。チェックリストは、「正しい」および「タイムリー」（ICC = .30および.39）の寸法の妥当性が限られていることと評価者間信頼性が低いことを示しました。コンピテンシースケールには、臨床サブスケールと通信サブスケールで構成される良好な構成妥当性がありました。（サブ）スケールの内部一貫性は高かった（α= .93/.91/.86）。評価者間の信頼性は、臨床コンピテンシーサブスケール（.49）およびグローバルパフォーマンススケール（.50）では中程度でしたが、通信サブスケール（.27）では貧弱でした。一般化可能性の調査では、信頼できる評価には、チェックリストを使用する場合は5〜13人の評価者が必要であり、臨床能力スケールまたはグローバルパフォーマンススケールを使用する場合は4人が必要であることが示されました。 結論：この研究は、チェックリストで緊急スキルを評価するための妥当性と信頼性が低いことを示していますが、臨床能力またはグローバルなパフォーマンススケールでは、良好な妥当性と中程度の信頼性を示しています。より多くの評価者を巻き込むことは、信頼性を大幅に向上させることができます。このハイステークススキル評価を改善するための推奨事項が作成されています。

OBJECTIVE: Each year over 1.5 million health care professionals attend emergency care courses. Despite high stakes for patients and extensive resources involved, little evidence exists on the quality of assessment. The aim of this study was to evaluate the validity and reliability of commonly used formats in assessing emergency care skills. METHODS: Residents were assessed at the end of a 2-week emergency course; a subgroup was videotaped. Psychometric analyses were conducted to assess the validity and inter-rater reliability of the assessment instrument, which included a checklist, a 9-item competency scale and a global performance scale. RESULTS: A group of 144 residents and 12 raters participated in the study; 22 residents were videotaped and re-assessed by 8 raters. The checklists showed limited validity and poor inter-rater reliability for the dimensions "correct" and "timely" (ICC = .30 and.39 resp.). The competency scale had good construct validity, consisting of a clinical and a communication subscale. The internal consistency of the (sub)scales was high (α = .93/.91/.86). The inter-rater reliability was moderate for the clinical competency subscale (.49) and the global performance scale (.50), but poor for the communication subscale (.27). A generalizability study showed that for a reliable assessment 5-13 raters are needed when using checklists, and four when using the clinical competency scale or the global performance scale. CONCLUSIONS: This study shows poor validity and reliability for assessing emergency skills with checklists but good validity and moderate reliability with clinical competency or global performance scales. Involving more raters can improve the reliability substantially. Recommendations are made to improve this high stakes skill assessment.