標準化された多施設モック口頭試験：一般的な手術居住者のための実現可能で貴重な教育経験

はじめに：模擬口頭試験（MOE）は、住民を準備し、アメリカ外科委員会認定試験（ABSCE）の準備を評価するために使用されます。MOEの配信は機関によって異なり、以前の研究では、教員試験官や試験シナリオの利用可能性などの重要な実施障壁が実証されています。 目的：一般的な手術居住者の標準化された多施設MOEの価値と参加者の満足度を評価する。 参加者：33人の一般的な手術居住者と3人の機関の37人の教員が地域MOEに参加しました。住民は3回の20分間のセッションで検査されました。教員の試験官には、規定の試験シナリオの幅広い選択が与えられ、試験当日の短いオリエンテーション中に標準化されたグレーディングルーブリックを使用するように指示されました。すべての参加者は、全体的な経験について調査されました。 結果：33人の参加居住者のうち、26人（79％）がMOE（R5の92％、91％R4、R3の50％）に合格しました。回答率は、居住者で91％、教員の場合はそれぞれ57％でした。ほとんどの回答者は、試験の全体的な経験（88％）、標準化された質問の質（86％）、および質問の多様性（82％）に満足していました。回答者の合計92％は、MOEの時間、労力、費用が住民に対する教育的価値によって正当化されたことに同意しました。教員試験官によって割り当てられたより高い医療知識評価は、より強力な研修生のパフォーマンス（β= 0.48; 95％信頼区間[CI] 0.29-0.66）と相関していましたが、患者のケアと対人コミュニケーションスキル評価は研修生のパフォーマンスとは関連していませんでした。標準化されたグレーディングルーブリックは、70.6％の合意で審査官ペア間で中程度の評価者間信頼性を達成しました（Kappa 0.47）。 結論：一般的な手術居住者と教員は、標準化された多施設のMOEが非常に満足のいく教育経験と貴重な評価ツールであると認識しました。スクリプト化された試験シナリオのレパートリーを開発することで、十分な教員参加者を募集するために実行可能になり、評価者間信頼性を備えた一貫した試験体験が可能になりました。

INTRODUCTION: Mock oral examinations (MOE) are used to prepare residents and assess their readiness for the American Board of Surgery Certifying Exam (ABSCE). Delivery of MOEs varies by institution and previous studies have demonstrated significant implementation barriers such as availability of faculty examiners and exam scenarios. OBJECTIVE: To assess the value and participant satisfaction of a standardized multi-institutional MOE for general surgery residents. PARTICIPANTS: Thirty-three general surgery residents and 37 faculty members from 3 institutions participated in a regional MOE. Residents were examined in three 20-minute sessions. Faculty examiners were given a wide selection of prescripted exam scenarios and instructed to use standardized grading rubrics during a brief orientation on the day of the exam. All participants were surveyed on their overall experience. RESULTS: Of 33 participating residents, 26 (79%) passed the MOE (92% of R5, 91% R4, and 50% of R3). Response rates were 91% for residents, and 57% for faculty members respectively. Most respondents were satisfied with the overall exam experience (88%), standardized question quality (86%) and question variety (82%). A total of 92% of respondents agreed that the time, effort, and cost of the MOE was justified by its educational value to residents. Higher medical knowledge ratings assigned by faculty examiners correlated with stronger trainee performance (β = 0.48; 95% confidence interval [CI] 0.29-0.66), while patient care and interpersonal communication skill ratings were not associated with trainee performance. The standardized grading rubric achieved moderate inter-rater reliability among examiner pairs with 70.6% agreement (Kappa 0.47). CONCLUSIONS: General Surgery residents and faculty perceived the standardized multi-institutional MOE to be a highly satisfactory educational experience and valuable assessment tool. Developing a repertoire of scripted exam scenarios made it feasible to recruit sufficient faculty participants, and standardizing grading rubrics allowed for a consistent exam experience with moderate inter-rater reliability.