歯科能力試験におけるカットオフスコアの信頼性を向上させる方法：標準設定における評価方法の比較

目的：この研究の目的は、2つの異なる評価方法、はい/いいえとパーセンテージメソッドを経験的に比較することにより、歯科教育でハイステークの決定を下すために通常使用されるカットオフスコアの信頼性を改善する方法を見つけることでした。 材料と方法：Angoffの方法が適用されると、2つの評価方法が一般的に使用され、試験者を最小限の有能なグループ（PASS）および無能なグループ（失敗）に分割するカットオフスコアを決定します。エキスパートパネルデータは、それぞれ2年連続で11〜13人のパネルメンバーの両方の方法を使用して収集されました。データは、Cuttoff Scoresのばらつき、測定の標準誤差、およびパネル契約の変動に関する各要因（例：パネル、アイテム、評価ラウンドなど）の相対的な影響を定量化するために、一般化可能性理論フレームワーク内で分析されました。 結果：結果は、（a）2つの方法が大学の上級学生の全体的な成功率に大きな違いをもたらす可能性があることを示唆しています。（b）アイテム関連の分散コンポーネントは一般に大きく、評価者関連の分散コンポーネントは小さい一方で、（c）エキスパンの断続的なパネルが増加するにつれて、エキスパンの数が増加します。両方の年のパネル。この結果は、標準的な設定プラクティスとパネルデータ分析に関して、最終的なコンピテンシー試験とカットオフスコアの品質を制御する努力をする歯科教育者に実用的なガイドラインを提供します。 結論：パーセンテージメソッドの評価は、学校でのコンピテンシーテストのカットオフスコアを決定するために基準が参照された評価を適用した場合、はい/いいえの方法を持つものと比較して、より信頼性の高い結果をもたらすと結論付けることができます。

AIM: The aim of this study was to find ways to improve reliability of cut-off scores that are typically used to make high-stake decisions in dental education by empirically comparing two different rating methods, Yes/No and Percentage methods. MATERIAL AND METHODS: The two rating methods are commonly used when the Angoff's method is applied to determine a cut-off score that divides the examinees into minimally competent group (pass) and incompetent group (fail). The expert panel data were collected using both methods from 11 to 13 panel members in two consecutive years, respectively; The data were analysed within the generalisability theory framework to quantify relative influences of each factor (eg panel, item, rating rounds) on the variability of cut-off scores, standard error of measurement and panel agreement. RESULTS: The results suggest that (a) the two methods can make a substantial difference in overall success rates for college senior students, (b) item-related variance components are generally large and whilst rater-related variance components are small, (c) standard errors of measurement for the cut-off scores decreased from Cohort 1 to Cohort 2 as the number of items are increased and as the expert panel members are more trained and (d) the Percentage method yielded higher agreement amongst the panel in both years. The results provide practical guidelines for dental educators who make efforts to control the quality of final competency exams and cut-off scores with respect to standard setting practices and panel data analysis. CONCLUSION: It can be concluded that evaluations with Percentage method results in more reliable outcomes compared to those with Yes/No method when criterion-referenced assessment is applied to determine the cut-off scores of competency tests at schools.