MRCP（英国）パート1および2の統計等しい実装

背景：MRCP（英国）試験は、2008年と2010年の試験で、パート1およびパート2試験の標準設定を、ハイブリッドアンゴフ/ホフスティー方法からアイテム応答理論を使用して統計的等しく、参照グループが英国の卒業生です。本論文では、変化の実装、非uk候補者間で合格率が増加したかどうか、微分項目機能の可能性のある役割（DIF）、および変化後の検査予測妥当性の変化の問題を考慮しています。 方法：2003年から2013年までのMRCP（英国）パート1試験と2005年から2013年までのパート2試験のデータの分析。 結果：検査では、統計的等しい等式の導入後、パート1の合格率は安定していることが示唆されましたが、おそらくより強い候補者が以前に検査を受けたため、より大きな年間変動が示されました。等しく導入された後、非卒業生では合格率が増加したように見えましたが、統計的等式後のDIFの変化とは関連していませんでした。非UK卒業生の合格率の統計モデリングは、パート1とパート2の両方の合格率が年々増加しており、おそらく等量の導入前に変更が始まることがわかった。パート2のパート1の予測的妥当性は、以前のハイブリッドアンゴフ/ホフスティー法よりも統計的等しい等式で高く、IRTベースの統計的等化の有用性を確認しました。 結論：Statistical Equatingは、MRCP（UK）パート1およびパート2筆記試験に首尾よく導入され、以前のAngoff/Hofstee標準設定よりも予測的妥当性が高くなりました。同一視後の非uk候補者の合格率の人工的な増加に関する懸念は、十分に根拠がないことが示されました。ほとんどの場合、変化は、不明確な理由のためではありますが、候補者能力の真の増加から生じる可能性があります。これは、等しく開始された直後にステップ変化の印象を与える認知的幻想と相まってです。Statistical Equatingは、Angoffなどの判断技術よりも優れた理論的基盤を備えた堅牢な標準設定方法を提供し、より簡単であり、より有効な結果を提供するためにはるかに少ない審査官の時間が必要です。本研究は、統計的等しい等化を導入する詳細なケーススタディと、その導入で考慮する必要がある問題を提供します。

BACKGROUND: The MRCP(UK) exam, in 2008 and 2010, changed the standard-setting of its Part 1 and Part 2 examinations from a hybrid Angoff/Hofstee method to statistical equating using Item Response Theory, the reference group being UK graduates. The present paper considers the implementation of the change, the question of whether the pass rate increased amongst non-UK candidates, any possible role of Differential Item Functioning (DIF), and changes in examination predictive validity after the change. METHODS: Analysis of data of MRCP(UK) Part 1 exam from 2003 to 2013 and Part 2 exam from 2005 to 2013. RESULTS: Inspection suggested that Part 1 pass rates were stable after the introduction of statistical equating, but showed greater annual variation probably due to stronger candidates taking the examination earlier. Pass rates seemed to have increased in non-UK graduates after equating was introduced, but was not associated with any changes in DIF after statistical equating. Statistical modelling of the pass rates for non-UK graduates found that pass rates, in both Part 1 and Part 2, were increasing year on year, with the changes probably beginning before the introduction of equating. The predictive validity of Part 1 for Part 2 was higher with statistical equating than with the previous hybrid Angoff/Hofstee method, confirming the utility of IRT-based statistical equating. CONCLUSIONS: Statistical equating was successfully introduced into the MRCP(UK) Part 1 and Part 2 written examinations, resulting in higher predictive validity than the previous Angoff/Hofstee standard setting. Concerns about an artefactual increase in pass rates for non-UK candidates after equating were shown not to be well-founded. Most likely the changes resulted from a genuine increase in candidate ability, albeit for reasons which remain unclear, coupled with a cognitive illusion giving the impression of a step-change immediately after equating began. Statistical equating provides a robust standard-setting method, with a better theoretical foundation than judgemental techniques such as Angoff, and is more straightforward and requires far less examiner time to provide a more valid result. The present study provides a detailed case study of introducing statistical equating, and issues which may need to be considered with its introduction.