ブルームの分類法、審査員のアイテムの難易度の推定、および進行状況テストからのアイテムの心理測定特性との関係：前向き観察研究

背景：進捗テストは、連続したテストに基づいた学生の知識の縦断的評価です。特に、アイテムライターが生徒のパフォーマンスを過大評価する傾向があるため、テストの難易度のキャリブレーションは困難です。ブルームの分類法のレベル、テスト裁判官のテスト項目の難しさを予測する能力と、テスト項目の実際の心理測定特性との関係は十分に研究されていません。 目的：Angoff法の適応を通じて、Bloomの分類および裁判官の推定における分類に従って、アイテムの心理測定特性を調査する。 設計と設定：主にブラジルのサンパウロ州で、10の医学部に適用された進行状況テストでの生徒のパフォーマンスからの二次データを使用した前向き観察研究。 方法：進行状況テストで使用されるアイテムの予想された難易度と実際の難易度を比較しました。アイテムは、ブルームの分類法に従って分類されました。心理測定特性は、分類法と知識の分野に基づいて評価されました。 結果：専門家の期待とアイテムの本当の難易度との間に54％の一致がありました。簡単になると予想されていたアイテムには、中程度（p <0.05）または困難であると予想されるアイテムのそれよりも大幅に低い困難を意味しました（p <0.01）。高レベルの分類法を持つ項目は、低レベルの項目よりも高い識別指数を持っていました（p = 0.026）。難易度と差別の観点から、分野に大きな違いは見られませんでした。 結論：私たちの研究は、高レベルの分類法を持つ項目が差別指標でより良いパフォーマンスを発揮し、専門家のパネルがアイテムの難易度に関する一貫した推論を開発する可能性があることを実証しました。

BACKGROUND: Progress tests are longitudinal assessments of students' knowledge based on successive tests. Calibration of the test difficulty is challenging, especially because of the tendency of item-writers to overestimate students' performance. The relationships between the levels of Bloom's taxonomy, the ability of test judges to predict the difficulty of test items and the real psychometric properties of test items have been insufficiently studied. OBJECTIVE: To investigate the psychometric properties of items according to their classification in Bloom's taxonomy and judges' estimates, through an adaptation of the Angoff method. DESIGN AND SETTING: Prospective observational study using secondary data from students' performance in a progress test applied to ten medical schools, mainly in the state of São Paulo, Brazil. METHODS: We compared the expected and real difficulty of items used in a progress test. The items were classified according to Bloom's taxonomy. Psychometric properties were assessed based on their taxonomy and fields of knowledge. RESULTS: There was a 54% match between the panel of experts' expectations and the real difficulty of items. Items that were expected to be easy had mean difficulty that was significantly lower than that of items that were expected to be medium (P < 0.05) or difficult (P < 0.01). Items with high-level taxonomy had higher discrimination indices than low-level items (P = 0.026). We did not find any significant differences between the fields in terms of difficulty and discrimination. CONCLUSIONS: Our study demonstrated that items with high-level taxonomy performed better in discrimination indices and that a panel of experts may develop coherent reasoning regarding the difficulty of items.