Raschモデル分析は、アイテムの特性を評価するための小さなサンプルサイズのパイロット研究に適用されますか？Promis Pain Behaviorアイテムバンクデータを使用した例

目的：Raschモデルが堅牢なアイテムパラメーターの推定値を取得するには、一般に、大きなサンプルが必要であると考えられています。最近、アイテムの心理測定特性の予備評価として、小さなサンプルラッシュ分析が提案されました。この研究は、小さなサンプルサイズを使用してラッシュ分析結果を評価するためです。 方法：10個のプロモーション疼痛行動項目が使用されました。30、50、100、および250のランダムサンプル、および30のターゲットサンプルは、合計800人の被験者からそれぞれ10倍描画されました。これらの各サンプルと完全なサンプルに対してRasch分析が実施されました。 結果：完全なサンプルでは、​​極端なスコアの104例、ヌルカテゴリ、2つの誤って注文されたアイテム、および4つのMISFITアイテムがありました。250、100、50、30、およびターゲット30のサンプルの場合、極端なスコアの平均数は42.2、17.1、9.6、6.1、および1.2でした。ヌルカテゴリの平均数は1.0、3.2、8.7、13.4、および8.3でした。誤って注文されたアイテムパラメーターを持つアイテムの平均数は、0.1、0.8、2.9、4.7、および3.7でした。また、±2.5を超えるFIT残差があるアイテムの平均数は、それぞれ0.8、0.3、0.1、0.2、および0.3でした。 結論：小さなサンプル（50以下）に基づくRasch分析では、大きなサンプル（100以上）よりも誤って順序付けられたパラメーターを持つアイテムの数が多く識別されました。ただし、誤った適合として特定されたアイテムは少なくなりました。小さなサンプルの結果は、より大きなサンプルに基づいたサンプルからの反対の結論をもたらしました。小さなサンプルに基づくRasch分析は、極端に注意して探索的な目的で使用する必要があります。

PURPOSE: Large samples are generally considered necessary for Rasch model to obtain robust item parameter estimates. Recently, small sample Rasch analysis was suggested as preliminary assessment of items' psychometric properties. This study is to evaluate the Rasch analysis results using small sample sizes. METHODS: Ten PROMIS pain behavior items were used. Random samples of 30, 50, 100, and 250, and a targeted sample of 30 were drawn 10 times each from a total of 800 subjects. Rasch analysis was conducted for each of these samples and the full sample. RESULTS: In the full sample, there were 104 cases of extreme scores, no null categories, two incorrectly ordered items, and four misfit items. For samples of 250, 100, 50, 30, and targeted 30, the average numbers of extreme scores were 42.2, 17.1, 9.6, 6.1, and 1.2; the average numbers of null categories were 1.0, 3.2, 8.7, 13.4, and 8.3; the average numbers of items with incorrectly ordered item parameters were 0.1, 0.8, 2.9, 4.7, and 3.7; and the average numbers of items with fit residuals exceeding ± 2.5 were 0.8, 0.3, 0.1, 0.2, and 0.3, respectively. CONCLUSIONS: Rasch analysis based on small samples (≤ 50) identified a greater number of items with incorrectly ordered parameters than larger samples (≥ 100). However, fewer items were identified as misfitting. Results from small samples led to opposite conclusions from those based on larger samples. Rasch analysis based on small samples should be used for exploratory purposes with extreme caution.