デジタルRuffの比flu的流encyテスト（RFFT）の妥当性と信頼性

背景：Ruff Figalural Fluency Test（RFFT）は、有効だが時間のかかる労働集約的な認知紙と鉛筆テストです。iPadおよびApple PencilおよびRFFTスコアを使用して独立して実施できるデジタルRFFTが開発されました。このデジタルRFFTの妥当性と信頼性を調査しました。 方法：参加者をデジタルまたは紙と鉛筆のRFFTにランダムに割り当てました。最初のテストの後、他のテストがすぐに実行されました（クロスオーバー）。参加者は、1週間後に2回目のデジタルRFFTに招待されました。デジタルRFFTの場合、（自動）アルゴリズムと2人の独立した評価者（Criterion Standard）が、一意の設計（UD）と忍耐エラー（PE）の数を評価しました。これらの評価者は、紙と鉛筆のRFFTも評価しました。クラス内相関係数（ICC）、感度、特異性、％アグリーメント、カッパ、およびブランド・アルトマンプロットを使用しました。 結果：94人の参加者（平均（SD）年齢39.9（14.8）、73.4％のフォローアップ）が含まれていました。デジタルRFFTの平均（SD）UDおよび中央値（IQR）PEは、それぞれ84.2（26.0）と4（2-7.3）でした。デジタルRFFTの手動スコアリングと自動スコアリングの間の一致は、UD（ICC = 0.99、95％CI 0.98、0.99、感度= 0.98;特異性= 0.96）およびPE（ICC = 0.99、95％CI 0.98、0.99;感度=0.90、特異性= 1.00）、優れた基準の妥当性を示しています。自動スコアリングと手動スコアリングの間には、UDの小さいが有意な違いが見つかりました（平均差：-1.12、95％CI -1.92、-0.33）。デジタルおよび紙と鉛筆のRFFTは、UD（ICC = 0.73、95％CI 0.34、0.87）で中程度の合意を持ち、PE（ICC = 0.47、95％CI 0.30、0.62）の合意が不十分でした。参加者は、紙と鉛筆のRFFTよりもデジタルのUDが少ない（平均差：-7.09、95％CI -11.80、-2.38）。デジタルRFFTのUDの数は、高等教育（スピアマンのr = 0.43、p <0.001）、および若い年齢（ピアソンのr = -0.36、p <0.001）に関連しており、異なる年齢のカテゴリとレベルを区別する能力を示しています。教育の。テストと再テストの信頼性は中程度でした（ICC = 0.74、95％CI 0.61、0.83）。 結論：デジタルRFFTの自動スコアリングには、優れた基準と収束妥当性があります。デジタルRFFTと紙と鉛筆のRFFTと中程度のテストと再テストの信頼性の間には低い一致がありました。これは、学習効果によって説明できます。デジタルRFFTは、一般集団の間で幹部認知機能を測定するための有効で信頼できる手段であり、大規模な研究では紙と鉛筆のRFFTに代わる実現可能な代替手段です。ただし、そのスコアは、紙と鉛筆のRFFTスコアと同じ意味で使用することはできません。

BACKGROUND: The Ruff Figural Fluency Test (RFFT) is a valid but time-consuming and labour-intensive cognitive paper-and-pencil test. A digital RFFT was developed that can be conducted independently using an iPad and Apple Pencil and RFFT scores are computed automatically. We investigated the validity and reliability of this digital RFFT. METHODS: We randomly allocated participants to the digital or paper-and-pencil RFFT. After the first test, the other test was performed immediately (cross-over). Participants were invited for a second digital RFFT 1 week later. For the digital RFFT, an (automatic) algorithm and two independent raters (criterion standard) assessed the number of unique designs (UD) and perseverative errors (PE). These raters also assessed the paper-and-pencil RFFT. We used Intraclass correlation coefficients (ICC), sensitivity, specificity, %-agreement, Kappa, and Bland-Altman plots. RESULTS: We included 94 participants (mean (SD) age 39.9 (14.8), 73.4% follow-up). Mean (SD) UD and median (IQR) PE of the digital RFFT were 84.2 (26.0) and 4 (2-7.3), respectively. Agreement between manual and automatic scoring of the digital RFFT was high for UD (ICC = 0.99, 95% CI 0.98, 0.99, sensitivity = 0.98; specificity = 0.96) and PE (ICC = 0.99, 95% CI 0.98, 0.99; sensitivity = 0.90, specificity = 1.00), indicating excellent criterion validity. Small but significant differences in UD were found between the automatic and manual scoring (mean difference: - 1.12, 95% CI - 1.92, - 0.33). Digital and paper-and-pencil RFFT had moderate agreement for UD (ICC = 0.73, 95% CI 0.34, 0.87) and poor agreement for PE (ICC = 0.47, 95% CI 0.30, 0.62). Participants had fewer UD on the digital than paper-and-pencil RFFT (mean difference: - 7.09, 95% CI - 11.80, - 2.38). The number of UD on the digital RFFT was associated with higher education (Spearman's r = 0.43, p < 0.001), and younger age (Pearson's r = - 0.36, p < 0.001), showing its ability to discriminate between different age categories and levels of education. Test-retest reliability was moderate (ICC = 0.74, 95% CI 0.61, 0.83). CONCLUSIONS: The automatic scoring of the digital RFFT has good criterion and convergent validity. There was low agreement between the digital RFFT and paper-and-pencil RFFT and moderate test-retest reliability, which can be explained by learning effects. The digital RFFT is a valid and reliable instrument to measure executive cognitive function among the general population and is a feasible alternative to the paper-and-pencil RFFT in large-scale studies. However, its scores cannot be used interchangeably with the paper-and-pencil RFFT scores.