グレースチェックリスト：比較有効性の高品質の観察研究のための検証済みの評価ツール

背景：現実世界の集団における治療有効性に関する堅牢な証拠の必要性の高まりを認識して、比較有効性（GRACE）ガイドラインの良い研究は、どの研究が健康技術評価で使用するのに十分に信頼できるのに十分に厳密であるかを決定するために、比較効果の非介入研究のために開発されました。 目的：Grace Checklistのどの側面が品質の認識に最も強く貢献するかを評価する。 方法：2001年から2010年に発行された28の観察的比較有効性記事を組み立て、薬物、医療機器、および医療処置の治療の有効性と安全性を比較しました。アカデミア、製薬会社、および政府機関の22人のボランティアが、これらの記事にGraceチェックリストを適用し、56の評価を提供しました。10人の上級学術および業界の専門家が、意思決定支援を目的として、全体的な記事の品質の評価を提供しました。また、記事が公開されたジャーナルの年間引用と影響要因の数に基づいて、各記事を評価しました。品質、分類および回帰ツリー（CART）分析を最も予測するチェックリスト項目を特定するために、バイナリ、再帰、分割方法論を使用して3つの決定ツリーを作成しました。これは、56の記事評価と3つの外部品質の結果を比較しました。4番目の木は、3つの品質指標すべての複合結果を調べました。 結果：品質の最良の予測因子には、次のものが含まれます。同時コンパレータの使用、研究薬の新しいイニシエーター、研究グループの結果の同等の測定、すべての既知の交絡因子または効果修飾因子のデータを収集し、分析における不滅の時間バイアスを考慮し、さまざまな仮定に応じて感受性分析を使用することを検討します。感度分析のみが、4本すべての木の品質の予測因子として一貫して現れました。3つの品質測定の複合結果が使用された場合、Graceチェックリストは高い感度と特異性を示しました（それぞれ71.43％と80.95％）。 結論：Graceチェックリストは、その広範な検証努力のために、他のコンセンサス主導型および専門家のガイダンス文書から際立っています。この最新の作業は、チェックリストが強い感度と特異性を持ち、意思決定支援のための詳細なレビューと適用性に値する高品質の観察的比較有効性の研究を特定するためのスクリーニングツールとしての有用性を高めることを示しています。 開示：外部の資金がこの研究をサポートしていませんでした。すべての著者は、バイオ医薬品業界に研究およびコンサルティングサービスを提供するQuintilesのフルタイムの従業員です。著者には、報告する他の開示はありません。3つのカートツリーのうち2つは、2015年に国際薬物脂肪流体学会で発表されました（「年間の記事の引用」および「ジャーナルインパクトファクター」）。元の検証調査は、Journal of Managed Care＆Specialty Pharmacyの2014年3月号に掲載されました。チェックリストの質問とスコアリングは、2014年にこのジャーナルによって最初に公開されたテーブルを使用して含まれていました。研究のコンセプトとデザインは、主にBryantとともにDreyerとVelentgasによって寄稿されました。ブライアントは、DreyerとVelentgasとともにデータ収集と分析を主導し、Dreayer、Velentgas、およびBryantによってデータ解釈が行われました。原稿は、ブライアントとベレンガスとともに、主にドレイヤーによって書かれ、改訂されました。

BACKGROUND: Recognizing the growing need for robust evidence about treatment effectiveness in real-world populations, the Good Research for Comparative Effectiveness (GRACE) guidelines have been developed for noninterventional studies of comparative effectiveness to determine which studies are sufficiently rigorous to be reliable enough for use in health technology assessments. OBJECTIVE: To evaluate which aspects of the GRACE Checklist contribute most strongly to recognition of quality. METHODS: We assembled 28 observational comparative effectiveness articles published from 2001 to 2010 that compared treatment effectiveness and/or safety of drugs, medical devices, and medical procedures. Twenty-two volunteers from academia, pharmaceutical companies, and government agencies applied the GRACE Checklist to those articles, providing 56 assessments. Ten senior academic and industry experts provided assessments of overall article quality for the purpose of decision support. We also rated each article based on the number of annual citations and impact factor of the journal in which the article was published. To identify checklist items that were most predictive of quality, classification and regression tree (CART) analysis, a binary, recursive, partitioning methodology, was used to create 3 decision trees, which compared the 56 article assessments with 3 external quality outcomes: (1) expert assessment of overall quality, (2) citation frequency, and (3) impact factor. A fourth tree looked at the composite outcome of all 3 quality indicators. RESULTS: The best predictors of quality included the following: use of concurrent comparators, limiting the study to new initiators of the study drug, equivalent measurement of outcomes in study groups, collecting data on most if not all known confounders or effect modifiers, accounting for immortal time bias in the analysis, and use of sensitivity analyses to test how much effect estimates depended on various assumptions. Only sensitivity analyses appeared consistently as a predictor of quality in all 4 trees. When a composite outcome of the 3 quality measures was used, the GRACE Checklist showed high sensitivity and specificity (71.43% and 80.95%, respectively). CONCLUSIONS: The GRACE Checklist stands out from other consensus-driven and expert guidance documents because of its extensive validation efforts. This most recent work shows that the checklist has strong sensitivity and specificity, increasing its utility as a screening tool to identify high-quality observational comparative effectiveness research worthy of in-depth review and applicability for decision support. DISCLOSURES: No outside funding supported this research. All authors are full-time employees of Quintiles, which provides research and consulting services to the biopharmaceutical industry. The authors have no other disclosures to report. Two of the 3 CART trees were presented at the International Society of Pharmacepidemiology in 2015 ("Article Citations per Year" and "Journal Impact Factor"). The original validation study was published in the March 2014 issue of the Journal of Managed Care & Specialty Pharmacy. The checklist questions and scoring were included using a table that was originally published by this journal in 2014. Study concept and design were primarily contributed by Dreyer and Velentgas, along with Bryant. Bryant took the lead in data collection and analysis, along with Dreyer and Velentgas, and data interpretation was performed by Dreyer, Velentgas, and Bryant. The manuscript was written and revised primarily by Dreyer, along with Bryant and Velentgas.