Robins-Iツールを自然実験に適用する：公衆衛生の例

背景：介入の非ランダム化研究（Robins-I）におけるバイアスのリスクを評価する新しいツールは、2016年秋に公開されました。Robins-Iは、コクランが承認したバイアス（ROB）アプローチのリスクを使用し、内部の妥当性に焦点を当てています。そのため、Robins-Iは、公衆衛生研究者を含む非ランダム化研究（NRS）を含む系統的レビューを実施する人々にとって重要な発展を表しています。私たちは、非臨床的公衆衛生の自然実験を評価したNRSのグループを使用して、Robins-Iの適用性を確立することを目指しました。 方法：5人の研究者は、全員が非ランダム化研究の重要な評価を経験していましたが、Robins-Iを使用して、国内のエネルギー効率介入の健康への影響を評価した5つの研究でバイアスのリスクを独立して評価しました。各研究のRobins-I評価はデータベースに入力され、グループ全体でコンセンサスをチェックしました。グループディスカッションは、特定の質問とバイアスドメインのコンセンサスの欠如を支える理由を特定するために使用されました。 結果：Robins-Iは、NRSのバイアスの原因を体系的に明確にするのを助けました。ただし、7つのバイアスドメインすべての評価におけるコンセンサスの欠如は、自然実験研究に対するRobins Iの信頼性と適用性についての疑問を提起しました。少ないコンセンサスの2つのロブドメインは、選択（ドメイン2）とパフォーマンス（ドメイン4）でした。コンセンサスの欠如の根底にあるのは、研究に対する関心のあるプロトコル効果を治療する意図を適用するのが困難でした。これは、介入状態がフォローアップ時に遡及的に分類されたかどうか、つまり事後に分類されたかどうかを判断する際の困難に関連していました。バイアスの全体的なリスクは、中程度から重要な範囲でした。これは、交絡因子の評価に最も密接に関連していました。 結論：Robins-Iツールは、反事実によるバイアスのリスクに焦点を当てた概念的に厳密なツールです。Robins-Iを適用することの難しさは、自然実験の評価の設計と報告が不十分だった可能性があります。報告の質は将来改善される可能性がありますが、自然実験からの既存の証拠を適切かつ一貫して評価できるようにするには、Robins-Iの適用に関するガイダンスの改善が必要です。Robinsの将来の改良が、ここで提起されたいくつかの問題に対処するために、ツールをより広く使用できることを願っています。

BACKGROUND: A new tool to assess Risk of Bias In Non-randomised Studies of Interventions (ROBINS-I) was published in Autumn 2016. ROBINS-I uses the Cochrane-approved risk of bias (RoB) approach and focusses on internal validity. As such, ROBINS-I represents an important development for those conducting systematic reviews which include non-randomised studies (NRS), including public health researchers. We aimed to establish the applicability of ROBINS-I using a group of NRS which have evaluated non-clinical public health natural experiments. METHODS: Five researchers, all experienced in critical appraisal of non-randomised studies, used ROBINS-I to independently assess risk of bias in five studies which had assessed the health impacts of a domestic energy efficiency intervention. ROBINS-I assessments for each study were entered into a database and checked for consensus across the group. Group discussions were used to identify reasons underpinning lack of consensus for specific questions and bias domains. RESULTS: ROBINS-I helped to systematically articulate sources of bias in NRS. However, the lack of consensus in assessments for all seven bias domains raised questions about ROBINS-I's reliability and applicability for natural experiment studies. The two RoB domains with least consensus were selection (Domain 2) and performance (Domain 4). Underlying the lack of consensus were difficulties in applying an intention to treat or per protocol effect of interest to the studies. This was linked to difficulties in determining whether the intervention status was classified retrospectively at follow-up, i.e. post hoc. The overall risk of bias ranged from moderate to critical; this was most closely linked to the assessment of confounders. CONCLUSION: The ROBINS-I tool is a conceptually rigorous tool which focusses on risk of bias due to the counterfactual. Difficulties in applying ROBINS-I may be due to poor design and reporting of evaluations of natural experiments. While the quality of reporting may improve in the future, improved guidance on applying ROBINS-I is needed to enable existing evidence from natural experiments to be assessed appropriately and consistently. We hope future refinements to ROBINS-I will address some of the issues raised here to allow wider use of the tool.