バイアスのリスク：メタ分析における研究レベルのモデレーター効果を検出するパワーのシミュレーション研究

背景：設計と実行の要因が対照試験のバイアスに関連していると信じる理論的および経験的な理由があります。治療効果の大きさに対する試行品質の影響など、統計的に有意なモデレーター効果は、個々のメタ分析ではめったに検出されず、メタエピディオロジカルデータセットからの証拠は一貫していません。理論と経験的観察の間の切断の理由は不明です。研究の目的は、メタ分析の研究レベルモデレーター効果を検出する力を探ることでした。 方法：Monte-Carloシミュレーションを使用してメタ分析を生成し、試行回数、試行サンプルサイズ、モデレーター効果サイズ、不均一性、およびモデレーター効果を検出する電力に対するモデレーター分布の効果を調査しました。このシミュレーションは、メタ回帰を計画する際に、調査員がパワーを推定するための参照ガイドを提供します。 結果：メタ分析のモデレーター効果を検出する力、たとえば、効果サイズに対する研究品質の効果は、データセットに存在する残留不均一性の程度（モデレーターによって説明されていないノイズ）によって主に決定されます。より大きな試行サンプルサイズは、残留不均一性が低い場合にのみパワーを増加させます。効果を検出するには、多数の試験または低い残留不均一性が必要です。モデレーターの割合が等しくない場合（たとえば、25％の「高品質」、75％の「低品質」トライアル）、調査されたシナリオでは80％のパワーがほとんど達成されませんでした。実質的な不均一性（I（2）= 92％、τ（2）= 0.285）を備えた経験的メタエピディオロジカルデータセットへの適用は、統計的に有意な結果を示すために、80％のパワーを示すために200> 200の試験が必要です。 結論：試験の質などの研究特性は、研究にわたる研究結果の不均一性のある程度の割合をメタ分析で説明するかもしれませんが、残留不均一性は、モデレーター変数と効果サイズ間の関連性を統計的に検出できる時期を決定する重要な要因です。モデレーター効果を検出するには、ほとんどの公開されている調査で採用されているよりも強力な分析が必要です。したがって、否定的な発見は、効果の欠如の証拠と見なされるべきではなく、電力計算が効果を検出するのに十分な能力が示されない限り、調査は仮説的なプロビングではありません。

BACKGROUND: There are both theoretical and empirical reasons to believe that design and execution factors are associated with bias in controlled trials. Statistically significant moderator effects, such as the effect of trial quality on treatment effect sizes, are rarely detected in individual meta-analyses, and evidence from meta-epidemiological datasets is inconsistent. The reasons for the disconnect between theory and empirical observation are unclear. The study objective was to explore the power to detect study level moderator effects in meta-analyses. METHODS: We generated meta-analyses using Monte-Carlo simulations and investigated the effect of number of trials, trial sample size, moderator effect size, heterogeneity, and moderator distribution on power to detect moderator effects. The simulations provide a reference guide for investigators to estimate power when planning meta-regressions. RESULTS: The power to detect moderator effects in meta-analyses, for example, effects of study quality on effect sizes, is largely determined by the degree of residual heterogeneity present in the dataset (noise not explained by the moderator). Larger trial sample sizes increase power only when residual heterogeneity is low. A large number of trials or low residual heterogeneity are necessary to detect effects. When the proportion of the moderator is not equal (for example, 25% 'high quality', 75% 'low quality' trials), power of 80% was rarely achieved in investigated scenarios. Application to an empirical meta-epidemiological dataset with substantial heterogeneity (I(2) = 92%, τ(2) = 0.285) estimated >200 trials are needed for a power of 80% to show a statistically significant result, even for a substantial moderator effect (0.2), and the number of trials with the less common feature (for example, few 'high quality' studies) affects power extensively. CONCLUSIONS: Although study characteristics, such as trial quality, may explain some proportion of heterogeneity across study results in meta-analyses, residual heterogeneity is a crucial factor in determining when associations between moderator variables and effect sizes can be statistically detected. Detecting moderator effects requires more powerful analyses than are employed in most published investigations; hence negative findings should not be considered evidence of a lack of effect, and investigations are not hypothesis-proving unless power calculations show sufficient ability to detect effects.