ニューカッスルオタワスケール：レビュアーの著者の評価を比較します

背景：方法論の詳細の適切な報告の欠如は、ランダム化比較試験でのバイアス評価のリスクを歪めることが以前に示されています。同じことが観察研究にも当てはまるかもしれません。この研究の目標は、インフルエンザに感染した患者の重度の結果のリスク要因に関する公開された系統的レビューに含まれるレビューアとコホート研究の著者との間のバイアスのリスクのニューカッスルオタワスケール（NOS）評価を比較することでした。 方法：系統的レビューに含まれ、2008年から2011年の間に公開されたコホート研究が含まれていました。対応する著者または最初の著者は、すべてのNOSアイテムをカバーする調査を完了しました。結果は、系統的レビューのレビュアーによって適用されたNOS評価と比較されました。評価者間の信頼性は、Kappa（K）統計を使用して計算されました。 結果：65/182（36％）の研究の著者は調査を完了しました。著者（中央値= 5、IQR 4-6）と比較して、レビュアーの評価（中央値= 6;四分位範囲[IQR] 6-6）の全体的なNOSスコアが有意に高かった（P <0.001）。アイテムによる評価者間の信頼性は、わずかな（k = 0.15、95％信頼区間[CI] = -0.19、0.48）から貧弱（k = -0.06、95％CI = -0.22、0.10）の範囲でした。全体的なスコアの信頼性は低かった（K = -0.004、95％CI = -0.11、0.11）。 結論：評価者と著者の間の評価と低い一致の違いは、系統的レビューでNOSを適用する際に研究に掲載されていない情報について著者に連絡する必要性を示唆しています。

BACKGROUND: Lack of appropriate reporting of methodological details has previously been shown to distort risk of bias assessments in randomized controlled trials. The same might be true for observational studies. The goal of this study was to compare the Newcastle-Ottawa Scale (NOS) assessment for risk of bias between reviewers and authors of cohort studies included in a published systematic review on risk factors for severe outcomes in patients infected with influenza. METHODS: Cohort studies included in the systematic review and published between 2008-2011 were included. The corresponding or first authors completed a survey covering all NOS items. Results were compared with the NOS assessment applied by reviewers of the systematic review. Inter-rater reliability was calculated using kappa (K) statistics. RESULTS: Authors of 65/182 (36%) studies completed the survey. The overall NOS score was significantly higher (p < 0.001) in the reviewers' assessment (median = 6; interquartile range [IQR] 6-6) compared with those by authors (median = 5, IQR 4-6). Inter-rater reliability by item ranged from slight (K = 0.15, 95% confidence interval [CI] = -0.19, 0.48) to poor (K = -0.06, 95% CI = -0.22, 0.10). Reliability for the overall score was poor (K = -0.004, 95% CI = -0.11, 0.11). CONCLUSIONS: Differences in assessment and low agreement between reviewers and authors suggest the need to contact authors for information not published in studies when applying the NOS in systematic reviews.