Loess Smoothersを使用したロジスティック回帰モデルの内部および外部キャリブレーションのグラフィカル評価

生物医学研究では、バイナリの結果または状態が発生する可能性を予測することが重要です。差別の評価は、バイナリ予測モデルの開発と検証に不可欠な問題ですが、モデルのキャリブレーションを評価する方法にはあまり注意が払われていません。キャリブレーションとは、観測された確率と予測された確率の間の一致の程度を指し、しばしば適合不足のテストによって評価されます。私たちの研究の目的は、ロジスティック回帰モデルのキャリブレーションを評価するグラフィカルな方法の能力を調べることでした。ロジスティック回帰モデルの誤りの誤りに関連する内部キャリブレーションの欠如と、過剰FITモデルまたは線形予測因子の収縮に関連する外部キャリブレーションを調べました。モデルのキャリブレーションを評価するグラフィカルな方法の能力を調べるために、局所重みの最小二乗回帰（つまり、LOESSアルゴリズム）を使用して、モンテカルロシミュレーションの広範なセットを実施しました。Loessベースの方法は、直線性からの中程度の逸脱の証拠を提供し、適度に強い相互作用の省略を示すことができることがわかりました。リンク関数の誤った指定は、検出が困難でした。視覚パターンは、サンプルサイズが高く、結果の発生率が高い、または識別が高いため、視覚パターンはより明確でした。LOESSベースの方法は、オーバーフィット回帰モデルが使用されていたときに、外部検証サンプルのキャリブレーションの欠如を特定することもできました。結論として、LOESSベースのスムージング方法は、キャリブレーションとより広いアプリケーションに値する適切なツールです。

Predicting the probability of the occurrence of a binary outcome or condition is important in biomedical research. While assessing discrimination is an essential issue in developing and validating binary prediction models, less attention has been paid to methods for assessing model calibration. Calibration refers to the degree of agreement between observed and predicted probabilities and is often assessed by testing for lack-of-fit. The objective of our study was to examine the ability of graphical methods to assess the calibration of logistic regression models. We examined lack of internal calibration, which was related to misspecification of the logistic regression model, and external calibration, which was related to an overfit model or to shrinkage of the linear predictor. We conducted an extensive set of Monte Carlo simulations with a locally weighted least squares regression smoother (i.e., the loess algorithm) to examine the ability of graphical methods to assess model calibration. We found that loess-based methods were able to provide evidence of moderate departures from linearity and indicate omission of a moderately strong interaction. Misspecification of the link function was harder to detect. Visual patterns were clearer with higher sample sizes, higher incidence of the outcome, or higher discrimination. Loess-based methods were also able to identify the lack of calibration in external validation samples when an overfit regression model had been used. In conclusion, loess-based smoothing methods are adequate tools to graphically assess calibration and merit wider application.