複数の医療システムと患者集団におけるデータ駆動型の実験の複製で学んだ教訓

電子健康記録は、研究のためのますます重要なデータソースであり、扱われているのと同じ集団に関する大規模な縦断的研究を可能にします。ただし、対照研究とは異なり、これらのデータの品質、量、および構造は大きく異なります。アルゴリズムがこれらのレコードから新しい知識を正確に明らかにすることができるかどうか、または調査結果を新しい集団に外挿することができるかどうかを知るために、それらを検証する必要があります。1つのアプローチは、複数のサイトで同じ研究を実施して結果を比較することですが、違いが医療プロセスのアーティファクト、使用された方法の障害によるものであるかどうかを判断することは課題です。この論文では、データ駆動型の実験を複製して、うっ血性心不全の考えられる原因と、2つの医療システムと2つの患者集団のデータを使用したタイミングを推測した結果について説明します。私たちは、このタイプの仕事、学んだ教訓、将来の研究のための推奨事項で直面している困難に焦点を当てています。

Electronic health records are an increasingly important source of data for research, allowing for large-scale longitudinal studies on the same population that is being treated. Unlike in controlled studies, though, these data vary widely in quality, quantity, and structure. In order to know whether algorithms can accurately uncover new knowledge from these records, or whether findings can be extrapolated to new populations, they must be validated. One approach is to conduct the same study in multiple sites and compare results, but it is a challenge to determine whether differences are due to artifacts of the medical process, population differences, or failures of the methods used. In this paper we describe the results of replicating a data-driven experiment to infer possible causes of congestive heart failure and their timing using data from two medical systems and two patient populations. We focus on the difficulties faced in this type of work, lessons learned, and recommendations for future research.