健康技術評価モデルの回避と識別モデル：定性的研究と方法論的レビュー

背景: 医療政策の決定は、関連性があり、証拠に基づいており、透明性がなければなりません。意思決定分析モデリングはこのプロセスをサポートしますが、その役割はその信頼性に依存します。数学的意思決定モデルやシミュレーション演習におけるエラーは避けられませんが、モデル開発のプロセスにはほとんど注意が払われてきませんでした。多数のエラー回避/特定戦略を採用できますが、最初にエラーの種類と原因を理解することなく、モデルの信頼性を向上させる戦略のメリットを評価することは困難です。目的: この研究は、HTA モデリング コミュニティにおけるエラーの現在の理解を説明し、モデル エラーの分類を作成することを目的としています。 4 つの主な目的は次のとおりです。(1) HTA モデリングにおけるエラーについての現在の理解を説明する。 (2) 開発におけるエラーを回避し、デバッグし、モデルのエラーを批判的に評価するために技術評価コミュニティによって適用されている現在のプロセスを理解する。 (3) HTA モデラーのモデル エラーの認識と、HTA 以外の広範な文献を使用して、モデル エラーの分類を作成します。 (4) モデル内のエラーの発生を減らすための潜在的な方法と手順を調査します。また、HTA コミュニティ内で働く実務者が認識しているモデル開発プロセスについても説明します。データソース: 反復検索方法を使用して方法論的なレビューが行われました。探索的な調査により、インタビューの範囲が明らかになりました。その後の調査では、インタビューから生じた問題に焦点が当てられました。調査は 2008 年 2 月と 2009 年 1 月に実施されました。学術および商業モデリング部門の 12 人の HTA モデラーに対して詳細な定性インタビューが実施されました。レビュー方法: すべての定性データはフレームワーク アプローチを使用して分析されました。記述的かつ説明的な説明は、組織、役割、コミュニケーションなどのテーマやサブテーマ内およびそれらを横断してデータを調査するために使用されました。モデル開発プロセス。エラーの定義。モデルエラーの種類。エラーを回避するための戦略。エラーを特定するための戦略。そして障壁と促進者。結果: モデリングエラーに関する議論には共通言語がなく、何がエラーを構成するかの認識された境界には一貫性がありませんでした。モデルエラーの定義については、判断事項をエラーから除外し、「失策」や「失策」に焦点を当てる傾向が見られたが、モデルエラーの種類に関する議論では、失言や失態に関する議論は20％未満にとどまった。エラー。インタビュー対象者は、ディスカッションの 70% を、意思決定の質問を定義するプロセスと概念モデリングのよりソフトな要素、主に判断力、スキル、経験、トレーニングの領域に費やしました。当初の焦点はモデルのエラーに関するものでしたが、モデリングのリスクについて言及する方が有益かもしれません。インタビュー対象者数名が検証と検証の概念について議論し、その解釈には顕著な一貫性がありました。検証とは、コンピュータ モデルが意図したモデルを正しく実装していることを確認するプロセスを意味するのに対し、検証はモデルが目的に適合していることを確認するプロセスを意味します。モデルの検証と検証に関する方法論的な文献では解釈学の哲学的立場が参照されており、モデル検証の概念が意思決定者や意思決定プロセスから外部化されるべきではないことが強調されています。インタビュー対象者は、文献で特定されたすべての主要なエラー タイプの例を示しました。意思決定の問題の説明、モデルの構造、証拠の使用、モデルの実装、モデルの操作、結果の表示と理解におけるエラーです。 。 HTA エラー分類は、文献にあるモデル エラーの既存の分類と比較されました。現在、HTA モデルのエラーを回避するために、さまざまな技術とプロセスが使用されています。つまり、臨床専門家、顧客、意思決定者と協力して相互理解を確実にし、提案されたモデルの書面による文書の作成、明示的な概念モデリング、専門家とのスケルトン モデルのステップ実行、レポートの透明性を確保し、標準的なハウスキーピング手法を採用し、モデル開発プロセスに関与する関係者が十分かつ適切なトレーニングを受けていることを保証します。明確さと相互理解が重要な問題として特定されました。ただし、現在の実装は、複雑な問題を構造化するための全体的な戦略内に組み込まれていません。制限: 一部の質問では、インタビュー対象者の回答に偏りがあった可能性がありますが、分析にはすべてのインタビュー対象者が含まれていたため、レポートのバランスを調整する必要はないと考えられました。文献レビューの潜在的な弱点は、特にモデル開発ではなく、スプレッドシートとプログラム開発に焦点を当てていることでした。また、広範な検索が行われたにもかかわらず、プログラミング エラーに関して特定された文献は非常に限られていたことにも注意する必要があります。結論: 概念モデルの検証、コンピュータ モデルの検証、現実世界の問題に対処する際のモデルの使用の運用上の妥当性からなる全体的なモデルの妥当性に関する公開された定義は、HTA コミュニティによって表明された見解と一致しているため、次のように推奨されます。モデルの信頼性についてさらに議論するための基礎となります。このような議論では、実施の誤り、判断上の誤り、違反などのリスクに焦点を当てる必要があります。モデリングのリスクに関する議論は、モデルのエラーにつながる潜在的に複雑な認知機能の低下のネットワークを反映する必要があり、ヒューマンエラーの認知基盤に関する既存の研究がモデリングエラーの調査に含まれる必要があります。 HTA モデルの開発、運用、使用に必要なスキルについて理解を深める必要があります。モデルの相互理解を促進するモデラーとクライアント間の対話により、そのモデルの重要性とその保証が確立されます。これは、モデルの信頼性がモデルを使用する意思決定者にとっての中心的な関心事であるため、モデル検証の概念が意思決定者や意思決定プロセスから外部化されないことが重要であることを強調しています。将来の研究に対する推奨事項は、検証と検証の研究です。モデル開発プロセス。エラーの発生を防止し、モデル内のエラーの識別を改善することを目的とした、モデリング プロセスへの変更の識別。

BACKGROUND: Health policy decisions must be relevant, evidence-based and transparent. Decision-analytic modelling supports this process but its role is reliant on its credibility. Errors in mathematical decision models or simulation exercises are unavoidable but little attention has been paid to processes in model development. Numerous error avoidance/identification strategies could be adopted but it is difficult to evaluate the merits of strategies for improving the credibility of models without first developing an understanding of error types and causes. OBJECTIVES: The study aims to describe the current comprehension of errors in the HTA modelling community and generate a taxonomy of model errors. Four primary objectives are to: (1) describe the current understanding of errors in HTA modelling; (2) understand current processes applied by the technology assessment community for avoiding errors in development, debugging and critically appraising models for errors; (3) use HTA modellers' perceptions of model errors with the wider non-HTA literature to develop a taxonomy of model errors; and (4) explore potential methods and procedures to reduce the occurrence of errors in models. It also describes the model development process as perceived by practitioners working within the HTA community. DATA SOURCES: A methodological review was undertaken using an iterative search methodology. Exploratory searches informed the scope of interviews; later searches focused on issues arising from the interviews. Searches were undertaken in February 2008 and January 2009. In-depth qualitative interviews were performed with 12 HTA modellers from academic and commercial modelling sectors. REVIEW METHODS: All qualitative data were analysed using the Framework approach. Descriptive and explanatory accounts were used to interrogate the data within and across themes and subthemes: organisation, roles and communication; the model development process; definition of error; types of model error; strategies for avoiding errors; strategies for identifying errors; and barriers and facilitators. RESULTS: There was no common language in the discussion of modelling errors and there was inconsistency in the perceived boundaries of what constitutes an error. Asked about the definition of model error, there was a tendency for interviewees to exclude matters of judgement from being errors and focus on 'slips' and 'lapses', but discussion of slips and lapses comprised less than 20% of the discussion on types of errors. Interviewees devoted 70% of the discussion to softer elements of the process of defining the decision question and conceptual modelling, mostly the realms of judgement, skills, experience and training. The original focus concerned model errors, but it may be more useful to refer to modelling risks. Several interviewees discussed concepts of validation and verification, with notable consistency in interpretation: verification meaning the process of ensuring that the computer model correctly implemented the intended model, whereas validation means the process of ensuring that a model is fit for purpose. Methodological literature on verification and validation of models makes reference to the Hermeneutic philosophical position, highlighting that the concept of model validation should not be externalized from the decision-makers and the decision-making process. Interviewees demonstrated examples of all major error types identified in the literature: errors in the description of the decision problem, in model structure, in use of evidence, in implementation of the model, in operation of the model, and in presentation and understanding of results. The HTA error classifications were compared against existing classifications of model errors in the literature. A range of techniques and processes are currently used to avoid errors in HTA models: engaging with clinical experts, clients and decision-makers to ensure mutual understanding, producing written documentation of the proposed model, explicit conceptual modelling, stepping through skeleton models with experts, ensuring transparency in reporting, adopting standard housekeeping techniques, and ensuring that those parties involved in the model development process have sufficient and relevant training. Clarity and mutual understanding were identified as key issues. However, their current implementation is not framed within an overall strategy for structuring complex problems. LIMITATIONS: Some of the questioning may have biased interviewees responses but as all interviewees were represented in the analysis no rebalancing of the report was deemed necessary. A potential weakness of the literature review was its focus on spreadsheet and program development rather than specifically on model development. It should also be noted that the identified literature concerning programming errors was very narrow despite broad searches being undertaken. CONCLUSIONS: Published definitions of overall model validity comprising conceptual model validation, verification of the computer model, and operational validity of the use of the model in addressing the real-world problem are consistent with the views expressed by the HTA community and are therefore recommended as the basis for further discussions of model credibility. Such discussions should focus on risks, including errors of implementation, errors in matters of judgement and violations. Discussions of modelling risks should reflect the potentially complex network of cognitive breakdowns that lead to errors in models and existing research on the cognitive basis of human error should be included in an examination of modelling errors. There is a need to develop a better understanding of the skills requirements for the development, operation and use of HTA models. Interaction between modeller and client in developing mutual understanding of a model establishes that model's significance and its warranty. This highlights that model credibility is the central concern of decision-makers using models so it is crucial that the concept of model validation should not be externalized from the decision-makers and the decision-making process. Recommendations for future research would be studies of verification and validation; the model development process; and identification of modifications to the modelling process with the aim of preventing the occurrence of errors and improving the identification of errors in models.