技術者：モデルのエラーを減らし、信頼性を向上させるための検証チェックリスト

背景：健康経済文献では、モデルの検証/信頼性に関するチェックリストまたはベストプラクティスの推奨事項は、「モデルは正しく実装されており、実装は概念モデルを正確に表していますか？」などの基本的なステップとして常に検証を宣言します。ただし、現在までに、モデル検証プロセスのための運用ガイダンスはほとんどありません。この調査では、モデルユーザーまたはレビュー担当者向けの運用チェックリストを作成して、健康経済決定分析モデルの技術的実装を検証し、検証の取り組みを文書化することを目指しました。 方法：モデルの検証、検証、プログラミングエラー、および信頼性に関する文献は、科学的データベースから体系的にレビューされました。チェックリストの初期ベータ版は、文献と著者の以前のモデリング/評価経験から特定されたチェックリスト/テストに基づいて開発されました。次に、最初のドラフトチェックリストは、いくつかの機会に多くの健康エコノミストに提示され、さまざまなモデル（薬物メーカー、コンサルタント、アカデミアなどの異なる利害関係者によって開発された異なるソフトウェアで構築された）でテストされました。このペーパーで紹介されている技術検証（Tech-ver）チェックリストの最終バージョンでチェックリストと頂点に達します。 結果：Tech-verは、モデルレビュー担当者（できれば独立）、実行可能および透明モデル、入力ソース、および詳細なドキュメント（例：テクニカルレポート/科学論文）を必要とします。結果が報告されています。Tech-verチェックリストは、5つのドメインで構成されています。（1）入力計算。（2）イベント状態（患者の流れ）計算。（3）結果計算。（4）不確実性分析の計算。（5）その他の全体的なチェック（例：有効性またはインターフェイス）。最初の4つのドメインは、典型的な健康経済モデルのコンポーネントの検証を反映しています。これらのドメインについては、検証テストの前提条件として、レビューアは電子モデルの関連する計算を特定し、特定された計算で使用される方法の提供された正当化を評価する必要があります。この目的のために、完全性/一貫性チェックをお勧めします。その後、これらの計算の実装の正しさをチェックすることにより、これらの各段階の計算に対して検証テストを実施できます。この目的のために、次のタイプのテストが連続して順序で推奨されます。（i）ブラックボックステスト、つまり、モデルの計算がアプリオリの期待に沿っているかどうかを確認します。（ii）ホワイトボックスのテスト、つまり、プログラムコードの詳細を線ごとに、またはセルごとにセル（いくつかの重要な計算に推奨し、ブラックボックステストから予期しない結果がある場合）。（iii）モデルの複製/並列プログラミング（特定の状況でのみ推奨されます。また、黒箱テストから特定された予期しない結果に関連する問題は、ホワイトボックステストでは解決できませんでした）。モデル検証の時間的負担を減らすために、テストI-IIIで階層的順序を提案します。これにより、前のステップが失敗したときに次のステップに進むことが必要です。 結論：Tech-verチェックリストは、意思決定分析モデルの技術的検証のための包括的なチェックリストであり、モデルの実装エラーとその根本原因を特定しながら、検証の取り組みの透明性と効率を改善することを目的としています。外部レビューに加えて、技術者は、初期モデルを開発しながら、新しい健康エコノミストのための内部トレーニングおよび品質管理ツールとして使用できると考えています。Tech-verチェックリストは、可能性のある将来のバージョン、または追加の「適切」テストを備えた特定のアプリケーション用の「ボルトオン」拡張機能を備えたオープンソースの生活文書に変身することが著者の目的です。「ヒントとトリック」およびいくつかの実証的なエラーの例として。このため、このホワイトペーパーで作成された技術者のチェックリストとブラックボックステストのリストといくつかのモデル検証例は、他のユーザーがここでオープンアクセス、オンラインプラットフォーム（GitHubとInstituteのWebサイト）にアップロードします。また、元の検証の取り組みとテストをアップロードすることもできます。

BACKGROUND: In health economic literature, checklists or best practice recommendations on model validation/credibility always declare verification of the programmed model as a fundamental step, such as 'is the model implemented correctly and does the implementation accurately represent the conceptual model?' However, to date, little operational guidance for the model verification process has been given. In this study, we aimed to create an operational checklist for model users or reviewers to verify the technical implementation of health economic decision analytical models and document their verification efforts. METHODS: Literature on model validation, verification, programming errors and credibility was reviewed systematically from scientific databases. An initial beta version of the checklist was developed based on the checklists/tests identified from the literature and from authors' previous modeling/appraisal experience. Next, the first draft checklist was presented to a number of health economists on several occasions and was tested on different models (built in different software, developed by different stakeholders, including drug manufacturers, consultancies or academia), each time leading to an update of the checklist and culminating in the final version of the TECHnical VERification (TECH-VER) checklist, introduced in this paper. RESULTS: The TECH-VER necessitates a model reviewer (preferably independent), an executable and transparent model, its input sources, and detailed documentation (e.g. technical report/scientific paper) in which the conceptual model, its implementation, programmed model inputs, and results are reported. The TECH-VER checklist consists of five domains: (1) input calculations; (2) event-state (patient flow) calculations; (3) result calculations; (4) uncertainty analysis calculations; and (5) other overall checks (e.g. validity or interface). The first four domains reflect the verification of the components of a typical health economic model. For these domains, as a prerequisite of verification tests, the reviewer should identify the relevant calculations in the electronic model and assess the provided justifications for the methods used in the identified calculations. For this purpose, we recommend completeness/consistency checks. Afterwards, the verification tests can be conducted for the calculations in each of these stages by checking the correctness of the implementation of these calculations. For this purpose, the following type of tests are recommended in consecutive order: (i) black-box tests, i.e. checking if model calculations are in line with a priori expectations; (ii) white-box testing, i.e. going through the program code details line by line, or cell by cell (recommended for some crucial calculations and if there are some unexpected results from the black-box tests); and (iii) model replication/parallel programming (recommended only in certain situations, and if the issues related to the identified unexpected results from black-box tests could not be resolved through white-box testing). To reduce the time burden of model verification, we suggest a hierarchical order in tests i-iii, where going to the next step is necessary when the previous step fails. CONCLUSIONS: The TECH-VER checklist is a comprehensive checklist for the technical verification of decision analytical models, aiming to help identify model implementation errors and their root causes while improving the transparency and efficiency of the verification efforts. In addition to external reviews, we consider that the TECH-VER can be used as an internal training and quality control tool for new health economists, while developing their initial models. It is the authors' aim that the TECH-VER checklist transforms itself to an open-source living document, with possible future versions, or 'bolt-on' extensions for specific applications with additional 'fit-for-purpose' tests, as well as 'tips and tricks' and some demonstrative error examples. For this reason, the TECH-VER checklist and the list of black-box tests created in this paper and a few model verification examples is uploaded to an open access, online platform (github and the website of the institute), where other users will also be able to upload their original verification efforts and tests.