経胸壁心エコー検査における技術的能力の客観的構造化評価：標準化された環境での妥当性研究

背景：経胸壁心エコー検査（TTE）の能力は、トレーニング期間や実施された試験の数など、TTE能力の従来の測定とは無関係です。この研究は、心エコー検査技術スキルの構造化された評価のための機器の妥当性の側面を探ることを目的としています。 方法：この研究には、全国のガイドラインに従って同じ健康な男性をスキャンした3つの異なる臨床レベルの心エコー造影能力を持つ45人の医師が含まれていました。心エコー検査（OG）の専門家は、TTE技術スキルの評価のために開発された機器を盲目的に使用して、記録されたすべての識別されたTTE画像を盲目的に評価しました。この機器は、グローバル評価尺度と手順固有のチェックリストの両方で構成されていました。各試験で2つのスコアが計算されました：グローバル評価スコアと合計チェックリストスコア。OGは、レイター内信頼性について10回の試験を2回評価し、別の専門家はレイター間の信頼性について同じ10回の試験を評価しました。その後、コンテンツの有効性に焦点を当てて、小さなパイロット研究が実施されました。このパイロット研究には、異なる病理と異なる技術的困難を抱える3人の患者をスキャンした9人の医師が含まれていました。 結果：TTE技術スキル評価機器の妥当性は、専門知識レベルとグローバルスコア（Spearman 0.76、P <0.0001）とチェックリストスコア（Spearman 0.74、P <0.001）の両方との間に見られる有意な相関関係によってサポートされました。両方のスコアは、医師グループで表された3つのレベルの能力を区別することができました。信頼性は、受け入れ可能な人間間および面内の値によってサポートされていました。パイロット研究では、専門知識レベルが上昇するとスコアが改善される傾向が示され、病理が存在したときに機器も使用できることを示唆しています。 結論：私たちは、通常の人のテストスコアと医師の能力のレベルとの間の高い相関関係、および受け入れ可能な人間間信頼性スコアの観点から有効性の証拠を示す心エコー検査技術スキルの構造化された評価手段を設計および開発しました。ただし、臨床環境での高いコンテンツの妥当性と信頼性を確保するために必要な適切な数の評価を決定するために、さらなる研究を実施する必要があります。

BACKGROUND: Competence in transthoracic echocardiography (TTE) is unrelated to traditional measures of TTE competence, such as duration of training and number of examinations performed. This study aims to explore aspects of validity of an instrument for structured assessment of echocardiographic technical skills. METHODS: The study included 45 physicians with three different clinical levels of echocardiography competence who all scanned the same healthy male following national guidelines. An expert in echocardiography (OG) evaluated all the recorded, de-identified TTE images blindly using the developed instrument for assessment of TTE technical skills. The instrument consisted of both a global rating scale and a procedure specific checklist. Two scores were calculated for each examination: A global rating score and a total checklist score. OG rated ten examinations twice for intra-rater reliability, and another expert rated the same ten examinations for inter-rater reliability. A small pilot study was then performed with focus on content validity. This pilot study included nine physicians who scanned three patients with different pathologies as well as different technical difficulties. RESULTS: Validity of the TTE technical skills assessment instrument was supported by a significant correlation found between level of expertise and both the global score (Spearman 0.76, p<0.0001) and the checklist score (Spearman 0.74, p<0.001). Both scores were able to distinguish between the three levels of competence that were represented in the physician group. Reliability was supported by acceptable inter- and intra-rater values. The pilot study showed a tendency to improved scores with increasing expertise levels, suggesting that the instrument could also be used when pathologies were present. CONCLUSIONS: We designed and developed a structured assessment instrument of echocardiographic technical skills that showed evidence of validity in terms of high correlations between test scores on a normal person and the level of physician competence, as well as acceptable inter- and intra-rater reliability scores. Further studies should, however, be performed to determine the adequate number of assessments needed to ensure high content validity and reliability in a clinical setting.