動きからメトリックまで：スケルトンベースの人間の活動認識における説明可能なAIメソッドの評価

3Dスケルトンデータを使用した人間の活動認識（HAR）における深い学習の進歩は、ヘルスケア、セキュリティ、スポーツ、および人間コンピューターの相互作用のアプリケーションにとって重要です。このペーパーは、この分野のよく知られているギャップに取り組んでいます。これは、スケルトンベースのHARドメインにおけるXAI評価メトリックの適用性と信頼性のテストの欠如です。確立されたXaiメトリック、すなわち、この問題に対処するためにクラス活性化マッピング（CAM）および勾配加重クラスの活性化マッピング（Grad-CAM）の忠実さと安定性をテストしました。この研究では、モーションセンサー追跡のエラートレランス内で変動を生成する摂動方法を紹介し、結果として得られる骨格データポイントが追跡デバイスによって捕捉された人間の動きのもっともらしい出力範囲内に残るようにします。HARモデルのトレーニングとテストには、NTU RGB+D 60データセットとEfficientGCNアーキテクチャを使用しました。評価には、複数のアクションクラスにわたるXaiメトリックパフォーマンスへの影響を評価するために、さまざまな大きさで制御された変位を適用することにより、3Dスケルトンデータを体系的に摂動することが含まれます。我々の調査結果は、忠実さが効率的なGCNモデルのすべてのクラスで一貫して信頼できるメトリックとして役立たない可能性があることを明らかにしており、特定のコンテキストでの適用が限られていることを示しています。対照的に、安定性はより堅牢なメトリックであることが証明されており、異なる摂動の大きさで信頼性を示します。さらに、CAMとGrad-CAMはほぼ同一の説明をもたらし、密接に類似したメトリックの結果につながりました。これは、スケルトンベースのHARにおけるXAIの理解と有効性を広げるために、追加のメトリックの調査と、より多様なXAIメソッドの適用の必要性を示唆しています。

The advancement of deep learning in human activity recognition (HAR) using 3D skeleton data is critical for applications in healthcare, security, sports, and human-computer interaction. This paper tackles a well-known gap in the field, which is the lack of testing in the applicability and reliability of XAI evaluation metrics in the skeleton-based HAR domain. We have tested established XAI metrics, namely faithfulness and stability on Class Activation Mapping (CAM) and Gradient-weighted Class Activation Mapping (Grad-CAM) to address this problem. This study introduces a perturbation method that produces variations within the error tolerance of motion sensor tracking, ensuring the resultant skeletal data points remain within the plausible output range of human movement as captured by the tracking device. We used the NTU RGB+D 60 dataset and the EfficientGCN architecture for HAR model training and testing. The evaluation involved systematically perturbing the 3D skeleton data by applying controlled displacements at different magnitudes to assess the impact on XAI metric performance across multiple action classes. Our findings reveal that faithfulness may not consistently serve as a reliable metric across all classes for the EfficientGCN model, indicating its limited applicability in certain contexts. In contrast, stability proves to be a more robust metric, showing dependability across different perturbation magnitudes. Additionally, CAM and Grad-CAM yielded almost identical explanations, leading to closely similar metric outcomes. This suggests a need for the exploration of additional metrics and the application of more diverse XAI methods to broaden the understanding and effectiveness of XAI in skeleton-based HAR.