ADABASE：認知負荷推定のためのマルチモーダルデータセット

ドライバー監視システムは、より低いレベルから中間の自律車両で重要な役割を果たします。私たちの仕事は、交通の安全性を向上させるためのドライバーステート推定のコンポーネントとして、認知負荷の検出に焦点を当てています。ECG、EMG、PPG、呼吸速度、皮膚温度、アイトラッカーデータなどの生理学的測定に基づいて、複数のモダリティからの信号を継続的に測定しながら、51人の被験者の強度の増加の単一およびデュアルタスクワークロードを誘導することにより、フェイシャルビデオから抽出されたアクションユニット、反応時間などのパフォーマンスメトリック、アンケートを使用した主観的なフィードバックなどの行動測定値は、被験者に認知負荷を誘導する参照方法としてAdabase（自律運転駆動認知負荷評価データベース）を作成します。N-Backテストは、現実世界の自律的に車両によって動機付けられた、新しいシミュレーターベースのKドライブテストに加えて、すべての測定の専門家の機能を抽出し、複数のモダリティに大きな変化を見つけます。最終的には、単一およびマルチモーダル入力を使用して機械学習アルゴリズムをトレーニングおよび評価して、認知負荷レベルを区別します。モデルの行動を慎重に評価し、特徴の重要性を研究します。要約すると、新しい認知負荷テストを導入し、認知負荷データベースを作成し、統計テストを使用して変更を検証し、機械学習と機械学習モデルのトレーニングと評価のための新しい分類と回帰タスクを導入します。

Driver monitoring systems play an important role in lower to mid-level autonomous vehicles. Our work focuses on the detection of cognitive load as a component of driver-state estimation to improve traffic safety. By inducing single and dual-task workloads of increasing intensity on 51 subjects, while continuously measuring signals from multiple modalities, based on physiological measurements such as ECG, EDA, EMG, PPG, respiration rate, skin temperature and eye tracker data, as well as behavioral measurements such as action units extracted from facial videos, performance metrics like reaction time and subjective feedback using questionnaires, we create ADABase (Autonomous Driving Cognitive Load Assessment Database) As a reference method to induce cognitive load onto subjects, we use the well-established n-back test, in addition to our novel simulator-based k-drive test, motivated by real-world semi-autonomously vehicles. We extract expert features of all measurements and find significant changes in multiple modalities. Ultimately we train and evaluate machine learning algorithms using single and multimodal inputs to distinguish cognitive load levels. We carefully evaluate model behavior and study feature importance. In summary, we introduce a novel cognitive load test, create a cognitive load database, validate changes using statistical tests, introduce novel classification and regression tasks for machine learning and train and evaluate machine learning models.