生理学的信号と表情を組み合わせたマルチモーダル感情認識：予備研究

最近、自動感情認識のためのマルチモーダルアプローチは大きな科学的関心を集めています。この論文では、生理学的信号と表情を組み合わせることによる感情認識を研究しました。心拍数の変動性パラメーター、呼吸頻度、および表情を使用して、感情的な内容で写真を見ながら人の感情を分類しました。価数と覚醒の両方に3つのクラスが使用されました。予備的な結果は、提案されているチャネルで、覚醒を検出することは価と比較して容易に見えることを示しています。54.5％の分類性能は覚醒で達成されましたが、価数の観点から正しく分類されたサンプルの38.0％のみがサンプルでした。将来的には、追加のモダリティと機能選択を利用して結果を改善します。

Lately, multimodal approaches for automatic emotion recognition have gained significant scientific interest. In this paper, emotion recognition by combining physiological signals and facial expressions was studied. Heart rate variability parameters, respiration frequency, and facial expressions were used to classify person's emotions while watching pictures with emotional content. Three classes were used for both valence and arousal. The preliminary results show that, over the proposed channels, detecting arousal seem to be easier compared to valence. While the classification performance of 54.5% was attained with arousal, only 38.0% of the samples were classified correctly in terms of valence. In future, additional modalities as well as feature selection will be utilized to improve the results.