深さmhi-hogとスポッターモデルを使用した継続的な人間の行動認識

この論文では、ビジョンセンサーを使用して継続的な人間の行動を見つけて認識するための新しい方法を提案します。この方法は、深さmhi-hog（DMH）、アクションモデリング、アクションスポッティング、および認識で構成されています。まず、前景を背景から効果的に分離するために、DMHと呼ばれる方法を提案します。深さ情報、MHI、およびHOGを使用して、画像をセグメント化し、機能を抽出するための標準構造が含まれています。第二に、アクションモデリングは、抽出された機能を使用してさまざまなアクションをモデル化するために実行されます。アクションのモデリングは、k-meansクラスタリングを介して一連のアクションを作成することにより実行されます。これらのシーケンスはHMM入力を構成します。第三に、継続的なアクションから意味のないアクションをフィルタリングし、アクションの正確な開始点と終了点を特定するためのアクションスポッティングの方法が提案されています。Spotterモデルを採用することにより、提案された方法はアクション認識パフォーマンスを改善します。最後に、提案された方法は、開始点とエンドポイントに基づいてアクションを認識します。提案された方法を使用して、アクションモデルとスポッターモデルに入力シーケンスを適用することにより、確率を取得および比較することにより、認識パフォーマンスを評価します。さまざまな実験を通じて、提案された方法が実際の環境での継続的な人間の行動を認識するために効率的であることを実証します。

In this paper, we propose a new method for spotting and recognizing continuous human actions using a vision sensor. The method is comprised of depth-MHI-HOG (DMH), action modeling, action spotting, and recognition. First, to effectively separate the foreground from background, we propose a method called DMH. It includes a standard structure for segmenting images and extracting features by using depth information, MHI, and HOG. Second, action modeling is performed to model various actions using extracted features. The modeling of actions is performed by creating sequences of actions through k-means clustering; these sequences constitute HMM input. Third, a method of action spotting is proposed to filter meaningless actions from continuous actions and to identify precise start and end points of actions. By employing the spotter model, the proposed method improves action recognition performance. Finally, the proposed method recognizes actions based on start and end points. We evaluate recognition performance by employing the proposed method to obtain and compare probabilities by applying input sequences in action models and the spotter model. Through various experiments, we demonstrate that the proposed method is efficient for recognizing continuous human actions in real environments.