追跡と推定の学習人間のポーズ追跡のための統合グラフィカルモデル

ビデオストリームでの2Dヒトポーズの追跡を調査して、各フレームの身体部分の空間構成を決定しますが、これは人々が異なる種類の衣服を着て、非常に迅速かつ予測不可能に動く可能性があるため、些細なタスクではありません。ポーズ推定の技術は通常適用されますが、時間的コンテキストを無視し、スムーズで信頼できる追跡結果を提供することはできません。したがって、ポーズ推定を視覚的な追跡と統合することにより、トラッキングおよび推定統合モデル（TEIM）を開発して、一時的な情報を完全に活用します。ただし、エッジをキャプチャするエッジを持つ完全なモデルがフレーム内およびフレーム間ですべてのペアワイズ関係をキャプチャする完全なモデルは、ループで扱いやすいため、時間の経過とともに複数の明確な部品の関節解析は困難です。以前のモデルでは、通常、おおよその推論は頼られていましたが、良い結果を約束することはできず、計算コストは​​大きくなります。分裂と征服のアイデアを調査することにより、これらの問題を克服します。これにより、完全なモデルが2つのはるかに単純な扱いやすいサブモデルに分解されます。さらに、関節解析の問題を効率的に征服するために、新しい2段階の反復戦略が提案されています。アルゴリズム的には、TEIMを非常に慎重に設計して、次のように設計します。1）ポーズの推定と視覚的追跡が可能になり、お互いが望ましい追跡結果を達成するために補償することができます。2）追跡の損失の問題に対処することができます。3）過去の情報のみが必要であり、オンラインで追跡できます。実験は、グラウンドトゥルースレイアウト注釈を備えた野生の2つのパブリックデータセットで行われ、実験結果は提案されたTEIMフレームワークの有効性を示しています。

We investigate the tracking of 2-D human poses in a video stream to determine the spatial configuration of body parts in each frame, but this is not a trivial task because people may wear different kinds of clothing and may move very quickly and unpredictably. The technology of pose estimation is typically applied, but it ignores the temporal context and cannot provide smooth, reliable tracking results. Therefore, we develop a tracking and estimation integrated model (TEIM) to fully exploit temporal information by integrating pose estimation with visual tracking. However, joint parsing of multiple articulated parts over time is difficult, because a full model with edges capturing all pairwise relationships within and between frames is loopy and intractable. In previous models, approximate inference was usually resorted to, but it cannot promise good results and the computational cost is large. We overcome these problems by exploring the idea of divide and conquer, which decomposes the full model into two much simpler tractable submodels. In addition, a novel two-step iteration strategy is proposed to efficiently conquer the joint parsing problem. Algorithmically, we design TEIM very carefully so that: 1) it enables pose estimation and visual tracking to compensate for each other to achieve desirable tracking results; 2) it is able to deal with the problem of tracking loss; and 3) it only needs past information and is capable of tracking online. Experiments are conducted on two public data sets in the wild with ground truth layout annotations, and the experimental results indicate the effectiveness of the proposed TEIM framework.