DeepLabcutを使用した多動物のポーズ推定、識別、追跡

複数の動物のポーズを推定することは挑戦的なコンピュータービジョンの問題です。頻繁な相互作用は閉塞を引き起こし、検出されたキーポイントと正しい個人との関連を複雑にし、典型的なマルチヒューマンシナリオよりも密接に相互作用する非常に類似した動物を持っています。この課題を引き受けるために、オープンソースのポーズ推定ツールボックスであるDeepLabcutの上に構築し、多動のシナリオに必要な高性能動物アセンブリと追跡機能を提供します。さらに、動物のアイデンティティを予測して追跡を支援する能力を統合します（閉塞の場合）。このフレームワークの力を、複雑さが異なる4つのデータセットを使用して、将来のアルゴリズム開発のベンチマークとして機能するようにリリースされます。

Estimating the pose of multiple animals is a challenging computer vision problem: frequent interactions cause occlusions and complicate the association of detected keypoints to the correct individuals, as well as having highly similar looking animals that interact more closely than in typical multi-human scenarios. To take up this challenge, we build on DeepLabCut, an open-source pose estimation toolbox, and provide high-performance animal assembly and tracking-features required for multi-animal scenarios. Furthermore, we integrate the ability to predict an animal's identity to assist tracking (in case of occlusions). We illustrate the power of this framework with four datasets varying in complexity, which we release to serve as a benchmark for future algorithm development.