同時に収集されたマルチモーダルの嘘のポーズデータセット：インベッドの人間のポーズモニタリングを有効にする

コンピュータービジョンフィールドは、画像からセマンティックな意味を解釈することに大きな成功を収めていますが、そのアルゴリズムは、視力条件とデータ/ラベルのペアの制限に苦しむタスクのために脆くなる可能性があります。これらのタスクの中には、多くのヘルスケアアプリケーションで大きな価値を持つインベッドの人間のポーズモニタリングがあります。自然環境でのベッドインポーズモニタリングには、完全な暗闇または完全閉塞でのポーズ推定が含まれます。公開されているベッド内のポーズデータセットの欠如は、このタスクの多くの成功した人間のポーズ推定アルゴリズムの適用性を妨げます。この論文では、RGB、Long Wave Infrared（LWIR）、深さ、圧力マップなどの複数のイメージングモダリティを使用してキャプチャされた109人の参加者からのインベッドポーズ画像を含む、同時に収集されたマルチモーダルライジングポーズ（SLP）データセットを紹介します。また、不利な視力条件下でのグラウンドトゥルースポーズラベル生成のための物理的なハイパーパラメーターチューニング戦略も提示します。SLP設計は、主流の人間のポーズデータセットと互換性があります。したがって、最先端の2Dポーズ推定モデルは、単一のモダリティでPCKH@0.5で95％の有望なパフォーマンスを備えたSLPデータで効果的にトレーニングできます。これらのモデルのポーズ推定パフォーマンスは、提案された共同スキームを通じて追加のモダリティを含めることにより、さらに改善できます。

Computer vision field has achieved great success in interpreting semantic meanings from images, yet its algorithms can be brittle for tasks with adverse vision conditions and the ones suffering from data/label pair limitation. Among these tasks is in-bed human pose monitoring with significant value in many healthcare applications. In-bed pose monitoring in natural settings involves pose estimation in complete darkness or full occlusion. The lack of publicly available in-bed pose datasets hinders the applicability of many successful human pose estimation algorithms for this task. In this paper, we introduce our Simultaneously-collected multimodal Lying Pose (SLP) dataset, which includes in-bed pose images from 109 participants captured using multiple imaging modalities including RGB, long wave infrared (LWIR), depth, and pressure map. We also present a physical hyper parameter tuning strategy for ground truth pose label generation under adverse vision conditions. The SLP design is compatible with the mainstream human pose datasets; therefore, the state-of-the-art 2D pose estimation models can be trained effectively with the SLP data with promising performance as high as 95% at PCKh@0.5 on a single modality. The pose estimation performance of these models can be further improved by including additional modalities through the proposed collaborative scheme.