RPPGとRBCGに基づいてフェイシャルビデオから心拍数を推定する融合方法

バイタルサインのリモートセンシングは、皮膚接触センサーなしでカメラを使用して測定環境を改善するために開発されました。カメラベースの方法は、色と動きという2つの概念に基づいています。色ベースの方法であるリモートフォトプレチスモグラフィ（RPPG）は、血液の反射率によって生成される顔の色の変化を測定しますが、モーションベースの方法であるリモートバリストアサイド（RBCG）は、ハートビートによって生成されたヘッドの微妙な動きを測定します。リモートセンシングの主な課題は、照明の分散とモーションアーティファクトのノイズを克服することです。リモートセンシングに関する研究は、RGBの色または複数の顔のポイントの動きの盲目ソース分離（BSS）メソッドに焦点を当てており、ノイズを克服しています。ただし、実際のアプリケーションではまだ制限されています。この研究は、BSSベースの色と動きの組み合わせが日常生活におけるリモートセンシングの精度と実現可能性を改善できると仮定しました。したがって、この研究では、アンサンブル平均化（EA）、主成分分析（PCA）、独立成分分析（ICA）などのBSSメソッドによるRPPGおよびRBCGに基づく心拍数を推定する融合方法を提案しました。提案された方法は、照明の分散とモーションアーティファクトに従って、3つのデータセットから以前のRPPGおよびRBCGと比較することにより検証されました。この研究の3つの主な貢献は次のとおりです。（1）RPPGとRBCGに基づく提案された方法により、各測定の利点によりリモートセンシングが改善されました。（2）提案された方法は、それを以前の方法と比較することにより実証されました。（3）提案された方法は、より実用的なアプリケーションのためにさまざまな測定条件でテストされました。

Remote sensing of vital signs has been developed to improve the measurement environment by using a camera without a skin-contact sensor. The camera-based method is based on two concepts, namely color and motion. The color-based method, remote photoplethysmography (RPPG), measures the color variation of the face generated by reflectance of blood, whereas the motion-based method, remote ballistocardiography (RBCG), measures the subtle motion of the head generated by heartbeat. The main challenge of remote sensing is overcoming the noise of illumination variance and motion artifacts. The studies on remote sensing have focused on the blind source separation (BSS) method for RGB colors or motions of multiple facial points to overcome the noise. However, they have still been limited in their real-world applications. This study hypothesized that BSS-based combining of colors and the motions can improve the accuracy and feasibility of remote sensing in daily life. Thus, this study proposed a fusion method to estimate heart rate based on RPPG and RBCG by the BSS methods such as ensemble averaging (EA), principal component analysis (PCA), and independent component analysis (ICA). The proposed method was verified by comparing it with previous RPPG and RBCG from three datasets according to illumination variance and motion artifacts. The three main contributions of this study are as follows: (1) the proposed method based on RPPG and RBCG improved the remote sensing with the benefits of each measurement; (2) the proposed method was demonstrated by comparing it with previous methods; and (3) the proposed method was tested in various measurement conditions for more practical applications.