姿勢推定で人工知能モデルを持つタブレットデバイスを使用して、親指の回転角度を推定する

Mediapipe Hand（Mediapipe）は、人工知能（AI）ベースのポーズ推定ライブラリです。この研究では、メディアピペを4つの機械学習（ML）モデルと組み合わせて、親指の回転角を推定しました。15人の健康なボランティアの右手のビデオが記録され、9000枚の画像に処理されました。親指の回転角（0°として定義されるヤシ平面からの角度θとして定義）は、ラジアンシステムで表される角度測定デバイスを使用して測定されました。次に、MediaPipeによって検出されたハンド座標から計算されたパラメーターを使用して、角度θをMLモデルによって推定されました。線形回帰モデルは、12.23のルート平均平方根誤差（RMSE）、9.9の平均絶対誤差（MAE）、および0.91の相関係数を示しました。ElasticNetモデルは、12.23のRMSE、9.95のMAE、および0.91の相関係数を示しました。サポートベクターマシン（SVM）モデルは、4.7のRMSE、2.5のMAE、および0.99の相関係数を示しました。LightGBMモデルは高い値を達成しました：4.58のRMSE、2.62のMAE、および0.99の相関係数。これらの発見に基づいて、MediapipeとMLを組み合わせることにより、親指の回転角を高精度で推定できると結論付けました。

MediaPipe Hand (MediaPipe) is an artificial intelligence (AI)-based pose estimation library. In this study, MediaPipe was combined with four machine learning (ML) models to estimate the rotation angle of the thumb. Videos of the right hands of 15 healthy volunteers were recorded and processed into 9000 images. The rotation angle of the thumb (defined as angle θ from the palmar plane, which is defined as 0°) was measured using an angle measuring device, expressed in a radian system. Angle θ was then estimated by the ML model by using parameters calculated from the hand coordinates detected by MediaPipe. The linear regression model showed a root mean square error (RMSE) of 12.23, a mean absolute error (MAE) of 9.9, and a correlation coefficient of 0.91. The ElasticNet model showed an RMSE of 12.23, an MAE of 9.95, and a correlation coefficient of 0.91; the support vector machine (SVM) model showed an RMSE of 4.7, an MAE of 2.5, and a correlation coefficient of 0.99. The LightGBM model achieved high values: an RMSE of 4.58, an MAE of 2.62, and a correlation coefficient of 0.99. Based on these findings, we concluded that the thumb rotation angle can be estimated with high accuracy by combining MediaPipe and ML.