オンボードUAV救助のためのリアルタイムの人間の検出とジェスチャー認識

無人航空機（UAV）は、多くの技術的および科学的分野、特に荒野の救助で重要な役割を果たしています。このペーパーでは、リアルタイムのUAV人間の検出と身体と手救助のジェスチャーの認識に関する作業を実施しています。私たちは、人間の検出のためにYolo3-Tinyのような生体認証通信を確立するために、体を食べるソリューションを使用します。人の存在が検出されると、システムはジェスチャー認識フェーズに入り、ユーザーとドローンは、音声通信の欠点を回避し、簡単かつ効果的に通信できます。10個のボディレスキュージェスチャー（つまり、キック、パンチ、スクワット、スタンド、注意、キャンセル、ウォーク、シット、方向、およびPhonecall）のデータセットは、UAVオンボードカメラによって作成されました。最も重要な2つのジェスチャーは、それぞれセットとリセット機能を表す新しい動的な注意とキャンセルです。人体の救助ジェスチャーが注意として認識されると、ドローンは、ハンドジェスチャー認識のためにより大きな解像度でユーザーに徐々にアプローチします。このシステムは、ディープラーニング方法を使用して、身体ジェスチャーデータセットのテストデータの精度を99.80％の精度と、ハンドジェスチャーデータセットのテストデータで94.71％の精度を達成します。リアルタイムのUAVカメラで実施された実験は、ソリューションが予想されるUAV救助の目的を達成できることを確認しています。

Unmanned aerial vehicles (UAVs) play an important role in numerous technical and scientific fields, especially in wilderness rescue. This paper carries out work on real-time UAV human detection and recognition of body and hand rescue gestures. We use body-featuring solutions to establish biometric communications, like yolo3-tiny for human detection. When the presence of a person is detected, the system will enter the gesture recognition phase, where the user and the drone can communicate briefly and effectively, avoiding the drawbacks of speech communication. A data-set of ten body rescue gestures (i.e., Kick, Punch, Squat, Stand, Attention, Cancel, Walk, Sit, Direction, and PhoneCall) has been created by a UAV on-board camera. The two most important gestures are the novel dynamic Attention and Cancel which represent the set and reset functions respectively. When the rescue gesture of the human body is recognized as Attention, the drone will gradually approach the user with a larger resolution for hand gesture recognition. The system achieves 99.80% accuracy on testing data in body gesture data-set and 94.71% accuracy on testing data in hand gesture data-set by using the deep learning method. Experiments conducted on real-time UAV cameras confirm our solution can achieve our expected UAV rescue purpose.