ジェスチャースポッター：仮想および拡張現実アプリケーションで重要なジェスチャースポッティングのための迅速なプロトタイピングツール

この論文では、主要なジェスチャースポッティングのタスクを調べます。手のジェスチャーの正確でタイムリーなオンライン認識です。キージェスチャースポッティング機能をアプリケーションに統合する際に、開発者が直面する2つの重要な課題に特に対処しようとしています。これらは次のとおりです。i）シングルタイムアクティベーションで高精度とゼロまたは負の活性化が遅れていることを達成します。ii）機械学習における深いドメインの専門知識の要件を回避する。新しいジェスチャー分類モデルと新しいシングルタイムアクティベーションアルゴリズムで構成される重要なジェスチャースポッティングアーキテクチャを提案することにより、最初の課題に対処します。この重要なジェスチャースポッティングアーキテクチャは、4つの別々のハンドスケルトンジェスチャーデータセットで評価され、早期検出により高い認識精度を達成しました。さまざまなデータ処理と増強戦略、および提案されたキージェスチャースポッティングアーキテクチャをグラフィカルユーザーインターフェイスとアプリケーションプログラミングインターフェイスにカプセル化することにより、2番目の課題に対処します。2つのユーザー調査では、開発者がグラフィカルユーザーインターフェイスとアプリケーションプログラミングインターフェイスの両方を使用して、カスタム認識を効率的に構築できることを示しています。

In this paper we examine the task of key gesture spotting: accurate and timely online recognition of hand gestures. We specifically seek to address two key challenges faced by developers when integrating key gesture spotting functionality into their applications. These are: i) achieving high accuracy and zero or negative activation lag with single-time activation; and ii) avoiding the requirement for deep domain expertise in machine learning. We address the first challenge by proposing a key gesture spotting architecture consisting of a novel gesture classifier model and a novel single-time activation algorithm. This key gesture spotting architecture was evaluated on four separate hand skeleton gesture datasets, and achieved high recognition accuracy with early detection. We address the second challenge by encapsulating different data processing and augmentation strategies, as well as the proposed key gesture spotting architecture, into a graphical user interface and an application programming interface. Two user studies demonstrate that developers are able to efficiently construct custom recognizers using both the graphical user interface and the application programming interface.