KEYNET：手作りおよび学習CNNフィルターによるキーポイント検出

浅いマルチスケールアーキテクチャ内の手作りと学習のCNNフィルターを組み合わせたキーポイント検出のための新しいアプローチを紹介します。手作りのフィルターは、学習したフィルターのアンカー構造を提供し、繰り返し可能な機能をローカライズ、スコアリング、ランク付けします。スケールスペース表現は、ネットワーク内で使用され、さまざまなレベルでキーポイントを抽出します。さまざまなスケールに存在する堅牢な機能を検出し、再現性スコアを最大化するために、損失関数を設計します。Key.NETモデルは、Imagenetから合成的に作成されたデータでトレーニングされ、HPATCHSおよびその他のベンチマークで評価されます。結果は、私たちのアプローチが、再現性、一致するパフォーマンス、複雑さの観点から最先端の検出器を上回ることを示しています。TensorflowとPytorchのKey.NET実装は、オンラインで入手できます。

We introduce a novel approach for keypoint detection that combines handcrafted and learned CNN filters within a shallow multi-scale architecture. Handcrafted filters provide anchor structures for learned filters, which localize, score, and rank repeatable features. Scale-space representation is used within the network to extract keypoints at different levels. We design a loss function to detect robust features that exist across a range of scales and to maximize the repeatability score. Our Key.Net model is trained on data synthetically created from ImageNet and evaluated on HPatches and other benchmarks. Results show that our approach outperforms state-of-the-art detectors in terms of repeatability, matching performance, and complexity. Key.Net implementations in TensorFlow and PyTorch are available online.