都市の特徴抽出を強化するためのビデオインペインティングのための新しいフレーム選択メトリック

デジタル駆動型の社会では、ソフトウェアとハードウェアの進歩を進めてビデオデータをキャプチャします。これは、環境の理解を高めるために、建物や都市通りなどのビデオデータから情報を抽出することへの関心を刺激しました。都市の建物と街路は、都市の重要な部分として、日常生活に関連する貴重な情報を運びます。これらの要素から機能を抽出し、VRやARなどのテクノロジーと統合すると、よりインテリジェントでパーソナライズされた都市の公共サービスに貢献できます。その潜在的な利点にもかかわらず、都市環境のビデオを収集すると、動的なオブジェクトが存在するため、課題が生じます。各フレームのターゲットビルのさまざまな形状は、品質の特徴を抽出するために慎重に選択する必要があります。この問題に対処するために、ビデオが侵入している回復の品質とターゲットオブジェクトの関連性を考慮し、車のエリアを最小化し、ターゲットの建物のエリアを最大化し、重複するエリアを最小化することを考慮した新しい評価メトリックを提案します。このメトリックは、ターゲットオブジェクトの関連性とオブジェクト間の相互接続性を考慮することにより、既存のビデオインペインティング - 評価測定メトリックを拡張します。日本の都市桜と横浜からの実際のデータセットを使用して、提案されたメトリックを検証するために実験を実施しました。実験結果は、機能の抽出を構築するのに役立つビデオフレームを選択する可能性を示しています。

In our digitally driven society, advances in software and hardware to capture video data allow extensive gathering and analysis of large datasets. This has stimulated interest in extracting information from video data, such as buildings and urban streets, to enhance understanding of the environment. Urban buildings and streets, as essential parts of cities, carry valuable information relevant to daily life. Extracting features from these elements and integrating them with technologies such as VR and AR can contribute to more intelligent and personalized urban public services. Despite its potential benefits, collecting videos of urban environments introduces challenges because of the presence of dynamic objects. The varying shape of the target building in each frame necessitates careful selection to ensure the extraction of quality features. To address this problem, we propose a novel evaluation metric that considers the video-inpainting-restoration quality and the relevance of the target object, considering minimizing areas with cars, maximizing areas with the target building, and minimizing overlapping areas. This metric extends existing video-inpainting-evaluation metrics by considering the relevance of the target object and interconnectivity between objects. We conducted experiment to validate the proposed metrics using real-world datasets from Japanese cities Sapporo and Yokohama. The experiment results demonstrate feasibility of selecting video frames conducive to building feature extraction.