歩行者のトルサーに基づく自動マルチカメラ外因性パラメーターキャリブレーション

外因性カメラのキャリブレーションは、カメラネットワークのコンピュータービジョンタスクに不可欠です。通常、研究者はシーンにキャリブレーションオブジェクトを配置して、カメラネットワーク内のすべてのカメラを調整します。ただし、フィールドにカメラを設置する場合、このアプローチは、特に再調整が必要な場合は、費用がかかり、非実用的な場合があります。このペーパーでは、部分的に重複するビューを持つカメラネットワーク向けに、新しい、正確で完全に自動的な外因性キャリブレーションフレームワークを提案します。提案された方法は、観察されたシーンの歩行者をキャリブレーションオブジェクトと見なし、歩行者トラックを分析して外因性パラメーターを取得します。最先端と比較して、新しい方法はさまざまな環境で完全に自動的で堅牢です。私たちの方法は、カメラの画像で人間のポーズを検出し、垂直スティックとして歩く人をモデル化します。ブルートフォース法を適用して、複数のカメラ画像内の人の間の対応を決定します。この情報は、歩行者の上部および下部の3D推定位置とともに、外因性キャリブレーションマトリックスを計算するために使用されます。また、その人の底が大量に閉塞されたシーンで利用できない場合にのみ、人の上部と中心線を使用することにより、カメラネットワークを調整する新しい方法を提案します。さまざまなカメラのセットアップと、独身者と複数の歩行者の両方について、メソッドの堅牢性を検証しました。結果は、数センチメートルの三角測量誤差を取得できることを示しています。通常、制御された環境でこの精度に到達するために、歩行者を観察する1分未満が必要です。また、制御されていない環境でのキャリブレーションに十分なデータを収集するのに数分かかります。提案された方法は、複数人、閉塞、または路上での実際の交差点など、さまざまな状況でうまく機能することができます。

Extrinsic camera calibration is essential for any computer vision task in a camera network. Typically, researchers place a calibration object in the scene to calibrate all the cameras in a camera network. However, when installing cameras in the field, this approach can be costly and impractical, especially when recalibration is needed. This paper proposes a novel, accurate and fully automatic extrinsic calibration framework for camera networks with partially overlapping views. The proposed method considers the pedestrians in the observed scene as the calibration objects and analyzes the pedestrian tracks to obtain extrinsic parameters. Compared to the state of the art, the new method is fully automatic and robust in various environments. Our method detect human poses in the camera images and then models walking persons as vertical sticks. We apply a brute-force method to determines the correspondence between persons in multiple camera images. This information along with 3D estimated locations of the top and the bottom of the pedestrians are then used to compute the extrinsic calibration matrices. We also propose a novel method to calibrate the camera network by only using the top and centerline of the person when the bottom of the person is not available in heavily occluded scenes. We verified the robustness of the method in different camera setups and for both single and multiple walking people. The results show that the triangulation error of a few centimeters can be obtained. Typically, it requires less than one minute of observing the walking people to reach this accuracy in controlled environments. It also just takes a few minutes to collect enough data for the calibration in uncontrolled environments. Our proposed method can perform well in various situations such as multi-person, occlusions, or even at real intersections on the street.