適応型3Dモデルベースの表情合成と前面化のポーズ

表情は、コミュニケーション中の人間の感情を理解するために使用される重要な非言語的方法の1つです。したがって、表情を習得して再現することは、人間の感情状態を分析するのに役立ちます。ただし、複雑で微妙な顔の筋肉の動きにより、顔のポーズを持つ画像からの表情モデリングを達成することは困難です。この問題を処理するために、3D支援アプローチを使用して、非前頭の単一写真から表情を取得する方法を提示します。さらに、固定2D画像ランドマークに対応する3D輪郭ランドマークを自動的に再配置することにより、モデリングの精度を向上させる輪郭フィッティング方法を提案します。取得した表情入力は、FACS（フェイシャルアクションコーディングシステム）に基づいたブレンドシェイプまたは発現伝達を介して、さまざまな表情を作成するためにパラメトリックに操作できます。現実的な表現の合成を実現するために、ターゲット表現に従って適切な表現のしわを抽出および合成する模範的なテクスチャーのしわ統合法を提案します。そのために、400人からのさまざまな表情のしわのテーブルを構築しました。アプリケーションの1つとして、発現ポーズ合成法は、定量的評価を通じて発現不変の顔認識に適していることを証明し、定性的評価に基づいた有効性を示しました。私たちのシステムは、顔認識、HCI、深い学習のためのデータ増強など、さまざまな分野に利益をもたらすことを期待しています。

Facial expressions are one of the important non-verbal ways used to understand human emotions during communication. Thus, acquiring and reproducing facial expressions is helpful in analyzing human emotional states. However, owing to complex and subtle facial muscle movements, facial expression modeling from images with face poses is difficult to achieve. To handle this issue, we present a method for acquiring facial expressions from a non-frontal single photograph using a 3D-aided approach. In addition, we propose a contour-fitting method that improves the modeling accuracy by automatically rearranging 3D contour landmarks corresponding to fixed 2D image landmarks. The acquired facial expression input can be parametrically manipulated to create various facial expressions through a blendshape or expression transfer based on the FACS (Facial Action Coding System). To achieve a realistic facial expression synthesis, we propose an exemplar-texture wrinkle synthesis method that extracts and synthesizes appropriate expression wrinkles according to the target expression. To do so, we constructed a wrinkle table of various facial expressions from 400 people. As one of the applications, we proved that the expression-pose synthesis method is suitable for expression-invariant face recognition through a quantitative evaluation, and showed the effectiveness based on a qualitative evaluation. We expect our system to be a benefit to various fields such as face recognition, HCI, and data augmentation for deep learning.