High-fidelity, directable animation transfer using facial decomposition on optimized micro-sequences

L’industrie du divertissement fournit des produits médias dans le monde entier à des personnes parlant un grand nombre de langues distinctes. Les produits médias tels que les spots télévisés ou sur Internet, les films et les jeux vidéo, consistent généralement en un flux vidéo et sonore. Pour tenir compte des différentes langues, les producteurs génèrent généralement le flux sonore dans différentes langues lors d’une étape de post-production, un processus connu sous le nom de doublage. Bien qu’il faille encore beaucoup d’efforts pour re-générer le flux sonore (doublage), l’un des défis restant à relever, tant du point de vue de la recherche que de la production, est de savoir comment synchroniser le flux vidéo original avec le nouveau flux audio. Le manque de synchronisation crée un effet très étrange qui enlève à l’expérience le fait que le mouvement des lèvres des acteurs ne correspond pas à la bande sonore. Dans ce projet, nous proposons une solution pratique au problème de la synchronisation du doublage, en produisant des résultats naturels qui peuvent être utilisés dans un studio de production. Pour y parvenir, nous avons créé un partenariat stratégique avec AudioZ, un studio de production situé à Montréal avec lequel nous collaborons sur ce projet. Nous proposons une méthode de synthèse vidéo qui mélange l’animation axée sur la zone des lèvres tout en préservant l’expression faciale de l’acteur original. Notre méthode utilise de nouvelles techniques d’optimisation pour éviter l’effet commun de « vallée de l’étrange » de la synthèse vidéo.

Source: www.nserc-crsng.gc.ca/ase-oro/Details-Detailles_fra.asp?id=662452

Établissement(s) d’accueil: Université Concordia
Secteur(s): Effets visuels et animation 2D-3D - Jeux vidéo
Titulaire / Personne(s) contact: Tiberiu Popa
Date début: 2018-2019
Date fin: 2022-2023