Friday, September 11, 2020

El estado del arte del Deepfake: lip sync con All star


Hoy viernes y con los contagios otra vez subiendo en España (¿!), quiero mostraros este video que encontré en Boing Boing (el blog que nos enseño a todos lo que era un blog)

El video es en efecto! un deepfake empleado para hacer esa sincronización labial (lip sync) que da la sensación de que una persona en un video esta vocalizando otra cosa completamente diferente de la que inicialmente dijo (por eso el video es un videoclip con la canción All star de Smash Mouth)

Hay varias cosas significativas en el video:

lo primero fijaros la perfección que se esta logrando ya con los programas (gratuitos) para hacer deepfakes y segundo las enormes implicaciones que tendrá a muy corto plazo para la industria que cualquiera en su casa pueda no ya subtitular a cualquiera sino literalmente que hable en el idioma que quiera sin doblaje, (como por ejemplo Chaplin hablando en Hindi) que por muy bien hecho que este nunca corresponde al movimiento labial de los personajes 

el video usa un programa llamado WavLip2 que podeis descargar gratuitamente aqui, y su desarrollo se explica en este paper publicado por un equipo de investigación de la Universidad de Bath en UK y del IIIT Hyderabab en la India (la potencia emergente en software)

Más alla de la controversia en construcción sobre si sera más facil engañar a la gente con estos programas de deepfakes cada vez más perfectos, creo que este software se va convertir en una ayuda universal para que los actores adapten sus actuaciones y aparezcan infinitas remezclas de videos y canciones de todo el catalogo pop que quiza de este modo encuentren una segunda o tercera vida comercial ...




No comments: