Comment créer un deepfake pour la télévision ? Outils et opportunités avec United Unknown

Sergey, membre du collectif d'artistes plasticiens Unis Inconnu, décompose les technologies et les enjeux du deepfake, une technique audiovisuelle qui permet de modifier (ou de créer de toutes pièces) une image pour remplacer des personnes et créer des situations ou des discours inédits qui n'ont jamais pu (ou pourront) se produire.

Il faux profond Il s'agit d'un concept large qui se nourrit de technologies telles que intelligence artificielle o l'apprentissage profond. Ses applications sont infini et ils peuvent représenter, comme tout progrès technologique, un moyen de divertissement ou pour le création artistique, ou un outil de discrédit social, politique, culturel et économique. Sa matérialisation la plus fréquente est remplacement des traits du visage, y compris expression, réactions ou même voix, pour quelqu'un d'autre. Les possibilités, comme on peut l'imaginer, alerteraient tout juriste spécialisé dans le domaine droit à sa propre image ou le droit à l'honneur.

Il existe des dizaines de cas dans lesquels cette technique a été utilisée à des fins frauduleuses. Aux États-Unis, des vidéos manipulées d’hommes politiques comme Barack Obama, Donald Trump o Bernie Sanders Ils ont monopolisé les groupes WhatsApp et les profils Facebook de milliers d’électeurs nord-américains. Il y a également eu des cas où manipulation de la voix ont été utilisés pour tricher, tel que collecté par Journal de Wall Street. Face à cette situation, certaines régions commencent à proposer un législation à propos des deepfakes ; en parallèle, groupes de travail de vérification travailler pour se perfectionner outils technologiques qui peut déterminer quand une vidéo a été (ou non) modifié. Des solutions comme celles-ci sont essentielles : à la fois pour nier les deepfakes et pour vérifier, à l'avenir, quand quelqu'un excuse son comportement dans cette technique.

Laissant de côté le côté le plus sombre de cette technique, la vérité est que faux profond C'est une mine d'or pour industrie de l'audiovisuel et du divertissement. De nombreux films sont utilisés tous types de technologies dérivées de cette technique faire revivre personnages décédés ou même de mettre travailler avec des personnalités à la retraite, comme ce fut le cas récent de Bruce Willis, qui a donné son image à l'entreprise Gâteau profond à utiliser pour une campagne publicitaire d'entreprise MeganFon.

Dans le domaine de l'audio, des studios tels que JUIN Ils ont déjà partagé leur intention de commencer à travailler dans le but de traiter le fichier sonore d'un acteur pour, en le superposant à un acteur professionnel, réaliser un doublage avec la même couleur de la voix de l'interprète.

Unis Inconnu est un collectif audiovisuel basé en Espagne qui a connu profiter de la pertinence du deepfake, même si ce n'était pas une tendance, à apposer sa signature particulière sur le production vidéo satirique. Depuis 2010, il transmet son « activisme visuel (…) comme arme de subversion massive » à travers Internet, atteignant les sociétés de production, les chaînes de télévision et les magazines comme RTVE, Movistar+, Mediapro, Atresmedia, TV3, El Terrat, Premios Ondas, Mongolie ou Los40 Classic, ou des formats concrets tels que Motiv tardif, Le lendemain, Fichier Pérez o APM ?. Sergueï, interlocuteur de United Unknown pour Panorama Audiovisual dans cette incursion dans le deepfake, met en lumière le technologies et techniques de ce fascinant technique.

---

Les débuts du deepfake chez United Unknown

La production audiovisuelle de Unis Inconnu Cela remonte à plus d'une décennie, mais ce n'est qu'en 2015 qu'ils ont commencé à créer des vidéos satiriques en remplaçant manuellement les visages et les têtes. Cela signifiait avant tout un travail artisanal et c'était encore une adaptation du caricature classique qui a accompagné le mouvement humoristique et politique tout au long de l'histoire. Avant il y avait des chevauchements de bouches, collages à propos de Monty Python o maquillage avec des techniques de tournage immersives. Désormais, les outils technologiques permettent approche différente et avec quelques résultats beaucoup plus réaliste.

Sergey se souvient qu'à cette époque, le groupe cherchait vidéos des protagonistes sur internet, stabilisé et taillé les têtes par rotoscopie manuelle, puis ils ont animé au-dessus de ceux qu'ils voulaient remplacer: « Un travail très artisanal et parfois fastidieux, mais nous avons vraiment apprécié de voir les résultats. » En 2018, tout a changé : de United Unknown, ils ont vu pour la première fois un deepfake tel que nous les connaissons aujourd'hui et ils étaient «émerveillé par la technique et ses possibilités».

---

Evolution et workflow

Depuis qu’ils ont créé leur premier deepfake en 2019, United Unknown n’a pas changé la donne. méthodologie de travail en abordant cette technique. Sergey fournit plus de détails : « Le workflow est toujours le même : avoir un personnage à remplacer, recherchez les ressources du personnage que vous souhaitez introduire, extrayez les visages, créez les masques et lancez le calcul du modèle. Attendez ensuite les résultats, qui prennent des jours, et faites le derniers ajustements dans un programme de montage vidéo.

Heureusement, les progrès technologiques rationalisent la production et le résultat final des deepfakes : « Plus les cartes graphiques sont bonnes, meilleure est la qualité des résultats et plus le temps de calcul est court. » A cela s’ajoute un grand nombre de solutions logiciel spécifique qui ont rationalisé les processus de création tels que Éditeur vidéo de machines o Xseg. En parallèle, l’équipe de United Unknown s’appuie sur des applications d’intelligence artificielle pour la production d’images, comme Topaze o GPEN.

---

Deepfacelab : outil clé

La perfection de faux profond nécessite non seulement de l'expérience, mais aussi une myriade d'applications qui permettent d'accorder une résultat très proche de la réalité. Cependant, le logiciel Laboratoire Deepface Il s’agit de la solution clé pour le secteur. Ce logiciel, gratuit et open source, offre de nombreuses possibilités aux créateurs lorsqu'ils entreprennent cette modification particulière de la réalité. "Avec la connaissance de Python, il peut même être personnalisé pour étendre et modifier certaines de ses fonctions", explique Sergey.

Laboratoire Deepface, un outil qui promet « des résultats de qualité cinématographique avec une grande fidélité », a parmi ses fonctions les plus remarquables la possibilité de remplacer le visage du protagoniste, rajeunir le sujet, remplacer toute la tête o manipuler les lèvres de la personne choisie.

Malgré cette rationalisation des processus, Sergey estime que le défi reste le même: avoir un bon matériel source et destination, car « souvent, la bataille est contre la mauvaise qualité de certaines images et vidéos ».

---

Traitement audio

Une fois le défi de l’accessibilité de la création de deepfake dans les aspects visuels du personnage, une carrière profonde commence à maîtriser et étendre l’utilisation de l’audio. United Unknown reconnaît son intérêt pour ce sujet et souligne que "la technologie existe déjà, mais elle n'est pas accessible à tous les utilisateurs. "Il existe des applications de "text to Speech", mais pas de "speech to Speech" (deepfake voice to voice)", ajoute-t-il.

Actuellement, plusieurs entreprises se consacrent à offrir avatars numériques et voix clonées, dit Sergey, mais la vérité est qu '«il y a beaucoup de réticences à proposer ce type de logiciel sans restrictions». "Les voix clonées pourraient être utilisées frauduleusement pour des escroqueries, c'est pourquoi des voix standards sont proposées", explique le représentant de United Unknown.

Le seul moyen disponible pour cloner une voix spécifique nécessite la permission de la personne, et, comme le souligne Sergey, « les entreprises qui proposent le service examinent chaque demande individuellement ». Cependant, et en laissant de côté les questions juridiques d'une région où il n'y a pratiquement pas de jurisprudence spécifique, il y a outils collaboratifs qui commencent à créer banques de voix artisanales similaires à celles de personnalités. Mais serait-il approprié d’utiliser ces outils ou de commercialiser certaines vidéos sans l’accord d’un tiers ?

---

Radiodiffuseurs : un intérêt croissant

Il faux profond peut être un outil action politique, mais aussi une formidable avenue pour satire humoristique à la télévision. Les deepfakes occupent actuellement segments dans différents formats contribuer spectaculaire, critique et amusant.

Le belle opportunité de United Unknown est venu de la main d'un vétéran de l'industrie de la télévision : « En 2015, Andreu Buenafuente préparait la première de Motif tardif Chez Movistar+, nous avons eu la chance de voir deux de nos premières vidéos devenues virales : Rajoy au Comedy Club oui Les anges de Charlie, et nous a invités à collaborer sur son programme, qui s’est terminé en 2021. » Dans ce format, l'équipe United Unknown a pu rencontrer Raúl Pérez, « une véritable star de l'imitation », avec qui ils ont collaboré tant en Motif tardif comme dans les formats parallèles comme Fichier Pérez, le Gala des Vagues 2021 o Le lendemain. Actuellement, quel que soit l'intérêt exprimé différentes sociétés et chaînes de production pour des projets spécifiques, Unis Inconnu collaborer de manière récurrente avec le programme de comédie D'autres questions ? (APM ?) de TV3 dans laquelle ils parodient des programmes d'autres réseaux, des publicités, des films ou des vidéoclips.

---

Un regard sur l’avenir du deepfake

Il faux profond est situé dans un phase de développement initiale. Nous avons à peine vu leur premières matérialisations et on s'attend à ce qu'au milieu du boom de apprentissage profond ou de intelligence artificielle, le trois grands défis ce qui implique : une amélioration de la qualité de l'image, de la vitesse et du calcul en temps réel. Un autre point à surmonter, explique Sergey, est limites de l’analyse et de la détection des visages, qui sont actuellement le profil de la tête : "La détection est basée sur l'identification des traits du visage : les deux yeux, les sourcils, le nez, la bouche et le menton. Lorsque ces éléments sont perdus de vue, la détection du visage échoue. Nous imaginons qu'avec de nouveaux outils basés sur l'IA, cette limitation pourrait être surmontée."

Face à ces défis, le monde continue de créer preuves de concept et applications d'un grand intérêt pour faux profond cela pourrait servir de fenêtre pour voir ce qui va arriver. Récemment, Chris Ume, l'un des principaux créateurs mondiaux de deepfake, a été finaliste du L'Amérique a du talent avec un spectacle faux profond vivre avec Elvis Presley chant:

https://twitter.com/Metaphysic_ai/status/1569931839971655680

Et d'un autre côté, le sien Marc Zucherberg a posté une vidéo avec son avatar, un développement initialement destiné à son développement de métaverso, mais quoi permet de faire la lumière sur les possibilités que pourrait entraîner la création d'un double virtuel généré en temps réel. Comme on peut le constater, la proposition Meta fournit un liberté totale lors de la création de différentes expressions faciales et offre la possibilité que le avatar interagir avec des éléments comme sources lumineuses:

La qualité de l'avatar ici est assez étonnante pic.twitter.com/PgY38mXCJq

– Chris Fralic (@chrisfralic) 12 octobre 2022

L'avenir reste à écrire, mais tout indique que le faux profond, que l'on voit de plus en plus fréquemment sur nos écrans, est arrivé à occuper une place rôle prédominant en un l'industrie de la radiodiffusion libérée par la technologie et un industrie cinématographique de plus en plus dédié à la mémoire (et à l'immortalisation) de ses grandes stars.

Un reportage de Sergio Julián Gómez