MC18 NOV17x2

Social Media Icons Shop 55

Schauspielern oder etwa Politikern können jetzt beliebige Sätze nahezu perfekt lippensynchron untergeschoben werden.

 

Forscher an der Universität Washington haben mit Hilfe künstlicher Intelligenz Methoden entwickelt, womit Videoaufnahmen von Personen auf beliebige Tonaufnahmen synchronisiert werden können. Tonaufnahmen etwa mit Dialogsätzen oder Reden können von diesem System als Grundlage genutzt werden, um die Lippenbewegungen eines Videos derselben Person perfekt darauf zu synchronisieren und damit Videoaufnahmen zu generieren, die es so nie gegeben hat.

 

Während die Synchronbranche noch immer großes Knowhow, geschulte Sprecher-innen und schlaue Texter-innen benötigt, um gesprochene Dialoge einer anderen Sprache, bei uns mehrheitlich Englisch, von Sprechern möglichst ähnlich auf Deutsch nachsprechen zu lassen, liefern die Forscher mit ihrer Software nun Möglichkeiten, das Thema von einer ganz anderen Seite anzugehen. Bisher half bestenfalls ADR Software, die unterschiedlichen Längen einzelner Wörter durch Stauchung und Dehnung ohne Tonhöhenveränderung anzugleichen.

 

Bereits in den letzten Jahren gab es verschiedene Ansätze, etwa die Gesichts,- und Lippenbewegungen von Menschen mit Kameras, die plastisch Tiefeninformationen aufzeichneten, mit Hilfe von Trackingpunkten zu digitalisieren und damit künstlich generierte 3D Animationsfiguren authentisch sprechen zu lassen. Es war nur eine Frage der Zeit, bis entsprechende Algorithmen Gesichter in Videos entsprechend analysieren und manipulieren würden.

 

Aufwändige Rechenoperationen

Diese Aufgabe ist extrem anspruchsvoll, weil wir Menschen in der Lage sind, ungenaue oder falsche Muskelbewegungen in Gesichtern schnell zu erkennen. Vermutlich sind diese Fähigkeiten evolutionsbedingt und helfen den Menschen, Lüge und Falschaussagen leichter zu erkennen. Mundbewegungen, Wangen und sonstige Gesichtszüge müssen deshalb ganz präzise gerendert werden, damit das Ergebnis überzeugt.

 

Mit Hilfe derartiger Software könnten künftig beispielsweise amerikanische Schauspieler perfekt lippensynchron deutsch sprechen. Allerdings kann die Software natürlich auch missbraucht werden, ein Beispielvideo etwa zeigt, wie die Audiospur einer Rede von Ex-Präsident Obama mit dem Video einer ganz anderen Rede, in der er völlig andere Dinge sagte, synchronisiert wurde. Das Ergebnis ist verblüffend. Die Forscher konnten auf diese Weise auch Obamas Gesicht auf eine Audio-Rede von George Bush synchronisieren.

 

Das Video mit der manipulierten Obama-Rede findet sich hier: https://www.youtube.com/watch?v=MVBe6_o4cMI

 

 

Während der Filmwelt mit derartiger Software neue, spannende Möglichkeiten an die Hand gegeben werden, etwa bei der Übersetzung in andere Sprachen, für Animationsfilme oder auch wenn fehlende Sätze von Schauspielern nachträglich benötigt werden, lauern am Horizont aber auch unbegrenzte Möglichkeiten für Fake-News...

 

Banner Regie GK 4000

Banner Regie GK 4000

Weitere neue Artikel

Auf der Berlinale 2025 sprachen wir mit der Dänischen Regisseurin und Drehbuchautorin Jeanette Nordahl über ihren berührenden Film "Beginnings"

Das extrem beliebte Genre hat sich durch immer bessere VFX Effekte stark verändert. Kommt mit, wir tauchen da tiefer hinein...

In der Berlinale-Reihe "Panorama" erzählt die Regisseurin in "Schwesterherz" sehr beeindruckend von einem moralischen Dilemma

In der Berlinale-Reihe "Panorama" erzählt der Film "Hysteria" von Dreharbeiten zu einem politischen Thema, die immer schwieriger werden...

Wie arbeiten Grundierung und Puder zusammen und wie korrigiert man Hautunreinheiten, Rötungen und mehr?

Wie betont, wie versteckt man Gesichtspartien durch Konturieren und was ist mit Tattoos?

Zu den Aufgaben des Maskenbilds gehört die richtige Wahl der Farbtöne und die Abstimmung mit Kamera und Licht. Was bedeutet das für die Farbpaletten?

Für ruhige Filmaufnahmen aus der Hand bieten sich Objektiv,- und Sensorstabilisierung an. Welche ist besser oder braucht es die beide?

 Im richtigen Leben möchte man ihnen nicht begegnen,- im Kino sieht es ganz anders aus...

Geheimagenten sind im Kino zu schillernden Figuren geworden, was macht Agentenfilme so attraktiv?

Wie kommt das Alter auch jenseits romantisierender Almöhi- oder Harald & Maude Geschichten realistisch im Kino vor? Eine Suche...

So wie es "Slow Food" oder "Slow Sex" als Entschleunigung gibt, kann man das Wandern im Film als eine Art "Slow Roadmovie" ohne Auto bezeichnen...