Künstliche Intelligenz beim Filmemachen: Neue kreative Möglichkeiten

KI für visuelle Effekte im Film nutzen

Visuelle Effekte und CGI sind schon seit vielen Jahren ein wichtiger Bestandteil des Filmemachens. Zum ersten Mal kamen sie in Westworld (1973) zum Einsatz, wo pixelige Bilder verwendet wurden, um die Perspektive eines Roboters zu zeigen. Im Laufe der Zeit sind diese Technologien immer fortschrittlicher und realistischer geworden. 

Die Integration von künstlicher Intelligenz hat sie weiter verbessert. Techniken wie De-Aging, Face Morphing und KI-gestütztes Motion Capture lassen digitale Effekte jetzt noch natürlicher aussehen. In Gemini Man (2019) zum Beispiel verwandelte die De-Aging-Technologie den damals 50-jährigen Will Smith in eine überzeugende 23-jährige Version seiner selbst. So wurde die Figur Junior zum Leben erweckt.

‍

Hier erfährst du, wie die De-Aging-Technologie mit KI funktioniert:

• Gesichtsscan: Hochauflösende Scans werden verwendet, um komplizierte Details des Gesichts eines Schauspielers zu erfassen, wie z.B. die Hautstruktur, Poren und Gesichtskonturen.
  ‍
• AI-Modelle: Maschinelle Lernmodelle analysieren Archivmaterial oder Referenzbilder, um Gesichtszüge, Ausdrücke und Bewegungen nachzubilden.
  ‍
• Leistung Erfassung: Die Bewegungen und Ausdrücke der Schauspieler werden mit der Motion-Capture-Technologie aufgezeichnet, um eine natürliche, realistische Darstellung zu gewährleisten.
  ‍
• CGI Wiederaufbau: Ein digitales Modell wird erstellt und nahtlos mit Live-Action-Filmmaterial gemischt, wobei die Mimik des Schauspielers auf die digitale Figur übertragen wird.
  ‍
• Beleuchtung und Texturanpassungen: Hochentwickelte Rendering-Techniken passen Hautton, Beleuchtung und Umgebungsinteraktionen an, damit die digitale Figur natürlich in die Szene passt.

Mit diesem Verfahren können Filmemacher/innen einen verblüffenden Realismus erreichen, egal ob sie jüngere Versionen von Schauspieler/innen oder ganz neue Charaktere erschaffen oder komplexe visuelle Effekte verbessern.

Die Rolle von Vision AI bei der Verbesserung der visuellen Effekte im Film

Es ist wichtig zu bedenken, dass KI bei visuellen Effekten und CGI ein weites Feld ist, das eine Vielzahl von Techniken und Ansätzen umfasst. Eine Schlüsseltechnologie, die hinter diesen Innovationen steht, ist zum Beispiel die Computer Vision, ein Zweig der KI, der Maschinen hilft, visuelle Daten zu analysieren und zu verstehen. Computer Vision allein macht visuelle Effekte zwar nicht möglich, aber sie spielt eine entscheidende Rolle bei der Verbesserung des Realismus und der Integration der Effekte.

Die Objektverfolgung ist eine Aufgabe der Computer Vision, die dabei hilft, die Bewegung von Objekten oder Schauspielern in einer Szene zu verfolgen, um sicherzustellen, dass die digitalen Effekte mit dem Live-Filmmaterial übereinstimmen. Bei der Objektverfolgung werden Videobilder analysiert, um die Position und Bewegung eines Objekts zu erkennen. Diese Informationen werden verwendet, um digitale Elemente wie CGI-Charaktere oder Effekte so zu verankern, dass sie sich natürlich mit dem verfolgten Objekt bewegen. In einer Actionszene kann es z. B. der Hand eines Schauspielers folgen, um eine CGI-Waffe oder einen Leuchteffekt nahtlos einzufügen, sodass sie wie ein Teil der realen Umgebung aussehen.

KI-generierte Charaktere in Filmen

KI-generierte Charaktere verändern die Art und Weise, wie Filmemacher/innen Herausforderungen angehen, wie z. B. die Vervollständigung von Auftritten nach dem Tod eines Schauspielers. In Furious 7 war die KI entscheidend, um Paul Walkers Charakter Brian O'Conner nach seinem frühen Tod wieder zum Leben zu erwecken. Die Filmemacher setzten CGI und KI ein, um Walkers Gesicht digital nachzubilden, und verließen sich dabei auf seine Brüder Caleb und Cody sowie den Schauspieler John Brotherton, die als Stellvertreter fungierten. Die KI analysierte Walkers frühere Auftritte, um seine Mimik und Bewegungen genau nachzubilden, während vorhandene Tonaufnahmen für die Erstellung seiner Dialoge verwendet wurden. Der innovative Einsatz von KI ermöglichte die Fertigstellung des Films und trug dazu bei, Walkers Vermächtnis zu würdigen.

‍

KI-gesteuerte Drehbucherstellung

Generative KI beschleunigt die Vorproduktionsphase des Filmemachens, indem sie bei kreativen Aufgaben wie dem Schreiben von Drehbüchern und der Entwicklung von Geschichten behilflich ist. KI-Modelle sind in der Lage, Drehbücher und Dialoge aus verschiedenen Filmen zu analysieren und auf der Grundlage von Vorgaben Drehbücher oder Geschichten zu erstellen. Diese KI-Tools können Muster im Storytelling erkennen, Handlungspunkte vorschlagen und sogar Dialoge erstellen, die zu bestimmten Genres oder Tönen passen. Das spart Zeit und bietet Filmemacher/innen einen einzigartigen Ausgangspunkt für ihren kreativen Prozess.

Ein interessantes Beispiel für den kreativen Einsatz von KI beim Filmemachen ist der Kurzfilm Sunspring aus dem Jahr 2016, der von End Cue produziert wurde. Das Besondere an diesem 9-minütigen Science-Fiction-Film ist, dass sein Drehbuch komplett von einem KI-Bot namens Benjamin geschrieben wurde. Benjamin wurde anhand von Hunderten von Drehbüchern, Dialogen und Untertiteln aus Filmen der 1980er und 1990er Jahre trainiert und zeigte, wie KI eine neue Perspektive in das Geschichtenerzählen bringen kann.

‍

KI für die automatische Videobearbeitung nutzen

Das Schneiden ist einer der zeitaufwändigsten Prozesse beim Filmemachen. Cutter/innen verbringen in der Regel Stunden damit, Filmmaterial zu sichten, Aufnahmen zu analysieren, die besten Takes auszuwählen und sie aufeinander abzustimmen. Im Film Taken 3 (2014) zum Beispiel enthält eine 6-sekündige Szene, in der Liam Neeson (Bryan Mills) über einen Zaun springt, 14 Schnitte von mehreren Kameras. Um diese kurze Sequenz zu produzieren, musste die Schnitt-Crew das Material von verschiedenen Kameras genau prüfen, mehrere Anpassungen vornehmen und die Sequenz fertigstellen. 

Um diese Prozesse zu beschleunigen, können wir KI-gestützte Schnittwerkzeuge verwenden, um das Material von verschiedenen Kameras zu analysieren und ein zusammenhängendes Endergebnis zu erhalten. Computer Vision spielt bei diesen Tools eine wichtige Rolle, indem Techniken wie die Szenenklassifizierung dazu dienen, verschiedene Teile des Filmmaterials wie Actionsequenzen, Dialogszenen oder Übergänge zu identifizieren und zu organisieren. Sie helfen den KI-Tools, die Struktur eines Films zu verstehen und bessere Entscheidungen darüber zu treffen, welche Clips verwendet und wie sie angeordnet werden sollen. 

‍

KI für Soundtrack-Komposition

In einem Film spielen die Titelmusik und die Hintergrundmusik eine entscheidende Rolle, wenn es darum geht, Szenen aufzuwerten und den Film mit dem Publikum zu verbinden. Die Tonhöhe und den Klang zu perfektionieren, um der Intensität einer Szene gerecht zu werden - sei es, um sie für Actionsequenzen zu verstärken oder um sie für emotionale Momente abzumildern - war schon immer eine Herausforderung für Komponisten. 

Um diesen Prozess zu vereinfachen, verwenden viele Komponisten inzwischen KI-Tools zur Musikgenerierung. Michael Giacchino, ein Oscar-, Golden Globe- und Grammy-Preisträger, hat zum Beispiel einige der düsteren und atmosphärischen Tracks in The Batman (2022) mit KI-Tools erstellt.

Die Rolle der KI bei Sprachsynthese und Synchronisation

In der Vergangenheit haben sich Tontechniker/innen auf verschiedene Eigenschaften verlassen, um Geräusche in einer Szene nachzuahmen. So ist zum Beispiel das Brüllen des Tyrannosaurus Rex in Jurassic Park (1993) eine Mischung aus verschiedenen Tiergeräuschen. Gary Rydstrom, der Oscar-prämierte Sounddesigner des Films, verwendete eine Kombination aus dem Quieken eines Elefantenbabys, dem Knurren eines Tigers und dem Glucksen eines Alligators, um das unvergessliche Brüllen zu erzeugen. Die Aufnahme dieser Geräusche aus verschiedenen Quellen erfordert Zeit und fortschrittliche Aufnahmesysteme. 

‍

Mit KI-Tools, die verschiedene Geräusche erzeugen können, lassen sie sich jedoch leicht erstellen. Zum Beispiel in dem Film Top Gun: Maverick (2022) verlor der Schauspieler Val Kilmer, der Tom Kazansky spielt, aufgrund von Kehlkopfkrebs seine Stimme. Die Filmcrew nutzte fortschrittliche KI, um seine Stimme nachzubilden.