KI-Technologie der ETH Zürich belebt Feuerwesen im Kinofilm
Wie die ETH Zürich berichtet, steckt in dem neuen Film «Elemental» aus den Walt Disney-Studios und dem Pixar Animation-Studio auch ETH-Technologie.
Die Hauptfigur Ember ist ein feuriges Elementarwesen, dessen Kopf aus Flammen besteht, die sich ständig bewegen.
Diese Feuerflammen und Hitzeströmungen realistisch nachzuzeichnen, stellte die Animationsfilmer vor eine grosse Herausforderung, wie unlängst das externe Tech-Magazin «Wired» berichtete – mit der ETH-Technologie kamen sie schliesslich zu einer Lösung, welche die Flammenstruktur in Embers Gesicht derart ausgeprägt erscheinen lässt, wie das mit den bisherigen Simulationstechnologien nicht möglich war.
«Unsere Technologie gibt den Flammen einen einzigartigen Stil und ist somit ein Werkzeug für Künstler, um eine Story visuell zu unterstützen», sagt von Barbara Solenthaler, ETH-Professorin für Computergrafik und Leiterin der Simulations- and Animationsgruppe.
Unter ihrer Leitung wurde die neue Technologie 2019/2020 im Computer Graphics Lab der ETH Zürich entwickelt.
Bilder übertragen, um Story zu unterstützen
Die neue 3D-Simulationstechnologie verwendet künstliche Intelligenz und ermöglicht die künstlerische Kontrolle über das Aussehen und die Strukturen von Rauch, Feuer oder Flüssigkeiten.
Mithilfe dieser KI lassen sich zum Beispiel Rauchwolken gezielt für visuelles Storytelling einsetzen.
Die ETH-Technologie kann nämlich Flammen, Rauchwolken oder Flüssigkeiten künstlerisch so verändern, dass sie die Geschichte unterstützen.
Die Technologie steuert dabei nicht die äussere Form, sondern die lokalen Strukturen im Rauch.
«Technologie kann Struktur übertragen»
Sie kann zum Beispiel ein Spiralmuster auf die Rauchwolke rechnen. Sie kann genauso gut den Stil von Van Goghs Bild «Sternennacht» auf den Rauch übertragen.
«Unsere Technologie kann die Struktur eines x-beliebigen Input-Bildes auf Rauch, Flammen oder auch Flüssigkeiten übertragen», sagt Barbara Solenthaler.
Sehr schön sind hasenartige Wolkenformationen in einem Video aus Solenthalers Gruppe zu sehen.
In einem anderen, ebenfalls sehenswerten Video zeigt Solenthalers Team, wie es Strömungs-, Feuer- und Rauchphänomene zugleich künstlerisch sowie natürlich darstellen kann.
Sogleich Disneys Interesse geweckt
Die KI-basierte 3D-Simulationstechnologie stiess schon kurz nachdem die ETH-Forschenden sie publiziert hatten, bei den Walt Disney Studios auf grosses Interesse.
«Die Technologie entstand an der ETH und der Code dazu ist Open Source verfügbar», sagt Barbara Solenthaler, «wir haben danach mithilfe von Disney Research Studios in Zürich die Technologie in die Pipelines der Disney Animation Studios und des Pixar Animation Studio transferiert.»
Effekt basiert auf eine ETH-Publikation
Bereits 2021 kam die ETH-Technologie in dem computeranimierten Fantasyfilm «Raya und der letzte Drache» zum ersten Mal zum Einsatz – in einer online publizierten Szene, in der sich kreisartig ausströmende Rauchformationen aus einer Ruine heraus ausbreiten.
«Der Effekt im Raya-Film basierte auf unserer ETH-Publikation. Für den aktuell in den Schweizer Kinos laufenden Pixar-Film Elemental hat Disney Research Studios in Zürich die Technologie weiterentwickelt und für den Haupt-Charakter Ember verwendet», sagt Solenthaler.
Eine Technologie für die Hauptfigur
Konkret geht es in Elemental darum, dass die Hauptfigur Ember ein Feuerwesen ist, dessen Gesicht ständig in flammenartiger Bewegung ist.
Die neue ETH-Technologie ermöglichte es nun, dass eine zunächst künstlerisch erstellte Flammenstruktur auf Embers Erscheinung zu übertragen, und zwar sodass das Feuer und die Flammen auf Embers Körper äusserst naturgetreu aussehen.
Die ETH-Technologie trug ihren Teil dazu bei, um Ember und die anderen Feuerwesen, die Element City bevölkern, regelrecht «zum Leben bringen», wie das die Walt Disney Studios kürzlich würdigten.
«Forschung ist der Ausgangspunkt»
In die finale Ausarbeitung dieser Effekte waren die ETH-Forschenden nicht mehr involviert, diese wurden von Disney Research Studios und Pixar Animation Studio selbst vollendet.
Wie Embers Flammenkopf mit der neuen Technologie im Film animiert wurde, ist mittlerweile auch dokumentiert.
«Wenn ich sehe, wie faszinierend die Effekte in Elemental und speziell bei Ember herausgekommen sind, dann bin ich begeistert, dass unsere Forschung dafür der Ausgangspunkt ist», sagt Solenthaler.
