Wie Unity die Filmindustrie retten will

In einem ehemaligen Bahnhof, nur wenige Gehminuten vom Potsdamer Platz in Berlin entfernt, hat Unity – das Unternehmen hinter der gleichnamigen Spiele-Engine – die letzten Tage damit verbracht, Hunderten von Entwicklern ein Zuhause zu bieten und Sitzungen zu den Feinheiten der Animation zu veranstalten. maschinelles Lernen, World Building, Spiele, Filme und alles dazwischen. Irgendwo zwischen all dem war das Gesicht eines jungen Mädchens, das von einer grollenden Frau kontrolliert wurde.

Während der Konferenz-Keynote zeigte Unity ein neues Tool namens Facial AR Remote Component. In der Demo wurde eine junge weibliche Figur auf eine Leinwand projiziert; ihr Gesichtsausdruck leer. Weiter geht die Moderatorin, die beginnt, in ein iPhone X zu grinsen. Das Mädchen folgt ihm, lächelt, runzelt die Stirn und bewegt die Lippen im Takt des menschlichen Gegenübers. Es war, als hätte Pixar ein Animoji gemacht.

(Oben:Unitys Gesichts-AR-Remote-Komponente in Aktion. Bildnachweis:Unity)

Dies ist bemerkenswert, da die Aufführung nach Abschluss des Gurnings in eine Szene eingewoben werden kann; Optimiert, um Dialog, Kinematographie, Mise-en-Scène anzupassen, alles ohne die Notwendigkeit eines großen Produktionsstudios. „Gesichtsanimationen sind sehr schwer umzusetzen“, erzählt mir Adam Myhill, Head of Cinematics bei Unity, später. „Das unheimliche Tal ist ein Problem. Wir haben Hunderttausende von Jahren der Evolution, die unser Gehirn so verdrahten, dass es überall Gesichter sieht. Gesichter im Mond. Gesichter in meinem Kartoffelbrei. Wenn wir sehen, dass sich Gesichter nicht angemessen bewegen, schreien wir schlecht.

„Wenn Sie also ein Telefon verwenden können, um 50 % oder 60 % des Weges dorthin sofort zurückzulegen, wird Ihr Budget für Animationszeit nicht mehr damit verbracht, von null auf 100 zu gehen. Es ist ein Spielwechsler. Für einige Gruppen, bei denen es nicht auf höchste Wiedergabetreue ankommt, könnte es sogar aus der Dose gut genug sein.“

Während der in der Demonstration gezeigte Avatar gute Arbeit geleistet hat, um die überlebensgroßen Gesichtsausdrücke des Moderators einzufangen, bleibt abzuwarten, wie gut dieses System für die Nuancen von verschmitztem Lächeln und leicht hochgezogenen Augenbrauen funktioniert. Für Myhill muss das Gesichtserkennungs-Mocap jedoch nicht perfekt sein – es muss nur nah genug sein, damit die Animatoren etwas zum Arbeiten haben:

„Was wäre, wenn der Schauspieler, wenn er die Zeilen liest, sie so aufnehmen könnte? Sie haben ihre Gesichtsausdrücke in einem vernünftigen Maß und wenn Sie mit dem virtuellen Produktionsdesign beginnen, können Sie eine Kamera bewegen, um auf dem Lächeln des Mannes zu landen. Das ist das nächste Level.“

"Wenn Hollywood nicht aufwacht und billig wird, werden sie versteinern"

Ein großer Treiber hinter all dem sind zwangsläufig die Kosten. Wenn ein Studio einen Vorsprung bei seinen Animationen erzielen kann, indem es einfach ein iPhone X auf das Gesicht eines Schauspielers richtet, kann es den arbeitsintensiven Prozess des Aufbaus einer Aufführung von Grund auf überspringen. Laut Isabelle Riva, Leiterin von Made with Unity, könnte dies ein großer Sparer für die Branche sein.

„Film ist ein Ort, der neue Technologien braucht“, sagt sie mir. "Es ist so teuer. Ernsthaft. Diese Kosten sind auf die Arbeit zurückzuführen, und das Echtzeit-Rendering wird Ihre Arbeit halbieren. Warum sollten wir noch so viel für Inhalte bezahlen? Wenn Hollywood nicht aufwacht und billig wird, werden sie versteinert.“

Augmented reel-ality

Riva behauptet, dass Gesichts-Mocap nur der Anfang davon ist, wie sich die AR-Technologie auf die Filmindustrie auswirken wird. Sie argumentiert, dass die traditionellen Ordnungen der Postproduktion mit dem Aufkommen von Tools, mit denen Regisseure in Echtzeit ausgefeilte, computergenerierte Visuals erhalten, überarbeitet werden. Diese Leichtigkeit der Animation, argumentiert sie, bedeutet, dass die Studios mehr Möglichkeiten haben werden, ihre Performances spontan anzupassen; ohne dass stundenlanges Filmmaterial neu animiert werden muss, wenn unterwegs eine Optimierung erforderlich ist:

„Sie werden viele Filmproduktionslinien sehen; industrialisierte Studio-Pipelines, die in den nächsten zwei Jahren durch AR- und Echtzeit-Engines renoviert werden. Sie werden von fabrikähnlichen Produktionslinien zu eher spielähnlichen, nichtlinearen Produktionen übergehen.“

Im vergangenen Jahr streifte John Riccitiello, CEO von Unity, ähnliche Anmerkungen, als er über die Möglichkeit sprach, Spielwelten wie wiederverwendbare Filmsets zu behandeln:„Das wird ohne Zweifel passieren“, sagte er mir damals. „Jemand wird eine komplette Welt bauen. Sie lassen die Welt altern. Sie werden darin drei Filme und zehn Spiele drehen. Es wird von Gotham City für etwas anderes wiederverwendet und bearbeitet.“

(Oben:Einige in Unity erstellte AR-Projekte. Quelle:Unity)

„Was ist Geschichte in einem beständigen Raum, der sich mit unserem Alltagsleben vermischt?“

Bluten Spiele und Filme ineinander? In Gesprächen mit den Vertretern des Unternehmens in Berlin scheint Unity fest davon überzeugt zu sein, dass AR eine große Rolle dabei spielen wird, wie Regisseure eine Verbindungslinie zwischen diesen virtuellen Welten und realen Akteuren ziehen. Gesichtskartierung bedeutet nicht nur schnellere und billigere animierte Darbietungen, sondern Regisseure können AR verwenden, um Teile eines virtuellen Filmsets in ihre reale Umgebung zu überlagern.

„Es wird darum gehen, einen traditionelleren Ansatz zu informieren, wie wir es jetzt mit der virtuellen Produktion tun“, sagt Myhill. „In gewisser Weise ist es AR, aber wir machen immer noch einen traditionellen Film. Das ist Schritt eins.

„Parallel dazu denke ich, dass es die Idee aufwerfen wird, ‚was ist Film?‘ Was ist eine Geschichte in einem beständigen Raum, der mit unserem Alltagsleben vermischt ist? Wir werden in einer datenüberlagerten Welt leben und unser Leben mit beständigen Dingen in einem AR-Raum teilen. Wir werden Freunde und Agenten haben und diese Schichten von Story-Erlebnissen … und sie werden in unser tägliches Leben integriert werden.

„Wie toll wäre es, nicht zuzusehen, sondern mit Charakteren zusammen zu sein?“

Das würde, denke ich, sehr stark vom Charakter abhängen.

Hauptbildkredit:Dan Taylor