Neue Möglichkeiten bei der Foto- und Filmproduktion: Was Sie über die Lichtfeldtechnologie wissen sollten

Die Lichtfeldtechnologie eröffnet große Vorteile bei der Bearbeitung von Szenen in der Postproduktion, denn sie bietet neue Möglichkeiten unterschiedliche Perspektiven zu erzeugen. Ein Lichtfeld wird durch die Lichtstrahlen innerhalb eines bestimmten Bereichs definiert. Wenn alle Lichtstrahlen innerhalb einer Szene erfasst werden, ist es möglich, von jeder beliebigen Position aus, eine Perspektive zu erzeugen. Forscher der Abteilung Bewegtbildtechnologien am Fraunhofer IIS demonstrieren bereits, wie sich Szenen optimieren lassen. Zum Beispiel wenn sie durch einen Aufbau mit professionellen Kameras in planarer Anordnung, in leicht unterschiedlichen Szenenperspektiven eingefangen wurden. Damit eröffnen sich neue kreative Möglichkeiten. In einem aktuellen Interview stellt Joachim Keinert, Leiter der Gruppe »Computational Imaging and Algorithms«, die neuen kreativen Möglichkeiten der Lichtfeldtechnologie vor.

Was sind die Unterschiede zwischen der klassischen Medienproduktion und einer Produktion, bei der die Lichtfeldtechnologie eingesetzt wird?

Joachim Keinert: Es kommt darauf an, was man unter klassischer Medienproduktion versteht. Viele Videos werden heute mit Compositing, 3D-Modellierung oder sogar volumetrischer Aufnahme produziert. Diese Verfahren nutzen ziemlich ausgefeilte virtuelle Kamerabewegungen, die ein recht gutes Virtual-Reality-Erlebnis ermöglichen. Das Lichtfeld hingegen fängt eine Szene so ein, dass man sie anschließend virtuell bewegen und fotorealistische Effekte hinzufügen kann. So entspricht die Szene der realen Situation vor Ort und gibt keine Annahme der szenischen Bedingungen wieder. Ein gutes Beispiel, um sich dies vorstellen zu können: Wenn Sie den Glanz von Oberflächen oder spiegelnde Highlights einfangen wollen, um die Szene oder das Objekt wirklich realistisch wirken zu lassen, ist die Lichtfeldtechnologie geeignet.

Was sind die wichtigsten Fakten, die man über Lichtfelder wissen sollte und was macht diese Technologie für die Medienproduktion so interessant?

Joachim Keinert: Um Verwirrung zu vermeiden: Es gibt zwei Arten von Lichtfeldern. Es gibt Lichtfeldkameras, die auf Mikrolinsen in der Kamera basieren. Damit hat man die Möglichkeit, den Fokus neu zu setzen. Sie bieten aber keine großen Möglichkeiten zur Veränderung der Perspektive. Wenn wir von Lichtfeld sprechen, meinen wir aber mehrere Perspektiven und mehrere Kameras. Bei Videoaufnahmen bedeutet dies, dass Sie mehrere Kameras an einem Kamera-Rig montieren. Für statische Szenen können Sie eine einzige Kamera verwenden und die Szenen nacheinander aufnehmen. Der nächste Schritt besteht darin, alle verarbeiteten Daten für die Geometrie- und Farbwiederherstellung zu nutzen – hier kommt unser Fachwissen ins Spiel. Wenn diese Schritte abgeschlossen sind, haben Sie den großen Vorteil, dass Sie Ihre Szene so aufgenommen haben, wie sie ist, mit entsprechend hohem Fotorealismus für einen guten, möglichst exakten Wiedererkennungswert.  

In welchem Teil des Medienproduktions-Workflows eröffnet die Lichtfeldtechnologie neue Möglichkeiten?

Joachim Keinert: Die Lichtfeldtechnologie leistet am meisten in einer Anwendung, in der man eine Szene wirklich so wiedergeben möchte, wie sie ist, und sie nicht zu sehr verändern will. Lassen Sie uns ein Beispiel nehmen: Stellen Sie sich vor, Sie möchten eine schöne Wohnung verkaufen und wollen so viele Interessenten wie möglich erreichen. Sie möchten ihnen die Möglichkeit geben, die Wohnung vorab virtuell zu besichtigen. Bei einer solchen Anwendung ist es wichtig, dass Sie sich so nah wie möglich an das Original halten, um Ihre Kunden nicht damit zu enttäuschen, dass Ihr 3D-Modell nicht die wahre Situation widerspiegelt. Sie wollen dem realen Ort nichts hinzufügen oder ihn verändern. Durch die Verwendung von Lichtfeldern können Sie die Wohnung wirklich so wiedergeben, wie sie ist – wie sie live bei einer Besichtigung auch aussehen würde und zwar jeweils von ihrer jeweiligen Betrachtungsposition aus und mit einer realen Beleuchtungssituation. 

Was sind die Herausforderungen und Möglichkeiten?

Joachim Keinert: Eine Herausforderung ist definitiv die große Anzahl von Ansichten oder Aufnahmen, die man machen muss, und die große Menge an Daten, die bei diesem Prozess anfallen. Es gibt einem aber die Möglichkeit, frühere Szenen oder Objekte, so wie sie zum jeweiligen Zeitpunkt aussahen und von allen Perspektiven aus zu speichern. Damit steht ein weitaus realistischerer Eindruck als bei den heute verfügbaren alternativen Technologien zur Verfügung.

Können Sie uns ungefähr die Anzahl von benötigten Lichtfeldaufnahmen nennen?

Joachim Keinert: Das hängt natürlich von der Komplexität der Szene ab. Bei Videos ist sie viel geringer als bei statischen Szenen. Um eine Größenordnung für statische Szenen zu nennen: Es sind ähnlich viele wie in der Photogrammetrie. Bei der Photogrammetrie benötigt man Hunderte oder Tausende von Aufnahmen, und bei Lichtfeldern ist es ähnlich. Aber im Vergleich zur Photogrammetrie können Sie einen besseren Farbeindruck erzielen, indem Sie den Glanz der Oberfläche und selbst kleine Reflexionen registrieren. 

Würden Sie Lichtfeld als eine der neuen Top-Technologien einstufen?

Joachim Keinert: Auf jeden Fall. Wenn man die Szene so wiedergeben will, wie sie ist, muss man seine Objekte aus verschiedenen Perspektiven betrachten können und genau das kann man mit Lichtfeld.

Was ist Ihr Forschungsansatz für die Lichtfeldtechnologie?

Joachim Keinert: Mein Team hat mit Video-Arrays für Lichtfelder begonnen. Heute konzentrieren wir uns mehr auf statische Szenen, weil es möglich ist, alle Ansichten, die man braucht, mit dieser Art von Aufbau zu erfassen. Unser derzeitiger Schwerpunkt liegt auf der originalgetreuen Wiedergabe einer Szene. Für die Zukunft können wir uns natürlich vorstellen, auch Videoaufnahmen zu verwenden oder alle von uns erfassten Daten, z.B. alle Reflexionen, aufzunehmen. Dadurch könnten wir die Materialeigenschaften abschätzen, und wenn man weiß, aus welchem Material das Objekt besteht, kann man es viel besser beleuchten. Das wäre natürlich ein großer Schritt nach vorn.  

Was ist das Besondere an Lichtfeld im Vergleich zu virtuellen 360-Grad-Rundgängen, 3D-Navigation oder 3D-Renderings?

Joachim Keinert: Fangen wir mit den 360-Grad-Fotos oder -Videos an, denn auch sie bilden die Realität ab. Das ist ein sehr guter Vergleich, weil sie ein ähnliches Ziel haben, aber es fehlt ihnen die Erfassung der Geometrie. Man kennt hier meistens die Entfernungen zu seinem Objekt nicht, sondern geht davon aus, dass sich alles im selben Abstand um einen herum befindet. Bewegt man sich bei diesem Annahmeprinzip, kommt es aufgrund der fehlenden Entfernungsinformationen zu Verzerrungen. 

Die Lichtfeldtechnologie verfolgt zwar das gleiche Ziel – die Reproduktion der Realität – aber sie verwendet die richtigen geometrischen Perspektiven. Eine weitere Technik, die wir erwähnen sollten, sind Game Engines. Man kann sich in fantastischen Welten bewegen, aber man muss zuerst fotorealistische Modelle erstellen. Dies verlangt viel Arbeit und viel Fachwissen, insbesondere, wenn man die Realität nachbilden möchte. Vorteil der Lichtfeldtechnologie ist, dass man alle verschiedenen Perspektiven abdecken kann, so dass der Benutzer wählen kann, welche er nutzen möchte, und natürlich können verschiedene Benutzer verschiedene Perspektiven wählen. 

Vielen Dank für dieses Gespräch.