Fraunhofer-Institut für Integrierte Schaltungen IIS
Mehr Perspektiven eröffnen mehr Möglichkeiten in der Produktion für VR und Video.
Einer der vielversprechendsten neuen Technologieansätze für die Produktion von immersiven Medieninhalten, die den Zuschauer in eine Szene komplett eintauchen lassen, wie Virtuelle Realitäten (VR) oder virtuelle/reale Bildmischungen in der Postproduktion, ist die Lichtfeldtechnologie. Hier werden aus einer Vielzahl von Kameraaufnahmen einer Szene weitere Perspektiven derselben Szene erstellt.
Ziel ist es, die komplexen und zeitintensiven Modellierungsschritte für fotorealistische Inhalte und das anschließende Rendering durch intelligente Lichtfeldalgorithmen zu optimieren. Dabei verspricht die Lichtfeldtechnologie, Reflexionen, Beleuchtung oder texturierte Oberflächen bereits direkt mit aufzunehmen. Zudem bieten die verschiedenen Perspektiven die Möglichkeit um Objekte und Personen zu blicken und sich in VR-Szenen wirklich um sie herumzubewegen. Hier liegt das heute größte Einsatzpotenzial für Lichtfeld: Reale Inhalte sollen für VR-Brillen mit einer nahezu perfekten Perspektive erstellt werden.
Ausschlaggebend für das Arbeiten mit der Lichtfeldtechnologie ist die Tiefeninformation und die Geometrie einer Szene – vergleichbar zur klassischen 3D-Rekonstruktion. Dadurch ist es möglich, Verdeckungen oder Überlagerungen, welche sich zwischen den einzelnen Objekten einer Szene ergeben, bei der Berechnung neuer Perspektiven korrekt wiederzugeben. Derzeit arbeiten unsere Experten auf dem Gebiet des »Computational Imaging« an verschiedenen Softwareprogrammen für Lichtfeld unter dem Markennamen Realception®. Hierzu bieten wir zusätzliche Werkzeuge an, mit denen Mehrkameraaufnahmen bearbeitet werden können. Zusammen mit dem Max-Planck-Institut für Informatik bieten wir auch ein Video-Lichtfelddatenset für Erstanwender an, um das Verständnis für das Arbeiten mit Lichtfeldmaterial in der Postproduktion zu schärfen und zu erleichtern.
Die zukünftige Planung für unsere Lichtfeldentwicklungen sieht eine perfekte 3D-Rekonstruktion von Objekten und Szenen mit Reflexionen, Schattenwurf und vielem mehr für fotorealistische Aufnahmen vor. Dies eröffnet neue, kreative Möglichkeiten des Storytellings und des Designs für Computer- und Videospiele.