Lichtfeldtechnologie

Was versteht man unter Lichtfeldtechnologie?

Ein Lichtfeld wird durch alle Lichtstrahlen innerhalb eines spezifischen Raumbereichs definiert. Wenn alle Lichtstrahlen innerhalb einer Szene aufgenommen werden, können daraus Ansichten aus allen möglichen Positionen und mit unterschiedlicher Schärfentiefe rekonstruiert werden. Auch wenn es bisher noch nicht möglich ist, ein komplettes Lichtfeld einer ganzen Szene aufzunehmen, so kann doch mit speziellen Aufnahmevorkehrungen ein Teil des Lichtfelds mit reduzierter Auflösung erfasst werden, was einen großen Vorteil für spätere Veränderungen der Szene in der Postproduktion bietet.

Am Fraunhofer IIS zeigen die Forschenden der Abteilung Bewegtbildtechnologien, wie Optimierungen an einer Szene mithilfe planar angeordneter professioneller Kameras, die leicht unterschiedliche Ansichten der Szene aufnehmen, umgesetzt werden können. Aus den Kamerabildern lassen sich z.B. Tiefeninformationen extrahieren. Das eröffnet neue kreative Möglichkeiten wie das Verschieben des Blickwinkels, virtuelle Kamerafahrten und Zoom-Einstellungen, die sich aus einer einzigen Lichtfeldaufnahme generieren lassen.

 

 

Geschäftsbereich Digital Media

Informieren Sie sich über unsere digitalen Formate im Geschäftsbereich Digital Media. Wir bieten regelmäßig Weekly Specials rund um technologische Innovationen für digitale Medien-Workflows.

Weekly Special: Light-Field - Important facts to know

 

Statische planare Lichtfeldaufnahmen als Download

Sie haben Interesse an Lichtfeldaufnahmen?
Das Fraunhofer IIS bietet einen Lichtfeld Datensatz zum Download an.

Realception® Plug-in Suite

 

Realception® ist eine auf Lichtfeld- und Multikameradaten basierende Plug-in Suite für die professionelle Postproduktion.

 

Statische non-planare Lichtfeldaufnahmen als Download

Sie haben Interesse an Lichtfeldaufnahmen?
Das Fraunhofer IIS bietet einen Lichtfeld Datensatz zum Download an, basierend auf dem Paper "Non-planar inside-out dense light-field dataset and reconstruction pipeline".

Neue Wege der Filmproduktion durch Lichtfelddaten

Normalerweise sind, wenn die Schärfe falsch gewählt wurde oder der Blickwinkel verändert werden muss, teure und aufwändige Nachdrehs vor Ort notwendig. In der Postproduktion eröffnen nun jedoch intelligente Algorithmen und Aufnahmen von Multimediakamerasystemen, die mehrere Ansichten gleichzeitig anbieten, neue Möglichkeiten.

Die am Fraunhofer IIS entwickelten Algorithmen bieten verschiedenste Bearbeitungsmöglichkeiten, so lässt sich beispielsweise der Blickwinkel verschieben oder erweitern, als wäre die Kamera bewegt worden, obwohl diese bei der Aufnahme stationär war. Die multiplen Ansichten erlauben zudem die virtuelle Veränderung der Kameraposition, z.B. beim Dolly-Zoom-Effekt.

Aus den verschiedenen Ansichten lassen sich über die vorhandene Tiefeninformation auch 3D-Ansichten erstellen. Plug-ins wie die Realception® Plug-ins für Nuke und die Unreal Engine bieten die Integration in Postproduktionssoftware für mehr Kreativität in der Nachbearbeitung. Das Lichtfeldaufnahmesystem eignet sich auch für die Produktion von Stop-Motion-Filmen, bei der die Kamera nicht bewegt werden muss.

Aktuelle Projekte

Virtual LiVe

Das Ziel des Projekts Virtual LiVe ist es, physische Veranstaltungsformate durch den Einsatz neuer immersiver Medienformate (z.B. 3D-Audio, 360°-Video, Lichtfelder, volumetrisches Video) zu digitalisieren. Virtual LiVe wird im Rahmen des Programms KMU-akut der Fraunhofer-Gesellschaft "Forschung für den Mittelstand" gefördert. Die drei Institute Fraunhofer FOKUS, Fraunhofer HHI und das Fraunhofer IIS arbeiten gemeinsam an der Entwicklung anwendbarer High-End-Lösungen für die Event-Streaming-Bedürfnisse verschiedener Akteure aus unterschiedlichen Branchen.

XR-INTERACTION - Deutsche Forschungsallianz für erweiterte Realität

Das Innovationsnetzwerk XR-INTERACTION wurde von der Professur Arbeitswissenschaft und Innovationsmanagement der Technischen Universität Chemnitz initiiert. XR-INTERACTION ist das erste deutsche Innovationsnetzwerk, das neue Technologien und Anwendung der Extended Reality erforscht und entwickelt. Virtual, Augmented und Mixed Reality-Anwendungen stellen als sogenannte erweiterte Realität eine neue Form der digitalen Welt dar, in die wir eintauchen, die wir erleben und mit räumlich entfernten Personen teilen können. Diese Technologie verbindet Menschen und bringt sie näher zusammen.

Wir als weltweit führende Organisation für anwendungsorientierte Forschung verfügen über die Expertise in Schlüsseltechnologien zur 3D-Digitalisierung von Szenen und Objekten, die eine Grundlage für Innovationen im Bereich der erweiterten Realität darstellen. In Zusammenarbeit mit weiteren deutschen Forschungseinrichtungen und Technologieunternehmen zielt das Forschungsprojekt auf die Entwicklung und Erforschung von skalierbaren Systemen der erweiterten Realität für breitenwirksame soziokulturelle Anwendungen ab.

SocialStage-VR

Die Teilnahme an öffentlichen Veranstaltungen ist aus persönlichen Gründen wie räumlicher Entfernung zum Veranstaltungsort oder aus globalen Gründen wie einer Pandemie nicht immer möglich. Daher bedarf es einer zeitgemäßen technischen Lösung, die über traditionelle Formate hinausgeht. SocialSTAGE-VR fokussiert den Aspekt der kulturellen Teilhabe als virtuelle soziale Erfahrung.

Das vom Bundesministerium für Bildung und Forschung geförderte Projekt wird von der Technischen Universität Chemnitz koordiniert, und Kooperationen sind das Fraunhofer IIS, vr-on GmbH, Die Etagen GmbH, point omega Aktiengesellschaft und YOUSE GmbH.

EU-Projekt RealVision - Hyperrealistische Bilderfahrungen

Das RealVision Netzwerk bringt führende Hochschulen, Forschungszentren mit dem Schwerpunkt industrieller Entwicklung und Firmen aus ganz Europa zusammen, um eine neue Generation an qualifizierten Forschenden und Geschäftsleuten im Bereich hyper-realistischer Bildverarbeitungstechnologien sowie Kodierungs- und Display-Technologien auszubilden. Deren Ziel ist die Erstellung von qualitativ hochwertigem und wirklichkeitsgetreuem Bildmaterial für realistische, digitale Videos.

Das untenstehende Video fasst den Workshop zusammen, der von Fraunhofer IIS im Kontext des RealVision Projekts veranstaltet wurde. Das Ziel war es, den Doktoranden Kenntnisse im Zusammenhang mit der Aufnahme und Verarbeitung von Lichtfeldvideomaterial zu vermitteln – einerseits durch Vorträge von Fachkräften auf diesem Gebiet, andererseits in praktischen Übungen.

 

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen.

Abgeschlossene Projekte

ETN-FPI - European
Training Network on Full Parallax Imaging

ETN-FPI ist ein vierjähriges (2015-2019) innovatives Trainingsnetzwerk, das im Rahmen des Marie-Sklodowska-Curie-Abkommens mit Mitteln aus dem Programm "Horizont 2020" der Europäischen Union finanziert wird. Es bringt insgesamt 16 Beteiligte und Partnerorganisationen aus Finnland, Schweden, Deutschland, dem Vereinigten Königreich, Spanien, Ungarn und Singapur zusammen mit dem Ziel, eine neue Forschergeneration im Bereich full parallax imaging zu trainieren.

 

Zuverlässige
Tiefenkartenerstellung

Das Fraunhofer IIS hat zusammen mit dem Max-Planck-Institut für Informatik eine effiziente Algorithmik für Lichtfeldverarbeitung von Online Videostreams entwickelt. Hiermit können pixeldichte Tiefenkarten als Basis verschiedener virtueller Effekte errechnet werden.

Coming Home − erster Live-Action-Clip mit Lichtfeldverarbeitung

Immer häufiger wird mit mehreren Kameras am Set gedreht, um Zusatzansichten, Effekte und Tiefeninformationen zu erhalten. Um das Potential dieser Technologie real am Set zu ermitteln, startete die Gruppe Computational Imaging ein Projekt zusammen mit der Hochschule der Medien HDM, Stuttgart. Ergebnis dieser ersten Tests unter Realbedingungen war der kurze Clip "Coming Home", der die Möglichkeiten der Lichtfeldtechnologie und -verarbeitung auslotete.

Publikationen

"Light-field acquisition system allowing camera viewpoint and depth of field compositing in post-production"


Frederik Zilly, Michael Schöberl, Peter Schäfer, Matthias Ziegler, Joachim Keinert, Siegfried Foessel


IBC (International Broadcasting Convention), Amsterdam, Netherlands, September 13-17, 2013.

"Acquisition system for dense lightfield of large scenes"





Matthias Ziegler, Ron op het Veld, Joachim Keinert, Frederik Zilly



3DTV-Con, Copenhagen, Denmark, June 7-9, 2017.

"Immersive Virtual Reality for live-action video using camera arrays"



 

Matthias Ziegler, Joachim Keinert, Nina Holzer, Thorsten Wolf, Tobias Jaschke, Ron op het Veld, Faezeh Sadat Zakeri, Siegfried Foessel


IBC (International Broadcasting Convention), Amsterdam, Netherlands, September 15-19, 2017.

"A novel confidence measure for disparity maps by pixel-wise cost function analysis"

 

 

Ron Op het Veld, Tobias Jaschke, Michel   Bätz, Luca Palmieri (Department of Computer Science, Kiel University), Joachim Keinert

 

 

ICIP (International Conference on Image Processing), Athens, Greece, October 7-10, 2018.

"Benchmarking of several disparity estimation algorithms for light field processing"

 

 

Faezeh Sadat Zakeri, Michel Bätz, Tobias Jaschke, Joachim Keinert, Alexandra Chuchvara

 

 

Fourteenth International Conference on Quality Control by Artificial Vision, Mulhouse, France, May 15-17, 2019.

"Non-Planar Inside-Out Dense Light-Field Dataset and Reconstruction Pipeline"

 

 

Faezeh Sadat Zakeri, Ahmed Durmush (3D Media Group, Tampere University, Tampere, Finland), Matthias Ziegler, Michel Bätz, and Joachim Keinert

 

IEEE International Conference on Image Processing (ICIP), Taipei, Taiwan, September 22-25, 2019.

"Learning to Predict Image-based Rendering Artifacts with Respect to a Hidden Reference Image"

 

 

Mojtaba Bemana (MPI Informatik), Joachim Keinert, Karol Myszkowski, Michel Bätz, Matthias Ziegler, Hans-Peter Seidel (MPI Informatik), Tobias Ritschel (University College London)

 

 

 

"Near Real-Time Light Field Reconstruction and Rendering for on-Line Light Field Evaluation"

 

 

Mojtaba Bemana (MPI Informatik), Joachim Keinert, Karol Myszkowski, Michel Bätz, Matthias Ziegler, Hans-Peter Seidel (MPI Informatik), Tobias Ritschel (University College London)

 

 

 

"Light-field view synthesis using a convolutional block attention module"

 

 

 

Mojtaba Bemana (MPI Informatik), Joachim Keinert, Karol Myszkowski, Michel Bätz, Matthias Ziegler, Hans-Peter Seidel (MPI Informatik), Tobias Ritschel (University College London)

 

 

 

"A High-Resolution High Dynamic Range Light-Field Dataset with an Application to View Synthesis and Tone-Mapping"

Mehr Informationen

Statische non-planare Lichtfeldaufnahmen als Download

Sie haben Interesse an Lichtfeldaufnahmen?
Das Fraunhofer IIS bietet einen Lichtfeld Datensatz zum Download an, basierend auf dem Paper "Non-planar inside-out dense light-field dataset and reconstruction pipeline".

Statische planare Lichtfeldaufnahmen als Download

Sie haben Interesse an Lichtfeldaufnahmen?
Das Fraunhofer IIS bietet einen Lichtfeld Datensatz zum Download an.

Zurück zu Forschung im Feld Bewegtbildtechnologien