Realception^®

Das Fraunhofer IIS hat Algorithmen für die Verarbeitung von Multikamerainhalten, sogenannten Lichtfeldaufnahmen, entwickelt und diese in mehreren Plug-in Suiten für die Postproduktion implementiert.

Die Plug-in Suite für Foundrys Nuke besteht aus mehreren Skripten und Verarbeitungsknoten, welche die Herstellung von Tiefenkarten aus Multikameraaufnahmen ermöglichen. Diese Tiefenkarten können beim Compositing verwendet werden, um Korrekturen oder anspruchvolle Effekte, wie virtuelle Kamerabewegungen oder das synthetische Defokussieren zu vereinfachen.

Die Plug-in Suite für die Unreal Engine ermöglicht das Rendern von Lichtfeldaufnahmen in VR-Umgebungen für eine nahtlose Komposition aus CGI und live-action Material in Echtzeit.

Hier können Sie mehr über die Lichtfeldtechnologie erfahren:

Realception^® basiert auf der Verarbeitung von Bilddaten aus Lichtfeld- oder Multikameraaufnahmen. Das Ergebnis ist eine so genannte Disparitätskarte – eine Darstellung der Entfernung von zwei korrespondierenden Punkten in benachbarten Bildern. Damit kann für jeden Pixel der Abstand zwischen Objektpunkt und Kamera berechnet werden. Mit diesem tief gehenden Verständnis der aufgenommenen Szene eröffnen sich viele neue Möglichkeiten für die Manipulation von Bildern bei der Nachbearbeitung.

Die von Fraunhofer entwickelten Algorithmen bieten eine große Auswahl an Features für die Bearbeitung, wie etwa:

• Anwendbar für Mono-, Stereo- und VR- Inhalte
• Erstellung von Tiefenkarten für visuelle Effekte (VFX)
  
• Auswahl von Position, Orientierung und Fokuspunkt für virtuelle Kameras
  
• Tiefenbasierte Farbkorrektur
  
• Erstellung von 6DoF live-action Inhalten für Virtual und Mixed Reality
• Erstellung von Punktwolken
  
• Änderung der Beleuchtung von Objekten bzw. Szenen
  

Die Plug-in Suite ist auf Nachfrage für professionelle Pilotbenutzer erhältlich.

In diesem Video wird der Rektifizierungsprozess des Realception^® Plug-ins erklärt. Das Ziel ist dabei, eine vertikale und horizontale Ausrichtung des Videomaterials zu erreichen, was die Grundlage für die weitere Bildverarbeitung darstellt.

Hinweis: Beim Abspielen des Videos werden Daten an vimeo übertragen..

Realception^® für die Unreal Engine ermöglicht die Echtzeitwiedergabe von Live Action Video Lichtfeldern in VR Welten auf Head-Mounted Displays. Hauptsächlich soll dadurch eine "windowed 6DoF Erfahrung" ermöglicht werden mit einer Mischung aus Live Action Material und VR Material. Dabei kann die Szene durch ein digitales Fenster aus unterschiedlichen Perspektiven betrachtet werden.

Realception^® für die Unreal Engine importiert Lichtfelder, die von Realception^® für Foundrys Nuke erstellt wurden. Durch die Aufnahme des Materials mit einem Kamera-Array vor einem Green Screen kann das nahtlose Zusammenspiel zwischen Live Action Material und CGI Elementen gewährleistet werden und die korrekte Perspektive sowie ein guter Tiefeneindruck bei der Wiedergabe auf einem Head-Mounted Display gesichert werden.

Aufgrund der Verwendung von Lichtfeldtechnologie bietet Realception^® für die Unreal Engine folgende Vorteile:

• Echtzeitwiedergabe von Live Action Videos ohne Konvertierung in 3D Geometriemodelle
• Erhaltung der Qualität des originalen Materials durch pixelbasiertes Rendering
• Unterstützung komplexer Szenen mit vielen Okklusionen und Tiefenebenen
  

Realception^® für die Unreal Engine ist für professionelle Pilotnutzer auf Anfrage erhältlich.