Virtual LiVe

Virtualisierung von Live-Veranstaltungen

VirtualLiVe Logo
Logo VirtualLiVe

Das Ziel des Projekts Virtual LiVe ist es, physische Veranstaltungsformate durch den Einsatz neuer immersiver Medienformate (z.B. 3D-Audio, 360°-Video, Lichtfelder, volumetrisches Video) zu digitalisieren. Virtual LiVe erforscht, wie die heutigen Lösungen durch hochwertige virtuelle Präsenz mit immersiven Inhalten erweitert werden können, um neue Formate für virtuelle und hybride kulturelle Veranstaltungen sowie Plattformen für Kongresse und Messen zu schaffen. Die drei Institute Fraunhofer FOKUS, Fraunhofer HHI und das Fraunhofer IIS arbeiten gemeinsam an der Umsetzung anwendbarer High-End-Lösungen für die Event-Streaming-Bedürfnisse verschiedener Akteure aus unterschiedlichen Branchen.

Das Projekt wird im Rahmen des Programms "Forschung für den Mittelstand" der Fraunhofer-Gesellschaft KMU-akut gefördert.

Technologien und Kompetenzen

Lichtfeld

 

Ein hoher Freiheitsgrad (Degrees of Freedom - DoF) kann durch die Einbeziehung von Lichtfeldtechnologien erreicht werden.

Durch den Einsatz von Multikamera-Arrays zur Aufnahme einer Szene aus verschiedenen Blickwinkeln oder durch die Aufnahme mehrerer Fotos mit einer DSLR-Kamera zum Scannen/Digitalisieren eines Objekts können neue Ansichten an beliebigen Positionen gerendert werden. Dies ermöglicht eine vollständige 6DoF-Erfahrung für den Nutzenden.

Zusätzlich dazu erlauben Lichtfeldansätze, blickwinkelabhängige Effekte korrekt zu rekonstruieren, was wiederum für Fotorealismus sorgt.

JPEG XS

 

Unser Fachwissen erstreckt sich auch auf Videocodecs mit extrem niedriger Latenz wie JPEG XS, einem Mezzanine-Codec für professionelle/industrielle Anwendungen.

 

Im Rahmen des Projekts Virtual LiVe wurde eine Machbarkeitsstudie zu JPEG XS durchgeführt, um die Einschränkungen und Anforderungen für eine Videoverbindung mit extrem niedriger Latenzzeit über ein Weitverkehrsnetz (WAN) besser zu verstehen.

MPEG-H

 

Ein wichtiger Aspekt zur Realisierung immersiver Erlebnisse ist 3D-Audio. Unsere Kompetenzen in diesem Bereich reichen von der eigentlichen Audioaufnahme mit Mikrofonarrays über die Komprimierung und das Streaming bis hin zum finalen Rendering auf der Client-Seite.

Die derzeitige Schlüsseltechnologie ist MPEG-H Audio, die sich nicht nur mit der Kompression der Audiosignale befasst, sondern es dem Hörer auch ermöglicht, den Mix während der Wiedergabe interaktiv anzupassen.

Aktuelle Herausforderung und Lösung

Aktuelle Herausforderung

Aufgrund der Corona-Krise sind Face-to-Face-Veranstaltungen wie Konzerte, Messen oder Workshops nicht immer im klassischen Format mit physischer Präsenz möglich. Dies führt zu einer kulturellen Verarmung und gefährdet den wirtschaftlichen und kulturellen Austausch in der Gesellschaft.

 

Lösung

Virtual LiVe wird einen Werkzeugkasten mit einzelnen Elementen aus der technologischen Expertise der Projektmitglieder entwickeln. KMUs können sich aus dieser Toolbox je nach Bedarf und Anforderungen ein maßgeschneidertes Programm für ihre jeweiligen Veranstaltungsbedürfnisse zusammenstellen und erhalten so eine technologiebasierte Lösung für die Umsetzung ihrer Formate.

Projektdetails

Distribution of the Workload among the Fraunhofer Institutes
© 3IT

Das Ziel ist die Ausarbeitung und Weiterentwicklung von:


Plattformen und Distribution: Identifizierung, Bewertung und Umsetzung von technischen sowie nicht-technischen Anforderungen und entsprechende Gestaltung einer Plattform zur echtzeitnahen und geschützten Übertragung von Medieninhalten und Interaktionen, von Vermarktungsoptionen (Pay-per-Use (Tickets), Abonnement- oder werbegestützte Modelle) sowie von notwendigen Veränderungen und Anpassungen entlang der Distributionskette.

360°-Video und 3D-Audio: Identifizierung, Bewertung und Umsetzung von Anforderungen für hochwertiges 360°-Video und 3D-Audio-Livestreaming für Konzerte, kompatibel mit verschiedenen Endgeräten.

Interaktive 3D-Inhalte:
Identifikation, Evaluierung und Implementierung von Workflows und Tools für audiovisuelle Interaktion mit realistischer Raumwahrnehmung durch die Kombination von Darstellungsformaten (z.B. 360°-Video, Lichtfelder, 3D-Audio), Datenreduktion für immersive interaktive Inhalte, effiziente Nutzung von Interaktionsmöglichkeiten und Integration in Kommunikationsplattformen.

Fraunhofer Virtual LiVe – Making Of Hybrid Live Concert

Hinweis: Beim Abspielen des Videos werden Daten an YouTube übertragen.

3IT Berlin - Virtual LiVe

 

 

Zurück zur Lichtfeld Technologie