Fraunhofer und b<>com zeigen VR-Comedyshow im MPEG-H 3D Audio-Format auf Basis der VRIF-Richtlinien
Erlangen/Rennes/Amsterdam: Das Fraunhofer-Institut für Integrierte Schaltungen IIS und das französische Institut für Forschung und Technologie b<>com demonstrieren auf der Fachmesse IBC eine Ende-zu-Ende-Kette für Produktion, Übertragung, Wiedergabe und Rendering des Higher Order Ambisonics (HOA)-Modus von MPEG-H Audio, dem internationalen Standard für umhüllenden Klang. Das erste mit dieser Werkzeugkette produzierte Virtual-Reality-Material ist eine Episode der VR-Comedyshow »Vaudeville« vom französischen VR-Studio DVGroup.
Die auf VR-Headsets gezeigte Folge von »Vaudeville« ist der erste VR-Inhalt, der dem Richtlinienentwurf für die Produktion und Übertragung von hochqualitativen VR-Inhalten folgt. Anhand dieser Richtlinien, entwickelt vom Virtual Reality Industry Forum (VRIF), soll eine hohe Interoperabilität in einem offenen System sichergestellt werden.
Die Mitglieder des VRIF, darunter auch das Fraunhofer IIS und b<>com, setzen sich für die Etablierung eines interoperablen Ende-zu-Ende-Systems für Anbieter von hochwertigen audiovisuellen Virtual Reality-Inhalten ein. Im Rahmen der IBC 2017 veröffentlicht das VRIF einen ersten Entwurf seiner Richtlinien für VR, zu finden unter www.vr-if.org/guidelines/. Das Fraunhofer IIS und b<>com präsentieren auf der Messe das allererste VR-Erlebnis, das auf diesen Richtlinien basiert.
Die auf der IBC gezeigte Virtual Reality-Umgebung, die auf Samsung Gear VR-Headsets übertragen wird, soll den Nutzer gänzlich in eine andere Welt abtauchen lassen. Der als Higher Order Ambisonics (HOA) konfigurierte Audiomix wurde mit der b<>com Spatial Audio Toolbox produziert und wird im VRIF 3D Audio Baseline-Medienprofil, basierend auf MPEG-H Audio, wiedergegeben. Das 3D Audio Baseline-Medienprofil ist bei MPEG als Teil des Omnidirectional Media Format (OMAF) technisch spezifiziert.
MPEG-H Audio ist ein umfassendes Audiocodec-System, das Audiokanäle, Ambisonic-Audio und Audioobjekte samt Metadaten übertragen kann, und damit möglichst großen kreativen Freiraum für Entwickler von interaktiven und einhüllenden Audioerlebnissen gewährleistet. Das vom Fraunhofer IIS wesentlich mitentwickelte MPEG-H TV Audio System wird bereits im Ultra High Definition (UHD)-TV-System in Südkorea genutzt und ist Teil der ATSC 3.0- und DVB-UHD Fernsehstandards, sowie für die Übertragung von Over-the-top (OTT)-Inhalten geeignet. Das MPEG-H TV Audio System bietet folgende Features:
• Einhüllenden Klang: 3D-Audiokomponenten tragen zu einem umhüllenden Sounderlebnis bei.
• Interaktivität: Anwender haben die Möglichkeit, den Audio-Mix nach Belieben anzupassen.
• Universelle Übertragung: Maßgeschneiderte Wiedergabe sorgt für den bestmöglichen Klang – egal auf welchem Gerät, egal in welcher Umgebung.
Für eine mühelose Integration in Virtual Reality-Headsets stellt das Fraunhofer IIS ein Software Development Kit (SDK) bereit, mit dem umhüllende VR-Erlebnisse mit MPEG-H-Audiodekodierung und hoher Rendering-Qualität zum Leben erweckt werden können.
Die Spatial-Audio-Toolbox-Lösung von b<>com enthält moderne Werkzeuge für die Produktion und Postproduktion von Higher Order Ambisonics Audio.
Auf der IBC in Amsterdam, die vom 15.-19 September 2017 stattfindet, können Besucher an den Ständen von b<>com (Halle 8, Stand G14) und Fraunhofer (Halle 8, Stand B80) »Vaudeville« in der virtuellen Realität und mit MPEG-H Audio hautnah erleben.
Weitere Informationen finden sich unter www.iis.fraunhofer.de/ame.
Statements:
»Higher Order Ambisonics, oder Scene Based Audio, ist ein unverzichtbares Format, um überzeugende VR-Inhalte zu produzieren. Wir sind stolz darauf, gemeinsam mit der DVGroup und Fraunhofer das erste Ende-zu-Ende-System zu präsentieren, das konform mit den Richtlinien des VRIF zur Produktion und Wiedergabe dieser Inhalte ist.«
Ludovic Noblet, Leiter Hypermedia bei b<>com
»Die Zusammenarbeit mit b<>com bei der Entwicklung dieses kompletten VR-Audiosystems auf MPEG-H Audio-Basis ist ein gutes Beispiel dafür, wie man gemeinsam etwas tolles Neues schaffen kann. Anschließend zu sehen, was kreative Köpfe wie die DVGroup damit machen und welches Level an Realismus sie damit erreichen können, ist der schönste Lohn.«
Jan Nordmann, Senior Director New Media bei Fraunhofer USA Digital Media Technologies
»Die DVGroup ermutigt Autoren, 3D-Audio als Erzählwerkzeug in ihren Geschichten zu nutzen. Diese Zusammenarbeit bei ‚Vaudeville’ zielte darauf ab, die Qualität von 360°-3D-Erfahrungen weiter zu erhöhen. Die von b<>com entwickelten Spatial Audio Tools geben ein Gefühl von Räumlichkeit, was in diesem Ausmaß in 360°-VR-Produktionen oftmals fehlt. Zusammen mit Fraunhofer haben wir einen wichtigen Schritt getan, um wirklich einhüllende Erlebnisse für Endnutzer voranzubringen.«
François Klein, DVGroup
Über b<>com
Mit seinen Innovationen ist das Institut für Forschung und Technologie b<>com Teil der Digitalen Transformation in Europa. Seine 230 Forscher entwickeln Werkzeuge, Produkte und Dienste, die den Alltag erleichtern. Der Fokus liegt dabei auf zwei Forschungsfeldern: Hypermedia (ultrahochauflösende Bilder, 3D-Klang, Smart Content, Virtual und Augmented Reality) und agilere Ultra-Hochgeschwindigkeits-Netzwerke (Cloud, Cybersicherheit, Ultra-Hochgeschwindigkeits-Mobilfunk, Netzwerkstabilität, Internet der Dinge).