Fraunhofer-Institut für Integrierte Schaltungen IIS
Dreidimensionaler Klang, als wäre man mitten im Geschehen.
© Fraunhofer IIS/viaframe
3D-Klang für alle
14. März 2018
Hochwertigen 360-Grad-Sound aufnehmen oder einhüllenden Klang im Heimkino genießen: Beides war bisher nur denjenigen vorbehalten, die bereit waren, zahlreiche Mikrofone bzw. Lautsprecher zu installieren. Solche aufwendigen Installationen werden allerdings bald der Vergangenheit angehören. Die Technologien der Fraunhofer »upHear®«-Familie ermöglichen mit ihren speziellen Algorithmen die Aufnahme oder Wiedergabe von dreidimensionalem Klang mit jeweils nur einem einzigen Gerät.
Ein Hobbyfilmer sieht und hört sich auf seinem Fernseher mit Soundbar die Aufnahmen eines Autorennens an, das er vom Streckenrand mit seiner privaten Kamera gefilmt hatte: Dabei zieht das Röhren der Motoren wie auf dem Fernsehbild mit voller Wucht von links nach rechts durch das Wohnzimmer an ihm vorbei, über sich hört er den Stadionsprecher das Rennen kommentieren und um sich herum das Publikum die Piloten anfeuern. Er fühlt sich, als wäre er wieder an der Rennstrecke.
Das ist bislang ein Zukunftsszenario. Kameras, die 360-Grad-Bilder und -Videos erzeugen können, sind zwar bereits seit längerer Zeit erhältlich; der zum Bild gelieferte Klang lässt bisher aber meist zu wünschen übrig – es sei denn, er wird mithilfe einer ausgeklügelten Mikrofon-Anordnung aufgezeichnet; für Endverbraucherinnen und Endverbraucher kaum zu realisieren. Auch Soundbars gibt es schon eine ganze Weile, sie können in der Regel auch Surround-Sound reproduzieren. Wirklich einhüllenden Klang wie im Kino bekommen allerdings nur HiFi-Enthusiasten, die sich die Mühe machen, ihr Wohnzimmer mit vielen Lautsprechern inklusive Höhenlautsprechern auszustatten.
Diese Hürden sind für die meisten Menschen viel zu hoch, um echten 3D-Klang aufzunehmen oder nach Hause zu holen. Aber auch professionelle Produzentinnen und Produzenten von dreidimensionalen – immersiven – Medieninhalten wünschen sich Lösungen, die ihre Arbeit erleichtern. Hier setzen die Technologien mit dem Namen upHear an, die in unserem Bereich Audio und Medientechnologien entwickelt wurden: Diese ermöglichen nutzerfreundliche Lösungen für ein überzeugendes 3D-Klangerlebnis. Man benötigt damit nur noch ein einziges Endgerät – beispielsweise Mikrofon oder Kamera auf der Produktionsseite, oder Soundbar auf Empfängerinnen- oder Empfängerseite. So wird umhüllender Klang mit ganz einfachen Mitteln erlebbar.
3D-Tonaufnahme leicht gemacht
Unsere Ingenieure haben die Fraunhofer »upHear Spatial Audio Microphone Processing«-Technologie entwickelt, um hochqualitative 3D-Tonaufnahmen mit Raumklang-Mikrofonen sowie den eingebauten Mikrofonen von professionellen und Consumer-360-Grad-Kameras und Mobilgeräten mit nur einem Knopfdruck zu ermöglichen.
Der Algorithmus kann direkt in Geräte, mobile Applikationen oder Postproduktionssoftware implementiert werden und lässt sich flexibel auf die Bedürfnisse der Hersteller sowie auf spezielle mobile Designs von Kameras und Mobilgeräten anpassen. Auch eine Integration in Geräte mit drei oder mehr Mikrofonen in vielfältigen Konfigurationen oder in noch anspruchsvollere Anwendungen ist möglich. Die Technologie analysiert Tonsignale positionsgenau und wandelt diese automatisch und in Echtzeit in jedes gängige Surround- oder immersive Wiedergabeformat um. Die Klang-Atmosphäre der aufgenommenen Szene bleibt dabei originalgetreu erhalten.
Mithilfe der bei der Analyse erhobenen Informationen können später die Klangquellen über ein Lautsprecher-Setup wiedergegeben werden, indem Kanäle geschaffen werden. Typische Formate sind beispielsweise 5.1 Surround, oder 7.1+4 für 3D-Klang. Auch das Erzeugen einer stimmungsgebenden Geräuschkulisse mittels Ambisonics ist möglich. Im Profi-Bereich erlaubt die Technologie außerdem, wenn sie in Mikrofonen eingesetzt wird, manuelles Editieren.
Das vereinfacht die Handhabung und bringt damit Flexibilität während der Postproduktion, in der Sounddesigner schließlich die aufgenommenen Audioszenen mit zusätzlichen Soundelementen wie Voiceovers oder dynamischen Objekten kombinieren können. So ist es möglich, dass immersive Klangerlebnisse für Virtual Reality kreiert und auch Filme mit 3D-Sound aufgewertet werden.
Der unter anderem mit einem Emmy Award preisgekrönte Produzent von Virtual-Reality(VR)-Inhalten Felix & Paul Studios verwendet das Fraunhofer upHear Spatial Audio Microphone Processing in seinem 360-Grad-3D-Kamerasystem und den zugehörigen Produktionswerkzeugen, um szenenbasierten Sound originalgetreu und präzise aufzunehmen. Dieser kann später mit anderen Quellen kombiniert werden, um ein vollkommen einhüllendes Audio-Erlebnis zu schaffen.
»3D-Klangwelten können auch in das Wohnzimmer Einzug halten.«
Authenthische Atmosphäre per Soundbar
Dank Premium-Streaming-Diensten, Fernsehübertragungen im UHD-Format oder Serien und Filmen auf Blu-ray Discs können wir umhüllenden Kinoklang theoretisch auch zu Hause genießen. Herkömmliche Ansätze, den dreidimensionalen Sound im Wohnzimmer zu realisieren, erfordern aber zahlreiche Lautsprecher, Kabel und spezielles technisches Wissen für den Aufbau. Zukünftig wird es aber auch ohne diesen Aufwand gehen: Denn die »Immersive Audio Virtualizer«-Technologie aus der Fraunhofer upHear-Familie ermöglicht die Wiedergabe von hochqualitativem 3D-Sound über Soundbars oder Fernsehgeräte. Hersteller von Unterhaltungselektronik profitieren beim Einsatz von upHear neben der ausgeklügelten Signalanalyse und dem Zusammenspiel der perfekt aufeinander abgestimmten Hard- und Software von der persönlichen Beratung hinsichtlich der Hardware-Spezifikationen und einem individuellen Tuning durch erfahrene Fraunhofer-Tonmeister im Rahmen der Produktentwicklung.
So wird eine intelligente Anordnung der Lautsprecher im Gerät möglich – und damit smarte und individuelle Soundbar-Designs für eine einhüllende Klangwiedergabe ohne Satellitenlautsprecher. Das spart den Konsumenten zu Hause Aufwand, Zeit und Nerven.
Durch intelligente Verteilung des Klangs im Raum erzeugt eine Soundbar mit integriertem upHear-Algorithmus einen 3D-Sound, für den normalerweise sieben Lautsprecher, ein Subwoofer und vier Höhenlautsprecher benötigt würden. Der Algorithmus kann jegliches Audioformat verarbeiten, auch ältere Formate wie Surround oder Stereo können durch den integrierten Upmix noch räumlicher gestaltet werden. Der perfekte Partner für möglichst authentischen 3D-Klang ist MPEG-H Audio, der Audiocodec der nächsten Generation. MPEG-H ermöglicht eine effiziente Übertragung von einhüllendem Sound in TV oder Streaming bei Bitraten, die heute typischerweise für 5.1-Surround-Übertragungen benötigt werden.
Darüber hinaus bietet die Technologie eine Reihe an Features für ein neues, aufregendes TVAudio-Erlebnis: Neben immersivem Klang dank 3D-Audiokomponenten besteht außerdem die Möglichkeit, den Sound-Mix an seine Bedürfnisse anzupassen – man genießt so stets den für das jeweilige Endgerät maßgeschneiderten Klang. Zusammen mit Partnern werden wir sicher schon bald mithilfe des Fraunhofer upHear Immersive Audio Virtualizer authentischen 3D-Klang in die Wohnzimmer bringen.
Stetige Forschung am Sound der Zukunft
Da auch das Leben nicht zweidimensional ist, ist 3D-Klang ein wichtiger Baustein, um in neue Medienwelten einzutauchen, als wären wir tatsächlich vor Ort. Unser Bereich Audio und Medientechnologien arbeitet daher in interdisziplinären Teams zusammen an den Audiotechnologien der upHear-Familie, die genau das ermöglichen. Dabei wird der Anspruch verfolgt, sowohl technisch als auch künstlerisch erstklassige Lösungen zu kreieren, um
authentisch umhüllende Klangwelten zum Leben erwecken zu können.
