Die Dialoge des Fernsehfilms lauter schalten, die Hintergrundgeräusche dimmen? Per Knopfdruck den Lieblingskommentator bei der Fußballübertragung aussuchen? Oder beim Musikhören das Schlagzeug etwas leiser drehen? Mit dem MPEG-H Audio System des Fraunhofer IIS lässt sich 3D-Klang mühelos personalisieren. Für die Entwicklung des Systems werden – stellvertretend für das Team – Harald Fuchs, Dr. Achim Kuntz und Adrian Murtaza mit dem Joseph-von-Fraunhofer-Preis 2023 ausgezeichnet.

Metadaten für individuelle Klangerlebnisse

Das MPEG-H Audio System bringt die dreidimensionale Klangwelt auf immer mehr Wiedergabegeräte. Der dafür nötige Prozess unterscheidet die Technologie aus dem Fraunhofer IIS deutlich von anderen 3D-Soundsystemen: Statt ausschließlich klassische Tonspuren zu verwenden, wird in der Produktion mit Audio-Objekten gearbeitet. Einem solchen Objekt, zum Beispiel einem singenden Vogel, werden mithilfe von Metadaten Eigenschaften wie Position und Lautstärke zugewiesen. Über sie wird festgelegt, was mit dem Ton passiert: Der Vogelgesang bewegt sich im dreidimensionalen Raum, wird lauter und leiser. All diese Informationen werden an das Wiedergabesystem gesendet und hier mit Informationen zur Wiedergabesituation kombiniert. Erst jetzt entstehen – im Unterschied zu üblichen Surround-Formaten wie 5.1 oder 7.1 – die Lautsprechersignale.

Der neue Ansatz, Audioobjekte durch Metadaten zu beschreiben, ermöglicht auch die Personalisierung von Inhalten: die Wahl zwischen verschiedenen Sprachen, Filmdialoge lauter und damit verständlicher machen, die Stimme des Sportkommentators frei im Raum positionieren oder bei Live-Events mehr oder weniger Publikumsklänge hören.

MPEG-H: Innovatives System von Produktion bis zur Wiedergabe

Das Team des Fraunhofer IIS hat dabei ein Gesamtsystem entwickelt, das die gesamte Kette von der Tonproduktion über die Übertragung bis hin zur Wiedergabe umfasst. Und zwar nicht nur in der Übertragungskette von Fernsehproduktionen: »Wir möchten sicherstellen, dass sich jede Produktions-, Übertragungs- und Wiedergabesituation in MPEG-H Audio abbilden lässt«, erläutert Kuntz. »Das MPEG-H Audio System geht daher weit über einen reinen Audiocodec hinaus: Es umfasst Produktionswerkzeuge, Datei- und Übertragungsformate und neuartige Wiedergabeverfahren ebenso wie Softwarelösungen für Integratoren.« Ein weiteres Beispiel für eine der zahlreichen Entwicklungen rund um MPEG-H Audio ist das immersive objektbasierte Musikformat 360 Reality Audio des Elektronikkonzerns Sony. Es findet sich schon heute bei vielen Streamingdiensten – ein mit dieser Technologie produziertes Album erhielt 2023 sogar den Grammy für das beste immersive Album.

Das Ende der Testphase

Ein so umfassendes Audiosystem zu entwickeln, kann nur mit einem großen Team gelingen: Bis zu hundert Personen gleichzeitig arbeiteten zu Spitzenzeiten an dem Projekt, das bereits 2012 startete – derzeit sind es noch etwa 50 Mitarbeitende. Wichtig war darüber hinaus internationale Unterstützung. Industrie- und Technologiepartner auf der ganzen Welt trugen dazu bei, MPEG-H Audio fit für den Einsatz in unterschiedlichsten Umgebungen zu machen. So etwa Brasilien: Nach groß angelegten Vergleichstests entschied das Land im Dezember 2021, die neue Technologie als verpflichtenden Audiostandard für seine neue Fernsehinfrastruktur einzusetzen. Auch in Europa kam MPEG-H Audio bereits bei einer Reihe von Tests zum Einsatz. Kurzum: Das MPEG-H Audio System ist das weltweit einzige offen standardisierte System zur Übertragung der nächsten Generation von Audioformaten.

Über den Joseph-von-Fraunhofer-Preis

Seit 1978 verleiht die Fraunhofer-Gesellschaft jährlich Preise für herausragende wissenschaftliche Leistungen ihrer Mitarbeitenden, die anwendungsnahe Probleme lösen. In diesem Jahr werden drei Preise mit jeweils 50 000 Euro an Forschergruppen aus unterschiedlichen Instituten vergeben.