SEMULIN – natürliche, multimodale Interaktion für automatisiertes Fahren

Machine Learning in Mensch-Maschine-Schnittstellen

Ziel

Entwicklung einer selbstunterstützenden, natürlichen Mensch-Maschine-Schnittstelle für automatisiertes Fahren mithilfe multimodaler Ein- und Ausgabemodalitäten, wie Mimik, Gestik, Blick und Sprache.
In Verbindung mit der Betrachtung der unmittelbaren Umgebung (Innenraum etc.) ergibt sich so ein ganzheitlicher Entwicklungsansatz für ein den menschlichen Sinnen angepasstes Human-Machine-Interface (HMI) auf Basis von Machine Learning Ansätzen.  

Das System erleichtert die Interaktion, steigert das Nutzererleben und die Akzeptanz für autonomes Fahren in allen Bereichen. Die im Projektverlauf entwickelten Methoden zur Messung der Nutzerzufriedenheit dienen als Basis für ähnlich konzipierte Projekte.

Motivation und Herausforderung

Die Nutzerschnittstelle nimmt im automatisierten Fahrbetrieb eine große Rolle ein, da sie aufgrund der steigenden Komplexität und Anforderungen mehrere Funktionen unterstützen, Informationen verarbeiten und eine hohe Bedienfreundlichkeit aufweisen muss.

Aktuell sind der natürlichen Interaktion zwischen Fahrer, Beifahrer und Fahrzeug Grenzen gesetzt, insbesondere was den Wechsel zwischen verschiedenen Modi (Mimik, Sprache, Beleuchtung, Lautsprecher etc.) oder deren Kombination betrifft.

Um diese menschenzentrierte Interaktion zu ermöglichen, müssen sowohl verschiedene Modalitäten als auch Kontextinformationen berücksichtigt und sinnvoll miteinander verknüpft werden. Eine besondere Herausforderung liegt darin, die genaue Handlungsabsicht des Nutzers korrekt zu identifizieren und Aktionsableitungen für das System zu generieren.

Mensch-Maschine-Schnittstelle mit intelligenter Sensorinterpretation und Datenfusion

Um eine menschenzentrierte Mensch-Maschine-Schnittstelle mit maßgeschneiderter Systemarchitektur unter Berücksichtigung des Gesamtkontextes zu entwickeln, untersuchen wir alle verfügbaren Modalitäten, um die daraus aggregierten Sensordaten intelligent interpretieren und fusionieren zu können.

Dazu nutzen wir bereits etablierte Technologien, wie bspw. unsere Analysesoftware SHORE® zur videobasierten Emotionserkennung und weitere verbaute Sensoren, um die Daten vorab zu verarbeiten und intelligent zu interpretieren. Mithilfe regelbasierter und KI-gestützter Verfahren und deren multimodaler Implementierung setzen wir die Daten miteinander in Beziehung.

Mithilfe intelligenter Sensorinterpretation und Fusionierung lassen sich Aussagen über den Zustand des Nutzers treffen, dessen Handlungsabsicht identifizieren und mögliche Reaktionen ableiten. Neuartige Ansätze, wie z.B. interaktives Lernen zielen darauf ab, dass sich das System kontinuierlich an die Bedürfnisse des jeweiligen Nutzers anpasst.
 

Partner

Elektrobit Automotive GmbH (Projektkoordination)

  • Konzept, Design, HMI, Systemarchitektur, Demonstratoraufbau

Fraunhofer IIS | Bereich Smart Sensing and Electronics, Bereich Audio und Medientechnologien

  • Videobasierte Mimik- und Emotionserkennung, Maschinelles Lernen
  • Sprachplattform, Dialogsysteme, Sprechererkennung

audEERING GmbH

  • Affective Voice Computing, Maschinelles Lernen, sprachbasierte Emotionserkennung

Eesy Innovation GmbH

  • Ausgabemodalität, nutzerzentrierte steuerbare Lichtlösung

Blickshift

  • Eyetracking, multimodales Framework

Infineon Technologies AG

  • HPC-Architekturen, intelligente Sensoren, Gestenerkennung, Sicherheitskonzepte

Universität Ulm | Institut für Medieninformatik, Institut für Psychologie und Pädagogik

  • Medieninformatik, HMI, Multimodalität, ELSI
  • Human Factors, psycholog. Modellierung, Empirik

ELSI

Um eine größtmögliche Akzeptanz des Systems zu erreichen, werden im Projektverlauf ethische, rechtliche und soziale Implikationen (ELSI) analysiert, bewertet und entsprechend der vorgegebenen Leitlinien innerhalb des Forschungsansatzes integriert.
 

Für weitere Informationen rund um das Verbundprojekt SEMULIN wenden Sie sich bitte an Herrn Jaspar Pahl: jaspar.pahl@iis.fraunhofer.de

 

Driver Monitoring Systems

Multimodale Analyse für In-Cabin Sensing: mehr Sicherheit und Komfort beim Autofahren

 

Software zur Gesichtserkennung SHORE® – Empathie für Ihre Technologie

 

Probandenstudien

Unbewusste Reaktionen richtig interpretieren

Zur impliziten Analyse von Kunden-, Nutzer- und Patientenreaktionen führen wir Probandenstudien als FuE-Dienstleistung durch.