Emotionen messbar machen: Intelligente Analyse multimodaler Daten

Unbewusste emotionalen Reaktionen, die durch äußere Eindrücke getriggert werden, haben einen großen Einfluss darauf, wie wir unsere Umwelt wahrnehmen und Entscheidungen treffen. Diese Prozesse sind komplex und laufen unterbewusst ab und sind daher schwer zu detektieren.
Um diese bewussten und unbewussten Reaktionen zu beschreiben und zu verstehen, werden Emotionen in der Psychologie in drei Kategorien beschrieben:

  • Körperliche Reaktionen: z.B. ein beschleunigter Herzschlag oder ein feiner Schweißfilm auf der Haut
  • Subjektives Erleben: wie nimmt eine Person eine Situation basierend auf der individuellen Erfahrung wahr
  • Verhalten: z.B. ein Lächeln oder das gestresste Tippen auf die Tastatur

Unser Ziel ist es, durch die intelligente Auswertung dieser drei Perspektiven, emotionale Reaktionen möglichst ganzheitlich zu analysieren und objektiv zu interpretieren. Basierend darauf können wir Mensch-Technologie-Schnittstellen entwickeln, die den emotionalen Zustand des Nutzers erkennen und angemessen darauf reagieren können.

Dazu führen wir Studien zur multimodalen Analyse der psychophysiologischen Nutzerreaktion durch.

Wir unterstützen unsere Kunden und Partner dabei, unbewussten Reaktionen von Nutzern besser zu verstehen, indem wir die emotionalen Zustände umfassend analysieren und visualieren:

  • Kundenspezifisches Studiendesign
  • Hohe Genauigkeit durch präzise Datenaufnahme
  • Multimodale Datenfusion
  • KI basierte Analyse der multimodalen Datensätze
  • Transparenz durch Übergabe des kompletten Datensatzes inkl. Analyse (keine „Black Box“)

Datenaufnahme

Hochwertige Daten sind die Basis, um Emotionen mit KI basierte Algorithmen fundiert zu klassifizieren. Dafür entwickeln wir wissenschaflich fundierte Studiendesigns, die genau auf die individuelle Fragestellung zugeschnitten sind. Basierend darauf wählen wir ein Probandenkollektiv aus, das die Zielgruppe wiederspiegelt, und definieren die multimodalen Modalitäten für die Datenaufnahme.

Multimodale Datenaufnahme
Einfache Studiendurchführung – schnelle Ergebnisse

Schnelles und flexibles Studiensetup: Die multimodale Messkabine ermöglicht ein effizientes Setup der Studie mit synchronisierter Datenaufnahme. Je nach Anforderung und Kundenwunsch können spezifische Mess-Modalitäten hinzugefügt werden.  

Zuverlässige Emotionserkennung: Die multimodalen Daten werden synchronisiert aufgenommen, sodass Stimulus und Reaktion exakt aufeinander gemappt werden können. Durch die KI basierte Fusion der vielfältigen Input-Daten erhalten wir ein umfassenderes und genaueres Bild des Zustands der Probanden.

Schnelle Datenauswertung: Unsere Datenpipeline erlaubt die Analyse von vorverarbeiteten Daten, sodass wir eine effiziente Nachbereitung der Daten und schnelle Ergebnisse erreichen.

Hohe Datensicherheit: Sowohl bei der Datenaufnahme als auch bei der Analyse legen wir größten Wert auf den Schutz der Persönlichkeitsrechte der Probanden. Dazu berücksichtigen wir alle notwendigen Ethikvorgaben und Datenschutzbestimmungen.
Zudem setzen wir mit SHORE® eine Software zur kamerabasierten Emotionsanalyse ein, bei der ausschließlich anonymisierte Metadaten übertragen werden.

Infrastruktur für die Datenaufnahme

Expositionskabine: 360° Emotionsanalyse in abgeschlossener, störungsfreier Messkabine

  • Kontrollierte Umgebung für die Datenaufnahme, z.B. definierte Licht- und Geräuschumgebung
  • Multimodale Datenerfassung und einfache Datensynchronisation
  • Optimales uns störungsfreies Modalitätensetup
  • Einfache und günstige Datenaufnahme
  • Individuelle Anpassung des Versuchsaufbaus, z.B. Auswahl der Modalitäten
Expositionskabine
© Fraunhofer IIS/Bianca Möller

Fahrsimulator: Emotionsanalyse zugeschnitten auf das Automotive-Umfeld

  • Einfache und schnelle Datenaufnahme bei Fahraufgaben und Verkehrssituationen
  • Fahrsimulatoren, voll ausgestattet mit Kameras, Beleuchtung und Systemen zur multimodalen Biosignalerfassung
  • Medizinische Referenzsysteme und Netzwerk zu medizinischen Experten
  • Individuelle Anpassung des Versuchsaufbaus an die Anforderungen im Automotive-Umfeld
  • Optimales uns störungsfreies Modalitätensetup
  • Infrastruktur für die Einhaltung von Geheimhaltungsvorgaben
Fahrsimulator
© Fraunhofer IIS/Bianca Möller

Multimodale Datenfusion

Eine große Anzahl an verfügbaren Sensoren für psychophysiologische Messungen bringt vielfältige Möglichkeiten, emotionale Zustände zu erfassen. Die Herausforderung liegt darin, die richtigen Signale auszuwählen, zu gewichten und zu fusionieren. Hierzu kombinieren wir Know How in Deep Learing und neuronalen Netzen mit Filtermethoden für die Informationsfusion. So können wir im Vergleich zu Einzelauswertungen das ganze Potential der Multimodalität ausschöpfen. Ziel ist es, die Vorhersagemodelle durch die Datenfusion so zu optimieren, dass eine optimale Klassifikation der affektiven Zustände erreicht werden kann.

Ein weiterer Vorteil der multimodalen Datenanalyse ist die Robustheit gegenüber dem Ausfall einzelner Input-Parameter, v.a. bei sicherheitskritischen Anwendungen. So kann z.B. die Herzrate durch eine Smart Watch und zeitgleich durch eine kamerabasierte Lösung bestimmt werden. Dabei vertraut der Algorithmus der Modalität mit der geringsten Messungenauigkeit. Fällt einer der beiden Parameter aus, erhält man dennoch zuverlässige Ergebnisse, auch wenn die Güte der Vorhersage nicht mehr optimal ist.

Unsere Forschungsprojekte

 

SEMULIN – natürliche, multimodale Interaktion für automatisiertes Fahren

Entwicklung einer selbstunterstützenden, natürlichen Mensch-Maschine-Schnittstelle für automatisiertes Fahren mithilfe multimodaler Ein- und Ausgabemodalitäten, wie Mimik, Gestik, Blick und Sprache.

 

Multimodale Datenbank zur Fahrer-
zustandserkennung

  • Datenbank zu Überforderung während des Autofahrens
  • Multimodale Datenerfassung
  • Ausgewogene Probandengruppe
     
 

ADA Lovelace Center for Analytics, Data and Applications

Neues Kompetenzzentrum für Data Analytics und KI in der Industrie

 

PainFaceReader – Langzeitmonitoringsystem zur Schmerzerkennung

Entwicklung eines autonomen Monitoringsystems zur automatischen Schmerzerkennung auf Basis von Action Units