Visuelle Emotionserkennung und physiologisches Feedback in der Therapie

Entwicklung einer Roboterplattform zur Unterstützung neuer Interaktionsstrategien bei Kindern mit eingeschränkten sozio-emotionalen Fähigkeiten

Ziel

Entwicklung einer emotionssensitiven Roboterplattform mit robuster videobasierter Emotionserkennung sowie multimodaler Analyse und Auswertung von Biosignalen als visuelle Feedbackunterstützung für Kinder aus dem autistischen Spektrum. Die neuartige Plattform tritt als sozialer Re- und Interaktionspartner zwischen Kind und Therapeut auf und steigert durch den Einsatz sensorbasierter Technologien (Mimik, psycho-physiologische Signale, Sprache) dessen Kommunikationsfähigkeiten. Durch das direkte Echtzeitfeedback des Roboters lernen die Kinder, die Gefühle anderer richtig einzuschätzen und sich auch ihrer eigenen Emotionen bewusst zu werden.

Durch das geplante offene Framework und Interfacedesign der Plattform sind auch andere Anwendungsfälle denkbar, wie bspw. die Behandlung von Demenzkranken.   

Motivation

Was bei den meisten Menschen ganz unbewusst geschieht, stellt autistische Kinder vor eine große Herausforderung: Die Emotionen des Gegenübers richtig erkennen, interpretieren zu können und darauf entsprechend zu reagieren. Durch den Einsatz von Robotern als interaktives Kommunikationsinstrument in der Therapie können Kinder aus dem autistischen Spektrum schon frühzeitig gefördert werden1.  

Ziel des Verbundprojektes ERIK ist daher die Entwicklung einer Roboterplattform, die neue Interaktionsstrategien in der Therapie von Kindern mit eingeschränkten sozio-emotionalen Fähigkeiten, wie bspw. Kindern im Autismusspektrum, aufgreift.  

----------------------------------

1 Cabibihan et al. “Why robots? A survey on the roles and benefits of social robots in the therapy of children with autism.” Int J Soc Robot 5.4 (2013): 593-618.

Partner

Emotionssensitive Robotik – ERIK
© Frank - stock.adobe.com
Der Roboter als physischer Interaktionspartner und Förderinstrument

Fraunhofer IIS | Bereich Smart Sensing and Electronics (Verbundkoordinator)

  • Physiologische und videobasierte Emotionserkennung

Humboldt Universität Berlin | Arbeitsgruppe Klinische Psychologie Sozialer Interaktion

Friedrich-Alexander-Universität Erlangen-Nürnberg | Lehrstuhl für Fertigungsautomatisierung und Produktionssystematik (FAPS)

  • Technische Entwicklung des Robotersystems und seiner Komponenten

ASTRUM IT

  • Integration, Auswertung und Aufbereitung der Interaktionsdaten

audEERING

  • Sprachbasierte Emotionserkennung

Mensch-Technik-Interaktion auf Basis echtzeitfähiger Emotionserkennung

Unsere Arbeitsschwerpunkte im Projekt umfassen

  • Erweiterung und Optimierung unserer echtzeitfähigen Analysesoftware SHORE® zur robusten Klassifikation auf Basis von Videodaten jüngerer Probanden
    • Basisemotionen, z.B. glücklich, traurig, überrascht, böse
    • Positive und negative Valenz
    • Action Units
  • Robuste Implementierung und Integration emotionssensitiver Sensorik auf die Plattform

In dem Projekt ERIK werden sowohl die Richtlinien des europäischen Datenschutzgesetzes (EU-DSGVO) als auch ethisch-soziale Aspekte (ELSI) hinsichtlich der Zielgruppe Kinder berücksichtigt und fließen in den gesamten Arbeitsprozess mit ein 

 

 

 

Entwicklung einer Roboterplattform zur Unterstützung neuer Interaktionsstrategien bei Kindern mit eingeschränkten sozio-emotionalen Fähigkeiten
© Fraunhofer IIS/Bianca Möller
Entwicklung einer Roboterplattform zur Unterstützung neuer Interaktionsstrategien bei Kindern mit eingeschränkten sozio-emotionalen Fähigkeiten

Literatur/Veröffentlichungen