Mimik via KI interpretieren

Menschen erkennen meist auf den ersten Blick, ob jemand traurig, wütend oder glücklich schaut. Forschende des Fraunhofer IIS in Erlangen haben dies mittels Künstlicher Intelligenz auch einer Software beigebracht: der Gesichtserkennungs- und Emotionsanalysesoftware SHORE^®. Zum 15-jährigen Bestehen wartet sie mit weiteren Funktionen wie der Herzraten-Erkennung auf.

Während die meisten Menschen Gesichtsausdrücke auf Anhieb erkennen und deuten können, fällt autistischen Kindern dies oft schwer. Auch das eigene Empfinden können sie vielfach nicht durch entsprechende Mimik zum Ausdruck bringen. Mithilfe eines Roboters im Projekt ERIK wollen Therapeutinnen und Therapeuten den Kindern beibringen, die Empfindungen von Menschen von deren Gesichtern abzulesen.

Die Technik dafür liefert die Gesichtserkennungs- und Emotionsanalysesoftware SHORE^® des Fraunhofer IIS. »SHORE^® ist eine Softwarebibliothek zur echtzeitfähigen Gesichtserkennung und zur Mimikanalyse unter Nutzung von Methoden der Künstlichen Intelligenz, kurz KI«, sagt Dr. Dominik Seuß, Leiter der Gruppe Facial Analysis Solutions am Fraunhofer IIS. »SHORE^® kann ein Gesicht erkennen und Alter und Geschlecht der Person sowie ihre Emotionen daraus ablesen.« Der Anstoß, eine technische Gesichtserkennung zur Therapieunterstützung autistischer Kindern zu nutzen, kam von verschiedenen Eltern, die ihren betroffenen Kindern den Alltag erleichtern wollten – und immer wieder entsprechende Anfragen an das Entwicklerteam des Fraunhofer IIS stellten.

Gemeinsam mit der Humboldt-Universität zu Berlin und gefördert vom Bundesministerium für Bildung und Forschung (BMBF), machte sich das Team daher ans Werk. Das Ergebnis: Ein weißer, humanoider Roboter zeigt den Kindern auf einem Display auf seiner Brust Beispiele von Gesichtsausdrücken, die die Kinder deuten sollen. Per Sprachausgabe gibt der Roboter Hilfestellung, lobt, ermuntert und erklärt. Etwa: Ein fröhliches Gesicht erkennt man an den hochgezogenen Mundwinkeln. Anschließend gilt es für die Kinder, den gezeigten Ausdruck selbst nachzuahmen. Das Verfahren zeigt Wirkung: Den teilnehmenden Kindern fiel es zunehmend leichter, Gesichtsausdrücke von Personen zu deuten.

Ethische Aspekte immer im Blick

Bei Projekten wie ERIK, die Forschung am/mit Menschen betreffen, berücksichtigen die Forschenden ELSI-Aspekte, kurz für »Ethic Legal Social Implication«: Sie beziehen Anwenderin und Anwender mit ein und holen standardmäßig das Votum einer Ethik-Kommission ein. Die Künstliche Intelligenz wird mit großen Datensätzen trainiert und angelernt. Im Falle der Kindermimik heißt das: Die Forscher lernen die KI mit Videos an, die Personen mit verschiedenen Gesichtsausdrücken zeigen – schließlich soll sie ja möglichst präzise trainiert werden. »Wir lassen uns bei jedem Forschungsansatz bestätigen, dass das, was wir machen, ethisch vertretbar ist«, betont Seuß. Auch besitzt SHORE^® seit mehr als fünf Jahren ein Datenschutzsiegel.

Emotionserkennung in der Werbung? 

Nicht nur zu Therapiezwecken kann die Mimikerkennung eingesetzt werden, sie bietet auch bei zahlreichen anderen Anwendungen Vorteile. Etwa im Bereich der Werbung. Zündet die Pointe bei der Zielgruppe? Wann entstehen positive Gefühle bei den Zuschauerinnen und Zuschauern – und wann sollte dementsprechend das Logo des Herstellers oder des Produkts eingeblendet werden? Solchen und ähnlichen Fragestellungen wollte das deutsche Marktforschungsinstitut GfK nachgehen und nutzte dafür ebenfalls die Gesichtserkennung SHORE^®. »Die GfK zeigte Personen zu Hause am Rechner verschiedene Werbefilme, dabei wurden die Personen mit ihrer Einwilligung gefilmt. Das Video wurde zur GfK gesendet und dort mittels SHORE^® analysiert«, erläutert Seuß. 

Neuauflage zum 15-jährigen SHORE^®-Bestehen

Zum 15-jährigen Bestehen von SHORE^® wurde die Technologie neu aufgelegt und die Daten können nun direkt im Browser analysiert werden. Videos müssen den Rechner somit gar nicht erst verlassen. Übertragen werden stattdessen lediglich die Metadaten, also die Ergebnisse der Analyse. »Die Nutzung von WebAssembly erlaubt den Einsatz der Bibliothek nun auch in Webanwendungen. Das bietet den enormen Vorteil, dass kein Bildmaterial mehr übertragen werden muss«, sagt Seuß.

Eine weitere Neuerung: Auch die Herzrate ist via Gesichtsanalyse bestimmbar. Denn mit jedem Herzschlag geht eine Pulswelle durch den Körper, die die Farbe der Haut verändert. Was mit bloßem Auge nicht wahrnehmbar ist, kann die Kamera mit ihrer deutlich feineren Abstufung der Farberkennung unterscheiden. Die Künstliche Intelligenz ist somit in der Lage, über die pulsgesteuerte Veränderung der Farbtöne der Haut auf die Herzrate der Person zu schließen. Interessant ist das u. a. für Fahrermonitoring-Systeme: Über die Gesichtserkennung können Vitalparameter kamerabasiert und somit kontaktlos erfasst werden. Dies wollen die Forschenden des Fraunhofer IIS zukünftig noch ausbauen, um neben der HR-Erkennung noch mehr Biosignale via SHORE^® detektieren zu können. »Dazu arbeiten wir eng mit unserer Nachbarabteilung ›Digital Health Systems‹ zusammen sowie mit anderen Experten, die unsere Expertise optimal ergänzen«, verrät Seuß.

Zudem entwickelt das Forscherteam SHORE^® in Richtung Crowd-Analyse weiter. »Wir wollen mittels SHORE^® beispielsweise den Moment bemerken, in dem die Stimmung in großen Menschenmengen kippt«, erklärt Seuß. Die Voraussetzungen, die die Technologie dafür bietet, könnten kaum besser sein: SHORE^® kann bereits jetzt eine beliebige Anzahl von Gesichtern im Bild detektieren und gleichzeitig analysieren. Auch anderen möglichen Fragestellungen zeigen sich die Forschenden offen: In verschiedenen Projekten passen sie SHORE^® entsprechend den Wünschen von Industriepartnern an.