Fraunhofer-Institut für Integrierte Schaltungen IISProf. Ute Schmid, Gruppenleiterin der Projektgruppe Erklärbare KI und Professorin an der Universität Bamberg, und Dominik Seuß, Gruppenleiter der Gruppe »Multimodal Human Sensing« und Leiter im Geschäftsfeld Bildanalyse und Mustererkennung schildern im Interview, dass immer mehr Anwendungen und Einsatzgebiete von KI entstehen, und erklären, warum der Mensch Transparenz und Nachvollziehbarkeit von KI braucht.
KI-Serie: Erklärbare KI
2. Dezember 2020 | Was ist erklärbare KI? Wozu braucht man sie? Und vor allem: Warum wird sie immer wichtiger?
Im Zusammenhang mit Methoden des Maschinelles Lernens wird zwischen Black-Box-Verfahren und White-Box-Verfahren unterschieden. Damit werden Lernverfahren danach charakterisiert, ob das gelernte Modell in einem für Menschen nachvollziehbaren Format vorliegt. Warum gibt es Black-Box Ansätze überhaupt und nicht nur ausschließlich White-Box-Verfahren?
Prof. Schmid: Die verschiedenen Varianten von Lernverfahren sind für verschiedene Arten von Problemen jeweils besonders gut geeignet. So werden White-Box-Verfahren sehr erfolgreich in Bereichen angewendet, in denen klar ist, mit welchen Merkmalen die zu klassifizierenden Daten beschrieben werden können. Zum Beispiel, wenn es um eindeutig benennbare Eigenschaften geht wie Größe, Gewicht, Farbe, demographische Merkmale, grob gesagt, wenn die Daten in Tabellenform oder als strukturierte Objekte vorliegen.
Dagegen ist es bei Bilddaten oft nicht so einfach, vorab zu entscheiden, welche Informationen aus Kontrasten, Farbverläufen und Texturen genutzt werden sollten, um Entscheidungen zu treffen. Diese Informationen sind auch oft schwer in Worte zu fassen. Hier eignen sich Black-Box-Verfahren besser, die transparent machen, nach welchen Kriterien die KI entscheidet.
Dominik Seuß: Beide Verfahren haben ihre Vorteile. Black-Box-Ansätze haben oftmals eine viel genauere Vorhersagekraft, da sie keine menschenverständlichen Merkmale extrahieren müssen. Sie können hochkomplexe und hochdimensionale Abhängigkeiten erfassen und sind daher oftmals viel mächtiger als White-Box-Verfahren. Genau dieser Umstand macht es wiederum schwierig herauszufinden, ob solch ein Netz sinnvolle Merkmale für seine Entscheidung benutzt oder rein zufällige Merkmale, wie zum Beispiel die Hintergrundfarbe für seine Entscheidung interpretiert.
Im Zusammenhang mit erklärbarer KI fällt oft der Begriff der »Third Wave of AI«. In welchem Zusammenhang steht das zu erklärbarer KI?
Prof. Schmid: Der Begriff Third Wave basiert auf einer zeitlichen Einteilung der Forschung im Bereich Künstliche Intelligenz bezogen auf die jeweils dominierenden Methoden.
Die erste Welle der KI wird kurz mit »Describe« charakterisiert. Gemeint sind hier wissensbasierte Methoden, also Ansätze zur Wissensrepräsentation und zur automatischen Schlussfolgerung. Diese Ansätze sind darauf angewiesen, dass das Wissen eines Bereichs per Hand modelliert wird, man spricht von Knowledge Engineering.
Die zweite Welle wird als »Learn« beschrieben, hier stehen die rein datengetriebenen, statistischen Ansätze des maschinellen Lernens im Zentrum, wie Support Vector Machines und künstliche neuronale Netze. Nachvollziehbarkeit durch den Menschen spielt hier keine Rolle zur Beurteilung der Qualität der Verfahren, nur die prädiktive Performanz, also die Abschätzung, wie viele Fehler das gelernte Modell auf ungesehenen Eingaben machen wird.
Jetzt, wo KI zunehmend aus den Forschungslaboren in viele Anwendungsbereiche Einzug hält, wird erkannt, dass Transparenz und Nachvollziehbarkeit, aber auch Adaptivität, also Anpassungsfähigkeit auf verschiedene Kontexte in komplexen sozio-technischen Systemen unverzichtbar ist, wenn man maschinelles Lernen einsetzen will. Somit ist also die dritte Welle, die kurz als »Explain« beschrieben wird, eingeläutet.
Die Projektgruppe Erklärbare KI ist eine Kooperation zwischen der Universität Bamberg und dem Fraunhofer IIS. Sie forscht an Möglichkeiten zu erklärbarem Maschinellen Lernen. Zu welchem Zweck wurde die Gruppe eingerichtet? Und welchen Nutzen können ihre Forschungsergebnisse haben?
Prof. Schmid: Unter erklärbarer KI versteht man Methoden, welche die Entscheidungen von KI-Systemen transparent und nachvollziehbar machen. Das betrifft insbesondere Systeme, die auf maschinellem Lernen basieren. Komplexe neuronale Netze sind auch für die Entwickler selbst intransparent und daher schwer nachvollziehbar.
Aktuell wird umfangreich an Ansätzen geforscht, bei denen nach dem Eingeben der Daten hervorgehoben und visualisiert wird, welche Aspekte ein neuronales Netz hauptsächlich herangezogen hat, um zu seiner Entscheidung zu kommen.
Ein Beispiel hierzu wäre etwa eine medizinische Bildaufnahme und die darauffolgende medizinische Diagnose. Ein Entwickler kann durch Visualisierungen erkennen, ob das gelernte Modell korrekt berechnet oder überangepasst ist, zum Beispiel, weil ein wichtiges Merkmal mit einem unwichtigen wie der Hintergrundfarbe korreliert. Anwender – im Beispiel Mediziner – benötigen dagegen eher auf die Diagnose selbst bezogene Erklärungen, die man oft am besten sprachlich ausdrücken kann.
Im erwähnten medizinischen Beispiel könnte die Diagnoseentscheidung bezogen auf bestimmte eingegebene Eigenschaften erläutert werden. Beispielsweise, dass eine bestimmte Tumorart klassifiziert wurde anhand der Größe und Lage des erkrankten Gewebes.
Dominik Seuß: Wir arbeiten zum Beispiel derzeit an der Erkennung von Schmerz. Für diesen Use Case existieren nur wenige Daten, weshalb neuronale Netzwerke teilweise fehlerhafte Korrelationen in den Daten finden, bzw. im schlimmsten Fall einfach die Trainingsdaten »auswendig« lernen.
Wir nutzen daher Visualisierungstechniken, also Techniken wie z.B. Layerwise Relevance Propagation o.ä., die uns zeigen, welche Bereiche des Eingangsbilds den stärksten Einfluss auf die Entscheidung des Netzwerks hatten. Darauf aufbauend können wir im nächsten Schritt Vorwissen von Experten aus der Psychologie in die Modellierung der Netzwerke miteinbeziehen. Dies kann bspw. durch die gezielte Restriktion im Lernprozess erfolgen, also indem man verhindert, dass physiologisch nicht mögliche Zusammenhänge gelernt werden. So kann man auch in Situationen, in denen wenig Daten zur Verfügung stehen, robuste Modelle erhalten.
Prof. Schmid: Natürlich ist Erklärbarkeit nicht nur im Bereich der medizinischen Diagnostik relevant, sondern in allen Bereichen, in denen Entscheidungen ernsthafte Konsequenzen haben können – etwa im Kontext der Steuerung von Produktionsprozessen oder im Bereich der Mobilität und des autonomen Fahrens.
Inwiefern sollen die in der Gruppe interdisziplinär entwickelten Methoden insbesondere der Anwendung Nachvollziebare KI für Medizin und Automotive des ADA-Lovelace-Centers zu Gute kommen?
Prof. Schmid: Aktuell betreue ich mehrere Doktorand*innen, sowohl in der Gruppe Bildanalyse und Mustererkennung als auch im Kontext des ADA-Lovelace-Centers. Ich finde die Kooperation mit Kolleg*innen, die ganz verschiedene fachliche Perspektiven und Anwendungsthemen einbringen, außerordentlich spannend und fruchtbar. Der Mehrwert von Ansätzen, die wir in der Wissenschaft entwickeln, zeigt sich nicht zuletzt auch darin, dass sie in der Praxis sinnvoll einsetzbar sind.
Fokus in der Projektgruppe Erklärbare KI sind Methoden zur Erzeugung von Erklärungen in unterschiedlichen Modalitäten – auch inspiriert durch Erkenntnisse aus der Kognitionspsychologie. Ein weiterer wichtiger Aspekt, um Systementscheidungen zu bewerten, ist es, zu wissen, wie ein System auf seine Entscheidung gekommen ist.
Dominik Seuß: Dieses Wissen hilft uns bei verschiedensten Problemen. Ein Beispiel hierfür ist die Fusion von Datenquellen, die sich gegenseitig ergänzen. Da jeder Klassifikatorenentscheidung eine Unsicherheit zugewiesen werden kann, bietet unsere Fusionsalgorithmik die Möglichkeit an, dynamisch auf sich ändernde Umwelteinflüsse zu reagieren. Nehmen wir an, ein Sensor im Fahrzeug ist beschädigt und liefert verrauschte Daten. Der Klassifikator erkennt, dass diese Daten nicht die Beschaffenheit aufweisen, auf die er trainiert ist, und weist seiner Entscheidung eine hohe Unsicherheit zu. Dies hat zur Folge, dass das Fusionsergebnis sich entweder mehr auf andere Modalitäten verlassen wird oder einen gezielten Notfallzustand einleiten wird wie z.B. rechts ranfahren.