Explainable AI (ex-AI)

Zusammenfassung:

Explainable AI ist kein neues Gebiet. Vielmehr ist das Problem der Erklärbarkeit so alt wie die AI selbst, ja vielmehr das Resultat ihrer selbst. Während regelbasierte Lösungen der frühen AI nachvollziehbare „Glass-Box“ Ansätze darstellten, lag deren Schwäche im Umgang mit Unsicherheiten der realen Welt. Durch die Einführung probabilistischer Modellierung und statistischer Lernmethoden wurden die Anwendungen zunehmend erfolgreicher – aber immer komplexer und opak. Beispielsweise werden Wörter natürlicher Sprache auf hoch-dimensionale Vektoren abgebildet und dadurch für Menschen nicht mehr verstehbar. In Zukunft werden Kontext-adaptive Verfahren notwendig werden, die eine Verknüpfung zwischen statistischen Lernmethoden und großen Wissensrepräsentationen (Ontologien) herstellen und Nachvollziehbarkeit, Verständlichkeit und Erklärbarkeit erlauben – dem Ziel von explainable AI.

Motivation

Artificial Intelligence (AI) hat eine lange Tradition in der Informatik und hat in den letzten sechs Jahrzehnten viele Höhen und Tiefen erlebt. Das Feld hat in letzter Zeit vor allem aufgrund großer praktischer Erfolge statistischer und probabilistischer Ansätze in Machine Learning (ML) enormes Interesse geweckt. Das große Ziel ist nach wie vor, Software zu entwickeln, die in der Lage ist, selbstständig aus Erfahrungen zu lernen und Voraussagen zu treffen. Um ein Niveau an praktisch nutzbarer AI zu erreichen ist es notwendig: (1) aus hochdimensionalen Datenmengen zu lernen, (2) daraus Wissen zu extrahieren, (3) dieses zu verallgemeinern, (4) dabei aber den „Fluch der Dimensionalität“ in den Griff zu bekommen, und schließlich (5) die den Daten zugrundeliegenden Erklärungsfaktoren zu verstehen. Letzteres impliziert allerdings die wahrscheinlich größte Herausforderung moderner AI: Daten im Kontext einer Anwendungsdomäne zu verstehen.

Intelligente selbstlernende Algorithmen bzw. Systeme sollten in der Lage sein, sowohl den sprachlichen Kontext (verbal) als auch den situativen Kontext (nonverbal) zu verstehen und daraus nicht nur formal, sondern auch kausal die korrekten Schlüsse zu ziehen – ein langersehntes aber noch weit entferntes Ziel der AI.

Derzeit sind AI Anwendungen in unserem täglichen Leben sehr erfolgreich (Autonomes Fahren, Sprachverstehen, Empfehlungssysteme, usw.). Für Menschen ist es jedoch sehr schwierig nachzuvollziehen, wie diese Algorithmen zu einer Entscheidung gelangen. Ansätze, wie z.B. „Deep Learning“ [1] sind letztlich sogenannte „Black-Box“ Modelle. Selbst wenn wir die zugrundeliegenden mathematischen Prinzipien verstehen, fehlt solchen Modellen eine explizite deklarative Wissensrepräsentation. Interessanterweise hatten frühe AI Lösungen (damals Expertensysteme genannt) von Anfang an das Ziel, Lösungen nachvollziehbar, verstehbar und damit erklärbar zu machen, was in eng begrenzten Domänen auch möglich war [2].

Natürlich braucht man nicht für alles und jederzeit Erklärungen. Eigentlich ist ja genau das Gegenteil der Fall und deswegen ist AI mit ihren statistischen Lernmethoden derzeit so erfolgreich: Abstrakte Algorithmen finden in großen, komplexen und hochdimensionalen Datenmengen Muster, die kein Mensch jemals entdecken könnte. Das ist gut. Allerdings gibt es bestimmte Domänen und bestimmte Situationen in denen eine nachvollziehbare Erklärung notwendig ist. Insbesondere gilt dies in problematischen Situationen menschlicher Entscheidungsfindung. Hier kann eine Erklärungskomponente dazu beitragen, den menschlichen Entscheidern zumindest eine Chance auf Überprüfung der Plausibilität eines Ergebnisses zu ermöglichen. Ein Beispiel sind medizinische Entscheidungsunterstützungssysteme. Hier sind Lösungen hilfreich, die es ermöglichen, Entscheidungen nachvollziehbar transparent, verständlich und erklärbar zu machen. Gerade in sicherheitsrelevanten Domänen stellt sich nämlich zwangsläufig die Frage: „Können wir unseren Ergebnissen vertrauen?“ [3].

Hier ist explainable AI nicht nur nützlich und notwendig, sondern stellt überdies eine Riesenchance für AI-Lösungen generell dar, weil dadurch die vorgeworfene Undurchsichtigkeit der AI vermindert und notwendiges Vertrauen aufgebaut werden kann. Genau dies kann die Akzeptanz bei zukünftigen Benutzerinnen und Benutzern nachhaltig fördern. Ein weiterer und wichtiger werdender Bereich ist der juristische. Hier drängt die Zeit, dass die Informatikforschung Lösungen findet insofern, als die neue Europäische Datenschutzgrundverordnung (DSGVO, vgl. auch mit ISO/IEC 27001) ein „Recht auf Erklärung“ vorsieht. Dies bedeutet keinesfalls, alles und immerzu in Echtzeit erklären zu müssen; jedoch auf Antrag einer Person, eine Erklärung für eine bestimmte Entscheidung oder eine Risikobewertung nachvollziehbar und erklärbar darzustellen.

All die genannten Umstände machen das aktuelle Schlagwort „explainable AI“ zu einem Thema, das weltweit, sowohl in Wissenschaft als auch in Wirtschaft enorm an Bedeutung zunimmt und verstärkt zur Diskussion von Transparenz, Vertrauen, Interpretierbarkeit, Nachvollziehbarkeit und Erklärbarkeit aber auch von ethischen Aspekten von AI zwingt.

Begrifflichkeiten: Verstehbar? Verständlich? Erklärbar?

Der Begriff AI selbst ist eigentlich ein unglücklicher, ist doch gerade das Phänomen natürlicher Intelligenz sehr schwer zu definieren und von einer Fülle verschiedener Faktoren abhängig; daher beschränken wir uns hier nur auf explizit Relevantes für das Schlagwort explainable AI.

• Verstehen ist nicht nur erkennen, wahrnehmen und wiedergeben (Reiz-Reaktion auf physiologischer Ebene), und auch nicht nur das inhaltliche Begreifen und bloße Wiedergeben eines Sachverhalts, sondern die intellektuelle Erfassung des Zusammenhangs (Kontext), in dem dieser Sachverhalt steht. Verstehen ist vielmehr die Brücke zwischen Wahrnehmen und Entscheiden. Von der Erfassung des Kontextes, zweifelsfrei ein wichtiger Indikator für Intelligenz schlechthin, ist die derzeitige AI aber noch meilenweit entfernt. Dagegen sind Menschen aber sehr gut in der Lage, den Kontext instantan zu erfassen und bereits aus sehr wenigen Datenpunkten sehr gute Generalisierungen vorzunehmen [4].
• Erklären (Interpretieren) bedeutet darüber hinaus, die Ursachen eines beobachteten Sachverhaltes durch eine sprachliche Darlegung seiner logischen und kausalen Zusammenhänge verständlich zu machen. In der Wissenschaftstheorie gilt gemäß des hypothetisch-deduktiven Modells nach Karl Popper eine kausale Erklärung als Fundament jeder Wissenschaft, um Sachverhalte aus Gesetzen und Bedingungen deduktiv abzuleiten. Kausalität und kausales Schlussfolgern ist daher ein extrem wichtiges Gebiet für explainable AI [5].
• Verstehen und Erklären sind Voraussetzungen für Nachvollziehbarkeit. Die Frage die sich uns nun stellt ist: „Was ist für den Menschen überhaupt verstehbar bzw. verständlich?“
• Direkt verständlich und damit auch erklärbar, interpretierbar und nachvollziehbar für Menschen sind Daten bzw. Objekte ≤R3 , z.B. Bilder (Matrix aus Pixeln, Glyphen, Korrelations Graphen, 2D/3D Projektionen usw.) oder Text (Sequenzen natürlicher Sprache). Menschen können Bilder bzw. Wörter physiologisch perzipieren, die extrahierte Information entsprechend kognitiv mit Bezug auf ihr subjektives Vorwissen interpretieren (verstehen) und in den jeweiligen, eigenen kognitiven Wissensraum integrieren. Streng genommen muss hier zwischen Bildverstehen, Textverstehen und Sprachverstehen unterschieden werden. Für weiterführende Information muss hier der Kürze wegen auf die Kognitionsforschung verwiesen werden.
• Nicht direkt verständlich und damit auch nicht erklärbar, interpretierbar und nachvollziehbar sind abstrakte Vektorräume in >R3 (z.B. „word-embeddings“) oder undokumentierte, d.h. noch unbekannte Eingangsmerkmale (z.B. Textsequenzen mit unbekannten Wörtern oder unbekannten Symbolen). Ein Beispiel soll dies verdeutlichen: Beim sogenannten Word-Embedding [6] werden Wörter und/oder Phrasen jeweils Vektoren zugeordnet. Konzeptionell ist dies eine mathematische Einbettung von einem Raum mit einer Dimension pro Wort in einen kontinuierlichen Vektorraum mit geringerer Dimension. Methoden, um ein solches „Mapping“ zu generieren, umfassen z.B. neuronale Netze und probabilistische Modelle mit einer expliziten Repräsentation in Bezug auf den Kontext, in dem Wörter erscheinen.

Post-Hoc und Ante-Hoc Erklärungsmodelle

A) Post-Hoc Erklärungsansätze

Post-Hoc (lat.) = nach-diesem (Ereignis), d.h. solche Ansätze liefern eine Erklärung für eine spezifische Lösung, erklären also nicht das gesamte Modell. Der Kürze wegen wird jeweils nur ein Beispiel etwas genauer vorgestellt.

Bei BETA (Black Box Explanations through Transparent Approximations) [7] handelt es sich um ein agnostisches Modell zur Erklärung des Verhaltens eines (beliebigen) Black-Box-Klassifikators (also einer Funktion die einen Merkmalsraum auf eine Menge von Klassen abbildet) durch gleichzeitige Optimierung auf Genauigkeit des ursprünglichen Modells und einer Interpretierbarkeit der Erklärung für einen Menschen. Interpretierbarkeit und Genauigkeit gleichzeitig sind schwierig zu erreichen. Die Benutzerinnen und Benutzer werden interaktiv in das Modell eingebunden und können so die sie interessierenden Bereiche von Black-Box Modellen erkunden.

Das LRP (Layer-Wise Relevance Propagation) Verfahren [8] stellt eine weitere allgemeine Lösung zum Verstehen von Klassifikationsentscheidungen durch pixelweise Zerlegung von nichtlinearen Klassifikatoren dar. Stark vereinfacht erlaubt LRP die „Denkprozesse“ von neuronalen Netzen rückwärts ablaufen zu lassen. Dabei wird nachvollziehbar, welcher Input welchen Einfluss auf das jeweilige Ergebnis hatte, z.B. im Einzelfall wie das neuronale Netz zu einer medizinischen Diagnose oder einer Risikobewertung gekommen ist. Werden genetische Daten in ein solches Netz eingegeben, kann nicht nur analysiert werden, mit welcher Wahrscheinlichkeit eine Patientin bzw. ein Patient eine bestimmte genetische Erkrankung hat, sondern an Hand welcher Merkmale diese Entscheidung getroffen wurde. Ein solcher Ansatz ist definitiv ein Schritt in Richtung personalisierter Medizin. In Zukunft kann mit solchen Ansätzen eine individuelle, genau auf die Patientin bzw. den Patienten „zugeschnittene“ Krebstherapie erfolgen.

LIME (Local Interpretable Model-Agnostic Explanations) [9] stellt ein agnostisches Modell dar, worin x ∈ Rd  die ursprüngliche Repräsentation einer zu erklärenden Instanz und x‘  ∈ Rd'  einen Vektor für die zu interpretierende Repräsentation darstellt. Beispielsweise kann x‘  ein Merkmalsvektor sein, der Wörter x‘  eines „bag-of-words“ Ansatzes enthält.

Das Ziel ist, ein interpretierbares Modell zu finden, welches lokal vertrauenswürdig zum Klassifikator passt, d.h.:

g :Rd'→ R, g∈G

wobei G  die Klasse der interpretierbaren Modelle darstellt, z.B. lineare Modelle, Entscheidungsbäume, Regel-Listen, usw.; ein gegebenes Modell g ∈ G  kann somit zur Erklärung für einen menschlichen Experten in R2  dargestellt werden. LIME arbeitet mit jeder Instanz separat, diese werden permutiert und ein Ähnlichkeitsmaß zu den ursprünglichen Instanzen berechnet. Nun lässt man das komplexe Modell Vorhersagen für jede dieser permutierten Instanzen machen. Der Einfluss der Änderungen auf die Vorhersagen kann für jede Instanz nachvollzogen werden. so kann beispielsweise ein Arzt überprüfen ob Ergebnisse realistisch sind (zum Beispiel zur Voraussage von Wiederzuweisungen in ein Krankenhaus).