Zum Hauptinhalt springen
Blogbeitrag

Beipackzettel für Modelle des maschinellen Lernens für fairere KI

Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) stellen sich oftmals als „Black Box“ dar. Da aber KI-basierten Entscheidungen immer häufiger Einzug in unseren Alltag halten, sind transparente Eigenschaften des zugrunde liegenden ML-Modells von großer Bedeutung. Gerade die Personen, die von ML-basierten Entscheidungen betroffen sind („Entscheidungssubjekte“), aber auch Betreibende eines ML-Systems oder Durchführende von ML-basierten Entscheidungen sind selbst oft Laien im Bereich des maschinellen Lernens. Selbst für ML-Expertinnen und -Experten sind KI-basierte Entscheidungen in der Regel nicht einfach nachzuvollziehen.

In anderen Lebensbereichen wird hingegen großer Wert auf selbstbestimmte Entscheidungen und Transparenz gelegt. So sind es Verbraucherinnen und Verbraucher gewohnt, Verbraucherkennzeichnungen als Grundlage für eine Kaufentscheidung zu nutzen: Beim Kauf von Lebensmitteln bieten einfache Ampel-Etiketten einen Überblick über den Nährstoffgehalt eines Nahrungsprodukts. Beim Kauf bestimmter Artikel, wie zum Beispiel Elektrogeräten, helfen Energieeffizienzlabels dabei, den Stromverbrauch zu beurteilen. Bei Arzneimitteln sind Patientinnen und Patienten seit langem an Beipackzettel gewöhnt, die über Wirkstoffe, Dosierung und Nebenwirkungen informieren.

In ähnlicher Weise werden Betroffene von ML-Entscheidungen es zu schätzen wissen, Informationen über den zugrundeliegenden Entscheidungsprozess zu erhalten. Damit können sie einschätzen, ob ein Modell tatsächlich auf ihre Situation anwendbar ist und ihren persönlichen Eigenschaften (z.B. Geschlecht und ethnische Zugehörigkeit) gerecht wird. Wir plädieren daher für ebensolche Kennzeichnungen für ML-Modelle, um ihren Anwendungsbereich aber auch ihre Einschränkungen klar zu kommunizieren. Durch ML-Kennzeichnungen werden die Betroffenen von KI-basierten Entscheidungen überhaupt erst in die Lage versetzt, Entscheidungen in Frage zu stellen.

Wir schlagen insbesondere vor, dass ML-Kennzeichnungen folgende Aspekte quantifizieren:

Vorhersagegenauigkeit des Modells. Die Vorhersagegenauigkeit misst die Fehler- bzw. Korrektheitsrate von Entscheidungen auf einem Testdatensatz. Es sollte jedoch nicht nur eine Rate korrekter Entscheidungen (Accuracy) vermittelt werden, sondern es sollten die Fehlerfälle im Detail angegeben werden (etwa mittels Sensitivität, Spezifizität, Recall oder Area under the ROC Curve). Mit dem Hintergrundwissen, dass ein System zum Beispiel eine hohe Falsch-Negativ-Rate aufweist, kann dann im Einzelfall Einspruch gegen eine Entscheidung eingelegt werden. 

Generalisierbarkeit der Entscheidung. Für eine weitreichende Einsetzbarkeit sollte ein trainiertes Modell in der Lage sein, für verschiedene Eingabedaten und Anwendungsszenarien gültige Ausgaben zu liefern. Dieses Ziel sollte während des Trainierens eines Modells berücksichtigt werden, indem eine Überanpassung durch Modellauswahl, Regularisierung oder Datenaugmentation verhindert wird. Trainierte Modelle sollten sowohl an verschiedenen Daten außerhalb des Trainingsdatensatzes als auch an bereichsübergreifenden Aufgabenstellungen getestet werden, um ihre Generalisierbarkeit bewerten zu können.

Robustheit. Während Generalisierbarkeit die Fähigkeit von Modellen ist, Datenpunkte außerhalb der Trainingsdaten vorherzusagen, die aus derselben zugrundeliegenden Population entnommen wurden, bezieht sich Robustheit auf die Modellstabilität gegenüber gegnerischen Angriffen. Solche Angriffe versuchen, das Modell fehlzuleiten, zum Beispiel durch Hinzufügen von Rauschen in den Eingabedaten. Obwohl diverse Abwehrmaßnahmen gegen solche Angriffe vorgeschlagen wurden, ist es schwierig, für ein gegebenes Modell zu beurteilen, ob es gegenüber allen (derzeit bekannten und gegebenenfalls auch unbekannten) gegnerischen Angriffen robust ist. Anhand einer Liste von gängigen Angriffen und geeigneten gegnerischen Datensätzen könnte jedoch automatisch eine Robustheitsbewertung durchgeführt werden. 

Transparenz/Interpretierbarkeit/Erklärbarkeit. Miller (2019) definiert Interpretierbarkeit als „den Grad, in dem ein Mensch die Ursache einer Entscheidung verstehen kann“. Einige ML-Modellklassen sind von Natur aus transparent und damit interpretierbar (wie etwa die Entscheidungsregeln). Eine umfassende Evaluation von Interpretierbarkeit ist kostspielig und aufwändig; daher wurden der Einsatz von transparenten Ersatzmodellen vorgeschlagen, welche bezüglich ihrer Wiedergabetreue und Genauigkeit (wie gut sie das ursprüngliche Modell approximieren) bewertet werden; alternativ wird die Modell-/Erklärungsgröße als Kennwert eingesetzt, unter der Annahme, dass kleinere Modelle/Erklärungen leichter zu verstehen sind. Für komplexere Modelle wurden post-hoc Erklärungsstrategien entwickelt; Entscheidungen oder allgemeine Eigenschaften der ML-Modelle können den Endbenutzerinnen und Endbenutzern mitgeteilt werden, indem aktuelle Forschungsergebnisse der „erklärbaren KI“ herangezogen werden (Guidotti et al., 2018).

Gerechtigkeit/Fairness. Die Diskussion um algorithmische Fairness hat spätestens 2016 mit zwei populärwissenschaftlichen Büchern (O'Neil, 2016; Noble, 2018) die öffentliche Debatte erreicht. Ebenso gibt es eine neuere Publikation auf Deutsch von K. Zweig (2019). Fairness in der Entscheidungsfindung besagt, dass Entscheidungen keine negativen Auswirkungen auf Untergruppen von Personen haben sollten. Wie jedoch Fairness in der Entscheidungsfindung hergestellt werden kann, ist Gegenstand laufender Forschung. Es ist oftmals nicht ausreichend, dass Fairness für eine Untergruppe gewährleistet ist, die nur durch ein einziges Attribut (etwa „Alleinerziehende“) definiert ist; für Kombinationen von zwei oder mehr Attributen (etwa „alleinerziehende Mütter“) ist Fairness dann womöglich trotzdem nicht gewährleistet. Unerwünschte algorithmische Verzerrung kann quantitativ gemessen werden – z.B. durch den Prozentsatz, um den die wahr-positiven/falsch-negativen Raten für die jeweilige Untergruppe abweichen. Um Modell-Fairness zu vermitteln, müssen Fairness-Kriterien ausgewählt und potenziell diskriminierte Untergruppen definiert werden, für welche dann die Fairness-Kriterien evaluiert werden.

Weitere zu überprüfende technische oder juristische Aspekte können sein: die Effizienz der Berechnung, die Einhaltung von Datenschutz-Richtlinien, die generelle Vertrauenswürdigkeit eines ML-Modells, die Rechenschaftspflicht bei legalen Konsequenzen und aus soziologischer Sicht die gesellschaftliche Akzeptanz gegenüber KI-Entscheidungen für den betrachteten Anwendungsfall, sowie die Bewertung der moralisch-ethischen Konsequenzen einer Entscheidung.

Zwar sind scheinbar intuitive Begriffe wie „Gerechtigkeit“ und „Interpretierbarkeit“ formal schwer zu fassen; dennoch ist die Bewertung entlang dieser unscharfen Konzepte die eigentlichen Voraussetzungen dafür, dass Verbraucherinnen und Verbraucher einem ML-System vertrauen können. Es bedarf dringend einer Diskussion zwischen Technikerinnen und Technikern, sowie von Vertreterinnen und Vertretern aus Politik und Justiz darüber, wie Verbraucherkennzeichnungen für ML-Systeme gestaltet und generiert werden können. Diese Kennzeichnungen sollten umfassend und intuitiv verständlich sein und im Idealfall sogar automatisiert generiert werden können. Darüber hinaus müssen sie kontinuierlich an sich ändernde Anforderungen, etwa in der Gesetzgebung, angepasst werden.

Referenzen:

R. Guidotti, A. Monreale, S. Ruggieri, F. Turini, F. Giannotti, and D. Pedreschi, A Survey of Methods for Explaining Black Box Models, ACM Comput. Surv., vol. 51, no. 5, pp. 93:1-93:42, Aug. 2018.

T. Miller, Explanation in artificial intelligence: Insights from the social sciences, Artificial Intelligence, vol. 267, pp. 1-38, 2019.

C. O'Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York, NY, USA: Crown Publishing Group, 2016.

S. U. Noble, Algorithms of Oppression: How Search Engines Reinforce Racism. New York University Press, 2018.

K. Zweig, Ein Algorithmus hat kein Taktgefühl: Wo künstliche Intelligenz sich irrt, warum uns das betrifft und was wir dagegen tun können. Heyne Verlag, 2019.

 

Diesen Beitrag haben Ass. Prof. Dr. Christin Seifert (University of Twente), Prof. Dr. Stefanie Scherzinger (Universität Passau) und Prof. Dr. Lena Wiese (Goethe-Universität Frankfurt und Fraunhofer ITEM) geschrieben. Vielen Dank!