Zum Hauptinhalt springen
Fachartikel

Vom Kreditscoring zum Sozialkreditsystem

Der gute Bürger

Zuerst „Honest Shanghaiw“, dann das Social Credit System, das spätestens 2020 im gesamten China eingeführt werden sollte. Die Empörung der westlichen Demokratien über die digitale Ausweitung des Überwachungsstaates ist groß, doch: Können sie sich der globalen Wirkung des Bewertungssystems wirklich entziehen? Und: Sind solche Systeme in den westlichen Demokratien nicht eigentlich schon längst gelebte Praxis? Ob Equifax oder Schufa – die Ursprünge des herkömmlichen Kreditscorings reichen weit in das 19. Jahrhundert zurück. Technologie half dabei, Scoring in riesige Überwachungssysteme zu verwandeln.

„Die Wirtschaft der Zukunft funktioniert ein bisschen anders. Sehen Sie, im 24. Jahrhundert gibt es kein Geld ... Der Erwerb von Reichtum ist nicht mehr die treibende Kraft in unserem Leben. Wir arbeiten, um uns selbst zu verbessern – und den Rest der Menschheit.“
(Captain Jean-Luc Picard in „Der erste Kontakt“)

Wie sehr sich die westliche Mentalität von der chinesischen unterscheidet, schrieb der Science-Fiction-Autor Rafal Kosik in seiner Kolumne in Nowa Fantastyka[1], zeigt die generell positive Einstellung der Chinesen gegenüber dem Social Credit System (SCS). Das System soll im Jahr 2020 China-weit eingeführt werden. Bereits seit 2014 gibt es zahlreiche Pilotversuche, darunter auch „erfolgreiche Vorzeigeprojekte“, berichtete Axel Dorloff in DLF.[2] Über die Kriterien, nach denen Punkte verteilt (oder abgezogen) werden, soll die Regierung entscheiden. Das System soll künftig der Grundpfeiler für die moralische Ordnung chinesischer Gesellschaft dienen. Es soll also kaum möglich sein, einen Studienplatz, Arbeit, Beförderung, ja einen Bibliothekausweis oder ein Zugticket zu bekommen, ohne einen angemessenen Punktestand vorweisen zu können.

Widerstand? Zwecklos.

Die Empörung in dem sich selbst als westliche Demokratien bezeichnenden Teil der Welt ist groß: Das System soll einen gläsernen Bürger herbeischwören; es sei eine digitale Weiterentwicklung des Spitzel- und Überwachungsstaates, eine neue Form der Sozialkontrolle, die mit Belohnung, aber auch Bestrafung durchgesetzt wird. Eine Mischung aus Orwell und Samjatin demnach. Doch: Wird die negative Einstellung der Bürgerinnen und Bürger in den westlichen Demokratien diese Gesellschaften vor der Einführung von Systemen à la chinesisches Sozialkreditsystem schützen?

Wohl kaum. Erstens, weil, wie Kosik bemerkte, das chinesische Scoring nicht nur für Bürger, sondern auch für Firmen und Organisationen obligatorisch sein sollte. Unternehmen, die ihre Geschäfte in oder mit China betreiben, Organisationen oder Medienhäuser, die in China aktiv sind, werden vermutlich ebenfalls von der Pflicht betroffen sein, einen Scorewert für sich – und ihre Mitarbeiter – vorzuweisen. SCS wird so seine Anwendung und Gültigkeit weit über die Grenzen des Reiches der Mitte erlangen und sich zu einem weltweit geltenden Scoringsystem entwickeln. Ein weiterer Schritt Chinas zur Erlangung weltweiter wirtschaftlicher Dominanz? Möglicherweise. Es wird jedenfalls den deutschen, US-amerikanischen, französischen und anderen Mitarbeitern chinesischer Dependancen ihrer Firmen, politischer Stiftungen oder charitativer Hilfsorganisationen kaum möglich sein, sich dem SCS zu entziehen. Natürlich nur, falls sie ihre Arbeit dort fortsetzen möchten. Love it, change it or leave it – so lauten die Alternativen. Ändern kann man es gewiss nicht. Theoretisch kann man immer noch zwischen zwei weiteren Optionen wählen. Aber nur, wenn man den geschäftlichen oder politischen Rückzug aus China als ernsthafte Alternative betrachtet.

Alle Daten sind Kreditdaten

Zweitens, weil ähnliche Systeme in den als westlich bezeichneten Demokratien bereits verbreitet und akzeptiert sind. Es ist von Kreditscoring – der Bewertung der Kreditwürdigkeit von Personen – die Rede, das heute, erklärte Dr. Nicola Jentzsch von der Stiftung Neue Verantwortung auf der GI-JahrestagungInformatik 2018, sich weitgehend zum sogenannten Vebraucherscoring bzw. Consumer Scoring, weiterentwickelt habe.[3] Die originäre Frage des Kreditscorings, ob ein Kunde kreditwürdig ist, verwandelte sich zunehmend in die Frage: Ist der Kunde vertrauenswürdig?

Und um diese Frage zu beantworten, werten Techunternehmen exorbitante Mengen persönlicher Daten ihrer Kunden aus. Die amerikanische Kreditüberwachung, die sich seit den 1990er-Jahren zunehmend des algorithmischen Scorings und kommerziellen Big Data bedient, ist nun bemüht, den US-amerikanischen Konsumenten „gut“ zu machen, schrieb Josh Lauer in „Creditworthy[4]. Das bedeutet: moralisch verantwortungsvoll, vorhersehbar, gefügig – und profitabel. Die neutrale Technologie, so Stanislaw Lem, liefert nur die Mittel und Werkzeuge. Ihre richtige oder falsche Anwendung liegt bei den Menschen.

Im Sommer hat Facebook begonnen, die Vertrauenswürdigkeit seiner Nutzer zu bewerten und sie in einer Skala von 0 bis 9 abzubilden. Dieser „trustworthiness score“ sollte, neben anderen, nicht näher bezeichneten Indikatoren, ein Instrument des Risikomanagements des Konzerns sein, der nach den Vorwürfen der Verbreitung von Fake News und politischer Propaganda im US-Präsidentschaftswahlkampf nach neuen Methoden und Algorithmen sucht, um der „Information Warfare“ zu begegnen. Mit dem Vertrauenswürdigkeit-Scorewert möchte man nicht nur die „bösen Buben“ identifizieren, die Fake News verbreiten, sondern auch solche, die das Facebook-Anzeigesystem missbrauchen und Nachrichten beim Portal anzeigen, dessen Inhalte ihren persönlichen Überzeugungen nicht entsprechen, die aber im Übrigen korrekt sind.

Wie der Facebook-Scorewert berechnet und welche anderen Indikatoren bei Vertrauenswürdigkeitsmessung hinzugezogen werden, ist intransparent. Das macht es für Forscher wie Nutzer zwar ein wenig unkomfortabel, doch sei dieses Vorgehen notwendig, damit das System nicht ausgetrickst werden kann, begründete lautWashington Post Facebook.[5] In anderen Fällen begründen Unternehmen, die traditionelles Kreditscoring anbieten, die Unmöglichkeit, die Entscheidungswege oder Algorithmen offenzulegen, mit dem Verweis auf das intellektuelle Recht des Unternehmens. Dem widerspricht Paul Nemitz, Chefberater bei der Europäischen Kommission: Immer wenn personenbezogene Daten betroffen sind, ist die Datenschutzgrundverordnung (DSGVO) anwendbar. Das soziale Netzwerk Facebook alleine soll ca. drei Trillionen Verhaltensprognosen täglich erstellen. Da Verhaltensprognosen personenbezogene Daten sind, sei auch hier DSGVO anwendbar, so Nemitz. Und damit sei auch das Recht der Betroffenen auf Auskunft und Information gemäß Art. 13-15 DSGVO gemeint.[6]

Wider der Informationsasymmetrie

Auch wenn sich Unternehmen in der Öffentlichkeit häufig des Bildes eines intransparenten und nicht nachvollziehbaren Entscheidungsprozesses bedienen; bei den Entscheidungen, die etwa über Kreditvergabe, Jobangebote oder die Höhe von Versicherungsprämien in einem mysteriösen Black-Box-Verfahren durch objektiv und unfehlbare Maschinen getroffen werden, sei dies nicht notwendigerweise richtig, stellte die Fachgruppe Rechtsinformatik der GI im Gutachten für den Sachverständigenrat für Verbraucherfragen fest.[7] In vielen Fällen ließen sich die Algorithmen und Entscheidungsvorgänge sehr wohl transparent und nachvollziehbar darstellen. Neben der Offenlegung des Sourcecodes und Quellcodeanalyse liegen andere, effektive Methoden vor, mit denen sich Transparenz und Prüfbarkeit signifikant erhöhen lassen. Sich auf intellektuelle Werte und Urheberrechte zu berufen sei aber auch schlichtweg falsch, so Paul Nemitz. 

„Die datengestützte Beurteilung führt […] zu […] einer Informationsasymmetrie zwischen Unternehmen und Verbrauchern“, stellten Autoren der GI-Studie „Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren“ fest[8] (*). Die Verfügbarkeit großer Datenbestände und die zunehmende Leistungsfähigkeit der IT, gebündelt mit maschinellem Lernen und künstlicher Intelligenz, machen Algorithmic Decision Making, kurz: ADM, zunehmend attraktiv für die Unternehmen. Gerade auf dem Feld des Kreditscorings oder der individualisierten Preisermittlung (Dynamic Prising). „Gepaart mit fehlender Transparenz kann dies zu einem starken Unbehagen in der breiten Öffentlichkeit und in Expertenkreisen führen“, resümieren die Autoren, die sich in ihrer Studie der Qualität von ADM-basierten Entscheidungen unter den Aspekten der Fairness, möglichen Ungleichbehandlung und Diskriminierung genähert haben. Und dem die Öffentlichkeit beherrschenden Bild der unerklärbaren und nicht nachvollziehbaren Entscheidungen zum Trotz, haben sie zwei zentrale Methoden identifiziert, die die Transparenz algorithmischer Entscheidungen „signifikant erhöhen“: Testing und Audit.[9]

„In vielen ADM-Systemen können Entscheidungsstrukturen transparent und nachvollziehbar dargestellt werden.“[10]. Damit jedoch Tests und Audits effektiv eingesetzt werden können, fehlen noch geeignete Standards, die den Bewertungen und Prüfungen zugrunde gelegt werden können. Ähnlich wie bei der Prüfung der Qualität oder Sicherheit von Software müssten hierfür quantifizierbare Fairness- und Gleichbehandlungskriterien definiert werden. Zusätzlich wäre die Legitimation dieser zwei Methoden durch den Gesetzgeber notwendig.

Stumpfes Schwert

Ob im Osten oder im Westen: Menschen werden zunehmend von automatisierten Systemen beobachtet und bewertet. Sie können von Algorithmen – bzw. von den Interessengruppen, die sie einsetzen – gesteuert oder manipuliert werden, in allen Lebenssituationen. „Das geht bei der Schufa los, die Ihnen einen Wert für Ihre finanzielle Bonität verpasst, und geht bei den Versicherungen weiter, die Ihnen günstigere Tarife anbieten, wenn Sie den Gesellschaften Ihre Daten zur Verfügung stellen“, erklärte im Tagesspiegel der Berater der Bundesregierung für Verbraucherschutz, Gerd Gigerenzer. ADM, vollautomatisch oder manuell: ob Algorithmen öffentlich kontrolliert oder weiter als Geschäftsgeheimnisse privater Unternehmen gehütet werden, ist auch für die Legitimation der Demokratie von Belang. Die Politik diskutiert verschiedene Ansätze zur Regulierung von Algorithmen und künstlicher Intelligenz – einige fanden den Weg in den Koalitionsvertrag zwischen CDU, CSU und SPD: von einer Art Kennzeichnungspflicht für ausgewählte algorithmische Entscheidungen bis hin zur Zertifizierung und zu Anti-Diskriminierungsgesetzen: „Diskriminierungsverbote der analogen Welt müssen auch in der digitalen Welt der Algorithmen gelten“[11], heißt es dort, deswegen würde man sich für Transparenz bei Online-Vergleichs- und -Beratungsportalen einsetzen wollen. Bisweilen ist es erstaunlich, wie wenig man über die mächtigsten Überwachungsinstitutionen in den westlichen Institutionen weiß, schrieb Josch Lauer. Bis weit in die 1960er-Jahre arbeiteten die Kreditscoring-Firmen in „quiet obscurity“[12]. Mit den Debatten um Datenschutz und Überwachung rücken sie erst langsam in das Licht der Öffentlichkeit.

Angesichts von Risiken, steigender Überwachung, fehlender wissenschaftlicher und praktischer Grundlagen, Standards und Intransparenz stellt sich zunehmend die Frage, ob man Scoringsysteme insgesamt nicht einfach verbieten könnte. Und tatsächlich: Die europäische Grundverordnung enthält ein Verbot automatisierter Entscheidungen im Art. 22 DSGVO. Dürfte es demnach Kreditscoring-Unternehmen wie Schufa oder Infoscore gar nicht mehr geben? Weit gefehlt. Das Verbot in Art. 22 DSGGVO ist nur auf vollautomatisierte Entscheidungen bezogen – und in der Praxis kommen solche nur selten vor. Hinzu kommen zahlreiche Ausnahmen. „Die automatisierte Einzelentscheidung ist zulässig, falls sie ‚für den Abschluss oder die Erfüllung eines Vertrages zwischen der betroffenen Person und dem Verantwortlichen erforderlich ist‘“[13], halten die Autoren des GI-Gutachten fest. Außerdem kann sie aufgrund anderer Rechtsvorschriften der EU oder des jeweiligen Mitgliedsstaates zulässig sein – oder wenn der Betroffene „ausdrücklich eingewilligt“ hat. Art. 22 DSGVO sei demnach lediglich ein „stumpfes Schwert“ – so viele Spielräume gibt es, aus seinem Anwendungsbereich herauszufallen.[14]  

Algorithmen als Chance

Wir leben zwar in einer Demokratie, wir leben aber auch im Kapitalismus. Dies bedeutet, dass vieles, was konstitutive Grundwerte unterminiert, unter bestimmten Umständen, bspw. in einer Geschäftsbeziehung (auch bei einem Kauf- oder Mietvertrag) oder beim Vorhandensein einer anderen gesetzlichen Grundlage, erlaubt oder wenigstens nicht verboten ist. Equifax und Schufa abschaf­fen? Es ent­spre­che durch­aus den sozi­al­de­mo­kra­ti­schen Soli­da­ri­täts­prin­zi­pi­en, dass die Rei­chen etwas an die Armen abge­ben. Wenn man ohne Risi­ko­be­wer­tung eines jeden Ein­zel­nen mehr für einen Ser­vice zah­len muss, dann ist es immer noch gerech­ter, als wenn wegen eines schlech­ten Ran­kings gan­ze Exis­ten­zen ver­nich­tet wür­den. Solidarität als einer der Grundwerte einer sozialen Demokratie setze etwa bei Versicherungen Nichtwissen in Bezug auf individuelle Risiken voraus, sagte Ulf Buer­mey­er, Vor­sit­zen­der der Gesell­schaft für Frei­heits­rech­te bei der Friedrich-Ebert-Stiftung. Und forderte: Aus­kunftei­en soll­ten abge­schafft oder wenigs­tens stark regu­liert wer­den. Doch dafür – und das ist auch eines der Ergebnisse der GI-Studie – fehlen an vielen Stellen entweder gesetzliche Grundlagen, Standards oder die konsequente Legitimation relevanter Instrumente wie Prüfungen, Tests oder Zertifikate.

Falls man möchte, dass die Technologie künftig das Leben der Menschen erleichtert, dann wird ein System notwendig, das auf wesentlich gerechterer Verteilung von Macht und Information beruht. Die Algorithmen spielen in diesem Prozess dennoch eine wichtige Rolle: Sie helfen, nachzuvollziehen und zu verstehen, wie bisher auch in den demokratischen Gesellschaften diskriminiert, benachteiligt oder ungleichbehandelt wurde. So gesehen, sollte man die Algorithmen auch als eine Chance verstehen, das Leben der Menschen und ihre Umgebung zu verbessern. Im Hinblick auf die starke Dynamik auf den Feldern der KI und lernender Algorithmen sei es wichtig, dass die Fragen rechtzeitig adressiert werden, appellieren deswegen die Autoren des GI-Gutachtens, umzunehmend relevanter werdenden Herausforderungen pro-aktiv zu begegnen. In der Star-Trek-Vision der Gesellschaft des 24 Jahrhunderts gibt es keinen Platz für Klassen- oder Rassenunterscheide. Und der Fußboden reinigt sich selbst.

 

(*) Das Gutachten wurde am, 31.10.2018 in Berlin vorgestellt: http://www.svr-verbraucherfragen.de/wp-content/uploads/scoring_veranstaltung_svrv.pdf

 


[1] Kosik, R. 2018. Oceniaj mnie. In: Nowa Fantastyka (8/2018), S. 72.

[2] Dorloff, A. 2018. China auf dem Weg in die IT-Diktatur, In: DLF, 23.6.2018 (Wiederholung vom Sept. 2017), https://www.deutschlandfunk.de/sozialkredit-system-china-auf-dem-weg-in-die-it-diktatur.724.de.html?dram:article_id=421115, letzter Zugriff: 13.10.2018.

[3]https://informatik2018.gi.de/programm/mittwoch/joseph/, letzter Zugriff: 13.10.2018.

[4] Lauer, J. 2017. Creditworthy. New York: Columbia University Press.

[5] Dwoskin, E. 2018. Facebook is rating the trustworthiness of its users on a scale from zero to 1. In: Washington Post, 21.8.2018, https://www.washingtonpost.com/technology/2018/08/21/facebook-is-rating-trustworthiness-its-users-scale-zero-one/, letzter Zugriff: 13.10.2018.

[6]https://dsgvo-gesetz.de/art-15-dsgvo/, letzter Zugriff: 13.10.2018.

[7] Fachgruppe Rechtsinformatik der Gesellschaft für Informatik e. V. (GI). 2018. Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren (Gutachten im Auftrag des Sachverständigenrats für Verbraucherfragen). Berlin: Oktober 2018.

[8] Ebenda, S. 6

[9] Ebenda, S. 7

[10] Ebenda, S. 7

[11] Koalitionsvertrag, S. 47.

[12] Lauer, K. 2017, S. 5.

[13] Fachgruppe Rechtsinformatik der Gesellschaft für Informatik e. V. (GI). 2018, S. 94.

[14] Ebenda, S. 95.

© Pinkypills - iStock