„Die besten Forschungsfragen entstehen nicht am Whiteboard“ Interview mit Franziska Boenisch von der Werner-von-Siemens-Ring Stiftung

Was hat dich dazu bewegt, dich so intensiv mit Datenschutz im Maschinellen Lernen auseinanderzusetzen?

Mich haben in meinem Master am meisten die Schwerpunkte Kryptographie und Maschinelles Lernen interessiert. Hierzu habe ich die meisten Kurse belegt, und damit hat sich das Thema zum Datenschutz im maschinellen Lernen als natürliche Schnittstelle ergeben. In meiner Masterarbeit habe ich dann das erste Mal zum Thema Differential Privacy geforscht, und das Konzept auf Machine-Learning-Modelle angewendet. Ich fand es so spannend, wie man den Einfluss von individuellen Trainingsdatenpunkten auf das Modell soweit reduzieren kann, dass es am Ende fast unmöglich wird, herauszufinden, ob sie für das Training benutzt wurden. Und diese Fragestellung hat mich nicht mehr losgelassen. Ich finde das Thema auch gesellschaftlich hoch relevant, insbesondere jetzt im Zeitalter der generativen KI. Daher erforsche ich jetzt in meinem ERC Starting Grant insbesondere die Fragestellungen, wie man große generative Modelle, sog. Frontiermodelle Private-by-Design gestalten kann und wie man auditieren kann, ob sie diese Erwartung auch versprechen.

Forderungen nach mehr digitaler Resilienz werden immer präsenter. Wie kann diese insbesondere im Kontext von KI und Datenschutz, deinem Spezialgebiet, aussehen?

Resilienz heißt für mich, Systeme so zu bauen, dass sie auch dann noch korrekt  funktionieren, wenn ein Teil der Annahmen, die ihrer Funktionalität unterliegt, zusammenbricht. Im Datenschutz bedeutet das für mich: Ich gehe davon aus, dass ein Modell irgendwann angegriffen wird, dass Gewichte abfließen oder Ausgaben systematisch abgefragt werden. Ein resilientes System hält dann immer noch meine Daten privat. Aus einem nicht-resilienten System könnten sie abfließen. Praktisch heißt das dreierlei. Erstens gilt es, Garantien für Privatheits- und Sicherheitseigeschaften zu geben, statt Heuristiken, also formale Ansätze wie Differential Privacy dort, wo sie möglich sind. Zweitens Auditierbarkeit, also die Fähigkeit, im Nachhinein zu prüfen, ob ein Modell Trainingsdaten preisgibt. Drittens Datensparsamkeit als Architekturentscheidung, also Privacy-by-Design.

Welche Bedeutung hat dieses Thema aus deiner Sicht heute besonders für junge Forschende?

Für junge Forschende ist das Thema hochrelevant, denn alle Systeme, die wir heute erforschen und entwickeln, haben einen Einfluss auf die Sicherheit und Privatheit, die Robustheit und die Resilienz der Technologien, mit denen wir in den nächsten Jahrzehnten leben werden. Ich finde es daher wichtig, dass sich junge Forschende Gedanken machen, wie ihre heutigen Designentscheidungen die Welt von morgen verändern, und ich finde, wir sollten sie dabei unterstützen, die richtigen Eigenschaften den einfachen und den schnellen vorzuziehen. Hier können wir mit Arbeit zur Awareness und mit Fortbildungsangeboten aktiv unterstützen. Ein solches Format, das ich zum Beispiel organisiere, ist das European Championship in AI und Cybersecurity, wo junge Forschende an Challenges zur Privatheit und Sicherheit im Zeitalter der KI in einem Hackathon-ähnlichen Format für 24 Stunden forschen können und kreative zukunftsträchtige Lösungen entwickeln können.

Was siehst du als größte Herausforderungen für digitale Resilienz in Forschung und Gesellschaft? Wie haben sich diese im Vergleich zu vor zehn Jahren verändert? Welche neuen Herausforderungen gibt es? Welche Probleme wurden gelöst?

Wenn ich zehn Jahre zurückschaue, hat sich einiges tatsächlich zum Guten entwickelt. Differential Privacy war im Deep Learning lange ein theoretisches Versprechen, das man in der Praxis kaum einlösen konnte, weil der Nutzenverlust zu groß war. Inzwischen gibt es gute Bibliotheken, brauchbare Rezepte und Modelle, die mit formalen Garantien trainiert sind und trotzdem funktionieren. Auch das Bewusstsein hat sich verändert, Datenschutz im Maschinellen Lernen ist kein Nischenthema mehr, sondern taucht auf den großen Konferenzen und in der Regulierung auf. Gleichzeitig haben sich die Systeme, über die wir reden, grundlegend verändert. Frontiermodelle werden auf Daten trainiert, deren Herkunft niemand vollständig kennt, und die klare Trennung zwischen Training, Anpassung und Nutzung, die unsere Methoden implizit voraussetzen, gibt es so nicht mehr. Bei agentischen Systemen kommt hinzu, dass Daten zur Laufzeit durch Komponenten fließen, die nicht gemeinsam entworfen wurden. Genau daran arbeiten wir gerade viel, weil unsere klassischen Auditierungswerkzeuge darauf nur bedingt passen. Die konkreten Hindernisse sind zum Teil sehr banal. Rechenressourcen sind extrem ungleich verteilt, und viele Sicherheits- und Privatheitsfragen lassen sich an kleinen Modellen gar nicht sinnvoll untersuchen. Dazu kommt, dass unser Anreizsystem Ergebnisse auf Benchmarks belohnt und nicht die Analyse, unter welchen Bedingungen ein System bricht. Und die Regulierung schaut häufig auf einzelne Modelle, während das eigentliche Risiko in der gesamten Datenpipeline steckt.

Wie schätzt du den Stand um die Ausbildung junger Forschender ein? Werden Kompetenzen, die für digitale Resilienz und Datenschutz sowie KI-Ethik wichtig sind, ausreichend vermittelt? Wo sind Lücken?

Technisch sind unsere Absolventinnen und Absolventen sehr gut ausgebildet. Die Lücke, die ich sehe, liegt an einer anderen Stelle: Viele können ein Modell trainieren und optimieren, aber sie haben nie gelernt, systematisch zu formulieren, gegen welche Bedrohung sie es eigentlich absichern wollen. Bedrohungsmodellierung wird selten explizit unterrichtet, und empirische Evaluationsmethodik noch seltener, also die Frage, was ein Experiment genau misst, welche Annahmen darin stecken und was daraus eben nicht folgt. Das ist aber der Kern der Sache, weil Privatheitsaussagen immer Aussagen darüber sind, was ein Angreifer im ungünstigsten Fall erreichen kann.

Mein Wunschpflichtkurs wäre deshalb keine zusätzliche Vorlesung zu KI-Ethik, sondern ein praktischer Kurs, in dem Studierende zuerst selbst angreifen und danach verteidigen. Meiner Erfahrung nach versteht man Datenschutz im Maschinellen Lernen erst dann wirklich, wenn man einmal eigenhändig Trainingsdaten aus einem Modell extrahiert hat. Die ethischen und rechtlichen Fragen stellen sich danach von selbst, weil sie an einem konkreten Ergebnis hängen und nicht abstrakt bleiben. Mit hackathonartigen Formaten wie unserem European Championship in AI und Cybersecurity habe ich damit sehr gute Erfahrungen gemacht, weil die Teilnehmenden ihre Lösungen am Ende auch verteidigen müssen.

Welchen Pflichtkurs würdest du dir für junge (Informatik-)Forschende wünschen?

Den Kurs, den ich die letzten drei Jahre entwickelt habe: Trustworthy Machine Learning. Dieser vermittelt einen Überblick auf alle Grundlagen. Weil es solche Kurse bisher nur an wenigen Universitäten gibt, stelle ich alle meine Lehrmaterialien digital zur Verfügung.

Was brauchen wir ganz konkret für mehr digitale Resilienz? Was brauchen junge Forschende, um dieses Thema aktiv mitzugestalten? Was können Organisationen wie die GI oder die Stiftung Werner-von-Siemens-Ring hier beitragen?

Wenn ich eine einzige Sache ändern könnte, wäre es die Evaluationskultur. Eine Analyse zu Privatheit und Sicherheit sollte ein selbstverständlicher Bestandteil jeder Veröffentlichung im Maschinellen Lernen sein, so wie Ablationsstudien es inzwischen sind. Solange diese Arbeit als Zusatzaufwand ohne Ertrag gilt, wird sie unterbleiben, unabhängig davon, wie viele Leitlinien wir schreiben. Reviewkriterien und Förderbedingungen sind hier wirksamer als Appelle, und das haben wir als Community selbst in der Hand.

Junge Forschende brauchen dafür aus meiner Sicht vor allem drei Dinge: Rechenzeit, damit sie Sicherheitsfragen an relevanten Modellgrößen untersuchen können und nicht nur an Spielzeugmodellen, Zugang zu Menschen außerhalb der eigenen Disziplin, und Formate, in denen sie Ergebnisse zeigen können, die keine neue Bestleistung auf einem Benchmark sind.

Organisationen wie die GI oder die Stiftung Werner-von-Siemens-Ring können genau hier viel beitragen, als Brücke zwischen Generationen und Disziplinen, als Bühne für Nachwuchsarbeiten und als Stimme gegenüber Politik und Industrie, die nicht von Produktinteressen getrieben ist. Konkrete Fortbildungsformate, die Promovierenden Methoden an die Hand geben, wirken dabei meiner Erfahrung nach mehr als ein weiteres Positionspapier.

Meinen Promovierenden rate ich, sich ein Problem zu suchen, das sie wirklich interessiert, und tiefer hineinzugehen, als bequem ist. Und möglichst früh mit den Menschen zu sprechen, die diese Systeme nutzen oder von ihnen betroffen sind. Die besten Forschungsfragen, die ich hatte, sind nicht am Whiteboard entstanden, sondern in Gesprächen mit Leuten, die ein echtes Problem hatten.

Über die Stiftung Werner-von-Siemens-Ring

Die Auszeichnung von Lebensleistungen in Technik- und Naturwissenschaften, die Förderung von Forschungstalenten sowie die Förderung der aktuellen Technikforschung sind erklärte Ziele der Stiftung. Der Werner-von-Siemens-Ring und die Preisträger:innen sind seit mehr als 100 Jahren wichtige Orientierungspunkte und Motivation immer neuer Generationen von Forscher:innen in den Technik- und Naturwissenschaften. Seit 1977 zeichnet die Stiftung Forschungstalente, die bereits zu Beginn ihrer Karriere Beeindruckendes geleistet haben, als Werner-von-Siemens-Fellows aus.

Der Werner-von-Siemens-Ring gilt als die höchste deutsche Auszeichnung für Personen, die durch ihre Leistung technische Wissenschaften wesentlich vorangebracht oder als Forschende neue technische Wege erschlossen haben. Der Werner-von-Siemens-Ring wird seit 1916 verliehen. Die VDI/VDE-IT GmbH betreut die Geschäftsstelle der Stiftung.

Weitere Informationen unter: siemens-ring.de