Wer sich mit Verzerrungen in KI-Systemen beschäftigt, kommt an ihrem Namen kaum vorbei: Eva Gengler. Die Wissenschaftlerin forscht zu Bias in generativer KI, stand letztes Jahr auf der Bühne des U:FF, hat kürzlich ihre Promotion abgeschlossen und gerade ihr erstes Buch veröffentlicht.

Auch Johanna Leifeld setzt sich in ihrer Arbeit beim HFD mit bias-sensibler Nutzung von KI im Hochschulkontext auseinander. Im Gespräch der beiden geht es um die gesellschaftlichen Auswirkungen generativer KI, um die Verantwortung von Hochschulen, und um die Frage, warum KI feministisch sein muss.

Johanna Leifeld: Eva, stell dich kurz vor und erzähl uns etwas über dich und deine Arbeit! 

Eva Gengler: Das Hauptaugenmerk meiner Arbeit ist ein kritischer feministischer Blick auf künstliche Intelligenz, und zwar wie sie entwickelt, eingesetzt, genutzt wird und warum. Vier Jahre habe ich dazu als Doktorandin an der FAU Erlangen-Nürnberg geforscht, im Rahmen eines internationalen und sehr interdisziplinären Doktorand:innenkollegs zum Thema Business and Human Rights. Im Fokus standen Machtverhältnisse in Gesellschaft, Politik und Organisationen sowie ihr Einfluss auf KI-Systeme. Dabei habe ich den Einfluss von Entwickler:innen, Nutzer:innen, Trainingsdaten, Designstrukturen und Prioritätensetzungen analysiert. Ein weiterer Schwerpunkt war KI-Regulierungen, insbesondere der EU AI Act, den ich aus feministischer Perspektive betrachtet habe, sowie KI-Governance in Organisationen: Welche Strukturen und welche Prozesse gibt es eigentlich, um mit KI verantwortungsvoll umzugehen? Darauf aufbauend beschäftige ich mich damit, wie wir KI verändern und feministischer gestalten können. Das mache ich unter anderem in unserer Feminist AI Community, einem Netzwerk von KI-Expert:innen, von Interessierten, von Menschen die dazulernen wollen und etwas verändern möchten.

Johanna Leifeld: Ich würde gern eine kurze Begriffsschärfung vornehmen, denn in diesem Feld kursieren viele Begriffe, die oft sehr Ähnliches meinen: ethische KI, sozialverträgliche KI, bias-sensible KI. Warum sprichst du von feministischer KI? 

Eva Gengler: Wenn ich von feministischer KI spreche, geht es mir nicht nur um Sensibilität für Bias, sondern um Veränderung. Es geht darum, KI-Systeme zu entwickeln und einzusetzen, die feministischen Zwecken dienen. Alison Adam hat den Begriff „feministische KI“ bereits in den 1990er-Jahren geprägt und zwischen einer feministisch geprägten KI und einem feministischen Einsatz von KI unterschieden. Bei Zweiterem muss die KI nicht zwingend feministisch entwickelt worden sein. Entscheidend ist in beiden Fällen der Zweck. Feministische KI erkennt an, dass unsere Gesellschaft von ungerechten Strukturen geprägt ist und dass KI diese Strukturen lediglich reproduziert. Genau das möchte ich mit dem Begriff Feminismus deutlich machen: Es reicht nicht, KI gerechter zu machen, wir müssen gesellschaftliche Verhältnisse grundsätzlich verändern.

Im Vergleich dazu kann „ethische KI“ verschiedenste Formen ethischer Betrachtung meinen und häufig wird dieser Zugang gar nicht klar definiert. Was mir hier oft fehlt ist das Verständnis, dass KI soziotechnisch ist und eben auch der Zustand unserer Gesellschaft nicht gerecht ist und daher verändert werden muss.

Feminismus ist die Perspektive, die meiner Arbeit mit KI zugrunde liegt. Es geht mir dabei nicht nur um (weiße) Frauen, sondern um einen intersektionalen Feminismus, also darum zu verstehen, welche Privilegien und welche Formen von Unterdrückung Menschen erfahren. Dieser Ansatz stammt aus dem Schwarzen Feminismus und macht deutlich, dass sich Diskriminierungsmerkmale überlagern können: Eine Woman of Color erfährt andere und stärkere Diskriminierung als eine weiße Frau oder ein Schwarzer Mann, weil hier mehrere Merkmale zusammenwirken und sich gegenseitig verstärken.

Wir alle tragen unterschiedliche Merkmale in uns: Alter, Gender, Aussehen, und diese überschneiden sich. Daraus können unterschiedliche Formen von Diskriminierung und Unterdrückung entstehen. Genau das zeigt sich auch bei KI-Systemen: Menschen, die bereits marginalisiert sind, machen häufig ähnliche diskriminierende Erfahrungen mit KI. Es geht also nicht nur um einzelne Kategorien wie Frau oder Mann, sondern um das Zusammenspiel vieler Faktoren. Das ist ein komplexerer, aber notwendiger Blick auf KI, weil er eindimensionales Denken vermeidet.

Johanna Leifeld: Wenn du deine feministische Brille aufsetzt und die Nutzung generativer KI an Hochschulen anschaust, was macht dir da am meisten Bauchschmerzen?

Eva Gengler: Also ganz grundsätzlich, auch ohne feministische Brille, macht mir an Hochschulen Bauchschmerzen, wie oft generative KI unreflektiert eingesetzt wird. Es geht dabei gar nicht nur um Bias, sondern schon um ganz grundlegende Fragen: Wofür ist diese KI eigentlich gut geeignet und wofür eher nicht? Gerade bei Abschlussarbeiten hatte ich immer wieder das Gefühl, dass sehr viel KI und diese oft unreflektiert genutzt wurde. Wenn wir einer KI nicht genügend Kontext und eigene Gedanken mitgeben, dann sind die Ergebnisse meistens auch nicht besonders gut und klingen einfach stark nach KI. Das ist dann mühsam zu korrigieren und verbraucht unnötig viele Ressourcen. Am Ende hilft das niemandem.

Mit feministischer Brille auf der Nase wird es dann noch problematischer, weil KI sehr leicht Stereotype reproduziert. Besonders deutlich sieht man das bei Bildern: Wenn beispielsweise Bilder, auf denen ausschließlich weiße Männer und Frauen abgebildet sind, genutzt werden, um etwa Events zu bewerben. Das überrascht mich immer wieder. Und das sagt dann etwas über die KI aus, aber vor allem über die Menschen, die hinter dem Bildschirm saßen und dieses Bild offensichtlich für passend empfunden haben.

Ähnliches passiert auch bei Textarbeit mit KI. Eine Professorin hat berichtet, dass sie im Quellenverzeichnis von wissenschaftlichen Arbeiten mehrfach nicht als Erstautorin ihres eigenen Papers genannt wurde. Sie hat es darauf zurückgeführt, dass die Referenzen vermutlich mit ChatGPT erstellt wurden, und da es statistisch gesehen seltener ist, dass Frauen Erstautorinnen sind, wurde sie in der Referenz einfach nicht erwähnt oder mit einem männlichen Namen ersetzt. Gerade in der Wissenschaft ist das heikel, weil Zitieren zentral für Anerkennung, Nachvollziehbarkeit und gute wissenschaftlicher Arbeit ist. Und natürlich, weil Sichtbarkeit in der wissenschaftlichen Community eine große Rolle spielt, und die haben wir insbesondere, wenn wir zitiert werden. Wenn wir jetzt also das Referenzieren KI-Systemen überlassen, dann ist es wahrscheinlich, dass wir immer wieder die gleichen Standard-Paper zitieren, unter Umständen neue übersehen und Paper mit weniger starker Sichtbarkeit ganz übersehen – zum Beispiel die von Frauen. Oberflächlich sieht die KI-generierte Referenz ja super aus.

Wenn wir dann noch bedenken, dass Frauen insgesamt weniger publizieren, seltener zitiert werden und ihre Artikel seltener in hochrangigen Journals angenommen werden, ist eigentlich klar: KI, die aus genau diesen Daten lernt, reproduziert dies. Das große Risiko ist, dass diese bestehenden ungerechten Machtstrukturen weiter verstärkt werden, und Frauen sowie andere marginalisierte Gruppen durch KI noch unsichtbarer werden.

Johanna Leifeld: Du hast eben schon angesprochen, dass viele Menschen Bias oft gar nicht erkennen. Genau daran schließt meine Frage an, die mich sehr umtreibt: Wie wollen wir mit Bias in technologischen Systemen umgehen, wenn wir den Bias in uns selbst häufig gar nicht erkennen? Schon in der analogen Welt nehmen viele Menschen Stereotype und Diskriminierung kaum wahr. Und da frage ich mich: Lässt sich das auf technologischer Ebene lösen? Oder ist es letztlich ein gesellschaftliches Problem, das auch genau dort angegangen werden muss?

Eva Gengler: Ich finde das eine sehr wichtige Frage, und ich denke wir müssen auf beiden Ebenen tätig werden. Zum einen ist vielen Menschen schlicht nicht bewusst, dass KI-Systeme nicht neutral sind. Das merke ich immer wieder in Vorträgen: Viele sind ehrlich überrascht, welche Ergebnisse KI produziert, auch junge Menschen, aber nicht nur. Ich habe kürzlich einen Vortrag im Bereich Medizininformatik gehalten. Dort habe ich Bilder gezeigt, die mich selbst überrascht haben, weil sie so stark stereotyp waren. Der Prompt war ganz simpel: „Create an image of a doctor and nurses“. Das Ergebnis: ein weißer Mann als Arzt, umgeben von Frauen, klar als „Krankenschwestern“ dargestellt. Ich habe bewusst auf Englisch und mit genderneutralen Begriffen gepromptet, aber auch in der DeepL-Übersetzung war von einem Arzt und „Krankenschwestern“ und nicht etwa von einer Ärztin und Krankenpflegepersonal die Rede. Die Studierenden waren von den Ergebnissen sehr überrascht. Sie wussten, dass KI Bias haben kann, aber sie waren überrascht von der Offensichtlichkeit.

Insgesamt glaube ich, dass viele Menschen sich mit dieser Thematik nicht wirklich auseinandersetzen. Vielleicht haben sie davon gehört oder mal einen Artikel gelesen, aber wie tief das verankert ist, ist vielen nicht bewusst. Und das hängt genau mit dem zusammen, was du gesagt hast: Uns fehlt oft das Bewusstsein für ungerechte Machtstrukturen in unserer Gesellschaft. Wenn wir das wirklich ernst nehmen würden, wären diese KI-Ergebnisse eigentlich keine Überraschung.

Gleichzeitig glaube ich, dass KI hier auch eine Chance bietet. Gerade weil die Bilder so plakativ stereotyp sind, fallen die Probleme Menschen vielleicht eher ins Auge. Wenn man dann gemeinsam draufschaut und fragt: „Moment mal: Es gibt inzwischen auch viele männliche Pflegekräfte, warum sind hier nur junge, normschöne Frauen abgebildet?“ Dann kann das helfen, über Probleme in der analogen Welt ins Gespräch zu kommen. KI hält uns da gewissermaßen einen Spiegel vor und macht sichtbar, was schon lange vor KI existiert hat.

Ich glaube deswegen: Wenn wir etwas verändern wollen, müssen wir Veränderungen in der KI und in der Gesellschaft anstoßen. Wir müssen an der KI arbeiten, denn sie zeigt eben nicht die Realität, sondern nur einen gewissen Ausschnitt ebendieser. Wenn wir das versäumen, droht, dass wir damit eine überholte und konservative Normalität wieder herstellen. Wir sollten uns fragen, wie divers KI-Ergebnisse in welchem Kontext sein sollten: Sollen sie den Status quo abbilden, einen Wunschzustand zeigen oder etwas dazwischen? Diese Entscheidung liegt derzeit meist bei den Anbieter:innen der Systeme. Eigentlich sollten das aber gesamtgesellschaftliche Fragestellungen und Entscheidungen sein.

Johanna Leifeld: Wie gehst du individuell mit generativer KI um? Worauf achtest du in deiner Nutzung?

Eva Gengler: Ich nutze generative KI vor allem für zwei Dinge: zum einen bewusst für negative Beispiele, dabei gehe ich nicht besonders sensibel vor, weil ich sehen will welche Ergebnisse entstehen, wenn ich KI „einfach so“ nutze. Zum anderen setze ich sie in der Textarbeit ein. Hier hilft sie mir, zu kürzen, Dinge auf den Punkt zu bringen oder Sätze anders zu formulieren, wenn ich mir bei einer Formulierung schwertue. Allerdings nutze ich für meine Texte mittlerweile nur noch sehr sporadisch KI, weil ich es oft doch einfach lieber mag selbst zu schreiben. Außerdem nutze ich KI zur Unterstützung bei der Übersetzung. Gleichzeitig merke ich aber, dass es mir schwerfällt, KI-generierten Texten meine eigene Stimme zurückzugeben. Selbst gekürzte Passagen haben sich im Nachhinein oft unnatürlich angefühlt, weil der Schreibstil nicht meiner ist. Deshalb bin ich vorsichtiger geworden: Für schnelle, weniger wichtige Texte ist KI hilfreich, bei zentralen Inhalten eher nicht. Entscheidend ist, dass der Inhalt von uns selbst kommt und Aussagen überprüft werden.

Johanna Leifeld: Das heißt, du würdest sagen, du überlegst von Anfang an sehr bewusst, wofür du KI überhaupt einsetzt, also wo sie dir wirklich hilft und wo eher nicht. Und im Nachgang prüfst du dann noch einmal kritisch, ob das Ergebnis für dich tatsächlich sinnvoll ist und auch deinen Erwartungen entspricht?

Eva Gengler: Ja, das ist gut zusammengefasst. Es geht für mich um Erwartungen, aber auch um Wertvorstellungen – selbst bei Übersetzungen kann der Sinn leicht verändert werden, je nachdem, welche Worte gewählt werden. Entscheidend ist deshalb, sich am Anfang zu fragen: Wofür nutze ich KI überhaupt, ist das hier wirklich sinnvoll? Und im Zweifel nutze ich sie dann auch einfach nicht.

Johanna Leifeld: Weg vom eigenen Umgang mit KI, hin zu den Hochschulen: Was glaubst du, wie wir für das Thema am besten sensibilisieren? Was muss da passieren? Auf welchen Levels?

Eva Gengler: Das muss schon viel früher ansetzen, spätestens in der Schule. Kinder nutzen generative KI längst. KI kann enorm helfen, aber wenn wir nicht mehr selbst lernen zu denken, zu recherchieren, oder Argumente aufzubauen, dann fehlen uns entscheidende Eigenschaften für ein demokratisches Miteinander. Es geht darum zu verstehen: Wofür nutze ich KI sinnvoll? Wie überprüfe ich Ergebnisse? Warum glaube ich nicht einfach alles, was ich sehe oder mir angezeigt wird? Das gilt für Lernende wie auch Lehrende.

Letztlich geht es um eine kontinuierliche Förderung von Bewusstsein und Kompetenz. KI wird ständig weiterentwickelt – Konzepte und Materialien müssen da mithalten. Und wir sollten dabei voneinander lernen: Oft sind Studierende im praktischen Umgang mit neuen Tools bereits sehr weit. Hier bräuchte es grundsätzlich mehr Offenheit dafür, dass Lehrende nicht allwissend sind, nicht nur in Bezug auf KI. Wir können nicht alles wissen, und das müssen wir auch gar nicht. Wenn Informationen schnell verfügbar sind, rückt weniger das reine Wissen in den Mittelpunkt, sondern unser Umgang damit.

Eva Gengler ist Doktorin der Wirtschafts- und Sozialwissenschaften. Als Wirtschaftsinformatikerin forscht und wirkt sie intersektional-feministisch an der Schnittstelle von Macht und Künstlicher Intelligenz. Als Autorin von „Feministische KI”, Speakerin und Co-Founderin der feminist AI Community engagiert sie sich für eine gerechte und verantwortliche Technologiegestaltung.

Johanna Leifeld ist Projektmanagerin im Hochschulforum Digitalisierung für das CHE Centrum für Hochschulentwicklung. Sie arbeitet in der Strategieentwicklung und verantwortet dort die Peer-to-Peer-Fachbereichsberatung. Außerdem beschäftigt sie sich mit der Frage, wie der Einsatz künstlicher Intelligenz unsere Gesellschaft verändert – und wie diese Entwicklung gerechter gestaltet werden kann. Sie gehört zudem zum Organisationsteam des University:Future Festival.

Lesen Sie hier weitere Blogbeiträge aus der Reihe „Machtkritische und bias-sensible KI“: