Künstliche Intelligenz klingt nach Zukunft und Fortschritt, trägt jedoch die Vergangenheit in sich. KI lernt aus historischen Daten, die alles andere als neutral sind. In ihnen stecken Vorurteile, ungleiche Machtverhältnisse und historische Ungleichheiten. Welche Auswirkungen das haben kann, zeigen Lena Nedwed und Tim Trappen von der Ruhr-Universität Bochum in ihrer Seminararbeit: Sie haben untersucht, wie Bildgenerierungs-KI Menschen unterschiedlicher Geschlechter und Hautfarben im beruflichen Kontext darstellt – mit aufschlussreichen Ergebnissen.

Tim: Das hängt wohl mit meinem Werdegang zusammen. Als Quereinsteiger in die IT habe ich neben dem Bachelorstudium an Projekten für große Wirtschaftsunternehmen mitgearbeitet, vor allem im Marketing. Dadurch wurde mir bewusst, wie stark digitale Inhalte gesellschaftliche Normen prägen. Später wechselte ich in den öffentlichen Dienst und begann ein interessengeleitetes Masterstudium, bei dem sich mein Interesse an Sprache ideal mit meinem IT-Wissen verband – meine Dozierenden ermutigten mich, tiefer in KI einzusteigen, noch vor dem Start von ChatGPT.

Lena: Mit dem Thema ist Tim durch die Tür gestolpert. Ich fand KI sehr spannend, weil ich mich viel mit feministischen Theorien auseinandergesetzt habe, die Technik und Digitales diskutieren. Die Figur der Cyborg bei Donna Haraway und die Aktion des Glitch bei Legacy Russell trieben mich viel um.

Tim: Wie wir feststellen mussten, gibt es im Kontext generativer KI keine einfache Antwort auf diese Frage. Wir haben den Begriff anhand der Definition von Friedman und Nissenbaum (1996) nachgezeichnet: Ein digitales System ist „biased“, wenn es systematisch – also dauerhaft und verlässlich – eine Person oder Gruppe auf Grundlage unangemessener Annahmen diskriminiert. Auf dieser Basis lassen sich drei Formen von Bias unterscheiden:

Technisch lässt sich Bias nur schwer vollständig erfassen. Wahrscheinlich reproduzieren Trainingsdaten bereits bestehende gesellschaftliche Verzerrungen – etwa durch die ungleiche Verteilung bestimmter Begriffe oder Pronomen (vgl. Dev et al. 2021). Ob zusätzlich technische Biases vorliegen, ließe sich nur mit vollständigem Zugriff auf Quellcode und Trainingsdaten klären – ein enormer Aufwand.

Lena: Oft wird angenommen, die KI selbst erzeuge den Bias. Das stimmt jedoch nicht. Wie wir in unserer Arbeit zeigen, ist KI in gesellschaftliche Machtstrukturen eingebettet. Ihr Output basiert auf Trainingsdaten, die nie völlig neutral sind, weil sie von uns stammen und bereits Stereotype und Diskriminierungsmuster enthalten. KI macht diese Strukturen sichtbar – sie zeigt nicht, wie eine gerechte Gesellschaft aussehen sollte, sondern spiegelt bestehende Ungleichheiten wider.

Lena: Wir haben den Begriff Bias aus verschiedenen Perspektiven betrachtet – etwa im Hinblick auf die Art der Diskriminierung, die Verflechtung von Technik und gesellschaftlichen Machtverhältnissen oder das zugrunde liegende Attribut. Alle drei Ansätze flossen ein, der Schwerpunkt lag jedoch auf Gender und Racial Bias. Wir untersuchten, wie KI Bilder von Menschen in bestimmten Berufsgruppen generiert und verglichen diese mit statistischen Daten. Dabei zeigte sich, dass die Darstellungen nicht mit den realen Verhältnissen übereinstimmten – es gab klare Verzerrungen in beiden Kategorien.

Tim: In unserer Seminararbeit von 2023 haben wir versucht, erste Einblicke in Biases von (generativen) Bild-Modellen zu erlangen. Dazu haben wir europaweit erhobene statistische Daten über die Verteilung von Berufsgruppen nach Geschlecht des Jahres 2022 von Eurostat bezogen, und auf deren Basis mithilfe geschlechtsneutral formulierter Prompts Bilder generieren und anschließend klassifizieren lassen.

Unsere Erkenntnis war zweierlei: zum einen funktionierte die automatisierte Klassifikation entlang interdependenter visueller Merkmale ausgesprochen gut – ein Zeugnis dafür, dass Modelle zur Bilderkennung bei der Klassifikation soziodemographischer Kategorien sehr effizient eingesetzt werden können.
Zum anderen waren die als männlich klassifizierten Darstellungen im Vergleich zu den realen Verteilungen im Mittel um rund 15% überrepräsentiert. Besonders spannend ist dabei die Verteilung innerhalb der Berufsgruppen: weiblich klassifizierte Darstellungen waren einzig innerhalb der sozialen Berufe häufiger als männliche vertreten, was zumindest im Verhältnis den realen Zahlen entspricht.
Bei Berufen, die entweder ein hohes Maß an Bildung oder gar keine Bildung erfordern, sowie jenen, die sich Dienstleistungen zuordnen lassen, sind im Zensus ebenfalls weibliche Personen häufiger vertreten, um die 9-25%; die generierten Bilder kehren dieses Verhältnis hingegen um, und repräsentieren in knapp 2 von 3 Fällen männliche Darstellungen. In handwerklichen Berufsgruppen wurde zum Teil keine einzige weibliche Darstellung erzeugt, obwohl weibliche Personen im Zensus beinahe 30% der Arbeitskraft stellen.

Tim: Ich denke, dass wir schleunigst ein Mindestmaß an Wissen für den Einsatz von generativer KI vermitteln müssen, und zwar gesamtgesellschaftlich. Beispielsweise zu verstehen, dass Modelle durchaus in eine bestimmte Richtung trainiert werden können und daher zu hinterfragen, wo ein Modell trainiert wurde, und mit welchen Absichten es zur Verfügung gestellt wird.

Lena: Langfristig besteht ein großer sozialer Handlungsdruck, Gleichberechtigung zu fördern. Kurzfristig könnte man Datensätze bereinigen, also prüfen, ob Trainingsdaten bereits Ungerechtigkeiten oder Bias enthalten. Dafür bräuchte es jedoch Richtlinien, die festlegen, was „gute“ Daten sind – eine heikle Frage, da sich auch hier Machtstrukturen einschleichen und künstliche Verzerrungen entstehen könnten.

Lena: KI reproduziert Machtstrukturen, weil sie auf Daten basiert, die diese bereits enthalten. Wenn wir ihre Ergebnisse unhinterfragt übernehmen, setzen wir diese Machtstrukturen fort. Hochschulen sollten Studierende und Forschende befähigen, KI-Output kritisch zu hinterfragen und einzuordnen.

Tim: Schon der Zugang zu generativer KI spiegelt Machtstrukturen wider. Wissen über Modelle und die finanziellen Mittel für deren Nutzung sind ungleich verteilt – ähnlich wie beim Zugang zu Arbeitsgeräten. Es geht also um Chancengleichheit in der Bildung.

Tim: Das mag paradox klingen, aber ich nutze generative KI persönlich fast ausschließlich, um eine zweite Meinung zu von mir programmiertem Code einzuholen, wenn ich mir mal unsicher über z.B. die Sicherheit meines Codes bin. Da geht es dann weniger um Bias und mehr darum nachzuvollziehen, ob die mögliche vorgeschlagene Implementierung nicht doch unsicherer ist als meine bisherige. 

Lena: Ich nutze generative KI persönlich selten und auch nicht im Bereich meines Studiums oder der Forschung. Außerdem gehe ich nie davon aus, dass KI recht hat, sondern prüfe und kontextualisiere ihre Ergebnisse.

Lena: Die Nutzung von KI in Hochschulen muss von Schulungsangeboten begleitet werden. Studierende dürfen mit diesem Tool nicht allein gelassen werden. Es bedarf kritisches Denken und Hinterfragen, um KI richtig anzuwenden. Hochschulen sollten dafür eine geeignete Umgebung schaffen und ein Bewusstsein für Ungerechtigkeit und Diskriminierung fördern. Individuen müssen sich eine politische Meinung bilden und überlegen, wo sie stehen und dabei immer hinterfragen, was genau die KI gerade abbildet.

Tim: Die Frage ist schwierig, weil sie impliziert, dass Bias für alle dieselbe Ausprägung aufweist. Hier zeigt sich der emergente Bias, der sich auch aus persönlichen Weltanschauungen formen kann. Das ist ein Grund dafür, weshalb wir in unserer Studie versucht haben, mit empirischen Daten zu arbeiten und diese auch zu produzieren. Am Ende sollte man nie eine generierte Ausgabe für bare Münze nehmen, sondern stets versuchen, Belege für deren Inhalt zu finden – und das ist nicht zuletzt auch ein Prozess, bei dem das eigene Wissen ausschlaggebend ist.

Tim: Das knüpft gut an meine vorherige Antwort an: Wenn wir KI als Spiegel gesellschaftlicher Biases verstehen, zeigt sie uns diese deutlich. Bias kann sowohl Produkt als auch Produzent sein – was wir daraus machen, liegt bei uns.

Lena: KI macht auf bestehende Ungerechtigkeiten aufmerksam. Ich werde aus meinem Umfeld gerissen, wenn ich KI nutze und damit konfrontiert, dass Stereotype, die ich für überholt halte, noch weit verbreitet sind. Gerade in den Gender Studies hilft es, diese Perspektive zu sehen.

Tim: Eine Auseinandersetzung mit KI-Modellen auf technischer Ebene. Das muss nicht mal ins tiefste Detail gehen – aber ich selber gebe mittlerweile einzelne Vorlesungen, Seminare und Workshops, in denen ich das Thema in Code für ein weitestgehend nicht-technisches Publikum zu vermitteln versuche. Dabei habe ich durchweg sehr positive Erfahrungen gemacht; auf dieses Verständnis-Fundament lässt sich dann gut aufbauen.

Lena: Ethik ist der entscheidende Punkt. Es müssten Grundlagen der Gender Studies, Race Theories, Disability Studies und Macht-Theorien enthalten sein. Wichtig ist kein stumpfes Auswendiglernen, sondern das Anwenden des Wissens. Das kann dann sehr gut in der Anwendung an der KI geschult werden.

Lena Nedwed ist derzeit Master-Studentin in den Fächern Gender Studies und Philosophie an der Ruhr-Universität Bochum. Ihre Schwerpunkte sind Identitätsphilosophie, Misogynie und weitere Diskriminierungsformen. Zuletzt beschäftigte sie sich mit Gender & Racial Biases in Large Language Models und den daraus resultierenden Möglichkeiten, generative KI als Werkzeug zur Erkennung von gesellschaftlichen Biases zu verwenden.

Tim Trappen setzt sich mit über 10 Jahren praktischer IT-Erfahrung in sowohl Wirtschaft als auch Öffentlichem Dienst für den Fortschritt der Digitalisierung im Bildungssektor ein. Nebenbei absolviert er ein Masterstudium an der Ruhr-Universität Bochum, in welchem er sich auf die Bereiche Natural Language Processing und Künstliche Intelligenz fokussiert. Ihm ist es wichtig, selbst komplexe technische Zusammenhänge möglichst greifbar zu vermitteln, um sie partizipativ gestalten zu können.

Das Interview wurde geführt von Johanna Leifeld (CHE).