Die Hochschullandschaft steht vor einem Wendepunkt: Künstliche Intelligenz verändert Lehre, Forschung und Studium grundlegend. Sprachmodelle wie ChatGPT oder Claude sind bereits im universitären Alltag angekommen, doch ihr Einsatz wirft dringende Fragen auf. Der Beitrag beleuchtet insbesondere das Problem von Verzerrungen in KI-Systemen und zeigt, warum Hochschulen einen bewussten und kritischen Umgang mit der Technologie brauchen.

Die Hochschullandschaft steht vor einem Wendepunkt: Der Einsatz Künstlicher Intelligenz (KI) – sei es in Form von Agenten,  Entscheidungsassistenzsystemen (ADM-Systeme) oder  generativer Künstlicher Intelligenz (GenAI) – verändert fundamental, wie wir lehren, lernen und forschen. Während der Einsatz von KI in Zulassungsprozessen noch stark diskutiert wird, haben große Sprachmodelle wie ChatGPT oder Claude längst ihren Platz im universitären Alltag gefunden und unterstützen beim Verfassen von Hausarbeiten, bei der Strukturierung komplexer Forschungsprojekte oder bei der Lehrvorbereitung. Doch so verlockend diese neuen Möglichkeiten erscheinen, so dringlich sind die Fragen, die sie aufwerfen. Dieser Artikel fokussiert dabei auf die Problematik von Verzerrungen (Biases) in und durch KI-Systeme, zeigt deren besondere Relevanz für den Hochschulkontext auf und verdeutlicht,  weshalb ein bewusster und kritischer Umgang mit dieser Technologie nötig ist.

Künstliche Intelligenz gilt als Schlüsseltechnologie der Zukunft und wird als Treiber von Innovation, Effizienz und gesellschaftlichem Fortschritt präsentiert. Ihre Grundlage sind jedoch Daten – und diese sind nie neutral. Da Algorithmen aus historischen Informationen lernen, tragen sie soziale, kulturelle und ökonomische Machtverhältnisse weiter. Statt neue, gerechte Lösungen zu schaffen, reproduzieren viele KI-Systeme so bestehende Ungleichheiten und übersetzen Ausschlussmechanismen in Code (Mosene, 2024).

Auf diese Weise verstärkt KI die Diskriminierungslogiken der Gesellschaften, die sie hervorbringen. Betroffen sind vor allem marginalisierte Gruppen wie Frauen*, BIPoC, LGBTIQA+, Menschen mit Be_hinderungen sowie Personen in prekären ökonomischen oder sozialen Lagen. Die Unterrepräsentation marginalisierter Gruppen ebenso wie ihre Darstellung in verzerrter, stereotyper Form führen zu einer Spirale von Benachteiligung: Verzerrte Daten (re)produzieren verzerrte Ergebnisse, die wiederum in neue Datensätze einfließen und künftige Entscheidungen prägen. Eine Vielzahl wissenschaftlicher Analysen belegt diese Entwicklung eindrücklich (Buolamwini/Gebru 2018; Benjamin 2019; Eubanks 2018; Noble 2018).

Neben den Trainingsdaten gibt es ein weiteres Problem: KI-Werkzeuge sind keineswegs neutrale Technologien, sondern spiegeln vielmehr in erster Linie die Weltanschauungen, Werte und blinden Flecken ihrer Entwicklerteams wider. Diese Teams sind nach wie vor überwiegend im Globalen Norden verortet, mehrheitlich weiß und männlich besetzt. Dadurch bleiben marginalisierte Perspektiven und Bedürfnisse systematisch unberücksichtigt. (D’Ignazio/Klein 2020; Buolamwini/Gebru 2018; Benjamin 2019; Eubanks 2018; Noble 2018). Aktuelle Daten aus dem Jahr 2024 (Lazzaroni & Pal, 2024) zeigen, dass Frauen weltweit nur etwa 22 % der KI-Belegschaft ausmachen. Mit anderen Worten: rund vier von fünf Personen, die heute im Bereich KI arbeiten, sind Männer. Selbst in Regionen, die insgesamt für die Förderung der Geschlechtergleichstellung bekannt sind, bleibt der KI-Sektor zurück. So weist beispielsweise Deutschland, ein Land, das einen großen Teil der allgemeinen Geschlechterungleichheit bereits verringert hat, mit lediglich 20,3% einen der niedrigsten Frauenanteile in KI-bezogenen Tätigkeiten in Europa auf.

Solch systematische Verzerrungen, wie oben beschrieben, entfalten auch im universitären Kontext unmittelbare Wirkung, und zwar auf mehreren Ebenen. Der Einsatz von KI-Systemen auf institutioneller Ebene, beispielsweise in Zulassungsprozessen, bei der Bewertung von Prüfungsleistungen oder in der Studienberatung, wird auch an deutschen Hochschulen zunehmend diskutiert; doch sollte eine Entscheidung über den Einsatz von KI in solchen sensiblen Bereichen keinesfalls leichtfertig erfolgen. Gerade weil hier Entscheidungen über Zugang, Leistung und Chancengleichheit betroffen wären, gilt es, die Debatte informiert und ergebnisoffen zu führen und auch die möglichen negativen Folgen einer Implementierung im Blick zu behalten. Sollten KI-Systeme eingesetzt werden, die historische Daten analysieren, um darin Muster zu erkennen und diese zu nutzen, um davon ausgehend Prognosen für die Zukunft abzuleiten, bestünde die Gefahr entstehender Zirkelschlüsse, selbsterfüllender Prophezeiungen und des fortwährenden Ausschlusses bestimmter Gruppen (Wilson & Caliskan, 2024).

Ein Blick nach Frankreich zeigt die Risiken deutlich: Dort kam ein Algorithmus über Jahre hinweg bei der Studienplatzvergabe zum Einsatz. Dabei stellte sich heraus, dass scheinbar neutrale Kriterien wie der Wohnort zur systematischen Benachteiligung führte. Bewerber*innen aus den wohlhabenden Innenstadtbezirken von Paris wurden häufiger zugelassen, während Kandidat*innen aus den Banlieues, also den sozial benachteiligten Randgebieten, strukturell schlechtere Chancen hatten – und das bei den prestigeträchtigsten Universitäten des Landes (Martini et al., 2020). Diese Praxis hat also nicht etwa Fairness hergestellt, sondern bestehende soziale Ungleichheiten vertieft.

Dass Hochschulen, die sich selbst als Orte kritischen Denkens und der gesellschaftlichen Innovation verstehen, zugleich Technologien einsetzen, die in erster Linie bestehende Muster reproduzieren, ist ein Paradoxon. Umso dringlicher ist es, dass Hochschulen nicht nur technische Lösungen implementieren, sondern vorab grundlegende ethische Fragen diskutieren: Welche Art der Systeme wollen wir nutzen, mit welchen Vor- und welchen Nachteilen? Welche Vorstellung von Fairness, Nachvollziehbarkeit und Transparenz soll die KI-Nutzung in Lehre und Verwaltung leiten; welche Mindeststandards müssen erfüllt sein? Und wie kann sichergestellt werden, dass alle Studierenden, Mitarbeiter*innen und Forschenden auf diesem Weg mitgenommen werden?

Auch beim Einsatz von GenAI auf der individuellen Ebene reproduzieren KI-Systeme systematisch Verzerrungen aus ihren Trainingsdaten und tragen diese ungebrochen in Lehre, Lernen und Forschung hinein. Besonders deutlich zeigt sich dies bei großen Sprachmodellen (LLMs): Wenn Studierende oder Forschende diese für Literaturrecherchen nutzen, liefern die Systeme bevorzugt Ergebnisse, die etablierte – häufig männliche, weiße und im Globalen Norden verortete – Stimmen verstärken (Algaba et al 2024; He 2025). Marginalisierte Perspektiven hingegen bleiben weitgehend unsichtbar (Elsafoury, 2025).

Dieses Ungleichgewicht ist eng mit den Trainingsgrundlagen der Modelle verknüpft: Sie basieren überwiegend auf Daten aus englischsprachigen Kontexten des globalen Nordens. Damit entstehen Ergebnisse, die nicht nur eine einseitige Wissenslandschaft reproduzieren, sondern auch stereotype Vorstellungen festschreiben. Die Konsequenz: Texte und Bilder, die durch große Sprachmodelle generiert werden, enthalten häufig sexistische (Unesco, 2024) oder rassistische Muster (Nicoletti & Bass, 2023). Für Studierende bedeutet dies, dass ihre Argumentationen und Lernprozesse durch solche einseitigen Strukturen beeinflusst werden können, und blinde Flecken unreflektiert übernommen und weitergetragen werden.

Der individuelle unreflektierte Einsatz von GenAI birgt zudem die Gefahr einer schleichenden Erosion wissenschaftlicher Grundkompetenzen: wenn KI routinemäßig Argumentationen und Analysen liefert, nehmen die eigenen analytischen Fähigkeiten Schaden. Auch die Fähigkeit, Primärquellen zu identifizieren, zu bewerten und korrekt zu zitieren, kann durch KI-Abhängigkeit schwinden; ebenso wie die Kompetenz, aus verschiedenen Quellen eigenständige Schlussfolgerungen zu ziehen (Gerlich, 2025). GenAI stellt so zunehmend auch fundamentale Prinzipien wie wissenschaftliche Freiheit und wissenschaftliche Integrität in Frage.

Unreflektiert eingesetzt, droht KI in Lehre und Studium zu einem Verstärker bestehender Ungleichheiten zu werden. Anstatt neue Perspektiven zu eröffnen oder kritisches Denken zu fördern, kann sie bestehende Machtstrukturen zementieren und die Vielfalt wissenschaftlicher Diskurse verengen. Damit läuft sie Gefahr, nicht zur Demokratisierung von Wissen beizutragen, sondern zur Verfestigung von Ausschlüssen. Genau deshalb braucht es einen bewussten, kritischen und reflektierten Umgang mit generativer KI im Hochschulkontext – andernfalls untergräbt sie jene Prinzipien, die Universität im Kern ausmachen: Offenheit, Chancengleichheit und die Förderung kritischer Urteilsfähigkeit.

Für Universitäten bedeutet der Einsatz von KI mithin weit mehr als die bloße Einführung neuer Technologien, er erfordert eine bewusste Haltung. Im Zentrum steht eine transparente Kommunikation über Chancen, Grenzen und Risiken.  Es gilt, kritische Medienkompetenz zu fördern, sodass Mitarbeitende, Studierende und Lehrende ein fundiertes Verständnis über die Funktionsweise und die Grenzen von KI entwickeln können. Ebenso ist es wichtig, diverse Perspektiven auf den Einsatz von KI an Universität oder Hochschule einzubeziehen, um die Implementierung von KI-Tools partizipativ und möglichst inklusiv zu gestalten. Darüber hinaus sollten ethische Leitlinien etabliert werden, die klare Regeln für einen verantwortungsvollen Umgang mit KI festschreiben.

Generative KI wird die Hochschullandschaft nachhaltig verändern – diese Entwicklung ist nicht aufzuhalten. Entscheidend ist daher nicht die Frage, ob KI eingesetzt wird, sondern wie wir dies tun. Universitäten sollten hierbei zu Vorreitern einer kritischen und reflektierten KI-Nutzung werden. Dafür braucht es ein Bewusstsein für die Limitationen dieser Technologien, insbesondere für Biases, Ausschlüsse und systematische Verzerrungen. Ebenso zentral ist der Aufbau methodischer Kompetenzen, die es ermöglichen, KI-generierte Inhalte fundiert und kritisch zu bewerten. Ergänzend dazu muss eine kontinuierliche ethische Reflexion stattfinden, die sich mit den gesellschaftlichen Auswirkungen des Einsatzes von KI auseinandersetzt. 

Nur so können Universitäten ihrer Verantwortung als Bildungseinrichtungen gerecht werden und gleichzeitig die Potentiale von KI & GenAI nutzen, ohne deren Risiken zu ignorieren. Die Zukunft der Hochschulbildung hängt davon ab, ob wir es schaffen, Technologie kritisch zu reflektieren, statt ihr blind zu vertrauen.

Algaba, A., Mazijn, C., Holst, V. T., Tori, F. J., Wenmackers, S., & Ginis, V. (2024). Large Language Models Reflect Human Citation Patterns with a Heightened Citation Bias. https://doi.org/10.48550/arXiv.2405.15739

Benjamin, R. (2019): Race after technology: Abolitionist tools for the new Jim Code. Cambridge, UK: Polity Press.

Buolamwini, Joy/Gebru, Timnit (2018): Gender Shades. Online: https://www.media.mit.edu/projects/gender-shades/overview/ [20.03.2024]

D’Ignazio, C. & Klein, L. (2020). Data Feminism. MIT Press.

Elsafoury, F., & Hartmann, D. (2025). Out of Sight Out of Mind: Measuring Bias in Language Models Against Overlooked Marginalized Groups in Regional Contexts. https://doi.org/10.48550/arXiv.2504.12767

Eubanks, Virginia (2018): Automating Inequality – How High-Tech Tools Profile, Police, and Punish the Poor. St. Martin’s Press.

Gerlich, M. (2025). AI Tools in Society: Impacts on Cognitive Offloading and the Future of Critical Thinking. Societies, 15(1), Article 6. https://doi.org/10.3390/soc15010006

He, J. (2025). Who Gets Cited? Gender- and Majority-Bias in LLM-Driven Reference Selection. https://doi.org/10.48550/arXiv.2508.02740

Lazzaroni, R.M. & Pal, S. (2024) AI’s Missing Link: The Gender Gap in the Talent Pool. Interface EU. Online: https://www.interface-eu.org/publications/ai-gender-gap

Martini, M., Botta, J., Nink, D., & Kolain, M. (2020). Automatisch erlaubt? Fünf Anwendungsfälle algorithmischer Systeme auf dem juristischen Prüfstand. Bertelsmann Stiftung. https://www.bertelsmann-stiftung.de

Mosene, K. (2024) Ein Schritt vor, zwei zurück: Warum Künstliche Intelligenz derzeit vor allem die Vergangenheit vorhersagt. Digital Society Blog (HIIG). Online: https://www.hiig.de/warum-ki-derzeit-vor-allem-vergangenheit-vorhersagt/

Nicoletti, L., & Bass, D. (2023): Humans Are Biased. Generative AI Is Even Worse. Bloomberg. Retrieved from https://www.bloomberg.com/graphics/2023-generative-ai-bias/

Noble, S. U. (2018): Algorithms of oppression: How search engines reinforce racism. New York: New York University Press.

UNESCO, IRCAI (2024). “Challenging systematic prejudices: an Investigation into Gender Bias in Large Language Models” https://unesdoc.unesco.org/ark:/48223/pf0000388971

Wilson, K., & Caliskan, A. (2024): Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, 7(1), 1578-1590. https://doi.org/10.1609/aies.v7i1.31748

Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021): On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’21). https://dl.acm.org/doi/10.1145/3442188.3445922

Peña, Paz/Varon, Joana (2021): Oppressive A.I.: Feminist Categories to Unterstand its Political Effect. Online: https://notmy.ai/news/oppressive-a-i-feminist-categories-to-understand-its-political-effects/  

Varon, Joana/Peña, Paz (2021): Artificial intelligence and consent: a feminist anti-colonial critique. In: Internet Policy Review. 10 (4). Online: https://policyreview.info/articles/analysis/artificial-intelligence-and-consent-feminist-anti-colonial-critique 

West, Sarah Meyers; Whittaker, Meredith and Crawford, Kate (2019): Discriminating Systems: Gender, Race and Power in AI. AI Now Institute. Online: https://ainowinstitute.org/discriminatingsystems.html

Katharina Mosene setzt sich als Politikwissenschaftlerin dafür ein, intersektionale feministische Ansätze im Bereich der Internet Governance zu integrieren. Ihr Fokus liegt auf der Identifizierung von tradierten Vorurteilen (Biases) im Bereich der Künstlichen Intelligenz sowie auf ethischen Fragen beim Einsatz von Algorithmen in Wirtschaft und Gesellschaft. Zudem erforscht sie Lösungsansätze zur Bekämpfung von digitaler Gewalt, Hate Speech und Antifeminismus, mit dem Ziel, Chancengleichheit im digitalen Raum zu ermöglichen.

Johanna Leifeld ist Projektmanagerin im Hochschulforum Digitalisierung für das CHE Centrum für Hochschulentwicklung. Sie arbeitet in der Strategieentwicklung und verantwortet dort die Peer-to-Peer-Fachbereichsberatung. Außerdem beschäftigt sie sich mit der Frage, wie der Einsatz künstlicher Intelligenz unsere Gesellschaft verändert – und wie diese Entwicklung gerechter gestaltet werden kann. Sie gehört zudem zum Organisationsteam des University:Future Festival.