Stellen wir uns vor: Alle Studierenden an Hochschulen werden bei ihren Übungsaufgaben unterstützt durch ein Agentensystem, das ihren individuellen Lernstand und ihre Präferenzen genau kennt und passende Lernempfehlungen für die jeweilige Situation geben kann, zusammen mit angepassten Übungsmaterialien, Hilfestellungen, Feedback und Ermutigungen. Das ist das Versprechen agentischer KI im Hochschulsystem.

Ein gemeinsames Diskussionspapier von HFD und KI-Campus aus dem Mai 2026[1] bringt es auf einen Prompt: „Verbessere den Lernfortschritt über das Semester (z. B. Konzeptbeherrschung, Durchfallquote senken) personalisiert und fair.“ Aber können derzeitige und absehbar verfügbare KI-Systeme so einen Auftrag wirklich erfüllen? Hier ist gesundes Misstrauen angebracht.

Zunächst lohnt es sich, zu verstehen, wie ein agentisches KI-System heutigen Zuschnitts[2] tatsächlich funktioniert und was im Hintergrund alles passieren müsste, damit der Lernfortschritt verbessert werden kann. Konstruieren wir einen Beispiel-Fall:

Eine Studentin belegt einen Mathematik-Einführungskurs und soll nun individuell bei ihren Übungen unterstützt werden. Lehrkräfte haben bereits einen Satz von Übungsaufgaben zu sämtlichen Kompetenzbereichen erstellt, die im Kurs abgedeckt werden sollen (möglicherweise mit Hilfe eines KI-Systems). All diese Aufgaben stehen in einer digitalen, interaktiven Lernumgebung zur Verfügung (etwa Moodle, ILIAS, Stud.IP oder ähnliche Systeme). Sobald die Studentin sich in die digitale Lernumgebung einloggt, wird automatisch das agentische KI-System eingeschaltet. Das System lädt die Historie bereits abgeschlossener Übungsaufgaben und schickt diese Historie an ein Sprachmodell, zusammen mit dem eingangs zitierten Prompt zur Verbesserung des Lernfortschritts und einem langen (möglicherweise KI-generierten), weiteren Text, der die allgemeine pädagogische Strategie beschreibt sowie mögliche Aktionen. Das Sprachmodell generiert dann einen langen Text, der sich für uns hoffentlich so läse wie eine sinnvolle Analyse der bisherigen Daten, in etwa so: „Die lernende Person hat bereits alle Aufgaben im Kapitel Reihen erfolgreich bearbeitet, also muss das nicht mehr geübt werden. Im Kapitel Matrixinvertierung wurden bereits 2 Aufgaben bearbeitet, aber beide falsch. Also sollte das weiter geübt werden. Dazu muss ich wissen, welche Matrixinvertierungs-Aufgaben im System verfügbar sind. Also stelle eine Datenbankabfrage: …“

Dieser Text wird der Studentin nicht angezeigt. Stattdessen durchsucht das agentische KI-System zunächst den erzeugten Text nach maschinenlesbaren Phrasen, die wie Datenbankabfragen aussehen. Wenn so eine Abfrage vorliegt – in diesem Fall die Datenbankabfrage nach Matrix-Invertierungsaufgaben –, wird die Abfrage ausgeführt und das Sprachmodell noch einmal aufgerufen, und zwar mit allem zuvor bereits berücksichtigten Text und dem Ergebnis der Datenbankabfrage. Damit generiert das Sprachmodell neuen Text, der möglicherweise neue Datenbankabfragen enthält und so weiter – bis irgendwann ein Textabschnitt entsteht, der der Studentin auch wirklich angezeigt wird.

Wenn alles funktioniert, wie es soll, dauert dieser Prozess ca. eine Minute und der schließlich ausgegebene Text enthält tatsächlich eine Aufgabe, die genau zu der Studentin und ihrem Lernstand passt. Zusätzlich könnte das System einen Text generieren, der sich wie eine sinnvolle pädagogische Begründung liest, warum genau diese Aufgabe optimal passt. Im Hintergrund ist eine Abfolge von Sprachmodell- und Datenbankabfragen abgelaufen, die in der Gesamtheit das gewünschte Ergebnis erzeugen. Der zentrale Kniff: Kein Mensch musste diese Abfolge explizit vorgeben. Über den generierten Text des Sprachmodells hat das System implizit selbst „entschieden“, welche Abfolge von Schritten ausgeführt wird. Daher kommt der Begriff „agentisch“: Ein KI-System scheint in der digitalen Welt eigenständig zu handeln.

Die Erstellung dieser Systeme ist daher auch wesentlich komfortabler und schneller als bei klassischen informatischen Systemen: Im Wesentlichen müssen bloß die Zutaten bereitgelegt werden (in diesem Fall die digitale Lernumgebung und die Übungsaufgaben). Dann wird das agentische System mit einer abstrakten Aufgabenbeschreibung an die Arbeit geschickt. Von da an erstellt das System sich selbst (über ein Sprachmodell) umfangreiche Texte, die Teilschritte und Strategien beschreiben, und ruft immer wieder ein Sprachmodell auf, um den nächsten Schritt zu bestimmen. Im Kern muss man sich bei der Nutzung agentischer KI-Systeme also darauf verlassen, dass ein großes Sprachmodell immer wieder zuverlässig den richtigen Schritt auswählt. Kann man sich darauf verlassen?

Große Sprachmodelle funktionieren bekanntermaßen anders als klassische Computerprogramme. In einem herkömmlichen Computerprogramm sind die einzelnen Schritte explizit vorgegeben und werden deterministisch und verlässlich auf stets gleiche Weise ausgeführt. Große Sprachmodelle werden nicht programmiert sondern über einen natürlichsprachlichen Prompt angewiesen, eine bestimmte Aufgabe auszuführen. Das macht sie so viel einfacher zu verwenden. Der große Nachteil ist, dass es keinerlei Garantien gibt, dass die Aufgabe im Prompt auch ausgeführt wird. Es lassen sich statistische Garantien darüber geben, dass die Antwort eines Sprachmodells textuell ähnlich aussehen wird wie Text in den Trainingsdaten. Wichtiger wäre aber: Erfüllt der Text auch funktional oder semantisch die gegebene Anweisung? Und darüber gibt es keine Garantie; es lässt sich nicht einmal eine Wahrscheinlichkeit berechnen, dass die Anweisung erfolgreich ausgeführt wird.[3]

Die fundamentale Unzuverlässigkeit großer Sprachmodelle ist seit 2023 zunehmend bekannter geworden – auch durch viel Arbeit des KI-Campus und des HFD. Nun droht allerdings der Hype um agentische KI-Systeme, dieses mühsam erarbeitete Verständnis wieder zu unterminieren. In der öffentlichen Debatte scheinen agentische KI-Systeme mithin als wesentlich zuverlässiger zu gelten als einfache Sprachmodelle. Das könnte sich aber als gefährliches Missverständnis erweisen: Ein agentisches KI-System ist letztlich auch nur eine Hintereinanderschaltung vieler einzelner Sprachmodell-Anfragen mit einigen klassischen informatischen Systemen dazwischen. Durch das Hintereinanderschalten vieler Sprachmodellanfragen wird die Wahrscheinlichkeiten aber nicht geringer. Es ist im Gegenteil eher davon auszugehen, dass die Fehlerwahrscheinlichkeit steigt.

Da der gesamte Ablauf aber für Nutzende unsichtbar im Hintergrund geschieht, fallen Fehler vielleicht erst sehr viel später oder gar nicht auf, und es drohen unerwünschte bis gefährliche pädagogische Folgen. Konkret für unser Beispiel: Die Studentin könnte Aufgaben empfohlen bekommen, die sie bereits bearbeitet hat, die zu schwierig sind, oder die überhaupt nicht zu ihrem aktuellen Thema passen. Das System könnte auch gar keine Aufgaben empfehlen, sondern die Studentin fälschlicherweise darin bestärken, dass sie gar nicht weiterlernen müsse. Dieser Fall ist besonders wahrscheinlich, wie Forschungen zum „Nach-dem-Mund-reden“ (im Englischen: Sycophancy) zeigen. Noch schlimmer: Das System könnte die Fehlleistungen der Studentin betonen und sie bis zu ernsten psychologischen Folgen niedermachen – all das im Namen der Hochschule.

Solche Fälle werden vermutlich selten sein. Es gibt aber keine Möglichkeit – keinen Prompt, keinen Algorithmus, keinen Filter –, um solche Fälle systematisch und automatisch zu erkennen und zu verhindern. Es lässt sich nicht einmal berechnen, wie groß oder klein das Risiko für Fehler genau ist. Es gibt schlicht keine Garantien und die bislang in der Lehre erlangten Erfahrungswerte sind nur eingeschränkt belastbar.

Gleichwohl folgt aus diesen Einsichten nicht notwendigerweise, Sprachmodelle oder agentische KI-Systeme grundsätzlich zu meiden. Eher geht es darum, ein gesundes Misstrauen gegenüber Sprachmodellen zu kultivieren, um eine verantwortungsvolle Nutzung von KI-Systemen (ob agentisch oder nicht) überhaupt erst zu ermöglichen. Mit gesundem Misstrauen meinen wir eine Grundhaltung dem System gegenüber, die es in einem größeren Zusammenhang betrachtet, Sensitivität für sein konkretes Funktionieren besitzt, die uns gegebenenfalls stutzig werden lässt und produktive Prozesse skeptischen Denkens in Gang setzt. In unserem Beispiel könnte das heißen: Die Studentin weiß um die Funktionsweise des Systems und die Fehler, die passieren können. Falls das KI-System tatsächlich eine unpassende oder auch nur merkwürdige Empfehlung erzeugt, setzt das gesunde Misstrauen ein. Die Studentin hinterfragt das System und entscheidet sich anders oder lässt sich eine neue Empfehlung generieren. Sie spricht mit anderen Studierenden oder auch den Lehrenden. Gerade weil die Studentin in der Lage ist, fehlerhaftes Systemverhalten zu erkennen, kann man ihr zutrauen, mit dem System sinnvoll umzugehen. Wenn sie hingegen jeder Ausgabe unkritisch vertrauen würde, müsste man die Nutzung des Systems als wesentlich riskanter betrachten.

Das Prinzip gesunden Misstrauens lässt sich auch auf Lehrkräfte und Hochschulleitungen übertragen: Wer Sprachmodellen (und darauf aufbauenden agentischen Systemen) unkritisch vertraut, läuft Gefahr, unwillkürlich hochriskante Nutzungspraktiken einzuführen. Beispiele sind etwa: Sprachmodelle Noten geben zu lassen oder Sprachmodell-generierte Texte detektieren zu wollen, indem ein Sprachmodell gefragt wird, ob es den Text geschrieben hat[4].

Zu gesundem Misstrauen gehört auch, sich unter Anwendung verschiedener Kriterien die Frage zu stellen, die Virginia Dignum als „Question Zero“, also die Frage vor allen anderen Fragen, bezeichnet hat[5]: Ist der Einsatz von KI hier die beste Option? Dabei geht es selbstverständlich nicht nur um den individuellen Lernerfolg, sondern auch um Bildung, die Rolle des Studiums, die Rolle von Gemeinschaft, den Datenschutz, den Energieverbrauch und die Frage, wer mit welchen Versprechungen Profit machen möchte. Diese Fragen sind überwiegend nicht leicht zu beantworten und verlangen nicht nur individuelle Positionierungen[6], sondern auch zivilgesellschaftliche Aushandlung. Angewandt auf die Hochschule heißt das, Einführungsprozesse zu KI-Systemen als Chance zu begreifen, die jeweilige Vorgehensweise zu überdenken. Vielleicht finden sich beim Überdenken Lösungen, die die Ziele der Hochschule noch besser erreichen als die Einführung eines neuen, agentischen KI-Systems.

Vor dem Hintergrund der Bedeutsamkeit gesunden Misstrauens erscheint es sinnvoll, gesundes Misstrauen als Teil zivilgesellschaftlich-demokratischen Engagements aufzufassen und zum Gegenstand der Lehre zu machen. Erste Schritte in diese Richtung sind erkennbar: Das AILit-Framework der OECD[7] etwa enthält kritisches Denken als Teil von KI-Kompetenzen. Immer mehr Wissenschaftskommunikation zu KI-Systemen vermittelt die technischen Grundlagen von Sprachmodellen und betont deren mangelnde Zuverlässigkeit. Aus unserer Sicht sind aber noch weitere Schritte notwendig, nämlich gesundes Misstrauen über KI-Kompetenzen hinaus als Haltung gegenüber KI-Systemen zu kultivieren, etwa indem die Fehler – und übrigens auch die Eigenarten – in Antworten von Sprachmodellen zum Gegenstand konkreter Erfahrung und Diskussion gemacht werden. In unserer eigenen Forschung entwickeln wir automatische Interventionen, um die Unzuverlässigkeit von Sprachmodellen gezielt für die Prompts der Studierenden im akademischen Schreiben zu illustrieren und die Studierenden damit für diese Unzuverlässigkeit zu sensibilisieren und ihnen eine Umgebung zu bieten, in der sie diese explorieren können[8].

Schließlich erscheint uns ein Punkt besonders wichtig und der Aufmerksamkeit in Forschung und Entwicklung wert: Wir vermuten, dass gesundes Misstrauen verzahnt ist mit Fachwissen und -kompetenz, die generell einen großen Einfluss auf unterschiedlichste Aspekte und Begleitprozesse des Lernens haben. Das vorige Beispiel der Studentin illustriert diesen Zusammenhang bereits deutlich: Je mehr die Studentin über die Inhalte ihres KursesundVerwandtes weiß, umso leichter kann sie auch erkennen, dass ihr eine unpassende Aufgabe empfohlen wurde, umso eher würde sie stutzig, und umso leichter fiele es ihr, sich beispielsweise eine Meinung der Lehrkraft zu holen oder dem System eine hilfreiche Rückmeldung zu geben. Dies weist auf eine generelle Kurzsichtigkeit im Diskurs hin: Gute Fachdidaktik verliert nicht etwa an Bedeutung, sondern ist eine Voraussetzung für gesundes Misstrauen und kompetente KI-Nutzung insgesamt.

Zum Schluss lohnt es sich, die Rolle von KI-Systemen in der Hochschulbildung noch einmal einzuordnen. Selbst wenn agentische KI-Systeme ihre Funktion als Unterstützung bei Übungsaufgaben, vielleicht auch bei der Kursauswahl und in anderen, kleinen Teilprozessen hochschulischer Bildung optimal erfüllen würden (was wir bei agentischen KI-Systemen bezweifeln), blieben wesentliche Elemente von Bildung und Lernen unberührt. Hierzu zählen etwa Aspekte der Persönlichkeitsbildung, der Motivationsregulation und Lernen als Partizipation – an der Wissenschaftsgemeinschaft und der Zivilgesellschaft[9]. Gesundes Misstrauen richtet sich daher nicht nur auf die Ergebnisse von KI-Systemen, sondern auch auf deren Einsatz selbst. Für Hochschulen hieße Dignums „Question Zero“ dann zu fragen: Was wollen Hochschulen erreichen? Welche Bildungs- und Lernprozesse sind dafür geeignet? Können KI-Systeme bei einigen dieser Prozesse nützlich sein? Und wenn ja: Wie sollten sie dann ausgestaltet sein?

So gefragt gelangt man zu zwar langsamen aber nachhaltigen Entwicklungs- und Partizipationsprozessen, in denen KI-Systeme entstehen können, die für Bildung ausgelegt sind. Gleichzeitig können neue Bildungs- und Lernprozesse entstehen, die durch die so gestalteten Technologien mit ermöglicht werden. Agentische KI-Systeme bergen die Versuchung, diese Entwicklungs- und Partizipationsprozesse zu umgehen und unkritisch zu vertrauen, dass das KI-System die wesentlichen Entscheidungen richtig treffen wird. Dagegen plädieren wir für gesundes Misstrauen als Korrektiv.

[1] https://hochschulforumdigitalisierung.de/wp-content/uploads/2026/04/Agentische-KI-im-Hochschulsystem.pdf

[2] Für eine ausführlichere Diskussion, was der Agentenbegriff in der KI eigentlich meint (abseits des aktuellen Hypes), sei verwiesen auf Möller et al. (2024). Positionspaper des FBKI zur Generativen KI unter besonderer Beachtung des AI Acts und der Empfehlungen des UN AI Advisory Body. https://gi.de/fileadmin/GI/Allgemein/Positionspapier_GI_FBKI_GenAI-und-AI-Act.pdf

[3] Vergleiche auch: Schröder, S., Morgenroth, T., Kuhl, U., Vaquet, V., & Paaßen, B. (2025). Large Language Models Do Not Simulate Human Psychology. ArXiv:2508.06950. https://arxiv.org/abs/2508.06950

[4] Beide Beispiele sind leider nicht frei erfunden und lassen sich in der Praxis belegen.

[5] https://arxiv.org/abs/2205.10785

[6] Hiermit sind nicht nur und vielleicht nicht einmal überwiegend klare Schlussfolgerungen gemeint. Genauso kann man eine beobachtende Haltung einnehmen, auf Argumente lauschen oder aber sich zeitweilig entziehen – „I prefer not to“.

[7] https://ailiteracyframework.org/wp-content/uploads/2025/05/AILitFramework_ReviewDraft.pdf

[8] https://trr318.uni-paderborn.de/projekte/c01

[9] Die Reduktion von Bildungsprozessen auf die individualisierte Interaktion zwischen Lernenden und KI-Systemen weist sogar gewisse Ähnlichkeit zu Skinners Lernmodell aus den 50er- und 60er-Jahren auf, das sich im Bildungssystem nicht eben bewährt hat.

Benjamin Paaßen ist Juniorprofessor:in (mit Tenure Track) für Wissensrepräsentation und Maschinelles Lernen an der Universität Bielefeld. Paaßens Forschungsschwerpunkte sind domäneninformiertes, interpretierbares und erklärbares maschinelles Lernen, insbesondere für Bildungstechnologien. Darüber hinaus ist Paaßen in Forschung und Wissenschaftskommunikation zu KI in der Bildung aktiv. Gemeinsam mit Ingrid Scharlau leitet Paaßen im TRR 318 Constructing Explainability das Teilprojekt „Healthy Distrust“.

Ingrid Scharlau ist Professorin für Kognitive Psychologie und Psychologiedidaktik an der Universität Paderborn. Ihre Forschung verbindet Psychologie, Philosophie und Pädagogik und umfasst quantitative wie qualitative Zugänge. Gemeinsam mit Benjamin Paaßen leitet sie im TRR 318 Constructing Explainability das Teilprojekt „Healthy Distrust“.