Akademische Integrität und eine neue Bewertungskultur im Zeitalter von KI: ein Interview mit Edward Palmer
Akademische Integrität und eine neue Bewertungskultur im Zeitalter von KI: ein Interview mit Edward Palmer
22.05.24(Generative) KI hat das Prüfungssystem auf den Kopf gestellt. Die Angst vor Betrugsversuchen durch Studierende dominiert nach wie vor die Diskussion. Doch an der Universität von Adelaide in Australien hat sich der Fokus auf akademische Integrität und die Unterstützung der Studierenden verlagert. In diesem Interview erklärt Edward Palmer, Professor und Direktor der Unit of Digital Education and Training an der School of Education, die Auswirkungen von KI auf Prüfungen und wie sich Einstellungen zu Prüfungen ändern müssen.
Frage 1: Was hat Sie dazu veranlasst, sich mit technologiegestütztem Lernen und Prüfungen zu befassen?
Ich habe nach Wegen gesucht, die effizientes und authentisches Lernen ermöglichen, und zwar durch Simulationen – und seien es noch so einfache – von Systemen, insbesondere solche, durch die ich Kernkonzepte visuell demonstrieren konnte. Beispiele hierfür sind die Simulation von quantenmechanischen Konzepten der Superposition in Verbindung mit realen experimentellen Daten und der Einsatz von Bildern und Videos, um die Authentizität medizinischer Szenarien zu verbessern. Als junger Akademiker hatte ich keine Ahnung, ob meine Ideen effektiv oder pädagogisch sinnvoll waren, also begann ich, die Lernergebnisse und die Haltungen der Studierenden zu bewerten, um meine Arbeit zu validieren. Dies wurde bald zu meinem Hauptforschungsbereich.
Frage 2: Welche Auswirkungen hat Künstliche Intelligenz Ihrer Meinung nach bisher auf Prüfungen gehabt? Was wird sich ändern?
Künstliche Intelligenz hat die Menschen wahrscheinlich dazu ermutigt, in den sicheren Hafen der beaufsichtigten Prüfungen zurückzukehren. Es besteht die Sorge, dass die derzeitigen Prüfungsansätze durch KI beeinträchtigt werden, insbesondere in der Kategorie „bestanden/nicht bestanden“, wo KI die Fähigkeit bewiesen hat, Mindeststandards zu erfüllen. Möglicherweise bedeutet dies, dass Studierende große Teile ihres Studiengangs durchlaufen könnten, ohne die Konzepte wirklich zu verstehen. Mit zunehmender Erfahrung der Studierenden in der Nutzung von KI wird dies zu einem größeren Problem, da die Nutzung von KI durch geschulte Hände schwierig, wenn nicht gar unmöglich, zu erkennen ist.
Dies ist ein so großes Problem, weil es bei der Gestaltung von Prüfungsaufgaben kaum Entwicklungen gibt. Wir haben so lange mit Aufsätzen, Laborberichten und Multiple-Choice-Fragen gearbeitet, dass wir uns als Hochschulen nicht ausreichend Gedanken darüber gemacht haben, was die Studierenden lernen sollten und wie wir dies am besten sicherstellen und messen. Wir haben ein sehr effizientes System, aber jetzt stellen wir fest, dass die Aspekte, die wir gemessen haben, durch Software abgedeckt werden können, und müssen über andere Ansätze nachdenken. Klausuren werden wahrscheinlich nicht problematisch sein, aber wenn unsere formativen und summativen Bewertungsaufgaben im Vorfeld von Prüfungen nicht haltbar sind, laufen wir Gefahr, dass die Studierenden nicht viel dabei lernen, wenn sie KI übermäßig einsetzen. Wir müssen die Art und Weise überdenken, wie wir auf zentrale Prüfungen vorbereiten. Mündliche Prüfungen sind potenziell wertvoll, aber die Anwendung dieser Methode für alle Aufgaben hat erhebliche Auswirkungen auf die Ressourcen.
Frage 3: Wie haben Sie an der Universität Adelaide auf KI reagiert? Welche Lösungen wurden diskutiert, um Betrug zu verhindern? Was haben Sie umgesetzt?
Unser Ziel ist es, eine positive Lern- und Forschungskultur aufzubauen und sicherzustellen, dass die Studierenden die Ziele von Lernaktivitäten und Prüfungen verstehen. Unsere Richtlinien spiegeln dies wider, und wir mussten nur geringfügige Änderungen vornehmen, um sicherzustellen, dass sich die Studierenden der Risiken einer übermäßigen Nutzung von KI bewusst sind. Wir haben Umfragen unter Mitarbeiter:innen und Studierenden durchgeführt, um eine Momentaufnahme der Einstellungen und Praktiken zum Einsatz von KI zu erhalten, und wir haben eine große Community of Praxis, die über KI und deren Einsatz diskutiert. Wir haben auch zwei neue Stellen geschaffen, die sich mit KI befassen, und eine davon ist vor allem auf Studierende ausgerichtet. Wir sind uns der Rolle bewusst, die Studierende bei der Entwicklung unserer Zukunft mit KI spielen, und beziehen sie in unsere Diskussionen ein. Wir haben auch ihre Unterstützung als Botschafter:innen für akademische Integrität; sie gehen beispielsweise in Kurse und diskutieren dort die wichtigsten Themen. Insgesamt haben wir einen positiven Ansatz gewählt, der sich um das Lernen und die Verbesserung der Prüfungen sowie der Kommunikation rund um KI dreht, anstatt sich nur auf Betrug zu konzentrieren.
Frage 4: Warum sollte die akademische Integrität stärker in den Mittelpunkt des aktuellen Diskurses rücken?
Integrität ist in jedem Beruf wichtig, und die Studierenden müssen verstehen, dass es von Vorteil ist, sich jederzeit integer zu verhalten. Dies gilt auch für ihr Studium, so dass akademische Integrität ein Eckpfeiler ihrer Entwicklung ist. Ich vermute, dass die meisten Verstöße gegen die akademische Integrität bei drängenden Deadlines und in Situationen mit hohem Druck auftreten. Diese Stressfaktoren zu erkennen und auch dann gute Entscheidungen zu treffen, wenn man von ihnen betroffen ist, ist eine Schlüsselkompetenz. Wir müssen darüber nachdenken, wie wir Studierende in diesen Umständen am besten unterstützen können, vor allem dann, wenn KI einfache, aber letztlich ineffektive Mittel zur Erreichung von Lernzielen bietet.
Frage 5: Was ist Ihrer Meinung nach notwendig, um die Prüfungskultur zu verändern?
Wenn wir akzeptieren, dass die Prüfungspraxis teilweise kaputt ist, dann müssen wir Abhilfe schaffen. Das bedeutet Mitarbeiter:innen die Probleme klar vermitteln und sie ermutigen, ihre Aufgaben, ihre Lernziele und die Belastbarkeit dieser Aufgaben angesichts von KI kritisch zu bewerten. Dies kann nicht von Einzelpersonen geleistet werden, sondern erfordert die uneingeschränkte Zusammenarbeit aller Mitarbeitenden, die mit Bildung und Instructional Design zu tun haben. Kurzfristig bedeutet dies, dass in Menschen investiert werden muss, indem man ihnen echte Unterstützung bei der Entwicklung neuer Prüfungen bietet, anstatt einfach nur die Arbeitsbelastung zu erhöhen. Kultur muss also von oben gesteuert und auf allen Ebenen unterstützt werden. Das wird nicht kostenfrei zu haben sein, also muss die Leitungsebene sicherstellen, dass die Mitarbeiter:innen das Ausmaß der Probleme verstehen, die KI für die Prüfungen mit sich bringt.
Wir befinden uns möglicherweise an einem zentralen Entscheidungspunkt. Oberflächlich betrachtet ist die günstigste und sicherste Option dafür zu sorgen, dass Prüfungen als „Tore” für die Entwicklung genutzt werden und den Studierenden der Zugang zu Technologien dabei verwehrt wird. Ich vermute, dass diese Strategie zu einer Katastrophe mit steigenden Durchfallquoten und verringerter Lernleistung führen würde, weil die Technologien, die den Studierenden vor den Prüfungen zur Verfügung stehen, lediglich die Illusion des Lernens vermitteln. Ich denke, dass viele unserer bestehenden summativen Prüfungen in Zukunft auf eine formative Weise eingesetzt werden, um das Lernen zu unterstützen. Dies führt dazu, dass mehr Lehrende in Lehrveranstaltungen, online oder vor Ort, das Engagement der Studierenden und Ergebnisse von Lernaktivitäten monitoren, falsche Vorstellungen identifizieren und sicherstellen müssen, dass Studierende jede Möglichkeit erhalten, KI in sinnvoller Weise zu nutzen, ohne dabei dem Lernprozess zu beeinflussen.
Prof. Edward Palmer
Prof. Edward Palmer ist Direktor der Abteilung für digitale Bildung und Ausbildung an der School of Education der Universität Adelaide.
Edwards Forschungsarbeiten befassen sich mit Technologie in der Bildung, der Ausbildung und der Bewertung des Lernens. Seine Arbeit umfasst eine Reihe von Themen, wobei er sich derzeit auf die Nutzung virtueller und erweiterter Realitäten für Situationsbewusstsein und Training sowie die Auswirkungen künstlicher Intelligenz auf die Bewertung konzentriert. Er interessiert sich besonders für geschichtengesteuerte, personalisierte Lernansätze.
Die englische Original-Version des Interviews finden sie hier: