Prüfen an einer Fakultät mit mehr als 7000 Studierenden – Modernes Klausurmangement mit TUMexam

Mehr Studierende, weniger Korrekturzeit: Mit dem Klausurmanagementsystem "TUMexam" möchte die Fakultät für Informatik der Technischen Universität München ihrer wachsenden Studierendenschaft auch in Prüfungssitutionen gerecht werden. Das System bietet Studierenden eine papier- und digitalbasierte Einreichungsform der Prüfungen an, sowie eine automatische Korrektur von Multiple-Choice-Fragen. Auch bei der Korrektur durch Dozierende kann das Tool unterstützen und die Bearbeitungszeit so verkürzen. Stephan Günther und Jonas Andre stellten "TUMexam" beim University:Future Festival 2021 vor – und nun auch hier im Blog.

Die Studierendenzahl an der Fakultät für Informatik (TU München) wuchs 2020 auf 7444. Veranstaltungen mit mehr als 1000 Studierenden sind im Bachelor Informatik schon lange üblich. Bereits 2015 begannen wir, den gesamten Prozess schriftlicher Prüfungen zu digitalisieren. Dies beinhaltete zunächst insbesondere die Auswertung von Korrekturen (Scannerklausuren) sowie die Prüfungseinsicht, die wir seit 2015 online durchführen. In einem weiteren Schritt wurde die Verrechnung mehrerer Prüfungsleistungen zu einer Modulnote sowie vielfältige Statistiken und Auswertungen integriert. Bald kamen Prozessabläufe wie das Erstellen von Anwesenheitslisten und Hörsaalprotokollen ebenso wie die Dokumentation von Bewertungsänderungen in der Einsicht sowie eine digitale Archivierung hinzu. 

Mit Beginn der Corona-Pandemie wurde das System schließlich um die Möglichkeit erweitert, Klausuren wahlweise auch digital und / oder remote zu schreiben. 

Im folgenden wollen wir auf zwei Features von TUMexam eingehen, die uns den Umgang mit derart großen Kohorten selbst in Pandemiezeiten ermöglichen, ohne dabei weitreichende Einschränkungen bei der Art der Aufgabenstellung hinnehmen zu müssen. 

Wahlweise digitale oder papierbasierte Klausuren – remote oder onsite 

Neben konventionellen, papierbasierten Prüfungen unterstützt TUMexam sogenannte Submissions. Dabei werden den Teilnehmer:innen die Prüfungsangaben digital über eine Webplattform als PDF bereitgestellt. Die Prüfung kann nun entweder digital mittels Text- und Stifteingabe bearbeitet, oder aber ausgedruckt, konventionell bearbeitet und im Anschluss mittels Scanner oder Smartphone wieder digitalisiert und abgegeben werden. 

Eine Prüfung kann somit zeitgleich remote und onsite stattfinden und von den Teilnehmer:innen wahlweise digital oder auf Papier bearbeitet werden. Remote stattfindende Klausuren können dabei mittels Videokonferenz software wie Zoom oder BigBlueButton remote beaufsichtigt werden. Hierzu bietet TUMexam die Möglichkeit, Studierende in virtuelle Aufsichtsräume einzuteilen. 

In allen Fällen werden die Abgaben einer gemeinsamen Korrektur zugeführt, wobei z. B. Multiple Choice Aufgaben automatisch ausgewertet werden. 

Digitale Korrektur 

Die digitale Korrektur ermöglicht es, Klausuren kollaborativ und verteilt zu korrigieren. Dank Stifteingabe unterscheidet sich die Korrektur nicht wesentlich von einer konventionellen Korrektur. Allerdings eröffnet die mit TUMexam realisierte Digitalisierung verschiedene Möglichkeiten, die konventionell nicht oder nur mit Aufwand umgesetzt werden können: 

• Kollaborative Korrekturvorschläge: Im System können Lösungsvorschläge mit Korrekturanmerkungen hinterlegt werden. Dabei handelt es sich um während der Aufgabenstellung spezifizierte Richtlinien zur Korrektur, welche häufig während der Korrektur verfeinert oder angepasst werden müssen. Hierzu können Korrektoren den Korrekturvorschlag bequem einblenden und mit handschriftlichen Notizen ergänzen. Diese werden im Anschluss anderen Korrektoren angezeigt. Auf diese Weise ist stets dokumentiert, gemäß welcher Richtlinien eine Aufgabe bewertet wurde. Dies erhöht maßgeblich die Konsistenz der Korrektur.
• Korrektur-Snippets: Manchmal tritt bei einer Aufgabe derselbe Fehler bei vielen Teilnehmer:innen auf. Jedesmal eine ausführliche Korrekturanmerkung zu verfassen ist zeitaufwändig. Mit der digitalen Korrektur ist es möglich, einmal eine detaillierte Anmerkungzuverfassen und diese als Snippet zu speichern. Bei späteren Klausuren kann diese Anmerkung dann aus einer Favoritenliste ausgewählt undanbeliebiger Stelle wieder eingesetzt werden. So können schnell und konsistent Anmerkungen zu wiederkehrenden Fehlern verfasst werden. 
• Teilaufgaben-basierte Korrektur: Je nach Aufgabenstellung können einzelne Teilaufgaben unabhängig voneinander sein oder zu kleinen Gruppen zusammengefasst werden. Hier ist es wünschenswert, von jeder Klausur zunächst nur eine ganz bestimmte Teilaufgabe zu korrigieren – was papierbasiert natürlich kaum möglich ist. TUMexam bietet hier die Möglichkeit, eine bestimmte Teilaufgabe oder eine Gruppe von Teilaufgaben auszuwählen und selektiv zu korrigieren. Dies ermöglicht eine effiziente und konsistente Korrektur auch über hunderte von Klausuren hinweg.

Online-Einsicht und Archivierung 

Mit TUMexam ist es möglich, Teilnehmer:innen eine digitale Kopie ihrer korrigierten Prüfung als PDF zukommen zu lassen. Diese können im Anschluss über das Webinterface von TUMexam qualifizierte Einwände zur Korrektur einzelner Teilaufgaben vorbringen. Nach Abschluss der Einsichtsperiode (wir empfehlen ca. eine Woche) werden die Einwände den Korrektoren nach Teilaufgabe sortiert angezeigt. Korrektoren haben nun die Möglichkeit, Einwände zu jeder einzelnen Teilaufgabe durchzugehen, zu beantworten und bei Bedarf die Bewertung anzupassen. 

Leider haben noch immer einige Prüfer:innen Vorbehalte gegen diese Art der Einsicht und begründen dies meist mit zwei Argumenten. 

• Veröffentlichung der Aufgabenstellung
  Da Studierende im Rahmen der Einsicht auch das Recht auf Prüfungskopien haben, muss davon aus gegangen werden, dass die Aufgabenstellung zumindest einer Teilmenge der Studierenden zugänglich ist. Der Versuch, diese geheim zu halten, führt so lediglich zu ungleichen Verhältnissen innerhalb einer Kohorte. Hinzu kommt, dass eine Klausur durchaus so gestellt werden kann, dass Aufgabenstellung und Lösung sich auf getrennten Bögen befinden. Damit ließe sich das Problem auf die Veröffentlichung der jeweils eigenen Lösung begrenzen. 
• Mehr Einwände als bei einer konventionellen Einsicht
  Anfangs teilten auch wir die Sorge, dass allein durch eine größere Beteiligung an der Einsicht die Anzahl der Beschwerden ansteigen könnte. Diese Sorge hat sich jedoch nie bestätigt. Zwar ist ein unmittelbarer Vergleich mit Präsenzeinsichten schwierig, da wir dort nie Statistiken erhoben haben, wie viele Nachfragen von einzelnen Studierenden kamen. Für die Online-Einsicht lässt sich aber am Beispiel einer Präsenzklausur mit 656 Teilnehmer:innen festhalten, dass rund 3/4 zwar Ihre Prüfungskopie heruntergeladen haben, aber weniger als jeder Zehnte eine Rückfrage zur Korrektur hatte. 

Da TUMexam den jeweiligen Einwand zusammen mit der betreffenden Teilaufgabe anzeigt, lassen sich die Einzelfälle sehr schnell und effizient abarbeiten. Im Gegenzug entfällt die Organisation einer Präsenzeinsicht einschließlich der Dokumentation von Bewertungsänderungen. 

Nach Abschluss der Einsicht werden die korrigierten Prüfungen einschließlich aller Bewertungen digital archiviert und seit WiSe 2021/22 zentral aufbewahrt (https://tumexam.de/archiving). 

In dieser Reihe zum University:Future Festival 2021 veröffentlichen wir eine Auswahl der Festivalbeiträge als Artikel, die Sie auch gesammelt in einem Dossier finden. Die Autorinnen und Autoren haben dafür ihre Vorträge aufgeschrieben. Weitere Vorträge und Gespräche finden Sie auch auf YouTube. 

Mit über 250 Veranstaltungen, 500 Referentinnen und Referenten und 3.850 Teilnehmerinnen und Teilnehmern fand das Hochschul:Zukunftsfestival 2021 vom 2. bis 4. November 2021 unter dem Titel "Offen für Diskussionen" statt. Hier finden Sie weitere Informationen zum Festival.