Anwendungsmöglichkeiten von Online-Proctoring - Teil 2 des Interviews mit Matthias Baume

Wie können am #CoronaCampus digital Prüfungen abgelegt werden? Online-Proctoring bietet einen Lösungsansatz für die Beaufsichtigung von Fernprüfungen. In diesem Beitrag befragt unser Mitarbeiter Gino Krüger im Interview Dr. Matthias Baume von der Technischen Universität München. Schwerpunkt: in welchen Bereichen und Szenarien lassen sich Onlie-Prüfungen am besten anweden. Dies ist der zweite Teil des Interviews mit Dr. Matthias Baume zum Thema Online-Procoting, den ersten Teil können Sie hier nachlesen.

Auf die Prüfung, fertig, los! Bild: [https://www.pexels.com/photo/man-using-laptop-on-table-against-white-background-257897/ Pixabay]

Hochschulforum Digialisierung: Für welche Art von Prüfungen bietet sich das Online-Proctoring besonders an?

Dr. Matthias Baume: Grundsätzlich erscheinen Online-Proctoring-Lösungen für drei unterschiedliche Prüfungsszenarien praktikabel: Erstens Prüfungen vor dem Studium; zweitens Prüfungen im Verlauf des Studiums und drittens Prüfungen in Weiterbildungskontexten.

1. Unter die erste Kategorie fallen v.a. Szenarien der Eignungsfeststellung. Hierbei handelt es sich um eine Idee, welche im europäischen Rahmen bereits vereinzelt diskutiert sowie erprobt wird (z.B. bei der Universität Amsterdam). Ferner ist diese Idee v.a. mit Blick auf die Masterstudiengänge sehr interessant, denn zumindest an der TUM ist es so, dass wir ein sehr breites Spektrum an internationalen Bewerbungen erhalten. Aus diesem Grund ist es erforderlich, dass zwischen Bewerber*innen aus den so genannten. Lissabon-Staaten – das sind jene Staaten, welche sich zu gleichwertigen Studienabschlüssen und Bewertungen verpflichtet haben – und den so genannten Nicht-Lissabon-Staaten unterschieden wird. Denn bei Letzteren stellt sich, auf Grund der Varietät der nationalen Bildungsverhältnisse, der Prozess der Eignungsfeststellung als eine anhaltende Herausforderung dar, welche mit den etablierten Selektionsprozessen der Dokumentprüfung und Interviewführung leider nur sehr bedingt bewältigt werden kann. In diesem Zusammenhang könnte man nun online beaufsichtigte Prüfung hinzuziehen, um die Sicherheit und Zuverlässigkeit der besagten Auswahlverfahren zu optimieren. Ferner gehören zur ersten Kategorie auch Vorbereitungsveranstaltungen für das Studium. Wir haben an der TUM bspw. einen Piloten für einen Vorkurs in Mathematik durchgeführt und hierbei online beaufsichtigte Prüfungen als alternative zu den üblichen Präsenzprüfungen angeboten.
2. Die zweite Kategorie bezieht sich dann auf den großen Bereich der Prüfungen während des Studiums und geht von internationalen Veranstaltungen, welche ohne online Beaufsichtigung extrem schwierig zu handhaben sind, bis hin zu Spracheignungstests – bspw. Sprachtests des Deutschen Akademischen Austauschdienstes (DAAD). Denn aufgrund der zunehmenden Internationalisierung steigt v.a. die Nachfrage nach letzteren auf ein Ausmaß, welches vor Ort gar nicht mehr bewerkstelligt werden kann. Darüber hinaus bieten sich Onlinebeaufsichtigungen für das ganz Spektrum von gewichtigen Zwischenprüfungen und Hausaufgaben, bis hin zu den ECTS-Prüfungen am Ende an. Dies gilt insbesondere, wenn jene im größeren Stil – d.h. 600-800 Teilnehmer*innen – in Form von E-Assessments realisiert werden sollen. Denn hierbei würden die Standardkapazitäten der verfügbaren Computerräume schnell an ihre Grenzen stoßen. Vor diesem Hintergrund wäre die Idee, dass man Online-Proctoring nutzen könnte, um E-Prüfungen Teils von zu Hause aus und/oder Teils im Hörsaal durchzuführen, so dass dadurch die Kapazitäten der Computerräume auf ein praktikables Maß entlastet würden. 
3. Schließlich ginge es nach dem regulären Studium dann primär um MBA- bzw. Executive-MBA-Studiengänge. Denn aufgrund derartiger Studiengänge kehren bestimmte Personen wieder an die Hochschulen zurück, um nochmal einzelne Bausteine oder gar ein komplettes Studium zu absolvieren. Hierbei handelt es sich um eine Nutzergruppe, welche in der Regel stark eingebunden sowie auch viel international unterwegs ist. Daher ist es für dieses Klientel oft sehr schwierig zeitliche Kapazitäten zu finden, um lediglich für das Absolvieren einer Prüfung an die Hochschule zukommen. Vor diesem Hintergrund läuft gerade ein Pilot für die Onlinebeaufsichtigung von MBA- bzw. Executive-MBA-Prüfungen, den wir wissenschaftlich evaluieren wollen, um zu eruieren, wie das besagte Klientel derartige Prüfungsformate einschätzt. Hierbei liegt die Vermutung – welche u.a. auch durch Fallstudien des britischen „Institute of Directors“ gestützt wird – nahe, dass v.a. Führungskräfte derartige Prüfungsformate präferieren werden, weil diese mit ihren vollen Terminkalendern kompatibler sind als Präsenzprüfungen. Außerdem ist es bei großen internationalen Unternehmen, wie z.B. Microsoft oder Cisco, bereits gängige Praxis, dass Prüfungen dezentral mit Onlinebeaufsichtigung durchgeführt werden.
4. Mit Blick auf die Internationalisierungsstrategien der Hochschulen, scheinen Online-Proctoring-Technologien zudem auch ein zentrales Problem zu lösen. Schließlich wird es mit zunehmender Distanz der Prüfungsteilnehmenden zur jeweiligen Hochschule, an der sie immatrikuliert sind, immer schwieriger an Präsenzprüfungen teilzunehmen. Eine Problemlage mit der Fernuniversitäten bereits besser vertraut sind und welche bis dato primär über Netzwerke, die regionale Prüfungsinfrastrukturen unterhalten, zu lösen versucht wird. Jedoch verliert diese Lösungsoption vor dem Hintergrund der stetig zunehmenden Internationalisierung zusehends an Praktikabilität. 

Des Weiteren ist hervorzuheben, dass in der Literatur ebenfalls Verwendungsmöglichkeiten für Sondergruppen – bspw. Sportler*innen oder Personen, die aufgrund von Einschränkungen nicht ohne weiteres zum Campus kommen können – thematisiert werden, welche auch mit Blick auf den Prüfungsbetrieb nach der Corona-Krise von großer Bedeutung sind.

Doch unabhängig davon, für welchen Prüfungskontext Online-Proctoring im Einzelfall eingesetzt wird, ist es unbedingt erforderlich, dass die jeweiligen Prüfungen seriös evaluiert werden, um belastbare Daten über die Einstellung und Akzeptanz von Prüfungsteilnehmenden hinsichtlich derartiger Modi der Beaufsichtigung zu generieren.

Besonders in Hinblick auf die Internationalisierung ist Online-Proctoring eine gute Möglichkeit. Bild: [https://www.pexels.com/photo/miniature-airplane-and-hand-of-person-over-drawn-map-3769146/ Andrea]

HFD: Kann Online-Proctoring eingesetzt werden, um angesichts der Corona-Krise Online-Prüfungen auch im großen Stil durchzuführen?

Dr. Matthias Baume: Ich denke ja. Denn es wird bereits – wenn auch bisher nicht in Deutschland – international im großen Stil eingesetzt. Die Firma Proctorio arbeitet nach eigenen Aussagen bereits mit mehr als 400 Hochschulen weltweit, um deren Prüfungen zu unterstützen und hat in den vergangenen Jahren mehr als 9 Millionen Prüfungen abgewickelt.

Es ist jedoch auch immer eine Frage der jeweiligen Nutzergruppe und damit auch der Kosten. Denn falls nur die Hälfte der potenziellen Prüfungsteilnehmer*innen über hinreichend geeignete Endgeräte verfügen, so müsste man überlegen, ob und wie man die Ausstattung der restlichen Teilnehmer*innen finanzieren könnte. Schließlich kann man von den Studierenden schlecht verlangen, dass sie sich auf die Schnelle geeignete Hardware zulegen, nur um an Onlineprüfungen teilzunehmen.

Mit Blick auf die Beaufsichtigungskapazitäten der Online-Proctoring-Anbieter, hängt die Beantwortung der Frage davon ab, ob es sich um menschliche oder automatisierte Lösungen handelt. Denn während letztere nahezu beliebig skalierbar sind, werden für die menschliche Beaufsichtigung umfangreiche Personalressourcen benötigt. Ein Sachverhalt, der sich natürlich auch in den jeweiligen Kosten widerspiegelt. Außerdem erfahren die Anbieter*innen automatisierter Lösungen derzeit einen enormen Zulauf, weil die Büros – oft in Indien gelegen – jener Anbieter*innen, die menschliche Prüfungsbeaufsichtigungen vertreiben, im Zuge der Corona-Krise bis auf Weiteres geschlossen sind. 

HFD: Gibt es bereits Best Practices, welche aufgrund ihrer Bewährtheit national adaptierbar und ggf. sogar EU-weit standardisierbar wären? 

Dr. Matthias Baume: Die Frage ist äußerst schwer zu beantworten. Denn im Verlauf meiner Recherche bin ich zwar auf einige Best Practices, deren Evaluation sogar online verfügbar ist, gestoßen, doch deren Nutzergruppen waren sehr klein. Hierbei handelte es sich bspw. um Szenarien wie eine Nachholprüfung mit 14 Personen, bis hin zu Fallstudien mit 20-50 Teilnehmenden – bspw. seitens der Universität Leiden. Seriöse Langzeituntersuchungen, d.h. Fallstudien mit größeren Gruppen – bspw. einigen hundert Studierenden über mehrere Semester hinweg – sowie einer systematischen Evaluation des Gesamtprozesses, existieren bis dato leider noch nicht. Daher ist es schwierig bestehende Praktiken als Best Practices zu qualifizieren oder gar besten Gewissens zu verbreiten.

Was ich mir jedoch mit Blick auf die Zukunft vorstellen kann und woran wir derzeit arbeiten, ist die Verbesserung, Erprobung und Veranschaulichung von elektronischen Prüfungsprozessen im Allgemeinen, so dass wir perspektivisch auch bewährte Modelle verbreiten können. Hierbei zielen wir darauf ab, derart abstrakte Prozessmodelle zu kondensieren, dass diese unabhängig von bestimmten Veranstaltungsinhalten, technischen Infrastrukturen und Beaufsichtigungsdienstleistern innerhalb von Europa transferierbar sind. Jedoch können diese auf Grund des Abstraktionsniveaus nicht als standardisierte Prozesse fungieren, sondern dienen vielmehr als Orientierungshilfen, um Onlineprüfungen gut vorzubereiten sowie erfolgreich durchzuführen.

Außerdem ist es in der Pädagogik äußerst schwierig genaue Best Practices für ein bestimmtes Themenfeld zu finden. Denn spätestens seitdem es die wissenschaftlichen Disziplinen der Pädagogik und Didaktik gibt, gibt es auch die niemals endgültig abschließbare Diskussion darüber, was gute Lehr- und Prüfungspraxis auszeichnet. Doch was die allgemeinen Prüfungsprozesse und die Arbeit mit den Tools anbelangt, also die Frage, welche Werkzeuge man anwenden kann, um bestimmte Prüfungssituationen digital gut abzubilden sowie zu beaufsichtigen, so kann man durchaus robuste Best Practices genieren. Und genau hiermit beschäftige ich mich bereits seit geraumer Zeit.

HFD: Danke für das Interview!

Zum ersten und dritten Teil des Interviews auf dem HFD-Blog.