Die Studierenden an deutschen Hochschulen befinden sich mitten in der dritten Prüfungsphase während der Pandemie – und viele Hochschulen sind weiterhin schlecht darauf vorbereitet. Warum Online-Proctoring (immer noch) keine gute Idee ist, stellt Leonie Ackermann im Folgenden dar und gibt gleichzeitig einen Einblick in die technischen Funktionsweisen gängiger Dienstleister*innen wie Proctorio und Examity. 

Der folgende Text ist eine gekürzte Version eines Vortrags, den Leonie Ackermann im Rahmen der Veranstaltung „Online-Prüfungen und Proctoring aus juristischer Perspektive“ gehalten hat. Darin hat Leonie Ackermann die technischen Grundlagen erklärt, als Ergänzung zu David Werdermanns juristischer Einschätzung. Die Aufzeichnung der Veranstaltung finden Sie hier. Einen Link zum Download der Folien beider Referent*innen findet sich in der Videobeschreibung.

tl;dr

Online-Proctoring-Dienste kombinieren Technologien, die schon einzeln betrachtet problembehaftet sind und deren Anwendung kritisch reflektiert werden muss. Ihr Einsatz geht mit tiefgreifenden Eingriffen in die Persönlichkeitsrechte von Prüfungs-Absolvierenden einher. Dies sollte ausreichend Grund sein, diese Tools nicht zu verwenden. Wer eine weitere Begründung braucht, bitte schön: Online-Proctoring kann trotz Grundrechtsverletzungen Täuschungen nicht ausschließen.

Online-Proctoring: Eine kleine Einführung

Proctoring ist die Aufsicht bei einer Prüfung, um unerwünschtes Verhalten zu verhindern bzw. zu erkennen und zu sanktionieren. Proctoring-Software wird zur Überwachung von Online Proctored Exams eingesetzt, um die Identität der Absolvierenden zu verifizieren und eine eventuelle Nutzung von nicht erlaubten Hilfsmitteln während solcher Online-Prüfungen aufzudecken. Die Software zum Absolvieren einer Prüfung am eigenen Rechner (meist webbasiert und mithilfe eines Webbrowsers zugänglich) ist dabei nicht Bestandteil von Proctoring-Software. Sie wird z. B. mit Hilfe von Plugins in bestehende Lernmanagement Systeme (LMS) bzw. Prüfungssoftware integriert. In Deutschland ist diese im Gegensatz zur Proctoring-Software meist Open Source bzw. freie Software.

Live-Proctoring ist die Überwachung durch eine vor einem Rechner sitzende, menschliche Person. Die Überwachung mithilfe von Algorithmen oder Machine Learning bzw. Künstlicher Intelligenz (KI) wird automatisches bzw. automatisiertes Proctoring genannt. Manche Dienstleister*innen setzen eine Mischung aus beiden Formen ein bzw. bieten an, eine der beiden Arten auszuwählen.

Online-Proctoring-Dienste bezeichnen die Kombination aus einem Einsatz dieser Software, eventuell menschlicher Proctor*innen, zusätzlich eingesetztem Personal und eingesetzter Infrastruktur. Die Nutzung dieser Dienste wird dann erwogen, wenn closed book exams, also Prüfungen, bei denen nur eine sehr beschränkte und vorgegebene Anzahl an Hilfsmitteln zugelassen sind, nicht oder nur sehr schwer in Präsenz durchgeführt werden können.

Wie funktioniert die Überwachung?

Vor Beginn der Prüfung wird die Identität der Absolvierenden festgestellt. Unter Umständen werden Absolvierende aufgefordert, den (privaten) Raum, in dem die Prüfung absolviert wird, abzufilmen (z. B. mit Hilfe einer Smartphone-Kamera). Während der gesamten Dauer der Prüfung werden weitere Maßnahmen mit Hilfe verschiedener Technologien eingesetzt, um Täuschungsversuche zu erkennen und/oder zu verhindern. Diese sind je nach Hersteller unterschiedlich. Gängig sind:

• Filmen mithilfe der Webcam
• Verwendung eines eingebauten oder externen Mikrofons
• Gesichtserkennung durch KI
• Verhaltenskontrolle durch menschliche Proctor*innen bzw. maschinelle Verhaltenserkennung durch KI
• Stimmerkennung
• Analyse des Tipp-Verhaltens
• Überwachung und Einschränkung von Funktionen der Rechner der Test-Absolvierenden
• Automatisierte Plagiatserkennung auf dem während der Prüfung eingegebenem Inhalt

Um den Umfang dieses Beitrags in Grenzen zu halten, werde ich mich in der Auseinandersetzung auf Feststellung der Identität, Gesichts- und Verhaltenserkennung beschränken.

Feststellung der Identität

Eine häufig angewandte Technologie bei der Identitätskontrolle von Absolvierenden ist die Gesichtserkennung durch KI. Die verwendete Software wird häufig nicht von den Online-Proctoring-Diensten selbst entwickelt, sondern bei externen Firmen gekauft. Beispielsweise verwendet die Uni Erfurt für ihre Online-Prüfungen WISEflow. Diese Prüfungssoftware greift auf das Amazon-Produkt Rekognition zurück, um biometrische Werte der Absolvierenden zu ermitteln. Rekognition, wie zahlreiche andere Gesichtserkennungs-KIs, hat allerdings rassistische und sexistische Tendenzen, wie zuletzt eine Studie aus 2019 zeigte (Studie; Artikel mit Kontextualisierung dazu).

Ein Dozent der Universität von Denver, die den Online-Proctoring-Dienst Proctorio einsetzt, berichtet, dass ein Student mit schwarzer Hautfarbe nicht erkannt wurde, während Kommiliton*innen mit weißer Hautfarbe problemlos erkannt wurden. Damit widerspricht der Einsatz von Gesichtserkennungs-KI zur Erhebung biometrischer Daten in Deutschland einer Forderung des Bundesbeauftragten für den Datenschutz und die Informationsfreiheit (BfDI): Eine Erhebung, Speicherung und Verarbeitung von biometrischen Daten sollte nur dann erfolgen, wenn Verfahren zum Einsatz kommen, welche eine Benachteiligung bestimmter Personengruppen weitgehend ausschließen.

Weitere Möglichkeiten die Identität zu verifizieren können auch die Login-Daten für das LMS und/oder das Hochladen eines Lichtbildausweises oder vergleichbaren Dokuments sein. Der Online-Proctoring-Dienst Examity errechnet aus der Eingabe des Vor- und Nachnamens eine “Biometric key stroke signature“. Wie zweckmäßig dieses Verfahren bei sehr kurzen Namen, z. B. Wu Li, ist, bleibt offen. Wahrscheinlich kann auch bei diesem Vorgehen die Benachteiligung bestimmter Personengruppen nicht ausgeschlossen werden.

Verhaltenskontrolle und -erkennung

Proctorio ermittelt nach eigenen Angaben zumindest in Deutschland keine biometrischen Daten von Absolvierenden. Gesichtserkennungs-KI wird von dem Dienstleister zur Verhaltenserkennung während der Prüfung verwendet. Aus der Proctorio „FAQ für Studenten [sic!]“ :

„Mit dieser Gesichtserkennung kann das System die Augenbewegungen nachvollziehen. Das System erkennt Anomalien durch vermehrte Blicke in eine Richtung und markiert diese Vorfälle als potenziell verdächtig. […] Das bedeutet nicht, dass Sie bei Denkpausen nicht wegschauen dürfen. Solange Sie keine Hilfsmittel verwenden, müssen Sie keine Bedenken haben.“

Examity kennzeichnet Abschnitte der während Prüfungen aufgezeichneten Überwachungsvideos mit Farben und Zeitstempeln (grün = keine Täuschung erkannt; gelb = mögliche Täuschung; rot = mit Sicherheit eine Täuschung; blau = technischer Fehler). Ein Beispiel für einen mit gelb gekennzeichneten Abschnitt ist der Eintritt eines Kindes während eines Online Proctored Exams in den Raum, in dem die Prüfung absolviert wird. Sowohl Examity als auch Proctorio stellen den Prüfer*innen die Überwachungsvideos zur Verfügung. Die Absolvierenden haben keinen Anspruch auf die Aufnahmen.

Dass sensible Aufnahmen von Studierenden in ihrem privaten Umfeld während einer Stresssituation Dozierenden exklusiv zur Verfügung gestellt werden, sollte Alarmglocken schrillen lassen. Dies bietet erhebliches Missbrauchspotenzial, etwa in Richtung sexuelle Belästigung. Es ist daher beruhigend, dass einige Bundesländer bereits die Aufzeichnung von Bild und Ton während Online-Prüfungen untersagt haben.

Es bleibt allerdings das Problem, dass bei automatisiertem Proctoring Verhaltensweisen als verdächtig eingestuft werden können, die Entspannungsmaßnahmen sind. Während Präsenzklausuren wäre es zum Beispiel normal, sich im Stuhl zurückzulehnen, den Blick durch den Raum schweifen lassen, oder die Augen für einige Sekunden zu schließen. Doch die Hochschule Fresenius verlangt bei Online-Klausuren mit Proctorio von Studierenden während der gesamten Prüfungsdauer auf den Bildschirm zu starren. Ein davon betroffener Student berichtete, dass seine Konzentration massiv von der Angst, sich „falsch” zu verhalten und somit durch die Prüfung zu fallen, beeinträchtigt wurde.

Online-Proctoring-Dienste schaffen damit ein ungesundes Arbeitsklima und keinesfalls die in Werbesprüchen behauptete “Flexibilität“. Gerade neurodiverse Personen laufen Gefahr, durch Algorithmen zur Verhaltenserkennung überdurchschnittlich hoch als „verdächtig“ markiert und damit diskriminiert zu werden. Gerade wenn Prüfer*innen KI-Anwendungen für objektiv halten, ist es sehr wahrscheinlich, dass sie die Entscheidungen der Software unhinterfragt übernehmen.

Online-Proctoring kann Schummeln nicht verhindern

Wer sich genauer mit Strategien zum Austricksen von Proctoring auseinandersetzen möchte, dem kann ich folgende Links empfehlen:

• On Knuckle Scanners and Cheating – How to Bypass Proctortrack, Examity, and the Rest – Jake Binstein
• Need to cheat on a proctored, online exam? Make a cheat sheet and put it on your laptop screen. – posted by JamirBlumenfeldwitz on reddit

Generell kann jede*r technisch hinreichend bewanderte Prüfungsabsolvierende (oder solche, welche die richtigen Leute kennen) das eigene Gerät beliebig umbauen (lassen) und beliebige Veränderungen vornehmen, welche der Online-Proctoring-Dienst (Software oder menschliche*r Proctor*in) möglicherweise nicht erkennt. Um es mit den Worten von telekobold vom Hacker- & Makerspace Koblenz zu sagen, dessen Artikel mir bei der Zusammenstellung dieses Beitrags sehr geholfen hat:

„Damit würden [bei Online Proctored Exams] einerseits Absolvierende benachteiligt, welche technisch weniger bewandert sind bzw. einfach nur ehrlich eine Prüfung mitschreiben möchten, andererseits wären solche Veränderung bei einer papierbasierten oder rechnergestützten Präsenzprüfung nicht möglich (da hierzu fremde Hardware verwendet wird).“

Das Fazit: Die finanziellen und personellen Ressourcen sollten in eine gute E-Learning-Beratung und die Entwicklung von Prüfungsformaten abseits der Massenklausur gesteckt werden. Aber das wollten wir doch eh, oder?