Direkt zum Inhalt
Startseite
Podcast Facebook Twitter LinkedIn YouTube RSSRSS Newsletter
  • DE
  • EN

Suchformular

Sicherheit von Online-Proctoring - Teil 3 des Interviews mit Matthias Baume

Gino Krüger
Gino Krüger, 10.7.2020
Dieser Beitrag gehört zum Dossier:
Dossier

Digitale Prüfungen

E-Assessment, digitale Prüfungen, Online-Proctoring - digitale Leistungsmessung wird für Hochschulen immer wichtiger.
Symbolbild Digitale Prüfungen: Computer, Kaffee, Notizbuch

Wie können in Zeiten des #CoronaCampus digital Prüfungen abgelegt werden? Online-Proctoring bietet einen Lösungsansatz für die Beaufsichtigung von Fernprüfungen. In diesem Beitrag befragt unser Mitarbeiter Gino Krüger im Interview Dr. Matthias Baume von der Technischen Universität München. Schwerpunkt ist dieses Mal die Sicherheit von digitalen Formaten der Prüfungsbeaufsichtigung. Hierbei handelt es sich um den letzten Teil unserer Interviewserie zum Thema Online-Proctoring, Teil 1 und 2 des Interviews finden Sie hier.

Wie sicher sind digitale Formen der Prüfungsbeaufsichtigung? Bild: [https://unsplash.com/photos/d9ILr-dbEdg/ Agence Olloweb]

Hochschulforum Digialisierung: Wie können mittels Online-Proctoring sichere und verlässliche Prüfungen erreicht werden? 

Dr. Matthias Baume: Ich denke, dass man in diesem Zusammenhang zweierlei unterscheiden muss. Nämlich einerseits die Sicherheit und andererseits die Zuverlässigkeit, dass es wirklich funktioniert. Letzteres hängt insbesondere von einer ordentlichen Planung sowie der vorausschauenden Inkenntnissetzung aller Beteiligten ab. Hierfür bietet es sich u.a. an, dass im Vorhinein eine Demo-Prüfung konzipiert sowie durchgeführt wird, sodass alle Beteiligten – v.a. aber die Dozierenden und Studierenden – konkrete Erfahrungen mit dem System sammeln und auf Basis dessen eine fundierte Einstellung entwickeln können. Zudem stellt eine solche Demo-Prüfung eine praktikable Option dar, um etwaige technische Probleme im Vorhinein zu eruieren und dann entsprechend zu lösen, sodass die technische Zuverlässigkeit gewährleistet werden kann.

Auf der anderen Seite geht es darum, dass wir geeignete Werkzeuge auswählen, um sicherzustellen, dass die Beaufsichtigungsstandards des jeweiligen Prüfungskontextes eingehalten werden. Jedoch ist mit der Entscheidung für oder gegen bestimmte Beaufsichtigungswerkzeuge immer ein gewisser ‚Spagat‘ verbunden. Denn je mehr Werkzeuge in Kombination zum Einsatz kommen, desto unwahrscheinlicher wird es zwar, dass Betrugsversuche unbemerkt bleiben. Doch zugleich sinkt auch die Zuverlässigkeit des Prüfungsszenarios, weil das System womöglich Teilnehmende, aufgrund von eigentlich unproblematischen Verhaltensmustern, von der Prüfung disqualifiziert. Dies könnte z.B. passieren, wenn ein automatisiertes System die Desktopaktivitäten von Prüfungsteilnehmenden beaufsichtigt und eine geprüfte Person die Updatebenachrichtigung von Windows oder dergleichen wegklickt. Daher ist es von zentraler Bedeutung, dass für das jeweilige Prüfungsszenario ein robustes Set von Beaufsichtigungsinstrumenten gewählt wird, d.h. ein solches das gewährleistet, dass in möglichst vielen Prüfungsfällen die Zuverlässigkeits- und Sicherheitsstandards nicht miteinander kollidieren.

Ein gangbarer Ansatz könnte auch darin bestehen, unsere etablierten Prüfungskonzepte dahingehend zu verändern, dass Betrug im engeren Sinne äußerst schwierig wird. Nämlich indem man Prüfungen – im Sinne so genannter Open-Book-Klausuren – derartig konzipiert, dass ein bestimmtes Spektrum von Hilfsmitteln zugelassen ist und der Fokus vielmehr auf Transferleistungen als auf Auswendiglernen gelegt wird. Denn hierdurch würde es möglich werden, die erforderliche Beaufsichtigung auf die Feststellung und Gewährleistung der Identität von Prüfungsteilnehmenden zu reduzieren. Jedoch gehen derartige Prüfungsformate mit einem hohen Maß an Vorbereitungs- und Auswertungsaufwand einher, sodass sich jene eher für kleinere Kohorten eigenen. Es sind aber bereits Bestrebungen erkennbar, welche die Skalierbarkeit von Open-Book-Prüfungen mittels Automatisierung und Modularisierung zu verbessern versuchen. 

Ist Betrug online wahrscheinlicher als im Hörsaal? Die TUM erprobt das in einem 'Cheating Contest'. Bild: [https://unsplash.com/photos/IBrzpD7scOA/ Gaëtan Werp]

Hochschulforum Digialisierung: Wie sicher ist Online-Proctoring im Vergleich zu regulären Prüfungsverfahren vor Ort?

Dr. Matthias Baume: Aus meiner Sicht ist ein direkter Vergleich aus mehreren Gründen nicht ganz einfach. Zunächst einmal gibt es keine 100%-ige Sicherheit, dass nicht betrogen wird, weder in konventionell noch in online beaufsichtigten Prüfungen. Nun ist es aber so, dass es zum Betrugsverhalten in Onlineprüfungen wenig bis keine belastbaren Studien gibt, während Studien zum Betrugsverhalten in konventionellen Prüfungskontexten darauf hindeuten, dass ca. 40-80% der befragten Personen bereits Betrugsversuche in irgendeiner Form unternommen haben. Folglich ist davon auszugehen, dass Betrug – ohne genaueres über den Erfolg bzw. Misserfolg der Betrugsversuche zu wissen – in regulären Prüfungsverfahren kein Ausnahmephänomen ist. [1]

Ferner gibt es bei der Onlinebeaufsichtigung zwei verschiedene Ausprägungen und damit auch unterschiedliche Sicherheitsprofile. Einerseits gibt es Dienstleistungen, in denen die Beaufsichtigung digital vermittelt durch andere Personen realisiert wird und andererseits solche, in denen die Beaufsichtigung automatisiert vonstattengeht. Bei ersteren hängt die Sicherheit stark von der jeweils beaufsichtigenden Person sowie der konkreten Anzahl der durch sie überwachten Prüfungsteilnehmer*innen ab und unterliegt daher einer hohen Variabilität. Dies gilt selbstverständlich ebenso für die reguläre Beaufsichtigung von Prüfungsverfahren vor Ort. Eine erfahrene Beaufsichtigungsperson kann Betrugsversuche binnen kürzester Zeit identifizieren und sofern ausreichend personelle Ressourcen zur Verfügung stehen, kann dies auch für Prüfungen mit einer großen Teilnehmerzahl gewährleistet werden.

Bei den automatisierten Beaufsichtigungslösungen ist es nun so, dass die Sicherheit von der jeweiligen Wahl und Kombination der Überwachungsinstrumente abhängt. Wird bspw. lediglich eine Videoaufzeichnung via Webcam durchgeführt, so gibt es das Risiko, dass der blinde Fleck dieses Beobachtungsmodus erkannt und systematisch ausgenutzt wird, um dort einen Spicker oder ähnliches zu platzieren. Andererseits hat man durch die Kopplung von verschiedenen KI-gestützten Beobachtungstools, die Möglichkeit einer lückenlosen sowie nahezu unbegrenzt skalierbaren Beaufsichtigung – sofern die erforderlichen Verarbeitungskapazitäten entsprechend funktionieren. Schließlich sind derartige Systeme immer online und haben alles gleichermaßen im Blick, während der Fokus eines menschlichen Proctors auf einzelne Teilnehmer*innen beschränkt ist. 

An der TU München führen wir gerade im Rahmen einer Bachelor-Arbeit eine Studie zu Betrug in online-beaufsichtigten Prüfungen durch, den 'TUM Cheating Contest'. In diesem Wettbewerb versuchen die Teilnehmer unter kontrollierten räumlichen Bedingungen im Rahmen eines realitätsnahen Prüfungsszenarios die automatische Aufsicht einer Proctoring-Lösung zu täuschen und mit unerlaubten Hilfsmitteln möglichst unauffällig und effektiv zu betrügen. Die angewendeten Methoden werden dann gemeinsam mit den Teilnehmern genau analysiert und dokumentiert. Und natürlich gibt es am Ende auch einen Preis für die besten und kreativsten Täuschungsversuche! Die Ergebnisse der Studie werden voraussichtlich im September 2020 verfügbar sein.

Insgesamt lässt sich sagen: Jedes Verfahren hat sein Für und Wider und deshalb lassen sich zum gegenwärtigen Zeitpunkt keine pauschalen Aussagen darüber treffen, ob die Onlinebeaufsichtigung deutlich sicherer oder unsicherer ist als reguläre Verfahren vor Ort. Daher muss sich mit derartigen Urteilen gedulden, bis es belastbare Studien gibt, welche diesbezüglich ein klares Bild vermitteln.

Demo-Prüfungen helfen, technische Unsicherheiten im Voraus zu erkennen. Bild: [https://unsplash.com/photos/kwzWjTnDPLk/ NESA by makers]

Hochschulforum Digialisierung: Welche Unsicherheiten treten beim Online-Proctoring auf und wie lassen sich diese reduzieren? 

Dr. Matthias Baume: Zunächst einmal muss mit der Unsicherheit der Identität von Prüfungsteilnehmenden umgegangen werden. Denn dadurch, dass die Prüfungen nicht auf dem Campus absolviert werden, herrscht Unsicherheit darüber vor, ob die Person, welche sich für die Prüfung registriert hat, auch dieselbe ist, welche die Prüfung im Endeffekt absolviert. Diese Unsicherheit lässt sich dahingehend handhaben, dass vor jeder Prüfung immer eine Authentifizierungsphase durchgeführt wird. In dieser müssen die Prüfungsteilnehmenden ein anerkanntes Ausweisdokument sichtlich neben ihrem Gesicht platzieren, sodass mittels einer Webcam festgestellt werden kann, ob es sich um dieselbe Person handelt. 

Darüber hinaus gibt es technische Unsicherheiten, welche sich aus der fortlaufenden Funktionstüchtigkeit der technischen Infrastruktur speisen. Diese lassen sich dadurch reduzieren, dass im Vorhinein Demoprüfungen mit exakt demselben technischen Rahmen durchgeführt werden, um etwaige Probleme frühzeitig zu eruieren sowie zu beheben. Zusätzlich bieten Online-Proctoring-Anbieter in der Regel Analysemöglichkeiten an, mittels deren vorab getestet werden kann, ob der verwendete Rechner ausreichend leistungsfähig ist und über die nötige Software verfügt, Kamera und Mikrofon funktionsfähig sind sowie der verfügbare Down- und Upstream des Internets ausreichend sind etc., um eine Prüfung reibungslos durchzuführen. Dies gelingt nicht immer zu 100%, doch die besagten Analyseinstrumente sind inzwischen derartig ausgereift, dass sie in den allermeisten Fällen zuverlässige Diagnosen gestatten. Ferner bietet es sich in diesem Zusammenhang an, ein Protokoll für den Umgang mit Störungsfällen während des jeweiligen Prüfungsszenarios zu entwickeln, sodass eine laufende Prüfung durch kurzweilige Störungen – z.B. bei kurzen Zusammenbrüchen der Internetverbindung – nicht gleich ihre Gültigkeit verliert. Außerdem stellen manche Online-Proctoring-Anbieter auch einen Live-Support zur Verfügung, welcher während der Prüfung konsultiert werden kann, um etwaige Probleme technischer Natur zu bewältigen.

Viel von dem, was heutzutage potenziell überprüfbar wäre, wird mittlerweile auch regelmäßig vorab getestet sowie während der Prüfung beaufsichtigt. Dies hat jedoch zur Konsequenz, dass immer mehr Eingriffe in die Hardware der Endbenutzer notwendig sind und somit einer Autorisierung bedürfen. Was wiederum die Unsicherheit mit sich bringt, dass die Eingriffe aufgrund ihres Umfangs und/oder ihrer Art für die Endbenutzer inakzeptabel erscheinen. Vor diesem Hintergrund gilt es im Dialog mit den Studierenden systematisch festzustellen, welche Eingriffe für Prüfungszwecke zustimmungsfähig sind.

Eine weitere Unsicherheit resultiert aus der Klassifikation des Verhaltens von Prüfungsteilnehmenden als ‚betrügerisch‘ oder ‚verdächtig‘. Denn jenseits von offensichtlichen Verhaltensweisen – z.B. der Nutzung einer nicht gestatteten Informationsquelle oder der Interaktion mit Dritten – es ist eine offene Frage, ob und wie eine bestimmte Aktivität als Betrugsversuch oder unproblematisches Verhalten zu deuten ist. Schließlich ließe sich eine Vielzahl unbewusster Verhaltensweisen – bspw. kurz in die Luft zu starren oder sich am Kopf zu kratzen – als Betrugsversuch fehlinterpretieren. Ferner stellt sich dieses Problem unabhängig davon, ob man mit menschlicher oder maschineller Onlinebeaufsichtigung arbeitet. Es variiert lediglich die Art und der Zeitpunkt der Entscheidung. Für den Umgang mit dieser Unsicherheit, könnte man auf Studien zurückgreifen, welche die unterschiedlichen Ausprägungen und Facetten von menschlichem Verhalten in Prüfungssituationen beschreiben, um daraus einen begründeten sowie nachvollziehbaren Katalog von unproblematischen Verhaltensmustern zu kondensieren. Doch auch auf einem solchen Wege, lässt sich die besagte Unsicherheit nicht vollständig auflösen. [2]

Schließlich gilt es mit der Unsicherheit des Prüfungsabschlusses umzugehen, denn es kommt nicht selten vor, dass eine geprüfte Person – meistens aus Nervosität und dergleichen – vergisst, dass die Abgabe der Prüfung explizit bestätigt werden muss und die erbrachte Prüfungsleistung somit ungültig wird. Ein Problem das wir in Moodle regelmäßig beobachteten. Jedoch lässt sich diese Unsicherheit dahingehend handhaben, dass man die Abgabe der Prüfung automatisiert.

HFD: Danke für das Interview!

Zum ersten und zweiten Teil des Interviews auf dem HFD-Blog. In diesen 6 Empfehlungen sind die Erkenntnisse aus unserer Serie zum Thema Online-Proctoring zusammengefasst.

 

[1] Siehe auch: Rodchua, Suhansa (2017): Effective Tools and Strategies to Promote Academic Integrity in e-Learning. In: IJEEEE 7 (3), S. 168–179. Online verfügbar unter http://www.ijeeee.org/vol7/424-EE005.pdf , zuletzt geprüft am 03.07.2020 sowie Sheard, Judy; Dick, Martin (2012): Directions and dimensions in managing cheating and plagiarism of IT students. In: Computing Education 2012.

[2] siehe Kolski, Tammi; Weible, Jennifer (2018): Examining the Relationship between Student Test Anxiety and Webcam Based Exam Proctoring. In: Online Journal of Distance Learning Administration 21 (3).

Tags: 
Hochschule
Digitalisierung
EdTech
Prüfungen
Prüfungsbeaufsichtigung
Online-Proctoring
Online-Prüfung
Corona Campus
CC-BY-SA LogoDieser Text steht unter der Lizenz Creative Commons Namensnennung - Weitergabe unter gleichen Bedingungen 4.0 International - CC BY-SA 4.0. Bitte nennen Sie bei einer möglichen Nachnutzung den angegebenen Autorennamen sowie als Quelle das Hochschulforum Digitalisierung.
  • Blog von Gino Krüger
  • Druckversion

Neuen Kommentar schreiben

(If you're a human, don't change the following field)

Your first name.

(If you're a human, don't change the following field)

Your first name.

(If you're a human, don't change the following field)

Your first name.

Switch to plain text editor

Weitere Informationen über Textformate

Simple HTML

  • Adds captions, from the title attribute, to images with one of the following classes: image-left image-right standalone-image
  • Zulässige HTML-Tags: <a> <em> <strong> <cite> <blockquote> <code> <ul> <ol> <li> <dl> <dt> <dd> <h2> <h3> <h4> <table> <th> <tr> <td> <span> <p> <br> <hr>
  • HTML - Zeilenumbrüche und Absätze werden automatisch erzeugt.
  • Internet- und E-Mail-Adressen werden automatisch umgewandelt.
  • You may use [view:name=display=args] tags to display views.

Plain text

  • Keine HTML-Tags erlaubt.
  • Internet- und E-Mail-Adressen werden automatisch umgewandelt.
  • HTML - Zeilenumbrüche und Absätze werden automatisch erzeugt.
Image CAPTCHA

Enter the characters shown in the image.

Interviewpartner Dr. Matthias Baume

Dr. Matthias Baume

Dr. Matthias Baume forscht und lehrt seit mehr als 15 Jahren im Bereich des computergestützten Lehrens und Lernens. Nach dem Studium der Pädagogik, Psychologie und Biologie, einer Weiterbildung zum Multimedia-Projektmanager und praktischer Arbeit in einem Designstudio, erwarb er den Master-Abschluss in Multimediadidaktik an der Universität Erlangen-Nürnberg.

Anschließend war er als wissenschaftlicher Mitarbeiter am Lehrstuhl für Wirtschaftsinformatik der TU München beschäftigt, entwickelte dort Lernmodule, Online-Konzepte und Management-Simulationen und promovierte zum Thema "Computerunterstützte Planspiele für das Informationsmanagement". Nach dem internen Wechsel ins Medienzentrum war er für die Entwicklung, den Rollout und den Betrieb des zentralen Lernmanagementsystems Moodle der TUM verantwortlich.

Seit Herbst 2018 arbeitet Dr. Baume in der Abteilung "ProLehre" im Rahmen des Projektes "Fernprüfungen" an der Konzeption, Pilotierung und Evaluation von online-beaufsichtigten Prüfungen (Online-Proctored Exams).

 

Corona-Serviceseite

Corona-Serviceseite

Wir haben eine Serviceseite zur Corona-Krise für Hochschulen eingerichtet: Zum informieren, austauschen und mitmachen.

Kooperationspartner:

Stifterverband für die Deutsche Wissenschaft CHE Centrum für Hochschulentwicklung Hochschulrektorenkonferenz

Förderer:

Bundesministerium für Bildung und Forschung
Kontakt | Impressum | Datenschutz

Wir erneuern unsere Website und brauchen Ihren Input!

Das Hochschulforum Digitalisierung möchte Ihre Ideen in die Gestaltung der Website einbeziehen. Dafür bitten wir Sie herzlich, an unserer Umfrage teilzunehmen.
Als Dankeschön können Sie einen von drei Hoodies vom Hochschulforum Digitalisierung gewinnen.

Hinweis: Die Umfrage wird über Google Formulare durchgeführt. Durch Klicken auf den Button werden Sie zum Google Formular weitergeleitet.

Suchformular

  • Wir
    • Das Hochschulforum: Über uns
    • Stakeholder-Dialog
    • Kernteam des HFD
    • Projektpartner
    • Team

    • Jobs
  • Strategien
    • Strategien für die Digitalisierung in Studium und Lehre
    • Peer-to-Peer-Strategieberatung
    • Peer-to-Peer-Fachbereichsberatung
    • Magazin stategie digital
    • HFD Strategie-Benchmark
    • HFDlead - Netzwerk Strategie & Digitalisierung
    • Strategiekonferenzen
    • HFD-Strategie-Werkstatt
    • Selbstlernkurs Digitalisierungsstrategien
    • Online-Kurs Digitalisierungsstrategien
    • HFD-Showroom
  • Netzwerk
    • Das Netzwerk für die Hochschullehre
    • HFDnet
    • HFDcon
    • HFD Summer Schools
    • HFDxChange - kollegiale Beratung
    • HFD Hangouts
    • HFDcert
    • Curriculum-Barcamp
    • Train-the-Trainer-Programm: Lernen in Netzwerken
    • Infopoint Hochschullehre: Grundlagenveranstaltungen
    • Infopoint Hochschullehre: Digitale Prüfungen
    • Qualifizierungsspecial "Quickstarter Online-Lehre" - Videobeiträge
  • Innovation Hub
    • Der Innovation Hub
    • HFDvisions
    • Zukunftsfähige Lernräume
    • Studentische Zukunfts-AG #DigitalChangeMaker
    • AG Digital Accessibility
  • Arbeitsgruppen
    • Prüfungsformate & -szenarien für die digitale Hochschulbildung
    • HFDlead

    • Rückblick
    • AG Künstliche Intelligenz, Algorithmen und Big Data
    • HFD Community Working Groups 2018-2020
    • Ad-hoc-Arbeitsgruppen 2020
    • Ad-hoc-Arbeitsgruppen 2018 - 2019
    • Ad-hoc-Arbeitsgruppen 2017 - 2018
  • Call for Experts
  • Themendossiers
    • Übersicht Themendossiers

    • Anrechnung & Anerkennung
    • Beiträge vom University:Future Festival 2021
    • Bildungsverständnis
    • Blended Learning
    • Blockchain
    • Curriculumentwicklung
    • Data Literacy
    • Digitale Prüfungen
    • Diversität & Barrierefreiheit
    • EdTech
    • Geflüchtete
    • Generative KI
    • Gute Lehre
    • Hochschullehre in Krisenzeiten
    • Internationalisierung
    • Künstliche Intelligenz
    • Learning Analytics
    • Lernräume
    • Open Educational Resources
    • Open Science
    • Plattformen
    • Strategie
    • Studierende
    • Technologie
    • Urheberrecht
    • Weiterbildung & Lebenslanges Lernen
  • Studierende
    • Zukunfts-AG #DigitalChangeMaker
    • HFD-Student-Community - Mitmachen!
    • Hackathons
  • Termine
  • Media
    • Videos vom HFD
    • Podcast
    • Pressespiegel
    • Pressemitteilungen
    • Newsletter-Archiv
    • Guidelines für Blog-Autor:innen
  • Weitere Aktivitäten
    • Bologna Digital

    • Digital Learning Map

    • EdTech-Kompass

    • Rückblick
    • Themenwoche 2018
    • Das HFD 2014-2016
    • Themengruppen 2014-16
  • Publikationen
    • Publikationsliste
    • HFD-Sammelband
    • Monitor Digitalisierung 360°
  • University:Future Festival
    • University:Future Festival 2023
    • Let's Talk:Campus
  • Blog