Digitale Prüfungen: (Digitale) Aufgaben konstruieren

Wie können digitale Aufgabenformate so gestaltet werden, dass sie optimal zu den Lernzielen der Studierenden passen? In diesem Blogbeitrag aus der Feder des Projekts Digitaler Freischwimmer finden Sie Antworten und hilfreiche Tipps sowie Literaturempfehlungen zum Thema.

Einführung

Digitale Aufgabenformate (wie z.B. Multiple-Choice-Tests) ermöglichen meist eine (teil-)automatisierte Auswertung von Aufgabenstellungen, sodass der Korrekturaufwand reduziert werden kann. Aufgaben, die mittels einer fachspezifischen Software gelöst werden, wie zum Beispiel Programmieraufgaben, schaffen überdies die Möglichkeit zu sehr praxisnahen, kompetenzorientierten Prüfungen. 

Ein weiterer Mehrwert digitaler Aufgaben ist die Möglichkeit, multimediale Elemente einzubinden: angefangen beim einfachen PDF-Dokument bis hin zu komplexen Videosimulationen.

Bei der Entwicklung jedes digitalen Aufgabenformates sollte geprüft werden, ob es das gewünschte Lernziel(-niveau) anspricht bzw. abfragt und ob die in der Aufgabe geforderten Kompetenzen auch zuvor eingeübt wurden.

Einsatzszenario

Digitale (wie auch analoge) Aufgaben können zum einen formativ angeboten werden. Das heißt: Die Aufgaben werden online bearbeitet und geben Aufschluss über den Lernfortschritt. Überdies lässt sich eine digitale Aufgabe auch summativ einsetzen, um eine abschließende Leistungsbewertung vorzunehmen.

Bestandteile einer Aufgabe

Jede Aufgabe besteht aus zwei Bestandteilen: a) einem Aufgabenstamm und  b) einem Antwortformat. Der Aufgabenstamm bildet eine bestimmte Anforderungssituation ab, also eine Frage, eine Aussage, eine Geschichte, Bilder, Zeichnungen oder eine Rechenaufgabe. Maßgeblich bei der Gestaltung des Aufgabenstammes ist, dass diese das gewünschte Verhalten des Studierenden abfragt. Das Antwortformat dient dagegen zur Registrierung des Testverhaltens (vgl. Handreichung der TUM zum kompetenzorientierten Prüfen - siehe "Internetquellen und Literatur" unten).

Aufgabenformate

Geschlossene Aufgabenformate geben Antworten vor, welche ausgewählt oder in eine korrekte Reihenfolge gebracht werden sollen, wie z.B. Multiple-Choice oder Drag-and Drop-Aufgaben. Offene Aufgabenformate erfordern eine eigenständige Leistung des Studierenden ohne die Möglichkeit, sich an vorgegebenen Antworten orientieren zu können. Die Bandbreite reicht hier von recht einfachen Aufgaben, wie z.B. Lückentextaufgaben bis hin zu Freitextaufgaben mit kreativen Antwortmöglichkeiten, wie sie für die Beschreibung von Vorgehensweisen, Begründungen oder Argumentationen benötigt werden.

Unterschiedliche Fragetypen

Innerhalb der offenen bzw. geschlossenen Aufgabenformate können verschiedene Fragetypen eingesetzt werden. In diesem Video der FH Bielefeld werden geschlossene Aufgabenformate und verschiedene, darin verwendete Fragetypen ausführlich besprochen (Loviscach, Jörn: E-Assessment mit geschlossenen Aufgaben).

Die folgende Übersicht zeigt Fragetypen in Bezug auf gesetzte Lernziele und berücksichtigt dabei sowohl geschlossene als auch offene Aufgabenformate  (vgl. Vogt & Schneider: E-Klausuren an Hochschulen).

Tipps zur Umsetzung

An Lernzielen orientieren

Ob ein Lernziel erreicht wurde, lässt sich nur feststellen, wenn die Lernziele im Vorfeld klar definiert wurden. Diese Lernziele können sich auf unterschiedlichen Niveaus befinden – vom Abfragen von Faktenwissen über Anwendungen bis hin zur (Neu-)konstruktion von Wissen. Weitere Infos zu Lernzielen und deren Entwicklung lesen Sie gern in unserem Beitrag Lernziele.

Eindeutige Aufgabenstellungen entwickeln

Entwickeln Sie eindeutige Aufgabenstellungen. Dies gelingt u.a. dadurch, dass

• jede Aufgabe nur eine Anforderungsdimension abbildet (wie z.B. eine bestimmte Fähigkeit). Geht es beispielsweise darum, die Rechenfähigkeit von Studierenden zu ermitteln, darf für die Lösung der Aufgabe auch nur diese Fähigkeit abgefragt werden.
• die Aufgaben das gewählte Lernzielniveau berücksichtigen: Soll etwa ein tieferes Verständnis von Studierenden – etwa über eine Formel – geprüft werden, reicht es ggf. nicht aus, eine reine Anwendungsaufgabe zu stellen.

Bandbreite der Lernzielniveaus avisieren

Bieten Sie für verschiedene Lernziele auch verschiedene Aufgaben an. Während die Abfrage theoretischen Wissens mittels Antwort-Wahl-Aufgabe ggf. noch relativ leicht fällt, sind höhere Lernzielniveaus schwieriger umzusetzen. Hier einige Tipps:

• Positionieren Sie nach der Abfrage von Wissen in einer Antwort-Wahl-Aufgabe (Frage 1) eine Frage zur Begründung der zuvor gegebenen Antwort (Frage 2) – sog. Two-tier question, Timmermann, Kautz 2015.
• Betten Sie Ihre Frage in ein fachtypisches Szenario ein, durch das bestimmte Bedingungen vorgegeben sind. Fragen können sich dann immer wieder auf dieses Szenario beziehen.
• Geben Sie als Antwortmöglichkeiten verschiedene Lösungswege anderer (fiktiver) Studierender vor und lassen Sie die richtige auswählen.

Weitere Tipps und Tricks hierzu finden Sie auf den E-Assessment-Seiten der Universität Bremen.

Bewertungskriterien festlegen

Definieren Sie parallel zur Aufgabenentwicklung Bewertungskriterien, um eine objektive und valide Prüfung der Ergebnisse zu prüfen. Weitere Hinweise zu Bewertungskriterien (rubrics) erhalten Sie hier.

Möglichkeiten der eigenen Testumgebung prüfen

Bevor Sie mit der Entwicklung von Aufgaben beginnen, informieren Sie sich darüber, welche Aufgabentypen Ihnen durch die an Ihrer Hochschule angebotenen Tools zur Verfügung stehen! Viele Testsysteme (wie die in ILIAS und Moodle) verfügen zudem auch über Plugins zur Erweiterung vorhandener Aufgabentypen.

Hilfreiche Links

Die Uni-Bern stellt ein Assessment-Tool zur Verfügung, welches Lehrende nutzen können, um passende Aufgabentypen zu finden. Durch die Abfrage von Anforderungen erhalten Lehrende ein Ranking der geeignetsten Assessments samt Erläuterung.

Das Verbundprojekt der Hamburger Hochschulen Mintfit Hamburg bietet verschiedene Online-Tests an, die zur Veranschaulichung von Aufgabentypen dienen können.

Tools an der HCU

Für die Erstellung von Tests kann u.a. die Lernplattform moodle genutzt werden. Weitere Infos und eine Übersicht über moodle Fragetypen haben wir in unserem Beitrag Lernplattform moodle aufbereitet. HCU-Angehörige finden weitere Infos in einem Online-Selbstlernkurs. 

Tools an der TUHH

Für die Erstellung von Aufgabenformaten sollte das ILIAS-Objekt Test genutzt werden (siehe Beitrag Lernplattform ILIAS. Eine umfangreiche Anleitung zur Arbeit mit dem ILIAS Assessment-System finden Sie hier.

Das Prüfungssystem YAPS (Yet another Prüfungssystem), das aktuell an der TUHH entwickelt wird, bietet nützliche Funktionen für die Prüfungssituation, wie einen abgesicherten Browser oder die Administration über eine Handy-App. Aufgaben werden aktuell über browserbasierte Eigenentwicklungen (wie z.B. hier) eingebunden. Programmierkenntnisse sind dafür erforderlich. Geplant ist, dass sich das System mit anderer web-basierter Software kombinieren lässt. Ansprechpartner hierzu sind Prof. Dr.-Ing. Görschwin Fey und Fin Bahnsen.

Internetquellen und Literatur

Tipps zur Erstellung von MC-Fragen stellt die Universität Bremen zur Verfügung: Universität Bremen. E-Assessment. URL: http://www.eassessment.uni-bremen.de/mc_leitfaden.php (zuletzt besucht am 13.04.2021)

Erläuterungen und Beispiele zu geschlossenen Aufgabenformaten: FH Bielefeld, E-Assessments E-Klausuren. E-Prüfungen an Hochschulen. E-Assessment mit geschlossenen Aufgaben (zuletzt besucht am 12.04.2021)

Ausführliche Erläuterungen zu einzelnen Aufgabentypen stellt ELAN e.V. im E-Assessment Wiki zur Verfügung: ELAN e.V., E-Assessments und Klausuren. E-Prüfungen an Hochschulen. URL: https://ep.elan-ev.de/wiki/Aufgabentypen#Geschlossene_Aufgaben (zuletzt besucht am 12.04.2021)

Strategien und Beispiele zur Erstellung geschlossener Aufgaben: Jona Florian Stieler, Stieler Florian (2011). Validität summativer Prüfungen – Überlegungen zur Gestaltung von Klausuren, Janus Presse, Bielefeld, 2011, Download als PDF (zuletzt besucht am 15.04.2021)

Handreichung der TUM zum kompetenzorientierten Prüfen mit ausführlichen Hilfestellungen: ProLehre, TUM School of Education (2011). Herausforderung Prüfung. Handreichung zum kompetenzorientierten Prüfen. München, 2011, Download als PDF (zuletzt besucht am 15.04.2021)

Timmermann, Dion & Kautz, Christian (2015). Multiple choice questions that test conceptual understanding: A proposal for qualitative two-tier exam questions. ASEE Annual Conference and Exposition (2015-06).  Download als PDF (zuletzt besucht am 15.04.2021)

Vogt, Michael & Schneider, Stefan (2009): E-Klausuren an Hochschulen. Gießen. URL: http://geb.uni-giessen.de/geb/volltexte/2009/6890/, (zuletzt besucht am 12.4.2021)

Hilfreiches Assessment-Tool der Universität Bern, das Lehrende bei der Entwicklung von Aufgaben unterstützt. URL: https://assessment.unibe.ch/ (zuletzt besucht am 16.04.2021)

Zur Veranschaulichung verschiedener Aufgabentypen interessant: Orientierungstests von Mintfit Hamburg. URL: https://www.mintfit.hamburg/ (zuletzt besucht am 16.04.2021)