Learning Analytics ist ein relativ junges Forschungsgebiet, das es im Hochschulkontext erlaubt, auf der Grundlage elektronischer Daten das Lernverhalten Studierender zu analysieren und so die Optimierung der Lehre voranzutreiben. Die dafür notwendigen Daten stammen beispielsweise aus digitalen Lern-Management-Systemen wie zum Beispiel Moodle oder Ilias. Dr. Andrea Kennel und Lea Bosch von der Fachhochschule Nordwestschweiz geben anhand eines Praxisbeispiels Einblicke in den Ablauf und worauf es dabei zu achten gilt.

Das Lernen und Prüfen auf digitalen Lern-Management-Systemen (LMS) wie Moodle oder Ilias statt wie traditionell auf Papier sorgt für einen enormen Zuwachs an elektronischen Daten. Daraus hat sich ein eigenes neues Forschungsfeld entwickelt, die Learning Analytics: Gut genutzt können so gewonnene Daten die Dozierenden dabei unterstützen, die Lernprozesse und das Prüfungsverhalten ihrer Studierenden zu analysieren, das eigene Unterrichtsmaterial und Prüfungsdesign zu verbessern sowie hilfreiches Feedback an die Studierenden zurückzugeben. Die Möglichkeiten, innerhalb von LMS Berichte und Analysen herzustellen, sind derzeit jedoch noch ziemlich limitiert. Über dieses rudimentäre Angebot hinausgehende Auswertungen müssen interessierte Dozierende mühselig über den Umweg eines Datenexports und anschließender manueller Zusammenführung dieser Daten ermitteln.

Die Fachhochschule Nordwestschweiz (FHNW) und die Berner Fachhochschule (BFH) haben sich im Rahmen ihres von swissuniversities finanzierten PgB-8 Projekts «E-Assessment und Distance Testing»[1] mit dem Potential und den Bedingungen zur Auswertung digitaler Prüfungsdaten beschäftigt und, in praktischer Umsetzung als Proof-of-Concept, eine schlanke und vielversprechende Lösung entwickelt, um aus dem LMS Moodle Prüfungsdaten für flexible Auswertungen zur Verfügung zu stellen. Im Folgenden stellen wir diese Lösung näher vor.

Um erfolgreich Learning Analytics zu betreiben und personen- und inhaltsbezogene Daten aus LMS auszuwerten, bedarf es zunächst einer sorgsamen Betrachtung sowohl dieser Daten wie auch der Möglichkeiten, die sich durch die Analyse dieser Daten eröffnen. Die zu verwendenden Daten gilt es im Hinblick auf

• den Datenschutz zu unterscheiden,
• Einsatzmöglichkeiten und Potentiale von Analysen zu identifizieren, sowie
• ethische Fragestellungen zu durchleuchten.

Die theoretischen Grundlagen dazu haben Falk Scheidig und Kirsten Schweinberger während der Startphase des PgB-8 Projektes sowie in einem Vorläuferprojekt erarbeitet und im Beitrag «Assessment Analytics – Daten digitaler Prüfungen auswerten» (2022) veröffentlicht. Besonders hilfreich erweist sich dabei die grafische Darstellung der Potentiale von Assessment Analytics (Grafik 1): Von der Planung eines Kurses oder einer Prüfung bis hin zur Prüfungsleistung zeigt sie entlang der Phasen des Lehr- und Lernprozesses die Erkenntnisse auf, welche mithilfe einer Datenanalyse gewonnen werden können. Sie verdeutlicht eindrücklich die Hebelwirkung, welche mithilfe von Learning und Assessment Analytics erzielt werden kann, um die eigene Lehre zu unterstützen und das Feedback an die Studierenden zu verbessern.

Der Einsatz dieses mächtigen Werkzeugs setzt zwei Bedingungen voraus: erstens müssen die notwendigen Daten zur Verfügung stehen, und zweitens bedarf es einer Möglichkeit, diese Daten aufzubereiten und zu analysieren. Andrea Kennel und ihr Team haben im Rahmen des PgB-8 Projekts eine Lösung entwickelt, welche beide Voraussetzungen erfüllt und in einem Workflow vereint: Das Moodle-DWH. Dieses besteht aus zwei Teilen: Erstens einem Plugin für Moodle, welches einen flexiblen und anonymisierten Export der gewünschten Prüfungsdaten erlaubt, sowie zweitens einem Data Warehouse (DWH), in dem die Daten aufbereitet und gespeichert und anschließend für Auswertungen benutzt werden können. Grafik 2 visualisiert den Aufbau des Moodle-DWH, das wir im Folgenden näher vorstellen.

Das eigens entwickelte Moodle-Plugin exportiert die Daten über eine änderbare SQL-Abfrage und speichert sie via URL in der eigens eingerichteten DWH-Cloud. Auf Seiten des Data Warehouse holt ein Oracle Cloud Free Tier Data Warehouse die Daten am vordefinierten Ort ab und lädt sie hoch. Diese Konstellation erlaubt es, Daten aus unterschiedlichen Moodle-Prüfungen und Moodle-Instanzen in dasselbe Warehouse zu laden und für übergreifende Auswertungen zur Verfügung zu stellen.

Dieses Konzept wurde anhand konkreter Fragestellungen aus der Lehre überprüft. Es überzeugt durch sein flexibles und ausbaubares Design: Es ist flexibel, denn es reicht eine technisch simple Anpassung der SQL-Abfrage im Moodle-Plugin, sollten zusätzliche Daten exportiert werden oder der Fall eintreten, dass das Datenmodell von Moodle ändert. Es ist ausbaubar, denn das Datenmodell des Data Warehouse kann erweitert werden und damit weitere Analysen und Berichte ermöglichen.

Learning und Assessment Analytics basieren auf der Auswertung von Daten, weshalb dem Datenschutz eine besondere Bedeutung zukommt. Auswertungen gemäß Grafik 1 basieren grundsätzlich auf unterschiedlichen Arten von Daten: Es wird zwischen Personen- und Verbindungsdaten (Namen, E-Mail, biometrische Daten, etc.) einerseits und Inhaltsdaten (Multiple Choice-Antworten, Zahlen, Freitext, etc.) andrerseits unterschieden. Für den Datenschutz ist entscheidend, ob diese Daten einer Person zugeordnet werden können oder nicht. Personenbezogene Daten beziehen sich auf bestimmte oder bestimmbare Personen, pseudonymisierte Daten können ohne Zusatzinformation nicht mehr zugeordnet werden, und bei anonymisierten Daten (inkl. reinen Inhaltsdaten) ist die Person nicht identifizierbar.

Aus Sicht der Hochschulen, an denen Learning Analytics zur Anwendung kommt, sind die jeweiligen Vorschriften zum Datenschutz zwingend einzuhalten. So dürfen an der FHNW gemäß Datenschutzreglement personenbezogene Daten nur erfasst und gespeichert werden, wenn sie für den angestrebten Zweck notwendig sind. Anonymisierte Daten fallen nicht unter den Datenschutz. Ethische Fragestellungen wie zum Beispiel das Profiling unterliegen strengen Bedingungen.

Um einen Verstoß von Moodle-DWH gegen Ethik und Datenschutz auszuschließen, bedient es nur Anwendungsbereiche mit anonymisierten Prüfungsdaten. Die Abfrage im Moodle-Plugin bestimmt, welche Daten exportiert werden. Die Anonymisierung wird bereits dort vorgenommen. Ein Rückschluss auf einzelne Studierende ist somit nicht mehr möglich, und die ins DWH importierten Daten unterliegen entsprechend nicht dem Datenschutz. Für die Oracle Cloud wurde bewusst der Standort Zürich gewählt, um sicherzustellen, dass die Daten in der Schweiz gespeichert und dem schweizerischen Recht unterstellt sind.

Ein konkretes Beispiel demonstriert zum Schluss die Anwendung des Moodle-DWH in der Praxis. Eine simple Analyse, welche Antwort bei Multiple Choice-Fragen wie oft ausgewählt wurde, kann Hinweise auf Verständnislücken der Studierenden liefern und der Verbesserung der Aufgabenstellung dienen. Moodle liefert hierzu zwar Daten, diese sind jedoch schwer lesbar. Das Entwicklungsteam um PgB-8 Teilprojektleiterin und Data Science-Dozentin Andrea Kennel hat dieselben Daten mit Moodle-DWH exportiert und aufbereitet. Data Science-Studierende der FHNW haben diese anschließend weiter analysiert und visualisiert. Die Resultate sind leicht lesbar und zeigen übersichtlich die Verteilung der richtigen und falschen Antworten:

Während der weiteren Laufzeit des PgB-8 Projeks soll Moodle-DWH schrittweise ausgebaut werden, um weitere Auswertungen zu ermöglichen. Deren Spektrum umfasst unter anderem Visualisierungen weiterer Multiple Choice-Fragetypen, Analysen zur zeitlichen Dauer, welche Studierende zur Lösung einzelner Aufgaben brauchen, bis zum Verhältnis zwischen Bearbeitungsdauer und erzieltem Resultat.

Wir erwarten, dass sich mit einem breiteren Einsatz von Moodle-DWH laufend neue Anforderungen zeigen werden. So zeichnet sich bereits jetzt ab, dass zur Überprüfung des Lernfortschritts der Studierenden Auswertungen über mehrere Prüfungen hinweg von großem Interesse sein dürften.

Die Analyse von Prüfungsdaten (Assessment Analytics) wie auch der größere Kontext der Learning Analytics sind ein relativ junges Gebiet, welches der zukünftigen Entwicklung der Hochschullehre viele Impulse und Vorteile zu bringen verspricht. Die digitalen Daten sind vorhanden, und es ist nur folgerichtig, sie auch in diesem Bereich zunehmend breit auszuwerten und zur Optimierung der Lehre und des Lernens einzusetzen. Moodle-DWH ist ein vielversprechender Ansatz, um unter Wahrung des Datenschutzes einen Schritt in diese Zukunft zu wagen.

Scheidig, F. & Schweinberger, K. (2022). Assessment Analytics – Daten digitaler Prüfungen auswerten. In B. Berendt, A. Fleischmann, G. Salmhofer, N. Schaper, B. Szczyrba, M. Wiemer & J. Wildt (Hrsg.), Neues Handbuch Hochschullehre. Ergänzungsband Nr. 108 (H 3.9). Berlin: DUZ.

Fußnoten:

[1] https://www.fhnw.ch/plattformen/newlearning/pgb-8-e-assessment-distance-testing/

Dr. Andrea Kennel ist Dozentin für Datenbanken und Fachcoach Projektmanagement an der Fachhochschule Nordwestschweiz. Im Projekt PgB-8 «E-Assessment & Distance Testing» ist sie Teilprojektleiterin zum Thema Analytics.

Lea Boesch ist B.Sc. FHNW in Informatik mit Vertiefung iCompetence und wissenschaftliche Assistentin an der Fachhochschule Nordwestschweiz.