Die Hausarbeit, ein bedrohtes Prüfungsformat? Diese Frage stellten sich viele Lehrende, als Anfang des Jahres immer mehr Studierende regelmäßig KI-Sprachassistenten nutzten. Zur Prüfungsleistung gehört schließlich auch der sprachliche Ausdruck. Ein Bewertungsaspekt, den die Sprachassistenten rund um ChatGPT zu substituieren in der Lage sind. Wie also kann ich als Lehrende:r die Eigenleistung der Studierenden bewerten? Eine Frage, die auch heute noch nicht vollständig geklärt ist. Während andere noch diskutieren, hat Margarita Antoni von der Hochschule Hamm-Lippstadt bereits mit der Erprobung begonnen – ein Erfahrungsbericht.

Jedes Sommersemester beschäftigen sich meine Studierenden des sechsten Semesters im Studiengang Wirtschaftsingenieurwesen an der Hochschule Hamm-Lippstadt mit Veränderungen und Weiterentwicklungen in der Gesellschaft und Umwelt. In meiner Change-Management-Vorlesung identifizieren wir verschiedene Auslöser für einen erforderlichen Unternehmenswandel, besprechen Hemmnisse des Wandels, behandeln mögliche Widerstände und erarbeiten Erfolgsbausteine.

Einleitend in die Veranstaltungsreihe beschäftigen sich die Studierenden mit der Frage, welchen Veränderungen sie in ihrem bisherigen Leben bereits begegnet sind. Schnell wird hier deutlich, dass es ganz schön viele sind. Das Studium, der eigene Haushalt, neue Freunde oder ein neuer Job sind hier nur einige der vielen Ereignisse, die das Leben bisher verändert haben. Alle sind sich einig, dass Veränderungen ein Teil des Lebens sind. Um den Wechsel auf die Unternehmensperspektive zu gestalten, wird anschließend ein Unternehmen betrachtet, mit dem jede:r Studierende sich identifizieren kann: die eigene Hochschule. Auf die Frage „Welche Entwicklung kann die bisherige Arbeitswelt umkrempeln?“ fällt in Anbetracht der Hochschule als Bezugsobjekt schnell eine eindeutige Antwort: „ChatGPT!“.

Nur wenige Monate zuvor wurde die kostenfreie Version des Chatbots „ChatGPT“ von OpenAI gelauncht und hat insbesondere unter Lehrenden und Studierenden für einen hohen Gesprächsbedarf gesorgt. Da die Kernaussage der Veranstaltung Change Management lautet, dass sich Unternehmen nicht einfach vor Veränderungen in der Umwelt verstecken können, ist also klar: Die Nutzung von ChatGPT muss ausprobiert werden.

Um den Nutzen von ChatGPT tatsächlich bewerten zu können, gilt es zunächst einen sinnvollen Einsatz zu finden. Hierfür hat sich die Hausarbeit als bereits genutztes Prüfungsformat der Vorlesung angeboten. Das Ziel der Nutzung von ChatGPT sollte jedoch nicht die Abnahme der Arbeit, sondern lediglich die unterstützende Nutzung eines neuen Instruments sein. Gerade für die Benotung der Hausarbeiten muss daher die Eigenleistung der Studierenden erkennbar sein. Um dies zu gewährleisten, wird sich gegen eine klassische Hausarbeit entschieden, sondern ein neues Konzept entwickelt. Die Studierenden erhalten daher folgende Aufgabenstellung:

„Suchen Sie sich als Ausgangsbasis für Ihre Hausarbeit ein echtes oder fiktives Unternehmen aus und beschreiben Sie dieses. Hierbei spielt es keine Rolle, ob es sich um ein Start Up oder ein bereits etabliertes Unternehmen handelt. Wenn Sie selber gründen möchten und bereits eine konkrete Idee haben, dann können Sie gerne auch Ihr eigenes Unternehmen auswählen.“

Nach jedem Vorlesungstermin wird eine Frage zu den behandelten Inhalten gestellt, welche die Studierenden dann auf ihr Beispielunternehmen anwenden müssen. Zur Veranschaulichung folgen hier drei exemplarische Fragen:

1. Beschreiben Sie die Struktur sowie Kultur Ihres Unternehmens. Wenden Sie dabei die in der Vorlesung behandelten Theorien und Modelle an.

2. Beschreiben Sie potenzielle externe Auslöser für einen notwendigen Wandel Ihres Unternehmens (welche externen Auslöser können einen Wandel notwendig machen?).

3. a) Beschreiben Sie die aktuelle Wachstumsphase Ihres Unternehmens und nennen Sie konkrete krisenhafte Erscheinungen, die relevant sein könnten.
b) Skizzieren Sie die Hemmnisse des Wandels, die für Ihr Unternehmen am bedrohlichsten sind. Geben Sie eine Begründung für Ihre Auswahl.

Durch den doppelten Bezug (Vorlesungsinhalte auf die Beispielunternehmen) entwickeln die Studierenden ihre eigenen Fallbeispiele und bearbeiten so einen realistischen und ganzheitlichen Change Prozess in einem Unternehmen. Die Formulierung der Fragen bedarf konkreter, unternehmensspezifischer Lösungen, die der Chatbot ohne den entsprechenden Input der Studierenden nicht erbringen kann. Dadurch wird sichergestellt, dass die Studierenden ChatGPT zwar als Schreibhilfe nutzen können, die eigentliche Arbeit in Form der Anwendung von Theorien und Modellen jedoch selbstständig erfolgen muss.

Ein mögliches Hindernis bei der Entwicklung dieses Konzeptes stellte die Frage dar, ob ChatGPT denn nicht auch in der Lage dazu sein könnte konkrete Theorien und Modelle anzuwenden, wenn der Text über das Beispielunternehmen im Vorfeld zur Verfügung gestellt würde. Dies wurde im Vorfeld mit dem Ergebnis überprüft, dass sich ChatGPT die Modelle eher oberflächlich widergibt und eine detaillierte Anwendung vieler essenzieller Aspekte aus den Vorlesungsinhalten vermisst. Diese generische Formulierung der Antworten lässt damit zu, dass der konkrete Gebrauch von ChatGPT den Studierenden freigestellt wird. So können Sie zunächst einen eigenen Text verfassen und diesen von ChatGPT strukturieren und korrigieren lassen oder aber ein Grundgerüst von ChatGPT erstellen lassen, welches sie dann im Anschluss inhaltlich anpassen und korrigieren müssen.

Die (groben) Bewertungskriterien bei klassischen Hausarbeiten sind bekannt – Relevanz des Themas, Argumentation, Fazit sowie Ausblick, Literaturarbeit, Form & Stil. Das vorgestellte Prüfungskonzept bedarf jedoch einer grundlegenden Anpassung der Bewertungskriterien, da z. B. die Literaturarbeit aufgrund der Anwendung der Vorlesungsinhalte auf ein Minimum reduziert wird. Auch kann ChatGPT einen Text strukturieren und wissenschaftlich formulieren. Daher wird der Fokus bei der Bewertung auf den Inhalt gelegt. Tatsächlich gleicht die Erstellung eines Fallbeispiels eher einer Klausur als einer klassischen Hausarbeit. Alle Modelle und Theorien werden in der Vorlesung mit Praxisbeispielen dargestellt und erläutert. Werden etwa externe Einflüsse betrachtet, so wird verdeutlicht, dass z. B. der Klimawandel als Einfluss der ökologischen Umwelt durch einen Temperaturanstieg die Ski-Tourismus-Branche direkter beeinflussen wird als etwa einen Möbelhersteller, da weniger Schnee für die Möbelindustrie nicht existenzbedrohend ist. Bei der Beantwortung der Fragen zum eigenen Fallbeispiel wird folglich eine ähnlich detaillierte Argumentation erwartet. Kern der Bewertung sind entsprechend die (korrekte) Anwendung der Vorlesungsinhalte, die Plausibilität & Relevanz der erbrachten Argumente, der Wahrheitsgehalt der getroffenen Aussagen sowie die Individualität/Spezifikation der generierten Beispiele auf das eigene Unternehmen. Dazu wird im Vorfeld ein Bewertungsschema mit diversen Antwortmöglichkeiten erstellt und den Studierenden zur Orientierung zur Verfügung gestellt.

Die alleinige Erstellung des Fallbeispiels mit Hilfe von ChatGPT beantwortet jedoch noch nicht die breit diskutierte Frage, ob ChatGPT nun als Risiko oder als Chance zu betrachten ist. Dazu können zum einen die ermittelten Noten mit den Noten der vorherigen Semester verglichen werden. Im Kursdurchschnitt sind die Ergebnisse insgesamt sehr ähnlich. Deutliche Qualitätsunterschiede zu den vergangenen Semestern sind damit tatsächlich nicht zu erkennen. Interessant sind jedoch die Betrachtung und der Vergleich einzelner Arbeiten. So lässt sich ein deutliches Muster hinsichtlich Struktur und Wortwahl bei den von der KI generierten Texten erkennen. Auch ist leicht ersichtlich, welche Texte seitens der Studierenden ungeprüft übernommen wurden. So fällt auf, dass z. B. bei der Frage 3a) „Beschreiben Sie die aktuelle Wachstumsphase Ihres Unternehmens […]“ in mehreren Arbeiten die Antwort „Das Unternehmen befindet sich in einer starken (oder schwachen) Wachstumsphase“ zu finden ist, obwohl bei Betrachtung der Vorlesungsunterlagen nur drei möglich Antworten in Frage kämen: 1) Pionierphase 2) Differenzierungsphase oder 3) Integrationsphase. Obwohl alle Studierenden ihre Hausarbeiten also mit Hilfe von ChatGPT erstellt haben, sind im direkten Vergleich deutliche Qualitätsunterschiede festzustellen. Es lässt sich daher festhalten, dass das erstellte Prüfungskonzept durchaus sicherstellen kann, dass eine Eigenleistung erbracht werden muss. Damit spricht zumindest in diesem Format vorläufig nichts dagegen, ChatGPT auch im nächsten Sommersemester als zusätzliche Schreibhilfe im Kurs Change Management zuzulassen.

Die Einzelergebnisse sagen jedoch noch nicht wirklich etwas über den Nutzen aus. Daher erhält die Prüfungsleistung noch eine zusätzliche Anforderung. Nach Erstellung des Fallbeispiels sollen die Studierenden ihre Arbeit mit ChatGPT reflektieren. Dabei sollen sie sich an folgenden Fragen orientieren:

1. Wie verständlich oder kompliziert war die Anwendung?
2. Wie detailliert mussten Ihre Eingaben sein?
3. Wo hatten Sie die meisten Probleme?
4. Wobei hat ChatGPT Ihnen am meisten helfen können?
5. Ist ChatGPT nützlich bei einer Hausarbeit?
6. Sollten Lehrende den Einsatz von Chat GPT erlauben (inkl. Begründung)?
7. In welchen Bereichen des Studiums können Sie sich die Nutzung von ChatGPT außerdem vorstellen (z. B. beim Erstellen von Fragekatalogen oder Zusammenfassungen etc.)?

Die anonymisierten Kernaussagen der Reflexionen werden aktuell von drei Studierenden des Kurses im Rahmen ihrer Projektarbeiten qualitativ ausgewertet. Zusätzlich erheben sie gleichzeitig auch noch quantitative Daten zur Studierendenperspektive. Nächstes Jahr werden die drei Studierenden ihre Forschung sowie konkrete Handlungsempfehlungen hinsichtlich des Einsatzes von ChatGPT in der Lehre vorstellen. Ich freue mich schon sehr auf die Ergebnisse!