Sammlung für digitales Prüfen

Ein Beitrag von Greta Lührs

Wie geht gutes digitales und anwendungsorientiertes Prüfen? In dem von uns geförderten Projekt „ii.oo“ haben sich neun bayrische Hochschulen zusammengetan, um digitale kompetenzorientierte Prüfungsformen zu entwickeln und zu erproben. Herausgekommen ist eine große Sammlung an Good-Practice-Beispielen, die auch nach Ende der Förderung nutzbar ist. Ein Chatbot hilft, das passende Format zu finden. Projektleiterin Leonie Jostock gibt im Gespräch Einblicke ins Projekt und erklärt, wieso es beim Thema Prüfen eine Bewusstseinsänderung braucht.

Aus welcher Ausgangslage heraus ist das Projekt entstanden?

Leonie Jostock: An den Hochschulen war kompetenzorientiertes Prüfen schon fest etabliert, als 2021 die Corona-Pandemie die schnelle Umstellung auf digitale Prüfungen erforderlich machte. Viele Hochschulen haben mit einzelnen Ad-hoc-Lösungen reagiert. Unser Verbund wollte diese pandemiebedingte Dynamik nutzen, um digitales kompetenzorientiertes Prüfen gemeinsam anzugehen und nachhaltig zu etablieren. Dafür haben wir den Ansatz gewählt, Good Practice-Beispiele für kompetenzorientiertes digitales Prüfen zu entwickeln, zu erproben und die Ergebnisse für möglichst viele verfügbar zu machen.

Was sind die größten Herausforderungen beim digitalen Prüfen?

Jostock: Eine große Herausforderung ist, die Infrastruktur bereitzustellen. Die technische Ausstattung ist von Hochschule zu Hochschule sehr verschieden und es werden unterschiedliche Prüfungssysteme genutzt. Zum anderen ist die Frage, wie man sich gegen Täuschungen absichert, sehr zentral – gerade bei Fernprüfungen. Aber auch auf Seite der Lehrenden gibt es Herausforderungen: Viele sind noch nie mit digitalen Prüfungstools in Berührung gekommen und brauchen Unterstützung, um digital prüfen zu können.

Das Projekt "ii.oo"

„ii.oo – Digitales kompetenzorientiertes Prüfen implementieren“ ist ein Verbundprojekt neun bayrischer Hochschulen unter der Federführung der Hochschule München und wird im Rahmen der Ausschreibung „Hochschullehre durch Digitalisierung stärken“ noch bis Ende Dezember 2025 von uns gefördert. Gemeinsam mit dem Hochschulforum Digitalisierung ist eine Ausgabe der Publikation „Blickpunkt“ entstanden, in der das Projekt und einzelne Good Practice-Beispiele vorgestellt werden.

Was macht ein Good Practice-Beispiel für digitales Prüfen aus und wie kamen Sie an die Beispiele?

Jostock: Für uns zeichnen sich Good Practices dadurch aus, dass sie die Kompetenzentwicklung fördern, praxisnahe Aufgaben stellen und auch digitale Tools beziehungsweise Prüfungssysteme sinnvoll einsetzen. Wir haben zu Projektbeginn Lehrende akquiriert, die Lust auf digitales Prüfen hatten, die etwas Neues ausprobieren und auch ein wenig experimentieren wollten. Letztendlich haben wir mit 56 Lehrenden zusammengearbeitet und sie darin unterstützt und begleitet, ihre digitalen Prüfungsformate weiterzuentwickeln. Die Gruppe der Lehrenden war sehr heterogen: Einige hatten noch nie digital geprüft. Andere hatten schon viel Erfahrung und wollten noch einen Schritt weiterkommen und haben dann zum Beispiel mit KI experimentiert. Insgesamt haben wir mehr als 380 Prüfungen durchgeführt und evaluiert.

Können Sie uns ein Good-Practice Beispiel nennen?

Jostock: Ein Lehrender an der Hochschule München hat zum Beispiel im Fach Simulation mechatronischer Systeme eine fachspezifische Software (MATLAB) in unser hochschulweites Prüfungsframework (EXaHM) eingebunden. Dadurch konnten Studierende in der Prüfung mit einer Software arbeiten, die sie auch später im Berufsalltag anwenden werden – aber eben in einem abgesicherten Modus. Im Laufe der viereinhalb Jahre kam dann KI vermehrt auf und war plötzlich überall. Da hat er reflektiert: Meine Studierenden werden auch im Beruf später KI einsetzen, wie kann ich das in meine Prüfung integrieren? Das hat dazu geführt, dass er ein KI-Tool (ChatGPT) über die Open-Source-Schnittstelle HAWKI und EXaHM in die Prüfung eingebaut hat. Die Benutzung des KI-Tools in der Prüfung war den Studierenden freigestellt, da alle Aufgaben grundsätzlich auch ohne KI lösbar gewesen wären, es haben sich aber alle Studierenden für die Nutzung des Tools während der Prüfung entschieden.

Sie haben kürzlich den Chatbot Tio für Lehrende veröffentlicht – was ist seine Funktion?

Jostock: Tio hilft Lehrenden bei der Auswahl des richtigen Prüfungsformates und soll dadurch unsere Good Practices besser zugänglich machen. An dem Chatbot haben wir circa acht Monate gearbeitet, arbeitspaketübergreifend, also wirklich alle waren beteiligt. Darin bündeln sich noch einmal unsere Projektergebnisse.

Was wird aus Tio nach Ende des Projekts?

Jostock: Wir arbeiten eng mit dem Kompetenzzentrum Digitales Prüfen hier an der Hochschule München zusammen, das versteht sich im Bereich digitales Prüfen als Dienstleistungszentrum für und strategischer Partner zur Weiterentwicklung und Pilotierung alle bayrischen HAWs. Die übernehmen Tio und haben die Absicht, ihn weiterzuentwickeln. Insgesamt haben wir sehr viel Material erarbeitet wie Leitfäden, Checklisten, Handreichungen und das wird und wurde auch bereits ins Onboarding für Neuberufene integriert – die sind ja eine sehr wichtige Zielgruppe für unser Thema. Unsere Lehrenden werden ihre Good Practices weiter nutzen und auch an ihren Hochschulen verbreiten. Durch Schulungsangebote wollen wir sicherstellen, dass die Lehrenden auch langfristig als Multiplikator:innen fungieren. Dazu gibt es auch einen Arbeitskreis mit dem BayZiel. Uns ist wichtig: Es gibt im Bereich digitales Prüfen schon total viel – ich muss als Lehrende nicht bei null anfangen – und auch für Hochschulen gibt es schon vieles, das sich adaptieren lässt.

Zur Person

Leonie Jostock

Arbeitet in der Stabsabteilung Innovative Lehre an der Hochschule München. Sie leitet das Projekt „ii.oo“ operativ und ist unter anderem verantwortlich für die Kommunikation, die Budgetierung sowie die Projektevaluation.

Eines Ihrer Projektziele ist, die Haltung gegenüber digitalem Prüfen positiv zu verändern. Das klingt schwer greifbar, wie sind Sie das angegangen?

Jostock: Wir vertreten in dem Projekt die Haltung, dass beim Prüfen das Zeigen authentischer Leistung im Vordergrund stehen sollte und nicht das Schummeln. Eine Arbeitsgruppe im Projekt hat eine Interviewstudie mit Studierenden und Lehrenden durchgeführt. Anhand der Ergebnisse haben die Kolleg:innen eine Typologisierung von Studierenden- und Lehrendentypen abgeleitet. Was wir davon mitnehmen und was wir auch nach dem Projektende weitergeben wollen, sind Handlungsempfehlungen zur Selbstreflexion. Also, dass ich mir als Lehrende meine Studierendenschaft anschaue und überlege, wer sitzt da eigentlich vor mir? Was bringen die mit? Wie lernen die? Und wie kann ich mich darauf einstellen? Vor allem durch diese Selbstreflektion können, so hoffen wir, Haltungsänderungen entstehen. Aber es bleibt ein ambitioniertes Ziel, das in vier Jahren nicht erreichbar ist, da muss eine Bewusstseinsänderung stattfinden.

Wie ist denn die Akzeptanz der Lehrenden gegenüber digitalen Prüfungen momentan Ihrem Eindruck nach?

Jostock: Wir sind natürlich biased, wir arbeiten fast ausschließlich mit Menschen zusammen, die ein hohes Interesse am digitalen Prüfen haben. Ich nehme es aber so wahr, dass in den Hochschulen inzwischen angekommen ist, dass sich die Prüfungskultur verändern muss, weil die Welt sich verändert. KI bestätigt uns darin, anwendungsorientiert zu prüfen und erfordert, dass kritisches Denken, Problemlösefähigkeit und auch ein verantwortungsvoller Umgang mit der Technologie in den Vordergrund gestellt werden. Wir glauben dabei nicht, dass jede Prüfung digitalisiert werden muss. Man sollte sich immer fragen, wo es sinnvoll ist, digital zu prüfen und wo nicht. Insgesamt nehme ich die Entwicklung aber als sehr positiv wahr und denke, dass es uns mit dem Projekt gelungen ist, Aufmerksamkeit für das Thema und auch mehr Akzeptanz zu generieren.