Klausur (Schriftliche Prüfung) mit PANDA/Moodle-Tests

Kurzbeschreibung

Die Prüfung wird von den Lehrenden direkt in PANDA mit der Aktivität Test erstellt. Dort wird sie den Studierenden zu einem bestimmten Zeitpunkt, in der Regel mit einer zeitlichen Begrenzung, zur Verfügung gestellt und von den Studierenden in PANDA online bearbeitet.

Es sind diverse Formate von Freitextfragen über Zuordnungsfragen bis hin zu MC-Fragen und Fragen im Drag- and-Drop-Format möglich. Es gibt auch offene Antwortformate mit denen kleine Essays umsetzbar sind. Achten Sie bei der Erstellung darauf, dass auf jeder Seite nur eine Frage zu sehen ist, da dadurch die Ergebnisse beim Wechsel zur nächsten Frage gespeichert werden.

Vorteile

• Bei geschlossenen Antwortformaten kann die Auswertung automatisiert erfolgen. Die Ergbnisse müssen vom Prüfenden nochmals vor Notenbekanntgabe überprüft werden.
• Wir empfehlen die Nutzung des Safe Exam Browser. Dieser verhindert, dass andere als die erlaubten Programme am Computer genutzt werden können. Eine Beispielkonfiguration könnte die Moodle Nutzung in einem Browser sein und zusätzlich Excel für die Aufgabenbearbeitung freischalten. 
• Im Test können Bilddateien, Videos, Audiodateien oder andere Dateien (z.B. Excelfiles) zur Verfügung gestellt bzw. eingeblendet werden.
• Es können offene Fragen verwendet werden, in denen z.B. ein Fallbeispiel analysiert werden kann.
• Über Optionen wie der Kombination von Zufallsauswahl der Fragen, Zufallsreihenfolge beim Zusammenstellen der Prüfung, vorgegebene Bearbeitungszeit und festgelegte Bearbeitungsreihenfolge kann die Wahrscheinlichkeit von Täuschungen deutlich minimiert werden.
  • Für die Benutzung von Zufallsfragen sollten Kategorien und Schlagwörter bei der Testfragenerstellung genutzt werden.
• Bei berechneten Fragen erhält jeder Studierende eigene Zahlenwerte.
• Dauerhaft können frühere Klausurfragen einfach in den Kursen als Probeklausuren eingesetzt werden.
• Über die Aktivität Studentquiz können auch Studierende Testfragen entwickeln, die ggf. in Klausuren oder zu formativen Assessments eingesetzt werden können.

Stolpersteine

• Bei längeren Freitextantworten empfiehlt es sich in Word vorzuschreiben oder die Antwort zu kopieren bevor zur nächsten Frage gewechselt wird, da die getippte Antwort im Fall einer Internetunterbrechung verloren ist.
• Gute Multiple-Choice-Fragen zu erstellen ist aufwändig, da alle Antwortalternativen plausibel erscheinen müssen und reine Wissensfragen ggf. schnell im Internet recherchierbar sind. Beim Erstellen von MC Fragen, insbesondere der Antwortalternativen kann die Nutzung von KI hilfreich sein.
• Es ist zu bedenken, dass MC-Fragen nach der Prüfungseinsicht möglicherweise unter den Studierenden kursieren. Im Sinne der Fairness sollten die Fragen nur einmal verwendet werden. Daher werden pro Prüfungstermin neue Fragen erstellt oder es muss mit einem großen Fragenpool gearbeitet werden, aus dem Zufallsfragen gezogen werden.

mögliches Vorgehen (inkl. Tools)

• Testfragen für eine Probeklausur erstellen und diese Probeklausur mit den richtigen Testbedingungen durchführen (Testlänge, Fragenverhalten, Blättern im Test, Auswertung). Anleitung im Hilfe-Wiki
• Testfragen für richtige Klausur erstellen, zu einem Test zusammenfügen und von Lehrenden durchführen lassen um die Einstellungen in den Fragen, sowie deren Verständlichkeit zu kontrollieren.
• Nach dem Probedurchlauf der Lehrenden entsprechende Anpassungen vornehmen (sollen Fragen hinzugefügt, getauscht, entfernt werden Test vorher duplizieren, da ein Test mit Versuchen nicht mehr inhaltlich angepasst werden kann).
• Testdurchführungen grundsätzlich beim IMT melden, damit
  • keine außerplanmäßigen Updates installiert werden
  • es nicht zu einer Überlastung der Server (parallel zu viele große Prüfungen) kommt. (An einer Prüfung sollen nicht mehr als etwa 1000 Personen gleichzeitig teilnehmen: Gegebenenfalls müssen mehrere Zeitfenster zu einem Prüfungstermin angeboten werden)
• Die Testöffnung und das Schließen des Tests sollte ein deutlich größeres Zeitfenster umfassen als die Prüfung, damit die Studierenden leicht zeitlich versetzt beginnen können. So kann einer eventuell möglichen Überlastung der Server entgegengewirkt werden. Die Prüfungszeit für die Studierenden ändert sich dadurch nicht, da die Zeit individuell bei Beginn zu laufen beginnt.
• Einblenden eines Infotextes bei Prüfungsstart, in dem auf die besonderen Bedingungen hingewiesen wird (Selbständigkeitserklärung, Vorgehen bei technischen Problemen, Konsequenzen bei Täuschungsversuchen, …)
• Bei Schwierigkeiten, kann
  • eine individuelle Verlängerung eingestellt werden, solange der Test noch nicht abgegeben wurde.
  • ein zweiter Testversuch eingestellt werden, der auf dem vorhergehenden Versuch beruht, so dass der Test nach einer Unterbrechung des Netzes wieder aufgenommen werden kann
• Nach dem Test müssen Freitextfragen manuell ausgewertet werden.
• Nach dem Test sollten zudem die Ergebnisse kontrolliert werden und ggf. Gewichtungen von Fragen angepasst werden.
  • Kontrolle der automatischen Auswertung durch Moodle, so kann z.B entschieden werden, ob Vertipper bei ShortAnswer Fragen als richtig oder teilrichtig gewertet werden.
  • Ob eine Frage von den Studierenden besonders gut oder auch besonders schlecht beantwortet wurde und ggf. ausgebessert werden muss kann in der Auswertungsübersicht auf einem Blick erkannt werden.
  • In der Statistik sollte kontrolliert werden, ob es statistische Ausreißer gibt, der "Discrimination Index" gibt z.B. an, wie „gut“ eine Frage in Bezug auf den gesamten Test ist oder der "Leichtigkeitsindex" zeigt für jede Frage an, wie leicht diese ist
• Die Ergebnislisten und Klausurausdrucke (PDF) müssen eigenständig exportiert werden.
• Bekanntgabe der Ergebnisse auf dem üblichen Weg (PAUL). Die Pflicht zur Archivierung der Prüfungsarbeit (ca. 3 Jahre, siehe Archivierungsverordnung) liegt weiterhin auf Seiten der Lehrenden.

Weitere Tipps zur Erstellung von Tests mit PANDA (Moodle): https://www.uni-paderborn.de/lehre/corona-lehre/digitale-pruefformate/tipps-fuer-tests-mit-panda

Didaktisch zu beachten

Neben Wissensfragen sind mit Multiple-Choice-Fragen auch Verständnis-, Anwendungs- und Analysefragen möglich. Grundsätzliche Hinweise zum Erstellen von MC-Prüfungen und zur Konstruktion von kompetenzorientierten MC-Fragen finden Sie im Infopool der Universität Wien: https://infopool.univie.ac.at/startseite/pruefen-beurteilen/

Bei Distanzprüfungen zu beachten:

• Technische Probleme (z. B. aufgrund mangelnder Netzstabilität auf Seiten der Studierenden) sind bei dieser Methode eher möglich und können zu einem ungewollten Prüfungsabbruch führen. Es müssen daher telefonische Kontaktmöglichkeit zum Prüfer / zur Prüferin angegeben werden.
• E-Mail, Chat oder Telefonhotline der Prüfungsverantwortlichen als Kommunikationsmöglichkeit bei Rückfragen nennen.
• Es empfiehlt sich, für eine beispielsweise 60 Minuten dauernde Prüfung 15 Minuten mehr Zeit zu geben, damit Studierende ggf. technische Probleme lösen können.