Achtung:

Sie haben Javascript deaktiviert!
Sie haben versucht eine Funktion zu nutzen, die nur mit Javascript möglich ist. Um sämtliche Funktionalitäten unserer Internetseite zu nutzen, aktivieren Sie bitte Javascript in Ihrem Browser.

Info-Icon This content is not available in English
Show image information
Show image information
Show image information
Show image information
Show image information

Good Practice Prüfungen - Onlinetests in der Mathedidaktik

1. Anzahl der TN

Eignungsprüfungskurs für Personen ohne allgemeine Hochschulreife (ohne Abitur), dreiteilig in Hauptfächer gegliedert. Sehr unterschiedliche Aufstellung der TN, ländlicher Wohnort dadurch schlechter Zugang zu schnellen und stabilen Internet, hat den Kurs auch mitbestimmt, vorher geplanter Prüfungsform zum Teil durcheinander geworfen.
19 TN haben die Klausur geschrieben, angemeldet im Kurs waren 45 Personen, aber vermutlich durch Corona haben nicht alle mitgeschrieben.
Aufgrund der insgesamt kleinen TN-Zahl, konnten zusätzliche Angebote im Rahmen der Klausur durchgeführt werden konnten, die sonst nicht möglich gewesen wären.

2. Prüfungsformat (Klausur, ganztägig, fester Termin …)

Entscheidung für schriftliche Klausur und gegen mündlichen Prüfungen, um ein größeres Aufgabenfeld innerhalb der Zeit abzufragen.
Durch die Sonderstellung der Prüflinge zur Bewerbung um einen Studienplatz, kann es sein, dass einzelne Fakultäten die Klausurergebnisse bzw. die Elemente der Prüfung erfragen. Daher bietet eine schriftliche Prüfung ein besserer Überblick, um bei späteren Fragen genauer die Note erklären zu können.
Klausur, zu einem festgelegten Termin, um keine Überschneidung mit anderen Eignungsprüfungskurs zu haben. Erster Termin am Montag, Umfang von 90 min, zwischen 9-11 Uhr konnte die Klausur gestartet werden, aber alle hatten max. 90 min. Zeit für die Beantwortung.
Gerade bei technischen Problemen hatte man dadurch einen Puffer, späteres Anmelden war dadurch kein Problem.
Es war eine Klausur, die alleine ohne Unterstützung durch SHK durchgeführt wurde.

3. Software (z.B. PANDA-Test oder PANDA-Aufgabe; BBB, Jitsi ...)

Klausur wurde in Panda mit Hilfe der Aktivität „Test“ durchgeführt. Panda-Test über Feedback wäre auch gegangen, aber der Panda-Test hat mehr gewünschte Antwortformate gegeben als das Feedback, Stack wurde nicht benutzt.
Automatische Bewertung von Antworten innerhalb der „Test“ ist relativ rudimentär und sehr fehlerintensiv (Komma statt Punkt oder andere Schreibweise für Punktkoordinaten werden falsch ausgegeben, wenn es vorher nicht berücksichtig wird).
Großen Problem hinsichtlich der Mathematik, es lassen sich nur Endergebnisse und Begründungen gut im Test oder anderen Prüfungsformaten abfragen lassen. Rechenwege können nur mit Latex-Kenntnis der Prüflinge in einer vernünftigen Form eingegeben werden. Diese Eingaben alleine kosten mehr Zeit und entsprechende Kenntnisse sind nicht für den Kurs vorausgesetzt.
Sollten Online-Prüfungen weiterhin benötigt werden, dann lieber auf Stack gehen, auch wenn dies mehr Arbeit bedeutet.
Vorteil der Testfunktion, wurden die TN auf Grund technischer Probleme rausgeworfen, konnten die Antworten zwischengespeichert werden. In diesem Fall kann ein Neuversuch gegeben werden, damit sie danach einfach dort weitermachen können, wo sie vorher aufgehört haben. Dies stellt mehr Sicherheit für die Studierenden dar. Ähnliches gilt bei dem oben erwähnten eingeplanten Puffer.
Kollegen haben ihre Klausuren mit eingeschalteter Kamera der TN geschrieben, damit überprüft werden kann, dass die TN die Aufgaben selbst lösen. Erhöht die Sicherheit, wenn man sich aber geschickt anstellt, kann trotzdem geschummelt werden. Im vorliegenden Beispiel wurden die Kameras ausgeschaltet, Vertrauen auf die TN war vorhanden
Browserlösungen (z.B. Safe Exam Browser) zur Überwachung waren keine Alternative, da es einerseits nicht mit Apple-Systemen funktioniert und andererseits Lösungen immer noch mit einem anderen Gerät z.B. Handy nachgeschaut werden können.

4. Aufwand in der Vorbereitung (inhaltlich und technisch)

Es war die erste Online-Klausur, hat relativ gut funktioniert. Geschätzter Aufwand für mich war mittel, für Neulinge sicherlich eine größere Herausforderung. Einige Funktionen hinsichtlich der Beantwortung von Fragen in Panda war schon bekannt und konnten für den Zweck adaptiert werden.

Testklausur für sich selbst in einem separaten Pandaraum erstellt, um

  • Probleme zu erkennen,
  • alles zu testen,
  • die Klausur durchzuspielen,
  • ohne das Studierende etwas davon mitbekommen.

Man muss sich aber vorher Gedanken machen, was abgefragt werden soll und welcher Fragetyp dann dazu passt. Nicht jeder Typ passt und nicht alles kann online umgesetzt werden.

Beispiel: Vektoren lassen sich in Panda sehr schwer darstellen, auf dem Papier aber kein Problem. Wenn es in Panda gemacht wollen, dann muss Latex genutzt werden. In diesem Kurs Matrizen als Hilfsmittel genutzt, hat funktioniert, aber die Darstellung war nicht optimal.

Die TN sollten Zugriff auf eine Probeklausur haben, damit sie die Frageformate und mögliche Antworteingaben testen und einüben können. Das Entwerfen einer geeigneten Probeklausur mit leichten Testfragen kostet noch einmal etwas Zeit.

5. Wie haben Sie sich selbst vorbereitet (Panda-Seminar, Checkliste, Beratung)

Hilfe durch UPB konnte nicht genutzt werden, da der Vorbereitungs-Prüfungskurs in Panda noch nicht stand und die eigentliche Klausur war bereits fertig konzipiert. Sprechstunde vom Kompetenzteam war ok, bei konkreteren Fragen konnte nicht wirklich geholfen werden. Hier waren die Probleme zu mathematikspezifisch, z.B. wie können Matheaufgaben (Vektoren) im Panda-Test abgebildet werden, diese Fragen konnten dann nur schlecht beantwortet werden.

Weiteres Problem: auch einfache Dinge konnten in Panda nicht umgesetzt werden. Wünschenswert wäre gewesen, dass einzelne Fragen verpflichtend ausgefüllt werden müssen, im Test konnte das nicht anlegen werden.

6. Betreuung der Prüfung (alternatives Programm, Erreichbarkeit während der Prüfung …)

Verständnisfragen kommen immer mal wieder auf, daher parallel einen BBB-Raum laufen gelassen, TN konnten sich einklinken und Rückfragen stellen. Mindestens drei Leute haben das Angebot genutzt.

7. Aufwand (gespart) beim Korrigieren

Wenn man nur die Panda-Eingaben (Endergebnisse von Rechnungen) korrigiert, dann wird der Aufwand kleiner. Es muss z.B. nur noch die automatische Bewertung von Aufgaben überprüft werden. Die kompletten Rechnungen mit Rechnungsweg fehlen dabei und können in Panda nur mit Hilfe von Wissen über Latex eingegeben werden. Da dies nicht Bestandteil des Kurses ist und auch verhältnismäßig lang dauert, kann entsprechendes nicht abgebildet werden.

Da kleinere Rechenfehler somit zum vollständigen Punktabzug geführt hätten, konnten die TN im Anschluss an die Klausur (ca. 1. Stunde lang) ihre Mitschriften einscannen/abfotografieren und an den Dozenten per Mail/cloudupload oder Panda-Abgabe schicke.

Hälfte der TN haben dies gemacht und dadurch insgesamt gesehen mehr Punkte bekommen. à ungefähr selber Aufwand zu einer Papierklausur.

8. Welche Probleme gab es?

Während der Klausur sind keine aufgefallen. Bei der automatischen Bewertung ist aufgefallen, dass eine Antwort falsch einprogrammiert wurde. Dies müsste Rückwirkend geändert werden und hat ohne Probleme geklappt.
Was geholfen hat war, dass im Vorfeld fünf Fragen beispielhaft als Probeklausur angeboten wurden und die TN dadurch üben konnten.

9. Wie haben Sie sich auf Ausfälle / Probleme vorbereitet?

Verschobene Startzeiten für technische Probleme,

Bei Panda-Problemen hätte die Klausur per Email als Word-Datei zugeschickt werden können, wäre einzige Alternative gewesen.

10. Haben Sie Feedback von den Studierenden auf die Prüfungen bekommen?

Nein.

11. Was hätten Sie gerne vor der Durchführung der ersten Online-Prüfung gewusst?

Eigentlich nicht viel, da schon einzelne Erfahrungen mit Panda bestanden haben. Der Umstieg fiel nicht ganz so schwer.

Informationen zu Umsetzung von Ideen in Panda, Frageformen, Möglichkeiten etc. wären wünschenswert, aber die Umsetzung, gerade für einzelne Kurse, ist schwierig. Muss man selbst ausprobieren und sehen, was genutzt werden kann.

12. Planen Sie einen dauerhaften Einsatz von Online-Prüfungen, eine Mischform oder die Rückkehr zur Präsenzprüfung – Was ist für die Entscheidung ausschlaggebend? Anzahl der Prüflinge, Raumproblematiken, …

Tendenziell wieder zurück zur Präsenzklausur, da bei der Mathematik die Rechnungen und der Rechnungsweg wichtig sind und dies bei Panda schwierig abzubilden ist. Ebenso kann leichter gegen Täuschungsversuche entgegengewirkt werden.
Regelungen zu Fehlversuchen fallen ebenso wieder weg, wenn alles wieder in Präsenz stattfindet.

13. Wie haben Sie die Klausureinsicht geregelt, bzw. wurde Einsicht angefragt?

Ja, gab es. Individuelle Klausurbesprechung wird angeboten, wurde einmal angefragt.

14. Wie speichern/archivieren Sie Ihre Prüfung?

3-4 Varianten von Panda verwendet, um auf Nummer sicher zu gehen.

Aufbewahrungspflicht 5 Jahre, unklar wo diese Online-Prüfungen zentral gelagert werden sollen. Momentan wird auf Festplatten gespeichert, um langfristig aufzubewahren. Der Wunsch nach einer universitätsweiten Lösung wie etwa auch bei Papierklausuren im Lager ist vorhanden.

15. Gab es Sonderfälle (Nachteilsausgleich, technische Probleme, Barrierefreiheit …) und wie sind Sie damit umgegangen – Härtefallregelung

Keine technischen Probleme, TN waren relativ pünktlich da. Nachteilsaugleiche wurden nicht angefragt.

16. Haben Sie Täuschungsversuche festgestellt? Konnten Vorkehrungen getroffen werden, damit es keine Versuche gegeben hat?

Kameras waren aus, schaut man sich die Ergebnisse an, dann kann Betrug ausgeschlossen werden. Eigenanteil der TN war gefordert, aber es kann nicht komplett ausgeschlossen werden, das jemand versucht hat zu täuschen. Online-Tools können immer genutzt werden, das bleibt nicht aus. Die Kontrolle der TN bei Online-Prüfungen ist relativ schwierig, bei Papierklausuren ist das einfacher. Bei mündlichen Prüfungen kann anders kontrolliert werden, aber das war hier nicht der Fall.

17. Wie sind die Ergebnisse des digitalen Semesters im Vergleich zu vorher zu sehen? War das Semester so gut wie immer, besser, schlechter – könnte es am Prüfformat oder an der digitalen Lehre im Vorfeld liegen?

Schwierig einzuschätzen, da die TN unterschiedlich sind. Bestehensquoten sind ähnlich wie zuvor. Ist schwierig einzuschätzen, ob die Klausur leichter oder schwerer war, da nicht alles wie vorher übernommen werden konnte, da Panda es nicht abbildet. Generelle Einschätzung: Ergebnisse waren ungefähr gleich, ggf. etwas schlechter, dies kann aber an den TN gelegen haben. Es ist auch möglich, dass die Online-Lehre nachteilig für die TN waren, da mehr Eigenverantwortung nötig ist. Übungen etc. wurden zwar auch durchgeführt, aber weniger verpflichtend, als (freiwillige) Vorlesungen und Übungen in Präsenz. Ebenfalls ist das Online-Format ist für die meisten neu.

18. Welche Tipps würden Sie Kollegen geben?

Definitiv eine Übungsklausur bzw. Aufgabe zu Probe den TN bereitstellen, damit diese auch wissen, was auf sie zukommt.

Transparent mit den TN umgehen und zeigen, wie die Bewertung durchgeführt wird. Ebenso alle an Panda ranführen und viel Hilfe anbieten, so dass die Studierenden bei der Vorbereitung und Durchführung unterstützt werden.

19. Gibt es noch etwas, was Sie uns mitteilen möchten?

Bereits einige Punkte genannt, was nicht so gut funktioniert hat. Bei der ersten Welle der Online-Klausuren sollten die großen Klausuren nicht parallel laufen. Ist es sinnvoll, vom IMT eine Liste zu bekommen, wo die anderen Tests zu sehen sind? àPrüfungskalender ist mittlerweile im Einsatz

Contact

Ralf Nieszporek

FG Didaktik der Mathematik > AG Biehler

Ralf Nieszporek
Phone:
+49 5251 60-1839
Fax:
+49 5251 60-3643
Office:
J2.241
Web:

The University for the Information Society