Lecture 6: Quality Assurance, Adaptive Assessment Flashcards
What are attributes of good items and assessment and what are quantitative and qualitative methods to evaluate the quality .
Qualitätsmerkmale einer guten Aufgabe:
1. Liefert zuverlässige Daten über die Fähigkeiten/Kompetenzen des Prüflings.
2. Erfordert keine versteckten Fähigkeiten oder Eigenschaften.
3. Wird von kompetenten Prüflingen besser bewältigt als von weniger komponenten Prüfunglingen
- Qualität am besten durch tatsächliche Nutzung feststellen
Quantitative Methoden:
- Difficulty: Dies bezieht sich auf die Lösungswahrscheinlichkeit einer Aufgabe. Eine ideale Schwierigkeit liegt im Bereich von 0.4-0.8, wobei Aufgaben im mittleren Bereich (etwa 0.5-0.6) als optimal gelten (p = # correctly_answered/ # students).
- Discriminatory Power: Diese Methode hilft dabei zu bestimmen, ob gute Testteilnehmer tatsächlich besser abschneiden als schlechte. Werte zwischen -1.0 und 1.0 sind üblich, wobei Werte um 0.3 oder höher optimal sind.
- Closed Items: Bei Multiple-Choice-Aufgaben ist es wichtig, die Frequenz der Auswahl von Distraktoren zu analysieren. Extreme Werte können auf Probleme mit der Aufgabenqualität hinweisen.
- Cloze Texts: Bei Lückentexten wird die Discriminatory Power jedes Eingabefeldes bewertet. Dies hilft zu erkennen, wie gut jede Lücke im Text die Gesamtbewertung des Testteilnehmers widerspiegelt.
Qualitative Methoden:
- Expertenanalyse für offene Fragen: Hierbei werden die Antworten der Testteilnehmer von Fachleuten untersucht, um Missverständnisse oder häufige Fehler zu identifizieren.
- Erklärbarkeit und Interpration: Die Antworten der Testteilnehmer werden auf ihre Nachvollziehbarkeit überprüft. Das Feedback, das den Testteilnehmern gegeben wird, sollte auch interpretiert und analysiert werden, um seine Effektivität zu bewerten.
Explain the principles and the prerequisites for adaptive assessment
Principles:
- Nicht alle Prüflinge erhalten denselben, festen Satz von Aufgaben.
- Dynamische Auswahl der nächsten Aufgabe basierend auf den vorherigen Ergebnissen des Prüflings.
- Einfacher Mechanismus: Bei einer falschen Antwort folgt eine einfachere Aufgabe. Bei einer richtigen eine schwierigere.
Prerequisites:
- Ein sehr großer Aufgabenpool.
- Bekannte Schwierigkeitsgrade für alle Aufgaben.
- Die Aufgaben sollten alle Leistungsstufen der Prüflinge abdecken.
Name different approaches for adaptive assessment.
Beim adaptiven Assessment sind der Schwierigkeitsgrad jeder Aufgabe und das Terminationkriterium entscheidend.
Difficulty: Wichtig zu wissen für jede Aufgabe (Rasch-scaled Aufgabenpool: Mathematische Methode zur statistischen Schätzung von Schwierigkeit und Können)
Terminationskriterium: Entweder Fixed Number of Items oder wenn gain of knowledge wird nicht mehr, deswegen frühzeitiger Abbruch)
