Lecture 5: Item Design Generation

Question 1

Classify and create learning outcomes according to Bloom’s taxonomy.

Answer 1

Bloom‘s Revised Taxonomy.

Ein höheres Niveau (tieferes Verständnis) hängt von Vorkenntnissen auf niedrigeren Ebenen ab.

Kognitiver Prozess und Key Actions von Blooms revised Taxonomie
Creating: Vorhersagen, Modifizieren, Entwerfen
Evaluating: Kritisieren, Hypothesen aufstellen, Schlussfolgern
Analysing: Muster erkennen, Beziehungen erkennen, Vergleichen
Applying: Demonstrieren, Veranschaulichen
Understanding: Interpretieren, Zusammenfassen, Erklären
Remembering: Auflisten, Definieren, Beschriften

Question 2

How can we develop item design systematically?

Answer 2

Learning Contents:
* Fakten
* Konzepte
* Prinzipien
* Verfahren
des Wissensgebietes

Kognitive Operationen:
=> Blooms Taxonomie

Question 3

How do you design high-quality multiple choice questions?

Stem = (Context Information, Question)

Answer 3

Stem Design:
1. Berücksichtige relevante Lernziele.
2. Verwende klare, präzise Sprache.
3. Stelle eine einzelne, klare Frage.
4. Lasse irrelevanten Inhalt & verbale Hinweise weg.
5. Nutze Negationen vorsichtig; keine doppelten Verneinungen.

Option Design:
1. Beginne mit der richtigen Antwort, dann 2-4 plausible distractors.
2. Nutze häufige Missverständnisse als distractors.
3. Vermeide Absoluta (z.B. “immer”, “nie”) und Optionen wie “All of the Above”.
4. Halte Antworten in ähnlicher Länge.
5. Variiere die Position der richtigen Antwort.

Allgemeine Tipps:
- Kläre den Kontext in der Einleitung.
- Stelle sicher, dass Fragen kurz sind und dem Inhalt entsprechen.

Question 4

Give some points that are unintended hints and can be probably solved by test wiseness?

Answer 4

1. Längste & spezifischste Antwort:
   Oft => correct
2. Technische und fachliche Begriffe aus der Frage wiederholt:
   => correct
   (z.B. “Photosynthese” in Frage & Antwort)
3. Vage Formulierungen:
   => correct
   (z.B. “könnte wahr sein”)
4. Absoluta (z.B. immer, nie):
   => incorrect
5. Zwei widersprüchliche Antworten:
   Rest => incorrect
6. Negativ klingende Aussagen:
   => incorrect (z. B. “sollte vermieden werden”)
7. Grammatikfehler oder Logik nicht passend:
   => incorrect
   (z.B. Frage im Singular, Antwort im Plural)

Question 5

What is the significance of large item pools in assessments and the challenges of manual item creation? Describe the basic concepts of item structure.

Answer 5

• Bedeutung von großen Item-Pools:
  
  • Summative assessments: Verhindert Betrug
  • Adaptive and Formative assessments: Items werden nicht wiederholt, Verbesserte Kalibrierung
• Herausforderungen bei manueller Item-Erstellung: Zeitaufwändig, Eintönig, Fehleranfällig, Benötigt möglicherweise häufige Updates (z.B. Bevölkerung eines Landes)
  Item Struktur Grundlagen:
  
  • Pädagogischer Zweck: z.B., Analyse von elektrischen Schaltungen
  • Typ & Struktur: z.B., Multiple Response mit vier Optionen
  • Fixed & Variable Elemente
  • Domain: z.B., Elektrotechnik
  • psychometric Eigenschaften: Schwierigkeit und kognitive Komplexität

Question 6

What is the item model approach for item generation and how can you classify items according to it?

Answer 6

• Approach: Der Ansatz basiert darauf, Fragen mechanisch mithilfe von “Templates”, zu generieren.
• Stem Types: Hier geht es um den “Stamm” einer Frage, also den Hauptteil ohne die Antwortoptionen. Es gibt drei Arten, wie dieser Stamm gestaltet werden kann:
  
  1. Independent: Die Elemente des Stammes können frei ausgetauscht werden, ohne die Bedeutung der Frage zu ändern.
  2. Dependent: Das Ändern eines Elements beeinflusst andere Elemente.
  3. Fixed: Elemente bleiben immer gleich und ändern sich nicht.
• Option Types: Hier geht es um die Antwortoptionen einer Frage. Es gibt ebenfalls drei Arten:
  
  1. Randomly selected: Antwortoptionen werden zufällig ausgewählt.
  2. Constrained: Antwortoptionen werden nach bestimmten Regeln ausgewählt.
  3. Fixed: Antwortoptionen bleiben immer gleich.
• Quality Control: Wegen des mechanischen Generierungsprozesses ist es oft notwendig, dass ein Mensch die Fragen überprüft. Dies stellt sicher, dass sie relevant und angemessen schwierig sind.
• Comparison: - Item Models: Geringe kognitive Grundlage, schnell, einfach, template-basiert
  
  • Cognitive Design: Quantifiziert kognitive Komplexität

1. Item Model Approach:
   
   • Fokus: Dieser Ansatz ist technologiezentriert und basiert auf vordefinierten Vorlagen (Templates). Er ermöglicht es, Fragevarianten mechanisch zu generieren, indem man bestimmte Teile der Frage austauscht, ohne den gesamten Kontext zu ändern.
   • Vorteile: Er ist in der Regel einfacher und schneller, da er auf festen Vorlagen basiert und man große Mengen von Fragen in kurzer Zeit generieren kann.
   • Nachteile: Da er nicht unbedingt psychologische oder pädagogische Prinzipien bei der Frageerstellung berücksichtigt, können die psychometrischen Eigenschaften der generierten Fragen variieren. Dies bedeutet, dass einige Fragen zu einfach oder zu schwer sein könnten oder nicht genau das Konzept testen, das getestet werden soll. Daher ist oft eine menschliche Überprüfung oder ein Feldtest erforderlich.
2. Cognitive Design Approach:
   
   • Fokus: Dieser Ansatz konzentriert sich auf die kognitiven und psychometrischen Eigenschaften der Fragen. Er berücksichtigt, wie Menschen denken und lernen, und versucht, Fragen zu erstellen, die diese Prozesse gezielt testen.
   • Vorteile: Er bietet mehr Kontrolle über die Komplexität, den Schwierigkeitsgrad und andere psychometrische Eigenschaften der generierten Fragen. Dies führt oft zu qualitativ hochwertigeren Fragen, die genauer das testen, was sie sollen.
   • Nachteile: Dieser Ansatz ist in der Regel komplexer und erfordert ein tiefes Verständnis der zu testenden Domäne und der psychologischen Prinzipien des Testens und Lernens. Dies kann den Prozess der Frageerstellung verlangsamen und erfordert oft Expertise in Psychologie oder Pädagogik.

Vergleich: Während der “Item Model Approach” eine schnelle und einfache Methode zur Erstellung von Fragen bietet, fehlt ihm die Tiefe und Genauigkeit des “Cognitive Design Approach”, der sich auf die Qualität und Relevanz der Fragen konzentriert. Welcher Ansatz gewählt wird, hängt oft vom Kontext, den Anforderungen und den verfügbaren Ressourcen ab.

Question 7

What is the process for automatic item type generation?

Answer 7

1. Domänenmodell konstruieren (Manueller Schritt)
2. Itemvorlage mit Platzhaltern definieren (Manueller Schritt)
3. Eingabe (Artefakt oder Datensatz) bereitstellen (Manueller Schritt)
4. (Zufalls-)Auswahl aus Eingabe treffen (Automatischer Schritt)
5. Weitere (zufällige) Auswahlen treffen (Automatischer Schritt)
6. Berechnen oder Ableiten der restlichen Werte (Automatischer Schritt)