Vorlesung 5

Question 1

Definieren Sie Validität.

Answer 1

Maß der Gültigkeit eines Erhebungsverfahrens: Wird inhaltlich tatsächlich das Zielkonstrukt erfasst?

• der Validität kommt unter den Gütekriterien letztlich die wichtigste Bedeutung zu (und sie ist am schwierigsten zu prüfen)
• von der Art des Zielkonstrukts hängt ab, welche Verfahren der Validitätsprüfung geeignet sind
• die Validität lässt sich nicht anhand eines einzelnen Kennwerts beschreiben
• Validierung als Prozess

Question 2

Nennen Sie die unterschiedlichen Arten von Validität.

Answer 2

• Inhaltsvalidität
• Kriteriumsvalidität
• Konstrukvalidität

Question 3

Beschreiben Sie die Inhaltsvalidität

Answer 3

• Die Testaufgaben decken das zu erfassende Konstrukt vollständig ab; sie bilden eine solide Stichprobe der möglichen Testaufgaben.
• Inhaltsvalidität kann empirisch anhand von Expertenratings belegt werden (d.h. Experten für den Merkmalsbereich beurteilen die Aufgaben hinsichtlich ihrer Eignung).
• Hohe Inhaltsvalidität sollten z.B. auch Schulleistungstests, Klassenarbeiten etc. haben, die sich primär am Lehrplan orientieren. Überprüfung der Inhaltsvalidität: Fünf erfahrene Lehrkräfte wurden gebeten, anhand eines Kategoriensystems anzugeben, inwieweit der Lehrplan inhaltlich angemessen abgedeckt wird. Die Einschätzungen und auch die Übereinstimmung zwischen den Einschätzungen waren zufriedenstellend.

Question 4

Beschreiben Sie Kriteriumsvalidität.

Answer 4

• Die Kriteriumsvalidität wird häufig auch als „empirische Validität“ bezeichnet, da hier grundsätzlich korrelative Zusammenhänge zwischen der Testleistung und Daten betrachtet werden, die mit anderen Verfahren erhoben wurden („Kriterium“).
• Differenzierung der Kriteriumsvalidität hinsichtlich Art und Messzeitpunkt des externen Kriteriums:

​

• innere versus äußere Kriteriumsvalidität
  
  • inneres Kriterium: andere Testleistung (z.B. Modellierungsaufgaben aus dem IQB-Test zur Überprüfung des Erreichens der Bildungsstandards)
  • äußeres Kriterium: Erhebung des Merkmals mit einem anderen Messverfahren (z.B. Einschätzung mathematischer Modellierungsfähigkeit der Schülerinnen und Schüler durch ihre Lehrkräfte)
• konvergente versus divergente Kriteriumsvalidität
  
  • konvergent: gleicher Merkmalsbereich
  • divergent: anderer Merkmalsbereich

Question 5

Unterscheiden Sie innere und äußere Kriteriumsvalidität.

Answer 5

Inneres Kriterium:

• andere Testleistung
• Beispiele: Modellierungsaufgaben aus dem IQB-Test zur Überprüfung des Erreichens der Bildungsstandards

Äußeres Kriterium:

• Erhebung des Merkmals mit einem anderen Messverfahren (z.B. Einschätzung der Leistung durch Lehrkräfte)
• Beispiele: Mathematiknoten Einschätzung mathematischer Modellierungsfähigkeit der Schülerinnen und Schüler durch ihre Lehrkräfte konvergente versus divergente Kriteriumsvalidität

Question 6

Unterscheiden Sie konvergente und divergente Kriteriumsvalidität.

Answer 6

Konvergenter Merkmalsbereich

• gleicher Merkmalsbereich
• Beispiele: Modellierungsaufgaben aus dem IQB-Test, Mathematiknoten, Einschätzungen der Modellierungsfähigkeit durch Lehrkräfte etc.

​Divergenter Merkmalsbereich

• anderer Merkmalsbereich
• Beispiele: Kognitive Grundfähigkeiten / Intelligenz Reine Rechenaufgaben (vs. Modellierungsaufgaben aus dem IQB-Test)

Question 7

Unterscheiden Sie konkurrente und prognostische Kriteriumsvalidität!

Answer 7

Konkurrentes Kriterium

• zeitgleich erhobenes Kriterium
• Alle bisher genannten Kriterien

​Prognostisches Kriterium

• zu späterem Zeitpunkt erhobenes Kriterium
• Beispiele: Mathematische Modellierungsfähigkeit am Ende der Sekundarstufe II bzw. am Ende der Berufsausbildung
• Abiturnote in Mathematik
• Art des gewählten Berufs und Erfolg beim Abschluss

Question 8

Beschreiben Sie Konstruktvalidität!

Answer 8

• Ziel: theoretische und empirische Klärung dessen, was der Test erfasst
• Ein exaktes Maß bzw. einen einzelnen Koeffizienten für die Konstruktvalidität gibt es nicht. → Konstruktvalidierung als Prozess
• Beispiel: Schulleistungstests z.B. besitzen Konstruktvalidität, wenn sie curricular valide sind.
• D.h. für Schulleistungstests, die curriculare Validität anstreben, ist die Konstruktvalidität weitgehend durch die Inhaltsvalidität bestimmt.

Question 9

Wie ist die Wichtigkeit der Hauptgütekriterien aufgeteilt?

Answer 9

Question 10

Wie lauten die Nebengütekriterien?

Answer 10

1. Ökonomie: Ein Test ist ökonomisch, wenn der Ressourcenverbrauch (Zeit, Material) relativ zum diagnostischen Informationsgewinn gering ist.
2. Zumutbarkeit: Ausmaß in dem ein Test eine Testperson in zeitlicher, psychischer sowie körperlicher Hinsicht beansprucht.
3. Fairness / Differenzielle Validität: Ausmaß der systematischen Benachteiligung bestimmter Testpersonen. → Dazu gleich mehr.
4. Unverfälschbarkeit: Ein Testverfahren erfüllt das Gütekriterium der Unverfälschbarkeit, wenn es so konstruiert ist, dass die Testperson die Ausprägung ihrer Testwerte nicht durch gezielte Strategien bei der Testbearbeitung verzerren kann.
5. (praktische) Nützlichkeit: Ein Test ist nützlich, wenn er ein Merkmal misst, für dessen Untersuchung praktischer Bedarf besteht.

Question 11

Beschreiben Sie Differenzielle Validität.

Answer 11

• betrifft das Nebengütekriterium Vergleichbarkeit / Fairness
• spezifische Validität für unterschiedliche Subgruppen
• Zum Beispiel dürfte ein Mathematiktest, der nur aus längeren Textaufgaben besteht, bei Schülerinnen und Schülern mit und ohne Leseschwäche Unterschiedliches erfassen.
• Wenn ein Test bestimmte Teilgruppen systematisch benachteiligt, ist dieser Test „differenziell valide“.

Question 12

Wie sind die Effekte sprachlicher Anforderungen von Mathematikaufgaben auf Leistungen?

Answer 12