W6: Nebengütekriterien

Question 1

Repetition: Wie lässt sich das Hauptgütekriterium Objektivität unterteilen?

Answer 1

• Durchführungsobjektivität
• Auswertungsobjektivität
• Interpretationsobjektivität

Question 2

Repetition: Wie lässt sich das Hauptgütekriterium Reliabilität unterteilen?

Answer 2

• Konsistenz
• Retest - Korrelation
• Paralleltest - Korrelation

Question 3

Repetition: Wie lässt sich das Hauptgütekriterium Validität unterteilen?

Answer 3

• Inhaltsvalidität
• Konstruktvalidität
• Kriteriumsvalidität

Question 4

Was ist Objektivität?

Answer 4

Grad, in dem Ergebnisse eines Tests unabhängig vom Untersucher sind

Question 5

Was ist Durchführungsobjektivität?

Answer 5

Durchführung eines Tests darf nicht von Untersuchung zu Untersuchung variieren. Muss genau definiert sein, wie eine Untersuchung durchzuführen ist (Fragestellung, Zeitbegrenzung usw.).

Question 6

Was ist Auswertungsobjektivität?

Answer 6

Jeder Auswerter muss die gleiche Punkt- oder Leistungswerte eines Probanden ermitteln - genaue Auswertungsvorschriften (z.B. Schablonen etc.)

Question 7

Was ist Interpretationsobjektivität?

Answer 7

Jeder Auswerter sollte möglichst zur gleichen Beurteilung oder Interpretation der Testergebnisse kommen.

Question 8

Was ist Reliabilität?

Answer 8

Grad der Messgenauigkeit eines Messwerts

Question 9

Was bedeutet innere Konsistenz?

Answer 9

Test wird in möglich gleiche Testhälften unterteilt, die Messwerte dieser Testhälften werden miteinander korreliert.

Question 10

Was bedeutet die Retest-Korrelation?

Answer 10

Der Test wird zu zwei verschiedenen Testzeitpunkten durchgeführt, dann wird die Korrelation zwischen den Testleistungen ermittelt. Achtung: Erinnerungseffekte, Lerneffekte, Ereignisse während Testungen.

Question 11

Was bedeutet Paralleltestkorrelation?

Answer 11

Berechnung Korrelation zwischen zwei tests, die dieselbe Eigenschaft oder Fähigkeit mittels verschiedener Items erfasst.

Question 12

Was ist Validität?

Answer 12

Die Validität gibt an, ob der Test das misst, was er messen will.

Question 13

Was bedeutet Inhaltvalidtität?

Answer 13

Wenn ein Test jedes zu messende Merkmal hinreichend präzise erfasst - Zusammenhang ziwschen Testaufgaben und gemessenem Verhalten

Question 14

Was bedeutet Kriteriumsvalidität?

Answer 14

Zusammenhang der Testleistung mit einem oder mehreren Kriterien (z.B. Schulnoten), mit dene der Test korrelieren sollte.

Question 15

Was bedeutet Konstruktvalidität?

Answer 15

Test misst Eigenschaft oder Fähigkeit, die er messen soll.

Question 16

Welches sind die Nebengütekriterien?

Answer 16

-Normierung
-Vergleichbarkeit
-Ökonomie
-Nützlichkeit
-Zumutbarkeit
-Fairness
-Nicht-Verfälschbarkeit

Question 17

Was bedeutet Normierung?

Answer 17

Normen sind für Testanwendungen unverzichtbar. Es bedarf einer Einordnunge der individuellen Leistung einer Person in eine Referenzgruppe. Die Testnormierung ermöglicht es einzuschätzen, ob die Testperson eine durchschnittliche, über- oder unterdurchschnittliche Leistung erbracht hat - möglichst aussagekräftige “Vergleichswerte”.

Vorgehen: nach der Testkonstruktion wird der Test einer repräsentativen Stichprobe von Personen vorgelegt, für welche der Test prinzipiell anwendbar sein soll. Zu den Ergebnisse dieser Testungen können die Testergebnisse anderer Personen in Relation
gesetzt werden.

Normwerte sollten nur interpretiert werden, wenn das betreffende Merkmal in der Population normalverteilt ist. Ansonsten auf Prozentrangnormen zurückgreifen (sind nicht verteilungsgebunden, lassen sich also auch auf nicht-normalverteilte Merkmale
anwenden).

Achtung: Bei Anwendung eines Tests immer darauf schauen, ob die Normen noch aktuell sind. Im Schnitt sollte man diese alle 8 Jahre überprüfen. Neunormierungen sind in regelmässigen Abständen nötig:

• aufgrund von Lerneffekten in der Population (z.B. durch Bekanntwerden des Testmaterials)
• aufgrund von tatsächlichen Merkmalsveränderungen in der Population

Question 18

Welche Normen innerhalb der Normierung werden unterschieden?

Answer 18

• Äquivalentnormen
• Variabilitäts- oder Abweichungsnormen
• Prozentrangnormen

Question 19

Was sind Äquivalentnormen?

Answer 19

Orientieren sich an den Mittelwerten von Gruppen. Der Testwert einer Person wird als äquivalent zu einem bestimmten mittleren (durchschnittlichen) Testwert einer Gruppe angesehen.
So kann z.B. die Leistung eines 10-jährigen Kindes in einem Intelligenztest mit der «typischen» Leistung von 10-jährigen Kindern verglichen werden.

Question 20

Was sind Variabilitäts- oder Abweichungsnormen?

Answer 20

Standardwerte erlauben Aussagen über die Verteilung eines Merkmals und beziehen sich normalerweise auf den Abstand eines individuellen Testwertes vom Mittelwert der Normierungsstichprobe. Die resultierende Differenz wird in Einheiten der Standardabweichung der jeweiligen Verteilung angegeben.

z.B. Intelligenzalter und ihre Abweichungen

Question 21

Was sind Prozentrangnormen?

Answer 21

• sind keine linearen, sondern Flächentransformationen von
  Rohwertverteilungen
• sind auch bei nicht-normalen Verteilungen anwendbar
• erlauben Aussagen über die relative Position von Testergebnissen
• Prozentränge können leicht zu falschen Interpretationen führen!

Question 22

Was sind Standards für Normen?

Answer 22

• Aktualität der Normen
• Geltungsbereich der Normen
• Grad der Repräsentativität der Normierungsstichprobe
• Umfang der Normierungsstichprobe
• Messgenauigkeit zur Bestimmung des Messfehlers
• DIN33430: Überprüfung Gültigkeit Normen alle 8 Jahre

Question 23

Welches sind die Normwerte und wo werden sie verwendet?

Answer 23

• IQ-Werte machen nur bei Leistungstests Sinn
• Stanine- und Sten-Werte häufig bei
  Persönlichkeitsfragebogen (mitunter auch T-Werte)
• T-Werte, Standardwerte (mitunter auch Stanine- oder Sten-Werte) häufig bei Leistungstests
• Liegt keine Normalverteilung vor, dann empfiehlt sich die Arbeit mit Prozenträngen
• Bei manchen Testverfahren aus der Schulpsychologie wird die Umrechnung der Testwerte in Schulnoten vorgeschlagen

Question 24

Wie geht man bei der Normierung eines Tests vor?

Answer 24

• Ausgangspunkt: Skalenrohwerte (Durchschnittswert oder Summenwert)
• Prüfen, ob die Daten normalverteilt sind
• Bei Normalverteilung: Skalenrohwerte werden in z-Werte transformiert
• z-Werte können in verschiedene Normwerte transformiert werden

Question 25

Was sind Beispiele für Normorientierung?

Answer 25

• Ausbildungseignung (Vergleich mit Gruppe von erfolgreichen Berufsausübenden)
• Eignung für Führungsaufgaben

Question 26

Was bedeutet Vergleichbarkeit?

Answer 26

Test ist dann vergleichbar, wenn ein oder mehrere Parallelformen oder Tests mit denselben Gültigkeitsbereichen vorhanden sind. Eine Person, sollte in zwei Tests, die ähnliches messen, auch ähnliche Resultate erreichen.

Question 27

Was sind Beispiele für Kriterienorientierung?

Answer 27

• Hochbegabtendiagnostik (IQ grösser als 130)
• Vorliegen einer Lese- und Rechtschreibeschwäche
• Beim Diagnostizieren von Depression

-> Cut off Werte

Question 28

Was bedeutet Ökonomie?

Answer 28

Ein Test ist ökonomisch, wenn:
- kurze Durchführungszeit
- wenig Material nötig
- einfach zu handhaben
- als Gruppentest durchgeführt werden kann
- schnell und bequem auszuwerten

Aber: Höhere Wirtschaftlichkeit darf nicht zu Lasten anderer Gütekriterien gehen.

Question 29

Was bedeutet Nützlichkeit?

Answer 29

Ein Test ist nützlich, wenn er ein Persönlichkeitsmerkmals oder eine Verhaltensweise misst oder vorhersagt, für das oder deren Untersuchung ein praktisches Bedürfnis besteht. Leider besteht für viele Tests kein praktisches Bedürfnis.

Question 30

Was bedeutet Zumutbarkeit?

Answer 30

Wenn der Proband nicht unnötig durch die Testung belastet wird, körperlich oder psychisch.

z.B. auch zu private Fragen…

Question 31

Was bedeutet Fairness?

Answer 31

Wenn einzelne für die Testung relevanten Gruppen nicht diskriminiert werden - z.B. konstruieren von geschlechtsfairen Items.

• Item-Bias: Wenn Aufgaben systematisch für verschiedene Personengruppen unterschiedlich schwierig ist.
• Durchführungsfairness: Berücksichtigung von Fähigkeiten beim Einsatz von Computern bei älteren und jüngeren Menschen, da ältere Menschen den Umgang mit Computern nicht so gewohnt sein könnten und deshalb bei einer Testung benachteiligt werden könnten.
• Testroutine: Unterschiedliche Testerfahrung oder Vertrautheit mit der Testsituation kann eine Testung
  beeinflussen.

Question 32

Was bedeutet Nicht-Verfälschbarkeit?

Answer 32

Tests sollten von Probanden weder willentlich noch unwillentlich verfälscht werden können. Ist jedoch schwierig, weil der Proband immer in der Lage ist, z.B. bei Fragebögen oder Interviews “falsche” oder erfundene Antworten zu geben. Insbesondere Persönlichkeitstests sind anfällig auf Verfälschbarkeit - daher multimethodal vorgehen!

Beispiel: In Selektionsprozessen (z.B. für einen Ausbildungsplatz oder eine Arbeitsstelle) will sich ein Bewerber in einem guten Licht zeigen und tendiert eher dazu, sich zu positiv darzustellen.

Hohe Augenscheinvalidität eines Tests begünstigt u.U. die Verfälschbarkeit eines Tests.

Question 33

Was ist ein Item-Bias?

Answer 33

Wenn Aufgaben systematisch für verschiedene Personengruppen unterschiedlich schwierig sind. (z.B. aufgrund Geschlecht). Dagegen helfen Culture-Fair-Tests.