Gütekriterien 1

Question 1

Hauptgütekriterien

Answer 1

Objektivität
Reliabilität
Validität

Question 2

Objektivität

Answer 2

Bedeutet dass die Testergebnisse eines diagnostischen Verfahrens unabhängig davon sind wer den Test durchführt, auswertet &interpretiert

Question 3

Durchführungsobjektivität

Answer 3

Durch standardisierte Instruktionen zu Testaufgaben,Antworten auf Rückfragen &zur Gestaltung der Testsituation

Question 4

Praxisprobleme der Durchführungsobjektivität

Answer 4

Nur gewährleistet wenn sich VL an die Instruktion hält
Einschränkungen der Standardisierung bei Kindern,im hohen Alter&klinische Population (individuelle Lage)
Einschränkungen der Standardisierung durch unzureichendes Training der Testleiter

Question 5

Welche Schritte gehören zum diagnostischen Prozess?

Answer 5

1. Klären der Fragestellung und des Auftrags
2. Entwickeln von Psychologischen Fragen (= Hypothesen)
3. Planen der Untersuchungsstrategie (Auswahl geeigneter Verfahren)
4. Diagnostische Untersuchung
5. Bilden des diagnostischen Urteils durch Integration der Einzelbefunde
6. Rückmeldung an den Auftraggeber
7. (Formulieren von Empfehlungen)

Question 6

Treffsicherheit diagnostischer Entscheidungen abhängig von:

Answer 6

Gestaltung des diagnostischen Prozesses
Nutzung der richtigen Hinweise
Richtige Aggregation / Verrechnung der Hinweise (siehe klinische vs. statistische Urteilsbildung)
Brauchbarkeit der diagnostischen Instrumente
Symmetrie zwischen Breite der Messung und Breite der Schlussfolgerung

Question 7

Auswertungsobjektivität durch

Answer 7

exakte Anweisungen zur Auswertung im Manual (gleiches Verhalhalten der Testpersonen wird nach exakt denselben Regeln abgebildet)
Auswertungsschablonen auf Antwortbogen gelegt, korrekte Antworten werden gezählt
Kategoriensysteme bei freien Antworten (offenes Antwortformat)

Question 8

Praxisprobleme der Auswertungsobjektivität

Answer 8

Beispiele zu richtigen& falschen Antworten häufig sehr unzureichend in Testmanualen dokumentiert
Übertragungsfehler bei manueller Testauswertung mit Auswertungsschablonen

Question 9

Interpretationsobjektivität

Answer 9

gegeben, wenn unterschiedl. Diagnostiker aus dem diagnostischen Verhalten dieselben Schlüsse ziehen Interpretieren entspricht in diesem Kontext „Rohwert Bedeutung geben“
Informationen zu Art& Benennung des Merkmals sowie zu Ausprägung des Merkmals der Testperson in Relation zu anderen Personen (Normwerte) müssen vorliegen

Question 10

Notwendigkeit Interpretationsobjektivität

Answer 10

Merkmal eindeutig benennen&beschreiben!

Ausprägung wird festgestellt über Normierung – Normwerte nicht selbsterklärend –Übersetzungshilfe

Question 11

Praxisprobleme Interpretationsobjektivität

Answer 11

Testmanuale enthalten oft unzureichende Interpretationshilfen zur Einordnung &Interpretation der Testwerte
Unterschiedliche Konvention zur Verwendung von Cut‐off Werten (Eignungs‐, klinische Diagnostik, Forensik)

Question 12

Reliabilität

Answer 12

Die Reliabilität zeigt die Zuverlässigkeit an, mit der ein Instrument bestimmte Dimensionen misst. Reliabilität ist dann gegeben, wenn ein Instrument bei wiederholter Messung der gleichen Objekte oder Merkmalsträger unter gleichen Bedingungen die gleichen Messergebnisse anzeigt.

Question 13

Formen der Reliabilität

Answer 13

Paralleltest‐Reliabilität
Retest‐Reliabilität
Testzerlegung: Halbierung, Interne Konsistenz

Question 14

Paralleltest

Answer 14

Vorgabe paralleler Versionen eines Tests mit ähnlichen, aber nicht identischen Items, die die gleichen Messeigenschaften haben, wie die des 1. Tests (Itemschwierigkeit, Trennschärfe); Korrelation zwischen verschiedenen Formen = Indikator für Reliabilität
in Praxis relativ selten wegen hohen Konstruktionsaufwandes
hilfreich u.a. bei Gruppenuntersuchungen (Verhindern von Abschreiben) oder bei wiederholter Messung

Question 15

Itemschwierigkeit

Answer 15

gibt an, wie groß der Anteil an Personen ist, die das Item im Sinne des Merkmals bearbeitet haben

Question 16

Wertebereich Itemschwierigkeit

Answer 16

0&1

Question 17

Was bedeutet eine Atemschwierigkeit von 0&1?

Answer 17

Personen haben Item gleich beantwortet
keine Varianz (unbrauchbare Items), weil Item nicht dazu beiträgt, Unterschiede zwischen Personen aufzuzeigen

Question 18

Wann ist die Itemstreuung am größten

Answer 18

(p=.5) bei mittlerer Schwierigkeit

Question 19

Trennschärfe

Answer 19

Die Trennschärfe gibt an, in welchem Ausmaß das Item das Gleiche misst wie der Test bzw. bei mehrdimensionalen Tests die Subskala des Tests. Die Trennschärfe zeigt zudem an, wie gut das Item zwischen Personen mit hoher vs. niedriger Merkmalsausprägung »trennt«.

Question 20

Wie ist die Trennschärfe eines Item definiert?

Answer 20

als seine Korrelation mit dem Test oder der Skala des Tests, zu der das Item gehört.
Der Test‐ bzw. Skalenwert wird dabei über alle Items mit Ausnahme des analysierten bestimmt (part‐whole‐Korrektur).
Sie ist ein Kennwert dafür, in welchem Ausmaß die durch das Item erfolgte Differenzierung der Probanden in z.B. Löser&Nichtlöser mit derjenigen durch die Skala als Ganzes übereinstimmt.

Question 21

Retest‐Reliabilität

Answer 21

Retest = Test‐ bzw. Messwiederholung
derselbe Test wird derselben Stichprobe von Probanden wiederholt dargeboten – Korrelation zwischen beiden Vorgaben = Indikator für Retest‐Reliabilität
von Stabilität des Merkmals beeinflusst
relevanter Kennwert bei Einsatz von Verfahren für prognostische Zwecke
Zeitintervall sollte so gewählt werden, dass einerseits noch von Konstanz des erfassten Merkmals ausgegangen werden kann, andererseits aber Erinnerungseinflüsse nicht mehr wirksam sind

Question 22

Testzerlegung – Split‐Half‐Reliabilität

Answer 22

Test wird nach Durchführung in zwei möglichst äquivalente Hälften aufgeteilt, z.B.
• nach ungerader &gerader Nummer der Items (Odd‐even‐Methode)
• in erste &zweite Testhälfte (nicht bei Zeitbegrenzung oder Sortierung der Items nach Schwierigkeit möglich)
• auf Basis von Itemkennwerten (Bildung von Testzwillingen nach Schwierigkeit und Trennschärfe)
Korrelation der beiden Testhälften unterschätzt Reliabilität (weniger Items werden miteinander korreliert als bei Retest) – daher Spearman‐Brown‐Korrekturformel (Schätzung, wie hoch Reliabilität mit doppelter Itemanzahl wäre)

Question 23

Testzerlegung Interne Konsistenz

Answer 23

Maximale Testzerlegung: jedes einzelne Item wird als Maß für das zu messende Merkmal aufgefasst – Zuverlässigkeit über Korrelation der Items miteinander geschätzt
Häufig genutzt: Cronbachs Alpha

Question 24

Cronbachs Alpha

gut zu wissen!

Answer 24

je höher die Iteminterkorrelation ‐> desto höher Alpha ‐> desto höher i.d.R. die Konsistenz des Tests (aber auch abhängig von Itemanzahl, Stichprobenvarianz)
je mehr Items ein Test enthält, desto höher Alpha
weist ein kurzer Test ein sehr hohes Alpha auf, sind die Items redundant
Alpha ist stichprobenabhängig-höhere Varianz in heterogenen SPn führt zu höheren Werten für Alpha
Alpha eines Instrumentes bei empirischen Arbeiten immer gemessen an den eigenen Daten interpretieren

Question 25

Wann ist Konsistenz akzeptabel

Answer 25

Anwendung .85

Question 26

Problem Cronbachs Alpha

Answer 26

Alpha ist immer auch ein Maß der Breite/Dimensionalität des Messbereiches (inwiefern messen die Items inhaltlich dasselbe)
Alpha nur dann interpretieren wenn Unidimensionalität gegeben ist