Testgütekriterien Flashcards
Nenne die 3 Hauptgütekriterien
Objektivität, Validität und Reliabilität
sind für jedes diagnostische Verfahren von Bedeutung, werden jedoch oft nicht explizit geprüft
Nenne und beschreibe die 3 Unterkategorien von Objektivität
Durchführungsobjektivität (Testleiterunabhängigkeit): Selbsterklärend, Problematik: nicht nur Testleiter sondern auch Bedingungen variieren, also ergeben sich auch bei gleichem Testleiter unterschiedliche Ergebnisse - wichtig ist hier die Standardisierung der Durchführung
Auswertungsobjektiivität (Verrechnungssicherheit): Abhängig von der Freihheit der Antworten und Reglementierung bei der Beurteiung
Interpretationsobjektivität (-eindeutigkeit) : verschiedene Beurteiler kommen zu den gleichen Ergebnissen- Sicherstellung durch Normierung
Was versteht man unter Objektivität?
die Unabhängigkeit der Untersuchung vom Diagnostiker
Was ist Reliabilität und wie wird sie bestimmt?
gilt als Messgenauigkeit des Instruments. Ein Test ist reliabel, wenn er das Merkmal ohne Messfehler misst
Quotient aus wahrer und beobachteter Varianz bzw als Anteil der Varianz der wahren Werte (T) an der Varianz der beobachteten Werte (X), oder auch als Korrelation zweier Paralleltests
Rel=Var(T)/Var(X)
Auf welche Weisen kann die Reliabilität bestimmt werden? (4)
Testwiederholung (Retest-Reliabilität)
Paralleltestmethode
Testhalbierung (split-half-Reliabilität)
Interne Konsistenz
Beschreibe die Verfahren zur Reliabilitätsbestimmung (4)
Testwiederholung (Retest-Reliabilität): Der Test wird unter möglichst gleichen Bedinungen (mit den selben Probanden) wiederholt. ► Der Korrelationskoeffizient gilt als Schätzung der Messgenauigkeit
Paralleltest: besteht aus gleichen, aber nicht den selben Items ► idealerweise äquivalent (gleiche Mittelwerte und Streuungen) 2 Gruppen: 1. bearbeitet zuerst TestA dann TestB, 2. andersherum| häufig angewendet bei Niveau-/Powertests und Speedtests
Testhalbierung (split-half-Reliabilität): “Quasi-Parallelform”- Test wird in 2 gleiche Hälften aufgeteilt, Testwerte der Testhälften werden korreliert
Interne Konsistenz: Erweiterung der Halbierungsreliabilität, Test wird in so viele Teile geteilt, wie er Items hat. häufigst verwendet, prüft inneren Zusammenhang der Items unter Berücksichtigung der Testlänge, meist Cronbach-α
Welches Probleme entstehen bei der Testwiederholung (Retest Reliabilität)
Dilemma bei der Auswahl des Zeitintervalls zwischen den 2 Tests
Es gilt zum einen, Übungs- und Erinnerungseffekte zu vermeiden, zum anderen sollen sich die wahren Werte der Probanden zwischen den Tests möglichst wenig verändern
(Übungseffekte werden durch lange Zeitintervalle vermieden, die höchste Konstanz haben möglichst kleine Zeitintervalle)
Außerdem erhöht sich die Reliabilität, wenn die Probanden absichtlich ähnlich antworten
Welche Vor- und Nachteile gibt es bei Paralleltests zur Feststellung der Reliabilität (3/4)
+ keine Lern-/Erinnerungseffekte (weil andere Items)
+ kein langer Testabstand notwendig
+ auch bei instabilen Merkmalen anwendbar
- hoher Aufwand bei der Erstellung der Parallelform
- teils nicht möglich (zB bei eng begrenzten Merkmalen ohne ““Alternativ-Items””)
- Parallelformen sind nie vollkommen äquivalent (mindert Reliabilitässchätzung, idR niedriger als Retest-Reliabilität)
- Übungseffekte sind auch bei Paralleltests möglich (zB ähnliche Lösungsstrategien)
Welchen Vorteil birgt Testhalbierung (split-half-reliability) gegenüber Paralleltests?
Ein Test muss nur ein mal einer Stichprobe vorgelegt werden und dann in zwei Hälften aufgeteilt werden.
Beschreibe Validität und ihre Beziehung zu den anderen Hauptgütekriterien
Welche Arten von Validität gibt es?
Validität ist Objektivität und Reliabilität übergeordnet, und gibt an, ob der Test auch das misst, was er messen soll
Inhaltliche Validität (Augenschein-Validität), Kriterienbezogene Validität, Inkrementelle Validität, Konstruktvalidität, (konvergente Validität, diskriminante Validität)
Beschreibe 4 Arten von Validität
Inhaltliche: repräsentieren die Items logisch-inhaltlich das zu erfassende Konstrukt?(für operational definierte Merkmale zB schulische Prüfungen) - für theoretisch definierte Konstrukte (zB Extraversion): inwieweit können mithilfe des Konstrukts unterschiedliche Antworten schlüssig erklärt werden
Kriterienbezogene: “das betreffende Konstrukt kann durch eine Kriteriumsmessung direkt sichtbar gemacht werden” ►Operationalisierung anhand eines Kriteriums (Korrelation Test mit Kriterium)
Inkrementelle: welchen Beitrag vermag ein weiterer Test zur Vorhersage eines Kriteriums zu leisten, zB ein Intelligenztest über das strukturierte Interview hinaus zur Vorhersage des Ausbildungserfolgs beiträgt
Konstruktvalidität: bezieht sich auf latente, theoretische Konstrukte- “diese stehen mit anderen Konstrukten in systematischer Verbindung” - nutzt konvergente Validität und diskriminante Validität
Was sind konvergente und diskriminante Validität
konvergent: Validität zwischen Konstrukten, bei denen Zusammenhänge vermutet werden
diskriminant: Konstrukte, die vermutlich nichts miteinander zu tun haben
Nenne ein Beispiel für die Anwendung von Konstruktvalidität
Validitätsschätzung des Intelligenz-Struktur-Tests 2000 R (I-S-T 2000 R)
Was spricht für Konstruktvalidität? hohe Korrelationen mit konvergenten Tests und niedrige Korrelationen mit diskriminanten Validitäten (zB einem Konzentrationstests und einem Wortschatztest)
Beschreibe die Multitrait-Multimethod-Analyse
Zur Erfassung und Berechnung der (Konstrukt-?) Validität
Ziel der Multitrait-Multimethod-Analyse ist die Isolation von Methodeneffekten anhand der Kontrolle des methodenspezifischen Bias durch die Verwendung unterschiedlicher Messmethoden
mindestens zwei oder drei Traits werden durch min. 2 oder 3 Methoden gemessen ► Erstellung einer Multitrait-Multimethod-Matrix / Korrelationsmatrix
Nenne Bestandteile einer Multitrait-Multimethod-Analyse
Reliabilitätsdiagonale (Hauptdiagonale, Reliabilitäten der Verfahren)
Validitätsdiagonalen (monotrait-heteromethod): Ein Merkmal wird mit verschiedenen Methoden gemessen (sollte konvergente Validität zeigen)
“heterotrait-Monomethod-Dreiecke”: Verschiedene Merkmale werden mit der gleichen Methode erfasst (sollte diskriminante Validität zeigen)
“Heterotrait-Heteromethod-Dreieck” alle anderen Felder, verschiedene Merkmale werden mit verschiedenen Methoden gemessen (sollten keinen Zusammenhang zeigen)
die Felder über der Reliabilitätsdiagonale bleiben leer
