2) Grundlagen- Gütekriterien Flashcards
Was sind die Hauptgütekriterien?
- Objektivität
- Reliabilität
- Validität
Was sind die Nebengütekriterien?
- Normierung
- Skalierung
- Zumutbarkeit
- Unverfälschbarkeit
- Fairness
- Ökonomie
- Nützlichkeit
Was besagt die Objektivität im allgemein?
- Das Ergebnisse eines diagnostischen Verfahrend unabhängig davon zustande gekommen ist, wer die Untersuchung, Auswertung und Interpretation durchgeführt hat
Welche Unterformen der Objektivität gibt es ?
- Durchführungsobjektivität
- Auswertungsobjektivität
- Interpretationsobjektivität
Was besagt die Durchführungsobjektivität und was ist ihr Ziel?
Verfahren muss immer auf die Gleiche Weise durchgeführt werden
* Testmaterial mitgeliefert
* Durchführungsbedingungen Spezifizieren: Einzel/-Gruppen,Arbeitsplatzbedingungen
* Verhaltensanweisungen für den Testleiter: Instruktion, Zeitvorgaben
* ZIEL: maximale Standardisierung der Durchführung
Was ist die Kritik an der Durchführungsobjektivität?
- das Ziel ist weder möglich, noch erwünscht
- Geschlecht, Aussehen, Alter, Kleidung,… des Versuchsleiters nicht standardisierbar
Wann ist die Durchführungsobjektivität gegeben?
- “hoch” / “ gegeben”, wenn alle Bedingungen festgelgt sind
Was besagt die Auswertungsobjektivität?
gleiches Verhalten der Testperson soll nach stets exakt den selben Regeln abgebildet werden
* Antwortverhalten meist “Kreuzchen”
* Auswertungs: eine Antwort “richtig” oder “falsch” & meist mit Schablonen (Anzahl der “richtigen” aufaddiert) -> Ergebnis = Rohwert
was sind zwei Beispiele für das Auswerten freier Antworten für die Auswertungsobjektivität?
1. HAWIE:
* Testleiter muss Antwort sofort bewerten, da nach bestimmter Anzahl von Falschen antworten abgebrochen wird
* Manual: genaue Angaben, wann “falsch” / “richtig”
2. Projektive Verfahren:
* lange Antworten werden wörtlich protokolliert, Auswertung inhaltsanalytisch nach kompliziertem Verfahren
Auswertungsobjektivität bei diesen Verfahren nicht perfekt
Was besagt die Interpretationsobjektivität? Und wann ist sie gegeben?
- Interpretieren = dem Rohwert des Probanden eine Bedeutung geben
- ist gegeben= wenn alle Testanwender diesen Rohwert in die gleiche Aussage über den Probanden transformieren
Was ist die Reliabilität
= Genauigkeit, mit der ein Test ein Merkmal erfasst
Unter Reliabilität versteht man die Zuverlässigkeit einer Messmethode. Eine Untersuchung wird dann als reliabel bezeichnet, wenn es bei einer Wiederholung der Messung unter denselben Bedingungen und an denselben Gegenständen zu demselben Ergebnis kommt.
Was versteht man unter Retest-Reliabilität?
ein und derselbe Test wird ein und derselben Stichprobe wiederholt dargeboten
* Retest-Reliabilität = Korrelation zw. den beiden Tests
* Stabilität des Merkmals beeinflusst die Retest- Reliabilität
* niedrige Werte sind nicht immer dem Test anzulasten
Was ist ein Beispiel für die Beeinflussung der Retest-Reliabilität durch die stabilität des Merkmals?
Persönlichkeit
* Alter der Probanden hat Einfluss auf die Höhe der Koffizienten
* -> Je älter, desto stabiler sind Persönlichkeitsmerkmale
Was ist Validität?
- übereinstimmung von Testergebnissen mit dem, was der Test messen soll
- Urteil darüber, wie angemessen Schlussfolgerungen sind
wichtigstes Gütekriterim
* hoch reliable/Objektiv: dennoch unbrauchbar
* Reliabilität / Objektivität: sind gute Vorausssetzungen aber keine Garantie
* Nachweis, dass der Test auch das misst, was er soll
Welche Arten der Vaidität gibt es?
- Inhaltsvalidität
- Kriteriumsvalidität
- Konstruktvalidität
Was fällt unter die Inhaltsvalidität?
wie repräsentativ sind die Items für das zu messende Merkmal
* Itemuniversum: sämtliche Items, die hypothethisch zu einem Konstrukt gefunden werden können
* inhaltsvalider Text besteht aus repräsentativer Auswahl von Items aus dem Universum
Was besagt die Kriteriumsvalidität?
“Zusammenhang zw. Testergebnis &konkreten Leistungen/ Verhaltensweisen außerhalb der Testsituation”
* Kriterium muss für vorgesehenen Einsatbereich relevant sein
* Kriterium = Test soll erfassen/vorhersagen (Intelligenztest zur Vorhersage von Schulerfolg (=kriterium))
* Kriterium: etwas konkretes, dirket messbares (z.B Prüfungsleistungen)
Welches Kriterium infrage kommt, ergibt sich aus der diagnostischen Zielsetzung
was sind geeignete Kriterien für die Kriteriumsvalidität?
- Fantasie sind keine Grenzen gesetz
- Kriterien sind aber auch nicht belibig
-> nicht selbererklärende müssen begründet werden - Intelligenz, Ängstlichkeit & Extraversion =
KEINE Kriterien -> Konstrukte
Wie wird die Kriteriumsvalidität bestimmt ?
- Angabe meist als Korrelationskoeffizient
- Erhebnung d. Kriteriums zeitlich mit testdurchführung oder deutlich später
zeitgleich:Übereinstimmungsvalidität
später:Vorhersagevalidität, prognostische V. - ein test der spätere Leistungen vorhersagen soll, sind Angaben zur prognostischen Validität erforderlich
Was versteht man unter Konstruktvalidität?
empirische Belege dafür, dass ein Test das Konstrukt erfasst, welches er erfassen soll - und nicht ein anderes
* Konstrukte (z.B Intelligenz) existieren nicht real = abstrakt
Was ist das Nomologische Netzwerkt der Konstruktvalidität?
- Konstrukte müssen im nomologischen Netzwerk verankert sein
-
Aussagen/ Gesetze, die die Beziehung zw. … beschreiben:
1. beobachtbaren Merkmalen
2. theoretischen Konstrukten & Beobachtbarem
3. verschiedenen theoretischen Konstrukten
Was ist Konvergente/ diskriminante Validität und wo gehören sie dazu?
- theoretische Ebene: mehrere Konstrukte mit bestimmten Relationen
- gehöhren zur Konstruktvalidität
-
Konvergentmuss deutlich höher sein, als diskriminante Validität
Definition konvergente Validität
Zusammenhang mit Indikatoren, die das gleiche Konstrukt erfassen
Bedeutet dass, ein Test hoch mit anderen Tests korreliert, die vorgeben, das gleiche Konstrukt zu messen.
Definition diskriminante Validität
Zusammenhang mit Indikatoren, die andere Konstrukte erfassen
Bedeutet dass, ein Test nicht mit anderen Tests korreliert, die vorgeben, ein anderes Konstrukt zu messen.
