2) Grundlagen- Gütekriterien Flashcards
Was sind die Hauptgütekriterien?
- Objektivität
- Reliabilität
- Validität
Was sind die Nebengütekriterien?
- Normierung
- Skalierung
- Zumutbarkeit
- Unverfälschbarkeit
- Fairness
- Ökonomie
- Nützlichkeit
Was besagt die Objektivität im allgemein?
- Das Ergebnisse eines diagnostischen Verfahrend unabhängig davon zustande gekommen ist, wer die Untersuchung, Auswertung und Interpretation durchgeführt hat
Welche Unterformen der Objektivität gibt es ?
- Durchführungsobjektivität
- Auswertungsobjektivität
- Interpretationsobjektivität
Was besagt die Durchführungsobjektivität und was ist ihr Ziel?
Verfahren muss immer auf die Gleiche Weise durchgeführt werden
* Testmaterial mitgeliefert
* Durchführungsbedingungen Spezifizieren: Einzel/-Gruppen,Arbeitsplatzbedingungen
* Verhaltensanweisungen für den Testleiter: Instruktion, Zeitvorgaben
* ZIEL: maximale Standardisierung der Durchführung
Was ist die Kritik
an der Durchführungsobjektivität?
- das Ziel ist weder möglich, noch erwünscht
- Geschlecht, Aussehen, Alter, Kleidung,… des Versuchsleiters nicht standardisierbar
Wann ist die Durchführungsobjektivität gegeben?
- “hoch” / “ gegeben”, wenn alle Bedingungen festgelgt sind
Was besagt die Auswertungsobjektivität?
gleiches Verhalten der Testperson soll nach stets exakt den selben Regeln abgebildet werden
* Antwortverhalten meist “Kreuzchen”
* Auswertungs: eine Antwort “richtig” oder “falsch” & meist mit Schablonen (Anzahl der “richtigen” aufaddiert) -> Ergebnis = Rohwert
was sind zwei Beispiele
für das Auswerten freier Antworten
für die Auswertungsobjektivität?
1. HAWIE:
* Testleiter muss Antwort sofort bewerten, da nach bestimmter Anzahl von Falschen antworten abgebrochen wird
* Manual: genaue Angaben, wann “falsch” / “richtig”
2. Projektive Verfahren:
* lange Antworten werden wörtlich protokolliert, Auswertung inhaltsanalytisch nach kompliziertem Verfahren
Auswertungsobjektivität bei diesen Verfahren nicht perfekt
Was besagt die Interpretationsobjektivität? Und wann ist sie gegeben?
- Interpretieren = dem Rohwert des Probanden eine Bedeutung geben
- ist gegeben= wenn alle Testanwender diesen Rohwert in die gleiche Aussage über den Probanden transformieren
Was ist die Reliabilität
= Genauigkeit, mit der ein Test ein Merkmal erfasst
Unter Reliabilität versteht man die Zuverlässigkeit einer Messmethode. Eine Untersuchung wird dann als reliabel bezeichnet, wenn es bei einer Wiederholung der Messung unter denselben Bedingungen und an denselben Gegenständen zu demselben Ergebnis kommt.
Was versteht man unter Retest-Reliabilität?
ein und derselbe Test wird ein und derselben Stichprobe wiederholt dargeboten
* Retest-Reliabilität = Korrelation zw. den beiden Tests
* Stabilität des Merkmals beeinflusst die Retest- Reliabilität
* niedrige Werte sind nicht immer dem Test anzulasten
Was ist ein Beispiel
für die Beeinflussung
der Retest-Reliabilität durch die stabilität des Merkmals?
Persönlichkeit
* Alter der Probanden hat Einfluss auf die Höhe der Koffizienten
* -> Je älter, desto stabiler sind Persönlichkeitsmerkmale
Was ist Validität?
- übereinstimmung von Testergebnissen mit dem, was der Test messen soll
- Urteil darüber, wie angemessen Schlussfolgerungen sind
wichtigstes Gütekriterim
* hoch reliable/Objektiv: dennoch unbrauchbar
* Reliabilität / Objektivität: sind gute Vorausssetzungen aber keine Garantie
* Nachweis, dass der Test auch das misst, was er soll
Welche Arten
der Vaidität gibt es?
- Inhaltsvalidität
- Kriteriumsvalidität
- Konstruktvalidität
Was fällt unter die Inhaltsvalidität?
wie repräsentativ sind die Items für das zu messende Merkmal
* Itemuniversum: sämtliche Items, die hypothethisch zu einem Konstrukt gefunden werden können
* inhaltsvalider Text besteht aus repräsentativer Auswahl von Items aus dem Universum
Was besagt die Kriteriumsvalidität?
“Zusammenhang zw. Testergebnis &konkreten Leistungen/ Verhaltensweisen außerhalb der Testsituation”
* Kriterium muss für vorgesehenen Einsatbereich relevant sein
* Kriterium = Test soll erfassen/vorhersagen (Intelligenztest zur Vorhersage von Schulerfolg (=kriterium))
* Kriterium: etwas konkretes, dirket messbares (z.B Prüfungsleistungen)
Welches Kriterium infrage kommt, ergibt sich aus der diagnostischen Zielsetzung
was sind geeignete
Kriterien
für die Kriteriumsvalidität?
- Fantasie sind keine Grenzen gesetz
- Kriterien sind aber auch nicht belibig
-> nicht selbererklärende müssen begründet werden - Intelligenz, Ängstlichkeit & Extraversion =
KEINE Kriterien -> Konstrukte
Wie wird die Kriteriumsvalidität bestimmt ?
- Angabe meist als Korrelationskoeffizient
- Erhebnung d. Kriteriums zeitlich mit testdurchführung oder deutlich später
zeitgleich:Übereinstimmungsvaliditä
t
später:Vorhersagevalidität, prognostische V
. - ein test der spätere Leistungen vorhersagen soll, sind Angaben zur prognostischen Validität erforderlich
Was versteht man unter Konstruktvalidität?
empirische Belege dafür, dass ein Test das Konstrukt erfasst, welches er erfassen soll - und nicht ein anderes
* Konstrukte (z.B Intelligenz) existieren nicht real = abstrakt
Was ist das Nomologische Netzwerkt der Konstruktvalidität?
- Konstrukte müssen im nomologischen Netzwerk verankert sein
-
Aussagen/ Gesetze, die die Beziehung zw. … beschreiben:
1. beobachtbaren Merkmalen
2. theoretischen Konstrukten & Beobachtbarem
3. verschiedenen theoretischen Konstrukten
Was ist Konvergente/ diskriminante Validität
und wo gehören sie dazu?
- theoretische Ebene: mehrere Konstrukte mit bestimmten Relationen
- gehöhren zur Konstruktvalidität
-
Konvergent
muss deutlich höher sein, als diskriminante Validität
Definition konvergente Validität
Zusammenhang mit Indikatoren, die das gleiche Konstrukt erfassen
Bedeutet dass, ein Test hoch mit anderen Tests korreliert, die vorgeben, das gleiche Konstrukt zu messen.
Definition diskriminante Validität
Zusammenhang mit Indikatoren, die andere Konstrukte erfassen
Bedeutet dass, ein Test nicht mit anderen Tests korreliert, die vorgeben, ein anderes Konstrukt zu messen.
Was ist Normierung ?
- Nebengütekrietium
liefert ein Bezugssystem: induviduelle Testwerte im Vergleich zu einer größeren, meist repräsentativen Stichprobe
* Normen wichtig für Individualdiagnostik -> sagt uns, was Rohpunkte bedeuten
* Rohwerte in transformierte Werte überführen
Was versteht man unter Äquivalentnormen ?
- Zuordnung der Rohwerte zu bestimmten Referenzgruppen
- Altersgruppen; Gruppen mit bestimmten psyischen Störungen
Was versteht man unter der Variabilitäts-/Abweichungsnorm?
Voraussetzung: Gauß’sche Normalverteilung
* Normwert gibt an, wie weit eine Person mit ihrer Testleistung unter/ über dem Mittelwert einer Verleichsgruppe liegt
Vergleichsgruppe: Alter-, Geschlechts,-bildungsspezifische Normen
Was sind Prozentrangnormen ?
- keine Annahmen über die Verteilung nötig
PR = cumf/N*100
- Variabilitätsnormen können in PR transformiert werden
- PR20 = nur 20% der vergleichbaren Probanden erreichen den gleichen oder noch niedrigeren Messwert
Was ist Skalierung ?
- Nebengütekriterium
- meistens: “richtige” Antworten zu Gesamtwert addiert
- -> klassische Theorie: wird nicht hinterfragt, ob diese Verrechnungsregel angemessen ist
- -> Item-Response - Theorie: Kriterium der Skalierung kann empirisch überprüft werden
Was versthet man unter Zumutbarkeit?
- Nebengütekriterium
- Belastung der Testperson
- Ermüdung, Zeit, emotinal belastend, körperliche anstrengung
- Akzeptanz
Was ist die Unverfälschbarkeit ?
- Nebengütekriterium
- Interesse an “schlechten” oder “guten” Testergebnissen
- Täuschung
- soziale Erwünschtheit
unverfälschbarkeit ist schwer zu beurteilen
Was ist Fairness?
- Nebengütekriterium
-
Test gilt als fair, wenn er keine Personengruppe benachteiligt
-> wichtig bei Auswahl von Bewerbern
-> Diskriminierung aufgrund ethnischer, soziokultureller, Gruppenzugehörigkeit -
Gefahr besteht
, dass die Tests explizites Wissen erfassen oder Wissen zum Lösen voraussetzen
Was versteht man unter Ökonomie als Gütekriterium?
- Test ist ökonomisch, wenn sein Einsatz wenig Geld, Zeit & Aufwand kostet
Was versteht man unter Nützlichkeit bei den Gütekriterien ?
- entscheidend = praktische Relevanz
- Test ist nur nützlich, wenn er das Merkmal zuverlässiger, valider und/oder ökonomischer erfassen kann als andere Verfahren