06 Nebengütekriterien Flashcards
Welche 8 Nebengütekriterien gibt es?
- Skalierung
- Normierung
- Vergleichbarkeit
- Ökonomie
- Nützlichkeit
- Zumutbarkeit
- Fairness
- Nicht-Verfälschbarkeit
Was ist Normierung?
Einordnung der individuellen Leistung eine Person in eine Referenzgruppe. D.h. als Nebengütekriterium müssen solche Normen vorliegen, damit eine solche Einordnung gemacht werden kann.
-> Die normen müssen aktuell sein und für verschiedene Personengruppen vorliegen (z.B. Alter)
Wann ist eine Normierung nicht erforderlich?
- bei kriterienorientierten Tests (hier werden Tests mit einem vorher gesetzten Kriterium verlichen, z.B. informelle Schulleistungstests)
Was ist Vergleichbarkeit?
Wenn ein oder mehrere Parallelformen oder Tests mit denselben Gültigkeitsbereichen vorhanden sind.
-> Eine Person muss in zwei Tests, die ähnliches messen, ähnlich abschneiden.
Wann ist ein Test ökonomisch?
- kurze bzw. angemessene Durchführungszeit
- wenig Material
- einfach zu handhaben
- Gruppentest möglich
- schnelle und bequeme Auswertung
-> ökönomisch ist nicht immer gut
Was ist adaptives Testen?
Test wird auf Schwierigkeitsniveau der Versuchsperson angepasst.
Was ist Nützlichkeit?
Wenn der Test ein Persönlichkeitsmerkmal oder eine Verhaltensweise misst, für deren Untersuchung ein praktisches Bedürfnis besteht. (Mehr Nutzen als Schaden!)
-> Tests die das gleiche wie andere Tests, nur mit neuen Bezeichnungen messen, brauchen nicht entwickelt zu werden.
Was ist Zumutbarkeit?
Der Getestete darf nicht unnötig durch die Testung belastet werden. (körperlich oder psychisch)
Was ist Fairness?
- Keine für die Testung relevante Gruppen werden diskriminiert (z.B. Aufgrund Geschlecht)
Was ist Nicht-verfälschbarkeit?
- Getestete Personen dürfen nicht willentlich oder unwillentlich den Test in die gewünsche Richtung verfälschen können.
-> Kann fast nicht vermieden werden, deswegen soll im Manual stehen, wie stark ein Test verfälscht werden kann und ob man die Verfälschung aufdecken kann.
Was ist Skalierung?
Die numerischen Unterschiede in den Testergebnissen sollen die tatsächlichen Unterschiede zwischen Testpersonen korrekt abbilden.
Welches Skalenniveau ist für das Umsetzen des Gütekriteriums Skalierung mindestens notwendig?
Ordinalskala
Zwischen welchen Normen (bei der Normierung) wird unterschieden?
- Äquivalenznormen: Zuordnung der Rohwerte zu Zeitabschnitten, z.B. Intelligenzalter nach Binet
- Variabilitätsnormen: Prozentrangnormen (Abstand eines Testwerts vom Mittelwert)
Was ist der Staffeltest nach Binet?
Kind erhält so lange Aufgaben, bis es sie nicht mehr lösen kann.
Wann sollte umbedingt auf Prozentrangnormen zurückgegriffen werden?
Wenn ein Merkmal in der Population NICHT normalverteilt ist.
Was begünstigt die Verfälschbarkeit eines Tests?
Hohe Augenscheinvalidität
Welche Tests sind besonders anfällig auf Verfälschbarkeit?
Persönlichkeitstests
Welche problematischen Aspekte im Zusammenhang mit Fairness gibt es?
- Item-Bias
- Durchführungsfairness
- Testroutine
Was ist Item-Bias?
Wenn Aufgaben systematisch für verschiedene Personengruppen unterschiedlich schwierig sind. (z.B. Augrund Geschlecht)
Wie kann bei Item-Bias abhilfe geschafft werden?
- Culture-Fair-Tests, welche ein geringes Mass an sprachlicher Kompetenz verlangen.
Was ist Durchführungsfairness?
Art und Weise der Durchführung muss für alle Fair sein (z.B. benutzen von Computern bei älteren Personen)
Was ist Testroutine?
Testpersonen haben unterschiedliche Testerfahrung, Vertrautheit mit der Testsituation kann das Ergebniss beinflussen.
Welche Fairnessmodelle gibt es?
- Modell proportionaler Repräsentation (Quotenmodell)
- Regressionsmodell (Modell einer fairen Vorhersage)
- Modell konstanter Verhältnisse
Wie funktioniert das Modell proportionaler Repräsentationen?
z.B. bei Bewerbern ist die Proportion der ausgewählten Bewerbern gleich wie in der gesamten Bewerberpopulation?
Was ist das Regressionsmodell?
- Bei keiner Gruppe liegt eine systematische Über- oder Unterschätzung vor
- gleiche Regressionsgerade ist vorhanden
Was ist das Modell konstanter Verhältnisse?
z.B. Verhältnis zwischen der Zahl der durch Test ausgewählten Bewerber und Zahl im Kriterium potentiell Erfolgreicher in den Gruppen ist gleich.
-> z.B. bisher wurden 200 Männer und 100 Frauen ausgewählt, in Zukunft 400 Männer und 200 Frauen
Welche Arten von Normen gibt es?
- Äquivalenznormen
- Variabilitäts- und Abweichungsnormen
- Prozentrangnormen
Was sind Äquivalenznormen?
Orientieren sich an den Mittelwerten von Gruppen
-> Nicht die beste Normierung!
(z.B. frühe Intelligenztests, Staffeltest nach Binet)
Was sind Variabilitäts- und Abweichungsnormen
Orientiert sich an Abweichungen vom individuellen Testwert vom Mittelwert der Stichprobe (Standardabweichung)
-> heute die Norm
(z.B moderne Intelligenztests)
Was sind Prozentrangnormen?
Wo liegt die Person innerhalb einer Stichprobe (50% -> in der Mitte der Vergleichsstichprobe)
-> können leicht zu falschen Interpretationen führen
Warum können Prozentränge leicht falsch interpretiert werden?
Die Veränderungen in den Normwerten sind nicht linear zu den Prozentrangnormen. d.h.
z.B. im Durchschnittsbereich liegen viele Werte, so dass ein kleiner Anstieg schon zu einem starken Anstieg in den Prozenträngen führt. In den Extrempositionen führt ein gleich grosser Anstieg nur zu einem kleinen Anstieg in den Prozenträngen.
Wann verwendet man welche Normwerte?
Normalverteilung -> Äquivalenznormen
keine Normalverteilung -> Prozentrangnormen
Welche Bezugsysteme für den Vergleich von Testwerten gibt es? (Normierung)
- Testergebnisse anderer Personen einer Bezugsgruppe (Normstichprobe)
- Testergebnisse derselben Person in anderen psychologisch-diagnostischen Verfahren
- Testergebnisse derselben Person in demselben Test zu einer anderen Messgelegenheit
- Vergleich mit einem externen Standard (Kriterium)
Was sind Beispiele für Normorientierte Bezüge?
- Ausbildungseignung (Vergleich mit Gruppe von erfolgreichen Berufsausübenden)
- Eignung für Führungsaufgaben
Was sind Beispiele für Kriterienorientierte Bezüge?
- Hochbegabtendiagnostik (IQ grösser als 130)
- Vorliegen einer Lese- und Rechtschreibeschwäche
- Bei diagnostizieren von Depression
-> Cut off Werte
Wie geht man bei der Normierung eines Tests vor?
- Ausgangspunkt: Skalenrohwerte (Durchschnittswert oder Summenwert)
- Prüfen, ob die Daten normalverteilt sind
- Bei Normalverteilung: Skalenrohwerte werden in z-Werte transformiert
- z-Werte können in verschiedene Normwerte transformiert werden
Wann machen IQ-Werte Sinn?
Nur bei Leistungstests (weil dort auch kleinere Zahlen Leistungsunterschiede repräsentieren, was bei Persönlichkeitstests nicht der Fall ist)
Wann werden Stanine- und Sten-Werte verwendet?
Häufig bei Persönlichkeitsfragebogen (mitunter dort auch T-Werte, aber obige häufiger)
Wann werden T-Werte verwendet?
Häufig bei Leistungstests, oder Fragebögen mit vielen Items (weil eine numerische Differenzierung besser möglich ist)
Wann werden Prozentränge verwendet?
Wenn keine Normalverteilung vorliegt
Sind Normwertdifferenzen wirklich Leistungsdifferenzen?
Standardmessfehler muss berücksichtigt werden, deswegen: nicht ganz
Ist es sinnvoll, für verschiedene Gruppen getrennte Normen zu entwickeln?
Nur, wenn es Unterschiede gibt in der Grundgesamtheit.
Warum sind Effektstärken wichtig für die Entscheidung, ob es für verschiedene Gruppen getrennte Normen braucht?
Weil die Signifikanz eines Unterschieds noch nichts über seine Grösse aussagt, dies kann man mit Effektstärken bestimmen.
Wie kann ein Cut-Off-Wert bei der kriteriumsorientierten Testauswertung festgelegt werden?
Vergleich zweier Stichproben, z.B. Menschen mit und Menschen ohne Depression, dort wo sie sich schneiden könnte ein Cut-Off-Wert sein, oder dort wo die Kurve beginnt, bzw. dort wo die Kurve aufhört.
(In einem Grenzbereich wird es immer falsch-negative und falsch-positive geben)
Was sind Vorgaben für Normstichproben?
- Müssen alle 8 Jahre erneuert werden.
- Daumenregel: Mindestgrösse 300 Probanden
- Genaue Angaben zur Stichprobe sollte vorliegen.
Wie können verschiedene Testkennwerte beurteilt werden?
Daumenregel, hängt aber von vielem ab:
Welche Normskalen gibt es?
Inwiefern kann ein Test verfälscht werden? (Kriterium Nicht-Verfälschbarkeit)
- Absichtliche Verstellung (faking good, faking bad, “typischer” Buchhalter)
- Soziale Erwünschtheit
- Akquieszenz (Ja-Sage-Tendenz)
- Tendenz zu(r) Mitte/Extremurteilen
Was ist kriterienorientiertes testen?
- Vergleich mit einem bestimmten Kriterium (z.B bestehen / nicht bestehen)
- Vorliegen eines cut-off-Wertes
Was ist normorientiertes testen?
a) Vergleich mit anderen Personen
b) Vergleich mit ähnlichen Tests der gleichen Person
c) Vergleich im Verlaufe der Zeit (z.B. vor einer Therapie und nach einer Therapie)
Wie geht man bei der Normierung eines Tests vor?
- Skalenrohwert als Ausgangspunkt
- Prüfung, ob Normalverteilung der Daten vorliegt (mithilfe von Histogramm)
- Skalenrohwerte in z-Werte umformen (wenn Normalverteilung JA)
- Transformieren von z-Werten in verschiedene Normwerte
Welche Normwerte können verglichen werden?
- z-Werte
- Z-Werte
- IQ
- T-Werte
- C-Werte
- Stanine Werte
- Sten-Werte
- Wertpunkte
- Prozentränge
Welche Fehler kann es bei der Normierung geben?
- Fehler 1. Art: alpha-fehler
- Fehler 2. art: beta-fehler
Was ist der Alpha-Fehler?
- Nullhypothese wird zu unrecht abgelehnt -> man nimmt Mittelwertsunterschiede an, die in der Grundgesamtheit tatsächlich aber nicht vorliegen
- typischerweise mit 5% ode 1% angenommen
Was ist der Beta-Fehler?
- Alternativhypothese wird zu unrecht abgelehnt -> man nimmt keine Mittelwertsunterschiede an, obwohl in der Grundgesamtheit tatsächlich Unterschiede vorliegen
- typischerweise mit 5% ode 1% angenommen
wie kann ich den Betafehler klein halten?
Wenn man den Alpha-Fehler grösser wählt.
