11. VL. Interpretation von Testresultaten und Testeichung Flashcards
Was ist die Ausgangslage vor der Testwertinterpretation und welche beiden Formen gibt es?
Ausgangslage: Wir haben einen numerischen Testwert (Rohwert) und müssen diesen nun interpretieren. Dazu benötigen wir einen Vergleichsmassstab.
Davon gibt es 2 Formen:
- Normorientiert: Ergebnis mit Norm einer Referenzgruppe vergleichen (linear und nicht linear) = NO
- Kriteriumsorientiert: Anhand eines inhaltlichen Referenzwertes, der a priori festgelegt wurde, vergleichen. = KO
Merke: Auch das Gemisch aus beiden ist möglich bsp. Beck’s Depressions Inventar
NO: Normierung: Definition und Zweck.
Definition: Unter Normierung (Eichung) versteht man das Erstellen eines Bezugssystems, mit dessen Hilfe die Ergebnisse einer Testperson im Vergleich zu den Merkmalsausprägungen anderer Personen eindeutig eingeordnet werden können.
Zweck: Bezugssystem herstellen. Dient als Hilfe zur Interpretation des Rohwerts.
Vergleichsmassstab: Bezugsgruppe
- letzter Schritt in der Testkonstruktion
NO: Was bedeutet der Normwert und welche beiden Vorgehensweisen in der Normierung gibt es?
Normwert: Erlaubt Positionierung der Testperson bezüglich der erfassten Merkmalsausprägung innerhalb der Bezugs- bzw. Referenzgruppe.
Vorgehensweisen:
- Nicht-Linear (Bsp. Prozentrang)
- Linear (Bsp. z-Wert)
NO: Erkläre die Ablaufschrotte der Normierung eines Tests.
- Repräsentative Stichprobe nötig
- Verteilung der Testwerte auf Normalität prüfen
- Prozentrang- oder Standardnormen (bei Normalvertil.)
- Je nach Ziel weitere Transformationen:
- z-Werte mit linearen Transformationen in andere Standardnormen umwandeln
- Flächentransformationen (falls nicht normalverteilte Testwerte) - Ergebnisse der Testeichung in Normtabelle darstellen
- Geltungsbereich definieren & Aktualität der Normstichprobe prüfen
NO: Erkläre die nicht-lineare Testwerttransformation und erkläre die Bildung des Prozentrangnormen
Definition: Ein Prozentrang gibt an, wie viel Prozent der Bezugsgruppe bzw. Normierungsstichprobe einen Testwert erzielt, der niedriger oder maximal ebenso hoch ist, wie der Testwert xv der Testperson v. Der Prozentrang entspricht somit dem prozentualen Flächenanteil der Häufigkeitsverteilung der Bezugsgruppe, der am unteren Skalenende beginnt und nach oben hin durch den Testwert xv begrenzt wird.
Aber: Prozentrang ist nicht gleich Prozent korrekt gelöst
NO: Wie ist das Vorgehen bei der Bildung von Prozentrangnormen?
Vorgehen:
- Testwerte der Normierungsstichprobe in aufsteigende Rangordnung bringen
- Häufigkeiten der einzelnen Testwertausprägungen erfassen, kumulierte Häufigkeiten bis einschliesslich Testwert bestimmen
- diese durch den Umfang N dividieren & mit 100 multiplizieren
–> Normtabelle erstellen, d.h jedem Prozentrang von 1-100 werden die jeweils zugehörigen Testwerte zugeordnet
Von was ist der Prozentrang abhängig?
Was gilt?
Und was ist das Problem?
Wichtig: Prozentrang ist abhängig von Vergleichsstichprobe. (Relativ zu was / wem?)
Es gilt:
- leichte Verständlichkeit
- Ordinalskalenniveau genügt
- keine bestimmte Verteilungsform gefordert
- selbst bei intervallskallierten Testwerten kann keine Prozentrangdifferenz als Vergleich herangezogen werden. = z-Wert-Transformation wählen
Problem: In Bereichen mit hoher Testwertdichte werden Merkmalsunterschiede überschätzt, in Bereichen mit niedriger Testwertdichte jedoch unterschätzt.
= Die zugrunde liegende Messungs-Skala wird verzerrt = daher z-Werte nehmen
NO: Erkläre die Bildung von standardisierten z-Normwerten!
- z-Werte erhält man durch eine lineare Transformation der Testwerte
- ermöglichen im Gegensatz zu Prozentrangnormen einen Vergleich von Testwerten verschiedener Skalen
- Voraussetzung: intervallskaliert
Definiere den z-Normwert.
Der z-Normwert gibt an, wie stark der Testwert xv einer Testperson v vom Mittelwert x der Verteilung der Bezugsgruppe in Einheiten der Standardabweichung SD der Testwert xv abweicht.
z-Norm: Position des Testwertes einer Person als standardisierter Abstand (bzw. Differenz) zum arithmethischen Mittelwert der Verteilung der Bezugsgruppe. –> Vergleich des individuellen Testwertes mit dem arithmethischen Mittel
z-Normwerte haben einen Mittelwert von Z=0 und eine Standardabweichung von SD(z) = 1
Beschreibe das Vorgehen der linearen Testwerttransformation:
- z-Wert berechnen
- Mit Hilfe der Verteilungsfunktion der Standardnormalverteilung (Tabelle A2) kann die Fläche bzw. der Prozentrang berechnet werden.
Was ist das Fazit der z-Werte?
- Algebraische Operationen können angewendet werden, da die Differenzen zwischen Norm- und Testwert proportional sind
- wenn normalverteilt, dann heisst der z-Normwert Standardwert
- oft wechselt man aber von den z-Normwerten in andere Standardnormen, da sie übersichtlicher sind
Grenze Normalisierung und Normierung voneinander ab!
Normierung bzw. lineare Transformationen normalisieren nicht, sondern behalten die originalen Verhältnisse, daher ist der Vergleich mit anderen Verteilungen nur bedingt möglich.
Erkläre die Normdifferenzierung Kontroverse
Wie spezifisch soll eine Vergleichs- bzw. Referenzgruppe zusammengestellt sein?
Fairness vs. Gefahr von “overadjustment”, d.h. Norme zu sehr an Teilpopulation angepasst
Fazit: Diverse Interessen sorgfältig abwägen und Kompromisse eingehen
Was gilt für die Aktualität der Normen?
Normen sind mind. alle 8 Jahre auf ihre Gültigkeit zu prüfen und ggf. Neunormierung.
Beschreibe die Kriteriumsorientierte Testwertinterpretation!
Wie ist die Vorgehensweise?
Testwertinterpretation durch Bezug zu einem spezifischen inhaltlichen Kriterium (unabhängig von Anzahl Personen, die das Kriterium erreicht haben).
Vorgehensweise: Vorab Schwellenwert definieren, ab dem ein Kriterium als zutreffend angenommen wird.
Schwellenwert kann durch 2 Arten ermittelt werden:
1. mit Hilfe der Inhalte der Testaufgaben werden Testwerte beschrieben = Expertenurteil
2. durch Bezug zu einem externen Kriterium = hierzu muss eigens eine Untersuchung durchgeführt werden:
einfaches Verfahren fürs Eruieren eines externen Kriteriums: ROC-Analyse
