Testtheorie 1 Flashcards
Psychologische Messung
- Bei Erfassung psychol Merkmale gibts keine allgemein akzeptierten Vergleichsstandards („golden standards“)
> Häufig fehlt allg akzeptierte Definition eines Merkmals + keine normierten Maßeinheiten wie zB bei Größenmessung
> Ob Messinstrument misst, was es messen soll => Umfangreiche Studien nötig - In Psychologie kann man interessierendes Merkmal anhand einzelnen Messvorgangs häufig nur sehr viel gröber messen
> Bsp Intelligenz: Anhand einzelner Aufgabe kann man Personen nur zwei Gruppen zuordnen => Aufgabe (nicht) gelöst
> Zur feineren Bestimmung müssen mehrere Aufgaben bearbeitet werden (Frage, ob versch Aufg dasselbe Merkmal messen oder versch)
Psychologischer Test
3 Komponenten ergeben psychol Test:
- Reize, d merkmalrelevantes Verhalten provozieren
- Reaktionsformen, anhand derer d Verhalten registriert werden kann
- Modell, in d beobachtete Reaktionen mit latentem Merkmal in Verbindung gesetzt werden u d Messung von latenten Merkmalsausprägungen ermöglicht
- Je nach Art d Reize (Items) lassen sich unter Begriff Test versch Erfassungsmethoden subsumieren, zB Tests zur Messung spezifischer Leistungen (Power- (=> Item-Response) u Speedtest), Fragebögen zur Erfassung von Persönlichkeitsmerkmalen, Einstellungen oder Interessen
Rasch- Modell
193 Kindern wurden zehn Bilder mit Emotionen vorgelegt, ihre Antworten
bewertet u die so erhaltenen Daten mit Rasch-Modell (1960) analysiert
- Rasch-Modell geht von beobachtbaren dichotomen Antwortvariablen wie zB Lösung vs. Nichtlösung einer Aufg
- Rasch-Modell zufolge hängen die Lösungswsks aller betrachteten Aufg (Items) von einer nicht direkt beobachtbaren (latenten) kontinuierlichen V ab
- Lösungswahrscheinlichkeit einer Person in Bezug auf eine Aufgabe hängt sowohl von der Aufgabenschwierigkeit als auch dem Wert einer Person auf der latenten Variablen ab
> Lösungswsk nimmt mit Zunahme der Werte auf latenter Variablen zu - Abhängigkeit der Lösungswsk von der latenten Variablen wird durch Itemcharakteristik beschrieben > Im Rasch-Modell verlaufen alle Itemcharakteristiken parallel
Psychometrisches Modell
- Präzision: Wie viele Aufg stellt man, ähnlich oder unterschiedlich?
> Mathematische Modelle entwickelt, d der Konstruktion u Analyse von Erfassungsmethoden in Psychologie zugrunde gelegt werden können - Teildisziplin d Psychologie, d sich mit Messung psychol Merkmale beschäftigt => Psychometrie
> Psychometr Modelle erlauben es zu überprüfen, ob versch Aufgaben dasselbe Merkmal messen u mit welcher Präzision - In psychometr Modellen werden Konstrukte als latente Variablen definiert
> Messmodelle (mathematische Formulierung des Konstrukts) zur Messung von Konstrukten, d auf testbaren Annahmen basieren (können zur Testkonstruktion herangezogen werden) - Verhaltensregistrierung: Um psychol Merkmal erfassen zu können, muss man charakteristisches Verhalten registrieren, indem es provoziert wird
- Verhalten als Funktion von Person u Aufgabe: Registriertes Verhalten (zB (Nicht)Lösen einer Aufg) hängt von Pers- (zB Fähigkeit, Emotionen zu erkennen) u Aufgmerkmalen (zB Schwierigkeit) ab
- Wsksaussagen: Aufgr von Personen- u Aufgmerkmalen kann man Verhalten nur mit best WSK vorhersagen => Psychometr Mod = Probabilistische Modelle
- Schätzung d Merkmalsausprägung (MA): MA d Personen sind nicht bekannt, sondern müssen aus beobachtbarem Verhalten erschlossen werden (immer mit gewisser Unsicherheit behaftet)
- Psychometr Modelle = Messmodelle (eine / mehrere Konstrukte werden mit beobachtbaren Variablen in Bez gesetzt)
Testtheorie
- Teilgebiet der Psychometrie
> Beschäftigt sich mit Entw u Formalisierung psychometr Modelle für psychol Tests u mit ihrer Nutzung für Konstruktion u Evaluation psychol Tests - Psychometr Modelle, die sich auf psychol Tests beziehen, daher => testtheoretische Modelle
Variablen
- Mehrkategoriale manifeste V: Manifeste V weisen häufig mehr als zwei Werte (Kategorien) auf
> Kategorien mit Ordnung (ordinalskaliert) o nicht (nominalskaliert) - Typisch für viele Bereiche d Psychol: V mit geordneten Antwortkategorien (zB Aussagen: überhaupt nicht, eher nicht, eher oder voll u ganz)
> Zur Analyse solcher Items: Partial-Credit-Modell - Kontinuierliche manifeste V: Kommen in Psychodiagnostik vor, zB Reaktionszeitmessungen
- Kontinuierliche latente V: Kann mit kategorialen o kontinuierlichen beobachtbaren Variablen verknüpft werden (Latent-Trait-Modelle)
> Im Bereich Perskeitsdiagnostik o Einstellungsmessung geht man v latenten kontinuierl Merkm aus - Kategoriale latente V: Körperl Beschwerden in Klinischer Psychol (zB Kopfschmerzen, Rückenschmerzen, Herzrasen etc.)
> Versch Beschwerden erfasst man je anhand eines dichot Items mit Kategorien liegt (nicht) vor (Beschwerdemuster = Typen = Ausprägungen einer LKV)
Latente/ Manifeste Variablen
- Psychometr Modelle lassen sich danach ordnen, welche Variablenart auf Ebenen d manifesten u latenten V vorliegt
1. Latent-Class-Analyse (LV kategorial, MV kategorial) geordnet oder ungeordnete Variante (bezieht sich auf nominalskalierte Variablen)
2. Latente Profilanalyse (LV kategorial, MV kontinuierlich)
3. Latent-Trait-Modelle (LV kontinuierlich, MV kategorial (IRT => Rasch-Modell, Partial-Credit-Modell) / kontinuierlich (Generalisierte IRT))
Klassische Testheorie/ Item Response Theorie
- Klassische Testtheorie (KTT) auch: Messfehlertheorie
> Zsfassung für Modelle mit metrischen Antwortvariablen - Im Rahmen KTT wurden Modelle für kontinuierliche manifeste u kontinuierliche latente V entwickelt
- Baut auf Zerlegung eines beobachtbaren Wertes in wahren - u Fehlerwert auf
> Klassisch = Testtheor Ansatz, d Testtheorie von Beginn an geprägt hat - Klassische Testtheorie setzt kontinuierliche manifeste V voraus (auf Ebene einzelner Items in Psychol jedoch vglw selten)
> Ausgangspkt klassisch testtheoretischer Analysen: Gesamter Testwert (zB Anzahl gelöster Aufg)
Item-Response-Theorie (IRT): Ausgangspkt sind einzelne Itemantworten (Ich habe einen Reiz und schaue mir die Antwort dazu an)
> Unter Begriff d IRT werden typischerweise Modelle für kategoriale manifeste u kontinuierliche latente V zsgefasst
- Auf Itemniveau metrische manifeste V wie zB Reaktionszeiten (wichtig für implizite Messverfahren)
Schritte der Testentwicklung
Schritte der Testentwicklung
- Festlegung des zu erfassenden Konstrukts
- Erstellung eines Itempools
- Auswahl eines Antwortformats
- Itemanalyse und -auswahl
- Testanalyse
- Skalierung und Normierung
- Testdokumentation
- Weitere Untersuchungen zur Güte des Verfahrens und Testrevision
- Insbes Schritte 2 bis 5 können mehrmals durchlaufen werden u umfassen meist versch empir Erhebungen, bis Test vorliegt, der für Einsatz geeignet ist
- Auch Tests d im Einsatz sind müssen regelm auf Gütekriterien überprüft werden
Konstrukt erfassen
Um Konstrukt zu erfassen muss man es theoretisch definieren
> Je genauer man zu erfassendes Konstrukt theoretisch fasst, umso gezielter kann Itemkonstruktion bzw. -auswahl erfolgen
> Zu erfassenden Konstrukte sind meist in übergeordnete Theorien u Modelle eingebettet
Bsp “Fähigkeit, Emotionen in Gesichtern zu erkennen” ist Teilfähigkeit von “Fähigkeit, Emotionen zu erkennen”
> Wichtig bei Interpretation d Ergebnisse u Validität d Schlüsse d daraus gezogen werden
- Art des Merkmals: Kontinuierliches o kategoriales Merkmal?
> Kontinuierlich: Eindimensional / mehrdimensional?
> Kategorial: Wie viele Kategorien (Typen) sind bei latenter kategorialer V zu unterscheiden? Kann man aus bisherigen Erkenntnissen in Forschungsbereich keine Hypothese ableiten, werden zB exploratorische Studien im Konstruktionsprozess durchgeführt oder diesem vorgeschaltet - Mehrdimensionalität: Es lassen sich zwei Varianten v Modellen unterscheiden
1. Versch Items erfassen versch Dimensionen (latente V),
2. WSK einer Itemantwort hängt von mehreren latenten V ab
Konstruktvalidität
- Bezieht sich auf Frage, inwieweit Testwerte im Sinne d Konstrukts, das beobachtete Testwerte u deren Zshänge mit anderen V erklären soll, interpretiert werden können
- Untersuchung d Konstruktvalidität ist meist ein umfass Forschungsprogr, d mit Testentwicklung nicht beendet ist, sondern d Einsatz d Tests in Forschung u Praxis fortwährend begleiten kann
- Sicherung d Konstruktvalidität durch nachweisen, dass Testwerte d Erwartungen folgen, die man aus theoret Überlegungen zum Konstrukt herleiten kann
Strategien zur Untersuchung der Konstruktvalidität
Strategien zur Untersuchung der Konstruktvalidität am Bsp gute vs. schlechte Stimmung:
1. Analyse von Gruppenunterschieden (zB Varianzanalyse, Hypothesentest)
zB Geben depressive Personen geringere Werte auf einer Gute-Stimmung Skala an als nicht depressive Personen?
2. Zshangsanalysen mit anderen Tests (zB bivariate Verfahren)
zB hängen Stimmungswerte mit anderen Testwerten zur Erfassung
der Stimmung zusammen?
3. Analyse der internen Struktur eines Tests
zB Sind die Items zur Erfassung der Stimmung eindimensional?
4. Analyse der Stabilität vs. Veränderung von Testwerten
zB schwanken Stimmungswerte über Zeit u Situationen hinweg u verändern sie sich nach experimenteller Induktion von positiver Stimmung?
5. Prozessanalyse (Untersuchung d Antwortprozesses)
zB Wie kommt d Lösung einer Aufg zustande? (Lautes Denken)
Erstellung des Itempools und Testkonstruktion
- Auswahl d Items muss so erfolgen, dass Konstrukt durch Items angemessen repräsentiert wird (zB beim Erkennen von Emotionen: zB nur Basisemotionen)
> Konstrukt darf nicht unterrepräsentiert sein, also muss jede Emotion als Bild vertreten sein
> Testwert darf nicht von konstruktirrelevanten Einflüssen (Merkmale, d Testverhalten beeinflussen, aber nichts mit gemessenem Konstrukt zu tun haben) abhängen, also darf Nichterkennen d Emotionen zB nicht von Bildqualität abhängen - Je nach Anwendungsbereich d Tests kommen Inhalts- u Kriteriumsvalidität in unterschiedl Ausmaß bei Itemkonstruktion u -selektion zum Tragen
- In d Psychol haben sich versch Strategien herausgebildet, d sich an untersch Aspekten d Validität orientieren:
1. Rationale Testkonstruktion, bei d Items eng an theoret Überlegungen zum Konstrukt erstellt werden
2. Strategien, bei denen insbes d Repräsentativität d Items für einen Inhaltsbereich gesichert werden soll u d somit auf Inhaltsvalidität abheben
> zB Konstruktion kriteriumsorientierter Tests u induktive Konstruktionsstrategien
3. Strategien, bei denen Vorhersageleistung eines Tests (Vorhersage eines externen Kriteriums (zB (Nicht)Vorliegen eines klinischen Symptoms), maximiert werden soll u somit auf Kriteriumsvalidität fokussieren
=> Testkonstruktionsprozess verbindet meist d versch Ansätze
Testkonstruktionsmethoden:
- Rational bzw deduktiv (Konstruktvalidität) => Von Theorie wird abgeleitet, welche Items logisch wären
- Kriteriumsorientiert (Inhaltsvalidität, Bereich Erfassung Kompetenzen) => Nach Merkmalsart (kategorial/kontinuierlich), nach Dimensionalität (Typen)
- Induktiv (orientiert sich an Inhaltsvalidität, Persönlichkeits- / Befindlichkeitsdiagnostik),
- Externale Testkonstruktion (Kriteriumsvalidität)
=> Bei allen 4 Punkten ist die Validität wichtig
Auswahl eines Antwortformats
- Wahl d Antwortformats kann von mehreren Aspekten abhängen
1. Objektivität: Antwortformat stellt dann Objektivität sicher, wenn Testwert, d Interpretation zugrunde gelegt wird, nicht von TestleiterIn beeinflusst wird
> Bei geschlossenen (gebundenen) Antwortformaten hoch, bei offenen (freien) Antwortformaten idR geringer
2. Präzision, mit der man Konstrukt erfassen will
> Hohe Anzahl d Antwortformate ist präziser, kann Person jedoch überfordern, sodass Antwortstil (nur noch geringste/höchste Kategorie) entwickelt wird => Weniger vergleichbar bei Personen mit versch Antwortstilen
=> Auswahl d Antwortformats muss nach Abwägen von Vor- u Nachteilen entschieden werden u hängt von Fragestellung ab
Prätests
Prästests:
- Zusätzlich zum Itempool muss Instruktion für Test erstellt werden
> Richtet sich an Personen, d Test bearbeiten sollen (Erklärung wie Test bearbeitet wird), u an Testleitung (erläutert, wie Test durchgeführt werden soll)
1. Expertenurteil: Instruktion u Itempool muss von Experten abgesegnet werden
2. Test muss kleiner Stichprobe von Personen, d repräsentativ für später zu testenden Personen sind, vorggb werden (Prätest), um Prozessanalysen durchzuführen
3. Empirische Untersuchungen: Zur psychometr Güte d Items
> Items müssen anhand psychometr Modells untersucht werden
> Anhand Ergebnisse dieser Studie sollten Items zunächst anhand deskriptivstatistischer Verfahren untersucht werden, um Auffälligkeiten
aufzudecken (zB Kodierfehler, unzulässige Werte, keine Varianz der
Itemantworten)
> Schließlich sollten Items anhand eines angemessenen testtheoret Modells untersucht werden
> Anhand dieser Modelle können Items nach spezif Optimalitätsbedingungen ausgewählt werden
KÜRZEN
