Testtheorie und Testkonstruktion 1 Flashcards
Grundfragen der Testtheorie und Testkonstruktion
o Psychol. Messungen (!), Psychol. Test; Grundzüge des Raschmodells
- Bei Erfassung psychol Merkmale gibts keine allgemein akzeptierten Vergleichsstandards („golden standards“)
> Häufig fehlt allg akzeptierte Definition eines Merkmals + keine normierten Maßeinheiten wie zB bei Größenmessung
> Ob Messinstrument misst, was es messen soll => Umfangreiche Studien nötig - In Psychologie kann man interessierendes Merkmal anhand einzelnen Messvorgangs häufig nur sehr viel gröber messen
> Bsp Intelligenz: Anhand einzelner Aufgabe kann man Personen nur zwei Gruppen zuordnen => Aufgabe (nicht) gelöst
> Zur feineren Bestimmung müssen mehrere Aufgaben bearbeitet werden (Frage, ob versch Aufg dasselbe Merkmal messen oder versch)
- Präzision: Wie viele Aufg stellt man, ähnlich oder unterschiedlich?
> Mathematische Modelle entwickelt, d der Konstruktion u Analyse von Erfassungsmethoden in Psychologie zugrunde gelegt werden können
- Teildisziplin d Psychologie, d sich mit Messung psychol Merkmale beschäftigt => Psychometrie
> Psychometr Modelle erlauben es zu überprüfen, ob versch Aufgaben dasselbe Merkmal messen u mit welcher Präzision
Grundfragen der Testtheorie und Testkonstruktion
o Psychol. Messungen, Psychol. Test (!); Grundzüge des Raschmodells
3 Komponenten ergeben psychol Test:
- Reize, d merkmalrelevantes Verhalten provozieren
- Reaktionsformen, anhand derer d Verhalten registriert werden kann
- Modell, in d beobachtete Reaktionen mit latentem Merkmal in Verbindung gesetzt werden u d Messung von latenten Merkmalsausprägungen ermöglicht
- Je nach Art d Reize (Items) lassen sich unter Begriff Test versch Erfassungsmethoden subsumieren, zB Tests zur Messung spezifischer Leistungen (Power- (=> Item-Response) u Speedtest), Fragebögen zur Erfassung von Persönlichkeitsmerkmalen, Einstellungen oder Interessen
Grundfragen der Testtheorie und Testkonstruktion
o Psychol. Messungen, Psychol. Test; Grundzüge des Raschmodells (!)
193 Kindern wurden zehn Bilder mit Emotionen vorgelegt, ihre Antworten
bewertet u die so erhaltenen Daten mit Rasch-Modell (1960) analysiert
- Rasch-Modell geht von beobachtbaren dichotomen Antwortvariablen wie zB Lösung vs. Nichtlösung einer Aufg
- Rasch-Modell zufolge hängen die Lösungswsks aller betrachteten Aufg (Items) von einer nicht direkt beobachtbaren (latenten) kontinuierlichen V ab
- Lösungswahrscheinlichkeit einer Person in Bezug auf eine Aufgabe hängt sowohl von der Aufgabenschwierigkeit als auch dem Wert einer Person auf der latenten Variablen ab
> Lösungswsk nimmt mit Zunahme der Werte auf latenter Variablen zu - Abhängigkeit der Lösungswsk von der latenten Variablen wird durch Itemcharakteristik beschrieben > Im Rasch-Modell verlaufen alle Itemcharakteristiken parallel
Grundfragen der Testtheorie und Testkonstruktion
o Grundlegende Annahmen und Eigenschaften psychometrischer Modelle
- In psychometr Modellen werden Konstrukte als latente Variablen definiert
> Messmodelle (mathematische Formulierung des Konstrukts) zur Messung von Konstrukten, d auf testbaren Annahmen basieren (können zur Testkonstruktion herangezogen werden) - Verhaltensregistrierung: Um psychol Merkmal erfassen zu können, muss man charakteristisches Verhalten registrieren, indem es provoziert wird
- Verhalten als Funktion von Person u Aufgabe: Registriertes Verhalten (zB (Nicht)Lösen einer Aufg) hängt von Pers- (zB Fähigkeit, Emotionen zu erkennen) u Aufgmerkmalen (zB Schwierigkeit) ab
- Wsksaussagen: Aufgr von Personen- u Aufgmerkmalen kann man Verhalten nur mit best WSK vorhersagen => Psychometr Mod = Probabilistische Modelle
- Schätzung d Merkmalsausprägung (MA): MA d Personen sind nicht bekannt, sondern müssen aus beobachtbarem Verhalten erschlossen werden (immer mit gewisser Unsicherheit behaftet)
- Psychometr Modelle = Messmodelle (eine / mehrere Konstrukte werden mit beobachtbaren Variablen in Bez gesetzt)
Testtheorie
- Teilgebiet der Psychometrie
> Beschäftigt sich mit Entw u Formalisierung psychometr Modelle für psychol Tests u mit ihrer Nutzung für Konstruktion u Evaluation psychol Tests - Psychometr Modelle, die sich auf psychol Tests beziehen, daher => testtheoretische Modelle
Grundfragen der Testtheorie und Testkonstruktion
o Unterscheidungsmerkmale testtheoretischer Modelle (!); Klassifikation psychometrischer Modelle; Begriffliche Abgrenzungen im Rahmen der Klassischen Testtheorie und Item-Response-Theorie
- Mehrkategoriale manifeste V: Manifeste V weisen häufig mehr als zwei Werte (Kategorien) auf
> Kategorien mit Ordnung (ordinalskaliert) o nicht (nominalskaliert) - Typisch für viele Bereiche d Psychol: V mit geordneten Antwortkategorien (zB Aussagen: überhaupt nicht, eher nicht, eher oder voll u ganz)
> Zur Analyse solcher Items: Partial-Credit-Modell - Kontinuierliche manifeste V: Kommen in Psychodiagnostik vor, zB Reaktionszeitmessungen
- Kontinuierliche latente V: Kann mit kategorialen o kontinuierlichen beobachtbaren Variablen verknüpft werden (Latent-Trait-Modelle)
> Im Bereich Perskeitsdiagnostik o Einstellungsmessung geht man v latenten kontinuierl Merkm aus - Kategoriale latente V: Körperl Beschwerden in Klinischer Psychol (zB Kopfschmerzen, Rückenschmerzen, Herzrasen etc.)
> Versch Beschwerden erfasst man je anhand eines dichot Items mit Kategorien liegt (nicht) vor (Beschwerdemuster = Typen = Ausprägungen einer LKV)
Grundfragen der Testtheorie und Testkonstruktion
o Unterscheidungsmerkmale testtheoretischer Modelle; Klassifikation psychometrischer Modelle (!); Begriffliche Abgrenzungen im Rahmen der Klassischen Testtheorie und Item-Response-Theorie
- Psychometr Modelle lassen sich danach ordnen, welche Variablenart auf Ebenen d manifesten u latenten V vorliegt
- Latent-Class-Analyse (LV kategorial, MV kategorial) geordnet oder ungeordnete Variante (bezieht sich auf nominalskalierte Variablen)
- Latente Profilanalyse (LV kategorial, MV kontinuierlich)
- Latent-Trait-Modelle (LV kontinuierlich, MV kategorial (IRT => Rasch-Modell, Partial-Credit-Modell) / kontinuierlich (Generalisierte IRT))
Grundfragen der Testtheorie und Testkonstruktion
o Unterscheidungsmerkmale testtheoretischer Modelle; Klassifikation psychometrischer Modelle; Begriffliche Abgrenzungen im Rahmen der Klassischen Testtheorie und Item-Response-Theorie (!)
- Klassische Testtheorie (KTT) auch: Messfehlertheorie
> Zsfassung für Modelle mit metrischen Antwortvariablen - Im Rahmen KTT wurden Modelle für kontinuierliche manifeste u kontinuierliche latente V entwickelt
- Baut auf Zerlegung eines beobachtbaren Wertes in wahren - u Fehlerwert auf
> Klassisch = Testtheor Ansatz, d Testtheorie von Beginn an geprägt hat - Klassische Testtheorie setzt kontinuierliche manifeste V voraus (auf Ebene einzelner Items in Psychol jedoch vglw selten)
> Ausgangspkt klassisch testtheoretischer Analysen: Gesamter Testwert (zB Anzahl gelöster Aufg)
Item-Response-Theorie (IRT): Ausgangspkt sind einzelne Itemantworten (Ich habe einen Reiz und schaue mir die Antwort dazu an)
> Unter Begriff d IRT werden typischerweise Modelle für kategoriale manifeste u kontinuierliche latente V zsgefasst
- Auf Itemniveau metrische manifeste V wie zB Reaktionszeiten (wichtig für implizite Messverfahren)
Wesentliche Schritte der Konstruktion psychologischer Tests
o Schritte der Testkonstruktion/-entwicklung (!); was ist zu beachten/nötig bzgl. der Festlegung eines Konstrukts, einer Fragestellung; Konstruktvalidität, Strategien zur Untersuchung der Konstruktvalidität
Schritte der Testentwicklung
- Festlegung des zu erfassenden Konstrukts
- Erstellung eines Itempools
- Auswahl eines Antwortformats
- Itemanalyse und -auswahl
- Testanalyse
- Skalierung und Normierung
- Testdokumentation
- Weitere Untersuchungen zur Güte des Verfahrens und Testrevision
- Insbes Schritte 2 bis 5 können mehrmals durchlaufen werden u umfassen meist versch empir Erhebungen, bis Test vorliegt, der für Einsatz geeignet ist
- Auch Tests d im Einsatz sind müssen regelm auf Gütekriterien überprüft werden
Wesentliche Schritte der Konstruktion psychologischer Tests
o Schritte der Testkonstruktion/-entwicklung; was ist zu beachten/nötig bzgl. der Festlegung eines Konstrukts, einer Fragestellung (!); Konstruktvalidität, Strategien zur Untersuchung der Konstruktvalidität
Um Konstrukt zu erfassen muss man es theoretisch definieren
> Je genauer man zu erfassendes Konstrukt theoretisch fasst, umso gezielter kann Itemkonstruktion bzw. -auswahl erfolgen
> Zu erfassenden Konstrukte sind meist in übergeordnete Theorien u Modelle eingebettet
Bsp “Fähigkeit, Emotionen in Gesichtern zu erkennen” ist Teilfähigkeit von “Fähigkeit, Emotionen zu erkennen”
> Wichtig bei Interpretation d Ergebnisse u Validität d Schlüsse d daraus gezogen werden
- Art des Merkmals: Kontinuierliches o kategoriales Merkmal?
> Kontinuierlich: Eindimensional / mehrdimensional?
> Kategorial: Wie viele Kategorien (Typen) sind bei latenter kategorialer V zu unterscheiden? Kann man aus bisherigen Erkenntnissen in Forschungsbereich keine Hypothese ableiten, werden zB exploratorische Studien im Konstruktionsprozess durchgeführt oder diesem vorgeschaltet - Mehrdimensionalität: Es lassen sich zwei Varianten v Modellen unterscheiden
1. Versch Items erfassen versch Dimensionen (latente V),
2. WSK einer Itemantwort hängt von mehreren latenten V ab
Wesentliche Schritte der Konstruktion psychologischer Tests
o Schritte der Testkonstruktion/-entwicklung; was ist zu beachten/nötig bzgl. der Festlegung eines Konstrukts, einer Fragestellung; Konstruktvalidität (!), Strategien zur Untersuchung der Konstruktvalidität
- Bezieht sich auf Frage, inwieweit Testwerte im Sinne d Konstrukts, das beobachtete Testwerte u deren Zshänge mit anderen V erklären soll, interpretiert werden können
- Untersuchung d Konstruktvalidität ist meist ein umfass Forschungsprogr, d mit Testentwicklung nicht beendet ist, sondern d Einsatz d Tests in Forschung u Praxis fortwährend begleiten kann
- Sicherung d Konstruktvalidität durch nachweisen, dass Testwerte d Erwartungen folgen, die man aus theoret Überlegungen zum Konstrukt herleiten kann
Wesentliche Schritte der Konstruktion psychologischer Tests
o Schritte der Testkonstruktion/-entwicklung; was ist zu beachten/nötig bzgl. der Festlegung eines Konstrukts, einer Fragestellung; Konstruktvalidität, Strategien zur Untersuchung der Konstruktvalidität (!)
Strategien zur Untersuchung der Konstruktvalidität am Bsp gute vs. schlechte Stimmung:
1. Analyse von Gruppenunterschieden (zB Varianzanalyse, Hypothesentest)
zB Geben depressive Personen geringere Werte auf einer Gute-Stimmung Skala an als nicht depressive Personen?
2. Zshangsanalysen mit anderen Tests (zB bivariate Verfahren)
zB hängen Stimmungswerte mit anderen Testwerten zur Erfassung
der Stimmung zusammen?
3. Analyse der internen Struktur eines Tests
zB Sind die Items zur Erfassung der Stimmung eindimensional?
4. Analyse der Stabilität vs. Veränderung von Testwerten
zB schwanken Stimmungswerte über Zeit u Situationen hinweg u verändern sie sich nach experimenteller Induktion von positiver Stimmung?
5. Prozessanalyse (Untersuchung d Antwortprozesses)
zB Wie kommt d Lösung einer Aufg zustande? (Lautes Denken)
Wesentliche Schritte der Konstruktion psychologischer Tests
o Erstellung eines Itempools (!), Testkonstruktionsprinzipien/-methoden/-ansätze (!), Facetten der Validität
o Auswahl eines Antwortformats; Gütekriterien der Itemauswahl (auch
Itemselektionsprozess); Skalierung und Normierung; Aspekte der Testanalyse und Inhalte der Testdokumentation
- Auswahl d Items muss so erfolgen, dass Konstrukt durch Items angemessen repräsentiert wird (zB beim Erkennen von Emotionen: zB nur Basisemotionen)
> Konstrukt darf nicht unterrepräsentiert sein, also muss jede Emotion als Bild vertreten sein
> Testwert darf nicht von konstruktirrelevanten Einflüssen (Merkmale, d Testverhalten beeinflussen, aber nichts mit gemessenem Konstrukt zu tun haben) abhängen, also darf Nichterkennen d Emotionen zB nicht von Bildqualität abhängen - Je nach Anwendungsbereich d Tests kommen Inhalts- u Kriteriumsvalidität in unterschiedl Ausmaß bei Itemkonstruktion u -selektion zum Tragen
- In d Psychol haben sich versch Strategien herausgebildet, d sich an untersch Aspekten d Validität orientieren:
1. Rationale Testkonstruktion, bei d Items eng an theoret Überlegungen zum Konstrukt erstellt werden
2. Strategien, bei denen insbes d Repräsentativität d Items für einen Inhaltsbereich gesichert werden soll u d somit auf Inhaltsvalidität abheben
> zB Konstruktion kriteriumsorientierter Tests u induktive Konstruktionsstrategien
3. Strategien, bei denen Vorhersageleistung eines Tests (Vorhersage eines externen Kriteriums (zB (Nicht)Vorliegen eines klinischen Symptoms), maximiert werden soll u somit auf Kriteriumsvalidität fokussieren
=> Testkonstruktionsprozess verbindet meist d versch Ansätze
Testkonstruktionsmethoden:
- Rational bzw deduktiv (Konstruktvalidität) => Von Theorie wird abgeleitet, welche Items logisch wären
- Kriteriumsorientiert (Inhaltsvalidität, Bereich Erfassung Kompetenzen) => Nach Merkmalsart (kategorial/kontinuierlich), nach Dimensionalität (Typen)
- Induktiv (orientiert sich an Inhaltsvalidität, Persönlichkeits- / Befindlichkeitsdiagnostik),
- Externale Testkonstruktion (Kriteriumsvalidität)
=> Bei allen 4 Punkten ist die Validität wichtig
Wesentliche Schritte der Konstruktion psychologischer Tests
o Erstellung eines Itempools, Testkonstruktionsprinzipien/-methoden/-ansätze, Facetten der Validität
o Auswahl eines Antwortformats (!); Gütekriterien der Itemauswahl (auch
Itemselektionsprozess); Skalierung und Normierung; Aspekte der Testanalyse und Inhalte der Testdokumentation
- Wahl d Antwortformats kann von mehreren Aspekten abhängen
1. Objektivität: Antwortformat stellt dann Objektivität sicher, wenn Testwert, d Interpretation zugrunde gelegt wird, nicht von TestleiterIn beeinflusst wird
> Bei geschlossenen (gebundenen) Antwortformaten hoch, bei offenen (freien) Antwortformaten idR geringer
2. Präzision, mit der man Konstrukt erfassen will
> Hohe Anzahl d Antwortformate ist präziser, kann Person jedoch überfordern, sodass Antwortstil (nur noch geringste/höchste Kategorie) entwickelt wird => Weniger vergleichbar bei Personen mit versch Antwortstilen
=> Auswahl d Antwortformats muss nach Abwägen von Vor- u Nachteilen entschieden werden u hängt von Fragestellung ab
Wesentliche Schritte der Konstruktion psychologischer Tests
o Erstellung eines Itempools, Testkonstruktionsprinzipien/-methoden/-ansätze, Facetten der Validität
o Auswahl eines Antwortformats; Gütekriterien der Itemauswahl (!) (auch Itemselektionsprozess); Skalierung und Normierung; Aspekte der Testanalyse und Inhalte der Testdokumentation
Prästests:
- Zusätzlich zum Itempool muss Instruktion für Test erstellt werden
> Richtet sich an Personen, d Test bearbeiten sollen (Erklärung wie Test bearbeitet wird), u an Testleitung (erläutert, wie Test durchgeführt werden soll)
1. Expertenurteil: Instruktion u Itempool muss von Experten abgesegnet werden
2. Test muss kleiner Stichprobe von Personen, d repräsentativ für später zu testenden Personen sind, vorggb werden (Prätest), um Prozessanalysen durchzuführen
3. Empirische Untersuchungen: Zur psychometr Güte d Items
> Items müssen anhand psychometr Modells untersucht werden
> Anhand Ergebnisse dieser Studie sollten Items zunächst anhand deskriptivstatistischer Verfahren untersucht werden, um Auffälligkeiten
aufzudecken (zB Kodierfehler, unzulässige Werte, keine Varianz der
Itemantworten)
> Schließlich sollten Items anhand eines angemessenen testtheoret Modells untersucht werden
> Anhand dieser Modelle können Items nach spezif Optimalitätsbedingungen ausgewählt werden
KÜRZEN
Wesentliche Schritte der Konstruktion psychologischer Tests
o Erstellung eines Itempools, Testkonstruktionsprinzipien/-methoden/-ansätze, Facetten der Validität
o Auswahl eines Antwortformats; Gütekriterien der Itemauswahl (auch
Itemselektionsprozess) (!); Skalierung und Normierung; Aspekte der Testanalyse und Inhalte der Testdokumentation
Itemselektionsprozess ist im Allg an folg Kriterien orientiert:
1. Passung zum Modell: Items müssen Anforderungen d psychometr Modells entsprechen (Items, die dies nicht tun, werden aussortiert)
2. Schätzgenauigkeit: Latente Merkmalsauspr sind unbekannt u müssen geschätzt werden (Genauigkeit hängt von Eigensch u Anzahl d Items ab)
> Es werden Items ausgewählt, d hohen Beitrag zur Schätzgenauigkeit leisten
> Steht in engem Zshang mit Reliabilität
3. Ökonomie: Test ist ökon, wenn er wenig Ressourcen verbraucht (bei Testkonstruktion va bzgl Testlänge)
> Dauert länger für alle Beteiligten, teurer usw aber kann förderlich
für Schätzgenauigkeit sein
> Kunst d Testkonstruktion: Items auswählen, d hohe Schätzgenau u Ökonomie gewährleisten
4. Zumutbarkeit: Testpersonen sollten im Vgl zum Nutzen in zeitl, psych u körperl Hinsicht nicht unverhältnismäßig belastet werden
> Je weniger zumutbar ein Test, umso größer ist Gefahr, dass konstruktirrelevante Faktoren ins Spiel kommen
> Spezif Methoden d Testdarbietung wie adaptives Testen bieten persspezif zsgestellte Items, dass sie für eine Person zumutbar sind u gleichzeitig adäquate Schätzung ihrer Merkmalsausprägung erlauben
5. Testfairness: Test sollte in allen Subgruppen (ethnisch, Geschlecht etc) dasselbe Konstrukt messen u Items, d in untersch Subgruppen untersch Eigenschaften aufweisen, sollten eliminiert werden
6. Unverfälschbarkeit: Test ist verfälschbar, wenn Pers zutreffende Antwort durch ihr Testverhalten verzerren können (zB bei hoher Augenscheinval u Erfassung v Persönlichkeitsmerkm o Intelligenz)
> Als Test zB zwei Zufallsstichproben miteinander vgl, von denen eine Gruppe d Test in neutraler Situation ohne persönl Konsequenzen bearbeitet, zweite Gruppe wird gebeten, sich in eine Testsituation hineinzuversetzen, in der Test eingesetzt werden soll zB Einstellungs-, Berentungsverfahren)
» Items identifizieren, die besond für Verfälschungen anfällig sind
Wesentliche Schritte der Konstruktion psychologischer Tests
o Erstellung eines Itempools, Testkonstruktionsprinzipien/-methoden/-ansätze, Facetten der Validität
o Auswahl eines Antwortformats; Gütekriterien der Itemauswahl (auch
Itemselektionsprozess); Skalierung und Normierung (!); Aspekte der Testanalyse und Inhalte der Testdokumentation
- Transformation v Merkmalswerten erleichtert Interpretation d Merkmauspräg, da
1. leichter erkannt werden kann, wie Leistung zu bewerten ist
2. sie Ergebnisse aus versch Tests vergleichbar machen
> Transformierte Merkmalswerte = Skalenwerte, Bildung transformierter Werte = Skalierung - In testtheor Modellen kann man Skalenniveau d latenten V bestimmen
> Modelle erfüllen daher d Gütekriterium d Skalierung, da in ihnen d Skalenniveau d latenten V eindeutig hergeleitet werden kann - Norm- (Verteilung in Referenzpopulation wird herangezogen) u kriteriumsorientierte Skalierung (Kriterium festgelegt, das zu erfüllen ist) basieren beide auf Bezugssystem
> Wichtig, dass Skalierung so gewählt wird, dass sie zu erfassendes Merkmal für Zwecke, für d Test eingesetzt werden soll, angemessen repräsentiert
Wesentliche Schritte der Konstruktion psychologischer Tests
o Erstellung eines Itempools, Testkonstruktionsprinzipien/-methoden/-ansätze, Facetten der Validität
o Auswahl eines Antwortformats; Gütekriterien der Itemauswahl (auch
Itemselektionsprozess); Skalierung und Normierung; Aspekte der Testanalyse (!) und Inhalte der Testdokumentation
- Nachdem alle Items ausgewählt wurden, können diese zu Test zsgestellt u allg Güteeigenschaften d Tests untersucht werden, zB Bedeutungsänderungen eines Items im Kontext der Darbietung
> Idealfall: Ausgewählte Items werden neuer Stichprobe vorgelegt u Gütekriterien d Gesamttests anhand dieser untersucht
» Stichprobe sollte repräsentativ für Population v Personen sein, bei denen Test eingesetzt werden soll - Wichtiges Gütekriterium d Gesamttests angeben: Reliabilität
> Messfehler verringern, indem man Items austauscht? - Darüber hinaus sollte Genauigkeit d Schätzung einzelner latenter Merkmalswerte bestimmt werden
- Auch Validität u Objektivität sollten in Bezug auf Gesamttest analysiert u zsgestellt werden
- Auch restliche Gütekriterien sollten nochmals anhand des Tests überprüft u dokumentiert werden
Wesentliche Schritte der Konstruktion psychologischer Tests
o Erstellung eines Itempools, Testkonstruktionsprinzipien/-methoden/-ansätze, Facetten der Validität
o Auswahl eines Antwortformats; Gütekriterien der Itemauswahl (auch
Itemselektionsprozess); Skalierung und Normierung; Aspekte der Testanalyse und Inhalte der Testdokumentation (!)
- Nach Entwicklung des Tests muss diese dokumentiert werden
> Inhalte der Testdokumentation (in Anlehnung an Häcker et al., 1998)
• theoretische Grundlagen des Tests
• empfohlene Anwendungsbereiche
• empirische Belege für die Anwendungsbereiche
• Hinweise auf missbräuchliche Anwendungen (falls absehbar)
• spezifische Qualifikationen des Testanwenders (falls notwendig)
• Instruktion für die Testdarbietung
• Beispiele von Interpretationen der Testergebnisse
• Grundlagen der Testentwicklung (Definition des Inhaltsbereichs oder Itemgrundgesamtheit, Itemauswahl)
• Hinweise darauf, inwieweit Testergebnisse durch Übung, Coaching oder Anleitung verbessert werden können
• Informationen zu Gütekriterien
• Darstellung der Normen (falls gewünscht)