Praxis der Testkonstruktion - Planungsphase

Question 1

Schritte der Testkonstruktion

Answer 1

1. Planungsphase
2. Item-/Aufgabenkonstruktion
3. Itemanalyse: Erfüllen meine Aufgaben bestimmte Konstrukte, z.B.: Niveau
   vergleichende Bewertung von Items: Welche Items sollen behalten werden, welche nicht.
   erfolgt oft anhand einer Konstruktionsstichprobe
4. Erstellung der Testendform und Kontrolle der Testgütekriterien (besonders: Reliabilität und Validität)
5. Normierung
   Weitere zusätzlich mögliche Schritte:
6. Manualerstellung & Publikation (Zusammenfassung der ersten 5 Schritte)
7. Testpflege (Revisionen, weitere Validierung): Der Test soll aktuell bleiben
   Stellt keinen vollständig linearen Prozess dar: Es sind Rückkopplungsschleifen möglich.
   Z.B.: Von der Aufgabenkonstruktion kann man auf die Planungsphase zurückfallen, da vielleicht hier bestimmte Dinge auffallen, die vorher nicht durchdacht gewesen sind.
   Z.B.: Wenn man in der Itemanalyse Items ausschließen muss, kann man sie entweder rausschmeißen, oder zu Schritt 2 zurückgehen und das Konstrukt verändern. …

Question 2

Schritte der Testkonstruktion

Answer 2

1. Planungsphase
2. Item-/Aufgabenkonstruktion
3. Itemanalyse: Erfüllen meine Aufgaben bestimmte Konstrukte, z.B.: Niveau
   vergleichende Bewertung von Items: Welche Items sollen behalten werden, welche nicht.
   erfolgt oft anhand einer Konstruktionsstichprobe
4. Erstellung der Testendform und Kontrolle der Testgütekriterien (besonders: Reliabilität und Validität)
5. Normierung
   Weitere zusätzlich mögliche Schritte:
6. Manualerstellung & Publikation (Zusammenfassung der ersten 5 Schritte)
7. Testpflege (Revisionen, weitere Validierung): Der Test soll aktuell bleiben
   Stellt keinen vollständig linearen Prozess dar: Es sind Rückkopplungsschleifen möglich.
   Z.B.: Von der Aufgabenkonstruktion kann man auf die Planungsphase zurückfallen, da vielleicht hier bestimmte Dinge auffallen, die vorher nicht durchdacht gewesen sind.
   Z.B.: Wenn man in der Itemanalyse Items ausschließen muss, kann man sie entweder rausschmeißen, oder zu Schritt 2 zurückgehen und das Konstrukt verändern. …

Question 3

1. Fragestellung

Answer 3

• Frage: Auf welche Weise ist das Merkmal zu bestimmen, das der „neue Test“ erfassen soll? Ansatz: Der Entwickler des Tests muss von einer oder mehrere Theorien ausgehen um seine Fragestellung zu erarbeiten.
• Festlegung von Validitäts- und Geltungsbereich
o Geltungsbereich: Für wen soll das Testverfahren gültig sein? (Z.B.: Kinder/Jugendliche/Erwachsene; Bildungsniveau, spezifische Gruppen,..)
 wesentlich für weitere Konstruktionsschritte
 Inhaltlich, z.B.: Komplexität, Besonderheiten
 Methodisch, z.B.: Stichprobenrekrutierung
o Validitätsbereich
 Welche inhaltlichen Aspekte soll das Verfahren umfassen, welche nicht?
 Welchen Zweck verfolgt der Test?
 Z.B.: Erfassung eines theoretischen Konstruktes versus Grundlage für konkrete praktische Entscheidungen
 Komplexes/umfängliches versus eng umschriebenes Konstrukt (z.B.: Persönlichkeit versus soziale Ängstlichkeit)
 Welche Validierungskriterien können herangezogen werden?
 Geht es um spezifische Kontexte? (z.B.: berufliche Leistungsbereitschaft = Kontext Beruf)
 Genaue Antworten oft erst nach ausführlicher Merkmalsanalyse möglich
• Psychologische Merkmalsanalyse
o Erarbeiten einer (Arbeits-)Definition des zu erhebenden Konstruktes: Sammlung und Analyse von Informationen zum Themenbereich  Wichtig: Name und Bedeutung des Konstrukts
o Strukturierung des Merkmals: Differenzierung von spezifischeren Verhaltenskategorien
 gewährleistet inhaltliche Vollständigkeit und Ausgewogenheit bei Itemkonstruktion
o Je nachdem worum es geht, kann die Analyse mehr oder weniger stark an theoretischen Modellen zum Konstrukt orientiert sein und die Quellen können variieren
 Normalerweise Überblicksartikel, einschlägige Theorien, empirische Arbeiten usw.
 Expertenbefragung; Ggf. Interviews/Beobachtung einer kleiner Stichprobe
 Z.T. auch rein anforderungsbezogen
o Beispiel: Berufseignungsverfahren für Sekretärinnen
Merkmalsanalyse: Welche Kenntnisse, Fähigkeiten, Fertigkeiten, Eigenschaften usw. müssen Sekretärinnen besitzen?
 Maschinenschreiben, Kurzschrift, Orthographische Sicherheit
 Englische Sprachkenntnisse - Allgemeine intellektuelle Leistungsfähigkeit
 Protokollniederschriften aus der Erinnerung anfertigen
 Gute soziale Anpassung, Überdurchschnittliche Selbstsicherheit
 EDV-Grundkenntnisse

Question 4

2. Struktur des Tests

Answer 4

Bestimmung der Testart (Struktur des Tests)
Fragen:
• Einzel- oder Gruppentest?
 Führt Messung in partnerschaftlicher Zweiersituation und distanzierten Gruppensituation zu gleichen Ergebnissen?
• Darbietungsform und Material: nur Papier und Stift oder auch apparative Ausstattungen?
 Lassen sich Merkmale in beiden Medien auf die gleiche Weise „abbilden“?
• Testlänge?
 Will ich differenzierte oder globale Messergebnisse?
• Für welche Population ist der Test vorgesehen, wie lassen sich die entsprechenden Stichproben gewinnen?  Je spezieller die Selektion, je homogener die angezielte Gruppe, umso schwieriger die Ermittlung ausreichender Gütekriterien. Je globaler dagegen die Population, je heterogener ihre Zusammensetzung (bezogen auf das Testmerkmal), umso leichter ist es, günstige Gütekriterien zu gewinnen.
• Struktur: Ein einziger Gesamttest oder Gliederung in Untertests?

Question 5

3. Modellwahl/Konstruktionsstrategie

Answer 5

Modellwahl/Konstruktionsstrategie (z.B.: KTT vs. PTT; Art der Bestimmung von Subskalen)

Question 6

1. Fragestellung

Answer 6

• Frage: Auf welche Weise ist das Merkmal zu bestimmen, das der „neue Test“ erfassen soll? Ansatz: Der Entwickler des Tests muss von einer oder mehrere Theorien ausgehen um seine Fragestellung zu erarbeiten.
• Festlegung von Validitäts- und Geltungsbereich
o Geltungsbereich: Für wen soll das Testverfahren gültig sein? (Z.B.: Kinder/Jugendliche/Erwachsene; Bildungsniveau, spezifische Gruppen,..)
 wesentlich für weitere Konstruktionsschritte
 Inhaltlich, z.B.: Komplexität, Besonderheiten
 Methodisch, z.B.: Stichprobenrekrutierung
o Validitätsbereich
 Welche inhaltlichen Aspekte soll das Verfahren umfassen, welche nicht?
 Welchen Zweck verfolgt der Test?
 Z.B.: Erfassung eines theoretischen Konstruktes versus Grundlage für konkrete praktische Entscheidungen
 Komplexes/umfängliches versus eng umschriebenes Konstrukt (z.B.: Persönlichkeit versus soziale Ängstlichkeit)
 Welche Validierungskriterien können herangezogen werden?
 Geht es um spezifische Kontexte? (z.B.: berufliche Leistungsbereitschaft = Kontext Beruf)
 Genaue Antworten oft erst nach ausführlicher Merkmalsanalyse möglich
• Psychologische Merkmalsanalyse
o Erarbeiten einer (Arbeits-)Definition des zu erhebenden Konstruktes: Sammlung und Analyse von Informationen zum Themenbereich  Wichtig: Name und Bedeutung des Konstrukts
o Strukturierung des Merkmals: Differenzierung von spezifischeren Verhaltenskategorien
 gewährleistet inhaltliche Vollständigkeit und Ausgewogenheit bei Itemkonstruktion
o Je nachdem worum es geht, kann die Analyse mehr oder weniger stark an theoretischen Modellen zum Konstrukt orientiert sein und die Quellen können variieren
 Normalerweise Überblicksartikel, einschlägige Theorien, empirische Arbeiten usw.
 Expertenbefragung; Ggf. Interviews/Beobachtung einer kleiner Stichprobe
 Z.T. auch rein anforderungsbezogen
o Beispiel: Berufseignungsverfahren für Sekretärinnen
Merkmalsanalyse: Welche Kenntnisse, Fähigkeiten, Fertigkeiten, Eigenschaften usw. müssen Sekretärinnen besitzen?
 Maschinenschreiben, Kurzschrift, Orthographische Sicherheit
 Englische Sprachkenntnisse - Allgemeine intellektuelle Leistungsfähigkeit
 Protokollniederschriften aus der Erinnerung anfertigen
 Gute soziale Anpassung, Überdurchschnittliche Selbstsicherheit
 EDV-Grundkenntnisse

Question 7

2. Struktur des Tests

Answer 7

Bestimmung der Testart (Struktur des Tests)
Fragen:
• Einzel- oder Gruppentest?
 Führt Messung in partnerschaftlicher Zweiersituation und distanzierten Gruppensituation zu gleichen Ergebnissen?
• Darbietungsform und Material: nur Papier und Stift oder auch apparative Ausstattungen?
 Lassen sich Merkmale in beiden Medien auf die gleiche Weise „abbilden“?
• Testlänge?
 Will ich differenzierte oder globale Messergebnisse?
• Für welche Population ist der Test vorgesehen, wie lassen sich die entsprechenden Stichproben gewinnen?  Je spezieller die Selektion, je homogener die angezielte Gruppe, umso schwieriger die Ermittlung ausreichender Gütekriterien. Je globaler dagegen die Population, je heterogener ihre Zusammensetzung (bezogen auf das Testmerkmal), umso leichter ist es, günstige Gütekriterien zu gewinnen.
• Struktur: Ein einziger Gesamttest oder Gliederung in Untertests?

Question 8

3. Modellwahl/Konstruktionsstrategie

Answer 8

Modellwahl/Konstruktionsstrategie (z.B.: KTT vs. PTT; Art der Bestimmung von Subskalen)