W7: Erstellung Testentwurf, Itemformate Flashcards
Was wird bei der Erstellung des Testentwurfs als Erstes gemacht resp. berücksichtigt?
- Festlegung der Art der Indikatoren
- Festlegung der Zielgruppe
- Testziel (Erfassung der Ausprägung einer Eigenschaft / Fähigkeit oder Erfassung von Wissen)
-Definiton des Messegegenstandes
-Formulierung von Fragen (Testkonstruktion)
-Empirische Prüfung des Testentwurfs
-Normierung des Tests (Ermittlung Cut-Off-Wert)
Was sind T-Daten (test data)?
Leistungstests, bei denen die Antwort eindeutig als richtig oder falsch klassifiziert werden kann. Wie verhalte ich mich in einer konkreten Situation?
objektiv
Was sind Q-Daten (questionnaire data)?
Daten aus Persönlichkeitsfragebögen, die Selbst- oder Fremdratings erfassen. Geäusserte oder erfragte Interessen.
subjektiv
Was sind L-Daten (life data)?
Daten aus Verhaltensbeobachtungen, schlagen sich in Taten nieder, konkrete Berufsausübungen, Freizeitinteressen etc.
objektiv
Was sind objektive Indikatoren?
T-Daten (Leistungstests)
Was sind subjektive Indikatoren?
Q-Daten (Persönlichkeitsfragebögen)
Was sind Merkmale des Zielgruppe, die sich auf die Testerstellung auswirken können?
-Alter & Bildung
-Erlebens- und Verhaltensspektrum (was ist die Lebensrealität meiner Gruppe?)
-Sprachbeherrschung
-Item-/ Testfairnes
-… Liste nicht abschliessend
Was bedeutet der Begriff Itemschwierigkeit?
Wenn ein Item von vielen Personen zugestimmt wird (bei Fragebögen) bzw. von vielen Personen richtig gelöst wird (bei Leistungstests).
Welchen Einfluss haben Alter & Bildung auf die Testerstellung?
Ältere Menschen sehen bspw. nicht mehr so gut, dies ist dann schwieriger Tests wie den d2-R durchzuführen. Betr. Bildung müssen die Aufgaben so konstruiert werden, dass bspw. für 6-jährige ein geringerer Schwierigkeitsgrad besteht als für 16-jährige Gymnasiasten.
Welchen Einfluss haben Elebens- und Verhaltensspektrum?
Die unterschiedlichen Lehrpläne von Ländern / Schulen müssen berücksichtigt werden. Auch einen Einfluss kann bspw. der Grund für einen Fragebogen haben - z.B. Messung Extraversion bei einer Jobauschreibung für einen Animateur. Die Frage “ich mag es in der Disco zu tanzen” würde wohl jeder zustimmen. Dieses Bspw-Item enthält keine Informationen über das Verhalten der Bewerbergruppe.
Welchen Einfluss hat die Sprachbeherrschung?
Wird die Frage nicht verstanden, kann dies zu zufälligen oder falschen Antworten führen.
Welchen Einfluss haben Item- und Testfairness?
Vorkenntnisse, Testerfahrung und kulturelle Aspekte müssen berücksichtigt werden..
Komplexes Thema, inwieweit einzelne Gruppen durch einen Test bevorzugt oder benachteiligt werden. Dies muss bei der Testerstellung zwingend berücksichtigt werden. Die Item- oder Testfairness kann mit dem Rasch-Modell überprüft werden (vergleich Itemschwierigkeiten von unterschiedlichen Gruppen).
Was sind kognitive Interviewtechniken?
Damit ein Test praxistauglich ist, müssen Vortests mit den Personen aus der Zielgruppe durchgeführt werden. Mit der Technik des lauten Denkens sollen die Testprobanden laut mitdenken und aussprechen, was sie beim Lösen denken resp. interpretieren. Darüber hinau können Nachfragetechniken (Probing) seitens Versuchsleitung eingesetzt werden. Anschl. Interview / Austausch.
Welche Ziele wollen mit der Testkonstruktion erreicht werden?
-Feststellung Eigenschafts- oder Fähigkeitsausprägung einer Person
-Gruppentrennung oder Klassifikation von Personen
-Erfassung von Wissen
Welche Konstruktionsstrategien gibt es?
-Rationale Testkonstruktion
-Externale Testkonstruktion
-Induktive Testkonstruktion
-Prototypenansatz
Was ist die rationale (deduktive) Testkonstruktion?
Eignet sich, wenn eine gut ausgearbeitete Theorie/Forschung für das zu untersuchende Konstrukt vorliegt - wichtig ist eine spezifische Definition. Bsp. Intelligenzforschung, z.B. numerische Intelligenz, wird definiert als: “erfasst Rechenfertigkeit und Fähigkeit, logische Beziehungen ziwschen Zahlen herzustellen”. Aufgrund dieser Definition können einfach Items erstellt werden.
Ausgangspunkt ist eine gut ausgearbeitete Theorie!
Was ist externale Testkonstruktion?
Hier wird nach Items gesucht, anhand derer wir Gruppen möglichst gut trennen können, üblicherweise anhand einer grossen Anzahl Items. Items sind typischerweise heterogen.
z.B. Fragen wie: “Wenn sich zufällig die Gelegenheit ergibt, würde ich schon einmal Hasch oder Marihuana konsumieren”. Die Items können i.d.R. gut getrennt werden, sind aber unterschiedlichen Konstrukten zugeordnet. Mithilfe von der Faktorenanalyse kann versucht werden, die Fragen in homogenere Teile zusammenzufassen. Beispiel: Integritätstest
Was ist die induktive Testkonstruktion?
Grosse Itemmegen. Ziel ist es, Dimensionen zu finden, die den Itemantworten zugrunde liegen. Vorher keine theoretische Ausarbeitung - nur eine Idee, dass bestimmte Items dieselben Konstruke erfassen könnten. Erst nach der Analyse wird aufgrund der gefundenen Dimensionen ein theoretisches Modell entwickelt.
Sprich: Modell wird anhand der Ergebnisse einer Faktorenanalyse entwicklet.
–> Wurde oft kritisiert, findet aber in neurer Zeit immer mehr Anklag. Prominentes Beispiel: Big Five!
Wird wahrscheinlich am häufigsten verwendet.
Was ist der Prototypenansatz?
Dieser Ansatz nutzt die Idee, dass jeder Mensch für jede Eigenschaft (bspw. Extraversion) eine prototypische Vorstellung haben. Um Items zu generieren, müssen die prototypischen Vorstellung von Menschen gesammelt werden. Vor allem bei Persönlichkeitsfragebögen geeignet.
Bsp: Personen sollen an eine Person denken, welche eine bestimmte Eigenschaft aufweisen, und dann deren Verhalten beschreiben. Auch umgekehrt möglich, sie sollen an eine Person denken, die möglichst wenig prototypisch ist.
Beispiel: AFC (Act Frequency Approach)
Was kann zum Vergleich der Methoden gesagt werden?
Gibt keine “beste” Methode in Bezug Vorteile zur Validität. Alle haben Vor- und Nachteile. Mit einer Kombination der Methoden können optimale Ergebnisse erzielt werden.
Was ist bei der Messung eines Konstrukts herausfordernd?
Oftmals ist es nicht möglich, sofort eine Definition des zu messenden Konstrukts / Konstruktraum zu erstellen. Häufig ist es notwendig, durch weitere Schritte zu beschliessen, was eigentlich genau gemessen werden soll. Hierbei helfen Top-Down und Bottom-up-Techniken.
Was bedeutet der Konstruktraum?
Eingrenzung des Konstrukts, aus welchen Indikatoren (Verhalten, Einstellungen, Eigenschaften) das Konstrukt besteht, wo es Anknüpfungspunkte oder gar Überlappungen zu anderen Konstrukten gibt.
