7. VL: Evaluation der Fragebogen und das Pretest-Verfahren von Anderson & Gerbing (1991) Flashcards
Fragebogen müssen evaluiert werden bevor sie wirklich eingesetzt werden.
Welche Verfahren stehen hierfür, bei der Testerhebung im Feld, zur Verfügung?
- Standard-Pretest
- Behaviour Coding
- Random Probe
- Analyse der Antwortalternativen
Welche Evaluationsverfahren gibt es für kognitive Laborverfahren?
- Probing
- Think-Aloud
- Confidence Rating
- Paraphrasing
- Sorting-Verfahren
Wie wird ein Standard-Pretest durchgeführt?
Es handelt sich um die einmalige Erhebung eines Fragebogens (bzw. Durchführung der Interviewerhebungen) unter möglichst realistischen Bedingungen (wie in Hauptstudie).
- Durchführung von 20 bis 50 Interviews.
- Interviewer haben die Aufgabe, Probleme und Auffälligkeiten bei der
Durchführung der Interviews zu beobachten und zu berichten. - In der Regel handelt es sich um ein passives Verfahren, d.h. der Interviewer beobachtet nur, ohne aktiv zu hinterfragen.
Was sind jeweils die Stärken und Schwächen eines Standard-Pretest?
Stärken:
- die Kosten sind relativ niedrig.
- Eine annähernd realistische Schätzung der Befragungsdauer
Schwächen:
- Fragen, die Befragte formal „korrekt“ beantworten, sind nicht unbedingt „gut konstruiert“. Auch - formal - korrekten Antworten kann ein falsches Fragenverständnis zu Grunde liegen.
- Die Instruktion an die Interviewer, was sie beobachten und berichten sollen, ist meist wenig präzise.
- Interviewer berichten trotz intensiver Schulung bei weitem nicht alle im Standard-Pretest aufgetretenen „Probleme“.
Was passiert beim Behaviour Coding?
Das Verhalten von befragter Person und Interviewer wird mit Hilfe des Codesystems systematisch registriert. Durch diese Eigenschaft der Technik lassen sich Rückschlüsse auf die Qualität einer Frage ziehen.
„Coder“ bewerten das auf Tonband aufgezeichnete Interview, d.h. sie bewerten Interviewer- und Befragtenverhalten mittels eines Code- systems, das mehr oder weniger umfangreich sein kann.
Was sind Stärken und Schwächen von Behaviour Coding?
Stärken:
- sehr reliabel
- deckt auch Interviewer-Probleme auf
Schwächen:
- Hinweise auf mögliche Ursachen für inadäquates Verhalten werden nicht erfasst.
- Trotz formal korrekter Antwort kann ein falsches Fragenverständnis zu Grunde liegen.
- Interviews müssen auf Band aufgezeichnet werden.
Auf was achtet man sich bei der Analyse der Antwortverteilung?
Über die Häufigkeitsverteilung von Antwortalternativen lassen sich - meist nur grobe - Rückschlüsse auf die Qualität einer Frage ziehen. Indikatoren für Fragenmängel sind dabei in der Regel:
- nicht oder nur minimal besetzte Antwort-Kategorien
- extreme Häufigkeitsverteilung über die Antwort-Kategorien.
- hohe Häufigkeitswerte bei sog. „Ausweichkategorien“, wie z.B. „weiss nicht“
Sinnvoll ist dieses Verfahren nur bei einer genügend großen Fallzahl.
Was ist das Ziel vom Probing (Nachfragen) und das Random Probing?
Das Überprüfen des Verständnisses der gesamten Frage oder von Teilaspekten der Frage.
Random Probing:
Jeder Interviewer wählt nach einem Zufallsverfahren bestimmte Fragen aus, bei denen Zusatzfragen (Prozess) zum Verständnis gestellt werden müssen.
Was sind Stärken und Schwächen des Probings?
Stärken:
Hinweis aus Verständnisprobleme auch bei - formal - korrekten Antworten.
Schwächen:
- Sehr gutes, aber zugleich aufwendiges Verfahren
- Zudem ist es nicht immer einfach, gute “Nachfragen” im Vorfeld zu entwickeln. Oft empfiehlt es sich, die Nachfragen selbst einem kurzen Vortust zu unterziehen.
Es gibt verschiedene Varianten von Nachfragetechniken. Welche?
- Nachfragen zum Verständnis
(Comprehension Probing) - Nachfragen zur Wahl der Antwortkategorie / des Skalenwertes
(Category Selection Probing): - Nachfragen zum Besitz relevanter Informationen
- Nachfragen zur Informationsbeschaffung/-gewinnung
(Information
Retrieval Probing): - Unspezifische Nachfragen
(General Probing)
Wie sieht das Nachfragen zum Verständnis aus?
Hierbei sollen die Befragten (in der Regel nach der eigentlichen Beantwortung der Frage) beschreiben, wie sie bestimmte Aspekte einer Frage oder eines Begriffs verstehen.
Wie sieht das Nachfragen zu Wahl der Antwortkategorien/des Skalenwertes aus?
Hierbei wird gefragt, warum der Befragte eine bestimmte Antwortkategorie oder einen bestimmten Skalenwert gewählt hat.
Die Technik eignet sich zur Überprüfung, ob Befragte eine Frage möglicherweise nicht verstanden haben, obwohl sie diese ohne irgendwelche Hinweise auf Probleme beantwortet haben.
Wie sieht das Nachfragen zum Besitz relevanter Informationen aus?
Hierbei wird die gegebene Antwort daraufhin hinterfragt, ob die Testperson über genügend Wissen/Informationen bezüglich des abgefragten Inhalts verfügt.
Wie sieht das Nachfragen zur Informationsbeschaffung/-gewinnung aus?
Diese Technik wird bei retrospektiven Fragen eingesetzt und soll verdeutlichen, wie Befragte vorgehen, um sich an relevante Informationen zu erinnern.
Hierdurch erhofft man sich Hinweise darauf, inwieweit die gegebene Antwort verlässlich oder nur grob geschätzt ist und welche Probleme bei der Beantwortung auftraten.
Wie sieht das unspezifische Nachfragen aus?
Hierbei sollen die Testpersonen angeben, ob sie bei der Beantwortung der Frage Probleme hatten. Wenn ja, wird nachgefragt, um welche Probleme es sich im Einzelnen handelt.
Nachteil:
Oft sind den Befragten die Probleme nicht bewusst bzw. wissen sie nicht, dass ihr Frageverständnis nicht mit dem vom Forscher intendierten Frageverständnis übereinstimmt.
Trotzdem sollte man auf diese Technik nicht verzichten und die spezifische Nachfrageprozedur durch eine generelle Nachfrage abschliessen, um so noch nicht angesprochene Probleme aufdecken zu können. (z.B. Gibt es noch andere Probleme, die wir bis jetzt bei der Frage noch nicht besprochen haben?)
