VL 8: Verfahren zur Evaluation von Interview- bzw. Fragebogen-Fragen Flashcards
Welche Verfahren stehen zur Verfügung?
- Testerhebungen im Feld: Standard-Pretest Behaviour Coding Problem Coding Random Probe Intensive Interview Qualitative Interviews Analyseder Antwortverteilungen Split-Ballot - Kognitive Laborverfahren Probing Think-Aloud Confidence Rating Paraphrasing Sorting-Verfahren Response Latency - Andere Verfahren Focus Groups Experten
Beschreibe den Standard-Pretest
–>Testerhebungen im Feld
Einmalige Erhebung eines Fragebogens (bzw. Durchführung der Interviewerhebungen) unter möglichst realistischen Bedingungen (wie in Hauptstudie),
• Durchführung von 20 bis 50 Interviews.
• Interviewer haben die Aufgabe, Probleme und Auffälligkeiten bei der Durchführung der Interviews zu beobachten und zu berichten.
• In der Regel handelt es sich um ein passives Verfahren, d.h. der Interviewer beobachtet nur, ohne aktiv zu hinterfragen.
Welches sind die Stärken und Schwächen des Standart-Pretest?
Stärken:
• Die Kosten sind relativ niedrig.
• Eine annähernd realistische Schätzung der Befragungsdauer
Schwächen:
• Fragen, die Befragte formal „korrekt“ beantworten, sind nicht unbedingt „gut konstruiert“. Auch - formal - korrekten Antworten kann ein falsches Fragenverständnis zu Grunde liegen.
• Die Instruktion an die Interviewer, was sie beobachten und berichten sollen, ist meist wenig präzise.
• Interviewer berichten trotz intensiver Schulung bei weitem nicht alle im Standard-Pretest aufgetretenen „Probleme“.
Was ist das Behaviour Coding?
–> Testerhebungen im Feld
Das Verhalten von befragter Person und Interviewer wird mit Hilfe des Codesystems systematisch registriert. Durch diese Eigenschaft der Technik lassen sich Rückschlüsse auf die Qualität einer Frage ziehen.
• „Coder“ bewerten das auf Tonband aufgezeichnete Interview, d.h. sie
bewerten Interviewer- und Befragtenverhalten mittels eines Code- systems, das mehr oder weniger umfangreich sein kann.
Welches sind die Stärken und Schwächen des Behaviour Coding?
Stärken:
• Sehr reliabel
• Deckt auch Interviewer-Probleme auf
Schwächen:
• Hinweise auf mögliche Ursachen für inadäquates Verhalten werden nicht erfasst
• Trotz formal korrekter Antwort kann ein falsches Fragenverständnis zu Grunde liegen.
• Interviews müssen auf Band aufgezeichnet werden
Beschreibe die Analyse der Antwortverteilungen und wann ist dieses Verfahren sinnvoll?
–> Testerhebungen im Feld
Über die Häufigkeitsverteilung von Antwortalternativen lassen sich - meist nur grobe - Rückschlüsse auf die Qualität einer Frage ziehen. Indikatoren für Fragenmängel sind dabei in der Regel:
• nicht oder nur minimal besetzte Antwort-Kategorien,
• extreme Häufigkeitsverteilung über die Antwort-Kategorien,
• hohe Häufigkeitswerte bei sog. „Ausweichkategorien“, wie z.B. „weiss nicht“
–> Sinnvoll ist dieses Verfahren nur bei einer genügend großen Fallzahl.
Was ist das Ziel des Probing (Nachfragen) und was ist Random Probing?
–> Kognitive Laborverfahren
Ziel: das Überprüfung des Verständnisses der gesamten Frage oder von Teilaspekten der Frage.
Random Probing (meist im Feld): Jeder Interviewer wählt nach einem Zufallsverfahren bestimmte Fragen aus, bei denen Zusatzfragen (Probes) zum Verständnis gestellt werden müssen.
Was sind die Stärken und Schwächen des Probings?
Stärken des Probing:
• Hinweise auf Verständnisprobleme auch bei – formal – korrekten Antworten
Probleme/Schwächen:
• Sehr gutes – aber zugleich aufwendiges Verfahren. Zudem ist es nicht immer einfach, gute „Nachfragen“ im Vorfeld zu entwickeln. Oft empfiehlt es sich, die Nachfragen selbst einem kurzen Vortest zu unterziehen.
Welche Varianten von Nachfragetechniken (Probing) gibt es?
- Nachfragen zum Verständnis (Comprehension Probing)
- Nachfragen zur Wahl der Antwortkategorie / des Skalenwertes (Category Selection Probing)
- Nachfragen zum Besitz relevanter Informationen
- Nachfragen zur Informationsbeschaffung/-gewinnung (Information Retrieval Probing)
- Unspezifische Nachfragen (General Probing)
Was ist das Comprehension Probing?
–> Nachfragen zum Verständnis
Hierbei sollen die Befragten (in der Regel nach der eigentlichen Beantwortung der Frage) beschreiben, wie sie bestimmte Aspekte einer Frage oder eines Begriffs verstehen
Was ist das Category Selection Probing?
–> Nachfragen zur Wahl der Antwortkategorie / des Skalenwertes
Hierbei wird gefragt, warum der Befragte eine bestimmte Antwortkategorie
oder einen bestimmten Skalenwert gewählt hat.
Die Technik eignet sich zur Überprüfung, ob Befragte eine Frage möglicherweise nicht verstanden haben, obwohl sie diese ohne irgendwelche Hinweise auf Probleme beantwortet haben.
Was ist das Nachfragen zum Besitz relevanter Informationen?
Hierbei wird die gegebene Antwort daraufhin hinterfragt, ob die Testperson über genügend Wissen/Informationen bezüglich des abgefragten Inhalts verfügt.
Was ist das Information Retrieval Probing?
–> Nachfragen zur Informationsbeschaffung/-gewinnung:
Diese Technik wird bei retrospektiven Fragen eingesetzt und soll verdeutlichen, wie Befragte vorgehen, um sich an relevante Informationen zu erinnern.
Hierdurch erhofft man sich Hinweise darauf, inwieweit die gegebene Antwort verlässlich oder nur grob geschätzt ist und welche Probleme bei der Beantwortung auftraten.
Was ist das General Probing?
–> Unspezifische Nachfragen:
Hierbei sollen die Testpersonen angeben, ob sie bei der Beantwortung der Frage Probleme hatten. Wenn ja, wird nachgefragt, um welche Probleme es sich im Einzelnen handelt.
Nachteil: Oft sind den Befragten die Probleme nicht bewusst bzw. wissen sie nicht, dass ihr Frageverständnis nicht mit dem vom Forscher intendierten Frageverständnis übereinstimmt.
Trotzdem sollte man auf diese Technik nicht verzichten und die spezifische Nachfrageprozedur durch eine generelle Nachfrage abschliessen, um so noch nicht angesprochene Probleme aufdecken zu können.
Beschreibe die Think-Aloud Technik
–> kognitive Laborverfahren
Der Befragte wird aufgefordert, „laut zu denken“ und dabei sämtliche
Gedankengänge, die zur Antwort führen bzw. führten zu formulieren. Ziel dabei ist, aus den Äusserungen der Befragten Hinweise darüber zu erhalten, wie die ganze Frage oder einzelne Begriffe verstanden wurden.
