3. VL: Fragebogenentwicklung: Fragebogenaufbau, Formulierung von Fragen, Ratingskalen Flashcards

Question

Was sind die Vorteile und die Probleme verbaler Markierungen?

Answer 1

- Die Benennung aller Abstufungen erhöht in der Regel die Reliabilität und Validität. - Sie ist jedoch nicht immer einfach durchzuführen (Äquidistanz der Begriffe) - Probleme bereiten insb. die Benennung einer mittleren Abstufung in bipolaren Skalen. (z.B. Bedeutung der Skalenmitte: "weiss nicht", "ist für mich irrelevant", "neutrale Bewertung", "ambivalente Bewertung"....)

Answer 2

Wenn sowohl die verbalen als auch numerische Marken vorgegeben werden, sollte auf Übereinstimmung geachtet werden: - Wenn die verbalen Marken bipolar sind (z.B. starke Ablehnung bis starke Zustimmung), sollten dies möglichst auch die entsprechenden numerischen Marken sein (z.B. -3 bis +3). - Bei bipolaren Skalen sollten negative Begriffe (z. B. Ablehnung) möglichst mit negativen Zahlwerten und positive Begriffe (z. B. Zustimmung) mit positiven Zahlwerten verbunden sein. - Falls möglich, sollten bei bipolaren Skalen die negativen Begriffe/Zahlen bzw. bei unipolaren Skalen die die geringsten Ausprägungen symbolisierenden Begriffe und Zahlen links auf der Antwortskala stehen, jene, die die höchsten bzw. positivsten Ausprägungen symbolisieren hingegen rechts (entsprechend dem „Zahlenstrang“)

Answer 3

Persönliche Erfahrung des Dozenten: Wollte den Hindsight-Bias verdeutlich und hat einer Hälfte die Lösung des Problems geschildert und der andern nicht. Danach sollten die Teilnehmer einschätzen, wie augenfällig die Lösung zum Problem war. Problem: Resultate zeigten genau das gegenteilige Resultat auf! Erklärung: Die numerische Marker stiegen von links (1) nach rechts (10) aber die verbale Marker waren genau umgekehrt! Links (sehr offensichtlich) rechts (nicht offensichtlich).. Fazit: Wenn aufgrund uneinheitlicher Hinweisreize (gegenläufige verbale und numerische Marker) Untersuchungsteilnehmer eine Antwortskala genau entgegengesetzt interpretieren können, ist völlig unklar, was die Ergebnisse bedeuten.

Answer 4

Bei bipolaren Skalen ist diese Frage besonders problematisch. - Probleme können bei der Benennung mittlerer Kategorien in bipolaren ungeradzahligen Skalen bestehen (siehe oben). - Der Einbezug einer mittleren neutralen Kategorie (numerischer Marker = 0; verbaler Marker z.B. „neutral“ oder „weder Zustimmung noch Ablehnung“ etc.) scheint jedoch bei bipolaren Skalen in der Regel die Reliabilität und Validität zu erhöhen (vgl. Krosnick et al., 2005). - Der positive Effekt einer neutralen Mittelkategorie bei bipolaren Skalen als Möglichkeit „tatsächliche“ neutrale Einstellungen anzugeben wirkt offenbar schwerer als der (unerwünschte) Anreiz, den diese Mittelkategorie auf Personen mit „satisfycing“ Antwortverhalten ausübt. - Bei geradzahligen bipolaren Skalen „zwingt“ man die Urteiler hingegen zu einer (zumindest tendenziellen) Urteilsrichtung, was unter Umständen ein „gewünschter“ Effekt sein kann, die Skalen aber evtl. etwas weniger reliabel und valide macht.

Answer 5

- Zu geringe Abstufungen verringern evtl. die Varianz und geben den Urteilenden zu wenig Möglichkeiten der Differenzierung. - Zu viele Abstufungen verlangen evtl. zu differenzierte Urteile und überfordern die Urteilenden. Beste Lösung gemäss neuerer Untersuchungen: - unipolare Skalen --> 5 Abstufungen - bipolare Skalen --> 7 Abstufungen Hierbei sind jedoch immer auch Besonderheiten der untersuchten Stichproben zu beachten (Interesse am Befragungsgegenstand, Differenziertheit des Urteilsvermögens etc.).

Answer 6

Einige Fragebogen-Experten empfehlen den routinemässigen Einsatz von sog. „no- opinion-Filtern“, d.h. neben der eigentlichen Bewertungsskala (bzw. den inhaltlichen Antwortkategorien) eine Zusatzoption „Keine Meinung“ bzw. „weiss nicht“ zum Ankreuzen angeboten wird. Die Idee hierbei ist, dass dann die tatsächlich angegebenen Werte aussagekräftiger (reliabler und valider) sind, da Personen ohne Meinung dies auch ausdrücken können und nicht gezwungen werden, einen eher „willkürlichen“ und kaum aussagekräftigen Wert anzugeben.

Answer 7

Mehrheitlich erweisen sich Antworten aus Fragebögen mit „no-opinion-Filter“ als eher weniger reliabel und valide. Ursachen: - Einerseits halten die Filter offenbar auch Menschen von Antworten ab, die tatsächlich eine Meinung zur gestellten Frage haben und ohne Filter auch angeben würden. Diese wählen die Filter-Option oft erst nach längerem Nachdenken. (Die Filter suggerieren z.B., das es sehr schwierig sei, eine Antwort zu geben oder man müsse sich wirklich absolut sicher sein, um zu antworten und verunsichern so die Befragten, dass sie lieber „keine Meinung“ bzw. „weiss nicht“ antworten.) - Ferner verleiten solche Filter die Befragten zu stärkerem „satisfycing“ Verhalten. In diesem Fall findet man immer sehr kurze Antwortzeiten. (Anstatt sich anstrengen und wirklich nachdenken zu müssen, bieten sie eine einfache und willkommene Gelegenheit, sehr schnell und mühelos eine offensichtlich akzeptable (da ja schon als Alternative vorgesehen) Antwort zu liefern.)

Answer 8

Einen „weiss-nicht“-Kategorie in der Antwortskala nur dann Vorgeben, wenn zur Beantwortung der Frage wirklich ein hohes Mass an Wissen (Spezialwissen) notwendig ist. Ob dies der Fall ist, lässt sich durch kognitive Pretests feststellen (z. B. Probing zum Besitz relevanter Informationen und zur Kategorienwahl; vgl. Folien zu Sitzung 08).

Answer 9

Mit Akquieszenz bezeichnet man die Antworttendenz, auf Aussagen (Statements) unabhängig vom Inhalt eher mit Zustimmung als mit Ablehnung zu reagieren.

Answer 10

In den stabilen personenbezogenen Merkmalen wie: - niedrigem sozialem Status - geringerer Bildung - niedriger Intelligenz - geringer kognitiver Anstrengungsbereitschaft Sowie mit Eigenschaften der Fragen: - insbes. Fragekomplexität, - Fragelänge etc. Sowie situativen Faktoren wie - Ablenkung der Aufmerksamkeit - Ermüdung.

Answer 11

Nein, auch wenn dies möglich wäre. Vielmehr ist Akquieszenz sehr häufig das Ergebnis eines bestimmten kognitiven Reaktionsstils, den man auch im Zusammenhang mit Satisfycing kennt: - geringes Kognitionsbedürfnis und eher unsystematisches, oberflächliches Problemlöseverhalten - geringe kognitive Komplexität - und Neigung zu starker Vereinfachung etc.

Answer 12

Ein häufig vorgeschlagener Weg besteht in der Bildung ausbalancierter Itemsets durch Formulierung zusätzlicher umgekehrt (bzw. negativ) formulierter Items (sog. „item reversals“). Wenn es gelingt, gleich extreme positiv und negativ formulierte Items zu konstruieren, sollte dies Akquieszenz-Effekte ausgleichen. Oft ist es jedoch recht schwierig, wirklich äquivalente umgekehrt formulierte Items zu konstruieren. Werden hierbei Verneinungen/Negationen genutzt, muss bedacht werden, dass die Items hierdurch oft schwerer verständlich werden und die Beantwortung kognitiv aufwendiger wird. Dies erhöht die Fehlervarianz und macht zugleich „Satisfycing“ wahrscheinlicher wird. Insgesamt kommt es somit oft zu einer Verringerung der Reliabilität und der Validität der Skala (zumindest im Vergleich zu einer gleich langen Skala ohne „item reversals“).

Answer 13

Ferner muss bedacht werden, dass es auch möglich und logisch sein kann, einer positiv formulierte Aussage zuzustimmen, ohne auch zugleich deren Verneinung abzulehnen (z.B. bei ambivalenten Einstellungen). Perfekte negative Korrelationen sind daher oft nicht einmal theoretisch zu erwarten. Die Konstruktion und Anwendung ausbalancierter Itemsets ist also oft mit Problemen verbunden.

Answer 14

Da viele Hinweise darauf vorliegen, dass Akquieszenz oft eine spezielle Folge von Satisfycing darstellt (kognitiver Stil), schlagen sie vor: - möglichst leicht verständliche Items zu konstruieren. - und die Teilnehmermotivation zu maximieren.