6. VL: Design von Web-Befragungen und dessen Vertrauenswürdigkeit

Question 1

Für Paper-Pencil-Fragebögen sind visuelle Designaspekte wichtig. Für Web-Fragebögen sind sie von noch zentralerer Bedeutung, weil. Weshalb?

Answer 1

• Web-Fragebögen häufig mehr, auffälligeres und auch anderes visuelles Material enthalten können (z. B. Farbfotos, Videoclips etc.).
• Die Notwendigkeit, die Maus von einer Bildschirmstelle zur nächsten bewegen zu müssen, macht die Position eines Items auf dem Bildschirm sowie die Abstände zwischen Items salienter.
• Items auch optisch völlig anders präsentiert werden können (z. B. als Dropbox) –> Literatur.

Question 2

Visuelle Designaspekte haben deutliche Auswirkungen auf die Interpretation von Antwortskalen.
Nach Tourangeau et al. (2004, 2007) nutzen Befragte primär 5 verschiedene Heuristiken zur Interpretation von Antwortskalen. Diese gelten sowohl für Paper-Pencile wie Web-Fragebögen.

Nenne die 5 Heuristiken.

Answer 2

1. Mitte bedeutet «typisch» oder «zentral»
2. Links und oben bedeuten «zuerst»
3. Physische Nähe bedeutet «verwandt»
4. Ähnlich (im Erscheinungsbild) signalisiert «ähnliche Bedeutung»
5. Oben bedeutet “gut”

Question 3

Welche besondere Bedeutung hat der visuelle Mittelpunkt für die Interpretation?

Answer 3

In bipolaren Skalen suggeriert er einen neutralen Mittelpunkt.

In unipolaren Skalen suggeriert er den Populations-Mittelwert bzw. Population-Median.
Bsp. Eine Person würde sowohl 1/1.5 Stunden oder 3/3.5 Stunden ankreuzen, wenn diese Angaben in der Mitte stehen würden. Dei tatsächlichen Zahlen spielen eine untergeordnete Rolle.

Question 4

Weshalb nimmt man links und oben als “zuerst” auf?

Answer 4

Wegen der Erwartung, dass die vertikale bzw. horizontale Anordnung der Antwortoptionen zugleich eine logische Ordnung hinsichtlich einer relevanten inhaltlichen Dimension widerspiegelt.

Question 5

Welche Tendenz zeigt die Heuristik: Nähe bedeutet verwandt

Answer 5

Die Tendenz, aus der räumlichen Nähe von Items auf deren inhaltliche Ähnlichkeit zu schliessen.

So zeigte sich bei Tourangeau et al. (2004), dass die Korrelationen zwischen Items:

• am höchsten waren, wenn alle Items innerhalb eines einzigen “Grids” präsentiert wurden.
• etwas niedriger waren, wenn sie auf der Seite auf zwei “Grids” verteilt wurden.
• am niedrigsten ausfielen, wenn jedes Item einzeln auf einer getrennten Seite präsentiert wurde.

Question 6

Welche Tendenz wiederspiegelt sich in der Heuristik: Ähnlich (im Erscheinungsbild) meint “ähnliche Bedeutung?

Answer 6

Die Tendenz, aus der Ähnlichkeit im Erscheinungsbild von Items oder Antwortalternativen auf konzeptuelle Ähnlichkeit zu schliessen.

Bsp. Tourangeau et al. (2007):
Der Einfluss farblicher Markierungen in der Antwortskala auf die Antwortverteilungen.

gleiche Farbe/positive Zahlen: Antwortmuster der Leute verteilt sich etwas besser.

2 Farben/positiv und negative Zahlen: Die Antworten fallen etwas extremer aus.

Question 7

“Oben bedeutet gut” beinhaltet die Tendenz…

Answer 7

aus der vertikalen Position auf dem Bildschirm auf den Wert zu schliessen.

Question 8

Wie sieht die Hierarchie der verschiedenen Cues aus?

Answer 8

Die verschiedenen Cues haben einen unterschiedlich starken Einfluss:

stärkster Einfluss: VERBALE Label

dann: NUMERISCHE Label

schwächster Einfluss: Farben, räumliche Anordnung

Question 9

Welche 2 Effekte können Bilder haben?

Answer 9

1. Assimilationseffekt

2. Kontrasteffekt

Question 10

Was ist der Assimiliationseffekt?

Answer 10

Dieser Effekt zeigt, dass Bilder die subjektive Bedeutung der befragten Zielkategorien beeinflussen kann.

Die Antworten assimilieren dann an die Bildbedeutung.

z.B. “How many times have you gone shopping since March 1st this year?”
Ob das beiliegende Bild in einem Lebensmittel- oder Kleidergeschäft ist, hat einen Einfluss auf die resultierende Zahl!

Question 11

Was sind Kontrasteffekte?

Answer 11

Ein Kontrasteffekt ergibt sich, wenn Bilder als Vergleichsstandard (Kontrast) aufgefasst werden.

z.B. Schätzen Befragte ihren Gesundheitszustand schlechter ein, wenn im Kontext der Frage eine Joggern gezeigt wird, als wenn sie das Bild einer kranken Frau sehen.

Question 12

Anders als bei Paper-Pencil-FB können Web-FB diverse interaktive Features aufweisen. Gib einen Beispiel.

Answer 12

Fortschrittanzeiger

Dessen Wirkung hängt von verschiedenen anderen Faktoren ab:

• Sie wirken z.B. insgesamt. eher positiv (weniger Abbrüche), wenn sie ermutigendes Feedback geben («schneller Fortschritt») und negativ, wenn sie entmutigendes Feedback geben («langsamer Fortschritt»).
• Ferner ist es besser, wenn es insbes. zu Beginn des Fragebogens schnell vorwärts geht.

Question 13

Wie nützlich sind visuelle Analogskalen?

Answer 13

Visuelle Analogskalen, die sehr fein abgestufte Antworten erlauben, können in Web-FB sehr viel einfacher (durch Schieberegler) implementiert und ausgewertet werden.

Bislang hat die Forschung allerdings keine generellen Vorteile dieser fein abgestuften visuellen Analogskalen (Schieberegler) gegenüber gröber abgestuften Likert-Skalen nachweisen können.

Question 14

Enthalten Fragen mehrdeutige oder schwierigere Begriffe, erhöht sich die Datenqualität, wenn diese definiert werden.

Wie sieht es für sog. Online- Definitionen in Web-Fragebögen aus?

Answer 14

Auch bei Online-Definitionen wird die Datenqualität besser.

In Web-FB ist der Aufwand für die Befragten zur Erlangung von Definitionen meist viel niedriger [z.B. durch Klicken auf ein Fragezeichen oder durch Navigation der Maus über den entsprechenden Begriff (sog. rollover)]
als beispielsweise in Telefoninterviews (hier ist gezieltes Nachfragen nötig).

Dennoch werden Online-Definitionen meist viel seltener genutzt.

In einer Untersuchung von Schober und Conrad (2007) wurden z. B. nur zu 23% der schwierigen Begriffe Online-Definitionen abgefragt. In einem identischen Telefoninterview waren es immerhin 83%.

Im Web ist auch ein geringer Aufwand oft schon ein zu grosser Aufwand!!!

Für Web-FB-Designer besteht daher eine wesentliche Herausforderung darin, die Befragten ganz gezielt dazu zu motivieren, die Vorzüge der Online-Definitionen auch tatsächlich zu nutzen.

–> Just do it anyway!

Question 15

Was kann gemacht werden, wenn Teilnehmer extrem schnell Antworten geben?

Answer 15

Web-FB können so programmiert werden, dass extrem schnelle antwortende Teilnehmer eine “anti-speeding Botschaft” erhalten.

z.B.: «You seem to have responded very quickly. Please be sure you have given the question sufficient thought to provide an accurate answer»

Ausgesprochene «hard-core Speeders» lassen sich hierdurch zwar nicht beeindrucken.

Insgesamt scheint diese Botschaft aber bei vielen Betroffenen das «Satisfycing- Verhalten» zu reduzieren, ohne sie zu vertreiben.

Question 16

Nenne ein weiteres interaktives Element das implementiert werden kann.

Answer 16

Animierte Gesichter die z.B. als “digitale Interviewpartner” alle Fragen vorlesen.

Question 17

Was könnten Vorteile von animierten Gesichtern sein?

Answer 17

• Grösseres Engagement: Ein sich bewegendes und sprechendes Gesicht könnte die Aufmerksamkeit der Befragten stärker fesseln.
• Besseres Frageverständnis: Teilnehmenden könnte durch eine mehrkanalige Präsentation (Text + Sprache + Mimik) das Verständnis leichter fallen.
• Auswahl: die Befragten könnten sich den ihnen angenehmsten Interviewpartner selbst auswählen.

Question 18

Was sagt die bisherige Forschung zu animierten Gesichtern?

Answer 18

Die bisherige Forschung legt nahe, dass animierte Gesichter als Interviewpartner bei korrekter Umsetzung tatsächlich viele der erhofften Vorteile aufweisen können.

Ihre Benutzung beinhaltet aber zugleich Gefahren!

Question 19

Welche Gefahren bringen animierte Gesichter mit sich?

Answer 19

• Die vielen Aktivitäten im Interface, die mit einem animierten Gesicht verbunden sind, können die Teilnehmer auch ablenken und den zur Fragebeantwortung nutzbaren kognitiven Aufwand reduzieren.
• Die Einführung so vieler Hinweise auf «Menschlichkeit» eines digitalen Interviewpartners kann auch das Gefühl der Anwesenheit eines (mehr oder minder realen) Gegenübers erzeugen.
  Dies wiederum könnte insbes. die Vorteile des «self-administering» bei sensiblen Fragen untergraben.

Question 20

Should we trust web-based studies?

Answer 20

Um die Frage zu beantworten schauen wir uns die Studie von Gosling, Vazire, Srivatara & John (2004) an.

6 Vorurteile gegenüber Web-Fragebogen-Studien wurden anhand des Vergleichs eines Internet-Samples (N > 360.000) mit insgesamt 510 traditionellen Samples evaluiert.

Question 21

Was ist Vorurteil 1 und wie sehen die empirische Befunde dazu aus?

Answer 21

Vorurteil 1:
An Internet-Befragungen nehmen nur sehr bestimmte Personengruppen teil (junge intelligente männliche Technik-Freaks …). Dementsprechend weisen die im Internet gewonnenen Stichproben eine sehr eingeschränkte Vielfalt (Varianz) im Hinblick auf wichtige soziodemographische Merkmale auf.

Empirische Befunde:
Internet-Stichproben geben kein unverzerrtes Abbild der Bevölkerung, sind aber im Hinblick auf viele Merkmale (Geschlecht, sozioökonomischer Status, geografische Region) oft weniger „verzerrt“ als die meisten traditionell gewonnenen Stichproben.
Eine gewisse „Altersverzerrung“ besteht (noch), ist aber insbesondere verglichen mit den vorherrschenden „studentischen Stichproben“ minimal.

Question 22

Vorurteil 2 und dessen empirische Befunde

Answer 22

Vorurteil 2:
Das Internet ist eine Spielwiese für sozial und seelisch gestörte Personen und darum weisen Stichproben aus Internet- Befragungen einen deutlich höheren Anteil „gestörter“ Personen auf.

Empirische Befunde:
Internet-Stichproben weisen im Hinblick auf Depression, Neurotizismus, Introversion oder soziale Isolation keine systematischen Unterschiede zu traditionell gewonnenen Stichproben auf.

Question 23

Vorurteil 3 und dessen empirische Befunde.

Answer 23

Vorurteil 3:
Je nach Vorlieben der Programmierer, von VPn genutzter Soft- (Web- Browser) und Hard-Ware (PC, MAC etc.) sehen Web-Fragebögen oft sehr unterschiedlich aus. Befunde aus einer Internet-Befragung werden von der Art der Präsentation massgeblich beeinflusst.

Empirische Befunde (Mythos):
Die Art der Präsentation hat bei Internet-Befragungen – ebenso wie bei traditionellen Paper-Pencil-Befragungen – oft einen Einfluss.

Diese Effekte sind bei Befragungen (im Gegensatz zu manchen Wahrnehmungsexperimenten) jedoch in der Regel nicht so gross, dass sie die Qualität der Daten massgeblich beeinträchtigen.

Question 24

Vorurteil 4 und dessen empirische Befunde.

Answer 24

Vorurteil 4:
Teilnehmer an Internet-Befragung sind nicht „ernsthaft“ motiviert und die gegebenen Antworten sind daher häufiger unehrlich, bedeutungslos oder absichtlich verfälscht als in traditionellen Studien.

Empirische Befunde (Mythos):
Die Daten aus Internet-Befragungen weisen nicht mehr unehrliche oder verfälschte Antworten auf (Ankreuzen von „Mustern“ oder rein zufälliges Ankreuzen; Versuche der Selbst-Erhöhung etc.).

Es gibt Hinweise darauf, dass in Web-Befragungen die Tendenz eher geringer ist, sozial erwünschte Antworten zu geben.

Web-Befragungen bieten zudem die prinzipielle Möglichkeit eines schnellen individuellen Feedbacks, was die Motivation ehrliche Antworten zu geben erhöht (Wunsch nach validen Informationen über sich selbst).

Question 25

Vorurteil 5 und dessen empirische Befunde.

Answer 25

Vorurteil 5:
Die Qualität der Daten aus Internet-Befragung ist durch die Anonymität der Teilnahme gefährdet.

Empirische Befunde (teilweise kein Vorurteil):
Zumindest im Vergleich zu Studien, bei denen die Teilnehmer im Labor erscheinen und dort ihre Fragebögen ausfüllen, sind Web-Befragungen sehr viel anonymer und die Befragungssituation ist deutlich weniger kontrollierbar (wer füllt unter welchen Bedingungen aus?).

Ein wesentliches Problem hierbei ist das Mehrfach-Ausfüllen, welches jedoch durch Kontrolle der IP-Adresse (Internet-Protokoll-Adresse) minimiert werden kann.

Insgesamt hat die höhere Anonymität jedoch insbes. bei „sensiblen“ Themen auch deutliche Vorteile (ehrlichere Antworten).

Question 26

Vorurteil 6 und dessen empirische Befunde.

Answer 26

Vorurteil 6:
Die Ergebnisse aus Internet-Befragungen stimmen nicht mit denen aus traditionellen Befragungen überein.

Empirische Befunde:
Bisherige Ergebnisse deutet darauf hin, dass die Ergebnisse in vielen Bereichen (Persönlichkeit, Selbstwert etc.) durchaus vergleichbar sind.

Weitere Untersuchungen zu Unterschieden und Übereinstimmungen sind jedoch notwendig.

Abweichungen besagen jedoch nicht per se, dass immer speziell den Web- Befragungen misstraut werden sollte.