Chapter 5 - Surveys Flashcards
Is a survey the same thing as a questionnaire? If not, how are they different?
A questionnaire is a part of a survey, but the term survey includes sampling, reminders and incentives.
Survey er den metodologiske fremgangsmåten, spørreskjema er selve listen over spørsmål (s.100).
- Kan et survey gjennomføres muntlig? Hvorfor/hvorfor ikke?
Nei. Det da blir et et strukturert intervju.
What is the difference between the target population and the population frame?
The population of interest is the target population (målgruppe = brukere). (s.102)
When a listing is used to define the potential survey respondents, it is known as defining the population frame. (s.103) (potensielt utvalg).
Why are censuses done rarely? What is often used instead when population estimates need to be made?
Census is when you attempt to get a survey response from every member of a population. It is very expensive and complex. Ofte sponset av store selskaper eller regjeringer. (s.103)
*Hva er fordeler og ulemper ved spørreundersøkelser?
+
Billig, lett å nå mange, bra for å få “overblikk”, krever ikke utstyr dersom de gjøres på papir, lite “påtrengende (obtrusive) tillater anonymitet
-
overfladiske data, tillater ikke oppfølgingsspørsmål, veldig sårbar for “recall bias” - altså at brukeren ikke husker hvordan han følte det på et gitt tidspunkt, vanskelig å designe det helt riktig.
OBS: hvis man skal undersøke kulturer som er mer vant med en muntlig kommunikasjon bør en vurdere andre metoder.
(s.101)
What is defining characteristics of a probability sample? (same as random sampling).
Krever at en har kjennskap til den totale målgruppen. (eks en telefonliste, klasseliste, medlemsskapsliste osv), også gjør du et utvalg herfra. Det er like stor sannsynlighet for alle i målgruppen til å bli trukket ut, og sannsynligheten er kjent. (s.103-104).
Kan være individer (ex. medlemmer av et nettforum) eller organisasjoner (ex. undersøkelse om internettilgang på biblioteker i USA).
What is a stratified random sample? How is it different from a traditional random sample?
It makes sure that it has an appropriateamount i participants from different subgroups, like male and female. It’s not 100% random and therefore differs from random sampling. (s.105-6)
(Ex. undersøkte flytting, og var mest interessert i hvordan folk som flytter langt fra hverandre holder kontakten. Stratifiserte utvalget så 2/3 av utvalget flyttet langt, mens 1/3 flyttet kort (selv om de fleste flyttinger i realiteten er kort)).
What is one of the major reasons that non-probabilistic sampling is considered appropriate in HCI research but not in other research communities?
In HCI-researchers must typically collect the data themselves. (i motsetning til forskere fra andre disipliner, som ofte har et mye større støtteapparat til å få inn store nasjonale og velutformede datasett). Fordi det er vanskelig og omfattende å få til gode sannsynlighetsutvalg er det i HCI sett på som valid nok med både sannsynlighets- og ikke-sannsynlighetsutvalg.
[The population of potential respondents is rarely listed somewhere, either because they have complicated requirements or that it’s just the nature of the population. Strict random sampling can therefore not be done.]
(s.107)
- Hva slags errors kan man få i forbindelse med utvalg?
Sampling error (ikke nok respondenter)
Coverage error(ikke alle medlemmer fra målgruppen har lik sjanse til å bli valgt (ex. alle navn er ikke inkludert i telefonlisten eller mailinglisten som blir brukt)).
Measurment error (når undersøkelsesspørsmålene er formulert slik at de medfører bias eller missforståelser)
Non-response error (når det er store forskjeller (demografisk eller geografisk) mellom de som svarer og de som ikke svarer på en undersøkelse.
(s.106-7)
What is oversampling and why might it help improve validity of the research?
It uses increased amount of participants to wash out biases or other noise in the data. (s. 108)
(ex. undersøkte designelementer på en webside, og fikk 1400 svar. Brukte innledende demografiske spørsmål for å luke ut de respondentene som ikke representerte målgruppen)
What is the difference between an open-ended and a close-ended question?
Closed ended are useful to get specific information that only has a set number of choices. It’s easy to analyze but generally don’t generate complex information. (s. 111)
ex. lukket:
hvor gammel er du?
hva er postnummeret ditt?
Er denne blå eller grønn?
ex åpent:
Hvordan har du det?
Hva gjør du på fritiden?
Why might you want to use existing survey questions, when possible?
If someone has already made a question and it’s used in other studies, it’s more likely that it’s a good question compared to if you make one from scratch. (s. 115)
- Nevn forskjellige typer sampling
Random sample: of individuals organizations usage (s.109) Beleilighetsutvalg
Self-selected surveys
What is a double-barreled question and why is it not a good idea?
You ask two things in one question. It’s better to split the question in two. Unngå missforståelser ift hva man skal svare på eller hva som er viktigst. Åpner for å bare svare på den ene delen. (s.113)
What is a contingent question and how might you deal with one in a survey layout?
When a question sometimes has a followup question based on the first answer. It’s important to make sure that the participant don’t get confused. Layout is key. (113-4)
