H12 Flashcards
Survey error
Verschillen tussen steekproefschattingen en werkelijke populatiewaarden
Response rate
Percentage van de respondenten waarbij in de eerste steekproef volledige antwoorden worden verkregen
Enquête onderzoek:
Gebruiken bij (2)
Onderzoek naar (3)
- Manier om participanten rechtstreeks te ondervragen
- Meestal niet-experimenteel
- Kan (quasi-) experimenteel onderzoek zijn
- Gebruiken bij:
○ Beschrijven karaktereigenschappen van groep mensen
○ Relatie tussen deze karaktereigenschappen en individuele achtergrond variabelen - Onderzoek naar
○ Verdeling van variabelen
○ Statische relaties tussen die variabelen
○ Relaties tussen die variabelen en achtergrondvariabelen (zoals bijvoorbeeld etnische achtergrond)
Componenten survey error (4). Eigenlijk 7
1 Coverage error
○ Bias wanneer de participanten worden geselecteerd uit een pool van potentiële deelnemers die niet gehele populatie dekt
○ Sommige potentiële deelnemers niet goed kunnen bereiken of hele kleine steekproef
○ Niet-systematische fout
○ Selectie-effect
2 Sampling error
○ Willekeurige verschillen tussen een steekproef en het sampling frame
○ Niet-systematisch fout: Afwijking door toeval
○ Levert geen vertekening van resultaten op
3 Measurement error
○ Bias die het gevolg is van de manier waarop de constructen van belang worden beoordeeld (meetfouten)
○ Onsystematisch meetfouten
- Geen bias individu
- Wel bias schatting parameters (verband variabelen)
- Betrouwbaarheid hierdoor minder
○ Systematische fouten
- Wel bias individu en dus schatting parameters
4 Nonrespons error
○ Bias doordat niet iedereen van de steekproef heeft gereageerd
○ Selectie-effect
○ Bij lage response rate
* Hoe minder representatief
* Hoe lager externe validiteit
* Hogere kosten
Response rate maximaliseren bij vragen/interview: (4)
- Laten zien dat participanten belangrijk zijn, dan zullen ze meer meewerken
- Goed geformuleerde vragen en antwoordopties
- Stel vragen die motiveren
Zet interviewers in die vertrouwen opwekken
Typen enquête-designs: (3)
1) Cross-sectional designs (dwarsdoorsnede)
* De verzameling van data op eenzelfde moment
* Vaststellen van relatie tussen variabelen (niet causaal)
* Niet mogelijk om alternatieve verklaringen uitsluiten
* Simpelste versie en dus goedkoopste
2) Panel designs (paneel)
* Verzameling van data op meerdere momenten, met dezelfde participanten
* Vaststellen van stabiliteit of verandering variabelen, zoals mening, gedrag
* Longitudinal design
3) Sequential designs
* Combinatie van de andere 2 (vergelijkbaar met solomon 4 group design)
* Meerdere onderzoeksgroepen
* Aannemelijkheid van alternatieve verklaringen te evalueren
Nadelen (3), voordelen (4) panel design
Nadelen:
* Meer werk, kosten en moeilijker
* Lastiger participanten te vinden en vast te houden gehele onderzoek (uitval)
* Overdraagbare effecten van voorgaande onderzoek (Testing)
- Interne validiteit: testing-effect
- Externe validiteit: carry-over-effect
- Construct validiteit: meet niet meer wat je wilt weten
Voordelen:
* Je kan alternatieve modellen vergelijken
* Tijd maakt ordening van variabelen mogelijk
* Stabiliteit: veranderen variabelen of blijven ze stabiel?
* Effecten (causale effecten zijn invalide):
Voordelen (3), nadelen (4) sequential design
Voordelen
* Sterke punten van beide designs
* Stabiliteit en verandering onderzoeken
* Carry-over effecten onderzoeken
Nadelen
* Duur
* Geen oplossing voor andere nadelen
* Uitval (mortality)
* Nonrespons
Manieren van data-verzameling (3)
1) Questionnaires (vragenlijsten)
a. Paper-and-pencil questionnairs
b. Experience sampling
c. Gemailde vragenlijst
* Gebruiken bij:
□ Bij homogene groepen
□ Grote geografische spreiding
□ Als maillijst beschikbaar is
□ Weinig budget en lage gegevenskwaliteit is acceptabel voor het specifieke onderzoeksdoel
d. Kan in het echt, maar ook via bijvoorbeeld mail
2) Face-to-face interviews (interviews)
a. Gebruiken bij
* Maximaliseren data kwaliteit en groot budget
* Bij lastig bereikbare populatie (bijv. mensen zonder telefoon/internet of analfabeten)
* Bij vragen waar diepgaande antwoorden nodig zijn
* Kleine geografische spreiding
3) Telephone interviews
a. Random digit dailing: Random steekproef
Voordelen vragenlijsten (7)
- Lage kosten (zeker via internet) –> gratis software
□ Groot deel van budget kan worden besteed aan werving participanten - Geen interviewer bias
- Visuele hulpmiddelen
- Anonimiteit
- Geen tijdsdruk; beter nadenken over de vraag
□ Geen last van ongemakkelijke stiltes - Snelheid
- Grote (internationale) bereikbaarheid (digitaal)
Nadelen vragenlijst (7)
- Lage motivatie vanuit participant
- Arbeidskosten om goede vragen te ontworpen
- Open vragen zijn lastiger
- Veel tijd/moeite respondent
- Persoon kan vragenlijst vaker invullen (internet)
- Lage respons, niet generaliseerbaar (50%)
□ Verhogen door gepersonaliseerde uitnodigingen, retourenveloppen en herinneringen
□ 70% is mogelijk, maar wel extra kosten
□ Lager percentage bij internet dan post
□ Verlaagd externe validiteit
□ Goed taalgebruik, anders meer kans in spam
□ Toenemende lengte vragenlijst, afnemend responspercentage
□ Niet iedereen internettoegang - Lage construct validiteit:
□ Afhankelijk van lees- en schrijfniveau
□ Controle over context en lezen van vraagvolgorde (ene vraag kan invloed hebben op antwoord andere)
□ Niet vraag kunnen toelichten
□ Meer kans op random fouten (doordat participant bijvoorbeeld tv kijkt ondertussen)
□ Bias door bijvoorbeeld familie om mening te vragen
□ Vertaling voor internationale vragen kan vragenlijst veranderen
Voordelen interview (6)
- Hoog respons (80%)
- Hoge motivatie vanuit participant
- Vraag kunnen toelichten (misverstanden corrigeren)
- Controle over context en vraagvolgorde
- Visuele hulpmiddelen
- Goede kwaliteit
□ Gemakkelijker verstandshouding opbouwen
□ Respondenten motiveren volledig en nauwkeurig te antwoorden
Nadelen interview (6)
- Kosten/tijd
- Interviewer effects
□ Interviewer bias
□ Hoe iemand eruit ziet/spreekt/enz. heeft invloed op antwoord participant
□ Gewenst antwoord geven
–> interviewers trainen of met computer-assistent - Geen anonimiteit
- Tijdsdruk
- Lastiger bij gevoelige vragen
- Kan niet bij grote geografische spreiding
Voordelen telefoon interview (7)
- Redelijk hoge respons (circa 70%)
- Hoge motivatie vanuit participant
- Goede kwaliteit
- Vraag kunnen toelichten
- Controle over context en vraagvolgorde
- Betere begeleiding
- Snelheid
Nadelen telefoon interview (6)
- Gematigde kosten/tijd, lager dan face-to-face
□ Hoe groter geografische spreiding, hoe duurder het kan worden - Lage anonimiteit
- Tijdsdruk
- Interviewer effects
□ Kleiner dan bij face-to-face
□ Sociaal wenselijk gedrag
□ Minder mogelijkheid relatie ontwikkeling
□ Lastiger misverstanden op te merken - Geen visuele hulpmiddelen
- Terughoudendheid respondenten
□ Bezorgdheid over veiligheid en privacy
□ Toename ongevraagde telemarketing
□ Kosten lange telefonische interviews
□ Bezig met andere dingen (autorijden)
□ Jonge mannen minder vertegenwoordigd
Gevoelige vragen
- Kunnen respons verlagen
○ Anonimiteit gaat dit tegen
○ Radomized response technique: Antwoorden zonder dat interviewer bijpassende vraag ziet
○ Vertrouwelijk omgaan met gegevens - Intrusive (opdringerig)
○ Threat of disclosure (Bedreigingen van openbaarmaking)
○ Socially undersirable (sociaal ongewenste) vragen. - Vragen naar illegaal gedrag of inkomen
- Pretest afnemen
○ Identificeren gevoelige vragen
○ Kennisgeving mogelijke reacties - Minimaliseren oncomfortabele gevoel
- Maximaliseren validiteit van respons op gehele vragenlijst
Wenselijkheidsbias hoger bij telefonische interviews dan face-to-face
Experience sampling
Manier om gevoelens, gedachten, ervaringen, activiteiten, gedrag, etc. te monitoren en inventariseren.
(Ambulatory self-report of intensive-longitudinal designs)
Subjectieve/objectieve variabelen experience sampling
- Subjectieve variabelen
○ Vragenlijst ingevuld door participanten zelf
○ Subjectieve data - Objectieve variabelen
○ Activiteiten monitoren
Geluidsopnames
Experience sampling (ESM) Rekening houden met: (8)
○ Opdringerigheid
○ Slaaptijd en persoonlijke tijd beschermen
○ Wens voor meer momenten afwegen tegen moeite deelnemers
○ Mortality proberen te voorkomen
* Compensatie
* Bonusvergoeding wie studie voltooid
* Regelmatige herinneringen
* Participanten als ‘mede-onderzoekers’ beschouwen
○ Arbeidsintensief en hoge kosten
* Vaak heel team nodig
* Lage kosten materiaal, hoge arbeidskosten
○ Complexe data-analysetechnieken nodig
○ Wetenschappelijk onderzoek dient theoretisch gedreven te zijn
○ Hoe lang en hoe vaak?
Soorten experience sampling: (3)
1) Random sampling
a. Participanten worden op willekeurige momenten benaderd
b. Te gebruiken:
* Als onderzoeker niet gericht op specifieke context
* Als onderzoeker niet verwacht dat gedrag voorkomt op specifiek moment
c. Voorkomt bias, ook in ontdekken van frequenties van gedrag
d. Vragen beantwoorden via onverwachts berichtje op telefoon
2) Fixed sampling
a. Specifieke tijd of interval om beoordeling van ervaringen te vragen
b. Daily dairy study
c. Te gebruiken:
* Als nadruk ligt op reflectie
* Interesse naar specifiek moment of interval
d. Iedere ochtend om 10 uur
3) Event-focused sampling
a. Beoordeling als reactie op bepaalde gebeurtenissen
b. Te gebruiken:
* Interesse in effect van bepaalde gebeurtenis in leven van participant
* Als onderzoeker geïnteresseerd is in gebeurtenis dat vrijwel nooit voorkomt
c. Focus alleen op het delict van interesse-ervaring
d. Foto maken van eten voor je start met eten
