T6 Cognitief interview

Question 1

Wat is de cognitieve validiteit van een lijst?

Met welke methode kun je dit onderzoeken?

Answer 1

Dat de items worden uitgedrukt op een manier die wordt geinterpreteerd zoals de onderzoekers bedoelen.

Cognitieve interviews

Question 2

Wetenschappelijk onderzoek bij mensen is vaak onderzoek naar constructen. Wat zijn dit?

Zijn ze aanwijsbaar en observeerbaar?

Answer 2

Variabelen die worden gedefinieerd in psychologische theorieën en die gebruikt worden als metaforen voor aspecten van de menselijke psychologie.

Nee

Question 3

Omdat constructen niet observeerbaar zijn, is beïnvloeding en meting van die constructen ook niet vanzelfsprekend. Welke tussenstap is vereist tussen de constructen en de realiteit?

Welke 2 soorten zijn er?

Answer 3

Operationalisaties

1. Manipulaties: zijn ontworpen of geselecteerd om het doelconstruct te beinvloeden
2. meetinstrumenten: zijn ontworpen of geselecteerd om het doelconstruct te meten, waarbij de uitkomst van de meting kwantitatief is.

Question 4

Bijna alle operalisaties bestaan uit minimaal 2 onderdelen. Welke 2?

Meetinstrumenten hebben een 3e. Welke?

Answer 4

1. Stimuli
2. Procedure

Registratie van respons van deelnemer

Question 5

Hoe worden stimuli in een operalisatie genoemd?

Wat bepaald de procedure hierbij?

Answer 5

Items
(Bij meetinstrumenten wordt de term item meestal gebruikt voor elke combi van stimulus en responsregistratie)

Hoe de items aan de deelnemer worden gepresenteerd

Question 6

Is het de bedoeling dat het doelconstruct verandert bij manipulaties en meetinstrumenten?

Answer 6

Alleen bij manipulaties

Question 7

Om een operalisatie voor een construct te ontwikkelen of selecteren, moet er al veel bekend zijn over dat construct. Tegelijkertijd kan het construct nog niet worden gemeten of beïnvloed totdat er een operationalisatie voorhanden is. Hoe is deze paradox op te lossen?

Answer 7

Met kwalitatief onderzoek.
De resulterende observaties, die vaak worden gestructureerd in een codestructuur kunnen informatief zijn bij het bestuderen van een gegeven construct.

Question 8

Hoe kan de validiteit van een manipulatie geverifieerd worden?

Answer 8

Dmv manipulatiechecks: hierbij worden twee operationalisaties van het doelconstruct toegepast in een steekproef: naast de manipulatie wordt een meetinstrument gebruikt om te kijken of het doelconstruct ook echt is beinvloed.

Daarnaast worden vaak meetinstrumenten van andere constructen gebruikt die niet beinvloed zouden moeten worden (ook bij validatie meetinstrumenten).

Question 9

Is validiteit een eigenschap van een construct of een operalisatie?

Answer 9

Nee, het is een toepassing van een operationalisatie in een gegeven steekproef.

Question 10

Als de cognitieve validiteit eenmaal is vastgesteld voor een operationalisatie bij een populatie, betekent dit dat je kunt verwachten dat de operationalisatie bij toepassing in een gegeven steekproef uit die populatie ook cognitief valide zal zijn.
Wat kan nog voor verstoring zorgen?

Answer 10

Steekproeftoeval

Question 11

Wat is het cognitieve interview?

Wat is het verschil met kwalitatief onderzoek dat tot hiertoe besproken is?

Answer 11

Kwalitatieve onderzoeksmethode

Het object van onderzoek is niet de mens of de menselijke psychologie , maar een operationalisatie.

Question 12

Bij cognitieve interview worden geen topiclijsten of interviewschema’s gebruikt. Wat wel?

Answer 12

Er worden 2 technieken gecombineerd: Think-aloud-methode en probing.

Question 13

Wat is de think-aloud-methode?

Answer 13

Interviewer leest elke vraag voor en instrueert de deelnemer hardop na te denken bij het beantwoorden van de vraag. Veel dingen die normaal impliciet blijven worden dan beter observeerbaar.
Interviewer registreert de processen die de deelnemer gebruikt om bij een antwoord te komen.

Aan het begin van het interview moet worden geoefend.

Question 14

Wat is verbal probing?

Answer 14

Vergelijkbaar met de rol die doorvragen heeft in kwalitatief onderzoek: er worden specifieke vragen gesteld om dieper in te gaan op een gegeven aspect van de operationalisatie.

Steeds vaker als alternatie voor think-aloud-methode gebruikt.

Question 15

De methode van cognitief interviewen is in de jaren ‘80 interdisciplinair tot stand gekomen en heeft welke 4 kenmerken?

Answer 15

• Methode niet zozeer gericht op afnameproces, wel op de vragenlijst en de vragen
• Richt zich op cognitieve processen die respondenten, zowel ongemerkt als waarneembaar, gebruiken bij het beantwoorden van vragen.
• Deelnemers doen het vrijwillig en afname gebeurt in laboratorium of besloten locatie
• Bij de werving worden specifieke doelgroepen benaderd

Question 16

De theorie die ten grondslag ligt aan cognitief interviewen is beschreven in verschillende modellen. Het meest algemene model is dat van Tourangeau, dat bestaat uit welke 4 processen en subprocessen (2x per proces)?

Answer 16

1. Begrijpen van de vraag
   a. Bedoeling van de vraag: wat denkt de respondent dat bedoeld wordt?
   b. Betekenis van de term: wat betekenen specifieke woorden voor de respondenten?
2. Relevante informatie uit het geheugen ophalen
   a. Oproepbaarheid van informatie: welke informatie heeft de respondent nodig?
   b. Strategie van ophalen: welke strategieën worden gebruikt?
3. Besluitvormingsprocessen
   a. Motivatie: spant de respondent zich genoeg in om de vraag te beantwoorden?
   b. Sociaal wenselijkheid: wil de respondent de waarheid vertellen?
4. Antwoordprocessen
   a. Toewijzen van antwoorden: komt het eigen antwoord van de respondent overeen met de antwoord categorieën uit de vraag?

Question 17

Wat zijn de voordelen van de think-aloud-methode? 3x

Answer 17

1. Vrijwaring van door interviewer veroorzaakte bias
2. Geringe opleidingsvereisten aan interviewer
3. Format met open einde

Question 18

Nadelen think-aloud-methode? 5x

Answer 18

1. Training van deelnemer nodig
2. Weerstand bij deelnemer
3. Belasting van deelnemer
4. Neiging van deelnemer om af te dwalen
5. Bias bij informatieverwerking van deelnemer

Question 19

Wat zijn de 8 basiscategorieen van probes voor verbal probing?

Answer 19

1. Begrip/interpretatie: Wat betekent de term X voor jou?
2. Parafraseren: Kun je de vraag in je eigen woorden herhalen?
3. Vertrouwen van eigen oordeel: hoe zeker ben je dat je verzekering dit dekt?
4. Herinnering: hoe herinner jij je dat je vijf keer naar de dokter bent geweest?
5. Specifiek: waarom denk je dat kanker het ernstigste gezondheidsprobleem is?
6. Algemeen: Hoe kom je aan dat antwoord? Was deze vraag moeilijk of makkelijk te beantwoorden? Ik merkte dat je twijfelde, wat dacht je precies?
7. Gescripte probes: bedoeld voor alle interviewers en worden opgesteld voorafgaand aan het interview. Kunnen worden ingezet als er voldoende voorbereidingstijd is, als de benadering van de test behoorlijk gestandaardiseerd is of als sommige interviewers onervaren zijn.
8. Spontane probes: worden gebruikt door een sepcifieke interviewer en tijdens het interview bedacht.

Question 20

Wat zijn de voordelen van de verbal probing techniek? 2x

Answer 20

1. Interviewer heeft controle over interview

2. Eenvoudige instructie van deelnemer

Question 21

Wat zijn de nadelen van de verbal probing techniek? 2x

Answer 21

1. Kunstmatigheid

2. Potentiele bias

Question 22

Hoe kan potentiele bias bij verbal probing beperkt wroden?

Answer 22

Door niet-sturende vragen te stellen.

Question 23

Welke 2 benaderingen voor verbal probing zijn er?

Welke benadering wordt het vaakst toegepast?

Answer 23

1. Gelijktijdig:
   a. Interviewer stelt vraag
   b. Deelnemer geeft antwoord
   c. Interviewer stelt probe
   d. Deelnemer beantwoordt probe
   e. Mogelijke herhalen van c en d
2. Retrospectief:
   Deelnemer krijgt pas probes nadat het volledige interview is afgenomen.

Gelijktijdig, omdat bij deze aanpak de info waarnaar gevraagd wordt nog vers in het geheugen van de deelnemer zit.

Question 24

In welke 2 situaties kan retrospectieve probing het beste ingezet worden?

Answer 24

1. Bij het testen van zelfstandig in te vullen vragenlijsten: het doel van het testen is te bepalen of de deelnemer in staat is zelfstandig en in de juiste volgorde de vragenlijst in te vullen
2. In latere ontwikkelingsfasen van een vragenlijst:
   Als men in een latere ontwikkelingsfase de afname van een vragenlijst op een realistische manier wil simuleren, is het zinvol om probing achteraf te doen.

Question 25

Welke 2 positieve effecten heeft cognitief interviewen, naast het begrijpen van specifieke cognitieve processen? 2x

Answer 25

1. Leren over het onderwerp

2. Leren over niet-cognitieve gebreken in vragenlijsten

Question 26

Wat is de volgorde van activiteiten bij cognitieve interviews? 8x

Answer 26

1. Concept van vragenlijst beschikbaar
2. Voorbereiding interview + werving
3. Individuele interview met 5-10 deelnemers: aanvankelijk nadruk op algemene zaken, in latere rondes meer nadruk op de formulering van vragen
4. Interviewers schrijven commentaar bij elk interview
5. Interviewers bespreken resultaten en stellen wijzigingen voor
6. s een volgende ronde cognitief testen? Ja > naar punt 3, Nee > naar punt 7
7. Voortestfase
8. In het veld afnemen

Question 27

Wat zijn eigenschappen van goede interviewers? 4x

Answer 27

1. Ervaring in het ontwerp van vragenlijsten en kennis van enqueteren en het doel van de te testen vragenlijst
2. Vertrouwd met de basiskenmerken van cognitief interviewen en de manieren waarop cognitieve processen beantwoording kunnen beinvloeden
3. Bekend met concepten uit wetenschappelijk onderzoek, zoals bias, omgevingseffecten, metingen en schaaleffecten.
4. Goede communicatieve eigenschappen, in staat om deelnemers op hun gemak te stellen, niet-oordelend.

Question 28

De vraag is of een interviewer uit het veld kan leren cognitieve interviews in een testsituaties af te nemen. Ze moeten dan in elk geval 4 gewoontes afleren. Welke 4?

Answer 28

1. Veldinterviewers hebben geleerd ‘een vraag te laten werken’. Bij het testen is het juist de bedoeling gebreken in vragen op te sporen, niet om eromheen te werken.
2. Interviewers zijn geneigd snel te werken, om een interview af te ronden voordat de respondent niet meer meewerkt, maar testen mag niet gehaast verlopen.
3. Veldinterviewers richten hun aandacht vaak op de details van opmaak, volgorde en spelling. Bij het testen gaat het niet om de opmaak maar de inhoud.
4. Veldinterviewers is geleerd niet af te wijken van de instructies bij het instrument. Cognitief interviewers moeten juist kunnen afwijken van de normale werkwijze.

Question 29

Uit welke stappen bestaat de training van cognitief interviewer? 7x

Answer 29

1. Trainees moeten vragenlijsten beoordelen om problemen op te sporen. Ze wonen besprekingen van ontwerpers van vragenlijsten en van testevaluaties van cognitief interviewers bij.
2. Trainees maken zich vertrouwd met de cognitieve aspecten van enquetemethoden.
3. Trainees leren specifieke probingtechnieken.
4. Trainees zien voorbeelden van manieren waarop probing gebruikt wordt.
5. Trainees observeren ervaren interviewers.
6. Trainees voeren zelf interviews uit en krijgen hierop feedback.
7. Trainees wonen besprekingen voor het herzien van vragenlijsten bij en dragen zelf oplossingen aan voor gevonden problemen.

Question 30

Wat zijn 4 overige aandachtspunten voor het afnemen van een cognitief interview?

Answer 30

1. De interviewer moet de deelnemer duidelijk maken dat hij geen data verzameld maar een enquete test met vragen die moeilijk of zinloos kunnen lijken.
2. De interviewer moet uitleggen dat zorgvuldig antwoorden belangrijk is, maar dat het primair gaat om de manier waarop de deelnemer bij het antwoord uitkomt.
3. Als think-aloud wordt verlangd, moet de deelnemer gevraagd worden zoveel mogelijk hardop te denken.
4. Het is nuttig om toe te voegen dat het niet erg is om kritiek te hebben op de vragen. Het gaat er juist om te ontdekken welke problemen er zijn.

Question 31

Wat zijn 2 aandachtspunten voor de werving van deelnemers?

Answer 31

1. Deelnemer moet of een specifieke betrokkenheid bij het onderwerp hebben, of juist algemene deelnemer zijn als het een vragenlijst voor de algemene bevolking betreft.
2. Statistische steekproefmethoden zijn niet gebruikelijk bij het werven van deelnemers. Hooguit kan een selectiequotum gehanteerd worden.

Question 32

Hoe hoog moet de betaling zijn?

Answer 32

Voldoende om niet enkel een symbolische vergoeding te zijn. Dan is de kans kleiner dat alleen personen geworven worden dei geoefende vrijwilligers zijn of die vooral interesse hebben in het onderwerp, maar geen gemiddelde deelnemer zijn.

Question 33

Wordt het interview ftf of telefonisch afgenomen?

Answer 33

In principe ftf.
Telefonisch is handig als:
- vragenlijst is bedoeld voor telefonische afname
- deelnemer niet in staat is naar interviewlocatie te komen

Question 34

Wat is een efficiente aanpak voor de verwerking van gegevens? 3 stappen

Answer 34

1. Nadat interviews zijn afgenomen vat elke interviewer resultaten vraag voor vraag samen, door onder elke vraag commentaar toe te voegen, bij voorkeur met gebruik van een digitiale vorm van de vragenlijst.
2. De commentaren worden vervolgens samengevoegd, per interviewer en per interview om een compleet overzicht te creëren van de concept-vragenlijst.
3. De uiteindelijke, geannoteerde vragenlijst wordt vervolgens het belangrijkste gedeelte van een eindrapportage, die begint met een beschrijving van de doelen van de test, de samenstelling van de populatie, de gebruikte wervingsmethoden, het aantal deelnemers, het aantal interviewers en de gevolgde procedure.
   Ook een protocol, bestaande uit de geteste vragenlijst en de gescripte probes, kan als bijlage worden toegevoegd. Eventueel kan een samenvatting van de meest opvallende problemen worden opgenomen.

Question 35

Zijn de resultaten van cognitieve interviews meer kwantitatief of kwalitatief?

Answer 35

Kwalitatief

Question 36

Wat zijn interessante kwalitatieve resultaten bij cognitieve interviews?

Answer 36

Zichtbaar worden van problemen die herhaaldelijk terugkeren en van ontdekkingen: problemen die misschien maar 1 keer voorkomen maar die wel de kwaliteit van de gegevens ernstig in gevaar kunnen brengen.

Question 37

Wanneer kan een subjectieve correctiefactor worden toegepast?

Answer 37

Als er sprake is van waarschijnlijke verschillen tussen de testdeelnemers en de enquetepopulatie.

Question 38

Van welke 2 factoren hangt het af of er een voldoende aantal interviews is?

Answer 38

1. Als het na een paar interviews al duidelijk is dat zich belangrijke problemen voordoen, heeft het weinig zin om verder te gaan voordat aanpassingen worden gedaan. In de beginfase van de ontwikkeling zijn vier interviews vaak al voldoende.
2. Als meer interviews gedaan zouden worden, is het maar zelfden nodig er meer dan 12-15 af te nemen voordat de gemaakte aantekeningen verzameld of besproken worden.

Question 39

Moet iedereen die actief betrokken is bij het ontwerpproces van een vragenlijst, inclusief de opdrachtgever, deelnemen aan het cognitief testen?

Answer 39

Ja, is een algemeen geldende regel.

Question 40

Nadat de vragenlijst is herzien, kan een nieuwe ronde interviews worden uitgevoerd. Welke 2 zaken zijn in deze fase relevant?

Answer 40

1. Het aantal uit te voeren interviewrondes.
   In het optimale geval wordt er getest tot alle grotere problemen zijn opgespoord en opgelost, maar meestal is het ontwerpproces gebonden aan een strikt tijdpad en is er maar beperkt tijd beschikbaar.
2. Veranderingen in de wijze van interviewen.
   Tijdens het ontwikkelproces verandert de aard van de interviewrondes. Vroeg in het proces hebben resultaten niet alleen betrekking op formuleringen van vragen, maar ook op meer algemene problemen.

Question 41

Op enig moment moeten de onderzoekers zich afvragen of het cognitief interviewen voldoende oplevert. Welke 3 zaken komen daarbij aan de orde?

Answer 41

1. Verschillen testpersonen van enquetedeelnemers? Maakt dat de resultaten ongeldig?
2. Maakt het uit dat de cognitieve testomgeving verschilt van de veldomgeving?
3. Is de steekproefomvang van cognitieve interviews groot genoeg?

Question 42

Soms wordt beweerd dat de cognitieve benadering tekortschiet omdat de steekproeven te klein zijn om conclusies op te baseren. Die stelling doet de benadering geen recht, om welke 3 redenen?

Answer 42

1. Met testinterviews wordt geen statistische schatting beoogd
2. De testinterviews zijn van kwalitatieve aard, niet kwantitatief
3. De steekproefomvang van een veldtoets is vaak allen denkbeeldig groter.

Question 43

In 1997 deden Willis en Schlechter onderzoek naar de mate van overdracht van de testomgeving naar het veld. Wat vonden zij?

Wat bleek uit ander onderzoek?

Answer 43

1. Resultaten ondersteunen de bewering dat cognitieve interviews voldoende gelijken op veldinterveiws en dat dezelfde mentale processen worden gebruikt.
2. Het is zinloos om verschillende voortestmethoden onderling te vergelijken.

Question 44

Waar hangt het vanaf of iets een persoonsgegeven is?

Answer 44

Hangt niet af van de aard van de data, maar van de totale combinatie van beschikbare gegevens.