Taak 6: Experiment Flashcards
Manipulatie van de onafhankelijke en meten van de afhankelijke variabele
In een experiment introduceert een onderzoeker specifieke veranderingen in een systeem om na te gaan welk resultaat deze veranderingen opleveren. Het introduceren van een verandering in een systeem noem je manipulatie of interventie.
Voorbeeld: Dowsing experiment
Zie video YOULearn: dubbel-blind experiment om na te gaan of wichelroedelopers waterbronnen kunnen aanwijzen. Zes prullenbakken bevatten elk een pot. Vijf van deze potten zijn gevuld met zand en een is gevuld met water. Zowel de deelnemers als de wetenschappers weten niet in welke prullenbak water zit (vandaar ‘dubbel-blind’). Voorafgaand aan het experiment maken deelnemers kenbaar op hoeveel paden zij verwachten de pot met water correct te kunnen aanwijzen.
In het dowsing-experiment is men erin geïnteresseerd of de aanwezigheid van water kan worden opgemerkt door de wichelroedeloper. Hier is de aan- of afwezigheid van water de onafhankelijke variabele (OV) en het met een wichelroede kunnen detecteren van water (wichelroedevaardigheid) is de afhankelijke variabele (AV).
Met een interventie wordt de onafhankelijke variabele gemanipuleerd: de interventie bepaalt welke waarde de onafhankelijke variabele krijgt. De afhankelijk variabele wordt vervolgens gemeten. In het dowsing-experiment ziet de interventie – waarin de aanwezigheid van water wordt gemanipuleerd – er als volgt uit: vijf prullenbakken worden gevuld met een pot zand en één prullenbak met een pot water.
Derde variabelen en confounding
Bij bovengenoemde interventie verschillen de zes prullenbakken – buiten de manipulatie om (water of zand) – in niets van elkaar. Hiermee wordt gecontroleerd voor invloeden van andere variabelen (dan de aanwezigheid van water) op de wichelroedevaardigheid. Deze invloeden van andere variabelen worden ook wel derde variabelen (extraneous variables) genoemd.
Als het wichelroede-experiment in normale omstandigheden uitgevoerd zou worden, zijn deze andere variabelen bijvoorbeeld omgevingskenmerken die wichelroedelopers gebruiken bij het detecteren van water (bijvoorbeeld, lagergelegen landschap maakt de aanwezigheid van water waarschijnlijker).
Deze derde variabelen kunnen de relatie tussen de onafhankelijke variabele en afhankelijke variabele verstoren. Men spreekt dan over ‘confounding’. Onderstaande visualisatie kan dit verhelderen.
Twee routes waardoor er een associatie kan zijn tussen de aanwezigheid van water en het kunnen detecteren daarvan met een wichelroede.
Allereerst kan de aanwezigheid van water via de wichelroede worden opgepikt. (aanwezigheid water → detectie).
Een andere route is dat zowel de aanwezigheid van water als het kunnen detecteren ervan afhankelijk is van omgevingskenmerken (vb. laaggelegen landschap). Het verband tussen de OV (aanwezigheid van water) en AV (detectie) kan dus deels of volledig worden verklaard door een derde/confounding variabele (omgevingskenmerken). De associatie tussen de OV en AV is daarmee verstoord. (aanwezigheid water ← omgevingskenmerken → detectie)
Een derde variabele is dus elke variabele waarvan betoogd kan worden dat deze mogelijk samenhangt met de uitkomstmaat van je interesse. Als deze derde variabele zowel van invloed is op de OV als op de AV, dan is deze derde variabele een confounder en daarmee een alternatieve verklaring voor het verband tussen de OV en de AV.
Het perfect gecontroleerde experiment
In een perfect gecontroleerd experiment voeren de onderzoekers een interventie uit waarmee enkel de OV wordt gemanipuleerd en alle derde variabelen perfect onder controle worden gehouden, zodat eventuele confounding geen rol speelt. Het onderzoeksresultaat kan dan volledig worden toegeschreven aan de interventie en zal niet het gevolg zijn van andere (derde) variabelen.
In de praktijk zal het onmogelijk zijn om een experiment perfect uit te voeren. Toch is het zinvol om de kenmerken van een perfect gecontroleerd experiment te kennen om experimenteel onderzoek goed op waarde te kunnen schatten en om dit ideaal zo goed mogelijk te kunnen benaderen. De belangrijkste kenmerken van een perfect gecontroleerd experiment zijn:
- Het expliciteren van voorspellingen
- Het uitvoeren van een geschikte interventie om de OV te manipuleren
- Het controleren van derde variabelen, bias en verwachtingen van deelnemers en onderzoeker zelf
Expliciteren van voorspellingen
Voorafgaand aan het uitvoeren van het experiment moeten voorspellingen worden geformuleerd. Deze voorspellingen gaan over de uitkomsten die zullen resulteren als de causale hypothese juist/fout is. Verwachtingen moeten vooraf worden geëxpliciteerd omdat er dan een zuivere toets kan worden uitgevoerd om de causale hypothese te onderzoeken. De logica van de HD-confirmatiemethode en de HD-falsificatiemethode is immers dat als een theorie of hypothese respectievelijk waar of onwaar is, dit getoetst kan worden aan de hand van het al dan niet uitkomen van een voorspelling.
Om tot heldere en specifiek geformuleerde voorspellingen te komen die daadwerkelijk van waarde zijn in de logische redenering om een causale hypothese te ondersteunen of ontkrachten, gebruiken wetenschappers vaak operationele definities van een begrip. Begrippen die conceptueel vaag zijn, moeten worden vermeden. Voor veel concepten binnen de psychologie is er niet één ‘beste’ definitie of operationalisatie. Wel kan er onderscheid worden gemaakt in betere en minder goede definities en operationalisaties. Definities en operationalisaties zijn beter als deze tot meer accurate voorspellingen leiden en goed aansluiten op de theorie.
Interventie als centraal kenmerk
Experimentele interventie vormt het centrale kenmerk van een perfect gecontroleerd experiment. Een interventie is een verandering in het systeem die de onderzoeker aanbrengt en waarmee de waarde van de OV wordt gemanipuleerd. Binnen psychologisch onderzoek worden vaak stimuli aan deelnemers gepresenteerd om een OV te manipuleren, bijvoorbeeld in de vorm van beelden, geluiden, woorden of video’s. Het doel hiervan is om een bepaalde toestand of verandering in een bepaald proces teweeg te brengen. Denk aan specifieke instructies die een deelnemer krijgt of de inhoud van een filmpje waaraan deelnemers worden blootgesteld.
Kenmerken van een geschikte interventie
- Manipulatie dient valide te zijn, d.w.z. dat deze betrekking heeft op het construct dat je wilt manipuleren.
- Interventie dient chirurgisch te zijn. Hiermee wordt bedoeld dat de interventie zeer precies wordt uitgevoerd: enkel de beoogde OV moet worden gemanipuleerd. Als een interventie te globaal (fat-handed manipulatie) is, worden ook onbedoelde variabelen gemanipuleerd. Bij een dergelijke, globale, weinig precieze manipulatie kunnen resultaten niet meer enkel worden toegeschreven aan het effect van de OV, maar eveneens door andere (ongewenste) variabelen.
- De manipulatie van de OV moet ook sterk genoeg zijn, zodat er voldoende verandering in de OV wordt opgewekt om een effect op de AV te kunnen bewerkstelligen.
De kwaliteit van een manipulatie kan variëren op deze bovenstaande aspecten, afhankelijk van de situatie en doelpopulatie waarin je de manipulatie gebruikt. Dit laatste is belangrijk om in gedachten te houden. Het is daarom altijd zinvol om de geschiktheid van de manipulatie te onderzoeken voor de situatie en doelpopulatie waarin je deze wilt gebruiken, bijvoorbeeld via pilotonderzoek.
Controle van derde variabelen
Naast de experimentele interventie is een ander belangrijk kenmerk van het perfect gecontroleerde experiment dat alle derde variabelen volledig worden gecontroleerd. Carey beschrijft dat een goed opgezet experiment controleert voor variabelen die kunnen leiden tot een onterechte bevestiging of ontkrachting van de causale hypothese die je wilt onderzoeken.
Allereerst: bekijken of het experiment ruimte geeft voor false rejection, het onterecht verwerpen van de causale hypothese terwijl deze waar is. Daarvoor moeten we nagaan of het experiment mogelijkerwijs tot uitkomsten leidt die niet in lijn zijn met de voorspellingen, ook al is de causale hypothese in werkelijkheid waar.
Vervolgens: controleren of het experiment ruimte geeft voor false confirmation, dus het onterecht bevestigen van de causale hypothese terwijl deze in werkelijkheid niet waar is. Daarvoor moeten we nagaan of het experiment tot uitkomsten leidt die in lijn zijn met de voorspellingen, ook al is de causale hypothese in werkelijkheid niet waar.
Bij een goed opgezet experiment is zowel onterechte bevestiging als onterechte ontkrachting van de causale hypothese onwaarschijnlijk. In de praktijk is het onmogelijk om alle variabelen volledig onder controle te houden. In elk experiment zijn namelijk ontelbare ‘derde’ variabelen mogelijk, vaak zonder dat de onderzoeker er weet van heeft. Daarom is het in de praktijk onmogelijk om een perfect gecontroleerd experiment uit te voeren. Een goed uitgevoerd experiment doet echter wel een goede poging om direct of indirect zoveel mogelijk derde variabelen onder controle te houden.
Directe en indirecte controle
DIRECTE CONTROLE: Als alle derde variabelen gelijk worden gehouden tijdens een interventie, zodat enkel de onafhankelijke variabele varieert, is er sprake van directe controle van variabelen. Veranderingen in de uitkomstmaat kunnen dan enkel worden toegeschreven aan veranderingen in de onafhankelijke variabele.
INDIRECTE CONTROLE: Omdat het onmogelijk is weet te hebben van alle variabelen, is directe controle van variabelen belangrijk, maar altijd onvolledig. Een oplossing hiervoor is indirecte controle van variabelen. Het doel van indirecte controle is om de invloed van derde variabelen onafhankelijk te laten zijn van de interventie. Een manier om dit te bereiken, is om de entiteiten (vaak deelnemers) random toe te wijzen aan de condities. Toeval bepaalt dan wie aan de experimentele conditie (interventiegroep) of controleconditie (controlegroep) toegewezen wordt.
Controleren voor bias
Een speciale vorm van derde variabelen:
1. Experimenter bias: verwachtingen van onderzoeker vormen een derde variabele.
2. Demand characteristics: lokken een bepaalde verwachting uit bij deelnemers, waardoor zij zich zo gaan gedragen als ze verwachten dat wenselijk is voor de gewenste uitkomst van het experiment.
3. Placebo-effect: verwachting van deelnemer dat hij/zij een behandeling krijgt.
Om deze derde variabelen onder controle te houden:
1. Single-blind experiment: onderzoeker blind houden voor de conditie waarin een deelnemer zit.
2. Dubbelblind experiment: deelnemer en onderzoeker worden beiden blind gehouden voor de toegewezen conditie.
Het belangrijk erop te letten wat er wordt bedoeld als er gesproken wordt van een single-blind experiment. Soms wordt met deze term specifiek bedoeld dat enkel de onderzoekers blind zijn door de toewijzing aan de condities. Carey gebruikt de term single-blind zowel:
1. Wanneer enkel de onderzoekers blind zijn voor de toewijzing aan de condities (maar de deelnemers niet)
2. Wanneer enkel de deelnemers blind zijn voor de toewijzing aan de condities (maar de onderzoekers niet). Binnen deze cursus sluiten wij op dit punt aan.
Welke vorm van single-blind het beste is hangt af van het specifieke onderzoek in kwestie. Sowieso is het dubbelblind experiment het beste.
Voorheen werd vaak gebruikgemaakt van deceptie om verwachtingen van deelnemers te controleren. Deceptie houdt in dat een onderzoeker bewust informatie over de studie achterhoudt of de deelnemers misleidt om te voorkomen dat deelnemers specifieke verwachtingen over het onderzoek vormen. Tegenwoordig mag dit echter alleen nog gebruikt worden bij zwaarwegend wetenschappelijk belang, als er geen alternatieven beschikbaar zijn om verwachtingen van deelnemers te controleren en als betoogd kan worden dat de deceptie niet gepaard zal gaan met lichamelijk of psychisch leed voor de deelnemers. Maar ook dan moeten de deelnemers zo snel mogelijk helderheid krijgen over het echte onderzoeksdoel.
Alternatieve verklaringen
Als onderzoeksresultaten in lijn zijn met de causale hypothese, dan biedt dit ondersteuning voor de causale hypothese. Belangrijk om te onthouden is dat het vinden van ondersteuning voor de causale hypothese, niet betekent dat de hypothese waar is. Er kunnen namelijk ook alternatieve verklaringen zijn voor het optreden van het onderzoeksresultaat. Net zo, volgt het niet automatisch dat de causale hypothese onjuist is als de onderzoeksbevindingen de verwachtingen tegenspreken. Ook dan zijn er namelijk alternatieve verklaringen mogelijk van het onderzoeksresultaat.
Alternatieve verklaringen zijn mogelijk omdat bij het toetsen van de causale hypothese ook allerlei hulpaannamen worden gemaakt. Het is goed mogelijk dat deze hulpaannamen onjuist zijn en niet de causale hypothese. Beide aspecten komen hieronder aan bod.
Experimentele opstelling
Elk experiment kan verder gekarakteriseerd worden op andere aspecten. De specifieke constellatie van al deze aspecten wordt de experimentele opstelling genoemd. Hieronder vallen onder andere:
- Fysieke aspecten, zoals de onderzoekseenheden waarbij de experimenten worden uitgevoerd (vaak deelnemers)
- Technologische aspecten (denk aan stimuli voor de experimentele manipulatie, apparatuur voor metingen, of statistische software voor de data-analyse)
- Situationele aspecten (denk aan locatie & periode, zoals labo in jaren ‘60 of veldexperiment tijdens coronalockdown)
- Temporele aspecten (duur van het experiment)
- Sociale aspecten die het experiment op bepaalde wijze vormgeven (denk aan visie binnen wetenschapsgebied of van onderzoeksgroep)
Bovenstaande aspecten bepalen mede de achtergrondvariabelen die een experiment vormgeven. Hiervoor hebben we besproken hoe je met directe en indirecte controle de invloed van derde variabelen probeert te minimaliseren. Of deze controle geslaagd is, bepaalt in hoeverre achtergrondvariabelen van invloed kunnen zijn op de gevonden resultaten.
Kwaliteit van manipulaties en meetinstrumenten
Zoals eerder benoemd, moeten interventies geschikt zijn. Dat wil zeggen, manipulaties moeten valide zijn, precies en sterk genoeg om het construct van interesse in voldoende mate op te wekken. Deze aspecten kunnen variëren afhankelijk van de situatie en doelpopulatie waarin je de manipulatie gebruikt. Het is daarom belangrijk om de geschiktheid van de manipulatie die je wilt gebruiken vooraf te onderzoeken voor de situatie en doelpopulatie waarin je deze wilt gebruiken, bijvoorbeeld via pilotonderzoek.
In een goed onderzoek zijn uiteraard niet alleen de manipulaties valide, maar ook de meetinstrumenten die worden gebruikt om de afhankelijke variabele te meten. Ook meetinstrumenten moeten valide zijn voor de situatie en doelpopulatie waarin je deze wilt gebruiken.
Hulpaannamen
De experimentele opstelling en het gebruikte instrumentarium (meetinstrumenten/manipulaties) impliceren, meer technisch gesproken, zogenaamde hulpaannamen (auxiliary assumptions of hulphypotheses). In het ‘als-dan-daarom’-schema volgt een voorspelling die zou gelden als de causale hypothese waar is, enkel uit twee stappen: een causale hypothese en een voorgestelde actie om de causale hypothese te onderzoeken.
In de praktijk zijn er echter allerlei hulpaannamen die we – veelal impliciet – maken om van een causale hypothese en voorgestelde actie tot een voorspelling te komen. Dit is het probleem van Poppers falsificatiecriterium, oftewel het Duhem-Quine-probleem.
Als de onderzoeksresultaten niet in lijn zijn met de verwachtingen, dan kan een verklaring daarvoor zijn dat de causale hypothese onjuist is. Falsificatie van de causale hypothese is moeilijk of onmogelijk gemaakt, zoals in eerdere cursusmaterialen besproken.
Onderdeterminatie
Ook wanneer een experiment wel onderzoeksresultaten laat zien die in lijn zijn met de verwachting, dan kan niet gezegd worden of de causale hypothese waar is. Ook dan kunnen er alternatieve verklaringen zijn voor de gevonden resultaten. De data zijn onvoldoende om te bepalen welke hypothese (causale of alternatieve) waar is. De beschikbaarheid van alternatieve verklaringen voor onderzoeksresultaten wordt onderdeterminatie genoemd.
Deze alternatieve verklaringen kunnen bijvoorbeeld alternatieve causale hypotheses uit een andere theorie zijn. Maar een alternatieve verklaring kan ook volgen uit een bepaalde achtergrondvariabele die tijdens het uitvoeren van het experiment samenhing met de interventie en daarmee tot een spurieus effect (schijnverband) heeft geleid.
Bij het bedenken van alternatieve verklaringen voor een effect dat in lijn is met de causale hypothese, gaat het er niet om of bepaalde achtergrondvariabelen meespelen (dat is namelijk altijd het geval). Het gaat erom of beargumenteerd kan worden of bepaalde achtergrondvariabelen samenhangen met de interventie. Als dat het geval is, dan kan dat een alternatieve verklaring vormen voor de resultaten.
Dus, als in het experiment waarin angst werd gemanipuleerd door onvoldoende studieresultaten terug te koppelen, wordt gevonden dat studenten inderdaad meer geneigd zijn om sociaal contact te zoeken (ze blijken vaker berichtjes sturen naar vrienden), dan vormt het feit dat het experiment plaatsvond onder specifieke omstandigheden, zoals een coronalockdown, niet direct een alternatieve verklaring van de bevindingen. Dit gold namelijk voor beide condities.
Maar wanneer beide condities niet goed vergelijkbaar zijn op bepaalde achtergrondkenmerken, dus als bepaalde achtergrondkenmerken samenhangen met de interventie, dan leveren deze achtergrondvariabelen mogelijk wel alternatieve verklaringen voor de bevindingen.
Als bijvoorbeeld de controlegroep de studieresultaten terugkrijgt wanneer de coronamaatregelen grotendeels zijn losgelaten, maar de interventiegroep krijgt de (gefingeerde) studieresultaten in een periode waarin de coronamaatregelen net weer zijn aangetrokken, dan kan zo’n verschil in een achtergrondvariabele het gevonden resultaat mogelijk verklaren. Misschien gingen studenten niet meer appen omdat ze behoefte hadden aan sociaal contact omdat ze angst ervoeren (vanwege het terugkoppelen van het slechte cijfer). Wellicht gingen ze gewoon meer appen omdat andere vormen van sociaal contact minder makkelijk waren toen de coronamaatregelen weer strenger werden. Het gaat er bij achtergrondvariabelen dus om dat beargumenteerd moet kunnen worden in hoeverre deze de resultaten mogelijk hebben beïnvloed.
