Thema 1 longtidunaal onderzoek Flashcards
introductie
Elke studie begint met een onderzoeksvraag. Een type onderzoeksvraag waar veel onderzoekers mee te maken hebben en die we in deze cursus behandelen, gaat over verbanden tussen twee of meer variabelen. Meestal wil men het effect onderzoeken van een of meer variabelen op een andere variabele. Aan zulke onderzoeksvragen ligt een model ten grondslag dat relaties tussen de variabelen beschrijft.
Om de onderzoeksvraag te beantwoorden formuleert men strikt genomen eerst een model op basis van eerder onderzoek of theoretische overwegingen. Vervolgens verzamelt men data en toetst men het model statistisch. Met zo’n toets wordt de vraag beantwoord of de verbanden tussen de variabelen die in het model zijn beschreven, aannemelijk zijn op basis van de verzamelde data.
In deze cursus bestuderen we modellen met één afhankelijke variabele. Zulke univariate modellen geven het mechanisme aan om de scores op de afhankelijke variabele te verklaren
Longtidunale data
Als bij onderzoekseenheden (personen) dezelfde informatie op meerdere tijdstippen wordt gemeten, spreken we van longitudinale data. Een belangrijk voordeel van longitudinale data is dat veranderingen binnen een persoon kunnen worden gemeten.
Het panel onderzoek en het cross-lagged- effect
*De verbanden die vooral van belang zijn in een onderzoek, worden cross-lagged-verbanden genoemd. Hierbij gaat het om verbanden tussen verschillende variabelen op verschillende tijdstippen. Ook hier wordt een richting verondersteld. De pijl loopt altijd in de richting van de meest recent gemeten variabele.
*Een vorm van longitudinaal onderzoek, het panelonderzoek, werd door Lazerfeld (1940) voorgesteld. Hij twijfelde aan het causale mechanisme achter het cross-sectionele verband tussen het horen van een advertentie over een product en het kopen van dit product. Kopen mensen omdat ze een advertentie horen of luisteren ze meer gericht naar informatie over een product nadat ze het product gekocht hebben? Hij stelde voor om deze variabelen bij een onderzoekspanel herhaaldelijk te meten en de effecten van deze variabelen te bekijken over tijd. Door het zogenaamde cross-lagged-effect van luisteren (gemeten op tijdstip t) op kopen (gemeten op tijdstip t+1) te vergelijken met het cross-lagged-effect van kopen (t) op luisteren (t+1) zou er een uitspraak over het causale effect kunnen worden gedaan.
N =1 studies
*Een veel voorkomend longitudinaal design is gebaseerd op herhaalde metingen bij een enkele onderzoekseenheid. Dit worden N=1-studies genoemd (Engels: single case designs). Het doel hierbij is om het verschil op een of meer variabelen voor en na een interventie te vergelijken. Ook kan men geïnteresseerd zijn in de vraag of er sprake is van een trend in de afhankelijke variabelen. Bijvoorbeeld of klachten geleidelijk afnemen gedurende of na een therapie. Vaak zal men de data van verschillende single case-studies willen combineren om toch meer algemeen geldende uitspraken te kunnen doen. Het combineren van verschillende single case-studies gebeurt meestal met multilevel-analyses.
De Experience Sampling method (ESM)
*De Experience Sampling Method (ESM) is een andere dataverzamelingsmethode die longitudinale data oplevert. Hier wordt meestal meerdere keren, op willekeurige momenten per dag, bij mensen een kort vragenlijstje afgenomen gedurende een aantal dagen (vaak met een app op bijvoorbeeld de smartphone). Het idee hierachter is dat men zo kan onderzoeken welke psychologische processen zich dagelijks binnen een persoon afspelen. Omdat dit voor de deelnemers een vrij intensieve methode is, worden ESM-designs ook wel intensieve longitudinale designs genoemd. Ook de analyse van ESM-data gebeurt vaak met multilevelanalyses.
Causaliteit
In veel psychologisch onderzoek wordt verondersteld dat variabelen een causale relatie met elkaar hebben. Dat wil zeggen dat wordt verondersteld dat er sprake is van een of meer onafhankelijke variabelen (predictoren) en een of meer afhankelijke variabelen, waarbij een onafhankelijke variabele effect heeft op de afhankelijke.
Het begrip causaliteit speelt daarom een belangrijke rol bij onderzoek. Strikt genomen moet er aan drie voorwaarden worden voldaan om te kunnen spreken van een causale relatie:
1 De predictor moet in de tijd voorafgaan aan de afhankelijke variabele.
2 Er moet een statistisch significant verband zijn tussen de predictor de afhankelijke variabele.
3 De relatie tussen de predictor en de afhankelijke variabele wordt niet veroorzaakt door een derde, mogelijk onbekende, variabele.
ad voorwaarde 1 De predictor moet in de tijd voorafgaan aan de afhankelijke variabele.
Bij de eerste voorwaarde voor causaliteit - de predictor gaat aan de afhankelijke variabele vooraf - kunnen longitudinale modellen hun nut hebben. In deze modellen moet de onderzoeker er dus voor zorgen dat hij de predictor altijd eerder meet dan de afhankelijke variabele.
2 Er moet een statistisch significant verband zijn tussen de predictor de afhankelijke variabele.
Een statistisch significant (voorwaarde 2) resultaat betekent in het algemeen dat de samenhang waarschijnlijk ongelijk is aan nul. Zo’n resultaat zegt niets over de grootte van het verband en dus ook niet over het belang of de relevantie van het verband. Een klein verband kan bij een grote steekproef namelijk ook statistisch significant zijn. Als de steekproef maar groot genoeg is dan wordt elke afwijking van nul, hoe klein ook, in de steekproef significant. Om te zien of een verband voldoende sterk of relevant is, moet er naar de grootte van het effect worden gekeken (Engels: effect size). Bij een regressieanalyse kan de grootte van het effect worden afgelezen aan de gestandaardiseerde regressiecoëfficiënt (beta).
Ook betekent statistische significantie van een verband niet dat er sprake is van een causaal verband. Het causale proces kan namelijk ook omgekeerd zijn of worden veroorzaakt door een derde variabele.
Ad. voorwaarde 3; De relatie tussen de predictor en de afhankelijke variabele wordt niet veroorzaakt door een derde, mogelijk onbekende, variabele.
Aan de andere kant zou er wel een causaal verband kunnen bestaan tussen twee variabelen, terwijl er in de analyse geen sprake is van statistische significantie. De belangrijkste reden hiervoor is dan een te kleine steekproef of te wel de toets heeft te weinig power om de samenhang te ontdekken. Ook kan er sprake zijn van een derde variabele die het verband maskeert. Het probleem van een te kleine steekproef en dus van te weinig power (dat is de kans om een bestaand effect te vinden) doet zich extra sterk voor bij interactie-effecten. Voor het testen van moderatiemodellen moeten er in het algemeen nog grotere datasets worden gebruikt dan bij modellen met alleen een hoofdeffect. Er bestaan gratis programma’s om de vereiste steekproefgrootte en de bijbehorende power te berekenen. Dit is een belangrijke stap bij het opzetten van een onderzoek.
Het zuivere experiment
Een geschikte methode van dataverzameling om causale relaties te onderzoeken is een zuiver experiment. In een experiment kunnen we voorwaarde 2 toetsen via een statistische toets. De opzet van een experiment is zo dat de manipulaties die leiden tot de condities van het experiment (die de waarden van een predictor voorstellen) voorafgaan aan het meten van de afhankelijke variabele, waarmee aan voorwaarde 1 wordt voldaan. Door de subjecten willekeurig aan de condities toe te delen (randomisatie) wordt geprobeerd de invloed van onbekende variabelen te reduceren. Bekende storende variabelen kunnen eventueel worden gemeten en statistisch onder controle worden gehouden door deze variabelen als covariaat in de analyse te betrekken. Bij een goed uitgevoerd zuiver experiment kan men daarom vrij zeker zijn dat ook aan voorwaarde 3 is voldaan.
Het survey
Wanneer de data zijn verzameld via een survey waarbij alle vragen min of meer tegelijk worden verkregen, kan men in principe geen uitspraken doen over causale relaties tussen de variabelen, omdat alleen aan voorwaarde 1 kan worden voldaan. In de praktijk gebeurt dit echter toch vrij vaak en ook in deze cursus wordt regelmatig gesproken over ʻhet effectʼ of ʻde invloedʼ van een variabele op een andere. Bedenk dat het dan gaat over een verondersteld effect dat in de analyse hooguit aannemelijk wordt gemaakt. De veronderstelde causaliteit wordt aannemelijker als er meer onderzoeken in dezelfde richting wijzen en vooral wanneer er sprake is van een goed gefundeerde theoretische onderbouwing.
Longtidunale onderzoeken en causaliteit
Bij longitudinale methoden van dataverzameling kan aan de eerste voorwaarde van causaliteit worden voldaan, doordat op de predictor kan worden gemeten voorafgaand aan de afhankelijke variabele. Hoewel bij deze methode niet kan worden vastgesteld of aan de derde voorwaarde is voldaan, lijken causale uitspraken iets gefundeerder dan bij een survey dat op een enkel moment in de tijd is verkregen (cross-sectioneel onderzoek). Maar ook bij longitudinaal onderzoek is het belangrijk dat er een goed gefundeerde theorie ten grondslag ligt aan de veronderstelde causale effecten.
Een ander probleem bij longitudinaal onderzoek is dat het tijdsinterval tussen de metingen (T1, T2 enzovoort) goed moeten worden gekozen. Het effect van de predictor, gemeten op T1, moet zichtbaar zijn in de afhankelijke variabele op T2 of later. De vraag is dus hoe lang het duurt voordat een predictor effect heeft: enkele seconden, dagen, of maanden? Uiteraard is dat afhankelijk van het specifieke effect dat onderzocht wordt. Is het interval te kort gekozen, dan kan er nog geen causaal effect worden gemeten en als het interval te groot is dan kunnen er allerlei verstorende factoren een rol gaan spelen.
exploratief onderzoek
Het probleem van de causaliteit kan vermeden worden door onderzoek een exploratief karakter te geven. Bij exploratief onderzoek is het toetsen van (causale) verbanden niet het belangrijkste, maar wil men een indruk krijgen over bijvoorbeeld de verdeling van variabelen en welke verbanden er in de data aanwezig zijn. Ook vragen als ʻWat zijn mogelijk belangrijke predictoren voor een bepaalde onafhankelijke variabele en welke covariaten spelen een rol?ʼ zijn exploratief. Ook classificatieproblemen zoals de vraag die sommige bedrijven zich stellen ‘welke potentiële klant wordt een wanbetaler en wie niet’ zijn niet primair gericht op causale verbanden. Er worden dan verschillende modellen met elkaar vergeleken om te zien welke het beste past bij de data. Op basis van exploratief onderzoek en een onderbouwde theorie kan men in een vervolgonderzoek wellicht een experiment ontwerpen waarmee causale relaties kunnen worden getoetst.
Moderatie
Wanneer een variabele het effect van een andere variabele op een criteriumvariabele beïnvloedt, spreken we van moderatie. In principe is een moderatiemodel een causaal model en moet daarom voldoen aan de eisen die aan causaliteit worden gesteld om valide uitspraken te kunnen doen over de resultaten. De predictor en moderator zijn in principe gemeten op het eerste tijdstip (of zij vormen de experimentele condities) en de afhankelijke variabele op het tweede tijdstip.
Mediatie
In het mediatiemodel gaan we in principe uit van drie meetmomenten. Bij mediatie veronderstellen we dat het effect van een variabele op een andere (deels) wordt verklaard door een derde variabele. Mediatiemodellen zijn heel belangrijk omdat ze inzicht kunnen verschaffen hoe bepaalde causale processen verlopen. Met die kennis kunnen idealiter effectieve interventies worden ontwikkeld om bepaald gedrag te stimuleren (bijvoorbeeld gezond leven) of juist te verminderen (bijvoorbeeld criminaliteit). Dit zijn onderzoeksvragen die zeer informatief kunnen zijn, maar ook moeilijk te onderzoeken. De onderzoeksvraag betreft immers drie vragen naar causaliteit:
1 De voorspeller heeft causale invloed op de mediator.
2 De mediator heeft causale invloed op de afhankelijke variabele.
3 De voorspeller heeft causale invloed op de afhankelijke variabele.
Causaliteit speelt dus een belangrijke rol bij mediatie!
