thema 1 experimentele designs en validiteit Flashcards
between-subjects design
tussenproefpersonendesigns. studies waar iedere proefpersoon aan slechts een enkele experimentele conditie wordt blootgesteld. groepen personen die vergeleken worden.
treatment conditie
groep waarin nieuw medicijn wordt toegediend.
placebo
controleconditie/groep waarbij placebo wordt toegediend.
within-subjects designs
binnenproefpersonendesigns, worden alle proefpersonen juist aan alle experimentele en controlecondities blootgesteld.
repeated-measure designs
herhaalde metingdesigns. de reactie van de proefpersonen wordt gemeten na het toedienen van de treatment.
probleem within-subjects design
volgorde-effecten.
counterbalancing
volgorde waarin de condities worden aangeboden varieert. Is vorm van controle
mixed-designs
mix van tussen- en binnenproefpersonendesign.
minimized harm
proefpersoon zo min mogelijk belasten
active informed consent
deelnemer moet handeling verrichten om deel te nemen
passive informed consent
deelnemer moet handeling verrichten om niet deel te nemen
vereiste informatie informed consent
vrijwillige deelname, recht deelname beeindigen, doel van onderzoek, onderzoeksprocedure, risco’s, maatschappelijk ut, duur van onderzoek, contactinformatie, anonimiteit
debriefing
na afloop onderzoek ethisch om met deelnemers onderzoeksprocedure te bespreken
ethische debriefing
niet te lang op zich laten wacheten
bedrog
soms noodzakelijk deelnemers voor te liegen over inhoud onderzoek
onacceptabel bedrog
ongeoorloofd om tegen deelnemers te liegen, tenzij aannemelijk kan maken dat nodig is.
bedrog: gebruik van handlangers
acteurs of onderzoeksassitenten inzetten. Asch naar asch effect en lijnstukken beoordelen.
bedrog: Staged manipulations in field settings
omstandigheden waarin proefpersonen zich bevinden kunnen gemanipuleerd worden. bv negatieve terugkoppeling na maken puzzel.
direct bedrog: misleidende instructie
Milgram experiment
Wat moet er in een goede proceduresectie staan?
samenvatting van instructies voor proefpersonen, beschrijving experimentele manipulaties, methode experimentele controle zoals counterbalancing, duur experiment, eventuele beloningen.
Betrouwbaarheid
synoniem aan ruis. In hoeverre meting vrij van error. statistisch probleem.
bias
systematische redenen waarom metingen van elkaar afwijken
validiteit
meten we wat we willen meten? In hoeverre vrij van bias. filosofisch probleem
interne validiteit
causale relatie tussen twee variabele voldoende is aangetoond. is er voldoende bewijs dat X een verandering op Y veroorzaakt.
externe validiteit
In hoeverre kunnen de resultaten uit het onderzoek gegeneraliseerd worden naar de doelpopulatie. 2 types
Drie condities van causale inferentie
- de oorzaak doet zich voorafgaand aan het effect. 2. de oorzaak en het gevolg zijn aan elkaar gerelateerd (covariatie) 3. er zijn geen plausibele verklaringen voor de geobserveerde covariatie (geen schijnverband)
ecologische validiteit
de mate waarin situaties in het experiment gegeneraliseerd kunnen worden naar real-life situaties (externe validiteit). niet synoniem aan realisme.
generaliseerbaarheid tussen mensen
de mate waarin de mensen die aan het onderzoek hebben deelgenomen een weergave zijn van de doelpopulatie in het algemeen. (externe validiteit)
bedreigers interne validiteit: 1/10 tussentijdse externe voorval (history)
specifieke gebeurtenissen die plaatsvinden tussen de eerste en de tweede meting
bedreigers interne validiteit: 2/10 rijping of groep (maturation)
veranderingen die binnen proefpersonen optreden door het verloop van de tijd.
bedreigers interne validiteit: 3/10 testeffect
de effecten die de voormeting heeft op de uitkomsten van de daaropvolgende testen. Onder controle te houden: zonder voormeting
bedreigers interne validiteit: 5/10 statistische regressie
extreme proefpersoonkenmerken bij voormeting die natuurlijk terugzakken/-groeien naar een minder extreem niveau. Natuurlijke terugval.
bedreigers interne validiteit: 7/10 uitval (experimental mortality)
proefpersonen die niet meer meewerkeln aan latere metingen in het experiment om redenen die niet relevant kunnen zijn voor de steekproefkenmerken van het experiment.
bedreigers interne validiteit: 8/10 interactie tussen bedreigers
een combinatie van bedreigers die elkaar versterken
bedreigers interne validiteit: 9/10 verspreiding van de ingreep
informatie/uitleg in de ene conditie wordt ook bekend onder deelnemers in de andere conditie
bedreigers interne validiteit: 10/10 compenserende rivaliteit
deelnemers in verschillende onderzoekscondities gaan in competitie met deelnemers in de andere condities. John Henry effect.
bedreigers interne validiteit; 4/10 instrumentatie
verandering in meetinstumenten of beoordelaars die veranderingen in zoekresultaten in gang zetten. Oplossing: retrospectieve voormeting: deelnemers gevraagd naar begrip/kennis of vaardigheid voorafgaand treatment.
bedreigers interne validiteit: 6/10 selectie
de vergeleken condities zijn niet vergelijkbaar door verschillende steekproefkenmerken op voor het onderzoek relevante eigenschappen. Goede randomisatie kan bias voorkomen.
bedreigers externe validiteit: 1/3 interactie voormeting en experimentele stimulus
de voormeting creëert een situatie die zich buiten het experiment niet zou doen; bv de voormeting maakt mensen meer bewust van waarnaar ze worden gevraagd.
bedreigers externe validiteit: 2/3 niet-representatieve steekproeven
selectie van proefpersonen wijkt af van de populatie waar het effect plaat zou moeten vinden
bedreigers externe validiteit: reactieve experimentele locatie 3/3
de proefleider beïnvloedt door aanwezigheid bewust of onbewust de uitkomst van de studie. voorkomen: blind experiment of dubbelblind experiment.
Hoe stel je causaliteit vast?
door een experiment
Waar dienen experimenten voor?
om te vertellen hoe verschillende observaties en uitkomsten aan elkaar gerelateerd zijn.
wat zijn treatments?
condities of procedures worden onder strenge controle gehouden of gemanipuleerd
Welke twee families van experimenten zijn er?
zuivere experimenten en quasi experimenten
welke twee families van designs zijn er?
tussenproefpersonendesign en binnenproefpersonendesign
Waarin zit het verschil zuiver experiment of quasi experiment
bij zuiver experiment wordt randomisatie toegepast, bij quasi experiment niet (gaat uit van bestaande groepen.
Mill’s methode
werken met het concept van controlegroepen. Logische bewijsvoering. Experimentele groep: als X, dan Y. Controlegroep: Als -X dan -Y
Twee eisen Mill’s methode
- method of agreement (experiment moet eerst aantonen dat X zich voordoet als Y zich ook voordoet, sufficient method), 2. Method of difference, als X zich niet voordoet, doet Y zich ook niet voor. necessery condition.
waarom matchen en homogeniseren?
proberen de experimentele en controlegroep gelijk te maken op een aantal externe bekende kenmerken waarvan men denkt dat ze belangrijke mate van invloed zijn op de afhankelijke variabele.
eerste methode matchen = precissiecontrole
probeert men voor elke proefpersoon in de experimentele groep een proefpersoon te vinden voor de controlegroep. Is op de aangegeven variabele gelijk aan de eerstgenoemde eenheid. (kloon)
matchen
klonen is onmogelijk, daarom matchen op belangrijke achtergrondskenmerken. Goed matchen is als het waren klonen.
tweede methode matchen = globale controle
frequentie van een aantal belangrijke kenmerken in de experimentele en controle groep zijn aan elkaar gelijk. Algemene dan precissiecontrole. Is grover.
volledig gerandomiseerd blokontwerp
wanneer bij een experiment de groepen in de verschillende (experimentele en controle) condities even groot zijn en de toewijzing van proefpersonen op toevalsbasis.
gerandomiseerd blokontwerp
proefpersonen worden voor het experiment ingedeeld homogene categorieën. 1. Elk blok heeft evenveel onderzoekseenheden of proefpersonen.2. binnen elk blok evenveel eenheden worden toegewezen aan de experimentele en aan de controlegroep, 3. toewijzing gebeurt op basis van toeval.
drie voorwaarden causaliteit
- statistische significant verband tussen de predictor en de afhankelijke variabele 2. de predictor moet in de tijd voorafgaan aan de afhankelijke variabele, 3. de relatie tussen predictor en de afhankelijke variabele wordt niet veroorzaakt door een derde (onbekende) variabele.
effectsize imv statistische significantie
om te zien of er voldoende sterk of relevant verband is moet er gekeken worden naar de grootte van het effect.
effectsize en regressieanalyse
de grootte van effect kan worden afgelezen aan de gestandaardiseerde regressiecoefficient (beta)
Is significant verband een causaal verband?
nee, causale proces kan namelijk ook omgekeerd zijn of worden veroorzaakt door derde variabele
Gevolg een te kleine steekproef?
te weinig power om samenhang te ontdekken
kan nav een survey uitspraken doen causale relaties variabelen?
Kan je geen uitspraken over doen, omdat er alleen aan de eerste voorwaarde is voldaan.
kan er nav een longitudaal onderzoek uitspraken gedaan worden over causale relaties variabelen?
iets gefundeerder dan survey
probleem longitudaal onderzoek
tijdsinterval metingen.
variant longitudaal onderzoek
cohortstudie (panelstudie). Zelfde problemen causaliteit als longitudaal.
hoe kan probleem causaliteit in onderzoek vermeden worden?
exploratief karakter te geven. door bijvoorbeeld een indruk te krijgen van de verdeling van de variabelen en welke verbanden er in de data aanwezig zijn.
symbolische notatie om experimenten mee samen te vatten.
Om validiteitsbedreigers te voorkomen ontwikkelt door Campell en Stanley
Symbolische notatie t1
tijdstip de voormeting
Symbolische notatie t2
tijdstip de nameting
symbolische notatie R
randomisatie
Symbolische notatie O
observatie: waarneming of meting van de afhankelijke variabele
Symbolische notatie X
ondergaan van de experimentele stimilus
pre-experimenteel design: one shot case study
eerst treatment uitgevoerd en vervolgens geobserveerd hoe erg gereageerd wordt. onmogelijk om uitkomsten te vergelijken.
X O1
pre-experimenteel design: one-group pre-post design
verbetering one shot case study, er is een voor en na treatment geobeserveerd. pre-experimenteel want afwezigheid vergelijkingsconditie
t1 t2
O1 X O2
pre-experimenteel design bestaande groepen nameting only
is pre-experimenteel omdat door het niet random toewijzen aan condities in combinatie van een voormeting het vrijwel onmogelijk is om de observaties tussen groepen goed te vergelijken.
t1 t2
NR X O1
NR O2
Zuivere experiment: posttest-only control
alleen nameting met controlegroep. eenvoudig zuiver experiment. geen voormeting is vaak een voordeel experimenteel design ivm testeffect. nadeel= missen startpunt.
t1 t2
R X O1
R O2
zuiver experiment: pretest-posttest control design
voor- en nameting met controlegroep. meest gebruikte design, klassiek. verschillen in groepen zijn door voor en nameting toe te wijzen aan experimentele treatment en niet aan storende factoren.
Zuiver experiment: solomon vier-groependesign
elegantste van twee designs; posttest only en pretest-posttest control. eerste groep voormeting treatment en nameting, tweede groep geen voormeting, maar wel treatment en nameting, derde groep voor- en nameting, vierde groep: alleen nameting
quasi experimentele pretest-posttest control design
twee bestaande groepen niet random (NR) zijn toegewezen vergeleken. De eerste groep krijgt voormeting treatment en nameting. de tweede groep krijgt voormeting en nameting, maar geen treatment.
enkelvoudige tijdreeks
bij dezelfde proefpersonen onderzoek op verschillende tijdstippen zowel voor als na introductie van experimentele treatment metingen verricht op de afhankelijke variabele. ‘dagboek-experimenten’
meervoudige tijdreeks
vergelijkbaar enkelvoudig, maar dan met voordelen van een controlegroep.
Dataverzamelingsmethode: 1/3
Beschrijvend onderzoek
Hoe vaak komt een fenomeen voor?
confounder
een factor die gerelateerd is aan de te onderzoeken risicofactor of blootstelling en ook aan de uitkomst. Een confounder kan een verband tussen blootstelling en uitkomst verzwakken of versterken.
Dataverzameling: 2/3
Correlationeel onderzoek bv survey
Is er samenhang tussen variabelen.
Wat is niet nodig om zuiver experimenteel onderzoek te doen?
- manipulatie van afhankelijke variabele, 2. continue afhankelijke variabele
Dataverzameling 3/3: Experimenteel onderzoek
Is er een causaal effect van de ene variabele op een andere?
Wat is verschil tussen een (zuiver) experiment en een quasi-experiment?
vergelijking van (i) groepen waarbij mensen random zijn toegewezen aan de condities vs (ii) bestaande groepen (geen random toewijzing)
Op welke manier kun je externe factoren (zoveel mogelijk) gelijkhouden over condities? (noem 3)
matchen, homogeniseren, covariaten opnemen.
