1.2 Bedreigers van validiteit Flashcards
Wanneer spreken we van bias?
Als er systematische redenen zijn waarom metingen van elkaar afwijken.
Als men spreekt over betrouwbaarheid dan vraagt men zich af in hoeverre metingen vrij zijn van…..
Als men spreekt over validiteit dan vraagt men zich af in hoeverre het onderzoek vrij is van….
- Error
- Bias
Wat is de vraag bij interne validiteit?
Of de causale relatie tussen twee variabelen voldoende is aangetoond.
Een causale inferentie kan alleen bestaan als aan welke 3 condities is voldaan?
- De oorzaak doet zich voor voorafgaand aan het effect (tijdsvolgorde, of temporeel precedent).
- De oorzaak en het gevolg zijn aan elkaar gerelateerd (covariatie).
- Er zijn geen plausibele alternatieve verklaringen voor de geobserveerde covariatie (geen schijnverband).
Wanneer een onderzoeker erin slaagt om de manipulatie zo goed te isoleren dat andere verklaringen of rivaliserende hypothesen worden uitgesloten dan wordt gesteld dat de causale inferentie …
intern valide is.
Externe validiteit betreft welke vraag?
In hoeverre resultaten uit onderzoek gegeneraliseerd kunnen worden naar de doelpopulatie.
Welke 2 soorten van generaliseerbaarheid betreft externe validiteit?
- De generaliseerbaarheid tussen situaties:
de mate waarin situaties in het experiment gegeneraliseerd kunnen worden naar real-life situaties. - De generaliseerbaarheid tussen mensen: de mate waarin de mensen die aan het onderzoek hebben deelgenomen een weergave zijn van de doelpopulatie in het algemeen.
Hoe wordt de externe validiteit als het gaat om generaliseerbaarheid tussen situaties ook wel genoemd?
Ecologische validiteit
Als het gaat om de externe validiteit wat betreft generaliseerbaarheid tussen mensen, wat moet dan worden benadrukt?
Generaliseren naar de populatie betekent niet dat er generaliseerd moet kunnen worden naar andere populaties of de mensheid in het algemeen.
Wat is een kanttekening bij ecologische validiteit?
Ecologische validiteit kan wel eens verkeerd begrepen worden omdat deze te letterlijk wordt geïnterpreteerd. Experimenteel onderzoek is altijd op een of andere manier onrealistisch. Ecologische validiteit is niet synoniem aan realisme. Er zijn meerdere wijzen waarop een experiment ecologisch valide kan zijn.
Welke 10 bedreigers van de interne validiteit zijn er?
- Tussentijds extern voorval (history)
- Rijping of groei (maturation)
- Testeffect
- Instrumentatie
- Statistische regressie (regression to the mean)
- Selectie
- Uitval (experiemntal mortality)
- Interactie tussen bedreigers
- Verspreiding van de ingreep
- Compenserende rivaliteit
[Bedreigers interne validiteit]
Wat houdt de bedreiger ‘tussentijds extern voorval (history)’ in?
Specifieke gebeurtenissen die plaatsvinden tussen de eerste en de tweede meting
[Bedreigers interne validiteit]
Wat houdt de bedreiger ‘rijping of groei (maturation)’ in?
Veranderingen die binnen proefpersonen optreden door het verloop van tijd.
Als er in het experiment geen mogelijkheid is ingebouwd om te controleren of waargenomen veranderingen toe te schrijven zijn aan natuurlijke groei, dan is de interne validiteit bedreigd.
[Bedreigers interne validiteit]
Welke 2 vormen van ‘rijping of groei (maturation)’ zijn er?
- Kortetermijnsrijping, bijv. concentratieverlies
- Langetermijnsrijping, bijv. biologische veranderingen.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘testeffect’?
De effecten die de voormeting heeft op de uitkomsten van de daaropvolgende testen.
[Bedreigers interne validiteit]
Wat is een mogelijke oplossing voor het ‘testeffect’? 2x
- Geen voormeting
- Groep opsplitsen: wél en geen voormeting.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘instrumentation’?
Veranderingen in meetinstrumentaria of beoordelaars die veranderingen in onderzoeksresultaten in gang zetten.
[Bedreigers interne validiteit]
Wat is een mogelijke oplossing voor ‘instrumentation’?
Door het toepassen van een retrospectieve voormeting. In plaats van een echte voormeting worden proefpersonen gevraagd naar hun begrip of vaardigheid voorafgaand aan de treatment, na afloop van het onderzoek. Bijvoorbeeld in een onderzoek naar de effecten van een professionele ontwikkelingsactiviteit kunnen proefpersonen na de workshop gevraagd worden hoe vaardig zij waren in de vaardigheid die in de workshop aan bod kwam voordat zij de workshop in gingen. Het betreft een retrospectieve voormeting.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘statistische regreessie (regression to the mean’?
Eextreme proefpersoonkenmerken bij voormeting die natuurlijk terugzakken/-groeien naar een minder extreem niveau. De daling die wordt waargenomen is niet toe te schrijven aan de experimentele manipulatie, maar de regressie die plaatsvindt na een initiële extreme meting.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘selectie’?
De vergeleken condities zijn niet vergelijkbaar door verschillende steekproefkenmerken op voor het onderzoek relevantie eigenschappen.
Met vertekeningen door selectie wordt bedoeld dat er voorafgaand aan het onderzoek verschillen tussen vergeleken groepen kunnen zijn die interacteren met de onafhankelijke variabele en daardoor verantwoordelijk kunnen zijn voor verschillen in de afhankelijke variabele. Hoewel in het de praktijk niet mogelijk is om meerdere groepen te vinden die exact gelijk zijn in termen van proefpersoonskenmerken, kunnen er problemen ontstaan wanneer groepen structureel gaan afwijken.
[Bedreigers interne validiteit]
Wat is een oplossing voor de bedreiger ‘selectie’?
Randomisatie
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘uitval’?
Proefpersonen die niet meer meewerken aan latere metingen in het experiment om redenen die relevant kunnen zijn voor de steekproefkenmerken van het experiment
[Bedreigers interne validiteit]
Wanneer is er sprake van validiteitsdreiging door uitval?
Wanneer conclusies worden getrokken op basis van de ‘overlevers’ in een dataset.
Bijv. zodra de uitval toe te schrijven is aan een systematisch kenmerk van het onderzoek zelf, het toedienen van de treatment, of de aard van de meetinstrumenten.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘interactie tussen bedreigers’?
Een combinatie van bedreigers die elkaar versterken.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘verspreiding van de ingreep’?
Informatie/uitleg in de ene conditie wordt ook bekend onder deelnemers in de andere conditie
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘compenserende rivaliteit’?
Hoe staat dit ook wel bekend?
De deelnemers in verschillende onderzoekscondities gaan in competitie met deelnemers in de andere condities.
Ook bekend als het John Henry-effect (John Henry was een arbeider die beter dan een machine ging presteren in een experiment, omdat hij zich ervan bewust was dat zijn prestaties met die van de machine vergeleken gingen worden).
Wat zijn 3 bedreigers van externe validiteit?
- Interactie voormeting en experimentele stimulus
- Niet-representatieve steekproeven
- Reactieve experimentele locatie
[Bedreigers externe validiteit]
Wat houdt de bedreiger ‘interactie voormeting en experimentele stimulus’ in?
De voormeting creëert een situatie die zich buiten het experiment niet voor zou doen; bijvoorbeeld de voormeting maakt mensen meer bewust van waarnaar ze worden gevraagd.
[Bedreigers externe validiteit]
Bij de bedreiger ‘interactie voormeting en experimentele stimulus’ is er sprake van reactiviteit. Wat houdt dit in?
Het onderzoek is zelf van invloed op hetgeen wordt onderzocht.
[Bedreigers externe validiteit]
Bij de bedreiger ‘interactie voormeting en experimentele stimulus’ is er sprake van reactiviteit.
Hoe kan dit worden voorkomen? 3x
- Voormeting weglaten
- Kiezen voor een retrospectieve voormeting
- Ervoor kiezen om proefpersonen te misleiden: als proefpersonen niet weten dat ze worden onderzocht, of zich niet realiseren dat ze een experimentele stimulus hebben ontvangen, dan kunnen zij zich ook niet bewust zijn van het bestaan van een controlegroep.
[Bedreigers externe validiteit]
Wat houdt de bedreiger ‘niet-representatieve steekproven’ in?
Selectie van proefpersonen wijkt af van de populatie waar het effect in plaats zou moeten vinden.
[Bedreigers externe validiteit]
Wat houdt de bedreiger ‘reactieve experimentele locatie’ in?
De proefleider, of kennis van de experimentele toewijzing maakt dat proefpersonen zich anders gedragen, vaak in lijn met wat proefpersonen denken wat van hen verwacht wordt.
[Bedreigers externe validiteit]
Experimenter bias (valt onder ‘reactieve experimentele locatie’) is lastig te kwalificeren als een bedreiger van interne of externe validiteit. Het hoort eigenlijk een beetje thuis in beide lijsten van bedreigingen. De redenen om het bij externe validiteit te plaatsen zijn bijzonder subtiel verschillend van de redenen om het bij de interne validiteit te plaatsen.
Waarom wordt het toch als een bedreiging van externe validiteit gezien?
Omdat de aanwezige proefleider een bijzondere omgeving schept met de eigen aanwezigheid en eigen biases. Dezelfde groep personen met dezelfde experimentele manipulaties zouden zich bij een andere proefleider anders gedragen. Omdat dit heel dicht aanschuurt tegen het concept van de ecologische validiteit wordt experimenter bias ingedeeld bij de externe validiteitsbedreigers. Consensus hierover ontbreekt. In sommige boeken staat het alleen bij de interne validiteit, en in een klein aantal andere boeken staat experimenter bias in beide lijsten.
[Bedreigers externe validiteit]
Hoe kan de bedreiger ‘reactieve experimentele locatie’ worden voorkomen? 2x
- Blind experiment:
Voorkomen dat proefpersonen weten in welke experimentele conditie zij zitten (zoals het niet weten of men een placebo ontvangt of niet) - Dubbelblind experiment:
Voorkomen dat de proefleider weet in welke condities proefpersonen zijn ingedeeld.
Nuland (2011) deed in haar proefschrift onder andere onderzoek naar het effect van opdrachten waar dezelfde handeling steeds herhaald moet worden (repetitive tasks) op de intrinsieke motivatie, en dan het ervaren plezier in de uitvoering van de taak in het bijzonder.
Geef beknopt, in eigen woorden, een samenvatting van het experiment. Zorg dat in de samenvatting ook antwoord wordt gegeven op de volgende drie vragen (1) Waar werd het experiment uitgevoerd? (2) Waren de leerlingen zich ervan bewust dat ze deelnamen aan een experiment van de Universiteit Leiden? (3) Hoeveel condities heeft het experiment?
Leerlingen wisten van tevoren dat ze gingen deelnemen aan een onderzoek van universiteit Leiden en hebben hiertoe consent gegeven. Het onderzoek werd in hun normale klas op school uitgevoerd in aanwezigheid van de docent en de onderzoeker. De taak die de leerlingen kregen was een saaie taak. Deze taak leek op een normale opdracht zoals deze op school gegeven had kunnen worden, maar was verder onbekend voor de leerlingen. Leerlingen deden eerst een experiment waarbij ze de saaie taak deden. Een half jaar later kregen ze te horen dat ze opnieuw het saaie-takenexperiment gingen doen. Er was geen controlegroep; alle leerlingen kregen de saaie taak in Experiment 1 en Experiment 2 met dezelfde instructies.
e onderzoekers concludeerden dat de repititive tasks niet alleen niet motiverend waren, maar dat ze zelfs demotiverend waren! Zelfs als aan de randvoorwaarden van motivatie was voldaan daalde de motivatie volgens de onderzoekers.
Welke validiteitsbedreiger kunnen de onderzoekers over het hoofd hebben gezien, leg in eigen woorden uit waarom? Wat zou dan een alternatieve verklaring van het verrassende resultaat van het onderzoek kunnen zijn?
In dit geval is de meest waarschijnlijke validiteitsbedreiger ‘statistische regressie’. Het is maar de vraag of de motivatie echt gedaald is, of dat de eerste motivatiemeting onnatuurlijk hoog was. De leerlingen wisten van tevoren dat ze mee gingen doen aan een experiment van een universiteit. Het is mogelijk dat zij uitkeken naar een bijzondere les. De motivatie die voorafgaand aan deze test werd gemeten, kan onnatuurlijk hoog zijn geweest vanwege deze verwachting. In plaats van de leuke afleiding kregen de leerlingen een les die was als alle andere lessen, maar dan saaier gemaakt door de saaie opdracht. De eerste meting kan daarom extreem hoog zijn uitgevallen en de meting een half jaar later kan dan een meer reële meting zijn geweest. Het kan verleidelijk zijn om ‘rijping’ als validiteitsbedreiger te noemen. Een half jaar is voor een schooljaar relatief lang, en het is niet duidelijk in hoeverre de leerlingen tegen die tijd wel weer klaar waren met school en toe waren aan vakantie. Door gebrek aan een controlegroep, bijvoorbeeld een groep waar leerlingen niet autonoom mochten zijn (een van de randvoorwaarden) is het lastig vast te stellen of rijping heeft opgetreden. Blijkbaar waren de randvoorwaarden door leerlingen nog wel als aanwezig ervaren, maar was hun motivatie toch nog gedaald. De vraag die dan open ligt, is in hoeverre de perceptie van die randvoorwaarden sterker weegt dan het feit dat alle leerlingen feitelijk autonoom waren, of ze dat nu echt zo beleefd hadden of niet. Zonder een groep waar autonomie afwezig was, is hier helaas geen antwoord op te geven. Dit is meer een gebrek aan het experimentele design (zie thema 1.3) dan dat het een specifieke validiteitsbedreiger is.
