Bedreigers van validiteit Flashcards
Begrip bias
Als er systematische redenen zijn waarom metingen van elkaar afwijken.
Meten we wat we willen meten-> validiteit
Begrip betrouwbaarheid
In hoeverre zijn metingen vrij van error.
Problemen van betrouwbaarheid: alle inconsistenties die in metingen ontstaan om pure willekeurige redenen
Meer statistisch probleem.
Poging tot kwantificeren in welke mate de meetinstrumenten tot consistente resultaten leiden.
Begrip validiteit
In hoeverre is het onderzoek vrij van bias
Meer filosofisch probleem
Wat is interne validiteit
Is de causale relatie tussen twee variabelen voldoende aangetoond.
Is er voldoende bewijs dat X veranderingen op Y veroorzaakt
Aan welke drie condities moet worden volstaan bij causale inferentie
- De oorzaak doet zich voor voorafgaand aan het effect (tijdsvolgorde, of temporeel precedent)
- De oorzaak en het gevolg zijn aan elkaar gerelateerd
(covariantie) - Er zijn geen plausibele alternatieve verklaringen voor de geobserveerde covariantie (geen schijnverband)
Wanneer is de causale inferentie intern valide
Wanneer de onderzoeker erin slaagt om de manipulatie zo goed te isoleren dat andere verklaringen of rivaliserende hypothesen worden uitgesloten
Wat is externe validiteit
In hoeverre kunnen onderzoeksresultaten gegeneraliseerd worden naar de doelpopulatie
Noem twee soorten generaliseerbaarheid
1.De mate waarin situaties in het experiment gegeneraliseerd kunnen worden naar real-life situaties: de generaliseerbaarheid tussen situaties–>
Ecologische validiteit
2. De mate waarin de mensen die aan het onderzoek hebben deelgenomen een weergave zijn van de doelpopulatie in het algemeen; de generaliseerbaarheid in het bijzonder
Noem bedreigers van interne validiteit
- Tussentijds extern voorval–> history
- Rijping of groei–> maturation
- Testeffect
- Instrumentatie
- Statistische regressie–> regression to the mean
- Selectie
- Uitval –> experimental mortality
- Interactie tussen bedreigers
- Verspreiding van de ingreep
- Compenserende rivaliditeit
Bedreiger history
Specifieke gebeurtenissen die plaatsvinden tussen de eerste en tweede meting
Bedreiger maturation
Veranderingen die binnen proefpersonen optreden door verloop van tijd
Bedreiger testeffect
De effecten die de voormeting heeft op de uitkomsten van de daaropvolgende testen
Bedreiger instrumentatie
Veranderingen in instrumentaria of beoordelaars die veranderingen in onderzoeksresultaten in gang zetten
Bedreiger regression to the mean
Externe proefpersoonskenmerken bij voormeting die natuurlijk terugzakken/-groeien naar een minder extreem niveau
Bedreiger selectie
De vergeleken condities zijn niet vergelijkbaar door verschillende steekproefkenmerken op voor het onderzoek relevante eigenschappen
Bedreiger experimental mortality
Proefpersonen die niet meer meewerken aan latere metingen in het experiment om redenen die relevant kunnen zijn voor de steekproefkenmerken van het experiment.
Interactie tussen bedreigers
Een combinatie van bedreigers die elkaar versterken
Verspreiding van de ingreep
Informatie/uitleg in de ene conditie wordt ook bekend onder deelnemers in de andere conditie
Compenserende rivaliditeit
De deelnemers in verschillende onderzoekscondities gaan in competentie met deelnemers in de andere condities.
Bekend als John Henry effect; arbeider die in een experiment beter dan een machine ging presteren, omdat hij zich ervan bewust was dat zijn prestaties met die van de machine vergeleken gingen worden.
Noem bedreigers van externe validiteit
- Interactie voormeting en experimentele stimulus
- Niet-representatieve steekproeven
- Reactieve experimentele locatie
Interactie voormeting en experimentele stimulus
De voormeting creëert een situatie die zich buiten het experiment niet voor zou doen. bv de voormeting maakt mensen meer bewust van waarnaar ze worden gevraagd.
Niet-representatieve steekproeven
Selectie van proefpersonen wijkt af van de populatie waar het effect in plaats zou moeten vinden
Reactieve experimentele locatie
De proefleider beïnvloed door aanwezigheid bewust of onbewust de uitkomsten van de studie
Wat is experimenteer bias
Verwachtingen die proefleiders hebben over de resultaten van het experiment hebben soms een aantoonbaar effect op de resultaten.
De proefleider schept een bijzondere omgeving met de eigen aanwezigheid en eigen biases.
Schuurt dicht aan tegen ecologische validiteit, daarom wordt experimenteer bias ook wel als bedreiger van interne validiteit genoemd.
Consensus hierover ontbreekt.
Wat is selectieve selectie
Proefleiders kunnen bewust of onbewust op heel subtiele wijze signalen uitzenden naar proefpersonen die zich daardoor gaan gedragen zoals ze denken dat de proefleider van hun verwacht.
Het is ook mogelijk dat proefleiders op grond van hun ideeën over de uitkomsten van het experiment, bepaalde reacties of gedragingen die daarmee in strijd zijn, niet opmerken of signaleren.
Wat is een blind experiment
Voorkomen dat proefpersonen weten in welke experimentele condities ze zijn ingedeeld
Wat is een dubbelblind experiment
Voorkomen dat proefpersonen weten in welke experimentele condities ze zijn ingedeeld of door te voorkomen dat de proefleider weet in welke condities proefpersonen zijn ingedeeld.