1.2 Bedreigers van validiteit Flashcards
Wanneer spreken we van bias?
Als er systematische redenen zijn waarom metingen van elkaar afwijken.
Als men spreekt over betrouwbaarheid dan vraagt men zich af in hoeverre metingen vrij zijn van…..
Als men spreekt over validiteit dan vraagt men zich af in hoeverre het onderzoek vrij is van….
- Error
- Bias
Wat is de vraag bij interne validiteit?
Of de causale relatie tussen twee variabelen voldoende is aangetoond.
Een causale inferentie kan alleen bestaan als aan welke 3 condities is voldaan?
- De oorzaak doet zich voor voorafgaand aan het effect (tijdsvolgorde, of temporeel precedent).
- De oorzaak en het gevolg zijn aan elkaar gerelateerd (covariatie).
- Er zijn geen plausibele alternatieve verklaringen voor de geobserveerde covariatie (geen schijnverband).
Wanneer een onderzoeker erin slaagt om de manipulatie zo goed te isoleren dat andere verklaringen of rivaliserende hypothesen worden uitgesloten dan wordt gesteld dat de causale inferentie …
intern valide is.
Externe validiteit betreft welke vraag?
In hoeverre resultaten uit onderzoek gegeneraliseerd kunnen worden naar de doelpopulatie.
Welke 2 soorten van generaliseerbaarheid betreft externe validiteit?
- De generaliseerbaarheid tussen situaties:
de mate waarin situaties in het experiment gegeneraliseerd kunnen worden naar real-life situaties. - De generaliseerbaarheid tussen mensen: de mate waarin de mensen die aan het onderzoek hebben deelgenomen een weergave zijn van de doelpopulatie in het algemeen.
Hoe wordt de externe validiteit als het gaat om generaliseerbaarheid tussen situaties ook wel genoemd?
Ecologische validiteit
Als het gaat om de externe validiteit wat betreft generaliseerbaarheid tussen mensen, wat moet dan worden benadrukt?
Generaliseren naar de populatie betekent niet dat er generaliseerd moet kunnen worden naar andere populaties of de mensheid in het algemeen.
Wat is een kanttekening bij ecologische validiteit?
Ecologische validiteit kan wel eens verkeerd begrepen worden omdat deze te letterlijk wordt geïnterpreteerd. Experimenteel onderzoek is altijd op een of andere manier onrealistisch. Ecologische validiteit is niet synoniem aan realisme. Er zijn meerdere wijzen waarop een experiment ecologisch valide kan zijn.
Welke 10 bedreigers van de interne validiteit zijn er?
- Tussentijds extern voorval (history)
- Rijping of groei (maturation)
- Testeffect
- Instrumentatie
- Statistische regressie (regression to the mean)
- Selectie
- Uitval (experiemntal mortality)
- Interactie tussen bedreigers
- Verspreiding van de ingreep
- Compenserende rivaliteit
[Bedreigers interne validiteit]
Wat houdt de bedreiger ‘tussentijds extern voorval (history)’ in?
Specifieke gebeurtenissen die plaatsvinden tussen de eerste en de tweede meting
[Bedreigers interne validiteit]
Wat houdt de bedreiger ‘rijping of groei (maturation)’ in?
Veranderingen die binnen proefpersonen optreden door het verloop van tijd.
Als er in het experiment geen mogelijkheid is ingebouwd om te controleren of waargenomen veranderingen toe te schrijven zijn aan natuurlijke groei, dan is de interne validiteit bedreigd.
[Bedreigers interne validiteit]
Welke 2 vormen van ‘rijping of groei (maturation)’ zijn er?
- Kortetermijnsrijping, bijv. concentratieverlies
- Langetermijnsrijping, bijv. biologische veranderingen.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘testeffect’?
De effecten die de voormeting heeft op de uitkomsten van de daaropvolgende testen.
[Bedreigers interne validiteit]
Wat is een mogelijke oplossing voor het ‘testeffect’? 2x
- Geen voormeting
- Groep opsplitsen: wél en geen voormeting.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘instrumentation’?
Veranderingen in meetinstrumentaria of beoordelaars die veranderingen in onderzoeksresultaten in gang zetten.
[Bedreigers interne validiteit]
Wat is een mogelijke oplossing voor ‘instrumentation’?
Door het toepassen van een retrospectieve voormeting. In plaats van een echte voormeting worden proefpersonen gevraagd naar hun begrip of vaardigheid voorafgaand aan de treatment, na afloop van het onderzoek. Bijvoorbeeld in een onderzoek naar de effecten van een professionele ontwikkelingsactiviteit kunnen proefpersonen na de workshop gevraagd worden hoe vaardig zij waren in de vaardigheid die in de workshop aan bod kwam voordat zij de workshop in gingen. Het betreft een retrospectieve voormeting.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘statistische regreessie (regression to the mean’?
Eextreme proefpersoonkenmerken bij voormeting die natuurlijk terugzakken/-groeien naar een minder extreem niveau. De daling die wordt waargenomen is niet toe te schrijven aan de experimentele manipulatie, maar de regressie die plaatsvindt na een initiële extreme meting.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘selectie’?
De vergeleken condities zijn niet vergelijkbaar door verschillende steekproefkenmerken op voor het onderzoek relevantie eigenschappen.
Met vertekeningen door selectie wordt bedoeld dat er voorafgaand aan het onderzoek verschillen tussen vergeleken groepen kunnen zijn die interacteren met de onafhankelijke variabele en daardoor verantwoordelijk kunnen zijn voor verschillen in de afhankelijke variabele. Hoewel in het de praktijk niet mogelijk is om meerdere groepen te vinden die exact gelijk zijn in termen van proefpersoonskenmerken, kunnen er problemen ontstaan wanneer groepen structureel gaan afwijken.
[Bedreigers interne validiteit]
Wat is een oplossing voor de bedreiger ‘selectie’?
Randomisatie
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘uitval’?
Proefpersonen die niet meer meewerken aan latere metingen in het experiment om redenen die relevant kunnen zijn voor de steekproefkenmerken van het experiment
[Bedreigers interne validiteit]
Wanneer is er sprake van validiteitsdreiging door uitval?
Wanneer conclusies worden getrokken op basis van de ‘overlevers’ in een dataset.
Bijv. zodra de uitval toe te schrijven is aan een systematisch kenmerk van het onderzoek zelf, het toedienen van de treatment, of de aard van de meetinstrumenten.
[Bedreigers interne validiteit]
Wat betekent de bedreiger ‘interactie tussen bedreigers’?
Een combinatie van bedreigers die elkaar versterken.