Studietaak 1.3

Question 1

Externe validiteit

Answer 1

Heeft betrekking op de generaliseerbaarheid van de resultaten naar de doelpopulatie (niet de algemene populatie).

Question 2

Interne validiteit

Answer 2

De vraag of het onderzoeksdesign goed genoeg is om conclusies te trekken over causale relaties.

Question 3

Wat zijn de twee soorten generaliseerbaarheid die vallen onder externe validiteit?

Answer 3

1. generaliseerbaarheid van de experimentele situatie naar real-life situaties
2. generaliseerbaarheid van de steekproef naar de doelpopulatie (is de steekproef representatief?)

Question 4

Wat is het verschil tussen rijping en testeffect?

Answer 4

Rijping gaat over de natuurlijke verandering of groei in een bepaalde vaardigheid. Denk bijvoorbeeld aan leesvaardigheid bij jonge kinderen.

Het testeffect gaat over het effect dat de voormeting heeft gehad op de uitkomsten van de daaropvolgende testen. Bijvoorbeeld, hoe vaker je een intelligentietest doet, hoe beter je wordt in die intelligentietest.

Question 5

Wat is het verschil tussen een niet-representatieve steekproef en selectie?

Answer 5

Een niet-representatieve steekproef houdt in dat de deelnemers in de gehele steekproef op allerlei relevante kenmerken geen goede afspiegeling zijn van de doelpopulatie.

Selectie heeft betrekking op de verdeling van de deelnemers binnen de steekproef tussen de verschillende condities. De vraag hierbij is of deze verdeling op basis van allerlei achtergrondkenmerken evenwichtig is.

Question 6

Wat is het doel van een manipulatiecheck?

Answer 6

Een manipulatiecheck gaat over de vraag of de manipulatie is geslaagd. In andere woorden: heeft de manipulatie het gewenste effect gehad, ongeacht het effect dat deze heeft gehad op de afhankelijke variabele waar de hypothese over gaat?

Bijvoorbeeld, als je manipulatie gaat over een bepaalde lesmethode, dan zou een manipulatiecheck gaan over de vraag of de leerkrachten de lesmethode ook daadwerkelijk hebben toegepast. Dit kan bijvoorbeeld door middel van onafhankelijke observaties.

Question 6

In hoeverre is de manipulatiecheck een vraag van validiteit?

Answer 6

De manipulatiecheck is een manier om te verifiëren of de manipulatie valide is. Als de manipulatie niet valide is – niet geslaagd is – dan kun je vraagtekens plaatsen bij de interne validiteit van het experiment. Je kunt er dan ook niet meer de causale conclusies aan verbinden die je op basis van het experiment had willen trekken.

Question 6

Met welke analyses kun je een manipulatiecheck uitvoeren?

Answer 6

Dit hangt af van het aantal onafhankelijke variabelen en condities. Een manipulatie met twee condities kun je middels een (onafhankelijke) t-toets toetsen. Een manipulatie met meer dan twee condities toest je middels een one-way ANOVA.

Bij een factorieel design (een combinatie van meerdere factoren), waarbij de variabele van de manipulatiecheck ook daadwerkelijk gaat over de succesvolle manipulatie van de combinatie van factoren, is een factoriële ANOVA passend.

Question 7

Wat zijn drie bedreigingen voor de externe validiteit?

Answer 7

1. Interactie voormeting en de experimentele stimulus: interactie-effect.
2. Niet-representatieve steekproef: de selectie van proefpersonen wijkt af van de populatie waar het effect plaats zou moeten vinden.
3. Reactieve experimentele locatie.

Question 8

Wat zijn de drie voorwaarden voor causaliteit?

Answer 8

1. De oorzaak gaat vooraf aan het effect (temporeel precedent).
2. Er bestaat een relatie tussen de oorzaak en het gevolg (covariantie).
3. Er zijn geen plausibele verklaringen voor de geobserveerde covariantie (geen schijnverband).

Question 9

Wat is het verschil tussen externe validiteit en interne validiteit?

Answer 9

Externe validiteit gaat over de generaliseerbaarheid van de resultaten naar de doelpopulatie.

Interne validiteit gaat over de vraag of je de causale conclusies die je op basis van een experiment wilt trekken, ook daadwerkelijk kunt trekken.

Question 10

Wat zijn de 9 bedreigingen voor de interne validiteit?

Answer 10

1. Tussentijds extern voorval (history).
   -> Gebeurtenissen die plaatsvinden tussen de eerste en tweede meting.
2. Rijping of groei (maturation).
   -> veranderingen binnen de proefpersoon.
3. Testeffect
   -> De effecten die de voormeting heeft op de andere testen.
4. Instrumentatie.
   -> Veranderingen in de meetinstrumenten.
5. Regressie naar het gemiddelde (statistische regressie).
   -> Extreme proefpersoon kenmerken bij voormeting die natuurlijk terugzakken naar een minder extreem niveau.
6. Selectie bias.
   -> Niet vergelijkbaar door verschillende steekproefkenmerken.
7. Uitval
8. Verspreiding van de manipulatie.
9. Compenserende rivaliteit.