1.2 Bedreigers van validiteit

Question 1

Wanneer spreken we van bias?

Answer 1

Als er systematische redenen zijn waarom metingen van elkaar afwijken.

Question 2

Als men spreekt over betrouwbaarheid dan vraagt men zich af in hoeverre metingen vrij zijn van…..

Als men spreekt over validiteit dan vraagt men zich af in hoeverre het onderzoek vrij is van….

Answer 2

1. Error
2. Bias

Question 3

Wat is de vraag bij interne validiteit?

Answer 3

Of de causale relatie tussen twee variabelen voldoende is aangetoond.

Question 4

Een causale inferentie kan alleen bestaan als aan welke 3 condities is voldaan?

Answer 4

1. De oorzaak doet zich voor voorafgaand aan het effect (tijdsvolgorde, of temporeel precedent).
2. De oorzaak en het gevolg zijn aan elkaar gerelateerd (covariatie).
3. Er zijn geen plausibele alternatieve verklaringen voor de geobserveerde covariatie (geen schijnverband).

Question 5

Wanneer een onderzoeker erin slaagt om de manipulatie zo goed te isoleren dat andere verklaringen of rivaliserende hypothesen worden uitgesloten dan wordt gesteld dat de causale inferentie …

Answer 5

intern valide is.

Question 6

Externe validiteit betreft welke vraag?

Answer 6

In hoeverre resultaten uit onderzoek gegeneraliseerd kunnen worden naar de doelpopulatie.

Question 7

Welke 2 soorten van generaliseerbaarheid betreft externe validiteit?

Answer 7

1. De generaliseerbaarheid tussen situaties:
   de mate waarin situaties in het experiment gegeneraliseerd kunnen worden naar real-life situaties.
2. De generaliseerbaarheid tussen mensen: de mate waarin de mensen die aan het onderzoek hebben deelgenomen een weergave zijn van de doelpopulatie in het algemeen.

Question 8

Hoe wordt de externe validiteit als het gaat om generaliseerbaarheid tussen situaties ook wel genoemd?

Answer 8

Ecologische validiteit

Question 9

Als het gaat om de externe validiteit wat betreft generaliseerbaarheid tussen mensen, wat moet dan worden benadrukt?

Answer 9

Generaliseren naar de populatie betekent niet dat er generaliseerd moet kunnen worden naar andere populaties of de mensheid in het algemeen.

Question 10

Wat is een kanttekening bij ecologische validiteit?

Answer 10

Ecologische validiteit kan wel eens verkeerd begrepen worden omdat deze te letterlijk wordt geïnterpreteerd. Experimenteel onderzoek is altijd op een of andere manier onrealistisch. Ecologische validiteit is niet synoniem aan realisme. Er zijn meerdere wijzen waarop een experiment ecologisch valide kan zijn.

Question 11

Welke 10 bedreigers van de interne validiteit zijn er?

Answer 11

1. Tussentijds extern voorval (history)
2. Rijping of groei (maturation)
3. Testeffect
4. Instrumentatie
5. Statistische regressie (regression to the mean)
6. Selectie
7. Uitval (experiemntal mortality)
8. Interactie tussen bedreigers
9. Verspreiding van de ingreep
10. Compenserende rivaliteit

Question 12

[Bedreigers interne validiteit]

Wat houdt de bedreiger ‘tussentijds extern voorval (history)’ in?

Answer 12

Specifieke gebeurtenissen die plaatsvinden tussen de eerste en de tweede meting

Question 13

[Bedreigers interne validiteit]

Wat houdt de bedreiger ‘rijping of groei (maturation)’ in?

Answer 13

Veranderingen die binnen proefpersonen optreden door het verloop van tijd.

Als er in het experiment geen mogelijkheid is ingebouwd om te controleren of waargenomen veranderingen toe te schrijven zijn aan natuurlijke groei, dan is de interne validiteit bedreigd.

Question 14

[Bedreigers interne validiteit]

Welke 2 vormen van ‘rijping of groei (maturation)’ zijn er?

Answer 14

1. Kortetermijnsrijping, bijv. concentratieverlies
2. Langetermijnsrijping, bijv. biologische veranderingen.

Question 15

[Bedreigers interne validiteit]

Wat betekent de bedreiger ‘testeffect’?

Answer 15

De effecten die de voormeting heeft op de uitkomsten van de daaropvolgende testen.

Question 16

[Bedreigers interne validiteit]

Wat is een mogelijke oplossing voor het ‘testeffect’? 2x

Answer 16

1. Geen voormeting
2. Groep opsplitsen: wél en geen voormeting.

Question 17

[Bedreigers interne validiteit]

Wat betekent de bedreiger ‘instrumentation’?

Answer 17

Veranderingen in meetinstrumentaria of beoordelaars die veranderingen in onderzoeksresultaten in gang zetten.

Question 18

[Bedreigers interne validiteit]

Wat is een mogelijke oplossing voor ‘instrumentation’?

Answer 18

Door het toepassen van een retrospectieve voormeting. In plaats van een echte voormeting worden proefpersonen gevraagd naar hun begrip of vaardigheid voorafgaand aan de treatment, na afloop van het onderzoek. Bijvoorbeeld in een onderzoek naar de effecten van een professionele ontwikkelingsactiviteit kunnen proefpersonen na de workshop gevraagd worden hoe vaardig zij waren in de vaardigheid die in de workshop aan bod kwam voordat zij de workshop in gingen. Het betreft een retrospectieve voormeting.

Question 19

[Bedreigers interne validiteit]

Wat betekent de bedreiger ‘statistische regreessie (regression to the mean’?

Answer 19

Eextreme proefpersoonkenmerken bij voormeting die natuurlijk terugzakken/-groeien naar een minder extreem niveau. De daling die wordt waargenomen is niet toe te schrijven aan de experimentele manipulatie, maar de regressie die plaatsvindt na een initiële extreme meting.

Question 20

[Bedreigers interne validiteit]

Wat betekent de bedreiger ‘selectie’?

Answer 20

De vergeleken condities zijn niet vergelijkbaar door verschillende steekproefkenmerken op voor het onderzoek relevantie eigenschappen.

Met vertekeningen door selectie wordt bedoeld dat er voorafgaand aan het onderzoek verschillen tussen vergeleken groepen kunnen zijn die interacteren met de onafhankelijke variabele en daardoor verantwoordelijk kunnen zijn voor verschillen in de afhankelijke variabele. Hoewel in het de praktijk niet mogelijk is om meerdere groepen te vinden die exact gelijk zijn in termen van proefpersoonskenmerken, kunnen er problemen ontstaan wanneer groepen structureel gaan afwijken.

Question 21

[Bedreigers interne validiteit]

Wat is een oplossing voor de bedreiger ‘selectie’?

Answer 21

Randomisatie

Question 22

[Bedreigers interne validiteit]

Wat betekent de bedreiger ‘uitval’?

Answer 22

Proefpersonen die niet meer meewerken aan latere metingen in het experiment om redenen die relevant kunnen zijn voor de steekproefkenmerken van het experiment

Question 23

[Bedreigers interne validiteit]

Wanneer is er sprake van validiteitsdreiging door uitval?

Answer 23

Wanneer conclusies worden getrokken op basis van de ‘overlevers’ in een dataset.

Bijv. zodra de uitval toe te schrijven is aan een systematisch kenmerk van het onderzoek zelf, het toedienen van de treatment, of de aard van de meetinstrumenten.

Question 24

[Bedreigers interne validiteit]

Wat betekent de bedreiger ‘interactie tussen bedreigers’?

Answer 24

Een combinatie van bedreigers die elkaar versterken.

Question 25

[Bedreigers interne validiteit]

Wat betekent de bedreiger ‘verspreiding van de ingreep’?

Answer 25

Informatie/uitleg in de ene conditie wordt ook bekend onder deelnemers in de andere conditie

Question 26

[Bedreigers interne validiteit]

Wat betekent de bedreiger ‘compenserende rivaliteit’?

Hoe staat dit ook wel bekend?

Answer 26

De deelnemers in verschillende onderzoekscondities gaan in competitie met deelnemers in de andere condities.

Ook bekend als het John Henry-effect (John Henry was een arbeider die beter dan een machine ging presteren in een experiment, omdat hij zich ervan bewust was dat zijn prestaties met die van de machine vergeleken gingen worden).

Question 27

Wat zijn 3 bedreigers van externe validiteit?

Answer 27

1. Interactie voormeting en experimentele stimulus
2. Niet-representatieve steekproeven
3. Reactieve experimentele locatie

Question 28

[Bedreigers externe validiteit]

Wat houdt de bedreiger ‘interactie voormeting en experimentele stimulus’ in?

Answer 28

De voormeting creëert een situatie die zich buiten het experiment niet voor zou doen; bijvoorbeeld de voormeting maakt mensen meer bewust van waarnaar ze worden gevraagd.

Question 29

[Bedreigers externe validiteit]

Bij de bedreiger ‘interactie voormeting en experimentele stimulus’ is er sprake van reactiviteit. Wat houdt dit in?

Answer 29

Het onderzoek is zelf van invloed op hetgeen wordt onderzocht.

Question 30

[Bedreigers externe validiteit]

Bij de bedreiger ‘interactie voormeting en experimentele stimulus’ is er sprake van reactiviteit.

Hoe kan dit worden voorkomen? 3x

Answer 30

1. Voormeting weglaten
2. Kiezen voor een retrospectieve voormeting
3. Ervoor kiezen om proefpersonen te misleiden: als proefpersonen niet weten dat ze worden onderzocht, of zich niet realiseren dat ze een experimentele stimulus hebben ontvangen, dan kunnen zij zich ook niet bewust zijn van het bestaan van een controlegroep.

Question 31

[Bedreigers externe validiteit]

Wat houdt de bedreiger ‘niet-representatieve steekproven’ in?

Answer 31

Selectie van proefpersonen wijkt af van de populatie waar het effect in plaats zou moeten vinden.

Question 32

[Bedreigers externe validiteit]

Wat houdt de bedreiger ‘reactieve experimentele locatie’ in?

Answer 32

De proefleider, of kennis van de experimentele toewijzing maakt dat proefpersonen zich anders gedragen, vaak in lijn met wat proefpersonen denken wat van hen verwacht wordt.

Question 33

[Bedreigers externe validiteit]

Experimenter bias (valt onder ‘reactieve experimentele locatie’) is lastig te kwalificeren als een bedreiger van interne of externe validiteit. Het hoort eigenlijk een beetje thuis in beide lijsten van bedreigingen. De redenen om het bij externe validiteit te plaatsen zijn bijzonder subtiel verschillend van de redenen om het bij de interne validiteit te plaatsen.

Waarom wordt het toch als een bedreiging van externe validiteit gezien?

Answer 33

Omdat de aanwezige proefleider een bijzondere omgeving schept met de eigen aanwezigheid en eigen biases. Dezelfde groep personen met dezelfde experimentele manipulaties zouden zich bij een andere proefleider anders gedragen. Omdat dit heel dicht aanschuurt tegen het concept van de ecologische validiteit wordt experimenter bias ingedeeld bij de externe validiteitsbedreigers. Consensus hierover ontbreekt. In sommige boeken staat het alleen bij de interne validiteit, en in een klein aantal andere boeken staat experimenter bias in beide lijsten.

Question 34

[Bedreigers externe validiteit]

Hoe kan de bedreiger ‘reactieve experimentele locatie’ worden voorkomen? 2x

Answer 34

1. Blind experiment:
   Voorkomen dat proefpersonen weten in welke experimentele conditie zij zitten (zoals het niet weten of men een placebo ontvangt of niet)
2. Dubbelblind experiment:
   Voorkomen dat de proefleider weet in welke condities proefpersonen zijn ingedeeld.

Question 35

Nuland (2011) deed in haar proefschrift onder andere onderzoek naar het effect van opdrachten waar dezelfde handeling steeds herhaald moet worden (repetitive tasks) op de intrinsieke motivatie, en dan het ervaren plezier in de uitvoering van de taak in het bijzonder.

Geef beknopt, in eigen woorden, een samenvatting van het experiment. Zorg dat in de samenvatting ook antwoord wordt gegeven op de volgende drie vragen (1) Waar werd het experiment uitgevoerd? (2) Waren de leerlingen zich ervan bewust dat ze deelnamen aan een experiment van de Universiteit Leiden? (3) Hoeveel condities heeft het experiment?

Answer 35

Leerlingen wisten van tevoren dat ze gingen deelnemen aan een onderzoek van universiteit Leiden en hebben hiertoe consent gegeven. Het onderzoek werd in hun normale klas op school uitgevoerd in aanwezigheid van de docent en de onderzoeker. De taak die de leerlingen kregen was een saaie taak. Deze taak leek op een normale opdracht zoals deze op school gegeven had kunnen worden, maar was verder onbekend voor de leerlingen. Leerlingen deden eerst een experiment waarbij ze de saaie taak deden. Een half jaar later kregen ze te horen dat ze opnieuw het saaie-takenexperiment gingen doen. Er was geen controlegroep; alle leerlingen kregen de saaie taak in Experiment 1 en Experiment 2 met dezelfde instructies.

Question 36

e onderzoekers concludeerden dat de repititive tasks niet alleen niet motiverend waren, maar dat ze zelfs demotiverend waren! Zelfs als aan de randvoorwaarden van motivatie was voldaan daalde de motivatie volgens de onderzoekers.

Welke validiteitsbedreiger kunnen de onderzoekers over het hoofd hebben gezien, leg in eigen woorden uit waarom? Wat zou dan een alternatieve verklaring van het verrassende resultaat van het onderzoek kunnen zijn?

Answer 36

In dit geval is de meest waarschijnlijke validiteitsbedreiger ‘statistische regressie’. Het is maar de vraag of de motivatie echt gedaald is, of dat de eerste motivatiemeting onnatuurlijk hoog was. De leerlingen wisten van tevoren dat ze mee gingen doen aan een experiment van een universiteit. Het is mogelijk dat zij uitkeken naar een bijzondere les. De motivatie die voorafgaand aan deze test werd gemeten, kan onnatuurlijk hoog zijn geweest vanwege deze verwachting. In plaats van de leuke afleiding kregen de leerlingen een les die was als alle andere lessen, maar dan saaier gemaakt door de saaie opdracht. De eerste meting kan daarom extreem hoog zijn uitgevallen en de meting een half jaar later kan dan een meer reële meting zijn geweest. Het kan verleidelijk zijn om ‘rijping’ als validiteitsbedreiger te noemen. Een half jaar is voor een schooljaar relatief lang, en het is niet duidelijk in hoeverre de leerlingen tegen die tijd wel weer klaar waren met school en toe waren aan vakantie. Door gebrek aan een controlegroep, bijvoorbeeld een groep waar leerlingen niet autonoom mochten zijn (een van de randvoorwaarden) is het lastig vast te stellen of rijping heeft opgetreden. Blijkbaar waren de randvoorwaarden door leerlingen nog wel als aanwezig ervaren, maar was hun motivatie toch nog gedaald. De vraag die dan open ligt, is in hoeverre de perceptie van die randvoorwaarden sterker weegt dan het feit dat alle leerlingen feitelijk autonoom waren, of ze dat nu echt zo beleefd hadden of niet. Zonder een groep waar autonomie afwezig was, is hier helaas geen antwoord op te geven. Dit is meer een gebrek aan het experimentele design (zie thema 1.3) dan dat het een specifieke validiteitsbedreiger is.