College 9 + 10 Flashcards

Experimenteel onderzoek

1
Q

Wat is een experiment?

A
  • Onderzoek waarbij we de onafhankelijke variabele manipuleren (gecontroleerd laten variëren)
  • Het effect ervan bekijken op de afhankelijke variabele
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

waarom gebruiken we experimenten?

A
  • Bewijzen van causaliteit
    *
    Voorspellen wat er gaat gebeuren als…
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Wat zijn de drie criteria voor causaliteit?

A

3 criteria voor causaliteit:
- Associatie
- Volgorde
- Uitsluiten van alternatieve verklaringen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Welke 3 fundamentele ethische principes stelt het Belmont Report (1974)

A
  • Respect voor personen (informed consent)
  • Weldadigheid (geen pijn, maximaliseren van voordelen, minimaliseren van nadelen)
  • Rechtvaardigheid (de voor- en nadelen zijn eerlijk verdeeld)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Wat is interne validiteit?

A

Interne validiteit: de Mate waarin een onderzoek gedegen bewijs levert van een causaal verband.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Wat is externe validiteit?

A

De mate van generaliseerbaarheid

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Wat zorgt voor een hoge externe validiteit?

A

Er sprake is van willekeurige selectie van participanten
→ Lastig te bewerkstelligen in de praktijk

Replicatie van resultaten bij herhaalde uitvoering van experimenten over hetzelfde onderwerp maar variatie in context, participanten, etc.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

3 klassiek experimentele designs

A

pre-experimenteel
zuiver experimenteel
quasi experimenteel

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

3 kritieken op de selectie van deelnemers van experimenteel onderzoek

A
  1. WEIRD (Western, Educated, Industrialized, Rich, Democratic)
  2. Vaak zijn de proefpersonen universitaire studenten
  3. Er wordt vaak gebruik gemaakt van een gemakssteekproef i.v.m. ethische bezwaren.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

5 criteria interne validiteit

A

Criteria:
a) Willekeurige toewijzing aan groepen
b) Manipulatie van de onafhankelijke variabele
c) Kwalitatief goede meting van de afhankelijke variabele
d) Ten minste één controlegroep
e) Gelijke omstandigheden voor alle groepen(met uitzondering van de manipulatie)
→dienen allemaal om alternatieve verklaring uit te sluiten

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Op welke twee manieren kan je zorgen voor twee vergelijkbare (representatieve) groepen?

A

Willekeurige toewijzing en matching

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Waarvoor zorgt manipulatie?

A

Manipulatie zorgt voor een manipulatie in de onafhankelijke variabele. Oftewel: Door manipulatie kan je het verschil meten tussen de groep die wel ‘behandeld’ is en de andere groep.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Voordeel en nadelen laboratorium context

A

Voordelen:
* Controle over alle aspecten gerelateerd een interne validiteit (e.g., manipulatie, gelijke omstandigheden)

Nadelen:
* Onrealistische context
* Beperkte steekproefgrootte
*
Bereikbaar een bereidwillige populatie (vaak studenten → externe validiteit?)
*Relatief hoge kosten (bijv. locatie)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Voor- en nadelen vragenlijst

A
  • Voordelen:
  • Kostenbesparend
  • Willekeurige toewijzing mogelijk
  • Nadelen:
  • Beperkt tot schrift, fictieve verhaaltjes (vignettes) of eventueel een plaatje of korte video (online survey)
  • Effectiviteit afhankelijk van eigenschappen participanten (bijv. aandacht, leesvaardigheid, inlevingsvermogen)
  • Intentie = werkelijk gedrag?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Voor- en nadelen natuurlijke omgeving

A

Voordelen:
* Realistische context
* Onopvallende observatie mogelijk (beperken van reactief gedrag)
* Heterogene groep participanten

Nadelen:
* Beperkte controle over uitvoering experiment
* Willekeurige toewijzing?
* Uitvoeringmanipulatie?
* Gelijke omstandigheden?
* Vaak afhankelijk van anderen bij uitvoering

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wat is het Reactive measurement effect?

A

Verandering van gedrag niet als gevolg van stimulus, maar op de gehele gebeurtenis die gaande is (ongeacht of men weet dat er een experiment gaande is)
* Voorbeeld: Hawthorne effect

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Wat is een debriefing?

A

Achteraf evalueren met participanten

Debriefing
* Ethische verantwoordelijkheid als onderzoeker
* Wanneer werkelijke doel voor participanten onbekend, dus ook in geval van cover story
* Staat vervolgens ook toe om deelname experiment te evalueren

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Wat is een oplossing voor het reactive measurment effect?

A

Teondervangendoor:
* Verborgen experiment (mogelijk? ethisch?)
*
Placebo-groep opnemen in experimenteel design

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

wat is Evaluation apprehension?

A

= participant is zich ervan bewust dat hij/zij geëvalueerd zal worden door de ‘onderzoeker’
→Sociaal wenselijk gedrag
→Bepaalde rol aannemen (superheld/slechterik)

17
Q

Wat zijn demand characteristics?

A

Veranderingvan gedragnietalsgevolgvan stimulus, maar alsgevolgvan idee van participant over wat de verwachte/gewensteuitkomstvan het experiment
*
Probleem: wat alsditmeerinvloedheeftdan eigenlijkestimulus?
*
Mogelijkeoplossingen:
*
Gebruikeen‘cover story’ waarineen‘valse hypothese’ wordtgegeven
*
De afhankelijkevariabelein eenandereomgevingmetendan waarinde behandelingplaatsvond

18
Q

Welke 2 bedreigingen voor interen validiteit zijn er gerelateerd aan tijd?

A

History en maturatie?

18
Q

Wat is history?

A

gebeurtenissen in de omgeving van respondenten in de loop van het experiment

  • Historische gebeurtenissen die grote impact hebbenop sociaal of politiekvlak (bijv. natuurramp, 9/11, landelijkprotest, etc.)
  • Gebeurtenis op kleine schaal (bijv. iemand valt flauw tijdens de looptijd van het experiment)
18
Q

Wat is maturatie?

A

Maturatie= fysieke en/of psychische veranderingen in een persoon in de loop van het experiment
* Langere periode (bijv. verandering in gezondheid, mindset, kennis)
* Korte termijn(bijv. vermoeidheid, honger, dorst, emoties)

19
Q

Welke 3 bedreigingen voor interne validiteit zijn er gerelateerd aan testen/meten

A

Testing effect, instrumentatie en statistische regressie

20
Q

Wat zijn testing effecten?

A

Testing effecten = verandering in gedrag door reacties op het proces van meten
* Soortgelijk aan reactief gedrag, maar nu specifiek gelinkt aan ervaring met pretest
* Bijv. leereffect pretest-posttest, sterkere bewustwording doel onderzoek

21
Q

Wat is instrumentatie?

A

Instrumentatie = onbedoelde verandering in aspecten van het meetinstrument en/of de -procedure
* Sterke bedreiging in het geval van observaties
* Bijv. observant meer bedreven bij posttest, andere observant bij posttest, beperkingen dataverzameling posttest

21
Q

Wat is statistische regressie?

A

Statistische regressie = de tendens voor participanten die extreem scoorden om bij een volgende meting minder extreem de scoren (= regressie naar het gemiddelde)

  • Bijv. voor studenten die toevallig alle gegokte antwoorden op een tentamen goed dan wel fout hebben gegokt, is de kans klein dat dit toeval bij de herkansing weer optreedt. Ze zullen dus minder extreem scoren dan bij de eerste kans.
    →Dit is geen natuurwet, maar een statistische tendens!
22
Q

Wat zijn 2 bedreigingen voor interne validiteit gerelateerd aan participanten?

A

Selectie en Attritie

23
Q

Wat is selectie?

A

Selectie = systematische verschillen in de samenstelling van de experimentele vs controlegroep(en)
* Sterke bedreiging in geval van veldexperimenten waarbij willekeurige toewijzing niet mogelijk is

24
Q

Wat is Attritie?

A

Attritie = uitval van respondenten in de loop van het onderzoek

25
Q

Wat zijn de 4 interacties tussen bedreigingen?

A

testing - behandeling
Behandeling - attritie
Selectie - attritie
selectie - maturatie

26
Q

Waarin verschillen de drie experimentele designs pre-experimenteel, zuiver experimenteel en quasi experimenteel?

A

Drie typen designs die verschillen in de mate waarin ze ons in staat stellen uitspraken te doen over causale verbanden
M.a.w. ze verschillen in de mate waarin ze toestaan alternatieve verklaringen uit te sluiten

27
Q

Wat is kenmerkend aan pre-experimentele designs? En welke 3 soorten zijn er?

A

Pre-experimentele designs sluiten alternatieve verklaringen niet uit
→Betekenisvolle interpretatie m.b.t. causale relaties niet mogelijk
In pre-experimentele designs ontbreekt het aan een of meer van de eigenschappen van zuivere experimentele designs
Typen:
- One-shot case study
- One-group pre-test–post-test design
- Static group comparison

28
Q

Wat is een one-shot case study?

A

Het meest simplistische experimentele design

Stel: Een hardloopgroep (N=30) krijgt nieuwe hardloopschoenen en loopt daarmee de 5km in gemiddeld 18 minuten. Het team veronderstelt dat de nieuwe hardloopschoenen de verklaring zijn voor dit resultaat op de 5km.
* Bedreigingen voor interne validiteit?
➢ Wel: History, Maturatie, Attritie
➢ Niet: Testing, Statistische regressie, Instrumentatie

29
Q

Wat is een one-group pre-test–post-test design

A

Toevoegen van een voormeting
Stel: Een hardloopgroep (N=30) doet normaal gesproken gemiddeld 19 minuten over de 5km. Met gebruik van nieuwe hardloopschoenen doet het team gemiddeld18 minuten over de 5km. Het team veronderstelt dat de nieuwe hardloopschoenen de verklaring zijn voor dit resultaat op de 5km.
Bedreigingen voor interne validiteit?
- Wel: History, Maturatie, Testing, Statistische regressie, Instrumentatie
- Niet: Attritie

30
Q

Waarvoor staan de letters R
E
C
O
X

in een tabel van een experimenteel design?

A

R = Randomisatie
E = Experimentele groep
C = Controlegroep
O = Observatie (meting)
X = Behandeling

31
Q

Wat is een static group comparisson?

A

Eindelijk een controlegroep!
Maar, helaas niet erg vergelijkbaar…

Enkel 1 groep behandeling en posttest. Dus veel bedreigingen voor interne validiteit.

Bedreigingen voor interne validiteit?
- Wel: Selectie, Attritie, SelectieAttritie, SelectieMaturatie(want geen randomisatie en/of pretest)
- Niet: Testing, Instrumentatie, Statistische regressie

32
Q

Wat zijn zuivere experimentele designs?

A

Zuivere experimentele designs sluiten veel alternatieve verklaringen uit
→ Betekenisvolle interpretatie m.b.t. causale relaties wel mogelijk
Verschillen t.o.v. pre-experimentele designs: Altijd twee of meer groepen (i.e., E+C)
Altijd willekeurige toewijzing aan groepen

33
Q

Welke drie zuivere experimentele designs zijn er?

A

1) Pre-test–post-test control group design
2) Post-test-only control group Design
3) Solomon four-group design

34
Q

Hoe ziet het Pre-test–post-test control group design eruit?

A

twee groepen met pre- en posttest. 1 groep behandeling. Random toewijzing.

  • Wat verklaart het verschil tussen beide groepen op de pre-test?
  • Waarom geen bedreigingen van hoofdeffecten?
  • Potentiële interactie-effecten tussen bedreigingen? Ja. Testing*Behandeling effect. Misschien reageren de participanten alleen op de behandelingen omdat ze een pretest hebben gehad, zijn ze daarom extra alert op de behandeling.
35
Q

Wat is een post-test only control group design?

A

Hierbij laat je de pre-test weg, dat zou ook niet nodig zijn als de groepen immers toch gelijk zijn door randomisatie. Daardoor GEEN testing-behandeling effect. Nieuw probleem: Behandeling - attritie.

36
Q

Welke drie quasi experimentele designs zijn er?

A

1) Separate-sample pretest-posttest design
2) Nonequivalent control group design
3) Interrupted time series design

36
Q

Wat is het Solomoun four group design?

A

Combi van de laatste 2 designs. 4 groepen, random toewijzing. 2 groepen pre-test-post-test. andere 2 groepen post-test only.

In dit design zijn alle potentiële bedreigingen voor interne validiteit ondervangen

37
Q

Wat zijn quasi experimentele designs?

A

Wettelijke, ethische en praktische omstandigheden maken het uitvoeren van zuivere experimentele designs soms onmogelijk
- Willekeurige selectie en–toewijzing
- Belasting op participanten
- Oneerlijke behandeling

Quasi-experimentele designs bieden oplossingen voor deze problemen met zo goed mogelijk behoud van controle over interne validiteit

38
Q

Wat is de seperate-sample pretest-posttest design

A

Random toewijzing, beide groepen behandeling. 1 groep pretest en de andere groep posttest.

39
Q

Wat is een non-equivalent control group design?

Welke bedreigingen kunnen we hierbij uitsluiten?

Selectie? History? Test-Behandeling?

A

Geen random toewijzing, beide pretest en posttest, maar 1 groep behandeling.

  • Selectie? – Ja, want pretest aanwezig
  • History en maturatie? – Alleen mits groepen zo gekozen worden dat ze veel op elkaar lijken
  • Testing*behanding? – Nee want geen vergelijking mogelijk met E zonder pretest
40
Q

Wat is een interrupted time series + multiple time series?

A

Een model met drie pretests en daarna een behandeling en 3 posttests op verschillende momenten, zodat je kan zien wat de resultaten op korte en langere termijn zijn. De multiple time series is met controle groep. De andere zonder.