H9 Flashcards
Soorten designs: (van hoog naar laag in interne validiteit)
1) Experimentele designs
§ Pretest-posttest two group design
§ Randomized two group design
§ Solomon-four group design
§ Factorial design (between-/within participants)
2) Quasi-experimental designs
§ Pretest-posttest nonequivalent control group
§ Static-group comparison
§ One-group pretest-posttest
§ Interrupted time series
§ Replicated interrupted time series
3) Niet-experimentele designs
§ Survey study
§ Vragenlijst
§ Observatie
§ Archief
Ingrediënten/criteria experiment (3)
1) Manipulatie
- Oorzaak is onder controle van onderzoeker
- Waarborgt dat het effect is veroorzaakt door de onafhankelijke variabele
2) Comparison (vergelijken)
- Controlegroep
- Waarborgt dat het effect geen natuurlijk effect is
3) Random assignment
- Alle participanten hebben een gelijke kans om toegewezen te worden aan verschillende condities
- Geen systematische verschillen tussen de 2 groepen anders dan het verschil in de onafhankelijke variabele
- Waarborgt dat er geen alternatieve verklaring is
- Kan altijd zorgen dat er toch verschillen zijn in de groep
–> Repliceren
Quasi/experimenteel geen random assignment, omdat (4)
§ Omdat ze al in groepen gedeeld zijn, zoals gender (individual difference variable)
§ Omdat participanten alleen mee willen doen bij bepaalde groep
§ Toevallige groepsverschillen
§ Niet toevallige groepsverschillen (door uitval)
Mogelijke doelen Niet-experimentele designs (3)
§ Inventarisatie en beschrijving verschillen
□ Kijken naar verschillen die al bestaan
□ Survey research is passender
□ Hoe vaak komt pesten in groep 8 voor?
§ Gehypothetiseerde of gevonden relaties proberen te verklaren
□ Klopt hypothese
□ Moeilijker causaliteit te verklaren (confounding)
□ Overlevende van een ramp zijn vaak ongezonder dan gemiddeld.
§ Refutation (verwerping: afwezigheid causale relatie aantonen)
Richting lastig te bepalen
Doelen van analyse Niet-experimentele designs (2)
1) Predicatie (voorspellen)
* Statisch model (meervoudige regressie)
* Met een aantal variabelen uitkomst voorspellen
* Doel: Voorspellen
2) Begrijpen
* Waarom de voorspelling overeen komt met variabelen
* Hoe sterk en waarom komt het overeen
* Begrijpen wereld om ons heen
* Verbanden tussen variabelen begrijpen
* Verzamelen van niet-experimentele data
Randomisatiefout
Door toeval toch groepsverschil. Grotere kans met kleinere groepen dan met grotere groepen
Simple effect
Het effect van een factor kijkend naar slechts één niveau van een andere factor
Kenmerken 17 -eeuwse wetenschappelijke revolutie: (3)
- Observatie: Van illustratie naar gebruik voor falsificatie en aanpassing van theorieën
- Van passief naar actief ingrijpen in de werkelijkheid
- Controleren van de verstorende variabelen (in sociale wetenschappen door randomisatie).
Random, 2 groepen, geen pretest
Gevaren (3)
Randomized two-group design
Differential mortality, history, instrumentation
Random, 2 groepen, wel pretest
Gevaren (4)
Voordelen (2)
Pretest-posttest two-group design
Testing (sensitize), history, instrumentation, differential mortality
- Laat de grootte van het effect van het experiment zien
- Controle of randomisatie is geslaagd
Random, 4 groepen, 2 pretest, 2 niet
Solomon fout-group design
Voordelen Solomon four-group design (2)
Nadelen Solomon four-group design (3)
- Vaststellen of de post-test verschillen door manipulatie, pre-test of combinatie hiervan
- Controleren of er sprake is van sensitisatie
- Kostbaar
- Minder makkelijk uit te voeren
- Bedreiging interne validiteit: History, instrumentation, differential mortality
Random, minimaal 4 groepen, 2 interventies
Factorial designs:
Interactie-effect
De gecombineerde effecten van de factoren, hangt van andere factoren af
- Lijnen lopen parallel (geen interactie)
- Lijnen lopen niet parallel (interactie)
- Geen verschillen tussen getallen interventies (geen interactie)
- Verschillen tussen getallen interventies (interactie)
Hoofd effect
De effecten van het factor apart, gemiddeld over niveaus van de andere factor
- Lijn horizontaal (geen hoofdeffect)
- Lijn lineair (hoofdeffect)
- Gemiddelde hetzelfde (geen hoofdeffect)
- Gemiddelde verschilt (hoofdeffect)
Counterbalancing
Elk subject (persoon) krijgt dan beide condities, maar de volgorde verschilt. Bij Repeated measures design (within-participant designs)
Artifact
Een onbedoeld effect wat invloed heeft op de afhankelijke variabele wat is veroorzaakt door een ander kenmerk van de experimentele setting (wat niet de afhankelijke variabele is)
Hawthorne effect
Mensen door aandacht van het onderzoek beter gaan presteren
Selection
- Eventuele reeds bestaande verschillen tussen individuen in een experiment die de afhankelijke variabele kunnen beïnvloeden
- Verschillen tussen groepen participanten
- Alleen bij meerdere/bestaande groepen
- Participanten zelf condities laten kiezen
- Andere variabelen kunnen rol spelen (confounding)
- Oplossing
- Randomly assigned
- Verminderen: Pretest
Maturation
- Rijping
- Natuurlijk voorkomend proces
- Personen worden ouder en wijzer
- Verveling, groeien, ontwikkelen
- Gevaar bij pretest
- Oplossing
- Controlegroep
- Prikkels op volgorde toewijzen, zodat alle typen prikkels gelijk gespreid zijn
Selection by maturation
- Groepen verschillen niet vooraf, maar later wel door rijping
- Verschil tussen 2 groepen, meerdere groepen nodig
- Bij niet-random groepen
- Oplossing: random assignment
History
- Gebeurtenis (groot of klein) dat voorkomt, die geen relatie met onafhankelijke variabele maar kan afhankelijke variabele wel beïnvloeden
- Zonder controle groep een bedreiging, bij 2 groepen als er verschil zit tussen de 2
- Bedreiging voor zowel interne- als externe validiteit
- Noise of random error
- Afgaan brandalarm, protest in het land
- Er is na de eerste toets in grote getale bijles gevolgd
- Andere zalen gebruikt bij tentamen
- Oplossing
- Controlegroep, zolang ze allebei gebeurtenis meemaken (interne validiteit)
- Externe validiteit is lastig tot niet op te lossen
- Als het voorkomt bij 1 participant, deze niet mee laten tellen
- Participanten apart testen, interrupted series
Instrumentation
- Veranderingen van (meet)instrumenten of procedure
- Verbeteren/verslechten van instrument/observanten
- Slijtage
- Update
- Observanten beter observeren of nonchalant
- Tweede toets was moeilijker. Berekening cijfers was anders. Andere manier van toetsing
- Oplossing
- Training en toezicht houden op observanten/meetprocedures
- Volgorde van de experimentele omstandigheden wordt gecompenseerd of gerandomiseerd (Counterbalancing)
- Pilottest om achter zwakheden van meetinstrumenten te komen
Differential Morality
- Mortality: Uitval van deelnemers tijdens het onderzoek (externe validiteit)
- Differential morality: Aantal uitvallers verschillen tussen experimentele groepen (interne validiteit)
- Uitvallers kunnen afwijken van de doorzetters en visa versa.
- Komt vooral voor bij longitudinaal onderzoek (langdurig onderzoek)
- Niet gemakkelijk op te lossen
- Verminderen:
- Contact blijven houden (nieuwsbrief, verjaardagskaart)
- Contactgegevens van mensen die participant goed kennen
- Zorgvuldig ontwerpen van de ervaring van de controledeelnemers om even wenselijk of aversief te zijn (gelijkwaardige condities tussen de 2 groepen)
Sensitizaltion
(Testing)
- Voormeting beïnvloedt participanten
- Leren van eerste test
- Doel onderzoek achterhalen, of antwoord onthouden
- Nadeel bij onderzoeken met pretest
- Oplossing: Solomon four-group design
Regression threat
- Regressie (Lineaire verband tussen X(-as) en Y(-as)
- Als het verband tussen de voor -en nameting niet perfect is (correlatie is niet 1 is), zijn extreme scores op de voormeting minder extreem op de nameting.
- Regression artifact
- Regression to the mean
- Alleen bij niet-experimentele designs
- Iets kan nooit extreem blijven, zwakt altijd af
- Gebeurd alleen wanneer in de voormeting of onderzoek op extremen gericht is.
- Scores op de nameting zullen nog steeds hoog/extreem zijn, maar niet zo extreem als op de eerste meting.
Demant charaterstics (artefact) oplossing
Coverstory
Experimentor expectancy (artefact) oplossing
Double blind
Voordelen experiment (4)
- Je kan interne conclusies trekken over de effecten
- Eventueel meerdere onafhankelijke variabelen tegelijk
- Bestudering van interacties is mogelijk
- Hoge interne validiteit
Nadelen experiment (6)
- Experimentele artifacts (invloed omgeving op afhankelijke variabele)
- Proefpersonen proberen experimentator genoegen te doen (sociaal gewenst gedrag/antwoorden)
- Participanten die zich aanmelden voor experimenten. Bijvoorbeeld vaak studenten (College Sophomores)
- Vaak geen goede beschrijvende gegevens op.
- Beschrijven de populatie niet
- i.t.t. enquêtes geven ze geen percentages voorstanders en tegenstanders.
- Constructvaliditeit vermindert (Indien in lab –> ligt niet aan design zelf, meer aan setting)
- Experimenter effects
- Demand characterstics
- Externe validiteit vermindert
- Labstudies moeilijk vanwege kunstmatigheid
- Experimenten in veld, minder kunstmatig
- Nadeel veld: minder controle/power
- Representativiteit van proefpersonen (geen nadeel van design zelf, is wel mogelijk)
- Proefpersonen vaak niet willekeurig getrokken
- Labstudies moeilijk vanwege kunstmatigheid
Condition
Set van benodigde factoren
Deterministic
Als A voorkomt, komt B voor
Probabilistic
Als A voorkomt, is het meer waarschijnlijk dat B ook voorkomt (zijn causale relaties)
Inus condition:
Een inefficiënt maar niet overbodig onderdeel van een overbodig maar efficiënte conditie, probabillistisch (John Machiek’s visie)
- Insufficient (inefficiënt, niet voldoende)
- Andere factoren zijn erbij nodig; randvoorwaarden
- Onderdeel alleen heeft geen effect
- Lucifer kan geen vuur aansteken, zonder factoren als zuurstof
- Nunredunant (niet overbodig)
- Is uniek ten opzichte van andere factoren, voegt iets essentieels toe
- Factoren hebben geen overlap in wat zij toevoegen aan conditie
- Lucifer is wat anders dan droog hout
- Sufficient condition (effectieve conditie)
- Met alle factoren samen wel effectief
- Lucifer, droog hout en zuurstof geven samen brand
- Unnecessary (onnodig, niet noodzakelijk)
- Er zijn andere condities die same
experimental variables
Manipuleerbare variabelen
* Voorkeur voor experimenten, omdat je zo beter onderzoek kan doen.
* Alleen veel oorzaken zijn niet te manipuleren. (motivatie of het geslacht van een persoon)
* Je kan door manipulatie de werkelijkheid naar je hand zetten.
Onafhankelijke variabelen moeten manipuleerbaard zijn
Niet-manipuleerbare variabelen (3)
- Individual difference (subject variables)
- Onafhankelijke, niet-manipuleerdbare variabelen die participanten meebrengen naar een onderzoek (religie, inkomen, educatie, gender, enz.)
- Analoog experiment (vignettes):
- Vignet: Aan mensen voorleggen ‘wat als…?’ ‘Wat als je dit meemaakt’. Of mensen scenario’s laten beoordelen.
- Natuurlijk experiment:
- Soms in de werkelijkheid dingen aan de orde/gebeurd waardoor er een natuurlijk experiment ontstaat
–> Hierdoor vaak quasi-experimenteel onderzoek omdat experimenteel onderzoek niet mogelijk is
Causale beschrijving VS causale uitleg
Beschrijving:
- Is er een effect? Hoe groot is het effect?
- Wat we in experimenten doen is
- Is er een verband ja of nee? Er wordt dan niet uitlegt hoe dit komt, de mechaniek erachter wordt niet beschreven.
Uitleg:
- De mechaniek erachter.
- Waarom is er een effect? Hoe werkt iets?
- Lastiger dan causale beschrijving
