Experimenten Flashcards
Wat zijn treatments
Controles of manipulaties.
Alle condities of procedures worden onder strenge controle gehouden of gemanipuleerd
Welke twee experimenten kennen we
Zuivere experimenten
Quasi-experimenten
Noem twee soorten designs
Between-subjects designs /Tussenproefpersonendesigns
Within-subject designs / Binnenproefpersonendesigns
Wat is het verschil tussen een zuiver en een quasi-experiment
In een zuivere experiment wordt randomisatie (random toewijzen van proefpersonen aan condities) toegepast om proefpersonen aan experimentele condities of manipulaties toe te wijzen.
In quasi-experimenten niet.
Wat is een quasi-experiment
Er wordt geobserveerd en gemanipuleerd in bestaande groepen. Er wordt niet gerandomiseerd.
Wat zijn covariaten
Variabelen die onderzoekers meenemen in hun onderzoek waarvan ze een theoretisch onderbouwd vermoeden hebben dat dit verstorende achtergrondkenmerken kunnen zijn.
Deze variabelen kunnen in specifieke statistische analyses gebruikt worden om proefpersonen op die variabelen ‘gelijk te trekken’, in de hoop de kracht van randomisatie te benaderen.
Kenmerken van een between-subject design
Iedere proefpersoon wordt aan slechts één experimentele conditie blootgesteld.
De groepen van proefpersonen kunnen met elkaar vergeleken worden. vb een groep waaraan een treatment-conditie wordt toegediend en een controle groep.
Kenmerken van within-subject designs
Alle proefpersonen worden aan alle experimentele en controlecondities blootgesteld
Wat zijn repeated-measure designs
Herhaalde-metingen designs
Wat is een nadeel van within-subjects designs
Er kunnen volgorde effecten optreden
Wat is counterbalancing
In within-subject designs wordt de volgorde waarin de condities worden aangeboden gevarieerd.
Een vorm van controle
Wat is een mixed-design
Een mix van between-subject design en within-subject design.
vb twee groepen waarbij op verschillende tijdstippen vorderingen worden gemeten
Wat zijn controlegroepen en aan welke vormen van bewijs moeten ze voldoen
Heten ook wel de Mill’s methode
Concept van controle is een concept van logische bewijsvoering.
Experimenten moeten twee vormen van bewijs leveren.
Method of agreement
Method of difference
Wat is method of agreement
Een experiment moet aantonen dat als X zich voordoet Y zich ook voordoet.
Noem een voorbeeld van sufficient condition
Als er minstens twee situaties zijn waarin Y zich voordoet, en X is in ieder van die gevallen aanwezig, dan is X een sufficient condition voor Y
Wat is method of difference
Als X zich niet voordoet (-X) dan dient Y zich ook niet voor te doen (-Y)
Noem een voorbeeld van necessary condition
Als het vermoede effect Y afwezig is als het vermoede effect X afwezig is dan is X een necessary condition voor Y.
X is absoluut onmisbaar om het effect in Y in gang te zetten.
Geef een schematisch een simpel voorbeeld weer van Mill’s method dat aangeeft dat om de causaliteit van sommige vragen te beantwoorden het soms noodzakelijk is om een controlegroep waar een treatment niet optreedt (-X) aan het experiment toe te voegen.
Experimentele groep: Als X, dan Y
Controlegroep: Als -X, dan -Y
Wat is het voordeel van Mill’s method
Het voorkomt dat een experimenteel onderzoek wordt gebruikt om een bv een waar / niet waar stelling in te nemen.
Wat is matchen of homogeniseren
Er wordt geprobeerd de experimentele en controle groep gelijk te maken op een aantal externe bekende kenmerken waarvan men denkt dat ze in belangrijke mate van invloed zijn op de afhankelijke variabele.
Het zijn geen vervangers voor randomiseren, maar kunnen indien mogelijk gebruikt worden in combinatie.
Bij zuiver experimenteel onderzoek is randomiseren essentieel; andere procedures kunnen daar aan toegevoegd worden.
Noem twee manieren van matchen of homogeniseren
Precisiecontrole
Globale controle
Wat is precisiecontrole
Matchen op belangrijke achtergrondkenmerken.
Paren van proefpersonen maken met zoveel mogelijke dezelfde achtergrondkenmerken. Vervolgens op basis van toeval bepalen wie van elk paar in de experimentele en wie in de controlegroep komt.
Wat is globale controle
Het streven dat de frequentie van een aantal belangrijke kenmerken in de experimentele en controlegroep gelijk zijn. Kenmerken van individuen gelijk verdelen over condities.
Zowel in de experimentele als in de controlegroep zitten dan bv evenveel mannen als vrouwen, net zoveel laagopgeleiden als hoogopgeleiden, net zoveel jongeren als ouderen.
Dit is een grovere wijze van matchen dan precisiecontrole.
Hoe kan men proefpersonen homogeniseren
Proefpersonen zo kiezen dat de groepen zo homogeen mogelijk op die externe variabele zijn.
Dit om het eventuele effect van een externe variabele op een afhankelijke variabele te elimineren.
Er is minder ruis door variatie. De winst in power gaat ten koste ven een (beetje) externe validiteit.
Wanneer is sprake van een gerandomiseerd blokontwerp
Als bij een experiment de groepen in de verschillende (experimentele en controle) condities even groot zijn en de toewijzing van de proefpersonen plaatsvindt op toeval basis.
Als groepen op basis van sekse en leeftijd (met de categorie man, vrouw, jong, oud, middelbaar, senior en bejaard) worden gevormd en dit resulteert in bv acht groepen. Deze groepen worden blokken genoemd
Bij de vorming van deze blokken gaan onderzoekers uit van de variabelen die ze onder controle willen houden.
In beginsel moet aan elk blok evenveel onderzoekseenheden/proefpersonen worden toegewezen.
Op deze wijze wordt er vanuit gegaan dat de experimentele en controlegroep ook aan elkaar gelijk zijn op allerlei kenmerken die in het onderzoek niet worden gemeten.
Gerandomiseerd blokontwerp is een vorm tussen precisiecontrole en globale controle.
Deze manier van toewijzing van proefpersonen wordt ook wel groepsgewijs matchen genoemd.
Noem drie voorwaarden waaraan moet worden voldaan om te kunnen spreken van een causale relatie
- Er moet een statistisch significant verband zijn tussen de predictor (onafhankelijke variabele) en de afhankelijke variabele
- De predictor moet in de tijd voorafgaan aan de afhankelijke variabele
- De relatie tussen de predictor en de afhankelijke variabele wordt niet veroorzaakt door een derde, mogelijke onbekende variabele
Wat zegt statistische significantie
Een statistisch significant resultaat betekent in het algemeen dat de samenhang waarschijnlijk ongelijk is aan nul.
Dit zegt niets over de grootte van het verband en dus ook niets over het belang of de relevantie van het verband. Dit verklaard ook geen causaal verband.
Waaraan kan bij een regressieanalyse de grootte van het effect worden afgelezen
Aan de gestandaardiseerde regressiecoëfficiënt (beta)
Wat speelt een rol bij het bepalen van statistische significantie
- De effectgrootte
- Statistische significantie betekent niet dat er sprake is van een causaal verband.Het causale proces kan ook omgekeerd zijn of worden veroorzaakt door een derde variabele.
- Te kleine steekproef–> te weinig power. Komt vooral vooral voor bij interactie effecten.
Voor het testen van moderatiemodellen moeten er in het algemeen nog grotere datasets worden gebruikt dan bij modellen met alleen een hoofdeffect.
Hoe komt een zuiver experimenteel onderzoek tegemoet aan de drie voorwaarden waaraan moet worden voldaan om te kunnen spreken van een causale relatie
- Statistische significantie kunnen we toetsen via een statistische toets
- De opzet van een experiment is dusdanig dat de manipulaties die leiden tot de condities van het experiment (die de waarden van de predictor voorstellen) voorafgaan aan het meten van de afhankelijke variabele.
- Door randomisatie wordt geprobeerd de invloed van onbekende variabelen te reduceren. Bekende storende variabelen kunnen eventueel worden gemeten en statistisch onder controle worden gehouden door deze variabelen als covariaat in de analyse te betrekken.
Aan welke voorwaarden kan men voldoen als data via een survey (waarbij alle vragen min of meer tegelijk worden verkregen) zijn verzameld
Alleen aan de voorwaarde van statistische significantie.
Als men in dit verband spreekt over een effect is dit een veronderstelt effect. Veronderstelde causaliteit wordt aannemelijker als er meer onderzoeken in dezelfde richting wijzen en vooral wanneer er sprak is van een goed gefundeerde theoretisch onderbouwing
Hoe worden data verzameld bij longitudinale methoden
en aan welke voorwaarden kan men voldoen met betrekking tot causaliteit
Gegevens worden op verschillende momenten in de tijd verzameld bij dezelfde subjecten
Op T1 kan de predictor worden gemeten en op T2 de afhankelijke variabele. Het tijdsinterval moet goed worden gekozen. Het effect van de predictor, gemeten in T1 moet zichtbaar zijn in de afhankelijke variabele op T2.
Ondanks dat men niet kan vaststellen of de groepen via randomisatie tot stand zijn gekomen, lijken causale uitspraken iets gefundeerder dan bij een survey / cross-sectioneel onderzoek.
Maar ook bij longitudinaal onderzoek is het belangrijk dat er een goed gefundeerde theorie ten grondslag ligt aan de veronderstelde causale effecten.
Nadelen longitudinale methoden
Is het interval tussen T1 en T2 te kort gekozen dan kan er geen causaal effect worden gemeten.
Is het interval te lang tussen T1 en T2 dan kunnen allerlei verstorende factoren een rol gaan spelen
Noem een variant van longitudinaal onderzoek
Corhortstudie ( ook wel panelstudie genoemd)
Wat is een cohortstudie
Een groep subjecten van een bepaalde leeftijdsgroep wordt over een (groot) aantal jaren gevolgd.
Op basis van allerlei kenmerken van een dergelijke groep hoopt men ook causale relaties te ontdekken.
Met betrekking tot causaliteit spelen hier dezelfde problemen als bij een gewoon longitudinaal onderzoek
Hoe kan het probleem van causaliteit vermeden worden
Door het onderzoek een exploratief karakter te geven
Wat is exploratief onderzoek
Het toetsen van (causale) verbanden is niet belangrijk.
Men wil een indruk krijgen over bijvoorbeeld de verdeling van variabelen en welke verbanden er in de data aanwezig zijn. Ook vragen als: Wat zijn mogelijke belangrijke predictoren van een bepaalde afhankelijke variabele en welke covariaten spelen een rol.
Er worden verschillende modellen met elkaar vergeleken om te zien welk model het beste past bij de data. Op basis van exploratief onderzoek en een onderbouwde theorie kan men in een vervolgonderzoek wellicht een experiment ontwerpen waarmee causale relaties kunnen worden getoetst.
Welke 2 vormen van bewijs moet een experiment leveren
Method of agreement
* als x zich voordoet, doet y zich voor
* x = sufficient condition voor y (voldoende om y in gang te zetten
Method of difference
* als x zich niet voordoet (-x), dat doet y zich ook niet voor (-y)
* x= nesseceray codition voor y (absoluut onmisbaar om y in gang te zetten)
Om causaliteit van sommige vragen te beantwoorden is het soms noodzakelijk om een controlegroep waar een treatment niet optreedt (-x aan het experiment toe te voegen)
Experimentele groep: als x dan y
Controlegroep: als -x, dan -y
