studietaak 6 - experiment Flashcards
wat zijn de ingrediënten, onderdelen van een experiment
- hypotheses die gebruikt worden om verwachtingen te op te stellen
- de verwachtingen worden vergeleken met de observaties
- die vergelijking wordt gebruikt om de hypothese te bevestigen, te verwerpen of te verfijnen
Experimenten geven op een gestructureerde manier de mogelijkheid om observaties (verzamelen van data) te maken en te vergelijken met de verwachtingen als de hypothese waar zou zijn
wat is een sleuteleigenschap van experimenten?
- in een experiment introduceert een wetenschapper een specifieke verandering in een systeem en hij observeert de effecten van die verandering
- experimenten worden gebruikt om data van één of andere soort te produceren
- die data kunnen dan een hypothese bevestigen of verwerpen
- !! expliciete verwachtingen, voorspellingen moeten ontwikkeld worden vanuit de hypothese alvorens de hypothese te testen met empirisch bewijs (data)
welke zijn de uitdagingen bij het opzetten van een experiment?
- de menselijke neiging tot vooringenomenheid, waaronder de neiging om te observeren wat we willen dat waar is,
- de moeilijkheid om te onderscheiden tot wat de hypotheses ons zouden moeten doen verwachten
welke twee mogelijkheden hebben we om aan de uitdagingen van een experiment tegemoet te komen?
- tightly controlled conditions (labo uitvoeringen)
- “in the field” uitvoering van het experiment
welke drie soorten variabelen zijn er in een experiment?
- onafhankelijke variabele (independant variable) = Een onafhankelijke variabele is een variabele die op zichzelf staat, dat wil zeggen, waarvan de waarden onafhankelijk variëren van de waarden van andere variabelen in een experiment. Wanneer wetenschappers in een experiment specifieke veranderingen in een systeem aanbrengen, doen ze dat door de waarde van een of meer onafhankelijke variabelen te veranderen. (dit is een interventie)
- **afhankelijke variabele **= Een afhankelijke variabele is een variabele waarvan de verandering afhangt van een andere variabele. Wanneer wetenschappers de waarde van een onafhankelijke variabele in een experiment veranderen, doen ze dat om te onderzoeken hoe die verandering een of meer afhankelijke variabelen beïnvloedt.
- Externe / derde variabelen zijn andere variabelen naast de onafhankelijke variabele die de waarde van de afhankelijke variabele kunnen beïnvloeden. -> Als er geen rekening wordt gehouden met externe variabelen, kunnen zij, en niet de onafhankelijke variabelen, verantwoordelijk zijn voor veranderingen in de afhankelijke variabele. Een andere mogelijkheid is dat externe variabelen de invloed van de onafhankelijke variabele op de afhankelijke variabele tegengaan ==>. Confounding variabelen. Dit zijn externe variabelen die variëren op manieren die de waarde van de afhankelijke variabele op onverwachte manieren beïnvloeden. Confounding variabelen kunnen de nauwkeurigheid van de conclusies uit een experiment beïnvloeden.
wat is van belang bij het opzetten van een effectief experimenteel design?
Een onafhankelijke variabele wordt op een gecontroleerde manier gevarieerd en de waarde van een afhankelijke variabele wordt gemeten, terwijl alle externe variabelen vast blijven staan of op een andere manier worden meegenomen.
welke zijn twee menselijke condities die als confounding variabele kunnen beïnvloeden?
- Hawthorne Effect of observer bias = deelnemers aan een experiment veranderen hun gedrag (soms onbewust) als gevolg van het feit dat ze geobserveerd worden
- observer-expectancy bias = wanneer de verwachtingen van de onderzoeker zelf een verstorende variabele zijn
wat zijn allemaal elementen waar we rekening mee moeten houden bij een experimentele set-up?
- de subjecten (mensen, dieren, dingen)
- de instrumenten (technologische tools, apparaten…)
- de plaats van het experiment
- de duurtijd van het experiment
- de uitvoerder(-s) (gezamenlijk, solo..)
- de achtergrond van de uitvoerders
- de achtergrond condities of de ‘extraneous variables’ (moeilijkste te managen in een experiment)
wat is het, en wat is van belang bij het verzamelen van de data?
= verzamelen en opmeten van informatie over de waarden van de betrokken variabelen op verschillende tijdstippen, plaatsen en contexts
wat beïnvloedt de keuze van de methode van data verzamelen?
- onderzoeksfocus
- de hypothese
- de belangrijke variabelen
- de beschikbare instrumenten -> ! geen enkel wetenschappelijk instrument is vrij van meetfouten -> dus voortdurend callibreren van de instrumenten
welke soorten data bestaan er ?
- kwantitatieve data
- qualitatieve data
wat is een cruciaal experiment?
Dit is een experiment dat beslist tussen twee hypothesen, waarbij voor eens en altijd wordt vastgesteld welke waar is.
-> waarom weinige experimenten cruciaal zijn komt:
- de mogelijke externe variabelen (deze controleren samen met de achtergrond voorwaarden is belangrijk om goed bewijs te vinden, en dat is bijna onmogelijk)
- de verzamelde data kan de verwachtingen bevestigen of niet door mogelijks onverwachte redenen (bijv. een onbekend fenomeen)
wat is “the underdetermination of hypotheses by data”?
=>het bewijs niet voldoende is om te bepalen welke van meerdere hypothesen waar is.
- Sommigen denken dat elke hypothese altijd onderbepaald is door de gegevens, dat er altijd een hypothese is (misschien nog niet bekend) die ook consistent is met alle gegevens, hoeveel er ook verzameld is.
wat is nog een probleem naast de “underdetermination of hypotheses by data” bij experimenten?
Een experiment om een hypothese te testen gaat gepaard met een aantal aanvullende aannames - aannames die waar moeten zijn om ervoor te zorgen dat de gegevens de beoogde relatie hebben met de onderzochte hypothese.
wat zijn de drie bronnen van onzekerheid over wat een experiment nu eigenlijk aantoont?
- externe variabelen
- onvoorziene hypotheses (underdetermination of hypotheses by data)
- aanvullende aannames (auxiliary assumptions)
The general point is that underdetermination seems to be a circumstance in science where considerations beyond empirical evidence contribute to which hypotheses or theories scientists accept.
wat is één van de belangrijke manieren om de drie bronnen van onzekerheid van een experiment te minimaliseren?
Replication involves performing the original experiment again-often with some modification to its design-in order to check whether the result remains the same.
De repliceerbaarheid van experimenten is een onmisbaar ingrediënt van wetenschap, zozeer zelfs dat een aanhoudend onvermogen om bevindingen te repliceren de geloofwaardigheid van een wetenschappelijk vakgebied kan ondermijnen.
beschrijf een “perfectly controlled experiment”
In een perfect gecontroleerd experiment voeren experimentatoren
- een geschikte interventie uit op een onafhankelijke variabele en meten ze vervolgens het effect van deze interventie op de afhankelijke variabele.
- Alle externe variabelen worden volledig gecontroleerd, dus er zijn geen verstorende variabelen mogelijk. Elke verandering in het gedrag van het systeem moet dus te wijten zijn aan de interventie van de experimentatoren.
- Dit sluit niet de mogelijkheid uit dat een onbekende hypothese ook de gegevens verklaart of dat een hulpaanname fout was, maar het sluit wel de mogelijkheid uit dat een verstorende variabele het effect heeft verstoord.
- defining expectations
- the intervention
- variable control
- controlling for bias
- data collection
- analysis
defining expectations
beschrijf de eerste stap van een perfectly controlled experiment
- Een belangrijke eerste stap is te verwoorden wat je op grond van de hypothese zou verwachten van de uitkomst van het experiment.
- Die verwachtingen zijn voorspellingen van de resultaten van een bepaalde ingreep als de hypothese in kwestie waar is.
- De verwachtingen kunnen ook gebaseerd zijn op achtergrondkennis of een algemeen aanvaarde theorie.
verwachtingen moeten vooraf duidelijk en nauwkeurig gedefinieerd zijn op een manier die ze gemakkelijk vergelijkbaar maakt met de gegevens die het experiment zal opleveren.
hoe kunnen we variabelen testen die niet of moeilijk te meten zijn
- Om met deze moeilijkheid om te gaan, gebruiken wetenschappers vaak operationele definities en clusters van indicatoren om vage concepten te karakteriseren op een manier die meting mogelijk maakt.
- Een operationele definitie = een specificatie van de voorwaarden waaronder een bepaald concept van toepassing is, waardoor metingen of andere vormen van precisie mogelijk worden –> nadeel is wel dat operationele definities vaak nuance missen (idem voor cluster indicatoren)
wat is het middelpunt van een perfect gecontroleerd experiment?
- Een experimentele interventie is het middelpunt van een perfect gecontroleerd experiment.
- Een interventie is een directe manipulatie van de waarde van een variabele. Door deze interventie wordt die variabele de onafhankelijke variabele genoemd.
- Tijdens een experiment grijpen wetenschappers doelbewust in op de onafhankelijke variabele en meten ze vervolgens het effect van hun ingreep op de afhankelijke variabele.
op welke manieren kan je de variabelen in een experiment controleren?
full variabel control is exceedingly difficult to accomplish!
1.** directe controle (vd variabelen)** = als alle externe variabelen tijdens een interventie op constante waarden worden gehouden. Omdat de vreemde variabelen onveranderlijk zijn, kunnen ze niet verantwoordelijk zijn voor veranderingen in de afhankelijke variabele => Als directe variabele controle succesvol is, kan dus alleen de interventie verantwoordelijk zijn voor een verandering in de afhankelijke variabele.
2.** indirecte variabele controle** = Het basisidee is om externe variabelen te laten variëren op een manier die onafhankelijk is van de interventie. Hoewel de externe variabelen zullen variëren, moeten ze op dezelfde manier variëren voor de verschillende waarden van de onafhankelijke variabele. Eventuele systematische verschillen in de afhankelijke variabele tussen verschillende waarden van de onafhankelijke variabele kunnen dan redelijkerwijs worden toegeschreven aan de onafhankelijke variabele.
wat is de *eerste step *in de indirecte variabele controle?
De eerste stap naar indirecte variabele controle is het opzetten van twee groepen experimentele entiteiten om te vergelijken.
- de experimentele groep, ontvangt de interventie op de onafhankelijke variabele.
- de controlegroep, ervaart de standaard andere waarde(n) van de onafhankelijke variabele.
- ==> En dan wordt er een bepaalde aanpak gebruikt om ervoor te zorgen dat alle externe variabelen de twee groepen gelijk beïnvloeden.
wat is randomizatie?
randomisatie = de ongedifferentieerde toewijzing van experimentele entiteiten aan ofwel de experimentele groep ofwel de controlegroep –> Er wordt een bepaalde methode van groepstoewijzing toegepast zodat er geen kenmerken van de experimentele entiteiten in aanmerking kunnen worden genomen, zelfs niet onbewust, bij het bepalen van het groepslidmaatschap.
==> Dit is bedoeld om ervoor te zorgen dat eventuele verschillen tussen de experimentele entiteiten willekeurig variëren tussen groepen en dus geen verband houden met het systematische verschil tussen groepen, de interventie.
welke bijkomende conditie bij randomisatie is er nodig voor een effectieve aanpak van de indirecte variabele controle?
Willekeurige groepstoewijzing garandeert dat externe variabelen geen verband houden met groepstoewijzing, maar garandeert niet dat externe variabelen in feite gelijkelijk variëren tussen de twee groepen. Zelfs bij willekeurige toewijzing kunnen de experimentele en de controlegroep nog steeds van elkaar verschillen op andere manieren dan de interventie.
Steekproefgrootte verwijst naar het aantal individuele gegevensbronnen in een onderzoek; vaak is dit eenvoudigweg het aantal experimentele entiteiten of proefpersonen. Als de steekproefomvang erg klein is, zijn er waarschijnlijk variaties tussen willekeurig toegewezen experimentele en controlegroepen. Als de steekproefomvang erg groot is, is een dergelijke toevallige variatie buitengewoon onwaarschijnlijk, zo onwaarschijnlijk dat deze variabelen als effectief gecontroleerd kunnen worden beschouwd.
wat zijn manieren om bias te vermijden?
- blind experiment = de researchers weten niet tot welke groep de subjecten behoren
- **double-blind experiment **= noch de researchers noch de subjecten weten tot welke groep zij behoren
- placebo effect = de verwachting dat een interventie zal werken kan leiden tot een effect
- deception = actief de subjecten misinformeren om te vermijden dat hun verwachtingen hun gedrag zal beïnvloeden
wat zijn de gevolgen van conceptuele vaagheid?
- Als algemene regel geldt dat hoe vager een claim is, hoe moeilijker het zal zijn om de mogelijkheid van een *valse afwijzing *uit te sluiten.
- Conceptuele vaagheid kan het moeilijk maken om ook de mogelijkheid van een
*valse bevestiging *uit te sluiten.
Niettemin kan het enige waarde hebben om met vage beweringen te werken, vooral als deze in de richting van een mogelijk nieuw verklarend inzicht wijzen => eerder voor hypothese generating dan voor hypothese testing
predictive clarity
Bij het ontwerpen van een test is het van cruciaal belang dat we tot een voorspelling komen die het verschil tussen succes en mislukking duidelijk aangeeft. Als we bij het evalueren van de resultaten van een test niet precies kunnen zeggen of onze proefpersoon is geslaagd of gefaald, dan heeft onze test weinig zin.
hoe kunnen we experimenter bias vermijden?
Experimenten waarbij onderzoekers niet weten of proefpersonen tot de experimentele of controlegroep behoren, worden soms enkel-blinde experimenten genoemd.
wat zijn dubbel-blind experimenten?
Experimenten waarbij noch experimentator, noch proefpersoon weet welke proefpersonen tot de experimentele en controlegroep behoren, worden dubbelblind genoemd.
The rationale for keeping the experimenter “blind” is to control for the possibility that subjects may be treated differently during the course of the experiment and to insure that the evaluation of the subject’s condition at the conclusion of the experiment will be unbiased.
wat zijn de belangrijkste kenmerken van een perfect gecontroleerd experiment?
-> het expliciteren van voorspellingen
-> het uitvoeren van een geschikte interventie om de onafhankelijke variabele te manipuleren
-> het controleren van derde variabelen, bias en verwachtingen van deelnemers en onderzoekers zelf
geef de vijf stappen weer van de verklarende hypothesetoets
- stap 1 Hypothese (als…)
- stap 2 voorgestelde actie (en…)
- stap 3 voorspelling (dan…)
- stap 4 onderzoeksresultaat (en…)
- stap 5 conclusie (daarom…)
wat is het verschil tussen een gedurfde voorspellingen en een voorzichtige voorspelling?
- bij ee gedurfde voorspelling gaat het om een bepaalde grootte van het effect te specificeren
- bij een voorzichtige voorspelling wordt enkel een richting van het effect (positief of negatief) gespecificeerd
welke zijn de twee belangrijkste kenmerken van een perfect gecontroleerd experiment?
- de experimentele conditie
- de controle van de derde variabelen
wat zijn de mogelijke gevolgen van derde variabelen voor de causale hypothese?
- geeft ruimte voor false rejection = het onterecht verwerpen van de causale hypothese terwijl deze in werkelijkheid waar is.
- geeft ruimte voor** false confirmation** = het onterecht bevestigen van de causale hypothese terwijl deze in werkelijkheid niet waar is.
! Bij een goed opgezet experiment is zowel onterechte bevestiging als onterechte ontkrachting van de causale hypothese onwaarschijnlijk.
wat zijn volgens Potochnik twee manieren om zoveel mogelijk derde variabelen onder controle te houden?
- directe controle van variabelen = Als je probeert alle derde variabelen gelijk te houden tijdens een interventie, zodat enkel de onafhankelijke variabele varieert => Veranderingen in de uitkomstmaat kunnen dan enkel worden toegeschreven aan veranderingen in de onafhankelijke variabele.
- indirecte controle van variabelen = Het doel van indirecte controle is om de invloed van derde variabelen onafhankelijk te laten zijn van de interventie => door randomizatie en voldoende grote steekproeven
Het verschil tussen directe en indirecte controle van variabelen is dus dat bij directe controle derde variabelen constant worden gehouden tijdens de interventie. Bij indirecte controle worden derde variabelen niet constant gehouden, maar wordt via randomisatie in voldoende grote steekproeven ervoor gezorgd dat de derde variabelen niet samenhangen met de onafhankelijke variabele.
noem drie speciale vormen van derde variabelen
1.** ‘experimenter bias’** = de verwachtingen van de onderzoeker kunnen dan deze meting van het interventie-effect beïnvloeden, bijvoorbeeld omdat de onderzoeker gelooft in het effect van de behandeling
- ‘demand characteristics’ = deelnemers die zich zo gaan gedragen als ze verwachten dat wenselijk is voor de gewenste uitkomst van het experiment.
3.** ‘placebo effect’** = de verwachting dat je een behandeling krijgt, kan al een resultaat teweegbrengen,
wat betekent een single blind design volgens Carey?
Ofwel alleen de onderzoekers worden blind gehouden voor de toewijzing aan de condities (maar de deelnemers niet). Ofwel alleen de deelnemers worden blind gehouden voor de toewijzing aan de condities (maar de onderzoekers niet).
Welke vorm van single-blind het beste is hangt af van het specifieke onderzoek in kwestie.
wat is belangrijk bij het vinden van ondersteuning voor de causale hypothese?
- Belangrijk om te onthouden is dat het vinden van ondersteuning voor de causale hypothese, niet betekent dat de hypothese waar is.
- Ook dan zijn er namelijk **alternatieve verklaringen **mogelijk van het onderzoeksresultaat.
- Alternatieve verklaringen zijn mogelijk omdat bij het toetsen van de causale hypothese ook allerlei hulpaannamen worden gemaakt. Het is goed mogelijk dat deze hulpaannamen onjuist zijn en niet de causale hypothese.
wat zijn de 5 aspecten van de experimentele opstelling?
- fysieke aspecten, zoals de onderzoekseenheden waarbij de experimenten worden uitgevoerdc (mensen, groepen..)
- technologische aspecten -> meetapparatuur, software..
- situationele aspecten (denk aan de locatie en periode
- temporele aspecten (duur vh experiment)
- sociale aspecten -> visie ve onderzoeksgroep
aan welke criteria moet een interventie voldoen?
- valide zijn (het juiste construct manipuleren),
- precies (“chirurgisch”, dus enkel het construct van interesse beïnvloeden en niet onbedoelde constructen)
- sterk genoeg om het construct van interesse in voldoende mate op te wekken
ook de meetinstrumenten die worden gebruikt om de afhankelijke variabele te meten moeten valide zijn
wat volgt uit een “als-dan-daarom” schema?
In het ‘als-dan-daarom’-schema volgt een voorspelling die zou gelden als de causale hypothese waar is, enkel uit twee stappen: een causale hypothese en een voorgestelde actie om de causale hypothese te onderzoeken.
wat is onderdeterminatie?
- Ook wanneer een experiment wel onderzoeksresultaten laat zien die in lijn zijn met de verwachting, dan kan niet gezegd worden of de causale hypothese waar is.
- De beschikbaarheid van alternatieve verklaringen voor onderzoeksresultaten wordt onderdeterminatie genoemd.
- ! Bij het bedenken van alternatieve verklaringen voor een effect dat in lijn is met de causale hypothese, gaat het er niet om of bepaalde achtergrondvariabelen meespelen (dat is namelijk altijd het geval). Het gaat erom of beargumenteerd kan worden of bepaalde achtergrondvariabelen samenhangen met de interventie.
hoe kunnen onderzoekers omgaan met het probleem van onderdeterminatie?
- uitstellen van een beslissing -> bijvoorbeeld over welke behandeling het beste is bij een bepaalde aandoening, uit te stellen.
- repliceren van het onderzoek en het nader onderzoeken van de alternatieve verklaringen. Replicatie van onderzoek houdt in dat het onderzoek op precies dezelfde manier wordt uitgevoerd om na te gaan of men vervolgens tot dezelfde onderzoeksuitkomsten komt
- In het geval dat er meerdere hypotheses en theorieën zijn die een fenomeen mogelijk kunnen verklaren, dan wordt de aantrekkelijkheid van deze hypotheses, theorieën of verklaringen ook vaak beoordeeld op basis van criteria die niet-empirisch zijn
- Dit principe om de voorkeur te geven aan eenvoud, wordt ook wel **Ockham’s razor **
wat is het verschil tussen een gedurfde voorspelling en een voorzichtige voorspelling?
bij een gedurfde voorspelling een bepaalde grootte van het effect gespecificeerd. Bij een voorzichtige voorspelling wordt enkel gespecificeerd of een *positief of negatief effect *wordt verwacht of niet.
