Week 4 Evalueren van onderzoek Flashcards
steekproef
Met een goede steekproef kan je de informatie verkregen van deelnemers gebruiken om de karakteristieken te schatten van de populatie als algeheel.
populatie
De populatie bestaat uit alle individuen die interessant zijn voor de onderzoeker.
betrouwbaarheidsinterval
Een betrouwbaarheidsinterval is een intervalschatting voor een parameter. Bijvoorbeeld de betrouwbaarheid dat de populatiewaarde tussen 58% (61-3) en 64% (61+3) ligt. Het betrouwbaarheidsinterval geeft informatie over de waarschijnlijke hoeveelheid error. De formele term hiervoor is steekproef error, of foutmarge. Hoe dichterbij je bent om de gehele populatie te bevragen, hoe accurater de schatting van het antwoord kan zijn. De grootte van het betrouwbaarheidsinterval wordt door verschillende factoren bepaald, maar het belangrijkste is de steekproefgrootte.
Steekproefgrootte is niet een vast percentage van de populatiegrootte.
Sampling Techniques
Er zijn 2 brede categorieën voor het nemen van steekproeven van een populatie:
• Kanssteekproeven: elke lid van de populatie heeft een specificeerbare waarschijnlijkheid (kans) om gekozen te worden. Dit is nodig wanneer je precieze uitspraken wil doen over een specifieke populatie.
• Niet-kanssteekproeven: de waarschijnlijkheid (kans) van gekozen worden van elk lid van de populatie is niet bekend. Dit wordt vaak gebruikt en is bruikbaar in veel omstandigheden.
Enkelvoudige aselecte steekproef (Simple Random Sampling)
(kanssteekproef). Hierbij heeft elk lid van de populatie een even grote kans om geselecteerd te worden voor de steekproef.
Voordeel: representatief voor de populatie.
Nadeel: kan meer kosten. kan moeilijk zijn om de volledige lijst van alle leden van een populatie te krijgen.
Gestratificeerde aselecte steekproef (Stratified Random Sampling)
(kanssteekproef).
Strata: deelpopulaties
Ook kleine deelpopulaties vertegenwoordigd
Steekproefkader: vorm van administratie waarin alle leden van de populatie zijn geregistreerd
Ook kenmerken van de deelpopulaties om te stratificeren
Proportioneel: als het aandeel van de deelpopulatie in de steekproef gelijk is aan het aandeel in de populatie als geheel
Een meer ingewikkeldere procedure. De populatie wordt opgedeeld in subgroepen (ook wel bekend als strata/lagen), en dan worden willekeurige steekproeftechnieken gebruikt om leden te selecteren van elk stratum. Elke hoeveelheid van dimensies zou gebruikt kunnen worden om de populatie te verdelen, maar de dimensies gekozen moeten relevant zijn voor het onderwerp van het onderzoek. Haarkleur voor een politiek onderwerp is bijvoorbeeld niet goed.
Dit is handig omdat het een ingebouwde verzekering heeft dat de steekproef nauwkeurig de numerieke samenstelling van de verschillende subgroepen weergeven. Dit is vooral belangrijk wanneer sommige subgroepen kleine percentages weergeven in de populatie.
Voordeel: representatief voor de populatie.
Nadeel: kan meer kosten. kan moeilijk zijn om de volledige lijst van alle leden van een populatie te krijgen.
Clustersteekproef (Cluster Sampling)
(kanssteekproef). • Clusters van personen identificeren • Aselecte selectie van clusters • Personen in de clusters worden deelnemer Geen lijst van deelnemers.
Kan gebruikt worden als het moeilijk is om een lijst te krijgen met alle leden van een populatie: dit is het grootste voordeel van deze vorm. In plaats van het kiezen van een steekproef op gerandomiseerde wijze van een lijst, kan de onderzoeker clusters van individuen identificeren en dan een steekproef maken van deze clusters.
Voordeel: Onderzoeker hoeft niet van een lijst een steekproef te halen om een volledige random steekproef te maken.
Nadeel: Kan meer kosten.
Kan moeilijk zijn om de volledige lijst van alle leden van een random gekozen cluster te krijgen.
(Gemakssteekproef) Haphazard of convenience Sampling
(niet-kanssteekproef) Een bekende vorm van niet-kanssteekproeven. Convenience sampling zou ‘neem-ze-waar-je-ze-vindt’-methode kunnen worden genoemd ten aanzien van het verkrijgen van deelnemers. Bijvoorbeeld het staan bij de uni-bushalte en de mensen vragen die langskomen. Dit is een procedure waarbij bias snel kan ontstaan, en een inaccurate weergave geven van de populatie.
Voordeel: goedkoop, efficiënt en makkelijk.
Nadeel: grote kans dat er bias komen; resultaten kunnen mogelijk niet gegeneraliseerd worden naar de bedoelde populatie.
Doelgerichte steekproef (Purposive Sampling)
Het doel is om een steekproef te verkrijgen van mensen die aan een bepaalde vooraf bepaalde criteria voldoen. Bijvoorbeeld bij een bioscoop mensen vragen voor een vragenlijst, en dan alleen de mensen onder de 30. Dit is een goede manier om de steekproef te limiteren naar een bepaalde groep mensen. Dit is echter geen kanssteekproef want selectie wordt bepaald door gemak.
Voordeel: steekproef bevat alleen de typen individuen waar je geïnteresseerd in bent.
Nadeel: grote kans dat er bias komen; resultaten kunnen mogelijk niet gegeneraliseerd worden naar de bedoelde populatie.
Quotasteekproef (Quota Sampling)
Een onderzoeker die deze techniek gebruikt, kiest een steekproef die de numerieke compositie van verschillende subgroepen in de populatie reflecteert. Dit lijkt op stratified sampling, echter, vindt er geen random sampling plaats bij quota sampling. Je zou alsnog gemakstechnieken gebruiken. De steekproef reflecteert wel de numerieke compositie van de hele populatie, maar deelnemers binnen elke groep worden lukraak geselecteerd.
Voordeel: goedkoop, efficiënt en makkelijk.
Nadeel: grote kans dat er bias komen; resultaten kunnen mogelijk niet gegeneraliseerd worden naar de bedoelde populatie; geen methode voor het kiezen van individuen in de subgroepen.
Ookal wordt er random steekproeven gebruikt, bias kan via 2 bronnen worden geïntroduceerd:
het steekproefkader dat is gebruikt en slechte responspercentages.
Het steekproefkader
Het steekproefkader is de échte populatie van individuen (of clusters) waarvan een random steekproef wordt gemaakt. Je merkt al snel dat het zeldzaam voorkomt dat dit perfect overeenkomt met je populatie. Als je bijvoorbeeld dokters wilt gebruiken en je alleen de dokters gebruikt in je telefoonboek. Je schakelt dan andere groepen dokters uit. Wanneer je de resultaten van je onderzoek evalueert, moet je overwegen hoe goed het steekproefkader matcht met de populatie.
Het responspercentage (evalueren van een steekproef)
Het responspercentage in een onderzoek is simpelweg het percentage mensen wie geselecteerd werden in de steekproef en ook de vragenlijst hebben afgemaakt. Dit is belangrijk want het indiceert hoeveel bias er misschien is in de definitieve steekproef.
Veel onderzoek gebruikt niet-kanssteekproeftechnieken om deelnemers te verzamelen.
De voordelen hiervan zijn is dat deelnemers worden verzameld zonder veel geld of tijd te besteden aan het selecteren van – of verzamelen van data van – de steekproef. De voordelen wegen vaak meer dan de nadelen. In perspectief plaatsend: een random steekproef van de VS zegt alsnog niets over populaties van andere landen.
Generaliseren naar andere populaties: Vrijwilligers
Hier kan de externe validiteit gelimiteerd zijn omdat de data van vrijwilligers anders kan zijn dan wat verzameld zou zijn van een meer algemene steekproef. Als je vrijwilligers vraagt over goed buurmanschap, zou het feit dat ze vrijwillig willen meedoen aan de vragenlijst al een teken kunnen zijn van goed buurmanschap. Vrijwilligers verschillen op veel manieren van niet-vrijwilligers.
Generaliseren naar andere populaties: online research participants
Onderzoekers kunnen potentiële deelnemers vinden door online vragenlijst services. Ook dit soort steekproefstrategie heeft belangrijke tekortkomingen voor externe validiteit. Er zijn nog steeds generalisatie problemen omdat internetgebruikers anders zijn dan de algemene populatie. Onderzoek laat zien dat mensen die leven in een suburb, hoog niveau school hebben, jonger zijn en een hoger inkomen hebben, meer tijd online besteden. Dus, met een online vragenlijst heb je een bepaalde doelgroep te pakken die mogelijk niet goed generaliseerbaar is naar de algemene populatie.
Generaliseren naar andere populaties: sekse en gender
Sekse verwijst naar de biologische classificatie en gender naar de socioculturele classificatie. Onderzoekers moeten niet sekse of gender categorieën uitsluiten wanneer ze deelnemers werven. Als een onderzoeker zijn resultaten wil generaliseren naar alle mensen, dan moeten ze er zeker van zijn dat hun steekproeven representatief zijn van alle mensen, en dit bevat verschillen in sekse, gender, en genderidentiteit.
Generaliseren naar andere populaties: Afkomst en etniciteit
Mensen op hun afkomst classificeren is lastig. Het vragen naar afkomst en etniciteit is erg belangrijk in de census en in vragenlijsten waarbij de data gebruikt gaan worden voor het maken van beleidskeuzes voor dingen zoals huisvesting en onderwijs.
Generaliseren naar andere populaties: locatie
De locatie waar deelnemers verworven worden kan ook een impact hebben op een onderzoek zijn externe validiteit. Deelnemers in een locatie kunnen verschillen van deelnemers op een andere locatie. Een onderzoek opgezet in een locatie zal misschien niet goed kunnen generaliseren naar een andere locatie, vooral als de variabelen gerelateerd zijn aan locatie op een of andere manier.
Generaliseren naar andere populaties: cultuur
Een groot kritiek punt richting de externe validiteit van veel gedragsmatige onderzoeken is of het generaliseerbaar is naar alle mensen of dat het een onderzoek is van de WEIRD (Western, Educated, Industrialized, Rich, Democratic) mensen. Het wordt tegenwoordig steeds makkelijker om, de rol die cultuur speelt in menselijk gedrag, te bestuderen.
Generaliseren naar andere populaties: nonhuman animals
We verwachten hierbij dat we kan generaliseren, omdat onze onderliggende biologische en gedragsmatige patronen gedeeld zijn. De waarde van het bestuderen van dieren is gedemonstreerd bij onderzoek dat ook van toepassing is bij mensen.
De persoon wie het experiment uitvoert is de bron van een ander probleem binnen externe validiteit.
Het algemene doel is om ervoor te zorgen dat elke invloed die de onderzoeker heeft op de deelnemers, constant is gedurende het experiment. Er is altijd echter een mogelijkheid dat de resultaten alleen generaliseerbaar zijn tot bepaalde types onderzoeker. Een warme, vriendelijke onderzoeker zal bijna zeker andere resultaten geven dan een koude, onvriendelijke onderzoeker. Ook een man of een vrouw kan verschillen. Een oplossing voor het probleem van generalisatie voor andere onderzoekers is het gebruiken van 2 of meer onderzoekers.
Pretests and Generalization
Intuïtief lijkt het een goed idee om een pretest te geven. De onderzoeker is er dan zeker van dat de groepen gelijkwaardig zijn, en het is vaak meer bevredigend om te zien dat individuen hun scores veranderden. Een pretest zorgt er ook voor dat de onderzoeker afsterving kan vaststellen. Pretesting kan er echter voor zorgen dat de mogelijkheid om te generaliseren naar populaties die geen pretest hebben gekregen, gelimiteerd wordt. Het nemen van een pretest kan er al voor zorgen dat deelnemers zich anders gedragen dan als ze geen pretest hadden gekregen.
Generalizing from Laboratory Settings
Onderzoek gedaan in een laboratorische setting heeft het voordeel dat de onderzoeker de impact van de onafhankelijke variabele onder goed gecontroleerde condities kan bestuderen. Mook (1983): generalisatie naar echte settings is niet relevant wanneer het doel van het onderzoek is om te onderzoeken of er een causale relatie bestaat in nauwkeurig gecontroleerde condities. Uit onderzoek blijkt dat eenzelfde soort onderzoek in het laboratorium en in het veld, erg op elkaar leek qua resultaten. Dus ookal zijn ze opgezet in andere settings, de resultaten zijn aanvullend op elkaar in plaats van tegenstrijdig. Wanneer bevindingen worden gerepliceerd in verschillende methoden, vergroot dit ons vertrouwen in de externe validiteit van de bevindingen.
Generalization as a Statistical Interaction
Onderzoekers kunnen problemen met externe validiteit die voortkomen uit het gebruik van verschillende populaties aankaarten door het subject type erbij te betrekken als een variabele in het onderzoek. Door het betrekken van variabelen zoals gender, leeftijd, of etniciteit, kunnen de resultaten geanalyseerd worden om te bepalen of er interactie-effecten zijn.
The Importance of Replications
Replicatie van onderzoek is een manier om enige problemen van generalisatie, die ontstaan in een enkel onderzoek, te overkomen.
Er zijn 2 typen replicaties:
Exacte replicaties: dit is een poging om de procedures van een onderzoek precies te repliceren om te zien of dezelfde resultaten worden behaald. Een onderzoeker wie een onverwachte bevinding doet zal herhaald repliceren om ervoor te zorgen dat deze bevinding betrouwbaar is. Wanneer je de originele onderzoeksbevindingen repliceert door erg vergelijkbare procedures te gebruiken, zal je vertrouwen in de externe validiteit van de originele bevindingen worden vergroot. Een faal in het repliceren kan betekenen dat de originele onderzoeksresultaten niet valide waren, maar het kan ook betekenen dat de replicatie niet goed was.
Conceptuele replicaties:
Onafhankelijke variabele en/of afhankelijke variabele worden op een andere manier geoperationaliseerd.
het gebruik van andere procedures om een onderzoeksbevinding te repliceren. Hierbij is eenzelfde onafhankelijke variabele geoperationaliseerd op een andere manier, en de afhankelijke variabele kan ook op een andere manier gemeten worden. Conceptuele replicaties zijn erg belangrijk in de sociale wetenschappen omdat de variabelen erg complex zijn en op veel verschillende manieren kunnen worden geoperationaliseerd. Wanneer conceptuele replicaties vergelijkbare resultaten produceren, wordt ons vertrouwen in de generaliseerbaarheid van relaties tussen variabelen vergroot.
een literatuurbeoordeling
In een literatuurbeoordeling, leest een recensent een aantal onderzoeken die een bepaald onderwerp aankaarten, en schrijft dan een paper om de literatuur samen te vatten en te evalueren. De literatuurbeoordeling geeft informatie dat (1) samenvat wat er is gevonden, (2) de lezer vertelt welke bevindingen sterk ondersteund zijn en welke zwak ondersteund in de literatuur, (3) inconsistente bevindingen aanwijst en gebieden waar onderzoek ontbreekt en (4) toekomstige richtingen van onderzoek discussieert.
meta-analyse
Een andere manier om veel onderzoeken in een gebied te vergelijken is een meta-analyse. In een meta-analyse, combineert de onderzoeker de echte resultaten van een aantal onderzoeken. De analyse bestaat uit een set van statistische procedures die effectgroottes gebruiken om een bepaalde bevinding in veel verschillende onderzoeken te vergelijken. In plaats van het vertrouwen op oordelen verkregen in een verhalend literatuurbeoordeling, kan je statistische conclusies trekken van dit materiaal.
Een van de belangrijkste redenen dat een meta-analyse tot duidelijke conclusies kan leiden is dat meta-analytische onderzoeken focussen op effect-grootte (effect-grootte representeert de mate waarin 2 variabelen geassocieerd kunnen worden).
Beide literatuurbeoordelingen en meta-analysen geven waardevolle informatie en zijn vaak aanvullend op elkaar. Een meta-analyse geeft statistische, kwantitatieve conclusies, waar een literatuurbeoordeling trends identificeert in de literatuur en richtingen voor toekomstig onderzoek – een meer kwalitatieve benadering.
De validiteit
De validiteit van een onderzoek naar een causaal verband is de mate waarin men zeker kan zijn van het causale verband.
In een onderzoek naar een (causaal) verband tussen variabelen worden 4 stappen gemaakt:
- Er wordt geconstateerd dat de 2 gemiddelden verschillend zijn en er wordt statistisch getoetst of het verschil generaliseerbaar is naar de populatie waar de steekproef uit getrokken is. Slechts een feitelijke constatering.
- Het verschil tussen de gemiddelden wordt toegeschreven aan het causale verband tussen de onafhankelijke variabele en de afhankelijke variabele zoals zij feitelijk zijn geoperationaliseerd.
- Het causale verband wordt geïnterpreteerd als een causaal verband tussen de theoretische begrippen die men beoogde te operationaliseren.
- Het causale verband wordt gegeneraliseerd naar andere situaties (buiten het laboratorium) en andere populaties.
De mate waarin deze stappen redelijkerwijs zijn gerechtvaardigd noemt men respectievelijk de statistische validiteit (1), interne validiteit (2), construct validiteit (3) en externe validiteit (4) van het onderzoek.
Statistische validiteit
Definitie: de statistische validiteit van een onderzoek is de zekerheid waarmee men kan concluderen dat de twee gemiddelden ook in de populatie verschillend (of juist gelijk) zijn. Het is hier enkel de vraag of het steekproeftoeval kan worden uitgesloten als mogelijke verklaring.
Methode: nagaan of de onderzoeker een significant resultaat vond, hetgeen betekent dat de steekproef groot genoeg was. Daarbij is het nodig dat hij bij de analyses van zijn data de juiste procedures gebruikt, zoals voorgeschreven in statistiekboeken of zoals blijkt uit eigen statistisch inzicht.
Bedreiging voor statistische validiteit:
- De mogelijkheid dat het resultaat niet significant blijkt te zijn. (Steekproef te klein en het verschil niet meer dan toevalsfluctuatie).
- De mogelijkheid dat voor het analyseren van de gegevens een verkeerde toets wordt gebruikt en hierdoor verkeerde conclusies worden getrokken.
- ‘’Vissen naar hypotheses’’. Hiervan is sprake indien een onderzoeker eerst een hoop resultaten verzamelt en vervolgens alle mogelijke verschillen die hij kan vinden aan een statistische toets onderwerpt, zonder dat de onderzoeker hiervoor duidelijke theoretische gronden heeft.
Nodig voor statistische validiteit:
• Grote steekproef
• Juiste statistische analyses
Interne validiteit
Definitie: De interne validiteit van een onderzoek naar een causaal verband is de zekerheid waarmee kan worden geconcludeerd dat het vastgestelde verschil tussen de gemiddelden (de covariatie) het gevolg is van het causale verband dat getoetst wordt.
Methode: De interne validiteit wordt beoordeeld door het design en de controlemaatregelen van het onderzoek op een rijtje te zetten. Er wordt gekeken in hoeverre er sprake is van een zuiver experiment: manipulatie, of er een controlegroep is, of er sprake is van een voormeting, of er sprake is van randomisatie van groepen, randomisatie van volgorde of counterbalancen en welke storende variabelen zijn geëlimineerd en welke niet. Op grond hiervan wordt nagegaan welke alternatieve verklaringen niet kunnen worden uitgesloten en wordt de plausibiliteit van deze alternatieve verklaringen overwogen. Indien er plausibele alternatieve verklaringen zijn dan worden deze genoemd als beperking van de interne validiteit. Indien er geen plausibele alternatieve verklaringen zijn, dan wordt geconcludeerd dat het onderzoek een hoge interne validiteit heeft.
Nodig voor interne validiteit:
• Een zuiver experiment
Over het algemeen geldt: Interne validiteit bij - Niet-experimenteel onderzoek: laag - Pre-experimenten: laag - Quasi-experiment: redelijk/matig, mits er geen duidelijke storende variabelen zijn.
Constructvaliditeit
Definitie: De constructvaliditeit van het onderzoek is de zekerheid waarmee kan worden geconcludeerd dat de theoretische interpretatie van het causale verband geldig is. Daartoe is het onder meer nodig dat de onafhankelijke variabele en de afhankelijke variabele constructvalide operationalisaties zijn van de beoogde theoretische eigenschappen.
Methode: De constructvaliditeit wordt bepaald door:
1. Er wordt overwogen of de operationalisatie van de onafhankelijke variabele ertoe leidt dat niet alleen het beoogde begrip, maar ook andere zaken zijn gaan variëren. Zo kan het uitproberen van een nieuwe pil of therapie ertoe leiden dat de betreffende deelnemers tevens hoopvol gestemd worden, het idee krijgen dat ze belangrijk zijn, meer aandacht krijgen, etc., hetgeen een placebo-effect kan veroorzaken. De manipulatie (het geven van een nieuwe pil) is dan weliswaar effectief, maar het effectieve ingrediënt is niet de pil doch de nieuwheid ervan.
2. De constructvaliditeit van de onafhankelijke variabele en die van de afhankelijke variabele worden vastgesteld door meerdere onderzoeken te doen, waarbij de variabelen op verschillende wijzen worden geoperationaliseerd. Als het goed is moeten die onderzoeken dezelfde uitkomsten leveren.
Nodig voor constructvaliditeit: • Goede meetinstrumenten (zie ook week 7) • Constructvalide manipulaties • Placebo condities • Dubbelblind onderzoek
Manipulatiecheck als steun voor constructvaliditeit van onderzoek.
Externe validiteit
Definitie: De externe validiteit van een onderzoek is de zekerheid waarmee de conclusies kunnen worden gegeneraliseerd naar andere personen of situaties.
Methode: Om de externe validiteit te bepalen moet er eerst een doel-populatie van personen of situaties gedefinieerd zijn waarop men de conclusie zou willen betrekken. Vervolgens is de vraag of de personen en situaties van het onderzoek kunnen worden gezien als een willekeurige (aselecte) steekproef uit die populatie. Zo ja, dan is de externe validiteit goed. Zo nee, dan is de vraag hoe aannemelijk het is dat de deelnemers wat betreft het onderzochte onderwerp sterk afwijken van de doel-populatie.
Op welke personen en situaties wil je de conclusies betrekken?
Doelpopulatie
Doelsituaties
Nodig voor externe validiteit:
• Random selectie van proefpersonen
• Random selectie van situaties
In de meeste studies binnen psychologie:
• Proefpersonen
o Studenten
o Vrijwilligers
o Meer vrouwen dan mannen
• Situaties
o Zelfde experimentator
o Pretest
o Laboratorium
Bij de externe validiteit moet je kijken naar de representatie richting doelpopulaties en doelsituaties, als ze allebei goed zijn is de externe validiteit hoog, als één van de twee goed is de externe validiteit redelijk. Je moet in het tentamen altijd eerst benoemen wat de doelpopulaties en doelsituaties zijn en of dit dus representatief is.
Representativiteit (evalueren van een steekproef)
Kwaliteit van een steekproef wordt bepaald door representativiteit
Representatieve steekproef:
Kenmerken steekproef = kenmerken populatie (m.u.v. de grootte).
Probability sampling is de enige manier om representatieve steekproeven te krijgen
Bij nonprobability sampling: waarschijnlijk dat de steekproef ‘’gebiased’’ is (i.e. niet representatief)
Vinden het vaak in de psychologie niet erg als het een gemakssteekproef is:
- We hadden een bepaalde hypothese, en in die steekproef is hij bevestigd.
- Psychologische fenomenen zijn vaak universeel.
- In de psychologie staat een onderzoek nooit alleen.
Random selecteren van de steekproef
Nodig voor generalisatie
Niet nodig voor causale interpretatie
Random splitsen van de steekproef
Niet nodig voor generalisatie
Nodig voor causale interpretatie
