Week 4 Evalueren van onderzoek Flashcards
steekproef
Met een goede steekproef kan je de informatie verkregen van deelnemers gebruiken om de karakteristieken te schatten van de populatie als algeheel.
populatie
De populatie bestaat uit alle individuen die interessant zijn voor de onderzoeker.
betrouwbaarheidsinterval
Een betrouwbaarheidsinterval is een intervalschatting voor een parameter. Bijvoorbeeld de betrouwbaarheid dat de populatiewaarde tussen 58% (61-3) en 64% (61+3) ligt. Het betrouwbaarheidsinterval geeft informatie over de waarschijnlijke hoeveelheid error. De formele term hiervoor is steekproef error, of foutmarge. Hoe dichterbij je bent om de gehele populatie te bevragen, hoe accurater de schatting van het antwoord kan zijn. De grootte van het betrouwbaarheidsinterval wordt door verschillende factoren bepaald, maar het belangrijkste is de steekproefgrootte.
Steekproefgrootte is niet een vast percentage van de populatiegrootte.
Sampling Techniques
Er zijn 2 brede categorieën voor het nemen van steekproeven van een populatie:
• Kanssteekproeven: elke lid van de populatie heeft een specificeerbare waarschijnlijkheid (kans) om gekozen te worden. Dit is nodig wanneer je precieze uitspraken wil doen over een specifieke populatie.
• Niet-kanssteekproeven: de waarschijnlijkheid (kans) van gekozen worden van elk lid van de populatie is niet bekend. Dit wordt vaak gebruikt en is bruikbaar in veel omstandigheden.
Enkelvoudige aselecte steekproef (Simple Random Sampling)
(kanssteekproef). Hierbij heeft elk lid van de populatie een even grote kans om geselecteerd te worden voor de steekproef.
Voordeel: representatief voor de populatie.
Nadeel: kan meer kosten. kan moeilijk zijn om de volledige lijst van alle leden van een populatie te krijgen.
Gestratificeerde aselecte steekproef (Stratified Random Sampling)
(kanssteekproef).
Strata: deelpopulaties
Ook kleine deelpopulaties vertegenwoordigd
Steekproefkader: vorm van administratie waarin alle leden van de populatie zijn geregistreerd
Ook kenmerken van de deelpopulaties om te stratificeren
Proportioneel: als het aandeel van de deelpopulatie in de steekproef gelijk is aan het aandeel in de populatie als geheel
Een meer ingewikkeldere procedure. De populatie wordt opgedeeld in subgroepen (ook wel bekend als strata/lagen), en dan worden willekeurige steekproeftechnieken gebruikt om leden te selecteren van elk stratum. Elke hoeveelheid van dimensies zou gebruikt kunnen worden om de populatie te verdelen, maar de dimensies gekozen moeten relevant zijn voor het onderwerp van het onderzoek. Haarkleur voor een politiek onderwerp is bijvoorbeeld niet goed.
Dit is handig omdat het een ingebouwde verzekering heeft dat de steekproef nauwkeurig de numerieke samenstelling van de verschillende subgroepen weergeven. Dit is vooral belangrijk wanneer sommige subgroepen kleine percentages weergeven in de populatie.
Voordeel: representatief voor de populatie.
Nadeel: kan meer kosten. kan moeilijk zijn om de volledige lijst van alle leden van een populatie te krijgen.
Clustersteekproef (Cluster Sampling)
(kanssteekproef). • Clusters van personen identificeren • Aselecte selectie van clusters • Personen in de clusters worden deelnemer Geen lijst van deelnemers.
Kan gebruikt worden als het moeilijk is om een lijst te krijgen met alle leden van een populatie: dit is het grootste voordeel van deze vorm. In plaats van het kiezen van een steekproef op gerandomiseerde wijze van een lijst, kan de onderzoeker clusters van individuen identificeren en dan een steekproef maken van deze clusters.
Voordeel: Onderzoeker hoeft niet van een lijst een steekproef te halen om een volledige random steekproef te maken.
Nadeel: Kan meer kosten.
Kan moeilijk zijn om de volledige lijst van alle leden van een random gekozen cluster te krijgen.
(Gemakssteekproef) Haphazard of convenience Sampling
(niet-kanssteekproef) Een bekende vorm van niet-kanssteekproeven. Convenience sampling zou ‘neem-ze-waar-je-ze-vindt’-methode kunnen worden genoemd ten aanzien van het verkrijgen van deelnemers. Bijvoorbeeld het staan bij de uni-bushalte en de mensen vragen die langskomen. Dit is een procedure waarbij bias snel kan ontstaan, en een inaccurate weergave geven van de populatie.
Voordeel: goedkoop, efficiënt en makkelijk.
Nadeel: grote kans dat er bias komen; resultaten kunnen mogelijk niet gegeneraliseerd worden naar de bedoelde populatie.
Doelgerichte steekproef (Purposive Sampling)
Het doel is om een steekproef te verkrijgen van mensen die aan een bepaalde vooraf bepaalde criteria voldoen. Bijvoorbeeld bij een bioscoop mensen vragen voor een vragenlijst, en dan alleen de mensen onder de 30. Dit is een goede manier om de steekproef te limiteren naar een bepaalde groep mensen. Dit is echter geen kanssteekproef want selectie wordt bepaald door gemak.
Voordeel: steekproef bevat alleen de typen individuen waar je geïnteresseerd in bent.
Nadeel: grote kans dat er bias komen; resultaten kunnen mogelijk niet gegeneraliseerd worden naar de bedoelde populatie.
Quotasteekproef (Quota Sampling)
Een onderzoeker die deze techniek gebruikt, kiest een steekproef die de numerieke compositie van verschillende subgroepen in de populatie reflecteert. Dit lijkt op stratified sampling, echter, vindt er geen random sampling plaats bij quota sampling. Je zou alsnog gemakstechnieken gebruiken. De steekproef reflecteert wel de numerieke compositie van de hele populatie, maar deelnemers binnen elke groep worden lukraak geselecteerd.
Voordeel: goedkoop, efficiënt en makkelijk.
Nadeel: grote kans dat er bias komen; resultaten kunnen mogelijk niet gegeneraliseerd worden naar de bedoelde populatie; geen methode voor het kiezen van individuen in de subgroepen.
Ookal wordt er random steekproeven gebruikt, bias kan via 2 bronnen worden geïntroduceerd:
het steekproefkader dat is gebruikt en slechte responspercentages.
Het steekproefkader
Het steekproefkader is de échte populatie van individuen (of clusters) waarvan een random steekproef wordt gemaakt. Je merkt al snel dat het zeldzaam voorkomt dat dit perfect overeenkomt met je populatie. Als je bijvoorbeeld dokters wilt gebruiken en je alleen de dokters gebruikt in je telefoonboek. Je schakelt dan andere groepen dokters uit. Wanneer je de resultaten van je onderzoek evalueert, moet je overwegen hoe goed het steekproefkader matcht met de populatie.
Het responspercentage (evalueren van een steekproef)
Het responspercentage in een onderzoek is simpelweg het percentage mensen wie geselecteerd werden in de steekproef en ook de vragenlijst hebben afgemaakt. Dit is belangrijk want het indiceert hoeveel bias er misschien is in de definitieve steekproef.
Veel onderzoek gebruikt niet-kanssteekproeftechnieken om deelnemers te verzamelen.
De voordelen hiervan zijn is dat deelnemers worden verzameld zonder veel geld of tijd te besteden aan het selecteren van – of verzamelen van data van – de steekproef. De voordelen wegen vaak meer dan de nadelen. In perspectief plaatsend: een random steekproef van de VS zegt alsnog niets over populaties van andere landen.
Generaliseren naar andere populaties: Vrijwilligers
Hier kan de externe validiteit gelimiteerd zijn omdat de data van vrijwilligers anders kan zijn dan wat verzameld zou zijn van een meer algemene steekproef. Als je vrijwilligers vraagt over goed buurmanschap, zou het feit dat ze vrijwillig willen meedoen aan de vragenlijst al een teken kunnen zijn van goed buurmanschap. Vrijwilligers verschillen op veel manieren van niet-vrijwilligers.
Generaliseren naar andere populaties: online research participants
Onderzoekers kunnen potentiële deelnemers vinden door online vragenlijst services. Ook dit soort steekproefstrategie heeft belangrijke tekortkomingen voor externe validiteit. Er zijn nog steeds generalisatie problemen omdat internetgebruikers anders zijn dan de algemene populatie. Onderzoek laat zien dat mensen die leven in een suburb, hoog niveau school hebben, jonger zijn en een hoger inkomen hebben, meer tijd online besteden. Dus, met een online vragenlijst heb je een bepaalde doelgroep te pakken die mogelijk niet goed generaliseerbaar is naar de algemene populatie.
Generaliseren naar andere populaties: sekse en gender
Sekse verwijst naar de biologische classificatie en gender naar de socioculturele classificatie. Onderzoekers moeten niet sekse of gender categorieën uitsluiten wanneer ze deelnemers werven. Als een onderzoeker zijn resultaten wil generaliseren naar alle mensen, dan moeten ze er zeker van zijn dat hun steekproeven representatief zijn van alle mensen, en dit bevat verschillen in sekse, gender, en genderidentiteit.
Generaliseren naar andere populaties: Afkomst en etniciteit
Mensen op hun afkomst classificeren is lastig. Het vragen naar afkomst en etniciteit is erg belangrijk in de census en in vragenlijsten waarbij de data gebruikt gaan worden voor het maken van beleidskeuzes voor dingen zoals huisvesting en onderwijs.
Generaliseren naar andere populaties: locatie
De locatie waar deelnemers verworven worden kan ook een impact hebben op een onderzoek zijn externe validiteit. Deelnemers in een locatie kunnen verschillen van deelnemers op een andere locatie. Een onderzoek opgezet in een locatie zal misschien niet goed kunnen generaliseren naar een andere locatie, vooral als de variabelen gerelateerd zijn aan locatie op een of andere manier.
Generaliseren naar andere populaties: cultuur
Een groot kritiek punt richting de externe validiteit van veel gedragsmatige onderzoeken is of het generaliseerbaar is naar alle mensen of dat het een onderzoek is van de WEIRD (Western, Educated, Industrialized, Rich, Democratic) mensen. Het wordt tegenwoordig steeds makkelijker om, de rol die cultuur speelt in menselijk gedrag, te bestuderen.
Generaliseren naar andere populaties: nonhuman animals
We verwachten hierbij dat we kan generaliseren, omdat onze onderliggende biologische en gedragsmatige patronen gedeeld zijn. De waarde van het bestuderen van dieren is gedemonstreerd bij onderzoek dat ook van toepassing is bij mensen.
De persoon wie het experiment uitvoert is de bron van een ander probleem binnen externe validiteit.
Het algemene doel is om ervoor te zorgen dat elke invloed die de onderzoeker heeft op de deelnemers, constant is gedurende het experiment. Er is altijd echter een mogelijkheid dat de resultaten alleen generaliseerbaar zijn tot bepaalde types onderzoeker. Een warme, vriendelijke onderzoeker zal bijna zeker andere resultaten geven dan een koude, onvriendelijke onderzoeker. Ook een man of een vrouw kan verschillen. Een oplossing voor het probleem van generalisatie voor andere onderzoekers is het gebruiken van 2 of meer onderzoekers.
Pretests and Generalization
Intuïtief lijkt het een goed idee om een pretest te geven. De onderzoeker is er dan zeker van dat de groepen gelijkwaardig zijn, en het is vaak meer bevredigend om te zien dat individuen hun scores veranderden. Een pretest zorgt er ook voor dat de onderzoeker afsterving kan vaststellen. Pretesting kan er echter voor zorgen dat de mogelijkheid om te generaliseren naar populaties die geen pretest hebben gekregen, gelimiteerd wordt. Het nemen van een pretest kan er al voor zorgen dat deelnemers zich anders gedragen dan als ze geen pretest hadden gekregen.
Generalizing from Laboratory Settings
Onderzoek gedaan in een laboratorische setting heeft het voordeel dat de onderzoeker de impact van de onafhankelijke variabele onder goed gecontroleerde condities kan bestuderen. Mook (1983): generalisatie naar echte settings is niet relevant wanneer het doel van het onderzoek is om te onderzoeken of er een causale relatie bestaat in nauwkeurig gecontroleerde condities. Uit onderzoek blijkt dat eenzelfde soort onderzoek in het laboratorium en in het veld, erg op elkaar leek qua resultaten. Dus ookal zijn ze opgezet in andere settings, de resultaten zijn aanvullend op elkaar in plaats van tegenstrijdig. Wanneer bevindingen worden gerepliceerd in verschillende methoden, vergroot dit ons vertrouwen in de externe validiteit van de bevindingen.