Kwaliteit (validiteit & trustworthiness) van Onderzoek Flashcards
Wat zijn bij kwantitatief onderzoek
Interne validiteit en bedreigingen
Interne validiteit
Een onderzoek is intern valide als je vanuit de gekozen
onderzoekmethodes de juiste conclusies kunt trekken.
Bedreigingen:
- In het design van je studie
- In de populatie en steekproef
- In het uitvoeren van de interventie
- In de dataverzameling
- In de data analyse
Ad. 1: bedreigingen vanuit het design (kwantitatief onderzoek)
vanuit de piramide level of evidence: Level 1: meta anlalyse, systematische review Level 2: RCT level 3: Cohort studies Level 4: Case controlled studies level 5: Case studie
Wat doe je eraan:
Je kiest een zo krachtig mogelijk design binnen de
context van je onderzoeksvraag en je mogelijkheden
Ad. 2: bedreiging vanuit je participanten (kwantitatief)
- Onderzoekspopulatie is niet representatief voor de
populatie - Onderzoekspopulatie is te klein en daardoor is je studie
under-powered.
–> SELECTIEBIAS
Wat doe je aan bedreiging vanuit populatie (ad 2) bij kwantitatief onderzoek?
Type steekproef!!!
–> Bij voorkeur aselect en gerandomiseerd
• Random toewijzing aan de controle en experimentele conditie
• Power berekening
(http://www.download82.com/download/windows/g-power/ )
Homogeniteit nastreven door:
• matching,
• blocking van confouding variabelen of statistische controle van het effect van confounders (covariantieanalyse)
‘……maar dan moet je wel weten welke confounders invloed hebben’
Verschillende typen aselecte steekproeven
- Enkelvoudige steekproef
–> Uit een systeem willekeurig een respondent selecteren.
Sterkte: Simpele manier
Zwakte: Moeilijk om sampling frame (steekproefkader) te construeren - Systematische steekproef
–> Elke vijfde of tiende respondent uit de lijst pakken.
Sterkte: Makkelijker te gebruiken dan de voorgaande.
Zwakte: De representativiteit kan afnemen. - Gestratificeerde steekproef
–> Opdelen van de populatie in homogene subgroepen
Sterkte: Alle belangrijke subpopulaties zijn opgenomen.
Zwakte: Homogene subsets zijn noodzakelijk. - Cluster steekproef Opdelen populatie in heterogene
–> deelgroepen, random keuze van clusters, ondervragen van selectie in cluster
Sterkte: Makkelijk te implementeren.
Zwakte: Heterogene subpopulaties zijn consequentie.
Gestratificeerde Steekproef
• Populatie wordt onderverdeeld in groepen met gelijke
kenmerken (strata)
• Vervolgens at random uit de strata je steekproef trekken
Voorbeeld: Van GGZ instelling met 750 pt, 4 strata: - klinisch man - klinisch vrouw - ambulant man - ambulant vrouw Steekproef van 160 (40 per stratum)
Wat is een Clustersteekproef of getrapte
steekproef
(nav bedreigingen populatie)
• Wanneer je populatie heel groot is en uit deelpopulaties
bestaat
• Steekproefkader voor de hele populatie niet beschikbaar is
• Eerst at random steekproef van kleinere eenheden, de
deelpopulaties of clusters
• Vervolgens per geselecteerde eenheid een at random
steekproef voor participanten
Welke type Selecte steekproeven zijn er
- Gelegenheidsstreekproef (Convenience sampling)
–> Willekeurig kiezen van mensen
Sterkte: Gemak
Zwakte: Niet generaliseerbaar - Doelgerichte steekproef (Judgment): ‘interviewing experts’
–> Deskundigen selecteren respondenten die specifieke
kennis hebben van… (v.b.: discriminatie)
Sterkte: Gemak
Zwakte: Subjectief - Sneeuwbal methode: ‘ken je mensen die ook….’
Via via, b.v. ratelslang-eigenaren
Sterkte: Zeldzame karakteristieken
Zwakte: kost veel tijd - Quota steekproef:
–> bepaal een maximum aantal personen bij wie je de steekproef afneemt ( bijv. Geslacht m/v, klantenkaart, ja/nee, werk ja/nee)
Sterkte: Sample kan gecontroleerd worden voor bepaalde
variabelen
Zwakte: Generaliseerbaarheid is aandachtspunt
Ad. 3: bedreiging vanuit de uitvoering van de interventie
bij kwantitatief onderzoek
• Reactie van de participant/therapeut op het in een studie
zitten
• Verwachtingen van de onderzoeker en verlies van
onafhankelijkheid
• Novelty effect
• Compenseren voor het mogelijk gemis bij controlegroep
• Behandel-contaminatie / problemen met modelgetrouwe
uitvoering
Ad. 3: bedreiging vanuit de uitvoering van de interventie
Wat doe je eraan?
• Blinderen van respondent/onderzoeksmedewerker
behandelaar
• Modelgetrouwheidsmetingen
• Peer debriefing (collega’s)
Ad. 4: bedreiging vanuit de dataverzameling
bij kwantitatief onderzoek
- Keuze van meetinstrumenten
- Onvoldoende verdiepen in de klinimetrische eigenschappen van de instrumenten
= INFORMATIEBIAS
Welke eigenschappen moet een meetinstrumenten aan voldoen?
• Hoe betrouwbaar is het instrument?
• Hoe valide is het instrument?
• Hoe hanteerbaar is een instrument?
Daarnaast:
• Is het instrument beschikbaar (taal, mogelijke kosten,
afspraken met ontwikkelaars/eigenaars,…)?
Wat betekend “Validiteit van het meetinstrument”
• Meet je wat je wil meten?
– bij experimenteel onderzoek: de mate waarin het
manipuleren van de onafhankelijke variabele
verantwoordelijk is voor variatie op de afhankelijke
variabele en niet wat anders…
Soorten validiteit van het meetinstrument
- Face validiteit (eye ball method)
- Content validiteit (inhoudsvaliditeit)
- Construct validiteit (theorie)
- Criterium validiteit (gouden standaard)
- Predictieve validiteit (voorspellend vermogen)
Betrouwbaarheid van het meetinstrument
- Test-hertest betrouwbaarheid
- Interbeoordelaarsbetrouwbaarheid
- Interne consistentie
Een niet betrouwbaar instrument is een ernstige bedreiging
voor de interne validiteit van het onderzoek!
