Kwaliteit (validiteit & trustworthiness) van Onderzoek Flashcards
Wat zijn bij kwantitatief onderzoek
Interne validiteit en bedreigingen
Interne validiteit
Een onderzoek is intern valide als je vanuit de gekozen
onderzoekmethodes de juiste conclusies kunt trekken.
Bedreigingen:
- In het design van je studie
- In de populatie en steekproef
- In het uitvoeren van de interventie
- In de dataverzameling
- In de data analyse
Ad. 1: bedreigingen vanuit het design (kwantitatief onderzoek)
vanuit de piramide level of evidence: Level 1: meta anlalyse, systematische review Level 2: RCT level 3: Cohort studies Level 4: Case controlled studies level 5: Case studie
Wat doe je eraan:
Je kiest een zo krachtig mogelijk design binnen de
context van je onderzoeksvraag en je mogelijkheden
Ad. 2: bedreiging vanuit je participanten (kwantitatief)
- Onderzoekspopulatie is niet representatief voor de
populatie - Onderzoekspopulatie is te klein en daardoor is je studie
under-powered.
–> SELECTIEBIAS
Wat doe je aan bedreiging vanuit populatie (ad 2) bij kwantitatief onderzoek?
Type steekproef!!!
–> Bij voorkeur aselect en gerandomiseerd
• Random toewijzing aan de controle en experimentele conditie
• Power berekening
(http://www.download82.com/download/windows/g-power/ )
Homogeniteit nastreven door:
• matching,
• blocking van confouding variabelen of statistische controle van het effect van confounders (covariantieanalyse)
‘……maar dan moet je wel weten welke confounders invloed hebben’
Verschillende typen aselecte steekproeven
- Enkelvoudige steekproef
–> Uit een systeem willekeurig een respondent selecteren.
Sterkte: Simpele manier
Zwakte: Moeilijk om sampling frame (steekproefkader) te construeren - Systematische steekproef
–> Elke vijfde of tiende respondent uit de lijst pakken.
Sterkte: Makkelijker te gebruiken dan de voorgaande.
Zwakte: De representativiteit kan afnemen. - Gestratificeerde steekproef
–> Opdelen van de populatie in homogene subgroepen
Sterkte: Alle belangrijke subpopulaties zijn opgenomen.
Zwakte: Homogene subsets zijn noodzakelijk. - Cluster steekproef Opdelen populatie in heterogene
–> deelgroepen, random keuze van clusters, ondervragen van selectie in cluster
Sterkte: Makkelijk te implementeren.
Zwakte: Heterogene subpopulaties zijn consequentie.
Gestratificeerde Steekproef
• Populatie wordt onderverdeeld in groepen met gelijke
kenmerken (strata)
• Vervolgens at random uit de strata je steekproef trekken
Voorbeeld: Van GGZ instelling met 750 pt, 4 strata: - klinisch man - klinisch vrouw - ambulant man - ambulant vrouw Steekproef van 160 (40 per stratum)
Wat is een Clustersteekproef of getrapte
steekproef
(nav bedreigingen populatie)
• Wanneer je populatie heel groot is en uit deelpopulaties
bestaat
• Steekproefkader voor de hele populatie niet beschikbaar is
• Eerst at random steekproef van kleinere eenheden, de
deelpopulaties of clusters
• Vervolgens per geselecteerde eenheid een at random
steekproef voor participanten
Welke type Selecte steekproeven zijn er
- Gelegenheidsstreekproef (Convenience sampling)
–> Willekeurig kiezen van mensen
Sterkte: Gemak
Zwakte: Niet generaliseerbaar - Doelgerichte steekproef (Judgment): ‘interviewing experts’
–> Deskundigen selecteren respondenten die specifieke
kennis hebben van… (v.b.: discriminatie)
Sterkte: Gemak
Zwakte: Subjectief - Sneeuwbal methode: ‘ken je mensen die ook….’
Via via, b.v. ratelslang-eigenaren
Sterkte: Zeldzame karakteristieken
Zwakte: kost veel tijd - Quota steekproef:
–> bepaal een maximum aantal personen bij wie je de steekproef afneemt ( bijv. Geslacht m/v, klantenkaart, ja/nee, werk ja/nee)
Sterkte: Sample kan gecontroleerd worden voor bepaalde
variabelen
Zwakte: Generaliseerbaarheid is aandachtspunt
Ad. 3: bedreiging vanuit de uitvoering van de interventie
bij kwantitatief onderzoek
• Reactie van de participant/therapeut op het in een studie
zitten
• Verwachtingen van de onderzoeker en verlies van
onafhankelijkheid
• Novelty effect
• Compenseren voor het mogelijk gemis bij controlegroep
• Behandel-contaminatie / problemen met modelgetrouwe
uitvoering
Ad. 3: bedreiging vanuit de uitvoering van de interventie
Wat doe je eraan?
• Blinderen van respondent/onderzoeksmedewerker
behandelaar
• Modelgetrouwheidsmetingen
• Peer debriefing (collega’s)
Ad. 4: bedreiging vanuit de dataverzameling
bij kwantitatief onderzoek
- Keuze van meetinstrumenten
- Onvoldoende verdiepen in de klinimetrische eigenschappen van de instrumenten
= INFORMATIEBIAS
Welke eigenschappen moet een meetinstrumenten aan voldoen?
• Hoe betrouwbaar is het instrument?
• Hoe valide is het instrument?
• Hoe hanteerbaar is een instrument?
Daarnaast:
• Is het instrument beschikbaar (taal, mogelijke kosten,
afspraken met ontwikkelaars/eigenaars,…)?
Wat betekend “Validiteit van het meetinstrument”
• Meet je wat je wil meten?
– bij experimenteel onderzoek: de mate waarin het
manipuleren van de onafhankelijke variabele
verantwoordelijk is voor variatie op de afhankelijke
variabele en niet wat anders…
Soorten validiteit van het meetinstrument
- Face validiteit (eye ball method)
- Content validiteit (inhoudsvaliditeit)
- Construct validiteit (theorie)
- Criterium validiteit (gouden standaard)
- Predictieve validiteit (voorspellend vermogen)
Betrouwbaarheid van het meetinstrument
- Test-hertest betrouwbaarheid
- Interbeoordelaarsbetrouwbaarheid
- Interne consistentie
Een niet betrouwbaar instrument is een ernstige bedreiging
voor de interne validiteit van het onderzoek!
Plaatjes van schietschijf mbt validiteit, zie PP les 1, WKO 2
Ad. 5: bedreiging vanuit de data-analyse
bij kwantitatief onderzoek
- Juistheid van de data-invoer
- Uitbijters/ Outliers
- Juistheid van de statistische toetsen
- Wel/niet afronden van de gehele interventie…
Ad. 5: bedreiging vanuit de data-analyse
Wat doe je eraan?
- Controle van de data-invoer
- Frequentieverdeling maken (normaalverdeling)
- Geen concessies
- Intention to treat analyse
Wat betekent:
Externe validiteit bij kwantitatief onderzoek
• Ofwel de generaliseerbaarheid van je resultaten
• De mate waarin je kan verantwoorden dat je resultaten
gelden voor een grotere groep dan je
onderzoekspopulatie
Bedreigingen van externe validiteit bij kwantitatief onderzoek
• RCT op specifieke deelpopulatie:
(vb. gezonde niet rokende blanke mannen tussen 21 en 35)
• Interactie tussen resultaten en variatie in de uitvoering
(Mentalisation based treatment werkt vooral als Bateman
het geeft…)
Bedreigingen van externe validiteit
Wat doe je eraan?
- Zorgen voor een representatieve steekproef
- Replicatiestudies
- Meta-analyses
Validiteit bij Kwalitatief onderzoek heet
—> Trustworthiness!
Hoe wordt Validiteit en betrouwbaarheid bij kwalitatief onderzoek bereikt?
- Geen instrumenten maar interviews, topiclijsten
… de onderzoeker als instrument - Onderscheid in:
–> Juistheid van de data-verzamelmethode
–> Juistheid van de onderzoeksstrategie - Geldigheid van de analyse en de geldigheid van de
interpretatie van de onderzoeker - De adequaatheid van de analyse en van de interpretatie
bepaalt de juistheid van de conclusies
Trustworthiness/betrouwbaarheid:
Verschil in termen kwalitatief/kwantitatief
Construct Kwantitatief Kwalitatief
Truth value
geloofwaardigheid Internal validity Credibility
Consistency
duurzaamheid Reliability Dependability
Neutrality Objectivity Confirmability
Applicability
overdraagbaarheid External validity Transferability
Validiteit bij Kwalitatief onderzoek
Wat te doen?
- De analysestappen die de onderzoeker tot bepaalde
interpretaties hebben gebracht beschrijven en op
reflecteren. - Methodische verantwoording
- Reflectie op de rol van onderzoeker
– Bracketing (eigen veronderstellingen, aan de kant te
zetten, standpunt van de respondent te registreren)
– Peer debriefing
– Logboek bijhouden - Triangulatie (meerdere bronnen van data gebruiken,
zodat bevindingen dubbel gecheckt worden)
– Theoretische triangulatie
– Data-triangulatie
– Methodische triangulatie (methode en analyse)
– Onderzoekerstriangulatie (peer debriefing) - Terugkoppeling aan participanten (member check)
