14. betrouwbaaarheid en validiteit Flashcards
wat zijn de belangrijkste criteria voor de beoordeling van onderzoekskwaliteit? (2)
- betrouwbaarheid
2. validiteit
waar kunnen we met betrouwbaarheid en validiteit naar kijken?
- naar 2 soorten fouten die in het oz kunnen voorkomen:
1. toevallige fouten
2. systematische fouten
wat moet men doen om meetfouten te minimaliseren?
= de eigenschappen van de meting achterhalen:
- inzicht in betekenis v betrouwbaarheid en validiteit is hiervoor een vereiste
betrouwbaarheid =
= de mate waarin onderzoek vrij is van toevallige fouten
- > heeft betrekking op de manier v meten
- > een betrouwbare meetmethode leidt tot accurate uitkomsten
waar gaat validiteit over? =
= gaat over de mate waarin de uitkomsten van een onderzoek toegepast kunnen worden op andere situaties, personen, plaatsen en de mate waarin de onderzoeksopzet geschikt is om de probleemstelling te beantwoorden
toevallige fouten=
= fouten door onverwachte en onberekenbare factoren
(-> onbetrouwbaar maar valide, denk aan schietschijf)
(bv het verkeerd aflezen vd tijd, kruisje bij het verkeerde antwoord, onduidelijk antwoord op een vraag)
systematische fouten =
=
betrouwbaar maar niet valide, denk aan schietschijf
herhaalbaarheid =
= wanneer het onderzoek op dezelfde manier wordt uitgevoerd, door een andere onderzoeker, en op een ander tijdstip of door andere omstandigheden, dan dient dit tot dezelfde uitkomsten te leiden.
-> meet iedere keer hetzelfde
soorten betrouwbaarheid (3)
- kwantitatief
- kwalitatief
- kwantitatief en kwalitatief
methoden kwantitatieve betrouwbaarheid =
= hoe groter de steekproef, hoe nauwkeuriger je een uitspraak kunt doen
1. test-herhaling test (herhaling v methoden)
test-herhaling test =
door de herhaling v methoden kun je bepalen of je oz betrouwbaar is.
bv twee keer dezelfde survey met waarderingsschaal voorleggen en kijken of ze hetzelfde antwoorden als de vorige keer
methoden kwalitatieve betrouwbaarheid (3) =
- interbeoordelaarsbetrouwbaarheid (mate waarin oz-ers het eens zijn over de resultaten)
- triangulatie (gebruik v verschillende methodes)
- iteratie (herhaling v dataverzameling en analyse)
interbeoordelaarsbetrouwbaarheid =
= de mate waarin onderzoekers het eens zijn over de resultaten.
-> voor kwalitatieve betrouwbaarheid moeten onderzoekers het dus zo veel mogelijk met elkaar eens zijn
triangulatie =
= de kwalitatieve betrouwbaarheid verhogen door verschillende methodes gebruiken
- je controleert als het ware of een verkregen resultaat klopt als je gebruik maakt v/e andere
iteratie =
= het herhalen v dataverzameling en analyse, waardoor je eigenlijk aan de voorwaarde van herhaalbaarheid voldoet
-> je neemt waar, analyseert en interpreteert, en herhaalt deze stappen daarna tot je concludeert dat je de probleemstelling kunt beantwoorden
methoden kwantitatieve én kwalitatieve betrouwbaarheid (3) =
- standaardisatie (factoren geen invloed laten uitoefenen op de afhankelijke variabele)
- pilot/ proefinterview (betrouwbaarheid v topiclijst verhogen)
- vier-ogen principe (collega-onderzoeker mee laten kijken)
standaardisatie =
ervoor zorgen dat zoveel mogelijk factoren, naast de onafhankelijke variabele, geen invloed kunnen uitoefen op de afhankelijke variabele
pilot/proefinterview =
bij interviews en surveys kan een proefinterview de betrouwbaarheid van je topiclijst verhogen
vier-ogen principe =
een collega-onderzoeker kijkt mee naar het onderzoek en de verslaggeving en geeft feedback
validiteit =
= de geldigheid van je onderzoek of de mate waarin het onderzoek vrij is van systematische fouten
(kijken naar de echtheid, het waarheidsgehalte vh oz)
(bv het geven v sociaal wenselijke antwoorden)
soorten validiteit (2)
- interne validiteit
2. externe validiteit
interne validiteit =
= als je de juiste conclusies kunt trekken
= dit zijn conclusies die standhouden en kritiek v collega-onderzoekers kunnen overleven
sitauties waarin in interne validiteit in gevaar kan komen (6)
- selectie v proefpersonen (enkel meningen v/e selecte groep)
- groei, maturation (bij lang oz kan een verandering automatisch plaatsvinden, bv bij peuters)
- instrumentatie (instrumentatie veranderen levert vertekening in antwoorden op, bv vragenlijst bijstellen)
- mortaliteit (uitval)
- testeffect (als men anders reageert vanwege deelname)
- begripsvaliditeit (is begrip goed meetbaar gemaakt?)
externe validiteit =
= de mogelijkheid om de date te generaliseren over personen, situaties en perioden.
- hierbij steekproef van belang: hoe groter de steekproef, hoe groter de reikwijdte vd resultaten
(statische en inhoudelijke generaliseerbaarheid)
bedreiging v betrouwbaarheid bij een survey (3) =
- respondent weet het antwoord niet en vult maar wat in
- respondent heeft bij het invullen last v geruis
- respondent vult per ongeluk verkeerd antwoord in
hoe betrouwbaarheid bewaren bij een survey (7)
- formuleer vragen duidelijk en eenduidig
- neem survey af op plek zonder afleiding
- neem bij alle respondenten survey af onder dezelfde omstandigheden
- voer een pilot uit (proefonderzoekje)
- neem een vraag 2 keer op in de lijst en vergelijk de antwoorden
- neem een grote steekproef (een enkele verkeerd ingevulde vraag heeft dan geen effect op totaal)
- afnames herhalen en kijken of dezelfde resultaten uitkomen (voor herhaalbaarheid)
validiteit bewaren bij survey (4)
- begripsvaliditeit vooral v belang (echt attitude tov onderwerp meten, niks anders)
- meet wat je wilt meten, operationaliseren, afbakenen
- externe validiteit: hoe groter steekproef, hoe groter reikwijdte
- externe validiteit: is het moment waarop je meet wel representatief voor alle momenten waarop je zou kunnen meten?
betrouwbaarheid bewaren bij experiment (4) =
- denk aan toevallige fouten (kind lust geen appel etc)
- herhaalbaarheid (elke keer dezelfde instructie etc)
- hoe groter steekproef, des te nauwkeuriger je een uitspraak kan doen
- laat meerdere onderzoekers conclusies trekken, om de gevoeligheid v interpretatie vd afhankelijke te beperken (interbeoordelaarsbetrouwbaarheid, 4-ogen principe)
validiteit bewaren bij experiment (‘2’)
- random toewijzen
2. voormeting doen (ene groep kan bv agressiever zijn dan andere)
