Taak 6: (stap 4) operationalisaties en meetinstrumenten Flashcards
operational definition
definitie voor de variabelen in onderzoek,
omvat een specificatie en hoe je het gaat meten.
Meestal uit andere onderzoeken of literatuur. Wanneer je de definitie zelf construeert: checken bij andere experts.
operationalisatie = de vertaling van de definitie van een variabele naar een meetinstrument.
identificeren variabelen
uit onderzoeksvragen en hypotheses
instrument
tool voor meten/ observeren/ documenteren kwantitatieve data.
4 hoofdtypes van soort informatie:
- performance measures
- attitudinal measures
- behavioral observations
-factual information
tabel blz 180
performance measures (metingen van individuele prestaties)
prestaties meten dmv test
te meten door bestaande instrumenten. Genormeerd door eerder gebruik, dus kan vergeleken worden met typische score.
nadeel: meet niet individuele attitude, veel geld, tijd, bias voor bepaalde culturele groepen.
- achievement test (prestatie, vergelijken met grote groep anderen)
- criterion-referenced tests (prestatie, vergelijken met criterium of score)
- intelligentie test
- aptitude test (geschiktheid)
- interest inventory
- personality assessment (karakteristieken identificeren om gedrag te voorspellen en verklaren)
attitudinal measures (metingen van individuele attitudes)
meten emoties bij onderwijs topics
vaak eigen vragen of bestaand instrument.
bedachtzaam zijn op bias/ eerlijkheid
nadeel: levert geen bewijs voor gedrag
behavioral observations
met checklist of scoringslijst
voordeel: identificeren van gedrag van individueel (en dus niet iemands eigen ervaring)
nadeel: lastig te scoren, tijdrovend
en, bij meerdere observanten consistentie in de gaten houden
factual information (feitelijke observaties)
documenten beschikbaar in publieke domein
bv rapporten/ aanwezigheidsrapporten
alleen: data niet door onderzoekers zelf zorgvuldig verzameld.
digitaal data verzamelen
makkelijke, snelle vorm van data verzamelen
- meer valide/ cleaner
- analyses
- interviews digitaal dmv opgenomen vragen
- digitale tools gebruiken om databronnen te vinden
- met juiste toestemming veel digitale info beschikbaar
beperkingen in beschikbare emailadressen/technologie/
representativiteit
Hoe bepalen welke types info je kiest
- Wat probeer ik te leren over de participanten van mijn vragen/hypotheses?
- Welke info is ook realistisch?
- Hoe verhouden de voordelen van data verzamelen zich met de nadelen ervan?
wat is de bedoeling van een meetinstrument?
Op consistente wijze verschillende waarden van een variabele te kwantificeren, dus representeren als getalsmatige datareeks.
Met instrument worden de verschillende elementen van de variabele gemeten. Alle scores gemiddeld of opgeteld en zo tot totaalscore komen voor variabele.
vinden of ontwerpen van juiste instrument
- zelf ontwikkelen
Lastigste en meest tijdrovend, om valide instrument te ontwikkelen. Literatuuronderzoek, veel testen (pilotonderzoek). Zie figuur 5.9 blz 186. - bestaande aanpassen (modifying an instrument)
Hiervoor wel toestemming nodig.
Kan ook delen van verschillende bestaande gebruiken. - bestaande in geheel gebruiken
wat helpt bij zoeken instrument
- Zoeken in gepubliceerde artikelen
citaten/ schrijver/ vragen om testversie - ERIC systeem gebruiken met zoekterm ‘instruments’ en onderwerp
- zoeken naar commerciële testen, (bv Mental Measurements Yearbook of Tests in Print)
Naast wat schrijver beschikbaar heeft, ook zelf op zoek naar literatuur/reviews.
criteria voor kiezen van juiste instrument
- is het de meest recente versie? (niet ouder van vijf jaar)
- geciteerd/aanbevolen door anderen?
- zijn er reviews? (dan vinden mensen het de moeite waard)
- is er info over de betrouwbaarheid/ validiteit?
- bij prestatiemetingen: is het genormeerd?
- past de procedure voor het opnemen van de data bij jouw onderzoeksdoel en vragen? (ook: wie? zelf of door onderzoeker)
- heeft het een geaccepteerde meetschaal? goede antwoordopties. bv categorieën of schaal.
betrouwbaar instrument
stabiel en consistent
ongeveer zelfde scores als je test op ander moment/ andere plek
wanneer toevallige meetfouten afwezig zijn
valide instrument
meten wat je wil meten
wanneer systematische fouten afwezig zijn
focus op de consequenties van het gebruiken van de scores van een instrument
validiteit: meer omvattend/groter dan betrouwbaarheid. Betrouwbaar: scores zijn constistent. Begrippen kunnen deels overlappen.
5 procedures om betrouwbaarheid te testen van instrumenten (tabel blz 189)
- test-retest:
zelfde participanten met interval nog eens testen. Correlatie tussen uitkomst berekenen. Hoge correlatie = betrouwbaar.
(vd 1 instrument, nd: leereffect van maken test of de tijd) - alternate forms reliability: (paralleltestbetrouwbaarheid)
twee testen afnemen die hetzelfde meten, verder alles hetzelfde
(nd: lastig dezelfde te vinden) - alternate forms and test-retest reliability:
twee testen met zelfde part. met interval - interrater reliability:
(interbeoordelaarsbetrouwbaarheid)
bij observeren van gedrag laten doen door 2 of meer observanten, zelfde part. Dan vergelijken. Hoge correlatie = hoge betrouwbaarheid. Vd: bias ontdekken. Nd: trainen van observanten en vergelijken kan lastig zijn. - internally consistent:
(interne consistentie)
dezelfde vraag later in test, zou hetzelfde antwoord moeten komen.
Optie: vragen door de helft en tussen helften de relatie/correlatie bekijken. Dat verdelen kan willekeurig of met (computer)systeem.
bv Kuder-Richardson split half test
(zie volgende kaartje)
coefficient alpha als items gescoord worden op de manier van helemaal mee eens tot helemaal niet mee eens. (dus meerdere items ipv 2)
Kuder-Richardson split half test
wanneer:
- als scores in goed/fout zijn (2 opties)
- snelheid telt niet mee
- items meten een zelfde factor
bv gebruiken Spearman-Brown formule: berekent betrouwbaarheid van je test bij verlenging/verkorting.
gebruik maken van meer vragen = dus meer betrouwbaarheid.
bepalen of de scores van het instrument valide zijn
- zoeken naar bewijs bij eerdere onderzoeken
- goed doel van die studies bekijken
- hun discussie/interpretatie bekijken van het instrument
- bovenstaande evalueren
types van bewijs om validiteit te bevestigen
Standards van Impara: 5 categorieën van bewijs (tabel blz 191)
- bewijs gebaseerd op test content:
Laten de scores van de test zien dat de test content gerelateerd is aan wat de intentie is dat het meet. bv experts vragen
analyseren content - construct
bruikbaar als mogelijkheden van vragen bekend zijn en makkelijk identificeerbaar.
- gebaseerd op response process:
Weerspiegelen de scores van de participanten de juiste antwoorden? bv interviewen van participanten over gebruik instrument
zelfde stimulus/zelfde respons? (observators vragen) - gebaseerd op interne structuur:
statistische procedures om relatie tussen test item en testonderdelen te bepalen. - gebaseerd op relaties tot andere variabelen:
bewijs zoeken door correlatie van testscore met variabele met andere metingen te onderzoeken buiten de test. bv zelfde soort testen/ ander soort testen - gebaseerd op de consequenties van testen.
welke voordelen/nadelen zijn het resultaat van het gebruiken van het instrument? Soms bedoelt en soms niet. bv. voordelen voor positieve behandelingen van therapie, voor werkenden op de juiste werkplek te krijgen.
vragen om instrument te selecteren en evalueren
blz 193
juiste antwoordopties gebruikt?
twee basis types:
- categorische schaal: nominal and ordinal
nominaal: categorieën zonder rangorde
ordinaal: categorieën met rangorde
- continue schaal: interval/quasi-interval en ratio
interval: antwoordopties met gelijke afstand tussen de opties.
Ordinal scale lijkt soms op interval, maar daarbij geen garantie dat afstand tussen de opties gelijk zijn.
Belangrijk om dit verschil te maken i.v.m. gebruik statistiek. interval: parametric test en bij ordinal scale nonparametric test.
Met nauwkeurig bekijken/testen zou ordinal test geschikt kunnen zijn als interval.
ratio scale: weinig gebruikt in onderwijs. Gelijke afstanden vanaf nul.
Kan ook altijd een combinatie gebruikt worden van schalen. Interval geeft vaak de sterkte statistische analyses.
Let op: bij twijfel interval. Die kan altijd teruggebracht worden tot ordinal of nominal, maar andersom niet.
manieren van data verzamelen bij kwalitatief onderzoek
- observaties
- interviews en vragenlijsten
- documenten (bv journal of dagboek/brieven/biografieën/ uitval cijfers van school/portfolio’s)
- audiovisueel materiaal
observaties
meest gebruikt in onderwijsonderzoek
notities (field notes)/tekeningen/foto’s
ongestructureerd
open-ended, van eerste hand
voordeel:
in eigenlijke setting, gedrag, bv ook individuen die zelf niet kunnen verbaliseren.
nadeel:
toestemming nodig, verstandhouding met mensen die geen ervaring hebben van onderzoek, ongemakkelijkheid van geobserveerd worden. Zorgvuldig luisteren en op details letten.
observatierollen
drie meest populaire rollen
- rol van participerende observator
meedoen met activiteiten in de setting
om ervaringen van participanten te zien
opnemen van gegevens tijdens of soms na
miss lastiger qua toegang krijgen - rol van niet-participerende observator
outsider, bv achterin klas
kijken en opnemen van info
kan voor anderen meer comfortabel zijn
minder concreet dan als je zelf meedoet - wisselende observator rollen
meestal eerst niet-participerend
proces van observeren
- geschikte omgeving zoeken bij onderzoeksfenomeen
- rustig opbouwen om zelf te wennen en verstandhouding op te bouwen met anderen.
- Dan bepalen wie/wat/wanneer/hoelang observeren. Ook afhankelijk van toestemming.
- Bepalen welke observatierol(len) je gaat gebruiken en waarom.
- meerdere observaties over tijd om beste begrip te krijgen. Eerst breed, dan specifieker.
- manier van notities opnemen ontwerpen: field notes. (vb. blz 250)
Hele zinnen, zodat je gedetailleerde info hebt. - bepalen welke soort informatie je gaat opnemen
- maak beschrijvende en reflectieve field notes
- Maak jezelf bekend, maar onopvallend
- Na observeren, bedanken, informeren voor je gaat.
Interviews
vaak gebruikt
open vragen, zonder richting te geven
voordelen:
info die je niet kunt observeren
gedetailleerde info
meer controle voor interviewer dmv vragen die hij stelt
nadelen:
info is gefilterd doordat interviewer de info samenvat.
Kan te maken hebben met sociaal-wenselijkheid. Onduidelijke info. Onderzoeker kan invloed hebben op geïnterviewde. En lastiger organiseren van data.
Verschillende typen interview
- 1 op 1
geschikt als mensen goed onder woorden kunnen brengen. kost wel veel tijd/geld. - focus-groep
4 tot 6 mensen
gebruiken als interactie tussen participanten een voordeel is. En als het dezelfde soort personen zijn, die cooperatief zijn.
kost minder tijd dan 1 op 1. Kan ook terughoudende mensen meer open maken.
wel alle mensen ruimte geven.
notuleren lastig als er veel gezegd wordt en voor transcriptionisten wel lastiger om te scheiden - telefonische interviews
bv als mensen niet naar een plek toe kunnen komen of teveel uit elkaar wonen.
nadeel: beperkte communicatie, geen direct contact dus miss minder begrijpen. - webbased video interviews
voordelen: kan over de hele wereld
nadeel: slechte verbinding wellicht - email-interviews
als je de adressen hebt (wat lastig kan zijn, qua volledigheid/geschiktheid/toestemming), makkelijke manier voor snel, veel info. Ook als voorloper van interview geschikt.
gesloten vragen/ open vragen bij kwalitatief onderzoek
Soms eerst gesloten, gevolgd door open vraag. Met die open vraag kun je het antwoord op de gesloten vraag ontdekken.
stappen afnemen interview
- identificeren geïnterviewden
- bepalen welke vorm van interview
- tijdens interview audio-opname maken
- maak snelle notities tijdens het interview
- kies een rustige, geschikte plek
- zorg voor toestemming, goed informeren over proces
- bij vragen blijven, maar ook flexibel zijn. binnen de tijd blijven. Goed luisteren!
- gebruik subvragen om te verdiepen en/of meer info te verkrijgen:
verklarende en elaborerende vragen - zorgvuldig en professioneel blijven na het interview. Bedanken.
Documenten
bronnen gebruiken, privé en publieke documenten
voordelen:
in de taal en de woorden van de participanten
gebruiken zonder eerst transcriptie
nadelen:
lastig te verkrijgen
kunnen incompleet of niet authentiek zijn of handschrift niet te lezen
richtlijnen om documenten te verzamelen
- identificeren wat voor documenten bruikbare info zullen hebben
- denk aan privé en publieke documenten
- toestemming vragen voor gebruik
- duidelijk instructie bij gebruik logboek door participanten
- bekijk of beschikbare documenten accuraat, compleet en nuttig zijn
- Verwerk de info
audiovisueel materiaal
bronnen zoals foto’s, video’s, tekeningen en schilderijen
bv participanten laten reageren op foto’s
mensen reageren vaak makkelijk op visueel materiaal
video: makkelijke manier om mee te kijken
nadelen:
lastig te analyseren vanwege de grote hoeveelheid info.
ook heb je invloed als onderzoeker door de keuze die je maakt in welke foto’s/video je gebruikt
video extra veel om te analyseren (audio en visueel).
stappen documenteren audiovisueel materiaal
- bepalen welk materiaal bruikbaar is
- identificeren welk materiaal beschikbaar is en toestemming vragen
- checken of materiaal accuraat en authentiek is als je het niet zelf maakt.
- verzamelen en organiseren van materiaal.
