Taak 6: (stap 4) operationalisaties en meetinstrumenten

Question 1

operational definition

Answer 1

definitie voor de variabelen in onderzoek,
omvat een specificatie en hoe je het gaat meten.

Meestal uit andere onderzoeken of literatuur. Wanneer je de definitie zelf construeert: checken bij andere experts.

operationalisatie = de vertaling van de definitie van een variabele naar een meetinstrument.

Question 2

identificeren variabelen

Answer 2

uit onderzoeksvragen en hypotheses

Question 3

instrument

Answer 3

tool voor meten/ observeren/ documenteren kwantitatieve data.

4 hoofdtypes van soort informatie:
- performance measures
- attitudinal measures
- behavioral observations
-factual information

tabel blz 180

Question 4

performance measures (metingen van individuele prestaties)

Answer 4

prestaties meten dmv test

te meten door bestaande instrumenten. Genormeerd door eerder gebruik, dus kan vergeleken worden met typische score.

nadeel: meet niet individuele attitude, veel geld, tijd, bias voor bepaalde culturele groepen.

• achievement test (prestatie, vergelijken met grote groep anderen)
• criterion-referenced tests (prestatie, vergelijken met criterium of score)
• intelligentie test
• aptitude test (geschiktheid)
• interest inventory
• personality assessment (karakteristieken identificeren om gedrag te voorspellen en verklaren)

Question 5

attitudinal measures (metingen van individuele attitudes)

Answer 5

meten emoties bij onderwijs topics

vaak eigen vragen of bestaand instrument.

bedachtzaam zijn op bias/ eerlijkheid

nadeel: levert geen bewijs voor gedrag

Question 6

behavioral observations

Answer 6

met checklist of scoringslijst

voordeel: identificeren van gedrag van individueel (en dus niet iemands eigen ervaring)

nadeel: lastig te scoren, tijdrovend
en, bij meerdere observanten consistentie in de gaten houden

Question 7

factual information (feitelijke observaties)

Answer 7

documenten beschikbaar in publieke domein
bv rapporten/ aanwezigheidsrapporten

alleen: data niet door onderzoekers zelf zorgvuldig verzameld.

Question 8

digitaal data verzamelen

Answer 8

makkelijke, snelle vorm van data verzamelen
- meer valide/ cleaner

• analyses
• interviews digitaal dmv opgenomen vragen
• digitale tools gebruiken om databronnen te vinden
• met juiste toestemming veel digitale info beschikbaar

beperkingen in beschikbare emailadressen/technologie/
representativiteit

Question 9

Hoe bepalen welke types info je kiest

Answer 9

• Wat probeer ik te leren over de participanten van mijn vragen/hypotheses?
• Welke info is ook realistisch?
• Hoe verhouden de voordelen van data verzamelen zich met de nadelen ervan?

Question 10

wat is de bedoeling van een meetinstrument?

Answer 10

Op consistente wijze verschillende waarden van een variabele te kwantificeren, dus representeren als getalsmatige datareeks.

Met instrument worden de verschillende elementen van de variabele gemeten. Alle scores gemiddeld of opgeteld en zo tot totaalscore komen voor variabele.

Question 11

vinden of ontwerpen van juiste instrument

Answer 11

• zelf ontwikkelen
  Lastigste en meest tijdrovend, om valide instrument te ontwikkelen. Literatuuronderzoek, veel testen (pilotonderzoek). Zie figuur 5.9 blz 186.
• bestaande aanpassen (modifying an instrument)
  Hiervoor wel toestemming nodig.
  Kan ook delen van verschillende bestaande gebruiken.
• bestaande in geheel gebruiken

Question 12

wat helpt bij zoeken instrument

Answer 12

• Zoeken in gepubliceerde artikelen
  citaten/ schrijver/ vragen om testversie
• ERIC systeem gebruiken met zoekterm ‘instruments’ en onderwerp
• zoeken naar commerciële testen, (bv Mental Measurements Yearbook of Tests in Print)

Naast wat schrijver beschikbaar heeft, ook zelf op zoek naar literatuur/reviews.

Question 13

criteria voor kiezen van juiste instrument

Answer 13

• is het de meest recente versie? (niet ouder van vijf jaar)
• geciteerd/aanbevolen door anderen?
• zijn er reviews? (dan vinden mensen het de moeite waard)
• is er info over de betrouwbaarheid/ validiteit?
• bij prestatiemetingen: is het genormeerd?
• past de procedure voor het opnemen van de data bij jouw onderzoeksdoel en vragen? (ook: wie? zelf of door onderzoeker)
• heeft het een geaccepteerde meetschaal? goede antwoordopties. bv categorieën of schaal.

Question 14

betrouwbaar instrument

Answer 14

stabiel en consistent
ongeveer zelfde scores als je test op ander moment/ andere plek

wanneer toevallige meetfouten afwezig zijn

Question 15

valide instrument

Answer 15

meten wat je wil meten

wanneer systematische fouten afwezig zijn

focus op de consequenties van het gebruiken van de scores van een instrument

validiteit: meer omvattend/groter dan betrouwbaarheid. Betrouwbaar: scores zijn constistent. Begrippen kunnen deels overlappen.

Question 16

5 procedures om betrouwbaarheid te testen van instrumenten (tabel blz 189)

Answer 16

1. test-retest:
   zelfde participanten met interval nog eens testen. Correlatie tussen uitkomst berekenen. Hoge correlatie = betrouwbaar.
   (vd 1 instrument, nd: leereffect van maken test of de tijd)
2. alternate forms reliability: (paralleltestbetrouwbaarheid)
   twee testen afnemen die hetzelfde meten, verder alles hetzelfde
   (nd: lastig dezelfde te vinden)
3. alternate forms and test-retest reliability:
   twee testen met zelfde part. met interval
4. interrater reliability:
   (interbeoordelaarsbetrouwbaarheid)
   bij observeren van gedrag laten doen door 2 of meer observanten, zelfde part. Dan vergelijken. Hoge correlatie = hoge betrouwbaarheid. Vd: bias ontdekken. Nd: trainen van observanten en vergelijken kan lastig zijn.
5. internally consistent:
   (interne consistentie)
   dezelfde vraag later in test, zou hetzelfde antwoord moeten komen.
   Optie: vragen door de helft en tussen helften de relatie/correlatie bekijken. Dat verdelen kan willekeurig of met (computer)systeem.
   bv Kuder-Richardson split half test
   (zie volgende kaartje)
   coefficient alpha als items gescoord worden op de manier van helemaal mee eens tot helemaal niet mee eens. (dus meerdere items ipv 2)

Question 17

Kuder-Richardson split half test

Answer 17

wanneer:
- als scores in goed/fout zijn (2 opties)
- snelheid telt niet mee
- items meten een zelfde factor

bv gebruiken Spearman-Brown formule: berekent betrouwbaarheid van je test bij verlenging/verkorting.
gebruik maken van meer vragen = dus meer betrouwbaarheid.

Question 18

bepalen of de scores van het instrument valide zijn

Answer 18

• zoeken naar bewijs bij eerdere onderzoeken
• goed doel van die studies bekijken
• hun discussie/interpretatie bekijken van het instrument
• bovenstaande evalueren

Question 19

types van bewijs om validiteit te bevestigen

Answer 19

Standards van Impara: 5 categorieën van bewijs (tabel blz 191)

1. bewijs gebaseerd op test content:
   Laten de scores van de test zien dat de test content gerelateerd is aan wat de intentie is dat het meet. bv experts vragen

bruikbaar als mogelijkheden van vragen bekend zijn en makkelijk identificeerbaar.

2. gebaseerd op response process:
   Weerspiegelen de scores van de participanten de juiste antwoorden? bv interviewen van participanten over gebruik instrument
3. gebaseerd op interne structuur:
   statistische procedures om relatie tussen test item en testonderdelen te bepalen.
4. gebaseerd op relaties tot andere variabelen:
   bewijs zoeken door correlatie met andere metingen te onderzoeken buiten de test. bv zelfde soort testen/ ander soort testen
5. gebaseerd op de consequenties van testen.
   welke voordelen/nadelen zijn het resultaat van het gebruiken van het instrument? Soms bedoelt en soms niet. bv. voordelen voor positieve behandelingen van therapie, voor werkenden op de juiste werkplek te krijgen.

Question 20

vragen om instrument te selecteren en evalueren

Answer 20

blz 193

Question 21

juiste antwoordopties gebruikt?

Answer 21

twee basis types:
- categorische schaal: nominal and ordinal

nominaal: categorieën zonder rangorde
ordinaal: categorieën met rangorde

• continue schaal: interval/quasi-interval en ratio

interval: antwoordopties met gelijke afstand tussen de opties.

Ordinal scale lijkt soms op interval, maar daarbij geen garantie dat afstand tussen de opties gelijk zijn.
Belangrijk om dit verschil te maken i.v.m. gebruik statistiek. interval: parametric test en bij ordinal scale nonparametric test.
Met nauwkeurig bekijken/testen zou ordinal test geschikt kunnen zijn als interval.

ratio scale: weinig gebruikt in onderwijs. Gelijke afstanden vanaf nul.

Kan ook altijd een combinatie gebruikt worden van schalen. Interval geeft vaak de sterkte statistische analyses.
Let op: bij twijfel interval. Die kan altijd teruggebracht worden tot ordinal of nominal, maar andersom niet.

Question 22

manieren van data verzamelen bij kwalitatief onderzoek

Answer 22

• observaties
• interviews en vragenlijsten
• documenten (bv journal of dagboek/brieven/biografieën/ uitval cijfers van school/portfolio’s)
• audiovisueel materiaal

Question 23

observaties

Answer 23

meest gebruikt in onderwijsonderzoek
notities (field notes)/tekeningen/foto’s
ongestructureerd
open-ended, van eerste hand

voordeel:
in eigenlijke setting, gedrag, bv ook individuen die zelf niet kunnen verbaliseren.
nadeel:
toestemming nodig, verstandhouding met mensen die geen ervaring hebben van onderzoek, ongemakkelijkheid van geobserveerd worden. Zorgvuldig luisteren en op details letten.

Question 24

observatierollen

Answer 24

drie meest populaire rollen

1. rol van participerende observator
   meedoen met activiteiten in de setting
   om ervaringen van participanten te zien
   opnemen van gegevens tijdens of soms na
   miss lastiger qua toegang krijgen
2. rol van niet-participerende observator
   outsider, bv achterin klas
   kijken en opnemen van info
   kan voor anderen meer comfortabel zijn
   minder concreet dan als je zelf meedoet
3. wisselende observator rollen
   meestal eerst niet-participerend

Question 25

proces van observeren

Answer 25

1. geschikte omgeving zoeken bij onderzoeksfenomeen
2. rustig opbouwen om zelf te wennen en verstandhouding op te bouwen met anderen.
3. Dan bepalen wie/wat/wanneer/hoelang observeren. Ook afhankelijk van toestemming.
4. Bepalen welke observatierol(len) je gaat gebruiken en waarom.
5. meerdere observaties over tijd om beste begrip te krijgen. Eerst breed, dan specifieker.
6. manier van notities opnemen ontwerpen: field notes. (vb. blz 250)
   Hele zinnen, zodat je gedetailleerde info hebt.
7. bepalen welke soort informatie je gaat opnemen
8. maak beschrijvende en reflectieve field notes
9. Maak jezelf bekend, maar onopvallend
10. Na observeren, bedanken, informeren voor je gaat.

Question 26

Interviews

Answer 26

vaak gebruikt
open vragen, zonder richting te geven

voordelen:
info die je niet kunt observeren
gedetailleerde info
meer controle voor interviewer dmv vragen die hij stelt
nadelen:
info is gefilterd doordat interviewer de info samenvat.
Kan te maken hebben met sociaal-wenselijkheid. Onduidelijke info. Onderzoeker kan invloed hebben op geïnterviewde. En lastiger organiseren van data.

Question 27

Verschillende typen interview

Answer 27

• 1 op 1
  geschikt als mensen goed onder woorden kunnen brengen. kost wel veel tijd/geld.
• focus-groep
  4 tot 6 mensen
  gebruiken als interactie tussen participanten een voordeel is. En als het dezelfde soort personen zijn, die cooperatief zijn.
  kost minder tijd dan 1 op 1. Kan ook terughoudende mensen meer open maken.
  wel alle mensen ruimte geven.
  notuleren lastig als er veel gezegd wordt en voor transcriptionisten wel lastiger om te scheiden
• telefonische interviews
  bv als mensen niet naar een plek toe kunnen komen of teveel uit elkaar wonen.
  nadeel: beperkte communicatie, geen direct contact dus miss minder begrijpen.
• webbased video interviews
  voordelen: kan over de hele wereld
  nadeel: slechte verbinding wellicht
• email-interviews
  als je de adressen hebt (wat lastig kan zijn, qua volledigheid/geschiktheid/toestemming), makkelijke manier voor snel, veel info. Ook als voorloper van interview geschikt.

Question 28

gesloten vragen/ open vragen bij kwalitatief onderzoek

Answer 28

Soms eerst gesloten, gevolgd door open vraag. Met die open vraag kun je het antwoord op de gesloten vraag ontdekken.

Question 29

stappen afnemen interview

Answer 29

1. identificeren geïnterviewden
2. bepalen welke vorm van interview
3. tijdens interview audio-opname maken
4. maak snelle notities tijdens het interview
5. kies een rustige, geschikte plek
6. zorg voor toestemming, goed informeren over proces
7. bij vragen blijven, maar ook flexibel zijn. binnen de tijd blijven. Goed luisteren!
8. gebruik subvragen om te verdiepen en/of meer info te verkrijgen:
   verklarende en elaborerende vragen
9. zorgvuldig en professioneel blijven na het interview. Bedanken.

Question 30

Documenten

Answer 30

bronnen gebruiken, privé en publieke documenten

voordelen:
in de taal en de woorden van de participanten
gebruiken zonder eerst transcriptie

nadelen:
lastig te verkrijgen
kunnen incompleet of niet authentiek zijn of handschrift niet te lezen

Question 31

richtlijnen om documenten te verzamelen

Answer 31

1. identificeren wat voor documenten bruikbare info zullen hebben
2. denk aan privé en publieke documenten
3. toestemming vragen voor gebruik
4. duidelijk instructie bij gebruik logboek door participanten
5. bekijk of beschikbare documenten accuraat, compleet en nuttig zijn
6. Verwerk de info

Question 32

audiovisueel materiaal

Answer 32

bronnen zoals foto’s, video’s, tekeningen en schilderijen

bv participanten laten reageren op foto’s

mensen reageren vaak makkelijk op visueel materiaal
video: makkelijke manier om mee te kijken

nadelen:
lastig te analyseren vanwege de grote hoeveelheid info.
ook heb je invloed als onderzoeker door de keuze die je maakt in welke foto’s/video je gebruikt
video extra veel om te analyseren (audio en visueel).

Question 33

stappen documenteren audiovisueel materiaal

Answer 33

1. bepalen welk materiaal bruikbaar is
2. identificeren welk materiaal beschikbaar is en toestemming vragen
3. checken of materiaal accuraat en authentiek is als je het niet zelf maakt.
4. verzamelen en organiseren van materiaal.