Belangrijke begrippen Flashcards
Construct (theoretische variabele)
Een niet direct observeerbaar/meetbaar concept (abstract, algemeen)
- Een construct is een abstract begrip dat we willen meten.
- Voorbeelden: Liefde, intelligentie, agressie, zelfrespect en succes
- Bestaan niet als fysieke objecten, maar beïnvloeden ons wel
- Abstract concept dat we willen vatten
- Geen fysieke aard
we kunnen constructen alleen indirect en imperfect meten door middel van een operationele definitie. (om het toch te onderzoeken)
Hypothese
Falsifieerbare stelling over relatie twee of meer constructen. Vaak causale verbanden (oorzaak en gevolg), hoeft niet.
In een onderzoek zijn de resultaten “consistent zijn met” of “ondersteunen” een hypothese, maar niet dat de hypothese is aanvaard. Hypothesen zijn in het beste geval bestand tegen pogingen om aan te tonen dat ze onjuist zijn. Er zijn bijna altijd andere verklaringen voor een reeks bevindingen die een hypothese lijken te ondersteunen, dus een echt wetenschappelijk standpunt is altijd sceptisch.
Theorie
Set gerelateerd hypothesen. Vaak in vorm syllogisme (logische stelling) Doel: beschrijven, verklaren en/of voorspellen.
Kracht theorie gevormd door zwakste schakel
Variabelen (indicator)
Zaken/attributen die zich in verschillende modaliteiten of gradaties voordoen. Het kan dus van waarde veranderen afhankelijk van mensen/omgeving (haarkleur, geslacht, bloeddruk)
Operationele constructen (abstract). Iets wat je kan meten. Hebben minstens 2 waarden, anders constanten
Onafhankelijke variabele
Oorzaak. Als je deze verandert, kan je het effect meten van de afhankelijke variabele. Gemanipuleerd door de onderzoeker
Afhankelijke variabele (responsvariabele)
Gevolg, hetgeen wat afhankelijk is van de onafhankelijke variabele
Confounding variables (confounder)
Derde variabelen die een verband kunnen verklaren (alternatieve verklaring). Die moet je proberen uit te sluiten in je onderzoek. Meer last bij field research
Confounding
Wanneer de niveaus van de onafhankelijke variabele direct variëren met een andere, niet essentiële/storende factor(en) (interne validiteit)
Correlaties sluiten ook weinig uit om alternatieve verklaringen voor een relatie tussen twee variabelen zoals opleiding en inkomen uit te sluiten.
Die relatie is misschien helemaal niet causaal, maar eerder te wijten aan een derde variabele
Condities
Niveaus van onafhankelijke variabele. Waar je participanten aan toewijst bij meerdere onderzoeksgroepen
Correlatie
Empirische associatie. Impliceert geen oorzakelijk verband
Operationalisatie
(geobserveerde variabele)
Specifieke concrete methode om een construct te meten/manipuleren.
Geeft de mogelijkheid om mensen te scoren op de onderzochte variabelen
(meting en proces)
Causaliteit
Oorzakelijkheid, oorzaak en gevolg relaties
Cause (oorzaak)
Maakt elk ander ding, idee, substantie, manier effect heeft op iets anders op gang te brengen
Effect (gevolg)
Het verschil tussen wat is gebeurd en wat er anders gebeurd zou zijn
Biased
Vertekening. Proberen uit te sluiten bij wetenschap
Populatie
De gehele groep mensen waarop de hypothese zou moeten gelden
Debriefing
Een informatie uitwisseling aan het einde van een labonderzoek. Waarbij je vraagt hoe het met de participanten gaat en eventuele nazorg verleend. Tot slot vertel je op het eind het daadwerkelijke doel van het onderzoek.
Interne validiteit
De mate waarin een onderzoeksdesign het mogelijk maakt om een causale conclusie te trekken over het effect van de onafhankelijke variabelen op de afhankelijke variabelen
Construct validiteit
De mate waarin het geoperationaliseerde construct het bedoelde theoretische construct representeert (kernbegrip)
Externe validiteit
In hoeverre de onderzoeksresultaten van instellingen, populaties en dergelijke kunnen worden veralgemeend of gegeneraliseerd
Conclusie validiteit
De mate waarin de gekozen statistische analyse geschikt is om je onderzoeksvraag te beantwoorden
Betrouwbaarheid
Mate waarin meetinstrument vrij is van willekeurige (random-error) fouten (niet-systematische fouten)
Systematische meetfout
Ongewild mee-meten van andere constructen
Niet-systematische meetfout
Fouten die toevallig optreden en waar geen patroon in zit
Statistical power
De kans om de voorspelde relatie te vinden als de relatie echt bestaat.
Laboratory setting
Omgeving die volledig gecontroleerd wordt door de onderzoeker. Zelfde omstandigheden in dezelfde setting voor alle participanten
Field research
Onderzoek in natuurlijke omgeving van participanten
Engaged research
Onderzoek dat wordt uitgevoerd in samenwerking met praktijkmensen, beleidsmakers en andere maatschappelijke partners.
Het kan geëngageerd onderzoek, partnerschapsonderzoek, collaboratief onderzoek, actieonderzoek of participatief actieonderzoek worden genoemd.
Random assignment
(Aselecte toewijzing)
Het random toewijzen van deelnemers aan de verschillende condities (groepen) in je onderzoek
Probality concepts (Random sampling)
(Aselecte steekproef)
Het random selecteren van deelnemers voor je onderzoek vanuit gehele populatie (selectie uit de populatie waarin je geïnteresseerd bent). (voorafgaand aan aselecte toewijzing)
Non-probality sampling (niet-aselecte steekproef)
(Niet-willekeurige, selecte, selectieve) steekproeftrekking.
Sommige elementen in het steekproefkader hebben geen kans om te worden geselecteerd of hun waarschijnlijkheid is onbekend
Experimenteel onderzoek ((randomized)experiments)
Manipulatie, meerdere groepen, controlegroep. (Randomized designs) –> positief interne validiteit. Onderzoeken die worden uitgevoerd, met willekeurige toewijzing aan de onafhankelijke variabele. Nuttig en waardevol voor oorzakelijke verband.
Randomization
Of proefpersonen al dan niet willekeurig aan condities worden toegewezen (aselecte toewijzing)
Quasi-experimental research
Onderzoeksdeelnemers niet willekeurig worden toegewezen aan niveaus van de onafhankelijke variabelen. Wel manipulatie, omdat je wel geïnteresseerd bent in causaliteit
Hoewel ze geen causale gevolgtrekkingen mogelijk maken met dezelfde mate van vertrouwen als gerandomiseerde experimenten, zijn ze essentiële hulpmiddelen voor sociale wetenschappers.
Nonrandomized experiments
Participanten zijn niet willekeurig toegewezen aan niveaus van onafhankelijke variabelen
Niet-experimenteel onderzoek
Een onderzoek zonder manipulatie, reflecteren verschillen in uitkomsten.
Natural experiment
Niet echt een experiment omdat de oorzaak meestal niet te manipuleren is; een studie die een natuurlijk voorkomende gebeurtenis zoals een aardbeving vergelijkt met een vergelijkingsconditie
Correlational study
Meestal synoniem met niet-experimenteel of observationeel onderzoek; een onderzoek dat eenvoudigweg de grootte en richting van een relatie tussen variabelen observeert
Basic research
(fundamental study)
Gebruik van onderzoek om theorieën te ontwikkelen, testen en verfijnen
Translation research
(Applied research)
Theorieën toe te passen op situaties in de echte wereld om resultaten te verbeteren
Universalistic onderzoek (algemeen)
Theorieontwikkeling. Algemene verklaringen/hypothesen en algemene, abstracte constructen. Algemene hypothese, zonder duidelijke populatie. Populatie is hierbij alle mensen in de wereld en op alle momenten
Particularistic onderzoek (specifiek)
Verklaring voor specifiek fenomeen met een specifieke groep en specifieke plek
Soorten labonderzoek (3)
§ Impact studies: Manipulatie
§ Judgement studies: Manipulatie, stimuli vervolgonderzoek testen
§ Observational studies: Geen manipulatie, alleen observatie
Hoe kan constructvaliditeit worden onderzocht? (3)
multitrait-multimethod matrix
nomologisch net
factoranalyse
Welke wetenschappelijke stromingen? (5)
1 Metafysica
○ 300 v.C.
○ Nadenken, filosoferen van aard van werkelijkheid
○ Invloed van kerk
○ Niet empirisch; Alleen maar nadenken en redeneren, geen dataverzameling
Niet toetsbaar
2 Prepositivisme
○ Empirisch, maar slechts beschrijvend
○ Observeren
Niet beïnvloeden/ingrijpen
3 Positivisme
○ 2de helft 19 eeuw en 20e eeuw
○ Streven naar algemene causale wetten
○ Empirisch: dataverzameling
○ Actief, niet alleen beschrijvend, maar ook ingrijpen, voorspellen
Kan op zelfde manier als bij natuurwetenschappen –> causale wetten
4 Constructivisme
○ Perspectief participant centraal
○ Mensen zijn geen ‘dingen’
○ Theorievorming tijdens data verzamelen
○ Streven naar causale wetten misleidend (iedereen reageert anders)
Nadruk op voorspellen en controle beperkt wetenschap
5 Moderne opvatting (post-positivisme)
○ Neemt kritiek op positivisme serieus
○ Soort mengvorm van positivisme en constructivisme
○ Mixed methods: Verschillende methoden van onderzoek om tot rijkere informatie te komen
○ ‘Spelregels’ voor wetenschap: (normatief)–> methodologisch/logisch
Hulpbronnen voor naïeve hypothese (5)
- Logische analyse
○ Syllogistische redenering: Werkloos à Depressie à Echtscheiding
○ Onze ‘intuïtie’ en logische processen kloppen vaak niet.
○ Vooral in de sociale wetenschappen kan wat we gewoonlijk als een logische conclusie beschouwen niet alleen worden beïnvloed door pure logica, maar ook door onze wensen of verlangens - Autoriteit
○ Een deskundige/expert
○ Deskundige heeft niet altijd alles ondersteund met feitelijke kennis
○ Experts zijn het vaak niet met elkaar eens, dus onze mening kan afhangen van de specifieke expert die we raadplegen.
○ Zoeken naar expert die hypothese ondersteund (niet onafhankelijk) - Consensus
○ Naasten/peers (bijv. collega’s, vrienden) vragen
○ Vaak één soort bevolkingsgroep
○ Problemen:
- Groepsdenken: streven naar harmonie in groep
- Zelfde bias en vervorming Autoriteit; wie weet nou de waarheid? - Observatie
○ Eigen gedrag vergelijken met dat van een ander
○ Problemen:
- Constructie kan voor veel mensen iets anders betekenen
- Causale richting moeilijk te bepalen
- Niet gehele groep; niet representatief voor de wereld als geheel.
- Bevestiging zoeken, geen ontkrachting (zien wat we willen zien) - Ervaringen uit het verleden
○ Terugdenken aan wat we zelf ooit hebben meegemaakt
○ Hypothesen kunnen door herinneringen uit het verleden worden ontkracht
○ Problemen:
* Zelfde als bij observatie
* Geheugen al ingericht volgens theorieën en hypothesen
* Onthouden is makkelijker als het in het plaatje past
* Lastiger te ontkrachten
Empirische cyclus
- Observatie:
○ Waarnemen: iets zien/opvallen/dromen
○ Idee ontwikkelen n.a.v. waarneming
○ Observeren, verzamelen, groeperen, materiaal
○ Geen regels
○ Wat weten we al?
○ Psychologische inductie (proces): Vorming hypothese
○ Vorming van (impliciete) hypothese: vermoeden en veronderstellen (psychologische inductie-proces)
○ Waarneming: Buurmeisje zit veel op telefoon en heeft weinig concentratie - Inductie
○ ISA: Inductie van Specifiek naar Algemeen
○ Expliciete formulering van hypothese
○ Van specifiek (observatie) naar algemeen (hypothese)
○ Moet toetsbaar zijn
○ Er moeten concrete, verifieerbare voorspellingen uit af te leiden zijn, die getoetst kunnen worden
○ Logisch-methodologische inductie (resultaat): Formulering hypothese
○ Algemene hypothese: Veelvuldig social media gebruik leidt tot concentratieproblemen - Deductie
○ DAS: Deductie van Algemeen naar Specifiek
○ Van algemeen (hypothese) naar specifiek (onderzoeksgroep) à Concreet en toetsbaar
○ Expliciete en verifieerbare voorspelling uit hypothese
○ Hoe pak je het onderzoek concreet aan? Hoe ga ik dit meten? Hoeveel deelnemers heb ik nodig?
○ Specificatie toetsingsprocedure: Hoe ga je toetsen?
○ Meetbaar/toetsbaar maken: Operationalisatie van begrippen; hanteerbaar maken van begrippen
○ Onderzoeksgroep: 500 leerlingen van willekeurig geselecteerde basisscholen. Experiment ontwikkelen om concentratie bij kinderen te meten en te kunnen vergelijken m.b.t. social media gebruik - Toetsen
○ Resultaten
○ Werkelijke uitvoering onderzoek
○ Dataverzameling, data-analyse en de uitkomsten hiervan
○ Participanten werven
○ Klopt je voorspelling? Nagaan in hoeverre voorspelling wordt ondersteund
○ Vaak druk je dit uit in getal (bijv. correlatiecoëfficiënt)
○ Onderzoeksvraag beantwoorden d.m.v. (statische) toetsen
○ Altijd met nieuwe data toetsen. Niet met informatie waarop je je hypothese hebt gebaseerd
○ Toetsing van de hypothese, beantwoording van de vraag, uitkomst hypothese
○ Niet testen op buurmeisje, maar op andere kinderen die binnen de hypothese passen. - Evaluatie
○ Evalueren en interpreteren
○ Wat betekent mijn onderzoek voor de praktijk?
○ In wijder verband trekken (bijv. theorie waaruit hypothese is afgeleid)
○ Uitkomsten van de toetsing, in verband gesteld met hypothese, theorie en eventuele nieuwe aansluitende onderzoeken
○ Interpretatie: betekenis van uitkomsten
○ Subjectiviteit
○ Discussie
○ Kunnen meningsverschillen ontstaan
○ Genereert vaak nieuwe hypothesen à Basis voor vervolgonderzoek
○ Loopt over in observatiefase (fase 1)
○ Kan aanzet geven om andere leeftijden of met andere meetinstrumenten een vervolgonderzoek te doen
Wat maakt een theorie productief/goed? (10)
- Falsifiable
- Zo specifiek mogelijk
- Parsimonious (spaarzaam)
- Gerelateerd aan een belangrijk fenomeen
- Intern constitent
- Coherent en begrijpelijk
- Specificeert relevante constructen en hoe ze zijn gemeten (operationalisatie)
- Is in lijn met wat al bekend is over het onderwerp
- Legt de data beter uit dan bestaande/concurrerende theorieën
- Geeft nieuwe inzichten/voorspellingen over het onderwerp
Doelen/functies empirisch onderzoek: (4)
- Discovery (ontdekken)
- Wat zijn plausibele oorzaken van constructies
- Als er nog niks over bekend is
- Inductiefase uit Empirische cyclus
- Hypothesen ontwikkelen of genereren
- Inductieve manier (observatie –> hypothese)
- Demonstration (aantonen)
- Met verzamelde gegevens poging doen om hypothese te ondersteunen
- Deductiefase uit Empirische cyclus
- Resultaten kunnen nooit hypothese bewijzen, alleen aantonen dat ze consistent zijn
- Meer deductief (hypothese –> observatie)
- Refutation (verwerpen/weerleggen)
- Deductiefase uit Empirische cyclus: Van hypothesen (algemeen) naar gegevensverzameling (specifiek)
- Tegenbewijs zoeken (alternatieve verklaringen/hypothesen)
- Replication (repliceren)
- Vooroordelen van onderzoeker overwinnen
- Deductiefasen uit Empirische cyclus: Van hypothese (algemeen) naar gegevensverzameling (specifiek)
- Herhaling van demonstration en refutation
○ Grotere groepen
○ Andere groepen
○ Andere omstandigheden
○ Andere operationele definities
Andere onderzoekdesigns
X–>Y
Direct effect
X –> Y –> Z (3)
Indirect effect, mediërende- of interveniërende variabele
X –> Y + invloed Z (3)
Interaction effect, interactievariabele (moderator)
X <–> Y (2)
Feedback effect (reciprocal effect)
Type I-fout:
Het ten onrechte concluderen dat er een relatie is terwijl die er in feite niet is
Type II-fout:
Het ten onrechte concluderen dat er geen relatie is terwijl die er wel is
Etnische problemen (3)
- Deception (misleiding)
- Ethische bezwaren
§ Mag je liegen (voor de wetenschap)?
§ Echte informed consent onmogelijk (waarvoor)?
- Soms noodzakelijk
- Participanten kunnen niet volledig worden geïnformeerd
- Niet weten waarvoor het onderzoek is
- Iets heel anders wordt verteld dan dat er daadwerkelijk wordt onderzocht.
- Niet goed als participanten gereageerd hebben waar ze later spijt van hebben
- Soorten:
§ Deception by omission (dingen weglaten, je liegt NIET)
§ Actieve deception (onjuiste feedback geven- false feedback)
–> Het nadeel hiervan is dat mensen de feedback gaan geloven (perseverance effects) en de debriefing niet
–> Mensen kunnen boos worden dat er tegen ze gelogen is
§ Double deception/second-order deception (tweede order deceptie) Doen of het onderzoek is afgelopen, maar toch doorgaan met het onderzoek.
–> Boos en twijfel of het wel echt over is
–> Ethisch onacceptabel
–> Actieve misleiding en tweede orde deceptie streng beoordeeld door ethische commissies
–> Altijd nabespreking (debriefing) met mogelijkheid intrekken toestemming
- Oplossingen
§ Rollenspel: Nadeel hiervan is dat mensen gewenst gedrag gaan laten zien.
§ Consent to conceal: echt vertellen dat men voor de gek wordt gehouden. Dit wekt wantrouwen.
§ Verzoek aan de participanten of ze afzien van het recht volledig geïnformeerd te worden.
§ Participanten pas na debriefing laten beslissen of ze mee willen doen met het onderzoek - Confidentiality (vertrouwelijkheid) en anonymity (anonimiteit)
- Anonimiteit: Deelnemer echt niet te achterhalen
- Vertrouwelijkheid: Belofte informatie niet te delen, vaak crëeren ID en (blind) koppelen
- Anonimiteit kan vaak niet worden gegarandeerd
- Te achterhalen wie het is binnen een kleine groep door gegeven antwoorden
- Informatie nodig voor vervolgonderzoek
- Duty to warn: Je mag bovenstaande schenden als participant gevaar loopt
- Oplossing: Toestemmingsformulieren - Participant observation
- Niet bekend dat er iemand/wie er observeert
- Als participanten weten dat ze worden geobserveerd, zullen ze zich anders gedragen
- Oplossing: Toestemming vragen om te observeren
Soorten deceptie
1 Deception by omission (dingen weglaten, je liegt NIET)
2 Actieve deception (onjuiste feedback geven- false feedback)
–> Het nadeel hiervan is dat mensen de feedback gaan geloven (perseverance effects) en de debriefing niet
–> Mensen kunnen boos worden dat er tegen ze gelogen is
3 Double deception/second-order deception (tweede order deceptie) Doen of het onderzoek is afgelopen, maar toch doorgaan met het onderzoek.
–> Boos en twijfel of het wel echt over is
–> Ethisch onacceptabel
Wetenschapsfilosofische termen: (5) Hoorcollege 3
- Moderne stromingen: (gerelateerd aan elkaar)
1 Epistemologie (kennisleer)
- Wat de mens kan weten en wat de beperkingen hierin zijn
- Leer van menselijk kenvermogen en het bereik van onze kennis
2 Ontologie (zijnsleer)
- Zijnsrealiteit van theoretische constructen
- Kan iets bestaan zonder dat het waargenomen wordt?
- Tegengestelde stromingen:
3 Realisme
- Werkelijkheid bestaat onafhankelijk van menselijk bewustzijn
4 Relativisme
- Werkelijkheid is niet absoluut, maar afhankelijk van waarnemer/tijd/plaats
- Kennis is betrekkelijk
5 Sociologen
- Wijzen op niet-wetenschappelijke processen
- Sociale, psychologische, economische, politieke processen spelen een rol
–> Meeste onderzoekers: ontologisch realisme of epistemologische relativisme
Universalistic onderzoek
- Algemeen
- Theorieontwikkeling
- Algemene verklaringen/hypothesen en algemene, abstracte constructen
- Belangrijkste vraag: Kunnen de hypotheses aangetoond worden
- Details van de setting en de populatie zijn minder belangrijk
- Sluit goed aan bij ‘laboratory setting’
- Is intrinsieke motivatie gerelateerd aan academische prestaties? Leidt een gewelddadige game tot agressief gedrag?
Particularistic onderzoek
- Verklaring voor specifiek fenomeen, specifieke groep, specifieke plek
- Externe validiteit is het hoofddoel. De setting/populatie moet zo goed mogelijk worden omschreven
- We verwachten niet dezelfde resultaten in een andere setting, is ook niet het doel
- Vaak kwantitatieve vragen: hoe groot/sterk/hoeveel effect
- Details van de setting en de populatie zijn erg belangrijk
- ‘Laboratory setting’ minder bruikbaar
- Zorgt een nieuwe methode voor betere resultaten bij studenten aan de uva? Heeft de alcoholgrens verhoging in Nederland geleidt tot minder ziekenhuisbezoek bij tieners?
Applied research
- Doel om probleem op te lossen/ verbeteren welzijn mensen
- Zorgt het hebben van een kat voor minder depressieve gevoelens?
Fundamental research
(basis research)
- Belang om te weten/begrijpen
- Lost niet direct een probleem op
- Onderzoekt een relatie tussen variabelen
- Ontwikkelen en verfijnen van nieuwe kennis
- Is er een verband tussen eenzaamheid en depressie?
Typen laboratoriumonderzoek (3)
1 Impact studies:
- Manipulatie bij de proefpersonen
- Manipulatie heeft direct invloed op het gedrag van participanten
- Participanten maken onverwachts gebeurtenis(sen) mee
- Reacties, wat mensen doen van belang
- Vereisen een zorgvuldige enscenering, zodat deelnemers de gebeurtenissen als echt ervaren
- Vaak doel onderzoek verborgen gehouden
- Zorgt het spelen van een gewelddadige tot agressief gedrag?
2 Judgement studies
- Manipulatie van de onderzoeksstimuli
- Participanten maken gebeurtenissen niet mee
- Onderzoeker creëert verschillende versies prikkels en vraagt participanten om direct te reageren
- Percepties, oordelen of evaluaties op gebeurtenissen, wat mensen denken zijn van belang
- Ontwikkelen van materiaal wat je gebruikt in andere studies
- Onderzoek naar vermogen om gezichtsuitdrukking te herkennen. Participanten bepalen de uitdrukkingen van de gezichten. Foto’s waarbij dit goed lukt worden gebruikt bij ‘impact studie’
3 Observational studies
- Geen manipulatie
- Geen nadruk op manipulaties of oordelen op verschillende prikkels
- Focust op details bij observatie van bepaalde interactie of gedrag in de loop van tijd (op afstand)
- Omgeving hoeft niet per se gemanipuleerd te worden
- Onderzoek naar groepsprocessen
Elementen laboratoriumonderzoek (5)
1) Setting
* Setting kan een hint geven waar onderzoek over gaat
* Gebruik coverstory (details weglaten of ander doel dan wordt gezegd)
2) Onafhankelijke variabele
* Construct valideit of experimental realisme
* Confederate (handlanger)
* Manipulatie ingebed in de experimentele stimuli in plaats van in een gebeurtenis die deelnemers ervaren
* Confounders vermijden –> meerdere experimenten uitvoeren
* Deelnemers moeten begrijpen wat ze moeten doen en aandacht besteden aan het stimulusmateriaal, de manipulatie en hun taak –> goede instructies geven
3) Manipulatie checks
* Voorkomen dat manipulatie niet slaagt
* In alle groepen de onafhankelijke variabelen voor en na de manipulatie te meten
* Liefst uitvoeren in voorstudie (pilot)
* Gebruiken voor internal analyses
* Ze helpen de constructvaliditeit van de manipulatie vast te stellen
* Nuttig om te begrijpen wat er gebeurde als een onderzoek niet de voorspelde resultaten oplevert
4) Afhankelijke variabele
* Capitalizing on chance (profiteren van toeval)
5) Debriefing
* Als sprake was van decepty of andere stressvolle procedures
* Kan helpen deelname onderzoek een leerzame ervaring te maken
* Onderzoekers kunnen van hun deelnemers leren of de procedures, instructies en taken duidelijk waren
Funnel questioning werkt het beste
Andere namen engaged research (6)
partnership, collaborative, action, participatory action, community-based, participatory research
Respons style: (4)
1 Midpoint respons style: beoordelaar vermijdt extreme respons categorieën en kent beoordelingen toe met alleen de meer gematigde categorieën
2 Extreme response style: Vermijden matige categorieën en kennen beoordeling aan extreme categorieën
3 Disacquinescence respons style: neigt naar het gebruik van negatieve antwoordcategorieën
4 Acquinescence respons style: neigt naar het gebruik van positieve antwoordcategorieën
Betrouwbaarheidsindices: (3-2-3)
1 Test-hertest correlatie
Relatie tussen meetmoment 1 en meetmoment 2
2 Interne consistentie betrouwbaarheid
Kijken naar 1 afname
a split-half
Relatie tussen 2 helften van de test
b cronbach’s alpha
Houdt rekening met alle mogelijke manieren om test in tweeën te delen
Inter-rater betrouwbaarheid (bij observatie)
a. Cohen’s kappa
Bepalen over bepaald gedrag wel of niet voorkomt
b. Intraklasse correlatie
Bepalen over bepaald gedrag wel of niet voorkomt
c. Cronbach’s alpha coëfficiënt
Gedragingen op een continuüm gescoord worden
Typen responsschalen, bij vragenlijst (4)
1) Differentiële schalen
* Items die bekende posities op de attitudeschaal vertegenwoordigen
* Items die dicht bij eigen mening zijn en afstand doen van items waar ze mee oneens zijn
2) Cumulatieve schalen
* Items waarbij respondenten het mee eens of oneens zijn
* Respondenten die een bepaalde houding hebben, zullen het eens zijn met alle items aan de ene kant van die positie en het niet eens zijn met andere items
3) Summated schalen (Likertschaal)
* Meest gebruikt in sociale wetenschappen
* Bestaat uit een reeks items waarop participanten met eens of oneens reageren
* Alleen monotone items
* Selecteren van een nummer die aangeeft hoe er ze het (on)eens zijn met de stelling
* Item en factor analysis
4) Semantische differentiaalschaal
* Gespecialiseerd voor meten sociale attitudes
* Clean 1 2 3 4 5 6 7 dirty
Meetniveaus (4)
1) Nominaal (categoriaal) (kwalitatief)
* Ongelijkheid
* Geen volgorde
* Labels geven (naam geven) in plaats van nummers
* Categorieën die geen meer of minder voorstellen
* Je mag hier niet mee rekenen
* Man en vrouw, nationaliteit, land van herkomst
2) Ordinal (categoriaal)
* Rangschikken, ordening
* Geeft de codering dus wel een waarde aan het getal, maar oppassen met rekenen
* Veel metingen in de sociale wetenschappen zijn op ordinaal niveau.
- Rekenen we mee
- Behandelen alsof ze op intervalniveau gemeten zijn
* Categorieën als: zeer mee eens, mee eens, neutraal, mee oneens, zeer mee eens.
* Nu is de 1e plaats wel beter dan de 2e plaats (denk aan sportwedstrijden). Maar laat niet zien hoeveel beter
* Cijfers op een rekentoets. Staat wel op volgorde, maar rekenen lastig
- verschil tussen cijfer 5 en 4 = 1, maar hoeft niet zelfde verschil in rekenvaardigheid te zijn als verschil cijfer 6 en 7 = 1
- Degene die een 10 heeft gehaald is niet 2x zo goed als iemand die een 5 heeft gehaald
* Klassement
3) Interval (kwantitatief)
* Verschillen meten
* Kwantitatief, omdat een getal dezelfde waarde heeft.
* Er is alleen geen natuurlijk nulpunt (het is een afgesproken punt).
* Voorzichtig zijn met rekenen: +/- kan, x/: niet
* Optellen en aftrekken kan: Bijv. in graden Celcius. Het verschil tussen 25 C en 20 C is hetzelfde als 10 C en 5 C. Je kan er alleen niet mee vermenigvuldigen: 8 graden is niet 2x zo warm als 4 graden.
* Achterstand op de winnaar
4) Ratio (kwantitatief)
* Verhoudingen
* Heeft wel een natuurlijk nulpunt.
* Zeldzaam in sociale wetenschappen
* Hier zowel mee optellen en aftrekken, als mee vermenigvuldigen en delen (= ook betekenisvol).
Lengte, leeftijd, graden in Kelvin kan wel, tijdsduur
Evalueren constructvaliditeit: (5)
1 Face validiteit (indruksvaliditeit)
- Verwijst naar hoe goed het instrument het construct vertegenwoordigt volgens de beoordeling van experts
2- Content validiteit (inhoudsvaliditeit)
Mate waarin items in een meting het volledige bereik vertegenwoordigen van het construct dat men probeert te beoordelen
- Toetsmartijs: Alle subonderdelen vaak genoeg terugkomen in de toets
- Universum: Alle eigenschappen die samen construct vormen
- Domain (sampling)
3 Criterium validiteit
-Instrument dat aantoont dat het instrument een relevante eigenschap van construct kan voorspellen
a) predicatieve (uitkomst in de toekomst, cito-toets)
b) concurrerende (metingen voor nu, dyslexiediagnose)
4 Convergent validiteit
- Hangt het construct samen met andere variabelen, zoals je dat op basis van de theorie zou verwachten
5 Divergente validiteit (Discriminant)
- Geen correlatie tussen dingen die je niet wilt onderzoeken
Coëfficienten Multitrait-Multimethod matrix (MTMM) (4)
1) Betrouwbaarheidscoëfficiënt
Monotrait-monomethod
Zelfde eigenschap, zelfde methode
2) Convergent validatie coëfficiënt
Monotrait-hetromethod
Zelfde eigenschap, verschillende methode
3) Divergente validiteit coëfficiënt
Hetrorait-monomethod
Verschillen tussen eigenschappen, zelfde methode
4) Nonsense coëfficiënt
Hetrorait-hetromethod
Verschillen tussen eigenschappen, verschillende methoden
Indirecte meetmethodes: (6)
Collateral reports
Extra bronnen (derde partij) die je gebruikt, naast de zelfrapportage (secundaire bronnen). Iemand die je informatie geeft over de participant
Observation
Getrainde observanten laten observeren
Psysiological measures
Psychologische processen (gedachten) zijn gekoppeld aan fysiologische processen (lichamelijk)
Overige Indirecte meetmethoden
-Implicit association methods
Indirect meten van sterkte associaties tussen ‘attitude objects’ and ‘specific attributes’. Onbewuste processen proberen te meten (indirect meten). Stereotype. Reactiesnelheid
-Card sort
-Autophotographic reseach
Soorten niet-aselecte steekproeven: (4)
1) Convenience sampling (accidental/haphazard sampling)
* Een steekproef waarbij je gebruikmaakt van mensen die toevallig voorhanden zijn.
* Simpelste vorm
* Het selecteren van elementen die het makkelijkst te vinden zijn
* Veel ‘dezelfde elementen’ binnen de steekgroep
* Particularistic research
* Lastig te generaliseren:
* Veel bias
* Zegt weinig of gehele populatie
* Toch wordt het wel vaak gebruikt
- Onmogelijk verwerven sampling frame
- Andere methoden kosten te veel tijd
* Docent vraagt eigen studenten voor onderzoek
* Eerste 100 mensen die je tegenkomt en geïnterviewd willen worden
2) Snowball sampling
* Start met kleine groep
* Participanten zorgen voor nieuwe participanten en deze weer voor nieuwe
* Hierdoor groeit de kleine groep in een steeds grotere groep
* Goed bruikbaar bij lastige te bereiken, hechte community populatie
* Zelfde nadelen als convenience sampling en misschien nog wel meer
* Veel zelfde populatie: risico dat we een kliek vrienden/collega’s selecteren.
–> Veel zelfde kenmerken
3) Purposive sampling (doelgerichte steekproef)
* Typische elementen voor de populatie gekozen aan de hand van oordeel onderzoeker
* Bijvoorbeeld gebruik van extreme elementen, of dezelfde kenmerken, of tegenovergestelde kenmerken, alleen specialisten –> Specifiek onderzoeksdoel
* Vaak bij kwalitatief onderzoek
* Zelfde nadelen als convenience sampling
* Ook oordeel onderzoeker brengt bias met zich mee
* Variabelen van interesse
4) Quota sampling
* Moet populatie ‘representeren’
* Uit alle strata van je populatie neem je een element
* Vergelijkbaar met gestratificeerde willekeurige steekproeven
* Specifiek kiezen aan de hand van kenmerken elementen/variabelen, zoals gender en leeftijd (geen interesse)
* Mogelijke doelen
- Verhoudingen uit minderheden includeren
- Verhoudingen van groepen hetzelfde als populatie * Verhouding kenmerken steekproef corresponderen met verhouding kenmerken populatie
- Niet random selecteren van elk stratum
- Bij elke stratum convenience sampling gebruikt
* Lijkt representatief te zijn, maar wel veel bias
- Bij een interview naar makkelijk aanspreekbare mensen gaan
* Voorzichtig conclusies trekken en generaliseren
Soorten aselecte steekproeven (3)
1) Simple random sampling
* Simpelste vorm
* Opgenomen in complexere steekproeven
* Elk element heeft een gelijke en onafhankelijke kans
* Soort loting
* Gebruik maken van een lijst random numbers (reeks getallen die gegenereerd zijn zonder specifieke volgorde)
2) Stratified random sampling
* Steekproef uit elke strata
* Steekproefgroottes hoeven niet even groot te zijn
* Verhoudingen hoeven niet gelijk te zijn aan de populatie * Verhoudingen in populatie moet wel bekend of geschat zijn
* Gebruiken bij:
- De verschillen (op variabelen van interesse) tussen de strata relatief groot zijn t.o.v. de verschillen binnen de strata.
- En als de proporties (op de stratificatie variabelen) bekend zijn.
* Steekproef: 42 mannen, 38 vrouwen. Is totaal 80 65+ers. Werkelijkheid: 41 % man en 59 % vrouw. Schatting van de werkelijke populatie: 0,41 x het gemiddelde gewicht van de 42 mannen + 0,59 x het gemiddelde gewicht van de 38 vrouwen.
3) (Single/Multi-stage) cluster sampling
* Niet elementen (individuen) maar clusters worden willekeurig getrokken
* Meerdere keren steekproeftrekkingen
* Foutmarge lastig vast te stellen
* Minder kosten en werk
* Het willekeurig kiezen van clusters en daarbinnen willekeurig kiezen van elementen
* Single stage: 1 steekproef
* Multi stage: 2 steekproeven
* Three-stage cluster sampling: 3 steekproeven
* Kan zelfs 4 stages
a) Studenten clusteren in districten, bepaalde gebieden in het land
b) Scholen selecteren binnen de geselecteerde districten
c) Random steekproef van wiskundeklassen binnen geselecteerde scholen
d) Random steekproef van leerlingen binnen de geselecteerde klassen
Soorten designs: (van hoog naar laag in interne validiteit)
1) Experimentele designs
§ Pretest-posttest two group design
§ Randomized two group design
§ Solomon-four group design
§ Factorial design (between-/within participants)
2) Quasi-experimental designs
§ Pretest-posttest nonequivalent control group
§ Static-group comparison
§ One-group pretest-posttest
§ Interrupted time series
§ Replicated interrupted time series
3) Niet-experimentele designs
§ Survey study
§ Vragenlijst
§ Observatie
§ Archief
Ingrediënten/criteria experiment (3)
1) Manipulatie
- Oorzaak is onder controle van onderzoeker
- Waarborgt dat het effect is veroorzaakt door de onafhankelijke variabele
2) Comparison (vergelijken)
- Controlegroep
- Waarborgt dat het effect geen natuurlijk effect is
3) Random assignment
- Alle participanten hebben een gelijke kans om toegewezen te worden aan verschillende condities
- Geen systematische verschillen tussen de 2 groepen anders dan het verschil in de onafhankelijke variabele
- Waarborgt dat er geen alternatieve verklaring is
- Kan altijd zorgen dat er toch verschillen zijn in de groep
–> Repliceren
Random, 2 groepen, geen pretest
Gevaren (3)
Randomized two-group design
Differential mortality, history, instrumentation
Random, 2 groepen, wel pretest
Gevaren (4)
Voordelen (2)
Pretest-posttest two-group design
Testing (sensitize), history, instrumentation, differential mortality
- Laat de grootte van het effect van het experiment zien
- Controle of randomisatie is geslaagd
Random, 4 groepen, 2 pretest, 2 niet
Solomon fout-group design
Random, minimaal 4 groepen, 2 interventies
Factorial designs:
Interactie-effect
De gecombineerde effecten van de factoren, hangt van andere factoren af
- Lijnen lopen parallel (geen interactie)
- Lijnen lopen niet parallel (interactie)
- Geen verschillen tussen getallen interventies (geen interactie)
- Verschillen tussen getallen interventies (interactie)
Hoofd effect
De effecten van het factor apart, gemiddeld over niveaus van de andere factor
- Lijn horizontaal (geen hoofdeffect)
- Lijn lineair (hoofdeffect)
- Gemiddelde hetzelfde (geen hoofdeffect)
- Gemiddelde verschilt (hoofdeffect)
Maturation
- Rijping
- Natuurlijk voorkomend proces
- Personen worden ouder en wijzer
- Verveling, groeien, ontwikkelen
- Gevaar bij pretest
- Oplossing
- Controlegroep
- Prikkels op volgorde toewijzen, zodat alle typen prikkels gelijk gespreid zijn
Morality
- Mortality: Uitval van deelnemers tijdens het onderzoek (externe validiteit)
- Differential morality: Aantal uitvallers verschillen tussen experimentele groepen (interne validiteit)
- Uitvallers kunnen afwijken van de doorzetters en visa versa.
- Komt vooral voor bij longitudinaal onderzoek (langdurig onderzoek)
- Niet gemakkelijk op te lossen
- Verminderen:
- Contact blijven houden (nieuwsbrief, verjaardagskaart)
- Contactgegevens van mensen die participant goed kennen
- Zorgvuldig ontwerpen van de ervaring van de controledeelnemers om even wenselijk of aversief te zijn (gelijkwaardige condities tussen de 2 groepen)
Inus condition:
Een inefficiënt maar niet overbodig onderdeel van een overbodig maar efficiënte conditie, probabillistisch (John Machiek’s visie)
- Insufficient (inefficiënt, niet voldoende)
- Andere factoren zijn erbij nodig; randvoorwaarden
- Onderdeel alleen heeft geen effect
- Lucifer kan geen vuur aansteken, zonder factoren als zuurstof
- Nunredunant (niet overbodig)
- Is uniek ten opzichte van andere factoren, voegt iets essentieels toe
- Factoren hebben geen overlap in wat zij toevoegen aan conditie
- Lucifer is wat anders dan droog hout
- Sufficient condition (effectieve conditie)
- Met alle factoren samen wel effectief
- Lucifer, droog hout en zuurstof geven samen brand
- Unnecessary (onnodig, niet noodzakelijk)
- Er zijn andere condities die same
Causale beschrijving VS causale uitleg
Beschrijving:
- Is er een effect? Hoe groot is het effect?
- Wat we in experimenten doen is
- Is er een verband ja of nee? Er wordt dan niet uitlegt hoe dit komt, de mechaniek erachter wordt niet beschreven.
Uitleg:
- De mechaniek erachter.
- Waarom is er een effect? Hoe werkt iets?
- Lastiger dan causale beschrijving
Niet experimenteel, 2 groepen, geen pretest
gevaren (5)
Static group comparison design
(selection by) maturation, selection, history, instrumentation
Niet experimenteel, 2 groepen, wel pretest
gevaren (6)
Pretest-posttest nonequivalent control group design
(selection by) maturation, history, instrumentation, testing, selection
Niet experimenteel, 1 groep, wel pretest
gevaren (4)
One-group pretest-posttest design
Maturation, history, instrumentation, testing
Niet experimenteel, 1 groep, meerdere voor- en nametingen
gevaren (4)
Interrupted time-series design (Longitudinal design)
Maturation, history, instrumentation, testing
Niet experimenteel, 2 groepen, meerdere voor- en nametingen
gevaren (4)
Replicated interrupted time series design
History, instrumentation, testing, selection
Niet experimenteel, 1 element, meerdere voor- en nametingen
Single subject (single case) design
Soorten observationeel onderzoek (2)
1) Physical traces (Fysieke sporen)
* Data niet specifiek met het oog op vergelijking en gevolgtrekking, maar beschikbaar om benut te worden door de alerte waarnemer
* Stukjes gegevens die niet specifiek zijn geproduceerd met het oog op vergelijking en gevolgtrekking, maar beschikbaar zijn om opportunistisch te worden benut door de alerte waarnemer
* Types (Erosion & Accretion measures)
* Laten zien hoe vaak een gedrag wel of niet voorkomt
* Nadelen
- Validiteits- en betrouwbaarheidsproblemen; alternatieve verklaringen
- Physical traces zijn lastig te vinden
* Niet als hoofdonderzoek, maar als onderdeel gebruiken: Multiple operationism
2) Systematische observaties
* Selectie, registratie en coderen van gedrag of verschijnsel
* Objectief, checklist, coderingssysteem, eenheden voor sampling
* Observeren terwijl gedrag plaatsvindt
* Soorten (ongestructureerde/gestructureerde methodes)
Typen physical traces (2)
- Erosion measures (Slijtage van materiaal)
Sommige vloeren in musea moeten sneller vervangen worden dan andere. - Accretion measures (letterlijk toename)
Hoeveelheid vingerafdrukken op het glas voor een schilderij
Soorten systematische observaties (2)
a) Ongestructureerde methodes
- Doel: genereren hypothesen en prevalentie meten
- Volledige beschrijving is nooit mogelijk
- Ethologische approaches
® Min mogelijk voorafgaande categorisering
® Natuurlijke setting
® Molecular behavior: Kijken naar de minimale gedragingen/details, niet naar wat dat betekent
- Ecologische observation
® Gedrag sterk afhankelijk van setting
® Setting is belangrijk bij voorspellen iemands gedrag
b) Gestructureerde methodes
- Onderzoekers weten voor onderzoek wat belangrijke aspecten zijn en duidelijk plan
- Checklists of category systems
- Codeerschema’s
- Betrouwbare en valide checklist
a) Expliciete definities van gedrag beschreven
b) Geen overlap, uitsluitende categorieën
c) Moet volledige gebied van interesse dekken, uitputtende categorieën
Soorten Sampling strategie bij observatie (3)
a) Continuous real-time measurement:
- Meten elke frequentie/duur van elk gedrag
- Alles volledig beschrijven van een periode
b) Time sampling (steekproef trekken uit al die momenten):
- Time-point sampling: bevries de tijd en kijk of gedrag wel/niet voorkomt (bijv. om de minuut)
- Time-interval sampling: meerdere tijdsperiodes en kijken hoe vaak voorkomt, turven (bijv. steeds 5 min)
c) Combinatie
–> Groot verband tussen 2 soorten, maakt weinig uit welke je kiest
Onderdelen archiefonderzoek (3)
1) Statistical records (samenvattende statistieken)
* Regering en institutionele gegevens
* Bevat vaak etnische gegevens
* Sociale indicatoren om de status en verandering in kwaliteit van leven in kaart te brengen
2) Research survey archives (databases)
* Gebruik maken van gegevens van al bestaande onderzoeken
* Uitgebreide informatie verkregen uit steekproeven van hoge kwaliteit
* Weinig kosten/tijd
* Bedoeld voor onderzoeksdoeleinde
* Geluk hebben of gegevens jouw onderzoeksvraag dekken
3) Verbal records (verbale registraties
* Publieke documenten (toespraken)
* Privé documenten (autobiografie, dagboeken, school essays)
* Massacommunicatie/sociale media (nieuws, film, internet)
* Analyse a.d.h.v. content analyse (lijkt op stappen observatie)
Componenten survey error (4). Eigenlijk 7
1 Coverage error
○ Bias wanneer de participanten worden geselecteerd uit een pool van potentiële deelnemers die niet gehele populatie dekt
○ Sommige potentiële deelnemers niet goed kunnen bereiken of hele kleine steekproef
○ Niet-systematische fout
○ Selectie-effect
2 Sampling error
○ Willekeurige verschillen tussen een steekproef en het sampling frame
○ Niet-systematisch fout: Afwijking door toeval
○ Levert geen vertekening van resultaten op
3 Measurement error
○ Bias die het gevolg is van de manier waarop de constructen van belang worden beoordeeld (meetfouten)
○ Onsystematisch meetfouten
- Geen bias individu
- Wel bias schatting parameters (verband variabelen)
- Betrouwbaarheid hierdoor minder
○ Systematische fouten
- Wel bias individu en dus schatting parameters
4 Nonrespons error
○ Bias doordat niet iedereen van de steekproef heeft gereageerd
○ Selectie-effect
○ Bij lage response rate
* Hoe minder representatief
* Hoe lager externe validiteit
* Hogere kosten
Typen enquête-designs: (3)
1) Cross-sectional designs (dwarsdoorsnede)
* De verzameling van data op eenzelfde moment
* Vaststellen van relatie tussen variabelen (niet causaal)
* Niet mogelijk om alternatieve verklaringen uitsluiten
* Simpelste versie en dus goedkoopste
2) Panel designs (paneel)
* Verzameling van data op meerdere momenten, met dezelfde participanten
* Vaststellen van stabiliteit of verandering variabelen, zoals mening, gedrag
* Longitudinal design
3) Sequential designs
* Combinatie van de andere 2 (vergelijkbaar met solomon 4 group design)
* Meerdere onderzoeksgroepen
* Aannemelijkheid van alternatieve verklaringen te evalueren
Manieren van data-verzameling (3)
1) Questionnaires (vragenlijsten)
a. Paper-and-pencil questionnairs
b. Experience sampling
c. Gemailde vragenlijst
* Gebruiken bij:
□ Bij homogene groepen
□ Grote geografische spreiding
□ Als maillijst beschikbaar is
□ Weinig budget en lage gegevenskwaliteit is acceptabel voor het specifieke onderzoeksdoel
d. Kan in het echt, maar ook via bijvoorbeeld mail
2) Face-to-face interviews (interviews)
a. Gebruiken bij
* Maximaliseren data kwaliteit en groot budget
* Bij lastig bereikbare populatie (bijv. mensen zonder telefoon/internet of analfabeten)
* Bij vragen waar diepgaande antwoorden nodig zijn
* Kleine geografische spreiding
3) Telephone interviews
a. Random digit dailing: Random steekproef
Soorten experience sampling: (3)
1) Random sampling
a. Participanten worden op willekeurige momenten benaderd
b. Te gebruiken:
* Als onderzoeker niet gericht op specifieke context
* Als onderzoeker niet verwacht dat gedrag voorkomt op specifiek moment
c. Voorkomt bias, ook in ontdekken van frequenties van gedrag
d. Vragen beantwoorden via onverwachts berichtje op telefoon
2) Fixed sampling
a. Specifieke tijd of interval om beoordeling van ervaringen te vragen
b. Daily dairy study
c. Te gebruiken:
* Als nadruk ligt op reflectie
* Interesse naar specifiek moment of interval
d. Iedere ochtend om 10 uur
3) Event-focused sampling
a. Beoordeling als reactie op bepaalde gebeurtenissen
b. Te gebruiken:
* Interesse in effect van bepaalde gebeurtenis in leven van participant
* Als onderzoeker geïnteresseerd is in gebeurtenis dat vrijwel nooit voorkomt
c. Focus alleen op het delict van interesse-ervaring
d. Foto maken van eten voor je start met eten
Stappen in evaluatieonderzoek (4)
1) Constructen identificeren en operationaliseren
* Identificeren belangrijkste problemen, de belangrijkste elementen en de verwachte resultaten
* Wat is het programma? Wie zijn de stakeholders? Wat zijn relevante uitkomsten?
* Stakeholders spelen een rol, is anders dan bij gewoon onderzoek
2) Planning evaluatiedesign
* Plannen en implementeren van evaluatie design met positieve en negatieve punten
* Welke metingen, wanneer en hoe?
* Succes (summatief) of proces (formatief)
3) Verzamelen en analyseren gegevens
* Kwalitatief/kwantitatief
4) Evaluatie en conclusie
* Met bevindingen identificeren wat goed gaat en waar verandering nodig kan zijn
Begrijpelijke manier, ook niet-onderzoekers
Evaluatie onderzoek Vergelijkingen ander onderzoek, overeenkomsten (2), verschillen (4)
Overeenkomsten:
- Gebruik constructen, operationalisaties
- Verzameling en analyse van data (empirisch)
Verschillen
- Nadruk op probleem, applied-resear
- Gebrek aan controle
- Niet ideale vergelijkingsgroep
- Samenwerking met veld
–> Verassingen
Categorieën evaluatieonderzoek: (2)
1) Summatief (uitkomstevaluatie)
* Gebruikt om te beslissen of programma’s moeten worden voortgezet, stopgezet of gewijzigd
* Kwantitatief onderzoek
§ Gebruik van experimentele, quasi-experimentele en surveyonderzoeksontwerpen
§ Gebruiken statistische analyse van kwantitatieve gegevens
* Einde van het programma om succes te meten
2) Formatief (procesevaluatie)
* Beheerders helpen hun programma’s te ontwikkelen, te verfijnen en te verbeteren (feedback)
* Definiëren het programma en beschrijven hoe het werkt
* Formatief, omdat het in het begin plaats vindt en dan nog verbeterd kan worden
* Kwalitatief onderzoek
§ Casuïstiek en observatie- of interviewgegevens in plaats van statistieken om een punt te maken
§ Technieken gebruikt die lijken op observatiemethoden
Stadia van uitvoeren evaluatie (6)
1) Maak conceptueel/logisch model
* Identificeert de verschillende programma-elementen en toont de verwachte onderlinge verbanden
* Ander conceptueel model, dan bij hoorcollege 2
a) Project inputs (geld en middelen)
b) Activities (basis van manipulaties)
c) Outputs (beschrijving activiteiten)
d) Short/long-term outcomes
2) Ontwikkelen evaluatievragen en bepalen meetbare resultaten
* Stakeholders soms lastig te identificeren
* Mensen die programma niet gebruiken, maar wel zouden moeten
3) Ontwikkelen evaluatieontwerp
* Overwegingen
a) Kwantitatief, kwalitatief of mixed method
b) Onderzoeksdesign
c) Meetinstrumenten
d) Steekproefkader en hoe deze getrokken wordt
* Mixed method verzamelen van zowel kwantitatieve als kwalitatieve gegevens
4) Dataverzameling
* Onopvallend verzamelen
* Reguliere activiteiten minimaal verstoren
5) Data-analyse
6) Verschaffen van informatie
* Rapport maken
* Onderzoek beschreven met samenvatting hiervan
Operationalisme
Opvatting dat alle constructen observeerbaar of meetbaar zijn
1 van de gevaren van manipulatiecheck meenemen in statistische analyse
verandert daadwerkelijk experiment in correlationele studie
Wat kun je zeggen over de foutenmarge en een betrouwbaarheidsinterval als we het
aantal waarnemingen gaan vergroten (en verder alles hetzelfde houden)? De
foutenmarge zal …..?….. worden en het betrouwbaarheidsinterval …..?……
groter/kleiner & breder/smaller
kleiner; smaller
Voorwaarden causaliteit (3)
1) A en B covariëren. Er moet een statistische relatie zijn
2) A gaat aan B vooraf in tijd
3) Alternatieve verklaringen (voor statistische relatie) kunnen worden uitgesloten
Solom 4 group desgin beschermt tegen
testing
refutation
Poging tot weerlegging alternatieve verklaringen
In vergelijking met repeated measures designs en time series designs, heeft een longitudinal panel design meer
metingen/participanten/variabelen/beoordelaars
variabelen
measurement error (2)
1) Systematische fouten
- Wel vertekende scores individu
- Wel vertekende schatting van parameters
2) Niet-systematische fouten
- Niet vertekende scores individu
- Wel vertekende schatting van parameters
Wat is een epistemologisch relativist
We kunnen de wereld niet kennen door middel van wetenschappelijk onderzoek
Als de enige bron van survey error sampling error is, dan mag ik de steekproef resultaten generaliseren
Waar/niet waar
Waar, levert geen vertekening op
Normatief (2)
Methodologische voorschriften (regels voor onderzoeken)
Logische regels (regels voor denken en reguleren)
