Hoorcollege 11 Flashcards
Evaluatie onderzoek
Op welke variabelen liggen de nadruk bij evaluatieonderzoek?
De beleidsvariabelen, ipv de variabelen die het best verklaren.
Wat is evaluatieonderzoek?
het toepassen van sociale onderzoeksmethoden om sociale interventieprogramma’s en -beleid te beoordelen.
Evauatie is een belangrijk onderdeel in het proces van rationele besluitvorming of probleemoplossing.
Wat zijn de 6 fasen van beleidsvorming?
(1) identificatie van een probleem dat verbetering nodig heeft,
(2) beleidsplanning – de overwegingen van alternatieve interventiestrategieën om het probleem aan te pakken,
(3) ontwikkeling van een specifieke beleidsactie of -programma,
(4) uitvoering van het beleid of het programma,
(5) analyse van de impact van het programma,
(6) feedback over het probleem en beleid en bestuurlijke actie.
Wat gebeurt er bij de stap ‘probleem identificatie’
Conceptualisatie (wat is precies het probleem) en Diagnose (wat weten we nog niet, wat is de aard van het probleem etc)
welke 2 vormen van evaluatie onderzoek zijn er in de beleidsfase?
-
Needs assessment (behoefteanalyse) = verschillende soorten beoordelingen. Het wordt gebruikt om problemen die aandacht nodig hebben te identificeren en voorspellen, gepercipieerde prioriteiten vast te stellen tussen de gemeenschap en de organisatie, de omvang van een probleem te bestuderen en om in te schatten in hoeverre een programma zal worden gebruikt of anders in passende behoeften zal voorzien.
-
Evironmental impact studies = de studie die wordt uitgevoerd om de mogelijke omgevingseffecten van een voorgesteld project te bepalen en de maatregelen om de effecten ervan te verzachten. Een component van deze studie is een social impact assessment = een inschatting van de gevolgen van een beleid of project voor de maatschappelijke omgeving.
Wat is beleidsmaking? (stap 2)
*
= rationele besluitvorming over mogelijkeoplossingen, plannen en interventies
*
Vanuit politici vaak een beperkt aantal optiesbeïnvloed door ideologie, pragmatische overwegingen en tijdsdruk
→ Als gevolg is er voor wetenschappers doorgaans weinig ruimte voor het geven van input!
Wat gebeurt er in fase 3 van de besluitvorming?
Formatieve toetsing
- Uitwerken van gekozen voorstel
- Voorbereiding van implementatie
Wat zijn de evaluatieactiviteiten die bij formatieve toetsing horen?
- Formatieve toetsing: pilot van project(onderdelen)
- Methoden zijn vaak niet zo rigoureus als bij een volledig onderzoek wat betreft steekproef en methode
- In hoeverre zijn alle componenten werkzaam?
- Komen de opbrengsten overeen met de beoogde doelen?
Programma ontwikkeling gebeurt doordat er een formatieve evaluatie wordt uitgevoerd om het ontwerp van het programma te verbeteren. Formatieve evaluaties lijken op pretesten. Ze geven feedback over specifieke programmaonderdelen om te bepalen of ze consistent zijn met de programmadoelstellingen. Formatieve evaluaties gebruiken vaak ongestructureerde interviews en observatie met kleine niet-willekeurige steekproeven van de doelpopulatie.
wat is fase 4 van de besluitsvmorming?
Implementatie. Hierin implementeer je het programma.
Wat is de rol van sociale wetenschappers in fase 4 van besluitsvorming?
Procesevaluatie: nagaan in hoeverre de implementatie overeenkomt met het ontwerp
- Systematische evaluatie van:
- Omvang: mate waarin de doelpopulatie wordt bereikt
- Uitvoering: mate waarin het programma uitgevoerd is zoals beschreven in het plan
- Investering: in kaart brengen van verbruikte middelen
→ Essentieel om te effectiviteit van het programma te evalueren (fase 5)!
→ Mogelijkheid tot finetunen!
Wat is stap 5 van de besluitsvorming?
Evaluatie van de uitkomsten van het project.
Wat is de rol van de sociaal wetenschappers in fase 5?
Summatieveevaluatiebestaat uit 2 delen:
1. Zijn met het project de gestelde doelen behaald?(effect assessment)
→Zijn er toevallige verschillen of is er eensubstantiële verandering bewerkstelligd (bijvd.m.v.statistische significantie)
→Hoe betekenisvol is het effect? (bijvd.m.v.statistische effectgrootte)
2. Wat zijn de baten ten opzichte van de kosten?(efficiency assessment)
→kosteneffectiviteitsanalyse (inhoudelijk) en/of kosten-batenanalyse (economisch)
Wat is stap 6, de laatste stap van besluitsvorming?
Feedback en actie
Wat is het blackbox model en waarom moet je proberen het te voorkomen?
Het blackbox model verwijst naar een systeem of model waarvan de interne werking onbekend of niet transparant is. In de context van methodologie, en zeker bij onderzoek of ontwerp, is het vaak iets wat je wilt voorkomen. Hieronder leg ik uit wat het precies inhoudt en waarom het problematisch kan zijn:
Wat is een blackbox model?
Een blackbox model:
Heeft een duidelijke input en output, maar hoe de transformatie van input naar output plaatsvindt is niet inzichtelijk.
Gebruikers of onderzoekers begrijpen niet hoe het systeem tot zijn conclusies of resultaten komt.
Het wordt vaak geassocieerd met systemen die complex, geautomatiseerd, of op algoritmes gebaseerd zijn (zoals sommige AI-modellen).
Voorbeeld:
Bij een blackbox AI-systeem voer je data in, en het model levert een voorspelling of beslissing, maar het is onduidelijk welke stappen of logica daaraan ten grondslag liggen.
- Leidt tot trial-and-error→ grote kans op tijd- en geldverspilling en verslechtering van situatie!
wat wordt er met ‘theorie als leidraad’ bedoeld?
Gebruik methodes die duidelijk de stappen en verbanden beschrijven die van input naar output leiden.
Methoden moeten geïntegreerd zijn in theorie: de theorie dient als leidraad voor methodologische besluitvorming helpt bij het vaststellen van effecten, het operationaliseren van de behandeling en van programma’s, en bij het selecteren van gepaste uitkomstmaten.
