9.2 – Interventie- en designwetenschap Flashcards
Wat is de interventie- en designwetenschap?
Dit is een aparte tak van wetenschap gericht op het ontwikkelen van artefacten (dat wil zeggen, interventies of organisatiestructuren) of het verbeteren van processen en deze vervolgens evalueren op effectiviteit.
Waar wordt doorgaans gebruik van gemaakt bij interventie- en designwetenschap?
Hierbij wordt doorgaans gebruikgemaakt van een regulatieve cyclus (zie ook studietaak 1.2), waarbij de resultaten van de evaluatie van een interventie doorgaans weer leiden tot verdere aanpassingen van de interventie.
Wat zijn 3 belangrijke onderzoeksvormen van interventie en designwetenschap?
- Casestudies
- Actieonderzoek
- Evaluatieonderzoek
Wat is het primaire doel van casestudies? 2x
- zeer geschikt voor probleem-verkenning
- resultaten geven aanleiding voor selecteren juiste theoretische kaders voor interventie-ontwikkeling
Wat zijn de sterke punten van casestudies? 2x
- relatief goedkoop en snel uit te voeren
- flexibel (data-verzameling is een iteratief proces)
Wat zijn de zwakke punten van casestudies? 3x
- afhankelijk van analyse-unit (zoals single case vs. hele organisatie) en methodiek (zoals interviews vs. survey)
- lage externe validiteit en betrouwbaarheid
- slechte controleerbaarheid en data-analyse
Wat is het doel van actieonderzoek? 2x
- het verwerven van kennis over sociale systemen en dynamiek in participatieve veranderings-projecten
- kwaliteit van situatie verbeteren en handvatten bieden voor grootschaligere interventie
Wat zijn sterke punten van actieonderzoek? 2x
- flexibel
- gemeenschappelijk proces met deelnemers draagt bij aan continuïteit van verandering
Wat zijn de zwakke punten van actieonderzoek? 3x
- vooral gericht op verandering en draagt daarmee relatief weinig bij aan wetenschappelijke kennis
- kan door situatie-specifieke problemen beperkt generaliseerbaar zijn
- moeilijk om de effecten van een interventie vast te leggen
Wat is het doel van evaluatieonderzoek?
De effecten van een interventie vastleggen
Wat zijn de sterke punten van evaluatieonderzoek? 2x
- biedt sterke evidentie voor effectiviteit van een interventie
- proces-evaluaties dragen bij aan wetenschap van gedrags-verandering door werkende mechanismen in kaart te brengen
Wat zijn de zwakke kanten van evaluatie onderzoek? 3x
- vastleggen van verandering is een complex proces
- ontwerp-problemen kunnen conclusies over causaliteit bedreigen
- risico voor uitblijven effecten doordat relevante derde variabelen niet in kaart zijn gebracht
Welke twee aspecten moeten in acht worden genomen bij elke vorm van dataverzameling in interventieonderzoek ? Licht dit toe.
- De informatiewaarde van de techniek: de informatiewaarde van verschillende technieken varieert in kwaliteit, validiteit en betrouwbaarheid (zie ook studietaak 9.1). Zo geven interviews een dieper begrip van relevant aspecten, maar deze zijn weinig generaliseerbaar.
- De veranderkundige aspecten van de techniek: de gebruikte techniek heeft invloed op de mogelijke verwachtingen of het gedrag van de doelgroep. Bijvoorbeeld, observatief onderzoek kan ervoor zorgen dat mensen hun gedrag aanpassen waardoor informatie onjuist of onvolledig is. Door de doelgroep te betrekken in vragenlijstonderzoek kunnen juist verwachtingen ontstaan die niet waargemaakt kunnen worden. Daarnaast speelt de grootte van de betrokken steekproef een rol. Teveel mensen betrekken bij een onderzoek kan ook hoge verwachtingen neerzetten. Ook kan dit te intrusief zijn voor een organisatie.
Appreciative Inquiry is een vrij recente onderzoeksmethode die ingezet wordt binnen de A&G-psychologie. Uit welke stroming komt deze techniek en wat zijn sterke en zwakke eigenschappen?
Appreciative Inquiry (AI) is een techniek die voortkomt uit de positieve psychologie. Het is actieonderzoek waarbij organisaties zich verbeteren door de zaken die al heel goed lopen verder te optimaliseren. De focus ligt hierbij op wensen in de toekomst en hoe deze te realiseren. Deze techniek werkt in de praktijk vrij motiverend. Een belangrijk nadeel is dat teveel focus op positieve aspecten kan afleiden van de negatieve aspecten die op dat moment spelen.
Positieve psychologische interventies (PPI’s) – zoals appreciativy inquiry (zie opdracht 9.2.1) – vormen een nieuwe belangrijke stroming binnen de psychologie en worden ook graag ingezet binnen de arbeids- en organisatiepsychologie. Toch staan deze type interventies onder druk. Waarom? 2x
Meta-analyses laten slechts een beperkte effectiviteit van deze interventies zien.
Ook laten enkele replicatiestudies geen effecten zien.
Vaak worden deze null-effecten weggewuifd als de invloed van designfactoren, derde-variabeleproblemen of de complexiteit van menselijk gedrag, zonder dat er good practice guidelines worden opgesteld voor vervolgonderzoek. Van Zyl et al. (2019) proberen het roer om te slaan door best practice guidelines op te stellen voor toekomstig PPI-onderzoek.
Van Zyl et al. benoemen vijf hoofdgebieden waar het mis kan gaan bij de implementatie en evaluatie van PPI’s. Benoem deze vijf categorieën en beschrijf kort waar deze over gaan
- Intervention design
Intervention design gaat over de methodologische besluiten die zijn gemaakt voor het evalueren van de effectiviteit van de interventie. Een adequaat design is cruciaal voor het succes van een PPI. Of anders gesteld, een slecht onderzoeksdesign is schadelijk voor de wetenschap, omdat het enerzijds veel tijd en geld kost en onnodig gebruikmaakt van schaarse bronnen, en omdat null-effecten toe te wijzen aan een slecht design onterecht bij kunnen dragen aan de ontkrachting van wetenschappelijke theorie. Helaas leidt PPI-onderzoek vaak nog onder slechte onderzoeksdesigns. - Recruitment and retention
Dit betreft het includeren van representatieve deelnemers (recruitment) aan een onderzoek en deze vervolgens ook betrokken houden binnen een onderzoek (retention). Representatieve deelnemers zijn deelnemers voor wie de interventie uiteindelijk ook bedoeld is. Het werven van een te selectieve steekproef kan leiden tot verminderde statistische power, het vroegtijdig beëindigen van een trial, beperkte externe validiteit en verminderde mogelijkheid tot replicatie. - Adoption
Adoptie beschrijft de overname van een effectief bewezen interventie in de praktijk. Er zijn verschillende factoren die de adoptie van een interventie negatief kunnen beïnvloeden. Bijvoorbeeld, als een interventieprogramma te complex is, te veel sessies heeft of te intensief is, kunnen managers van een bedrijf besluiten dat het zich niet loont om een bepaalde interventie te implementeren. Ook kan het zijn dat de interventie niet past bij de doelgroep in de praktijk, of dat mensen geen interesse hebben in een dergelijke interventie. Een goede nets assessment vooraf is daarom cruciaal. - Fidelity
Fidelity beschrijft of de interventie wordt geïmplementeerd zoals bedoeld. Hiervoor is het belangrijk dat er voldoende getraind personeel is die het programma aanbiedt volgens een gestandaardiseerd protocol. - Evaluation
Tot slot moet goed geëvalueerd worden wat de effecten van een interventie in de praktijk zijn. Hiervoor moet het juiste design en instrumentaria gekozen worden (zie ook studietaak 9.1). Ook moeten alternatieve verklaringen zo goed mogelijk uitgesloten worden. Daarnaast moet geëvalueerd worden of het toegenomen welzijn van de deelnemers in verhouding staat met de gemaakte kosten.
Hoe mooi een onderzoeksidee ook is, onderzoek valt of staat bij de methodologische keuzes die gemaakt worden en de professionele houding van de onderzoeker. Veel van de methodologische fouten en ‘questionable research practices’ kunnen voorkomen worden door het onderzoek te pre-registreren. Wat is pre-registratie en waarom is dat zo belangrijk?
Bij preregistratie maakt een onderzoeksteam het onderzoeksdesign en interventieprotocol bekend voordat de interventie getoetst wordt. Dit is een cruciale stap in open wetenschap en in het eerlijk toetsen van de effectiviteit van een interventie. Een pre-registratie dwingt een onderzoeksteam zorgvuldig te kiezen voor een onderzoeksdesign en duidelijke hypothesen op te stellen. Een groot voordeel hiervan is dat deze openbaarheid ook de mogelijkheid biedt tot het ontvangen van constructieve feedback van medewetenschappers.
Daarnaast verminderd preregistratie de kans op ‘questionable research practices’, zoals het verwijderen van ongunstige data, het niet meenemen van niet significante resultaten, of het opstellen van hypothesen nadat de resultaten bekend zijn. Doordat van tevoren bekend is gemaakt hoe het design en protocol eruitzien en welke hypothesen getoetst zullen worden met welke instrumenten, kan er niet meer met de data gesjoemeld worden als de resultaten tegenvallen.
Een randomized controlled trial wordt over het algemeen als gouden standaard gezien in interventieonderzoek. Maar, met name bij PPI’s heeft deze onderzoeksopzet het risico om null-effecten uit te wijzen terwijl de interventie mogelijk wel effectief is. Leg dit uit.
Bij een randomized controlled is het cruciaal dat de deelnemers at random worden toegewezen aan de interventiegroep of de controlegroep. Conclusies over effectiviteit worden bepaald door de interventiegroep te vergelijken met de controlegroep. Positieve psychologie is een techniek die voor sommige mensen heel goed kan werken, voor anderen geen effect heeft en voor een derde groep juist negatieve effecten kan hebben. Een extreem voorbeeld is dat het focussen op positieve aspecten iemand kan realiseren dat er niets positiefs is in het leven van deze persoon en juist gevoelens van depressie in de hand werkt.
Stel dat deze drie groepen gelijk verdeeld in de interventiegroep zitten. Een onderzoeker concludereert dan dat het programma niet effectief is, terwijl het voor een derde van de groep juist veel kan bijdragen. Het in kaart brengen van dergelijke profielen is daarom cruciaal voor het bepalen van de effectiviteit van de interventie. Het is belangrijk dat een PPI past bij de waarden van een persoon om zo de maximale effectiviteit te behalen (‘person-activity fit’).
