Thema 9 onderzoek Flashcards
Onderzoek
Om goed te kunnen begrijpen hoe arbeid en gezondheid elkaar beïnvloeden en om hier actief en effectief op in te kunnen spelen, is onderzoek cruciaal. In de afgelopen decennia is er veel onderzoek verricht naar belangrijke theorieën binnen de arbeids- en organisatiepsychologie. Dit heeft belangrijke inzichten en bruikbare modellen opgeleverd om gezondheid op de werkvloer te optimaliseren.
Echter, elk onderzoek moet goed geïnterpreteerd worden op basis van de sterke en zwakke methodologische aspecten van de onderzoeksopzet. Zo kunnen er nooit causale interpretaties ontleend worden aan eenmalig vragenlijstonderzoek. Ook kan het voorkomen dat bepaalde relaties eigenlijk door een derde variabele verklaard worden. In dit thema leer je hier meer over.
Het begrijpen van de determinanten van gezondheid is één aspect van onderzoek. Het is vervolgens de kunst om deze determinanten te vertalen naar effectieve interventieprogramma’s om gezondheid te bevorderen. Hierbij moet natuurlijk ook getoetst worden of deze aanpak zijn vruchten afwerpt.
Interventie- en designwetenschap richten zich op het ontwikkelen, implementeren en evalueren van interventies. Ook hierbij zijn verschillende methoden te onderscheiden, waarbij elke methodiek zijn voor- en nadelen kent.
onderzoeksontwerp en methoden
In de afgelopen decennia is er veel onderzoek gedaan naar belangrijke theorieën binnen de arbeids- en organisatiepsychologie. Dit heeft belangrijke inzichten en bruikbare modellen opgeleverd om gezondheid op de werkvloer te optimaliseren. Maar elk onderzoek moet goed geïnterpreteerd worden op basis van de sterke en zwakke methodologische aspecten van de onderzoeksopzet.
In deze studietaak komen vier veelvoorkomende onderzoeksontwerpen aan bod, namelijk 1) cross-sectioneel onderzoek, 2) longitudinaal onderzoek, 3) dagboekonderzoek en 4) experimenteel onderzoek.
Let wel, deze methoden zijn vooral gericht op het verzamelen van grote hoeveelheden (vooral kwantitatieve) data. Hoewel deze data veel informatie geven, kan deze manier van dataverzameling een beperking zijn en geven deze methoden minder inzicht in de diepgaandere individuele beleving achter bepaalde onderzoeksvragen. Hiervoor zijn kwalitatieve methoden, zoals diepte-interviews of focusgroepen, meer geschikt. Deze komen niet aan bod in deze studietaak.
Een ander aspect bij deze methoden is dat de meetinstrumenten meestal berusten op subjectieve ervaringen. Bij vragen rondom bijvoorbeeld werkdruk is het belangrijk om te bepalen of de subjectieve ervaring van werkdruk ook aansluit bij de objectieve werkdruk (dat wil zeggen, het aantal toebedeelde taken). Als deze niet overeenkomen heeft dit natuurlijk andere implicaties dan als deze wel overeenkomen.
Tot slot kan het voorkomen dat bepaalde relaties eigenlijk door een derde variabele verklaard kunnen worden. Bijvoorbeeld, mensen die hoge werkdruk ervaren, maken veel fouten. Maar, het is goed mogelijk dat deze relatie vooral geldt voor stressgevoelige mensen. Het is belangrijk de invloed van zulke derde variabelen in kaart te brengen. Op deze manier kunnen bijvoorbeeld bepaalde trainingen effectiever ingezet worden.
Er zijn verschillende kwantitatieve onderzoeksontwerpen om verbanden tussen twee variabelen te toetsen. Noem de vier belangrijkste kwantitatieve onderzoeksontwerpen, benoem hiervan de sterke en de zwakke punten, en geef een voorbeeld waarbij dit ontwerp toegepast kan worden.
1 crossectioneel
2 longtidunaal
3 dagboekonderzoek
4 experimenteel onderzoek
cross-sectioneel onderzoek
+
- relatief snel uit te voeren
- geschikt voor vaststellen prevalentie gezondheids-probleem binnen organisatie op specifiek moment
-
-geschikt voor theorievorming - geen uitspraken over causaliteit
- moment-opname: kan verkeerd beeld geven van werkelijkheid (uitkomsten kunnen fluctueren)
toepassing;
- verkrijgen van een indicatie van ervaren werkdruk of arbeids-tevredenheid binnen organisatie
- bepalen of een interventie nodig is
longtidunaal onderzoek
+
- kan causale verbanden toetsen (mist goed uitgevoerd)
- geschikt voor theorie-bevestiging - tijdsintensief
-
- relatief moeilijk uit te voeren (model en tijdsinterval moeten zorgvuldig uitgekozen worden)
- drop-out vormt bedreiging voor de validiteit
Toepassing;
- bepalen welke werkstressoren veroorzaker zijn van gezondheids-klachten op termijn om op basis hiervan een doelgerichte interventie te ontwikkelen
dagboekonderzoek
+
- kan fluctuaties in emoties, gedachten of gedragingen goed in kaart brengen die met ander typen onderzoek niet gemeten kunnen worden
- minder last van cognitieve herinterpretatie
- data-verzameling in de natuurlijke omgeving
-
- maakt grote inbreuk op het dagelijkse leven van de deelnemer
- maar een beperkt aantal concepten kan gemeten worden
Toepassing;
- ervaren stress en emoties in kaart brengen direct na negatieve interactie op het werk (zoals boze of dreigende cliënten); geeft waarschijnlijk dynamischer en beter beeld dan onderzoek waarbij herinterpretatie mogelijk is door te groot tijdsinterval
experimenteel onderzoek
+
-relatief hoge interne validiteit
- kan causale verbanden veronderstellen (mits goed ontwerp)
-
- lagere externe validiteit (van laboratorium-onderzoek)
- geen goede afspiegeling dynamiek van het echte leven
- Een veldexperiment heeft grotere externe validiteit, maar moeilijker controle op externe variabelen en meer risico op meetfouten.
Toepassing;
- in een laboratorium de effecten van vermoeidheid op taakuitvoering toetsen
- binnen bedrijf effectiviteit van interventie-programma testen, waarbij deel werknemers geen interventie krijgt en ander deel wel
Wat zijn de drie belangrijkste criteria voor longitudinaal onderzoek en waarom zijn deze belangrijk?
Onderzoeksmodel
Als het onderzoeksmodel niet zorgvuldig gekozen wordt, biedt een longitudinaal onderzoek geen duidelijke meerwaarde boven een cross-sectioneel onderzoek. Bij een compleet paneldesign worden de vooronderstelde onafhankelijke en afhankelijk variabelen op meerdere tijdstippen met dezelfde meetinstrumenten bij dezelfde personen gemeten. Op deze manier kan getoetst worden of er sprake is van de vooronderstelde causale relatie, een omgekeerde causale relatie, een reciproque relatie of geen relatie.
Tijdsinterval
De tijdsintervallen tussen metingen moeten van adequate lengte zijn en onderbouwd worden met methodologische, theoretische en/of praktische aannames. Het niet goed kunnen bepalen van een tijdsinterval kan de betrouwbaarheid van het onderzoek ernstig verstoren. Bijvoorbeeld, het is niet zinvol om maandelijks een meting te doen naar determinanten van verzuim als het verzuimpercentage 2 procent op jaarbasis is, terwijl dit wel zinvol kan zijn bij een verzuimpercentage van 20 procent op jaarbasis. Daarnaast moet er bij de keuze van het tijdsinterval rekening gehouden worden met mogelijke storende factoren binnen longitudinaal onderzoek.
Steekproef
Het is belangrijk dat de onderzochte steekproef representatief is. Om dit te controleren is van belang om te toetsen of er een selectieve non-respons is. Bijvoorbeeld, bij onderzoek naar gezondheidsklachten kan het zijn dat juist mensen met veel klachten uitvallen over de tijd, waardoor vooral gegevens van gezonde medewerkers beschikbaar zijn (healthy-workereffect). Het kan ook zo zijn dat juist alleen mensen met klachten gehoor geven aan een onderzoek, waardoor een situatie negatiever lijkt dan deze mogelijk is.
Bij het uitvoeren van onderzoek op de werkvloer is er naast het meten van subjectieve stressoren steeds meer aandacht voor het meten van objectieve stressoren. Metingen van objectieve stressoren zijn over het algemeen weinig afhankelijk van cognitieve en emotionele verwerking, en kunnen bijvoorbeeld verkregen worden via deskundigenoordelen, documentaties en fysiologische metingen. Metingen van subjectieve stressoren zijn wel afhankelijk van cognitieve en emotionele verwerking en worden meestal via vragenlijstonderzoek gemeten.
Stel, binnen een afdeling zijn er klachten over pestgedrag. Het is belangrijk dat dit aangepakt wordt. Het hoofd van de afdeling wil een onderzoek uitvoeren waarbij er naast een vragenlijstonderzoek ook een objectieve meting plaatsvindt. Hiervoor wordt een observator ingezet.
Welke meerwaarde heeft het meten van objectieve stressoren naast het meten van subjectieve stressoren? Welke meerwaarde kan een observator hebben bij het meten van pestgedrag?
Met het meten van objectieve stressoren kun je het probleem vanuit een andere invalshoek bekijken en nagaan in hoeverre een ervaren probleem overeenkomt met een ojectieve meting. Bij het gebruik van subjectieve methoden alleen is er het gevaar van de ‘triviality trap’, waarbij al snel relaties gevonden worden omdat de gemeten concepten overlappen of op eenzelfde manier gemeten worden. Het gebruik van zowel objectieve als subjectieve methoden geeft een beter beeld over de juiste te nemen interventie.
Voor het meten van pestgedrag op het werk kan een onafhankelijke observator bijhouden hoe vaak een specifiek pestgedrag voorkomt. Hiermee kan getoetst worden hoe de werkdynamiek onder collega’s is en hoe deze overeenkomt met de gerapporteerde problemen. Op basis hiervan kan een gerichte en effectieve interventie ontwikkeld worden.
Wat zijn mogelijke problemen bij het meten van pestgedrag door middel van objectieve methoden? Welke meetproblemen zijn er bij het inzetten van een observator?
Het is moeilijk om een valide meetinstrument te ontwikkelen bij een complex sociaal construct zoals pesten. Om pestgedrag goed te kunnen meten, moet duidelijk gespecificeerd zijn wat onder pestgedrag verstaan wordt en dat is moeilijk (zie ook thema 7). Vaak zijn het subtiele gedragingen die in een bepaalde context plaatsvinden. Wat volgens een objectief meetinstrument niet als pesten wordt gecodeerd, kan wel pestgedrag zijn.
Stel, de observator rapporteert op basis van verschillende geobserveerde negatieve gedragingen dat er inderdaad gepest wordt. Wat is dan een goede vervolgstap? En wat als de observator geen pestgedrag rapporteert?
Als de observatie en de subjectieve rapportage overeenkomen, is het duidelijk dat de gerapporteerde klachten gegrond zijn en dient de stressor weggehaald te worden. Dat zou bijvoorbeeld kunnen betekenen dat een team uit elkaar gehaald wordt en sommige collega’s herplaatst worden naar een andere afdeling.
Als de observatie en de subjectieve rapportage niet overeenkomen, wil dat niet zeggen dat er geen probleem is. Het is mogelijk dat sommige collega’s pestgedrag ervaren terwijl dit misschien niet aan de orde is. Verdere uitdieping van het probleem is dan nodig. Als blijkt dat het vooral de perceptie vanuit de werknemer is, kan een coachingstraject een mogelijke vervolgstap zijn.
Binnen de A&G-psychologie komt het vaak door dat een derde variabele de relatie tussen twee onderzoeksvariabelen beïnvloedt. Als onderzoeker moet je deze invloeden goed begrijpen om alternatieve verklaringen uit te sluiten en om foute conclusies te voorkomen.
Benoem de drie belangrijkste manieren waarop een derde variabele de te onderzoeken relatie kan beïnvloeden en geef van elk een voorbeeld.
*Derde-variabeleprobleem
De relatie tussen de onafhankelijke en afhankelijke variabele wordt verklaard door een derde variabele. Bijvoorbeeld, een gevonden relatie tussen werkstress en ziekteverzuim kan een vertekend beeld zijn als deze relatie tijdens een reorganisatie gemeten is. De reorganisatie zelf kan namelijk een voorspeller zijn van zowel werkstress als ziekteverzuim, wat de gevonden relatie verklaart.
*Moderatoreffect
De relatie tussen de onafhankelijke en afhankelijke variabele is afhankelijk van de waarde van een derde variabele. Bijvoorbeeld, een trainingprogramma om prestaties te verbeteren werkt alleen bij medewerkers met een hoge werkmotivatie, maar niet bij medewerkers met een lage werkmotivatie.
*Mediatoreffect
De onafhankelijke variabele heeft invloed of de afhankelijke variabele via een derde variabele. Bijvoorbeeld: De relatie tussen mate van privéstressoren en tevredenheid met werk wordt gemedieerd door werkprestaties. Dat wil zeggen dat een hogere mate van privéstressoren leidt tot lagere werkprestaties, wat op zijn beurt weer de werktevredenheid beïnvloedt.
cross-sectioneel onderzoek
het meeste onderzoek bij A&G psycholoigie betreft cross-sectioneel of dwarssnede onderzoek: er wordt op 1 moment in de tijd ahv een vragenlijst metingen verricht bij een groep van werknemers.
Gegevens kunnen met elkaar in verband gebracht worden, als ook de prevalentie van bepaalde aspecten maar geen oorzaak gevolg oftewel causaliteit. Ook is een werksituatie eerder een film dan een momentopname. de ordening van fenomenen in de tijd heb je niet.
longtidunaal onderzoek
meer dan 1 meting op verschillende tijdstippen bij dezelfde werknemers.
In en panelstudie wordt dezelfde groep minstens 2x ondervraagd, waarbij gebruik wordt gemaakt van dezelfde variabelen met dezelfde meetinstrumenten.
Een principe van longtidunaal onderzoek is dat tijdsintervallen zo dienen opgesteld te worden dat een variabele x in ieder geval de tijd heeft om variabele y te beïnvloeden.
Tijdsintervallen dienen verder rekening te houden met tussentijdse veranderingen of verstorende factoren die de te onderzoeken relatie kunnen beïnvloeden. Onderzoekers dienen de lengte van tijdsintervallen zo veel mogelijk te bepalen aan de hand van de veronderstelde onstaansgeschiedenis van de processen die ze bestuderen.
Dormann en Griffin (2015) beargumenteren dat de optimale tijdspanne tussen 2 metingen afhankelijk is van de stabiliteit van de constructen die worden onderzocht en dat de optimale tijdsperiode tussen 2 metingen in een paneldesign meestal relatief kort is. Zij pleiten eerder voor shortidunaal.
Storende factoren in longtidunaal onderzoek zijn;
*tussentijds voorval
*rijping of groei, verandering in de afhankelijke variabele
*testeffect: vragn op T1 hebben mensen doen nadenken of aangezset tot bepaald gedrag
*instrumentatie: moet dezelfde zijn op T1 en T2 zodat resultaten niet daaraan kunnen liggen
*selectie en statistische regressie: regressie naar het gemiddelde van de groep als geheel
*uitval
*niet representatieve steekproeven
causaliteit 3 voorwaarden
*statistisch verband tussen de afh en onafh variabele
*de oorzakelijke variabele gaat in tijd vooraf aan de uitkomst variabele
*er is geen derde variabele die het effect veroorzaakt
crosssectioneel onderzoek voldoet in ieder geval niet aan de tweede eis, daarom kunnen causale relaties beter onderzocht worden met longtidunaal onderzoek.
Er kan onderscheid gemaakt worden tussen 3 soorten causale relaties:
*gewone causale relaties: x heeft effect op variabele y
*omgekeerde causale relaties; y beïnvloedt x
*reciproque causaliteit; x en y beïnvloeden elkaar wederzijds
steekproeven
het is altijd van belang de onderzochte steekproef goed te beschrijven. Bij non-response is het tevens belangrijk om te onderzoeken of er bepaalde selectie-effecten zijn opgetreden.
Het grote probleem van selectiviteit is dat onderzoeksresultaten mogelijk niet representatief zijn voor de totale populatie van werknemers en dus niet meer gegeneralisseerd kunnnen worden.
Voorbeeld: in een longtidunaal onderzoek naar vermoeidheid met 3 metingen zou men kunnen nagaan of deelnemers die wel meedoen op T1, maar niet T2 en T3, op T1 hoger scoren op vermoeidheid dan werknemers die aan alle metingen meedoen. Als dit het geval is, dan is er sprake van een selectie-effect: het healthy worker effect.
dagboekonderzoeken
-signal-contingent methodes of experiences-mapling zijn methodes waarbij respondenten gevraagd wordt een korte vragenlijst in te vullen wanneer ze daarvoor een signaal ontvangen
-event-contingent methodes: elke keer als een van tevoren bepaalde situatie zich voordoet dient de respondent een korte vragenlijst in te vullen.
-interval-contigent methodes of dagelijkse dagboeken worden gebruikt om op 1 of meerdere vaste tijdstippen per dag een vragenlijst af te nemen die niet gerelateerd is aan specifieke gebeurtenissen van die dag.
Een nadeel van dagboek onderzoek is dat het een grote inbreuk maakt op het dagelijkse leven van en deelnemer, vooral wanneer er op meerdere tijdstippen per dag wordt gemeten.
experimenteel onderzoek
een experiment is een wetenschappelijk onderzoek waarbij een onderzoeker onder gecontroleerde omstandigheden tenminste 1 onafhankelijke variabele manipuleert en nagaat wat het effect is van deze variable op een afhankelijke variabele
randomisatie is theoretisch gezien de enige manier om te controleren voor alle mogelijke externe variabelen.
Bij veldexperimenten is randomisatie in de regel niet mogelijk, men spreekt dan van een quasi-experiment.
een externe variabele kan ook expliciet mee opgenomen worden in het onderzoeksontwerp of men kan kiezen voor matching waarbij men vergelijkbare deelnemers selecteert voor de verschillende experimentele condities.
Het sterke punt van laboratoriumexperimenten is de relatief hoge interne validiteit doordat het onderzoek wordt verricht onder streng gecontroleerde condities.
Het zwakke punt is de “probably the lack of strength of independent variables’ De externe validiteit of generaliseerbaarheid. Dit wordt aangeduid met de term ecologische validiteit.
maximalisatie van de systematische variantie
het maximaliseren van de experimentele variantie in de afhankelijke variabele, veroorzaakt door de onafhankelijke variabele.
Het onderzoek moet dus zo opgezet worden dat de experimentele condities zo verschilend mogelijk zijn.
minimalisatie van de foutenvariantie
foutenvariantie is de variabiliteit in variabelen tengevolge van willekeurige fluctuaties. Bij de minimalisering van de foutenvarianties gaat het om 2 zaken:
*reductie van meetfouten door gebruik te aken van gecontroleerde condities
*vergroting van de betrouwbaarheid van meetinstrumenten
objectieve en subjectieve benaderingen
objectieve stressor is geen voor werp van cognitieve of emotionele verwerking
subjectieve stressor is wel voorwerp van cognitieve of emotionele verwerking
Om te kunnen spreken van objectieve stressoren wordt gekeken naar een fictieve gemiddelde persoon. Wanneer deze persoon geacht wordt bvb een werkkenmerk als stressvol te beleven, dan is er sprake van een objectieve stressor. Die objectieve stressor is dan potentieel, maar niet per definitie stressvol. Hij moet eerst worden waargenomen voordat deze een psychologisch effect kan hebben op een individuele werknemer. Weknemers hoeven zich niet altijd bewust te zijn van een objectieve stressor, in bepaalde beroepen is het zelfs heel functioneel om het stressvolle karakter van het werk niet doorlopend waar te nemen.
In het algemeen geldt dat stress vooral optreedr wanneer men zich realiseer dat de taakeisen de eigen vaardigheden te boven gaan. Het stressperceptiemodel.
Het is inhoudelijk belangrijk om na te gaan hoe de objectieve werkomgeving van invloed is op de perceptie ervan.. De methodische reden om objectieve indicatoren te gebruiken heeft te maken met het probleem dat er triviale correlaties kunnen optreden tussen subjectieve indicatoren van arbeid en gezondheid. Enkel met objectieve meetinstrumenten kan men vrmijden om zulke (soms triviale) verbanden te gaan duiden, ook wel triviality trap
De praktische reden om onderzoek te doen naar objectieve stressoren in de werkomgeving is dat onderzoekers en organisaties vaak op grond van onderzoek de stressoren in het werk willen reduceren en hulpbronnen willen vergroten. Als een stressor zoals werkdruk slechts bestaat in de ogen van de werknemr (in the eyes of the beholder) en afhankelijk is van individuele waarnemeing en interpretatie van de situatie, is het niet nodig om de werkomgeving te veranderen. In dat geval kan het zinvol zijn om de percepties van het inidvidu te veranderen.
objectieve en subjectieve stressoren meten
In A&G psychologisch onderzoek wordt er doorgaans van uitgegaan dat subjectieve methoden verwijzen naar vragenlijsten die worden ingevuld door werknemers, terwijl objectieve methodes verwijzen naar beoordelingen door deskundigen, documentenanalyse en fysiologische metingen.
Voorbeelden van problemen bij subjectieve rapportages van werkstressoren en werkbeleving:
-meetfouten zoals gekend uit de klassieke testtheorie, bvb geneigdheid extreme antwoorden te geven of juist te vermijden en het schaalmidden als antwoord te kiezen, of het halo effect: de neiging om alle specifieke oordelen te laten beïnvloeden door de algemene indruk ervan.
-inhoudelijke overlap tussen onafhankelijke en afhankelijke variabelen.
-problemen met een derde variabele
-de invloed van persoonlijk welbevinden op de beoordeling van stressoren.
-‘demand characteristics’: kenmerken van het onderzoek die de deelnemers aanmoedigen om onderzoekers te rapporteren wat ze verondersteld te willen.
Objectieve metingen resulteren doorgaans in een onderschatting, en subjectieve metingen doorgaans in een overschatting van effecten. Samen geven ze een gedetaileerder en genuanceerder beeld van mogelijke relaties dan elk afzonderlijk.
Men kan ook informatie van triangulatie toepassen op de gegevens, dwz nagaan wat het verband is tussen theoretisch vergelijkbare concepten, die op verschillende manieren zijn geoperationaliseerd.
Derde variabelen
om te kunnen spreken van een causale relatie tussen 2 variabelen, mag de samenhang tussen deze variabelen niet te wijten zijn aan de invloed van een derde variabele. Onderzoekers moeten dus weten welke variabelen potentieel een rol kunnen spelen als derde variabele.
Voorbeeld: de persoonlijkheidstrek negatieve affectiviteit: mensen die hier hoog op score hebben de neiging om alles in hun omgeving en alles wat met hen gebeurt in een negatief licht te zien. Die neiging zal zich ook doen gelden bij het invullen van vragenlijsten of het geven van antwoorden tijdens een interview.
Deze variabele kan dus de sterkte van relaties tussen concepten beïnvloeden, maar dat is niet hetzelfde als zeggen dat negatieve affectiviteit deze relaties vertekent.
Een voorzichtige aanbeveling is om in A&G onderzoek altijd een vragenlijst op te nemen voor negatieve affectiviteit, op die manier kan men altijd empirisch nagaan wat de effecten ervan zijn en of relaties inderdaad wezenlijk veranderen als er voor negatieve affectiviteit wordt gecontroleerd.
mediatoreffecten
Er is sprake van mediatie wanneer een variabele X van invloed is op Y, via variabele Z.
Bvb men gaat ervan uit dat de relatie tussen werkdruk en verzuim tot stand komt door de mediërende rol van spanningen wanneer aan de volgende voorwaarden is voldaan:
-de werkdruk hangt significant samen met zowel spanningen als met ziekteverzuim
-de spanningen vertonen een significante samenhang met ziekteverzuim
-de correlatie tussen werkdruk en verzuim verdwijnt of vermindert significant na controle voor de correaltie van beide variabelen met spanning.
Meer recent wordt verondersteld dat de relatie tussen variabele x op variabele y kan gemedieerd worden door meerdere derde variabelen. Deze mediatie effecten kunnen elkaar tegenwerken en zelfs opheffen. Daarom is er pas sprake van mediatie als het indirecte pad van variabele x via z op y significant is.
moderatoreffecten
er is sprake van een moderator effect wanneer de relatie tussen variabele x en y varieert voor verschillende groepen werknemers die variëren op aspect z.
Volgens het DC-model zijn regelmogelijkheden zo de moderator van het ongewenste effect van werkdruk op ziekteverzuim. Het veronderstelt dus dat regelmogelijkheden een buffer kunnen zijn tegen het effect van werkdruk op stressreacties.
meta-analyse
het doel van een meta-analyse is de resultaten van verschilende studies naar een bepaald verschijnsel met elkaar in verband brengen en te integreren. Wanneer al deze studies met elkaar gecombineerd worden, zullen toevalsfactoren tegen elkaar wegvallen.
Tijdens een meta-analyse worden 4 stappen gezet:
*omschrijven van het te onderzoeken verschijnsel of verband
*verzamelen van studies waarin het desbetreffende verschijnsel of verband is onderzocht
*studies selecteren
*resultaten van geselecteerde studies samenvatten
De meta-analyse is een bruikbare methode om de resultaten van eerder onderzoek samen te vatten. Er kan een redelijk precieze schatting gemaakt worden van de sterkte van een verband.
multiniveau onderzoek
multilevel-analyse is een soort van multiple regressie-analyse die rekening houdt met aggregatie niveaus in onderzoeksgegevens. Verder biedt de techniek de mogelijkheid om de variantie op individueel niveau (bvb arbeidsprestatie) op te splitsen in meer hiërarchische delen: een deel dat toegeschreven wordt aan verschillen in teams (groepsprestatie) en een deel dat wordt toegeschreven aan verschillende afdelingen (type en grootte).
Conventionele technieken zijn verder niet in staat om dergelijke systematische variatie binnen groepen te onderscheiden van steekproefruis. Binnen multilevel-analyse kan men echter wel een onderscheid maken in steekproefruis tussen groepen en systematische variantie binnen groepen.
Een groot voordeel van multi-level analyse is haar nut voor longtidunaal onderzoek: het is zeer flexibel om te gaan met panelstudies waarin de onderzoeksgegevens van sommige respondenten niet compleet zijn, of met longtidunale onderzoeksbestanden waar sommige (of zelfs alle) respondenten zijn gemeten op verschillende momenten in de tijd (bvb met dagboeken).
Onderzoeksopzet
Om de onderzoeksvraag te beantwoorden worden twee afdelingen vergeleken.
*De ene afdeling is een beleidsafdeling met 18 personen bestaande uit veel hoogopgeleide mannen die vooral bezig zijn met het maken van technische managementadviezen voor verschillende andere organisatieafdelingen. De leeftijd is jong, gemiddeld zo’n 30 jaar. De meeste werknemers werken fulltime. De prestatie van deze afdeling bestaat uit het aantal geschreven adviesrapporten.
*De andere afdeling is een afdeling met 32 personen die het callcenter van de organisatie vormt. Hier werken vooral vrouwen met gemiddeld een havo-opleiding. De leeftijd varieert van 22 tot 56 jaar. De meeste werknemers werken parttime. De prestatie van deze afdeling bestaat uit het aantal binnenkomende telefoongesprekken dat is beantwoord en afgehandeld door het telefoonteam.
Op beide afdelingen zijn de volgende gegevens verzameld en metingen verricht:
-de afdelingsnorm over verzuim
-de norm over verzuim van de afdelingsmanager
-het verzuim in het afgelopen jaar als het totaal aantal verzuimdagen per medewerker
-de mate waarin de medewerkers de afdelingsmanager als ondersteunend ervaren
-de prestatie op de afdeling: hoeveel procent van het jaardoel gehaald is
Er wordt nagegaan of de afdeling met de negatiefste verzuimnorm (van zowel de afdeling als de afdelingsmanager)
-het minste aantal verzuimdagen per medewerker heeft
-de grootste prestatie levert
Welke methodologische bezwaren kun je over dit onderzoek benoemen?
Het belangrijkste probleem is dat de afdelingen totaal niet vergelijkbaar zijn wat betreft voor het onderzoek relevante variabelen zoals leeftijd, geslacht, opleiding, type werk en type prestatie (proces en uitkomst). Hierdoor is het onmogelijk om bij een verschil in verzuim of prestatie te concluderen waardoor die verschillen veroorzaakt worden.
Er zijn heel wat methodologische bezwaren in te brengen tegen deze onderzoeksopzet:
#Een tweede belangrijk probleem is dat met een cross-sectioneel onderzoeksontwerp geen causale verbanden (effecten) getoetst kunnen worden. Doordat er geen voormeting is verricht in het huidige design, is het niet duidelijk:
*of de ondersteuning van de manager en de norm op de afdeling nu nog steeds hetzelfde is als een jaar geleden.
*wat het verzuim van de afdeling was in eerdere jaren. Er kan nu dus niet gecorrigeerd worden voor eventueel al bestaande verschillen in verzuim tussen de twee afdelingen.
*wat de behaalde prestatie van de afdelingen was in eerdere jaren. Er kan nu dus niet gecorrigeerd worden voor eventueel al bestaande verschillen in prestatie tussen de twee afdelingen.
#Zwangerschapsverlof valt niet onder ziekteverzuim, maar het zou goed zijn om hier ook informatie over te verzamelen omdat dit bij het callcenter waarschijnlijk veel vaker voorkomt dan bij de beleidsafdeling en het mogelijk wel gevolgen heeft voor de behaalde prestaties. Hiervoor kan nu niet worden gecorrigeerd.
#De aantallen per afdeling zijn waarschijnlijk te klein om goede analyses te kunnen doen.
Na al deze kanttekeningen vraagt de stafmedewerker of je een nieuwe, betere opzet kunt uitwerken, waarbij je de bovengenoemde bezwaren meeneemt. Je werkt een opzet uit die de volgende onderzoeksvraag beantwoordt:
Leidt een negatieve verzuimnorm op een afdeling daadwerkelijk tot minder verzuim en tot een betere prestatie?
Om deze vraag te toetsen, maak je gebruik van een longitudinaal paneldesign.
Allereerst moet je proberen de twee groepen of condities zo veel mogelijk vergelijkbaar te maken, via matching. Daarvoor zou je bijvoorbeeld tien afdelingen in de organisatie kunnen kiezen die wat betreft het type werk (proces en uitkomst), de samenstelling van de werknemers (geslacht, leeftijd, opleiding, grootte afdeling) en de opvattingen over verzuim zo veel mogelijk gelijk zijn.
Het is belangrijk om een goede voormeting (T0) te verrichten op de afdelingen. Daarin meet je het volgende:
*de verzuimnorm van de afdeling
*de verzuimnorm van de afdelingsmanager
*achtergrondkenmerken van de medewerkers (geslacht, leeftijd, opleiding).
Diezelfde meting (over de verzuimnormen) wordt één jaar na de voormeting herhaald (T1). Over het jaar voorafgaand aan de voormeting meet je het verzuim (met onderscheid in kortdurend en langdurend verzuim, exclusief zwangerschapsverlof) en de behaalde prestatie (met onderscheid in procesindicatoren en uitkomstindicatoren). Ook in het jaar tussen de twee schriftelijke metingen (T0 en T1) meet je het verzuim en de behaalde prestatie.
Met dit longitudinaal design kun je vervolgens twee condities met elkaar vergelijken: de vijf afdelingen met de meest strenge norm over verzuim op T0 kun je vergelijken met de vijf afdelingen die op T0 de minst strenge norm kennen over verzuim (vooropgesteld dat er zo’n norm is; dat moet dus wel worden nagegaan). Beide condities (strenge norm versus milde norm) kun je nu vergelijken wat betreft hun verzuim en hun prestatie. Hierbij kan gecorrigeerd worden voor verschillen in verzuim en prestatie bij de voormeting (het jaar vóór de voormeting) en voor verschillen in kenmerken van de afdeling en de werknemers bij de voormeting.
Omdat er een voormeting is uitgevoerd (T0), kan er gecorrigeerd worden voor verschillen tussen beide condities bij de voormeting. Omdat er een nameting (T1) is uitgevoerd, kan bekeken worden of de norm ook na afloop van het meetjaar nog even streng dan wel mild is.
Al zou deze onderzoeksopzet het meest ideaal zijn voor deze setting, met welke storende factoren moet je in dit onderzoek dan nog rekening houden?
De volgende storende factoren kunnen een rol spelen in dit design:
*Uitval: deelnemers aan het onderzoek kunnen gedurende het onderzoek uitvallen. Hierbij is het belangrijk om te kunnen achterhalen wie is uitgevallen en welke kenmerken deze personen hadden.
*Regressie naar het gemiddelde: als een van de uitkomstmaten per toeval erg extreem was bij de beginmeting, is de kans groter dat deze uitkomstmaat meer gematigd is bij de vervolgmetingen. Dit kan de interpretatie van de resultaten verstoren.
*Testeffect: door vragen te stellen over de verzuimnorm, kunnen deelnemers daarna actief gaan nadenken over hun visie hierop. Hierdoor kan hun mening bijgesteld worden in een vervolgmeting.
*Tijdsinterval: er wordt nu na een jaar opnieuw gemeten, maar de vraag is of deze periode misschien niet te lang is. Een lange tijdsperiode vergroot de kans op tussentijdse voorvallen.
*Tussentijdse voorvallen: er kunnen zich situaties voordoen die het onderzoek verstoren, bijvoorbeeld als er een nieuwe afdelingsmanager komt met een andere houding over verzuim.
interventie en designwetenschap
Als er goede indicaties zijn welke factoren een bepaald gezondheidsprobleem binnen een organisatie veroorzaken, is het belangrijk om hier actief op in te grijpen door middel van het ontwikkelen en implementeren van interventieprogramma’s. Dit gebeurt aan de hand van interventie- en designwetenschap. Dit is een aparte tak van wetenschap gericht op het ontwikkelen van artefacten (dat wil zeggen, interventies of organisatiestructuren) of het verbeteren van processen en deze vervolgens evalueren op effectiviteit.
Hierbij wordt doorgaans gebruikgemaakt van een regulatieve cyclus, waarbij de resultaten van de evaluatie van een interventie doorgaans weer leiden tot verdere aanpassingen van de interventie. Drie belangrijke onderzoeksvormen van interventie en designwetenschap zijn casestudies, actieonderzoek en evaluatieonderzoek, met elk hun specifieke doel en sterke en zwakke punten.
Goede dataverzameling is een belangrijk onderdeel voor het goed in kaart brengen van een probleem en bevordert de effectiviteit van een interventie. Er zijn verschillende methoden mogelijk, waarbij elke methode een andere informatiewaarde heeft en veranderingskundige consequenties heeft.
Casestudies, actieonderzoek en evaluatieonderzoek zijn drie belangrijke onderzoeksmethodieken van de interventie- en designwetenschap. Benoem het primaire doel van elk van deze methoden en de belangrijkste sterke en zwakke punten.
Casestudies doel
- zeer geschikt voor probleem-verkenning
- resultaten geven aanleiding voor selecteren juiste theoretische kaders voor interventie-ontwikkeling.
Sterke punten - relatief goedkoop en snel uit te voeren
- flexibel (data-verzameling is een iteratief (herhalend)proces)
Zwakke punten; - afhankelijk van analyse-unit (zoals single case vs. hele organisatie) en methodiek (zoals interviews vs. survey)
- lage externe validiteit en betrouwbaar-heid
- slechte controleerbaar-heid en data-analyse
- het verwerven van kennis over sociale systemen en dynamiek in participatieve veranderings-projecten
- kwaliteit van situatie verbeteren en handvatten bieden voor grootschaligere interventie
Sterk; - flexibel
- gemeenschappelijk proces met deelnemers draagt bij aan continuïteit van verandering
Zwak; - vooral gericht op verandering en draagt daarmee relatief weinig bij aan wetenschappelijke kennis
- kan door situatiespecifieke problemen beperkt generaliseerbaar zijn
- moeilijk om de effecten van een interventie vast te leggen
- de effecten van een interventie vastleggen
Sterk; - biedt sterke evidentie voor effectiviteit van een interventie
- procesevaluaties dragen bij aan wetenschap van gedragsverandering door werkende mechanismen in kaart te brengen
Zwak; - vastleggen van verandering is een complex proces
- ontwerp-problemen kunnen conclusies over causaliteit bedreigen
- risico voor uitblijven effecten doordat relevante derde variabelen niet in kaart zijn gebracht
Welke twee aspecten moeten in acht worden genomen bij elke vorm van dataverzameling in interventieonderzoek ? Licht dit toe.
(bij vrijwel elk interventie onderzoeksopzet moet worden gelet op de verschillende partijen die in elke organisatie aanwezig zijn en die hun belangen steeds proberen te beschermen, ook wanneer dit ten koste gaat van de interventie.
1 De informatiewaarde van de techniek: de informatiewaarde van verschillende technieken varieert in kwaliteit, validiteit en betrouwbaarheid.
Zo geven interviews een dieper begrip van relevant aspecten, maar deze zijn weinig generaliseerbaar.
2 De veranderkundige aspecten van de techniek: de gebruikte techniek heeft invloed op de mogelijke verwachtingen of het gedrag van de doelgroep. Bijvoorbeeld, observatief onderzoek kan ervoor zorgen dat mensen hun gedrag aanpassen waardoor informatie onjuist of onvolledig is. Door de doelgroep te betrekken in vragenlijstonderzoek kunnen juist verwachtingen ontstaan die niet waargemaakt kunnen worden. Daarnaast speelt de grootte van de betrokken steekproef een rol. Teveel mensen betrekken bij een onderzoek kan ook hoge verwachtingen neerzetten. Ook kan dit te intrusief zijn voor een organisatie.
Appreciative Inquiry is een vrij recente onderzoeksmethode die ingezet wordt binnen de A&G-psychologie. Uit welke stroming komt deze techniek en wat zijn sterke en zwakke eigenschappen?
Appreciative Inquiry (AI) is een techniek die voortkomt uit de positieve psychologie. Het is actieonderzoek waarbij organisaties zich verbeteren door de zaken die al heel goed lopen verder te optimaliseren. De focus ligt hierbij op wensen in de toekomst en hoe deze te realiseren. Deze techniek werkt in de praktijk vrij motiverend. Een belangrijk nadeel is dat teveel focus op positieve aspecten kan afleiden van de negatieve aspecten die op dat moment spelen.
interventie en ontwerpwetenschap
het algemene doel van de ontwerp en interventiewetenschappen is het ontwikkelen van kennis voor het ontwerpen en realiseren van artefacten (bvb voorwerpen, machines, instrumenten, maar ook organisatiestructuren) en/of het verbeteren van bestaande entiteiten en processen.
Het gaat om 2 soorten problemen:
-constructproblemen: er worden (nog) niet bestaande artefacten ontworpen en gerealiseerd vaak door ingenieurs
-verbeterproblemen: verbeteren van de prestatie en kwaliteit van bestaande entitieiten en van bestaande processen.
de empirische cyclus volstaat vaak niet bij ontwerp en verbeterproblemen en organisatiekunde. Doorgaans wordt daarom de regulatieve cyclus gebruikt: er is sprake van een probleemkeuze en een diagnosestelling, gevolgd door het ontwerpen van een interventie (actieplan), het doorvoeren van de ingreep en de evaluatie ervan. Die evaluatie kan weer leiden tot de start van een nieuw ontwerp….3 soorten ontwerp
1 objectontwerp; het ontwerpen van de ingreep/interventie
2 realisatieontwerp: een ontwerp voor de wijze van doorvoeren van de ingreep
3 procesontwerp: schets van het gehele traject, toegepast op de interventie.
Van Zyl et al. benoemen vijf hoofdgebieden waar het mis kan gaan bij de implementatie en evaluatie van PPI’s. Benoem deze vijf categorieën en beschrijf kort waar deze over gaan.
De vijf domeinen zijn:
Intervention design
Intervention design gaat over de methodologische besluiten die zijn gemaakt voor het evalueren van de effectiviteit van de interventie. Een adequaat design is cruciaal voor het succes van een PPI. Of anders gesteld, een slecht onderzoeksdesign is schadelijk voor de wetenschap, omdat het enerzijds veel tijd en geld kost en onnodig gebruikmaakt van schaarse bronnen, en omdat null-effecten toe te wijzen aan een slecht design onterecht bij kunnen dragen aan de ontkrachting van wetenschappelijke theorie. Helaas leidt PPI-onderzoek vaak nog onder slechte onderzoeksdesigns.
Recruitment and retention
Dit betreft het includeren van representatieve deelnemers (recruitment) aan een onderzoek en deze vervolgens ook betrokken houden binnen een onderzoek (retention). Representatieve deelnemers zijn deelnemers voor wie de interventie uiteindelijk ook bedoeld is. Het werven van een te selectieve steekproef kan leiden tot verminderde statistische power, het vroegtijdig beëindigen van een trial, beperkte externe validiteit en verminderde mogelijkheid tot replicatie.
Adoption
Adoptie beschrijft de overname van een effectief bewezen interventie in de praktijk. Er zijn verschillende factoren die de adoptie van een interventie negatief kunnen beïnvloeden. Bijvoorbeeld, als een interventieprogramma te complex is, te veel sessies heeft of te intensief is, kunnen managers van een bedrijf besluiten dat het zich niet loont om een bepaalde interventie te implementeren. Ook kan het zijn dat de interventie niet past bij de doelgroep in de praktijk, of dat mensen geen interesse hebben in een dergelijke interventie. Een goede nets assessment vooraf is daarom cruciaal.
Fidelity
Fidelity beschrijft of de interventie wordt geïmplementeerd zoals bedoeld. Hiervoor is het belangrijk dat er voldoende getraind personeel is die het programma aanbiedt volgens een gestandaardiseerd protocol.
Evaluation
Tot slot moet goed geëvalueerd worden wat de effecten van een interventie in de praktijk zijn. Hiervoor moet het juiste design en instrumentaria gekozen worden (zie ook studietaak 9.1). Ook moeten alternatieve verklaringen zo goed mogelijk uitgesloten worden. Daarnaast moet geëvalueerd worden of het toegenomen welzijn van de deelnemers in verhouding staat met de gemaakte kosten.
Hoe mooi een onderzoeksidee ook is, onderzoek valt of staat bij de methodologische keuzes die gemaakt worden en de professionele houding van de onderzoeker. Veel van de methodologische fouten en ‘questionable research practices’ kunnen voorkomen worden door het onderzoek te pre-registreren. Wat is pre-registratie en waarom is dat zo belangrijk?
Bij preregistratie maakt een onderzoeksteam het onderzoeksdesign en interventieprotocol bekend voordat de interventie getoetst wordt. Dit is een cruciale stap in open wetenschap en in het eerlijk toetsen van de effectiviteit van een interventie. Een pre-registratie dwingt een onderzoeksteam zorgvuldig te kiezen voor een onderzoeksdesign en duidelijke hypothesen op te stellen. Een groot voordeel hiervan is dat deze openbaarheid ook de mogelijkheid biedt tot het ontvangen van constructieve feedback van medewetenschappers.
Daarnaast verminderd preregistratie de kans op ‘questionable research practices’, zoals het verwijderen van ongunstige data, het niet meenemen van niet significante resultaten, of het opstellen van hypothesen nadat de resultaten bekend zijn. Doordat van tevoren bekend is gemaakt hoe het design en protocol eruitzien en welke hypothesen getoetst zullen worden met welke instrumenten, kan er niet meer met de data gesjoemeld worden als de resultaten tegenvallen.
Een randomized controlled trial wordt over het algemeen als gouden standaard gezien in interventieonderzoek. Maar, met name bij PPI’s heeft deze onderzoeksopzet het risico om null-effecten uit te wijzen terwijl de interventie mogelijk wel effectief is. Leg dit uit.
Bij een randomized controlled is het cruciaal dat de deelnemers at random worden toegewezen aan de interventiegroep of de controlegroep. Conclusies over effectiviteit worden bepaald door de interventiegroep te vergelijken met de controlegroep. Positieve psychologie is een techniek die voor sommige mensen heel goed kan werken, voor anderen geen effect heeft en voor een derde groep juist negatieve effecten kan hebben. Een extreem voorbeeld is dat het focussen op positieve aspecten iemand kan realiseren dat er niets positiefs is in het leven van deze persoon en juist gevoelens van depressie in de hand werkt.
Stel dat deze drie groepen gelijk verdeeld in de interventiegroep zitten. Een onderzoeker concludereert dan dat het programma niet effectief is, terwijl het voor een derde van de groep juist veel kan bijdragen. Het in kaart brengen van dergelijke profielen is daarom cruciaal voor het bepalen van de effectiviteit van de interventie. Het is belangrijk dat een PPI past bij de waarden van een persoon om zo de maximale effectiviteit te behalen (‘person-activity fit’).
