9.1 – Onderzoeksontwerp en -methoden Flashcards
Welke 4 veelvoorkomende onderzoeksontwerpen worden bij deze cursus besproken?
1) cross-sectioneel onderzoek
2) longitudinaal onderzoek
3) dagboekonderzoek
4) experimenteel onderzoek.
Wat zijn 3 kanttekeningen bij de 4 veelvoorkomende onderzoeksontwerpen?
- Deze methoden zijn vooral gericht op het verzamelen van grote hoeveelheden (vooral kwantitatieve) data. Hoewel deze data veel informatie geven, kan deze manier van dataverzameling een beperking zijn en geven deze methoden minder inzicht in de diepgaandere individuele beleving achter bepaalde onderzoeksvragen. Hiervoor zijn kwalitatieve methoden, zoals diepte-interviews of focusgroepen, meer geschikt. Deze komen niet aan bod in deze studietaak.
- Een ander aspect bij deze methoden is dat de meetinstrumenten meestal berusten op subjectieve ervaringen. Bij vragen rondom bijvoorbeeld werkdruk is het belangrijk om te bepalen of de subjectieve ervaring van werkdruk ook aansluit bij de objectieve werkdruk (dat wil zeggen, het aantal toebedeelde taken). Als deze niet overeenkomen heeft dit natuurlijk andere implicaties dan als deze wel overeenkomen.
- Tot slot kan het voorkomen dat bepaalde relaties eigenlijk door een derde variabele verklaard kunnen worden. Bijvoorbeeld, mensen die hoge werkdruk ervaren, maken veel fouten. Maar, het is goed mogelijk dat deze relatie vooral geldt voor stressgevoelige mensen. Het is belangrijk de invloed van zulke derde variabelen in kaart te brengen. Op deze manier kunnen bijvoorbeeld bepaalde trainingen effectiever ingezet worden.
Wat zijn de sterke punten van cross-sectioneel onderzoek? 3x
1.relatief snel uit te voeren
2. geschikt voor vaststellen prevalentie gezondheids-probleem binnen organisatie op specifiek moment
3. geschikt voor theorievorming
Wat zijn de zwakke punten van cross-sectioneel onderzoek? 2x
- geen uitspraken over causaliteit
- moment-opname: kan verkeerd beeld geven van werkelijkheid (uitkomsten kunnen fluctueren)
Wat is een toepassing van cross-sectioneel onderzoek? 2x
- verkrijgen van een indicatie van ervaren werkdruk of arbeids-tevredenheid binnen organisatie
- bepalen of een interventie nodig is
Wat zijn de sterke punten van longitudinaal onderzoek? 2x
- kan causale verbanden toetsen (mist goed uitgevoerd)
- geschikt voor theorie-bevestiging
Wat zijn zwakke punten van longitudinaal onderzoek? 3x
- tijdsintensief
- relatief moeilijk uit te voeren (model en tijdsinterval moeten zorgvuldig uitgekozen worden)
- drop-out vormt bedreiging voor de validiteit
Wat is een toepassing van longitudinaal onderzoek?
1, bepalen welke werkstressoren veroorzaker zijn van gezondheids-klachten op termijn om op basis hiervan een doelgerichte interventie te ontwikkelen
Wat zijn sterke kanten van dagboek-onderzoek? 3x
- kan fluctuaties in emoties, gedachten of gedragingen goed in kaart brengen die met ander typen onderzoek niet gemeten kunnen worden
- minder last van cognitieve herinterpretatie
- data-verzameling in de natuurlijke omgeving
Wat zijn zwakke punten van dagboek onderzoek? 2x
- maakt grote inbreuk op het dagelijkse leven van de deelnemer
- maar een beperkt aantal concepten kan gemeten worden
Wat is een toepassing van longitudinaal onderzoek?
ervaren stress en emoties in kaart brengen direct na negatieve interactie op het werk (zoals boze of dreigende cliënten); geeft waarschijnlijk dynamischer en beter beeld dan onderzoek waarbij herinterpretatie mogelijk is door te groot tijdsinterval
Wat zijn sterke punten van experimenteel onderzoek? 2x
- relatief hoge interne validiteit
- kan causale verbanden veronderstellen (mits goed ontwerp)
Wat zijn zwakke kanten van experimenteel onderzoek? 3x
- lagere externe validiteit /generaliseerbaarheid (van laboratorium-onderzoek)
- geen goede afspiegeling dynamiek van het echte leven
- Een veldexperiment heeft grotere externe validiteit, maar moeilijker controle op externe variabelen en meer risico op meetfouten.
Wat zijn toepassingen van experimenteel onderzoek? 2x
- in een laboratorium de effecten van vermoeidheid op taakuitvoering toetsen
- binnen bedrijf effectiviteit van interventie-programma testen, waarbij deel werknemers geen interventie krijgt en ander deel wel
Wat zijn de drie belangrijkste criteria voor longitudinaal onderzoek en waarom zijn deze belangrijk?
- Onderzoeksmodel
Als het onderzoeksmodel niet zorgvuldig gekozen wordt, biedt een longitudinaal onderzoek geen duidelijke meerwaarde boven een cross-sectioneel onderzoek. Bij een compleet paneldesign worden de vooronderstelde onafhankelijke en afhankelijk variabelen op meerdere tijdstippen met dezelfde meetinstrumenten bij dezelfde personen gemeten. Op deze manier kan getoetst worden of er sprake is van de vooronderstelde causale relatie, een omgekeerde causale relatie, een reciproque relatie of geen relatie. - Tijdsinterval
De tijdsintervallen tussen metingen moeten van adequate lengte zijn en onderbouwd worden met methodologische, theoretische en/of praktische aannames. Het niet goed kunnen bepalen van een tijdsinterval kan de betrouwbaarheid van het onderzoek ernstig verstoren. Bijvoorbeeld, het is niet zinvol om maandelijks een meting te doen naar determinanten van verzuim als het verzuimpercentage 2 procent op jaarbasis is, terwijl dit wel zinvol kan zijn bij een verzuimpercentage van 20 procent op jaarbasis. Daarnaast moet er bij de keuze van het tijdsinterval rekening gehouden worden met mogelijke storende factoren binnen longitudinaal onderzoek. - Steekproef
Het is belangrijk dat de onderzochte steekproef representatief is. Om dit te controleren is van belang om te toetsen of er een selectieve non-respons is. Bijvoorbeeld, bij onderzoek naar gezondheidsklachten kan het zijn dat juist mensen met veel klachten uitvallen over de tijd, waardoor vooral gegevens van gezonde medewerkers beschikbaar zijn (healthy-workereffect). Het kan ook zo zijn dat juist alleen mensen met klachten gehoor geven aan een onderzoek, waardoor een situatie negatiever lijkt dan deze mogelijk is.
Bij het uitvoeren van onderzoek op de werkvloer is er naast het meten van subjectieve stressoren steeds meer aandacht voor het meten van objectieve stressoren.
Wat is het verschil tussen de 2?
Metingen van objectieve stressoren zijn over het algemeen weinig afhankelijk van cognitieve en emotionele verwerking, en kunnen bijvoorbeeld verkregen worden via deskundigenoordelen, documentaties en fysiologische metingen.
Objectieve stressoren leiden potentieel tot stressreacties en niet per definitie. I
Metingen van subjectieve stressoren zijn wel afhankelijk van cognitieve en emotionele verwerking en worden meestal via vragenlijstonderzoek gemeten.
Welke meerwaarde heeft het meten van objectieve stressoren naast het meten van subjectieve stressoren? Welke meerwaarde kan een observator hebben bij het meten van pestgedrag?
Met het meten van objectieve stressoren kun je het probleem vanuit een andere invalshoek bekijken en nagaan in hoeverre een ervaren probleem overeenkomt met een ojectieve meting. Bij het gebruik van subjectieve methoden alleen is er het gevaar van de ‘triviality trap’, waarbij al snel relaties gevonden worden omdat de gemeten concepten overlappen of op eenzelfde manier gemeten worden. Het gebruik van zowel objectieve als subjectieve methoden geeft een beter beeld over de juiste te nemen interventie.
Voor het meten van pestgedrag op het werk kan een onafhankelijke observator bijhouden hoe vaak een specifiek pestgedrag voorkomt. Hiermee kan getoetst worden hoe de werkdynamiek onder collega’s is en hoe deze overeenkomt met de gerapporteerde problemen. Op basis hiervan kan een gerichte en effectieve interventie ontwikkeld worden.
Wat zijn mogelijke problemen bij het meten van pestgedrag door middel van objectieve methoden? Welke meetproblemen zijn er bij het inzetten van een observator? 4x
- Het is moeilijk om een valide meetinstrument te ontwikkelen bij een complex sociaal construct zoals pesten. Om pestgedrag goed te kunnen meten, moet duidelijk gespecificeerd zijn wat onder pestgedrag verstaan wordt en dat is moeilijk (zie ook thema 7). Vaak zijn het subtiele gedragingen die in een bepaalde context plaatsvinden. Wat volgens een objectief meetinstrument niet als pesten wordt gecodeerd, kan wel pestgedrag zijn.
- Als de meting door een observator wordt verricht, dan blijft de meting onderhevig aan een bepaalde mate van subjectiviteit. Wat door de observator niet als pestgedrag wordt gezien, kan dit wel zijn en visa versa. Een valide meetinstrument is daarom cruciaal.
- De werknemers passen hun gedrag aan als ze weten dat ze worden geobserveerd. Mogelijk dat het pestgedrag dan even ophoudt of zich voortzet via andere (onzichtbare) kanalen zoals tekstberichten of e-mails.
- Observatie is een intensieve methode die meestal alleen kortstondig kan worden uitgevoerd. Pestgedrag is een langdurig proces met een complexe dynamiek over de tijd. Het is mogelijk dat een korte meetperiode geen goede reflectie geeft van de werkelijkheid. Dit geldt ook voor het meten via subjectieve methoden.
Stel, de observator rapporteert op basis van verschillende geobserveerde negatieve gedragingen dat er inderdaad gepest wordt. Wat is dan een goede vervolgstap? En wat als de observator geen pestgedrag rapporteert?
Als de observatie en de subjectieve rapportage overeenkomen, is het duidelijk dat de gerapporteerde klachten gegrond zijn en dient de stressor weggehaald te worden. Dat zou bijvoorbeeld kunnen betekenen dat een team uit elkaar gehaald wordt en sommige collega’s herplaatst worden naar een andere afdeling.
Als de observatie en de subjectieve rapportage niet overeenkomen, wil dat niet zeggen dat er geen probleem is. Het is mogelijk dat sommige collega’s pestgedrag ervaren terwijl dit misschien niet aan de orde is. Verdere uitdieping van het probleem is dan nodig. Als blijkt dat het vooral de perceptie vanuit de werknemer is, kan een coachingstraject een mogelijke vervolgstap zijn.
Binnen de A&G-psychologie komt het vaak door dat een derde variabele de relatie tussen twee onderzoeksvariabelen beïnvloedt. Als onderzoeker moet je deze invloeden goed begrijpen om alternatieve verklaringen uit te sluiten en om foute conclusies te voorkomen.
Benoem de drie belangrijkste manieren waarop een derde variabele de te onderzoeken relatie kan beïnvloeden en geef van elk een voorbeeld.
- Derde-variabeleprobleem
De relatie tussen de onafhankelijke en afhankelijke variabele wordt verklaard door een derde variabele. Bijvoorbeeld, een gevonden relatie tussen werkstress en ziekteverzuim kan een vertekend beeld zijn als deze relatie tijdens een reorganisatie gemeten is. De reorganisatie zelf kan namelijk een voorspeller zijn van zowel werkstress als ziekteverzuim, wat de gevonden relatie verklaart. - Moderatoreffect
De relatie tussen de onafhankelijke en afhankelijke variabele is afhankelijk van de waarde van een derde variabele. Bijvoorbeeld, een trainingprogramma om prestaties te verbeteren werkt alleen bij medewerkers met een hoge werkmotivatie, maar niet bij medewerkers met een lage werkmotivatie. - Mediatoreffect
De onafhankelijke variabele heeft invloed of de afhankelijke variabele via een derde variabele. Bijvoorbeeld: De relatie tussen mate van privéstressoren en tevredenheid met werk wordt gemedieerd door werkprestaties. Dat wil zeggen dat een hogere mate van privéstressoren leidt tot lagere werkprestaties, wat op zijn beurt weer de werktevredenheid beïnvloedt.
Onderzoeksopzet
Om de onderzoeksvraag te beantwoorden worden twee afdelingen vergeleken.
1. De ene afdeling is een beleidsafdeling met 18 personen bestaande uit veel hoogopgeleide mannen die vooral bezig zijn met het maken van technische managementadviezen voor verschillende andere organisatieafdelingen. De leeftijd is jong, gemiddeld zo’n 30 jaar. De meeste werknemers werken fulltime. De prestatie van deze afdeling bestaat uit het aantal geschreven adviesrapporten.
2. De andere afdeling is een afdeling met 32 personen die het callcenter van de organisatie vormt. Hier werken vooral vrouwen met gemiddeld een havo-opleiding. De leeftijd varieert van 22 tot 56 jaar. De meeste werknemers werken parttime. De prestatie van deze afdeling bestaat uit het aantal binnenkomende telefoongesprekken dat is beantwoord en afgehandeld door het telefoonteam.
Op beide afdelingen zijn de volgende gegevens verzameld en metingen verricht:
-de afdelingsnorm over verzuim
-de norm over verzuim van de afdelingsmanager
-het verzuim in het afgelopen jaar als het totaal aantal verzuimdagen per medewerker
-de mate waarin de medewerkers de afdelingsmanager als ondersteunend ervaren
-de prestatie op de afdeling: hoeveel procent van het jaardoel gehaald is
Er wordt nagegaan of de afdeling met de negatiefste verzuimnorm (van zowel de afdeling als de afdelingsmanager)
1. het minste aantal verzuimdagen per medewerker heeft
2. de grootste prestatie levert
Welke methodologische bezwaren kun je over dit onderzoek benoemen? 5x
- Het belangrijkste probleem is dat de afdelingen totaal niet vergelijkbaar zijn wat betreft voor het onderzoek relevante variabelen zoals leeftijd, geslacht, opleiding, type werk en type prestatie (proces en uitkomst). Hierdoor is het onmogelijk om bij een verschil in verzuim of prestatie te concluderen waardoor die verschillen veroorzaakt worden.
- Een tweede belangrijk probleem is dat met een cross-sectioneel onderzoeksontwerp geen causale verbanden (effecten) getoetst kunnen worden. Doordat er geen voormeting is verricht in het huidige design, is het niet duidelijk:
2.1 of de ondersteuning van de manager en de norm op de afdeling nu nog steeds hetzelfde is als een jaar geleden.
2.2 wat het verzuim van de afdeling was in eerdere jaren. Er kan nu dus niet gecorrigeerd worden voor eventueel al bestaande verschillen in verzuim tussen de twee afdelingen.
2.3 wat de behaalde prestatie van de afdelingen was in eerdere jaren. Er kan nu dus niet gecorrigeerd worden voor eventueel al bestaande verschillen in prestatie tussen de twee afdelingen. - Er is geen onderscheid gemaakt in kortdurend en langdurend verzuim. De determinanten die kortdurend verzuim bepalen, kunnen heel anders zijn dan de determinanten die langdurend verzuim bepalen.
- Zwangerschapsverlof valt niet onder ziekteverzuim, maar het zou goed zijn om hier ook informatie over te verzamelen omdat dit bij het callcenter waarschijnlijk veel vaker voorkomt dan bij de beleidsafdeling en het mogelijk wel gevolgen heeft voor de behaalde prestaties. Hiervoor kan nu niet worden gecorrigeerd.
- De aantallen per afdeling zijn waarschijnlijk te klein om goede analyses te kunnen doen.
Na al deze kanttekeningen vraagt de stafmedewerker of je een nieuwe, betere opzet kunt uitwerken, waarbij je de bovengenoemde bezwaren meeneemt. Je werkt een opzet uit die de volgende onderzoeksvraag beantwoordt:
Leidt een negatieve verzuimnorm op een afdeling daadwerkelijk tot minder verzuim en tot een betere prestatie?
Om deze vraag te toetsen, maak je gebruik van een longitudinaal paneldesign.
Werk jouw nieuwe onderzoeksopzet uit.
Allereerst moet je proberen de twee groepen of condities zo veel mogelijk vergelijkbaar te maken, via matching. Daarvoor zou je bijvoorbeeld tien afdelingen in de organisatie kunnen kiezen die wat betreft het type werk (proces en uitkomst), de samenstelling van de werknemers (geslacht, leeftijd, opleiding, grootte afdeling) en de opvattingen over verzuim zo veel mogelijk gelijk zijn.
Het is belangrijk om een goede voormeting (T0) te verrichten op de afdelingen. Daarin meet je het volgende:
- de verzuimnorm van de afdeling
- de verzuimnorm van de afdelingsmanager
- achtergrondkenmerken van de medewerkers (geslacht, leeftijd, opleiding).
Diezelfde meting (over de verzuimnormen) wordt één jaar na de voormeting herhaald (T1). Over het jaar voorafgaand aan de voormeting meet je het verzuim (met onderscheid in kortdurend en langdurend verzuim, exclusief zwangerschapsverlof) en de behaalde prestatie (met onderscheid in procesindicatoren en uitkomstindicatoren). Ook in het jaar tussen de twee schriftelijke metingen (T0 en T1) meet je het verzuim en de behaalde prestatie.
Met dit longitudinaal design kun je vervolgens twee condities met elkaar vergelijken: de vijf afdelingen met de meest strenge norm over verzuim op T0 kun je vergelijken met de vijf afdelingen die op T0 de minst strenge norm kennen over verzuim (vooropgesteld dat er zo’n norm is; dat moet dus wel worden nagegaan). Beide condities (strenge norm versus milde norm) kun je nu vergelijken wat betreft hun verzuim en hun prestatie. Hierbij kan gecorrigeerd worden voor verschillen in verzuim en prestatie bij de voormeting (het jaar vóór de voormeting) en voor verschillen in kenmerken van de afdeling en de werknemers bij de voormeting.
Omdat er een voormeting is uitgevoerd (T0), kan er gecorrigeerd worden voor verschillen tussen beide condities bij de voormeting. Omdat er een nameting (T1) is uitgevoerd, kan bekeken worden of de norm ook na afloop van het meetjaar nog even streng dan wel mild is.
Al zou deze onderzoeksopzet het meest ideaal zijn voor deze setting, met welke storende factoren moet je in dit onderzoek dan nog rekening houden? 5x
De volgende storende factoren kunnen een rol spelen in dit design:
- Uitval: deelnemers aan het onderzoek kunnen gedurende het onderzoek uitvallen. Hierbij is het belangrijk om te kunnen achterhalen wie is uitgevallen en welke kenmerken deze personen hadden.
- Regressie naar het gemiddelde: als een van de uitkomstmaten per toeval erg extreem was bij de beginmeting, is de kans groter dat deze uitkomstmaat meer gematigd is bij de vervolgmetingen. Dit kan de interpretatie van de resultaten verstoren.
- Testeffect: door vragen te stellen over de verzuimnorm, kunnen deelnemers daarna actief gaan nadenken over hun visie hierop. Hierdoor kan hun mening bijgesteld worden in een vervolgmeting.
- Tijdsinterval: er wordt nu na een jaar opnieuw gemeten, maar de vraag is of deze periode misschien niet te lang is. Een lange tijdsperiode vergroot de kans op tussentijdse voorvallen.
- Tussentijdse voorvallen: er kunnen zich situaties voordoen die het onderzoek verstoren, bijvoorbeeld als er een nieuwe afdelingsmanager komt met een andere houding over verzuim.
Wat zijn synchrone relaties bij een compleet paneldesign?
Relaties tussen variabelen die op hetzelfde tijdstip gemeten zijn.