Gezondheidsbevordering thema 5

Question 1

Evaluatie is een belangrijk onderdeel van het model voor planmatige gezondheidsvoorlichting en gedragsverandering. Wat zijn belangrijke redenen voor evaluatie?

Answer 1

Belangrijke redenen voor evaluatie zijn ‘leren voor de toekomst’, ‘verantwoording’ en ‘theorievorming’.

Question 2

Leren voor de toekomst?

Answer 2

Van evaluatie kan geleerd worden wat wel en niet effectief is en hoe interventies effectiever gemaakt kunnen worden. Wanneer uit een effectevaluatieonderzoek blijkt dat – en onder welke omstandigheden – een bepaalde interventie effect heeft, kan deze in de toekomst vaker of op
grotere schaal ingezet worden. Idealiter wordt een interventie, of worden interventieonderdelen eerst gepretest en daarna getoetst. Pas als de resultaten van dat veldonderzoek ook gunstig zijn, zou de interventie op grote schaal moeten worden uitgevoerd en verspreid en ook die
implementatie en verspreiding verdienen een goede evaluatie.

Question 3

Verantwoording?

Answer 3

Interventies ter bevordering van gezond gedrag kosten geld en menskracht; een evaluatieonderzoek vertelt ons of die middelen nuttig en efficiënt zijn ingezet. Daarom is evaluatieonderzoek ook steeds vaker een economische evaluatie.

Question 4

Verbetering van interventietheorie?

Answer 4

Het gaat om het vergaren van meer algemeen kennis over interventies en daarmee op het verder ontwikkelen van de interventietheorie. Op de ontwikkeling dus van meer algemeen geldende inzichten in wat voor interventiemethodieken en - technieken waar, voor wie en wanneer effectief zijn. Ook inzicht in waarom interventies effectief zijn, is in dit kader belangrijk. Voor het verkrijgen van dergelijk inzicht is het verstandig om niet alleen de
uiteindelijke gedragsdoelen te meten, maar ook de intermediaire leerdoelen. Op die manier kan worden geanalyseerd of gedragsverandering ook echt via verandering in de beoogde gedragsdeterminanten is gerealiseerd.

Question 5

Wanneer evalueren?

Answer 5

Evalautie hoort idealiter gericht te zijn op zowel de planning, uitvoering als effecten van de interventie en begint daarom al vanaf het moment van interventieontwikkeling. Het is daarom belangrijk om tijdens de planning van de interventie duidelijke interventiedoelen en een goed interventieplan
te ontwikkelen, zodat de evaluatieonderzoeker later na kan gaan of de doelen zijn bereikt en of de uitvoering volgens plan is verlopen. Het is daarom belangrijk dat de evaluatieonderzoeker al vóór implementatie van de interventie wordt betrokken om er zeker van te zijn dat haalbare en meetbare doelen worden gesteld en om een goede voormeting te doen.

Question 6

Wanneer kunnen de resultaten van een effectevaluatie kunnen alleen goed worden geïnterpreteerd?

Answer 6

De resultaten van een effectevaluatie kunnen alleen goed worden geïnterpreteerd als ook bekend is of de interventie wel is gepland en uitgevoerd zoals bedoeld. Onderzoek dus naar noodzakelijke voorwaarden voor effect. We spreken dan van procesevaluatie. Alleen met een geïntegreerde
combinatie van effect- en procesevaluatie kunnen de effecten en de randvoorwaarden voor effect goed worden onderzocht en kan bepaald worden of het zinvol is om de interventie op grote schaal in te zetten.

Question 7

RE-AIM is een raamwerk waarin verschillende belangrijke evaluatiedoelen worden erkend. Waar staat de afkorting voor?

Answer 7

R Reach. Bereik. Het aantal, de proportie en representativiteit van de mensen die bereikt worden met, en participeren in een interventie; de mate van blootstelling aan interventiematerialen en –onderdelen.
E Efficacy. (Tussen) effecten onder ideale omstandigheden. Het effect van een interventie op belangrijke uitkomstmaten zoals verandering in determinanten van gedrag, gezondheid en/of de kwaliteit van leven, wanneer de interventie onder ideale omstandigheden wordt uitgevoerd. Ook economische evaluatie onder gecontroleerde omstandigheden hoort hier bij.
A Adoption. Adoptie. Het aantal, de proportie en representativiteit van instellingen en settings die bereid zijn om de interventie te helpen initiëren en/of uit te voeren.
I Implementation. Uitvoering. In welke mate is de interventie uitgevoerd zoals bedoeld?
M Maintenance. Continuering. In hoeverre wordt de interventie ‘geïnstutionlaiseerd’; in hoeverre is de interventie onderdeel geworden van vaste procedures, routines of programma’s.

Question 8

Wat gebeurd er nog bij RE-AIM?

Answer 8

Ook in RE-AIM wordt weer het belang van combinatie tussen effect- en procesonderzoek weer heel duidelijk en uitgaande van dit raamwerk gaat de procesevaluatie vaak verder dan onderzoek naar alleen de mate van bereik, adoptie, uitvoering en continuering. Vaak wordt ook getracht
mogelijke determinanten van bereik, adoptie, uitvoering en continuering in kaart te brengen. RE-AIM is gericht op evaluatie van al ontwikkelde en uitgewerkte interventies, interventies die in ‘het veld’ getoetst kunnen worden. Hier gaat het niet om evaluatie die plaatsvindt tijdens het proces van interventieontwikkeling. Evaluatie ten behoeve van interventieontwikkeling, wordt ook wel
formatieve evaluatie genoemd.

Question 9

Om te bepalen welke evaluatie moet worden uitgevoerd, is het belangrijk om helder te krijgen wat we willen ervaren. Waarom?

Answer 9

Zonder een duidelijk, bij voorkeur gekwantificeerd doel is het niet mogelijk om na te gaan of het doel bereikt is. Een planningsmodel voor het ontwikkelen van interventies is
een belangrijk hulpmiddel. Met behulp van dat model kan de onderzoeker op een beredeneerde wijze de gedragingen en determinanten selecteren die de interventie beoogt te veranderen, en de procesmatige voorwaarden definiëren voor het juist uitvoeren van de interventie, en deze vervolgens in concrete evaluatiedoelen vertalen.

Question 10

De doelen van een interventie kunnen in principe binnen elke stap van het planningsmodel worden gekozen. Naast het absolute effect (de verandering die door de interventie is bewerkstelligd), zijn we ook geïnteresseerd in het relatieve effect van een interventie. En wat tenslotte nog?

Answer 10

Tot slot kunnen we geïnteresseerd zijn in de effectiviteit in relatie tot de kosten die met de interventie gemoeid zijn (economische evaluatie). Op welk niveau geëvalueerd kan worden, hangt af van de aard, de duur van de follow-up en het ontwikkelingsniveau van de interventie. Evaluaties van echte gezondheidsuitkomsten in termen van minder ziekte of lagere sterfte zijn schaars in gezondheidsvoorlichting en – bevordering. Om toch voorspellingen te kunnen doen over langetermijn-gezondheidsuitkomsten zonder mensen daadwerkelijk langdurig via onderzoek ‘te volgen’ worden tegenwoordig steeds vaker epidemiologische modellen gebruikt. Dergelijke modellen worden vooral gebruikt om ziektelast ten gevolge van allerlei risicofactoren waaronder risicogedrag op een wetenschappelijk onderbouwde manier te schatten. Deze modellen kunnen ook worden gebruikt om de langetermijneffecten van gedragsveranderingsinterventies op morbiditeit, mortaliteit of gewonnen levensjaren te schatten. In een dergelijk model zijn op basis van epidemiologisch onderzoek aannames verwerkt over wat op populatieniveau de relatie tussen een bepaald gezondheidsgedrag en ziekte-incidentie of sterfte is. Vervolgens kan de door een interventie veroorzaakte verandering in een gezond gedrag of risicogedrag in een dergelijk model worden ingevoerd. Op die manier kunnen schattingen worden gemaakt van het effect van de interventie op gezondheid en ziekte. In sommige gevallen is het wel goed mogelijk om direct incidentie of sterfte als evaluatiemaat te nemen.

Question 11

Maar een effectevaluatie van interventies ter bevordering van gezond gedrag is in werkelijkheid meestal een tusseneffectevaluatie. Waarom?

Answer 11

er wordt beoordeeld of een interventie effect heeft op gezondheid(risico)gedrag of op de determinanten van dat gedrag. De sterkte van de veronderstelde relaties tussen gezondheidsprobleem, gedrag en omgeving en de determinanten van gedrag en omgeving zijn bij evaluatie van groot belang. Hoe sterker het bewijs voor die verbanden, des te minder is het nog nodig om een evaluatie op het niveau van gezondheidsuitkomsten te doen. Soms is
een evaluatieonderzoek alleen gericht op evaluatie van het uitvoerings- of implementatieproces. Dit is met name het geval als een interventie al effectief is gebleken en op grotere schaal wordt uitgevoerd.

Question 12

Bij kwantitatief onderzoek worden onderzoeksgegevens in getallen weergegeven, waarop statistiek kan worden losgelaten. Bij kwalitatief onderzoek wordt een bepaald fenomeen beschreven. Effectevaluatie is meestal kwantitatief. Procesevaluatie is vaak kwalitatief. Wat kun je vertellen over smart doelen?

Answer 12

SMART staat voor specifiek, meetbaar, acceptabel, realistisch, tijdgebonden. SMART geformuleerde doelstellingen geven een goed uitgangspunt
voor toetsing. Om een doelstelling ook echt te kunnen toetsen, is een kwantificering oftewel verdere specificatie belangrijk, het liefst in combinatie met een termijn waarin verandering moet plaatsvinden en/of moet beklijven. Dan wordt de doelstelling meetbaar. Het is belangrijk voor evaluatie dat er voor de uitvoering van een interventie overeenstemming is over de doelen tussen de opdrachtgever, de uitvoerder en de evaluatieonderzoeker. Die doelen moeten realistisch en relevant zijn. Het vaststellen van een realistisch gekwantificeerd doel is
het ook belangrijk om te bepalen hoeveel mensen een aan evaluatieonderzoek moeten deelnemen. Kort gezegd is het zo dat hoe kleiner het effect is dat moet kunnen worden aangetoond, hoe meer mensen nodig zijn in evaluatieonderzoek.

Question 13

Bij effectevaluatie is het belangrijk dat het onderzoek zo wordt opgezet dat een relevant effect niet over het hoofd wordt gezien, maar ook dat niet ten onrechte toch een effect wordt geconstateerd. Een type I-fout treedt op als de interventie in werkelijkheid geen effect heeft, maar wel als
effectief wordt bestempeld. Bij een type II-fout wordt gedacht dat er geen effect is, terwijl die er eigenlijk wel is. Een type III-fout treedt op als een effectieve interventie als ineffectief wordt bestempeld omdat de interventie niet volgens plan is uitgevoerd. Om dergelijke fouten te voorkomen zijn bij effectevaluatie drie centrale vragen te onderscheiden. Welke?

Answer 13

1. Hoe kan een werkelijk interventie-effect zichtbaar gemaakt worden?
   (grootte, validiteit, betrouwbaarheid, statische testen en hoeveelheid individuen)
2. In welke mate wordt het geobserveerde effect ook echt door de interventie veroorzaakt en niet door andere factoren?
   (causaliteit)
3. In welke mate zal bij een nieuwe implementatie van de interventie opnieuw dezelfde effecten worden gevonden?
   (Externe validiteit)

Question 14

Veel interventies bevordering van gezond gedrag zijn complexe, samengestelde interventies: interventies met meerdere doelen, bestaande uit combinaties van gedragsveranderingsmethodieken en -toepassingen, vertaald in verschillende interventieonderdelen en materialen. Medical Research Council (MRC)B is een raamwerk opgesteld voor de evaluatie van zogenaamde complexe gezondheidsinterventies. Deze definieert complexe interventies aan de hand van vijf criteria. Welke?

Answer 14

1. Het aantal interventiecomponenten
2. Het aantal en de complexiteit van gedragingen en handelingen dat gevraagd wordt van degenen die de interventie uitvoeren en ontvangen.
3. Het aantal groepen of organisaties waarop de interventie gericht is.
4. Het aantal en de varianliliteit van de uitkomsten/resultaten van de interventie.
5. De mate van flexibiliteit waarmee de interventie geïmplementeerd kan en mag worden.

Question 15

Gezondheidsvoorlichtingsinterventies en andere interventies ter bevordering van gezond gedrag zijn meestal complexe interventies. Complexe gedragsveranderingsinterventies zouden bij voorkeur stapsgewijs moeten worden ontwikkeld en geëvalueerd, met in iedere stap een nadruk op andere onderdelen van de evaluatiedoelen. Hiervoor kan gebruik worden gemaakt van het model voor stapsgewijze evaluatie van complexe
interventies (MRC). Gebaseerd op dit moment kunnen globaal vier onderzoeksfasen worden onderscheiden. Welke?

Answer 15

• Het ontwikkelonderzoek: verkenning van al bestaande onderzoek naar soortgelijke interventies en een verkenning van de theorie. Op basis hiervan kan het ‘echte’ onderzoek naar de nieuwe interventie zo geïnformeerd mogelijk beginnen.
• Haalbaarheids- en pilotonderzoek: uittesten van onderdelen van de interventie en van de metingen en gegevensverzamelingsprocedures en – praktijk, het verkennen van de waardering voor en gebruik van de interventie.
• Evaluatieonderzoek: onderzoek naar bereik, uitvoering en blootstelling, waardering en effecten van de interventie; onderzoek om effecten te kunnen verklaren; onderzoek naar de verhouding tussen kosten en effecten. Er kan bij evaluatieonderzoek een onderscheid gemaakt
  worden naar:
  o Onderzoek naar efficacy, bereik, uitvoering en adoptie van de interventie onder omstandigheden die de alledaagse realiteit zo goed mogelijk benaderen.
  o Velonderzoek naar de effectiviteit, bereik, uitvoering en adoptie van de interventie onder omstandigheden die de alledaagse realiteit zo goed mogelijk benaderen.
• Implementatieonderzoek naar de adoptie, uitvoering, verspreiding en continuering van de interventie.

Question 16

Het centrum gezond leven van het rijksinstituut voor volksgezondheid en milieu beheert een erkenningstraject voor leefstijlinterventies. Er zijn eigenlijk twee erkennigstrajecten. Welke?

Answer 16

• In het eerste vindt beoordeling plaats door praktijkpanels om na te gaan of de interventie ‘goed beschreven’ is. Er moet inzicht zijn in bereik, waardering en succes- en faalfactoren.
• In het tweede vindt een beoordeling plaats door erkenningscommissie bestaande uit vertegenwoordigers uit de wetenschap, praktijk en beleid. Deze commissie bepaalt of interventies erkend kunnen worden als ‘goed onderbouwd’ of ‘effectief’.
  Bij goed onderbouwd gaat het erom dat beschreven en onderbouwd is op welke theoretische en empirische inzichten de interventie gebaseerd is, welke werkingsmechanismen worden verondersteld etc. Voor een erkenning als ‘effectief’ moet evaluatieonderzoek
  beschikbaar zijn waaruit blijkt dat de interventie het bedoelde effect heeft. Afhankelijk van de validiteit en betrouwbaarheid van het beschikbare onderzoek wordt een nader onderscheid gemaakt tussen ‘eerste aanwijzingen voor effectiviteit’, ‘goede aanwijzingen voor effectiviteit’, en ‘sterke aanwijzingen voor effectiviteit’.

Question 17

Verkenning vindt vaak plaats door zelf systematisch literatuuronderzoek te doen, of op basis van bestaande systematische reviews of meta- analyses. De verkenning kan echter ook bestaan uit bijvoorbeeld consultatie van experts. De theorieverkenning moet ervoor zorgen dat de kwaliteit
van de interventie en daarmee de kans op een effect van enige omvang, zo groot mogelijk is. Samenvattend kan een goede literatuur- en theorieverkenning op drie manieren helpen om de centrale evaluatievragen te beantwoorden. Welke 3?

Answer 17

1. Hoe kan een potentieel effect zichtbaar gemaakt worden?
   Bij het zichtbaar maken van potentiële effecten kan een literatuur- en theorieverkenning voorlopig inzicht geven in welke interventies of interventiemethodieken en – technieken sterk genoeg moeten zijn om een verschil tussen interventie- en controlegroep op de effectmaat teweeg te
   brengen, welke effectmaten het meest relevant en gevoelig zijn om het effect van de interventie zichtbaar te maken en welke procedures gevolgd moeten worden bij het blootstellen van de onderzoekseenheden aan de interventie.
2. In welke mate wordt een geobserveerd effect ook echt door de interventie veroorzaakt?
   Bij het verklaren van geobserveerde effecten gevonden in laboratorium- of veldonderzoek kan de verkenning inzicht geven in de werkingsmechanismen die verantwoordelijk zijn geweest voor het effect.
3. In welke mate zal een nieuwe implementatie van de interventie opnieuw het eerder gevonden effect oproepen?
   Gedetailleerde kennis over de theorie aangaande de achterliggende mechanismen van interventie-effecten helpt ook bij het generaliseren van eerder vastgestelde interventie-effecten.

Question 18

Wat kun je vertellen over Het gecontroleerde experiment voor onderzoek naar efficacy?

Answer 18

Het wetenschappelijke experiment – een RCT – is de meest ideale methode om een causaal verband vast te stellen tussen de interventie en het effect. Dit onderzoeksdesign heeft een hoge interne validiteit. Met een gecontroleerd experiment kan met grote zekerheid gezegd worden dat het
gevonden effect het gevolg is van de interventie. Een echt gecontroleerd experiment naar effecten van gezondheidsvoorlichting is meestal alleen volledig realiseerbaar in het gedragslaboratorium.

Question 19

Waarom Randomisatie en manipulatie?

Answer 19

Door randomisatie ontstaan in principe twee groepen die in alle opzichten gelijk zijn behalve dat de ene groep blootgesteld wordt aan de interventie en de andere groep niet. Na blootstelling aan de interventie observeert men of de twee groepen verschillen op een relevante effectmaat.

Question 20

Hoewel randomisatie soms ook buiten onderzoeksloboratoria mogelijk is, heeft het laboratoriumexperiment twee unieke kenmerken die het mogelijk maken om een geobserveerde verandering op de effectmaat met grote zekerheid toe te kunnen schrijven aan de interventie. Welke 2?

Answer 20

(1) experimentele controle en (2) betrouwbare of precieze wijze van meten. Door de individuen in beide groepen af te schermen van invloeden van buitenaf, voorkomt de onderzoeker dat tijdens het uitvoeren van het
experiment de twee groepen naast de interventie blootgesteld worden aan andere invloeden die verschillen o de effectmaat zouden kunnen veroorzaken. Controle binnen een laboratoriumexperiment houdt in dat de onderzoeker in staat is het eventuele effect van de interventie onder
overeenkomstige omstandigheden te meten. De wijze van meten draagt bij aan betrouwbaarheid of precisie waardoor zelfs kleine verschillen tussen interventie- en controlegroep zichtbaar kunnen worden. En ook de afwezigheid van een verschil kan met zekerheid geïnterpreteerd worden
als het ontbreken van een effect van de interventie.

Question 21

De evaluatieprocedure geeft informatie of de interventie in principe kan leiden tot het gewenste effect: de efficacy – het effect onder goed gecontroleerde omstandigheden – wordt getoetst. Welke vragen worden daarbij beantwoord?

Answer 21

Zal een vastgesteld interventie-effect opnieuw optreden als de interventie onder gewijzigde omstandigheden en/of bij andere populatie wordt geïmplementeerd? Deze vraag gaat over externe validiteit/generaliseerbaarheid.
Een laboratoriumexperiment kan een geringe mate van externe validiteit hebben. Dit soort experimenten is wel gunstig als je kijkt naar de mate waarin men precies aan kan geven van welke omstandigheden het effect afhankelijk is geweest. Op die manier kan interventietheorie worden
opgebouwd die vervolgens buiten het gedragslaboratorium kan worden toegepast.

Question 22

Wat kun je vertellen over Het laboratoriumexperiment en procesevaluatie?

Answer 22

Bij laboratoriumonderzoek wordt meestal vooral gedacht aan efficacy-onderzoek. Maar ook in deze fase van evaluatie is procesevaluatie belangrijk. In goed gecondoleerde experimenten kan juist ook goed onderzocht worden wat de waardering van het interventiemateriaal is, in welke mate de
‘proefpersonen’ ook werkelijk aan het interventiemateriaal zijn blootgesteld en welke onderdelen van de interventie met name de aandacht trekken. Ook die informatie kan helpen bij het verklaren waarom de interventie wel of geen effect heeft gehad.

Question 23

Er kleven echter ook beperkingen aan de toepasbaarheid en het nut van gecontroleerde gedragslaboratoriumexperimenten bij de effectevaluatie
van interventies ter bevordering van gezond gedrag. Laboratoriumonderzoek zegt iets over de efficacy, maar geeft vaak geen of slechts beperkt ‘levensechte’ informatie. Daarom worden effectevaluaties meestal juist (ook) buiten het laboratorium gedaan. Er zijn vier belangrijke redenen voor evaluatie in veldonderzoek. Welke?

Answer 23

• Duur en complexiteit van de interventie
  Een interventie ter bevordering van gezond gedrag is vaak niet kortstondig en enkelvoudig maar bestaat vaak uit meerder onderdelen waarbij langdurige blootstelling vereist is.
• Tijd tussen blootstelling aan de interventie en effect
  Het effect van gezondheidsvoorlichting is lang niet altijd direct te verwachten; er is een bepaalde incubatietijd noodzakelijk.
• Externe validiteit
  Gecontroleerde omstandigheden zijn in ‘echte’ voorlichtingssituaties eigenlijk nooit te realiseren. Interventies ter bevordering van gezond egdrag
  bestaan juist vaak uit een combinatie van activiteiten waarbij het expliciet de bedoeling is dat verschillende activiteiten verschillende mensen aanspreken en elkaar aanvullen en versterken, dat het onderwerp van de interventie gespreksonderwerp wordt, op de publieke agenda komt te
  staan, waardoor de sociale norm kan veranderen. Daarbij is het vaak ook nog wenselijk dat interventies op het gebied van gezondheidsvoorlichting, willen ze effectief zijn, op zodanige wijze moeten worden aangepast tijdens de implementatie dat ze aansluiten bij de specifieke behoeften,
  vaardigheden en omstandigheden van de doelgroep waarvoor de interventie bedoeld is.
  Veldonderzoek heeft ook zijn beperkingen wat betreft externe validiteit. Het is vaak moeilijk vast te stellen welke interventieactiviteiten nu eigenlijk essentieel zijn om het effect opnieuw te kunnen produceren en welke elementen bij een volgende poging mogen worden weggelaten. Generalisatie van de conclusies van een effectevaluatie kan dus ook bemoeilijkt worden omdat men bij de implementeren veel verschillende dingen tegelijkertijd
  doet.
• Effectgrootte en omvang van de onderzoeksgroep
  Een vierde reden waarom veldonderzoek noodzakelijk is, is dat de effecten van voorlichting meestal niet zo groot zijn. Kleine effecten kunnen echter zeer relevant zijn.

Question 24

Veldstudies zijn dus gewenst, waarbij de interventie onder meer levensechte omstandigheden wordt uitgetest. Maar juist omdat de interventies die in veldstudies worden bestudeerd grootschaliger, complexer en flexibeler zijn, zijn er bij veldstudies enkele hindernissen te overwinnen. Eerste vraag is; Hoe kunnen effecten van de interventie zichtbaar gemaakt worden?

Answer 24

Het is bij voorkeur dat deelnemers in de interventiegroep het liefst in gelijke mate zo veel mogelijk worden blootgesteld aan de interventie. Daarnaast is het belangrijk dat de deelnemers in de controlegroep niet worden blootgesteld aan en bij voorkeur niet eens bekend zijn met de interventie. Bij grootschalige veldonderzoeken kan vaak niet worden gegarandeerd dat iedereen in de interventiegroep ook echt aan de interventie
wordt blootgesteld en is de enige contaminatie soms niet te vermijden. In het veld moet voorlichtingsmateriaal ook veel meer concurreren met andere prikkels in de omgeving. Hierdoor zijn effecten vaak kleiner, en om een kleiner effect aan te kunnen tonen is een grotere onderzoeksgroep
nodig.

Question 25

De kans dat een evaluatieonderzoek een in werkelijkheid bestaand verschil tussen interventie- en controlegroep aan het licht brengt, wordt de power van een studie genoemd. Power is uit te drukken als een waarde die ligt tussen de 0 en 1. Zeggen dat een evaluatieonderzoek een lage
power heeft, is een andere manier om uit te drukken dat het moeilijk is om de potentiële effecten van een interventie aan te tonen. Streven naar een hogere power behoort een topprioriteit van evaluatieonderzoekers te zijn. Er zijn vijf stappen om een zo hoog mogelijke power van een
evaluatieonderzoek te realiseren. Welke 5?

Answer 25

De kans dat een evaluatieonderzoek een in werkelijkheid bestaand verschil tussen interventie- en controlegroep aan het licht brengt, wordt de power van een studie genoemd. Power is uit te drukken als een waarde die ligt tussen de 0 en 1. Zeggen dat een evaluatieonderzoek een lage
power heeft, is een andere manier om uit te drukken dat het moeilijk is om de potentiële effecten van een interventie aan te tonen. Streven naar een hogere power behoort een topprioriteit van evaluatieonderzoekers te zijn. Er zijn vijf stappen om een zo hoog mogelijke power van een
evaluatieonderzoek te realiseren:
1. Zorg dat de onderzoeksgroep voldoende groot is
Grote steekproeven maken een betere schatting mogelijk van het echte verschil tussen de populaties waaruit de interventie- en de controlegroep zijn getrokken. Hoe groter de steekproef, hoe beter zelfs een klein interventie-effect kan worden aangetoond. Een factor die van invloed is op de
power is de effectgrootte.
2. Kies een geschikt significantieniveau
In onderzoek wordt meestal een significantieniveau van 5% genomen, oftewel er is dan 5% kans dat dit effect door toeval is veroorzaakt.
3. Kies de juiste effectmaat
Een factor die van invloed is op de power van een evaluatiestudie is de aard van de uitkomst- of effectmaat. De effectmaat bepaalt ook mede de statische test die gebruikt word om de relatie tussen interventie en effectmaat te kwantificeren en op significantie te onderzoeken.
4. Kies een adequate statische toets
Zie punt hierboven.
5. Probeer de effectgrootte optimaal te maken, door een zo goed mogelijke interventie en een zo groot mogelijke blootstelling. Simpel gezegd zijn grote effecten natuurlijk gemakkelijker aan te tonen dan kleine effecten. Een evaluatiestudie van een interventie met grote effecten heeft dus een grote power.

Question 26

Onderzoekers kunnen bij het opzetten van een studie op twee belangrijke manieren invloed uitoefenen op de
effectgrootte. Welke 2?

Answer 26

(1) ten eerste kunnen zij proberen optimale condities te creëren om het verschil op de effectmaat tussen de interventie- en controlegroep zo goed mogelijk te maken. Dit zal met name moeten gebeuren door de interventie zo volledig mogelijk te implementeren in de
interventiegroep en de controlegroep zo veel mogelijk te onthouden van de interventie. Daarnaast zal men effectmaten moeten gebruiken die op een gevoelige manier eventuele interventie-effecten kunnen registeren.
(2) Ten tweede kunnen onderzoekers ervoor zorgen dat de spreiding in de effectmaat binnen de interventie – en binnen de controlegroep zo klein mogelijk is. Deze methode heet variantiecontrole. Variantie in scores op de effectmaat binnen de interventie- en de controlegroep is enerzijds te
wijten aan het bestaan van ‘echte’ verschillen tussen individuen binnen een groep op de effectmaat en anderzijds aan toevallige meetfouten (error) tijdens de meting van het effect. Variantiecontrole is mogelijk door de onderzoeksgroep niet te heterogeen te kiezen om zo de spreiding in de effectmaat rond de gemiddelde score in interventie- en controlegroep niet te groot laten zijn. Een andere belangrijke manier om variantie in de
scores op de effectmaat te beperken is het reduceren van toevallige meetfouten. Dit kan men bereiken door gebruik te maken van meetinstrumenten waarmee zo precies en betrouwbaar mogelijk de effectmaat gemeten kan worden en anderzijds door bij alle deelnemers aan het
onderzoek zo veel mogelijk onder overeenkomstige omstandigheden het effect te meten. Dit is vooral bij veldstudies een probleem.

Question 27

Als een significant verschil is gevonden tussen de interventie- en controlegroep is het belangrijk na te gaan of dit verschil op de effectmaat veroorzaakt is door de interventie of door andere factoren. Het belangrijkste hulpmiddel bij het beantwoorden van deze twee centrale
evaluatievraag is het ontwerp (design) van de evaluatiestudie. Bij veldonderzoek is het vaak moeilijker ervoor te zorgen dat je een goede controlegroep hebt met mensen die niet worden blootgesteld aan de interventie. Omdat het bij veldonderzoek een goede controlegroep vaak niet evident is, wordt het effect van gezondheidsvoorlichting nogal eens geëvalueerd door alleen onderzoek te doen bij een interventiegroep. Als we niet van een echt experimentele onderzoeksopzet gebruik kunnen maken kan men kiezen voor een quasi-experimenteel onderzoek. Er zijn vijf belangrijke bedreigingen van de interne validiteit van onderzoek onder goede controlegroep. Welke 5?

Answer 27

• Geschiedenis
  Tijdens de interventieperiode doen zich ongeplande gebeurtenissen voor die invloed hebben op de effectmaat.
• Rijping
  Het is heel goed mogelijk dat er voor of tijdens de campagne een trend is of wordt ingezet.
• Meting en reactiviteit
  Metingen op de nameting kunnen worden beïnvloed door een voormeting. Gevonden effecten kunnen ook komen omdat deelnemers hun antwoorden aanpassen aan wat ze denken dat de onderzoekers willen horen of wat dat ze denken dat juist is.
  ➔ Met name voor deze eerste drie bedreigingen van de interne validiteit is het belangrijk dat een adequate controlegroep in het onderzoek wordt meegenomen. Als dat niet kan, kunnen het beste meerdere voor en nametingen worden gedaan. Daarmee kan in ieder geval
  onderzocht worden of met de interventie een ‘trendbreuk’ zichtbaar is. Een andere oplossing wordt nog wel eens gezocht in het feit dat bij landelijk implementaties de interventie meestal lang niet bij iedereen aankomst. Door nu de blootgestelde te beschouwen als een
  interventietroep en deze te vergelijken met niet-blootgestelde – en die dus als een controlegroep te beschouwen – zou ook een indruk van de effectiviteit van de interventie verkregen kunnen worden. Hierbij is de kans op selectiebias erg groot.
• Selectie
  Met uitzondering van landelijke campagnes, kan in veldonderzoek naar de effectiviteit van interventies vaak wel een controlegroep worden opgenomen, maar is er geen sprake van een door randomisatie tot stand gekomen equivalente controlegroep, dit is ook een vorm van selectiebias.
  Er zijn twee mogelijkheden om dit soort bias of vertekening te voorkomen of te beperken. (1) In de eerste plaats worden wel onderzoeken uitgevoerd waarin veel meer dan twee gemeenten/bedrijven etc. participeren die gerandomiseerd kunnen worden (community intervention
  trail/cluster randomized trail). Bij het evalueren van het effect moet dan wel ook rekening worden gehouden met het feit dat groepen in plaats van individuen zijn gerandomiseerd, en dat individuen zijn ‘genest’ binnen de groepen. (2) In de tweede plaats kan bij niet-random controlegroepen in de statische analyse van de resultaten rekening worden gehouden met een verschil in uitganssituatie tussen interventie- en controlegroep.
  Wanneer randomisatie niet mogelijk is, is een goed procesonderzoek van extra belang. Door het bereik, de adoptie, uitvoering en blootstelling aan de interventiematerialen in kaart te brengen en het verband tussen deze procesmaten en interventie-effecten te analyseren, kan enig inzicht worden verkregen of de interventie verantwoordelijk is voor gevonden effecten.
• Uitval
  In veldonderzoek naar effecten van interventies is het namelijk vrijwel altijd onmogelijk om iedereen die voor het onderzoek is uitgenodigd, ook werkelijk in het onderzoek te blijven betrekken. De redenen voor mogelijke uitval of non-respons kan op die manier van invloed zijn op de
  uitkomsten van het evaluatieonderzoek. Op grond van gegevens uit een voormeting kan worden nagegaan of de uitval tussen de interventiegroepen en de controlegroep vergelijkbaar was.

Question 28

Het woord implementatie wordt gebruik voor uitvoering en ook uitrol van de interventie, de verspreiding op grote schaal. Implementatieonderzoek richt zich daarom op de evaluatie van bereik, adoptie, uitvoering en continuering van een interventie,
Waarom implementatieonderzoek?

Answer 28

Goed veldonderzoek levert informatie over de effectiviteit en over de omstandigheden waaronder die effecten gevonden zijn. Tijdens de implementatie is monitoren van bereik, uitvoering en adoptie belangrijk, om na te gaan of die omstandigheden wel worden bereikt en zo niet of
bijstelling van de implementatiestrategie noodzakelijk is. In implementatieonderzoek kunnen ook verschillende implementatie strategieën met elkaar worden vergeleken om te evalueren welke manier van uitrollen leidt tot het grootste bereik, adoptie, en/of beste uitvoeringsgraad. Een
implementatiestrategie kan worden beschouwd als een interventie om de uitvoering van een campagne optimaal te laten verlopen. Onderzoek naar effecten van implementatiestrategieën kan daarom net zo worden opgezet als ‘gewoon’ interventie-evaluatieonderzoek. Alleen is nu de uitkomstmaat niet gezondheid, gezondheidsgedrag of determinanten van gezond gedrag, maar de mate van implementatie of determinanten van implementatie.

Question 29

Een belangrijk doel van evaluatie is nagaan of de beschikbare middelen zo goed mogelijk zijn besteed. Hiervoor is het vaak niet voldoende om na
te gaan of een interventie effectief is, maar willen we ook weten of die effectiviteit in verhouding staat tot investering – de kosten – meestal in vergelijking met alternatieve interventies. Hoe heet dit?

Answer 29

Dit wordt economische evaluatie of ook wel doelmatigheidsonderzoek genoemd. Om een goede
indruk te krijgen van de verhouding tussen kosten en effecten, moeten we berekenen hoeveel de kosten per eenheid effectief zijn geweest of wat het effect per eenheid investering is geweest. In een economische evaluatie binnen de gezondheidszorg wordt meestal de verhouding berekend
tussen de bereikte gezondheidswinst en de daarvoor gemaakte kosten. Echter resulteren preventie en verandering van gezond gedrag vaak pas op de langere termijn is constateerbare gezondheidswinst. Daarom wordt in economische evaluatie van de interventies ter bevordering van gezond gedrag ook wel gekeken naar de verhouding tussen de mate van verandering in intermediaire uitkomstmaten, of worden epidemiologische simulatiemodellen gebruikt om de kosteneffectiviteit voor de gezondheidseffecten te schatten. Voor economische evaluaties gelden voor een groot deel dezelfde stappen en keuzen als voor effectevaluatie in het algemeen, maar voor een economische evaluatie is natuurlijk wel extra belangrijk om de kosten zo nauwkeurig mogelijk in kaart te brengen, waarbij normaliter alle kosten zo nauwkeurig mogelijk in kaart te brengen waarbij normaliter alle kosten worden uitgedrukt in geld. Hierbij moet onderscheid gemaakt worden tussen directe en indirecte kosten. Ook voor economische evaluaties is een integratie van proces- en effectonderzoek essentieel, want informatie moet worden verzameld over waar welke kosten zijn gemaakt. Daarnaast leveren gegevens over bereik, adoptie, uitvoering en continuering van de interventie informatie over hoe de kosteneffectiviteit verbeterd kan worden, in het bijzonder als ook de kosten gerelateerd kunnen worden aan bereik, adoptie en uitvoering.

Question 30

Wat is kosteneffectief?

Answer 30

Er is geen gouden standaard die zegt wanneer een interventie als voldoende kosteneffectief kan worden beschouwd. De Raad voor de volksgezondheid stelt als absolute grens: als een medische behandeling meer dan 80.000 euro kost om één patiënt een extra levensjaar van goede kwaliteit te geven, zou die behandeling niet meer in de basisziektekosten verzekering moeten worden opgenomen, Als een interventie per gewonnen levensjaar of per DALY minder kost dan het gemiddelde jaarinkomen, wordt deze als kosteneffectief beschouwd.

Question 31

Nogmaals procesevaluatie

Answer 31

Een procesevaluatie kan op verschillende niveaus met behulp van verschillende onderzoeksmethoden worden uitgevoerd. Hierbij is het nuttig onderscheid te maken tussen het niveau van organisatie, intermediairs en doelgroep. Een procesevaluatie op doelgroep niveau houdt ook in dat nauwkeurig wordt onderzocht wie er worden bereikt en wat de reacties zijn van de
doelgroep op de aangeboden voorlichting. Hier is nog geen sprake van het meten van effecten van de voorlichting, maar van het vaststellen of er wordt voldaan aan de noodzakelijke voorwaarden voor het teweegbrengen van effecten zoals aandacht, begrip en waardering. Omdat het hier van
groot belang is om ook onvoorziene en onwenselijke reacties op de interventieactiviteiten in kaart te brengen, kan het, vooral bij de evaluatie van nieuwe interventieactiviteiten, belangrijk zijn om in de procesevaluatie te verwerken. De procesevaluatie moet niet intensiever worden dan de interventie. Inperking van de procesevaluatie tijdens de implementatie is ook mogelijk door voor de start van de interventie onderzoek te verrichten. Zo verdient het aanbeveling om interventiematerialen nog voor gebruik uitvoerig te
pretesten. Het is belangrijk om een eventuele controlegroep ook in de procesevaluatie op te nemen. Wanneer een nieuwe interventies wordt vergeleken met een al langer bestaande interventie zijn procesgegevens van de controlegroep ook van groot belang. Als de procesevaluatie zo veel mogelijk storende factoren kan uitsluiten of in kaart weet te brengen, kan men na het afnemen van de nameting dus beter vaststellen in welke mate de geobserveerde effecten aan de interventie zijn toe te schrijven.

Question 32

Begrippen hoofdstuk 9. RE-AIM.

Answer 32

Een raamwerk waarin verschillende belangrijke evaluatiedoelen worden erkend. Bestaat uit reach, efficacy,
adoption, implementation en maintenance. RE-AIM is gericht op evaluatie van al ontwikkelde en uitgewerkte
interventies, interventies die in ‘het veld’ getoetst kunnen worden.

Question 33

Formatieve evaluatie

Answer 33

Evaluatie ten behoeve van interventieontwikkeling.

Question 34

Tusseneffectevaluatie

Answer 34

Er wordt beoordeeld of een interventie effect heeft op gezondheid(risico)gedrag of op de determinanten van dat
gedrag.

Question 35

Kwalitatief onderzoek

Answer 35

Bepaalde fenomenen beschreven (procesevaluatie).

Question 36

Kwantitatief onderzoek

Answer 36

Onderzoeksgegevens in getallen weergegeven (effectevaluatie/procesevaluatie).

Question 37

SMART

Answer 37

Apecifiek, meetbaar, acceptabel, realistisch, tijdgebonden. SMART geformuleerde doelstellingen geven een goed
uitgangspunt voor toetsing.

Question 38

Type I-fout

Answer 38

Treedt op als de interventie in werkelijkheid geen effect heeft, maar wel als effectief wordt bestempeld.

Question 39

Type II-fout

Answer 39

Bij een type II-fout wordt gedacht dat er geen effect is, terwijl die er eigenlijk wel is.

Question 40

Type III-fout

Answer 40

Treedt op als een effectieve interventie als ineffectief wordt bestempeld omdat de interventie niet volgens plan is
uitgevoerd.

Question 41

Power

Answer 41

De kans dat een evaluatieonderzoek een in werkelijkheid bestaand verschil tussen interventie- en controlegroep
aan het licht brengt.
Power is uit te drukken als een waarde die ligt tussen de 0 en 1.
Zeggen dat een evaluatieonderzoek een lage power heeft, is een andere manier om uit te drukken dat het
moeilijk is om de potentiële effecten van een interventie aan te tonen.
Er zijn vijf stappen om een zo hoog mogelijke power van een evaluatieonderzoek te realiseren:
1. Zorg dat de onderzoeksgroep voldoende groot is
2. Kies een geschikt significantieniveau
3. Kies de juiste effectmaat
4. Kies een adequate statische toets
5. Probeer de effectgrootte optimaal te maken, door een zo goed mogelijke interventie en een zo groot mogelijke
blootstelling.

Question 42

Variantiecontrole

Answer 42

Onderzoekers kunnen ervoor zorgen dat de spreiding in de effectmaat binnen de interventie – en binnen de
controlegroep zo klein mogelijk is.
Variantiecontrole is mogelijk door de onderzoeksgroep niet te heterogeen te kiezen om zo de spreiding in de
effectmaat rond de gemiddelde score in interventie- en controlegroep niet te groot laten zijn. Een andere
belangrijke manier om variantie in de scores op de effectmaat te beperken is het reduceren van toevallige
meetfouten.

Question 43

Bedreigingen interne validiteit

Answer 43

• Geschiedenis
• Rijping
• Meting
• Selectie
• Uitval

Question 44

Implementatiestrategie

Answer 44

Kan worden beschouwd als een interventie om de uitvoering van een campagne optimaal te laten verlopen.

Question 45

Economische evaluatie /
doelmatigheidsonderzoek

Answer 45

Om te weten of die effectiviteit in verhouding staat tot investering – de kosten – meestal in vergelijking met
alternatieve interventies.

Question 46

Bij interesse in de doelmatigheid van een interventie, moet altijd eerst de vraag beantwoord worden of de interventie effectief is. Bij de economische evaluatie van interventies is effectiviteitsonderzoek dus een noodzakelijke eerste stap. Voor economische evaluatie is aanvullend onderzoek nodig
ten opzichte van effectiviteitsonderzoek. Wat is het doel van een economische evaluatie?

Answer 46

Economische evaluatie beoogt een antwoord te geven op de vraag hoe de verhouding tussen uitkomsten (effecten) en middelen (geld en menskracht) is. De kern van een economische evaluatie is de vergelijking tussen twee of meer alternatieve bestedingen van middelen (geld of
menskracht). Dat kan uiteenlopen van het vergelijken van heel specifieke interventies, tot het vergelijken van grootschalige programma’s. Telkens zal het doel zijn om vast te stellen welk onderzocht alternatief de beste verhouding heeft tussen kosten en effecten. Er zijn verschillende vormen van economische evaluatie mogelijk. Onderscheid kan worden gemaakt tussen volledige en partiële economische
evaluaties. In volledige economische evaluaties worden (1) zowel de kosten als opbrengsten onderzocht, en (2) twee of meer alternatieve opties met elkaar vergeleken. Doel hiervan is vast te stellen bij welk alternatief de geïnvesteerde euro het meeste effect oplevert. Wanneer niet voldaan
wordt aan (één van) deze twee voorwaarden, spreken we van een partiële economische evaluatie.

Question 47

Vormen van partiële economische evaluaties zijn..?

Answer 47

• Kostenanalyse: hierbij worden wel de kosten van een of meer interventies in kaart gebracht, maar niet de effecten.
• Effectiviteitsanalyse: hierbij worden alleen de effecten van een of meer interventies in kaart gebracht, zonder dat de kosten daarbij bestudeerd worden.
• Kostenconsequentie analyse of kostenopbrengsten analyse: hierbij worden de kosten en effecten van interventies separaat beschreven, zonder dat een integratie van de kosten en effecten in een samengestelde maat (“kosten per eenheid effect”) wordt weergegeven.

Question 48

Wat is een Kosteneffectiviteitanalyse (KEA)?

Answer 48

Een KEA is de meest toegepaste vorm van economische evaluatie van interventies. De kosten die gemaakt worden voor een interventie, worden gerelateerd aan de te behalen gezondheidswinst en aan eventuele besparingen op toekomstige zorg. De interventie met de laagste netto kosten per eenheid van de effectmaat is de meest kosteneffectieve of meest doelmatige interventie. In een KEA worden de kosten van de te vergelijken interventies in geld uitgedrukt en de effecten in een relevante effectmaat. Alleen wanneer een meer algemene uitkomstmaat wordt gekozen, kunnen de resultaten van kosteneffectiviteit onderzoek van interventies gericht op verschillende gezondheidsproblemen met elkaar vergeleken worden. Juist bij de evaluatie van gezondheidsbevorderende interventies zal het vaak ingewikkeld zijn om inzicht te geven in het aantal gewonnen
levensjaren omdat die gezondheidswinst pas over vele jaren te behalen valt en dat buiten de waarnemingsperiode van vaak kortdurende interventiestudies valt. Met behulp van wiskundige modellen kan vaak toch een extrapolatie van effecten op korte termijn naar effecten op lange
termijn gemaakt worden.

Question 49

Wat is een Kostenutiliteitanalyse (KUA)?

Answer 49

In een KUA worden de kosten wederom in geld uitgedrukt en de effecten in het aantal levensjaren die zijn gecorrigeerd voor de kwaliteit van leven. De vakterm voor deze uitkomstmaat is QALY. Een QALY is een maatstaf
voor gezondheid, waarbij de levensverwachting wordt gecorrigeerd met een factor voor de kwaliteit van leven. Deze maat bundelt effecten op de lengte van het leven (gewonnen levensjaren) en op de kwaliteit van het
leven in één getal. Deze QALY’s worden verkregen met behulp van gevalideerde meetinstrumenten. De utiliteitswaarde kan variëren van 0 (dood) tot 1 (volledig gezond). Wanneer we twee interventies (alternatief
A en alternatief B) met elkaar vergelijken blijkt alternatief B zowel tot extra levensjaren als een betere kwaliteit van leven gedurende die levensjaren te leiden. Het lichtblauwe gedeelte in de figuur is het aantal QALY’s dat met alternatief B extra behaald wordt ten opzichte van alternatief A. Met
de QALY kunnen dus zowel levensjaren als kwaliteit van leven in één effectmaat worden gevangen.

Question 50

Wat is het voordeel van een KUA boven een KEA?

Answer 50

Het voordeel van een KUA boven een KEA is dat hiermee de uitkomsten van economische evaluaties met betrekking tot verschillende gezondheidsproblemen of gezondheidsgedragingen onderling kunnen worden vergeleken (bij een KEA kan dit uitsluitend als de uitkomstmaat ‘gewonnen levensjaren’ is). Dit omdat een KUA een algemene uitkomstmaat als de QALY gebruikt, waarbij de eenheid waarin de baten worden uitgedrukt altijd hetzelfde is.

Question 51

Waarvoor is een Kostenbatenanalyse?

Answer 51

Bij een kostenbatenanalyse worden zowel de kosten als de effecten van een interventie in geld uitgedrukt. Die interventie met de laagste netto kosten is dan de meest doelmatige interventie. Deze analyse is erg ingewikkeld. Deze vorm van economische evaluatie is in theorie erg
aantrekkelijk omdat alle effecten, groot en klein, meegenomen kunnen worden in één uitkomstmaat en die uitkomstmaat desondanks onmiddellijk te interpreteren is.

Question 52

Wat is een Kostenminimeringsanalyse?

Answer 52

Een kostenminimeringsanalyse is alleen aangewezen als er absolute zekerheid is dat twee of meer alternatieve interventies exact dezelfde effectuitkomsten hebben. Als dat zo is dan kan de economische evaluatie volstaan met het in kaart brengen van de kosten van de interventie. De
minst kostbare interventie is dan automatisch tevens de meest doelmatige, omdat we voor dezelfde effecten liefst het minst betalen. Omdat interventies zelden exact dezelfde effectuitkomsten hebben (zeker als we ook bijwerkingen van interventies meenemen in de analyse) is deze vorm
van economische evaluatie tamelijk zeldzaam.

Question 53

Wat is de uitkomstmaat voor een KEA?

Answer 53

De uitkomstmaat voor een KEA is een zogenoemde kosteneffectiviteitsratio, voor een KUA is dat een kostenutiliteitsratio. Deze ratio heeft de netto kosten in de teller staan en de netto effecten in de noemer. De kosteneffectiviteitsratio is ratio die wordt berekend als het verschil in kosten tussen twee interventies gedeeld door het verschil in effecten tussen twee interventie. Netto kosten verwijst hier naar het verschil tussen de kosten van de interventie en eventuele toekomstige besparingen.
Het is belangrijk om altijd goed in het achterhoofd te houden dat een wankele basis voor de effectiviteit van een interventie de kosteneffectiviteit van interventies flink kan beïnvloeden. Een ratio is een overzichtelijke maat en geeft
snel inzicht in de resultaten van een gezondheidsprogramma. Echter, een ratio laat niets zien van de absolute omvang van de kosten en effecten of de verdeling daarvan.

Question 54

Een belangrijke keuze in een economische evaluatie betreft het perspectief van waaruit de evaluatie uitgevoerd wordt. Het perspectief bepaalt namelijk welke kosten en opbrengsten worden meegenomen in de analyse, hoe deze worden gemeten, en hoe deze moeten worden gewaardeerd.
Veelgebruikte perspectieven zijn..?

Answer 54

• Het maatschappelijk perspectief:
  Een evaluatie vanuit het maatschappelijke perspectief zal aangeven welke interventie vanuit de hele samenleving gezien het meest doelmatig is. Het kan dan heel goed zo zijn dat de analyse laat zien dat de ene sector van de samenleving moet betalen voor de interventie, terwijl een andere sector profijt heeft van die interventie. Een maatschappelijk perspectief is het meest complete perspectief, maar tegelijkertijd ook het meest
  ingewikkelde. Vaak zijn er in de praktijk moeilijkheden om alle kostenposten en alle effecten te kwantificeren en te waarderen. Ondanks de meetproblemen is het maatschappelijk perspectief in principe heel geschikt om gezondheidsbevorderende interventies te evalueren. De effecten van gezondheidsbevordering reiken immers vaak veel verder dan een betere gezondheid alleen en bestaan o.a. ook uit maatschappelijkem participatie en welzijnseffecten.
• Het perspectief van de betaler:
  Alleen de kosten en effecten die voor de betaler belangrijk zijn worden meegenomen in de analyse. Dit perspectief komt vaak voor bij economische evaluaties binnen de gezondheidszorg. De afbakening van kosten ligt bij de investeringen en besparingen op toekomstig zorggebruik binnen de gezondheidszorg. Ook veel gezondheidsbevorderende initiatieven binnen de gezondheidszorg worden vanuit dit perspectief geëvalueerd.
• Het werkgeversperspectief:
  vanuit dit perspectief wil een werkgever weten wat de kosten en effecten van gezondheidsbevordering of ziektepreventie zijn. In dit perspectief zijn de effecten vaak gedefinieerd in termen van ziekteverzuim, maar ook tevredenheid van personeel of imagoverbetering voor het bedrijf kunnen relevante effectmaten zijn.
• Het perspectief van de patiënt of consument:
  Dit houdt in dat kosten en opbrengsten in een economische evaluatie worden gemeten en gewaardeerd volgens de mening van de patiënt of consument. Kosten kunnen in dit perspectief zowel betrekking hebben op directe betalingen uit eigen zak maar ook op tijdkosten.
  Over het perspectief van de evaluatie moet in een vroeg stadium van plannen van de economische evaluatie nagedacht worden. Het perspectief bepaalt namelijk welke gegevens over kosten en effecten verzameld zullen moeten worden. De Nederlandse richtlijnen voor farmaco economisch onderzoek, bevelen aan om het maatschappelijk perspectief te hanteren bij het uitvoeren van een economische evaluatie. Onderzoekers hebben
  echter altijd de vrijheid om zelf de keuze te maken voor het perspectief van de studie.

Question 55

Wat kun je vertellen over Tijdhorizon dataverzameling en modelleren?

Answer 55

De tijdhorizon geeft de periode aan waarin de kosten en opbrengsten van een interventie worden gemeten. Over het algemeen moet de tijdshorizon zo gekozen worden dat de consequenties van een interventie in volle omvang kunnen worden meegenomen. Vaak wordt een economische evaluatie uitgevoerd parallel aan een effectiviteitstudie. Hierbij worden gegevens over de kosten en opbrengsten van de interventie verzameld tijdens de interventieperiode, die dus lang genoeg moet zijn om alle belangrijke effecten waar te nemen. Om toch iets te kunnen zeggen over de lange-termijn effecten van een interventie zal in die situaties een vertaling gemaakt moeten worden van tussentijdse effecten die wel vastgesteld zijn naar lange-termijn effecten) die niet waargenomen zijn in de (kortdurende) effectstudie. Voor die vertaling van korte naar langere termijn zijn wiskundige modellen nodig. Modelleren is een methode waarbij met behulp van wiskundige technieken data uit verschillende
onderzoeken met elkaar worden gecombineerd en over langere tijd doorgerekend. Het doel van modelleren in economische evaluaties is het bijeenbrengen van gegevens uit verschillende bronnen om de effecten van een bepaalde interventie voor een langere termijn uit te rekenen en
inzicht te geven in de onzekerheid van de uitkomsten.
Omdat modellen gegevens uit verschillende bronnen bijeenbrengen, geven de resultaten van een model een indicatie van de effecten en kosten in de toekomst. Bij modellen bestaat er altijd een zekere mate van onzekerheid over de nauwkeurigheid van de uitkomst. Deze onzekerheid kan echter met behulp van gevoeligheidsanalyses goed beschreven en gekwantificeerd worden. In een gevoeligheidsanalyse wordt getest in hoeverre
de uitkomsten van de analyses beïnvloed worden door de verschillende aannames die gedaan worden en door onzekerheid over die aannames.

Question 56

Twee soorten modellen zijn het meest gangbaar bij economische evaluaties van gezondheidsinterventies. Welke 2?

Answer 56

• Een beslisboom bestaat uit een reeks beslissings- en kansknooppunten, waarbij kansen staan vermeld dat een persoon in een bepaald ziektestadium zal verkeren. Door aan de belangrijkste uitkomsten van een beslisboom ook kosten te hangen kunnen de kosten van alle takken van de boom uitgerekend worden. Beslisbomen worden meestal gebruikt bij evaluaties waarvan de effecten in een relatief
  beperkte tijd worden waargenomen. Ze worden niet gebruikt om schattingen over toekomstige gebeurtenissen te maken.
• Markov-modellen zijn in het algemeen meer complexe modellen, waarbij voor opeenvolgende tijdperioden de kansen dat een persoon zich in verschillende ziektestadia bevindt worden weergegeven. Ze worden gebruikt om het risico op een gebeurtenis weer te geven over een langere periode. In een Markov model worden verschillende gezondheidstoestanden weergegeven, waarbij per tijdsperiode de overgangskansen van de ene naar een andere gezondheidstoestand worden berekend. Door dit per periode te herhalen en de eindwaarden van de ene periode te gebruiken als de beginwaarden van de daaropvolgende periode kan een schatting gemaakt worden
  van de relatie.

Question 57

Wat is het Chronische Ziekten Model (CZM)?

Answer 57

Het Chronische Ziekten Model (CZM) kan gezien worden als een verzameling wiskundige vergelijkingen die relaties beschrijven tussen het aantal mensen die blootstaan aan een bepaalde risicofactor, het aantal mensen met een bepaalde ziekte en het aantal mensen dat sterft aan een bepaalde ziekte. In deze wiskundige vergelijkingen wordt gebruik gemaakt van gegevens die de relatie tussen risicofactoren, ziekten en sterfte uitdrukken in termen van kansen. Met het model kan gesimuleerd (nagebootst) worden wat een verandering in het voorkomen van een of meer risicofactoren in (een deel van) de populatie betekent
voor het optreden van ziekten in de toekomst. Een simulatie met het CZM levert de gebruiker een prognose op van het toekomstig aantal ziektegevallen en aantal
sterftegevallen, uitgesplitst naar geslacht en leeftijd. Uitgaande van deze gegevens kunnen ook toekomstige kosten bepaald worden, aangezien elke ziekte een
bepaald “kostenplaatje” met zich meebrengt. Het model is zeer geschikt voor het berekenen van zogenaamde scenarios die gezien kunnen worden als “wat-als”
vragen. Het CZM leent zich goed voor economische evaluaties van interventies die gericht zijn op de risicofactoren die in het model opgenomen zijn.

Question 58

Wat zijn de Belangrijkste aanbevelingen over economische evaluatie?

Answer 58

1. Bij het plannen van een economische evaluatie moet goed worden nagedacht over de vorm van die economische evaluatie.
2. Een economische evaluatie dient bij voorkeur uitgevoerd te worden vanuit het maatschappelijk perspectief. Voor aanvang van de studie moet goed worden nagedacht over het perspectief van de studie, omdat daaruit volgt welke kosten en welke effecten meegenomen moeten worden in de evaluatie.
3. Modelleren van lange termijn effectiviteit is niet altijd nodig. Het kan ook voldoende zijn om effecten na afloop van de interventie, of na afloop van een zekere follow-up periode, te meten en die effecten te gebruiken als input voor een economische evaluatie. De tijdhorizon moet zo gekozen
   worden dat alle belangrijke kosten en effecten waargenomen worden in de interventieperiode.

Question 59

Begrippen PDF Wit. Kostenanalyse

Answer 59

Hierbij worden de kosten van een of meer interventies in kaart gebracht, maar niet de effecten.

Question 60

Effectiviteitsanalyse

Answer 60

Hierbij worden alleen de effecten van een of meer interventies in kaart gebracht, zonder dat de kosten daarbij
bestudeerd worden.

Question 61

Kostenconsequentie analyse of kostenopbrengsten analyse

Answer 61

Hierbij worden de kosten en effecten van interventies separaat beschreven, zonder dat een integratie van de
kosten en effecten in een samengestelde maat (“kosten per eenheid effect”) wordt weergegeven.

Question 62

Kosteneffectiviteitanalyse
(KEA)

Answer 62

Meest toegepast. De kosten die gemaakt worden voor een interventie, worden gerelateerd aan de te behalen
gezondheidswinst en aan eventuele besparingen op toekomstige zorg. De interventie met de laagste netto
kosten per eenheid van de effectmaat is de meest kosteneffectieve of meest doelmatige interventie.

Question 63

Kostenutiliteitanalyse (KUA)

Answer 63

In een KUA worden de kosten wederom in geld uitgedrukt en de effecten in het aantal levensjaren die zijn
gecorrigeerd voor de kwaliteit van leven. De vakterm voor deze uitkomstmaat is QALY. Het voordeel van een KUA boven een KEA is dat hiermee de uitkomsten van economische evaluaties met betrekking tot verschillende gezondheidsproblemen of gezondheidsgedragingen onderling kunnen worden vergeleken.

Question 64

QALY

Answer 64

Een QALY is een maatstaf voor gezondheid, waarbij de levensverwachting wordt gecorrigeerd met een factor
voor de kwaliteit van leven. Deze maat bundelt effecten op de lengte van het leven (gewonnen levensjaren) en
op de kwaliteit van het leven in één getal. Deze QALY’s worden verkregen met behulp van gevalideerde
meetinstrumenten. De utiliteitswaarde kan variëren van 0 (dood) tot 1 (volledig gezond).

Question 65

kostenbatenanalyse

Answer 65

Bij een kostenbatenanalyse worden zowel de kosten als de effecten van een interventie in geld uitgedrukt. Die
interventie met de laagste netto kosten is dan de meest doelmatige interventie. Deze analyse is erg ingewikkeld. Deze vorm van economische evaluatie is in theorie erg aantrekkelijk omdat alle effecten, groot en klein, meegenomen kunnen worden in één uitkomstmaat en die uitkomstmaat desondanks onmiddellijk te interpreteren is.

Question 66

Kostenminimeringsanalyse

Answer 66

Is alleen aangewezen als er absolute zekerheid is dat twee of meer alternatieve interventies exact dezelfde
effectuitkomsten hebben. Als dat zo is dan kan de economische evaluatie volstaan met het in kaart brengen
van de kosten van de interventie.

Question 67

Het maatschappelijk perspectief

Answer 67

Een evaluatie vanuit het maatschappelijke perspectief zal aangeven welke interventie vanuit de hele samenleving gezien het meest doelmatig is.

Question 68

Het perspectief van de betaler

Answer 68

Alleen de kosten en effecten die voor de betaler belangrijk zijn worden meegenomen in de analyse. Dit perspectief komt vaak voor bij economische evaluaties binnen de gezondheidszorg.

Question 69

Het werkgeversperspectief

Answer 69

Vanuit dit perspectief wil een werkgever weten wat de kosten en effecten van gezondheidsbevordering of
ziektepreventie zijn.

Question 70

Het perspectief van de patiënt of consument

Answer 70

Dit houdt in dat kosten en opbrengsten in een economische evaluatie worden gemeten en gewaardeerd volgens de mening van de patiënt of consument.

Question 71

Tijdhorizon

Answer 71

Geeft de periode aan waarin de kosten en opbrengsten van een interventie worden gemeten. Over het algemeen moet de tijdshorizon zo gekozen worden dat de consequenties van een interventie in volle omvang kunnen worden meegenomen.

Question 72

Moddeleren

Answer 72

Een methode waarbij met behulp van wiskundige technieken data uit verschillende onderzoeken met elkaar
worden gecombineerd en over langere tijd doorgerekend.
Het doel van modelleren in economische evaluaties is het bijeenbrengen van gegevens uit verschillende bronnen om de effecten van een bepaalde interventie voor een langere termijn uit te rekenen en inzicht te geven in de onzekerheid van de uitkomsten.

Question 73

Beslisboom

Answer 73

Bestaat uit een reeks beslissings- en kansknooppunten, waarbij kansen staan vermeld dat een persoon in een
bepaald ziektestadium zal verkeren. Beslisbomen worden meestal gebruikt bij evaluaties waarvan de effecten
in een relatief beperkte tijd worden waargenomen.

Question 74

Markov-modellen

Answer 74

Meer complexe modellen, waarbij voor opeenvolgende tijdperioden de kansen dat een persoon zich in
verschillende ziektestadia bevindt worden weergegeven. Ze worden gebruikt om het risico op een gebeurtenis
weer te geven over een langere periode. In een Markov model worden verschillende gezondheidstoestanden weergegeven, waarbij per tijdsperiode de overgangskansen van de ene naar een andere gezondheidstoestand worden berekend. Door dit per periode te herhalen en de eindwaarden van de ene periode te gebruiken als de beginwaarden van de daaropvolgende periode kan een schatting gemaakt worden van de relatie.

Question 75

Chronische Ziekten Model (CZM)

Answer 75

Kan gezien worden als een verzameling wiskundige vergelijkingen die relaties beschrijven tussen het aantal
mensen die blootstaan aan een bepaalde risicofactor, het aantal mensen met een bepaalde ziekte en het aantal mensen dat sterft aan een bepaalde ziekte. In deze wiskundige vergelijkingen wordt gebruik gemaakt
van gegevens die de relatie tussen risicofactoren, ziekten en sterfte uitdrukken in termen van kansen. Een simulatie met het CZM levert de gebruiker een prognose op van het toekomstig aantal ziektegevallen en aantal sterftegevallen, uitgesplitst naar geslacht en leeftijd. Uitgaande van deze gegevens kunnen ook toekomstige kosten bepaald worden.

Question 76

Het begrip effectiviteit in een veldstudie wordt ook wel efficacy genoemd. Juist of onjuist?

Answer 76

• Juist
• Onjuist (juist)
  Efficacy verwijst naar de effectiviteit onder goed gecontroleerde omstandigheden, waarvan bijvoorbeeld in een gerandomiseerd experiment sprake
  is.

Question 77

RE-AIM is een raamwerk om doelen van evaluatie van gezondheidspsychologische interventies te onderscheiden en te beschrijven. Geef aan waar de letters in het woord RE-AIM voor staan en beschrijf kort wat deze letters betekenen in de context van evaluatiedoelen.

Answer 77

RE-AIM staat voor Reach, Efficacy-Adoption, Implementation en Maintenance.
* Reach: het evaluatiedoel heeft betrekking op het bereik van de interventie.
* Efficacy: het evaluatiedoel heeft betrekking op de effectiviteit van de interventie onder ideale omstandigheden.
* Adoption: het evaluatiedoel heeft betrekking op het aantal, de proportie en de representativiteit van de instellingen die bereid zijn om de interventie te initiëren en/of uit te voeren.
* Implementation: het evaluatiedoel heeft betrekking op de mate waarin de interventie is uitgevoerd zoals bedoeld.
* Maintenance: het evaluatiedoel heeft betrekking op de mate van bestendiging of continuering van de interventie.

Question 78

SMART geformuleerde doelen bieden een goed uitgangspunt voor toetsing. Waar staan de letters in het woord SMART voor?

Answer 78

De letters in het woord SMART staan voor: specifiek, meetbaar, acceptabel, realistisch, tijdgebonden.

Question 79

Als een interventie in werkelijkheid geen effect heeft, maar wel als effectief wordt bestempeld, spreekt men van

Answer 79

• Type II-fout
• Type I-fout (juist)
  Van een type II-fout is sprake als het effectonderzoek uitwijst dat de interventie niet effectief is, terwijl die dat eigenlijk wel is. Een type III-fout is
  gelijk aan een type II-fout. Echter bij een type III-fout is de oorzaak altijd dat een interventie niet volgens plan, niet volledig of niet altijd is uitgevoerd.
• Type III-fout

Question 80

Een evaluatieonderzoek is intern valide als het zo is opgezet en uitgevoerd dat het gemeten effect uitsluitend aan de interventiemaatregel kan worden toegeschreven. Juist of onjuist?

Answer 80

• Juist (juist)
  Als met zeer grote zekerheid kan worden vastgesteld dat de interventie inderdaad wel of niet leidt tot het gewenste effect, is het onderzoek intern
  valide.
• Onjuist

Question 81

Als een evaluatieonderzoek extern valide is, wil dit zeggen dat het onderzoek bij herhaling onder dezelfde condities dezelfde uitkomsten geeft. Juist of onjuist?

Answer 81

• Juist
• Onjuist (juist)
  Externe validiteit verwijst naar de mate waarin de resultaten generaliseerbaar zijn naar andere omstandigheden en populaties. Als een onderzoek bij herhaling onder dezelfde condities dezelfde uitkomsten geeft, hoeven deze uitkomsten nog niet generaliseerbaar te zijn. Dat betekent slechts dat de uitkomsten betrouwbaar zijn.

Question 82

Een laboratoriumexperiment heeft in vergelijking met een veldonderzoek een hogere mate van interne validiteit. Juist of onjuist?

Answer 82

• Onjuist
• Juist (juist)
  Een laboratoriumexperiment heeft in vergelijking met een veldonderzoek inderdaad een hogere mate van interne validiteit. Belangrijke redenen hiervoor zijn dat de onderzoeker in staat is om door middel van randomisatie de interventie- en controlegroep goed vergelijkbaar te maken en extern verstorende variabelen te controleren. Daarnaast kan de onderzoeker volledige controle uitoefenen over het verloop van het experiment. Bij een veldonderzoek is dit moeilijker.

Question 83

Noem vier redenen om te kiezen voor een veldonderzoek in plaats van een laboratoriumonderzoek en licht elke reden kort toe.

Answer 83

Er zijn vier belangrijke redenen voor een veldonderzoek, namelijk:
1. De duur en de complexiteit van de interventie. Als een interventie uit meerdere onderdelen bestaat waarbij langdurige blootstelling is vereist, is dit niet goed te realiseren in een laboratoriumstudie. Dit geldt ook voor een combinatie van interventieactiviteiten voor een specifieke setting (zoals supermarkten).
2. De tijd tussen interventie en effect. Langetermijneffecten zijn in laboratoriumstudies meestal niet vast te stellen omdat ze niet direct of kort na de interventie gemeten kunnen worden.
3. De externe validiteit. Interventies die in laboratoria worden getest zijn vaak halffabrikaten. Bij implementatie in de praktijk moeten interventies vaak zodanig worden aangepast dat ze aansluiten bij de behoeften, vaardigheden en omstandigheden van de doelgroep en/of intermediairs. Ook is het vaak zo dat een combinatie van interventieactiviteiten moet leiden tot het gewenste resultaat. Interventieonderdelen moeten elkaar daarbij
aanvullen en versterken. Het is, rekening houdend met deze context, belangrijk om te weten of de interventie effectief is. Dat kan alleen worden onderzocht in een veldstudie. De nadruk in een veldstudie ligt op externe validiteit in plaats van op interne validiteit.
4. De effectgrootte. In een veldstudie kunnen grote groepen mensen worden opgenomen. Grote groepen zijn nodig om de meestal kleine effecten van voorlichting aan te kunnen tonen. Dat wil niet zeggen dat er altijd voor een zo groot mogelijke steekproef moet worden gekozen. De steekproef
moet dusdanig groot zijn dat (klinisch, maatschappelijk) relevante verschillen aangetoond kunnen worden. In een laboratoriumonderzoek is het echter lang niet altijd mogelijk om grote groepen mensen op te nemen. Dat kan doorgaans beter in een veldstudie.

Question 84

Benoem vijf stappen om een zo hoog mogelijke power van een evaluatieonderzoek te realiseren.

Answer 84

• Kies een geschikt significantieniveau.
• Kies een adequate statistische toets.
• Zorg dat de onderzoeksgroep voldoende groot is.
• Probeer de effectgrootte optimaal te maken.
• Kies de juiste effectmaat.

Question 85

Het niet hebben van een controlegroep bedreigt de interne validiteit van een evaluatiestudie op diverse punten. Eén van die bedreigingen is rijping (maturation).
Men spreekt over de bedreiging rijping als er zich tijdens de evaluatiestudie ongeplande gebeurtenissen hebben voorgedaan die invloed hebben op de effectmaat. Juist of onjuist?

Answer 85

• Juist
• Onjuist (juist)
  De informatie in de stelling verwijst naar het Geschiedenis (History) effect Het rijping effect verwijst naar veranderingen die los van de interventie plaatsvinden door een ontwikkeling in de persoon die al in gang was gezet en die zich verder voltooid tijdens de interventieperiode. Bijvoorbeeld het eten van minder snacks, het meer bewegen, maar ook het spontaan herstel van een aandoening.

Question 86

Schets 1
In een onderzoek naar de effecten van een nationale vuurwerkcampagne neemt men als voormeting het gemiddelde aantal vuurwerkslachtoffers in
de drie jaar voorafgaande aan de campagne. Het aantal slachtoffers zoals gemeten na de campagne is met 30 procent gedaald ten opzichte van de voormeting. Dit onderzoek is alleen uitgevoerd in het gebied waar de campagne is toegepast. De onderzoeker acht de effectiviteit van de campagne niet bewezen. Wat is volgens u het belangrijkste argument voor de conclusie van de onderzoeker uit schets 1?

Answer 86

Het belangrijkste argument is dat er in het onderzoek geen controlegroep was opgenomen. Hierdoor is nooit met zekerheid vast te stellen of de interventie verantwoordelijk is voor de effecten.

Question 87

Wat is de belangrijkste bedreiging voor de interne validiteit van de onderzoeksopzet in deze studieschets en waarom?

Answer 87

De belangrijkste bedreiging in een dergelijk onderzoek is het geschiedeniseffect. Zo kan het zijn dat het droog was in de jaren voorafgaande aan de campagne (voormeting), terwijl het regende tijdens Nieuwjaar in het campagnejaar. Bij regenachtig weer zijn er minder ongevallen met vuurwerk
omdat het vuurwerk nat en onbruikbaar is en er minder mensen op straat zijn. Niet de campagne maar de weersomstandigheden kunnen dan verantwoordelijk zijn geweest voor de daling van slachtoffers. Of er sprake is van een dergelijk geschiedeniseffect is niet te achterhalen zonder controlegroep.

Question 88

Schets 2. In een landelijke campagne van het voedingscentrum werd geprobeerd om Nederlanders aan te zetten tot het dagelijks eten van voldoende groenten en fruit.De campagne bestond uit een aantal tv-spotjes, radioberichten en advertenties in landelijke dagbladen. In het evaluatieonderzoek van de campagne werd bij een representatieve steekproef uit de Nederlandse bevolking de groente- en fruitconsumptie voor en na de campagne
gemeten. Bij de nameting werd ook nagevraagd in hoeverre men iets van de campagne in de media had gezien, gehoord en/of gelezen. In de statistische analyse werd als controlegroep beschouwd: het deel van de steekproef dat bij de nameting aangaf niet blootgesteld te zijn geweest aan
de campagneonderdelen. Dit deel werd vervolgens vergeleken met de groep respondenten die aangaf wel onderdelen van de campagne gezien, gehoord en/of gelezen te hebben. Deze laatste groep werd als experimentele groep beschouwd. De effecten werden bestudeerd door de consumptiegegevens van de twee groepen, zoals verkregen bij de nameting, met elkaar te vergelijken. De resultaten lieten zien dat de mensen uit de experimentele groep significant meer groenten en fruit aten op de voormeting dan de mensen uit de controlegroep. Maar hier kon voor worden gecorrigeerd in de analyses van de nameting. De experimentele groep (bestaande uit respondenten die waren blootgesteld aan de campagne) consumeerde significant meer groenten en fruit bij de nameting dan de controlegroep. De onderzoekers
concludeerden dat de toename in groente- en fruitconsumptie geheel was toe te schrijven aan de campagne. Omdat in de statistische analyses was gecorrigeerd voor verschillen op de voormeting, konden deze tot geen andere conclusie leiden. Is het in situatieschets 2 correct om te veronderstellen dat de verschillen op de voormeting (hier is immers voor gecorrigeerd) de conclusie niet beïnvloeden? Beargumenteer uw antwoord.

Answer 88

Nee, dit is niet correct. Het is inderdaad zo dat een indruk van de effectiviteit kan worden verkregen door blootgestelden met niet-blootgestelden te
vergelijken. De kans op selectiebias is dan echter zeer waarschijnlijk. Diegenen die zijn blootgesteld kunnen er namelijk bewust voor gekozen hebben om aandacht aan de interventie te besteden. Daarom zijn ze niet goed vergelijkbaar met mensen die dat niet hebben gedaan. Uit de situatieschets blijkt dat hier sprake van is omdat de blootgestelden al meer groenten en fruit aten voordat de campagne plaatsvond. Dit kan betekenen dat de mensen die al meer groenten en fruit aten meer belangstelling en interesse hadden voor de campagne. De effecten zoals die zijn opgetreden bij blootgestelden, kunnen dan niet zonder meer naar niet-blootgestelden gegeneraliseerd worden. Er is immers geen aanwijzing dat blootstelling bij die groep hetzelfde effect zal hebben als bij de oorspronkelijke groep blootgestelden.

Question 89

In hoeverre spelen, naast selectie, de andere in het tekstboek genoemde mogelijke bedreigingen voor de interne validiteit (te weten: geschiedenis, rijping, meeteffecten en uitval) een rol in de studie van situatieschets 2 en waarom wel of niet?

Answer 89

Er is een kleine kans dat de bedreigingen geschiedenis en rijping een rol speelden omdat er een controlegroep is opgenomen. Als er sprake was van rijping of ongeplande gebeurtenissen, dan speelde dat waarschijnlijk ook in de controlegroep. De kans op deze bedreigingen is echter wel
aanwezig omdat er bij de indeling van de groepen op basis van blootstelling selectie is opgetreden. Door de selectie zijn de groepen mogelijk niet vergelijkbaar. Ook kan het invullen van de vragenlijst bij geïnteresseerden een ander effect hebben gehad dan bij ongeïnteresseerden, wat wijst op
een mogelijk testing-effect. Uitval is hier niet van toepassing omdat de experimentele condities niet voorafgaand aan de interventie zijn samengesteld.

Question 90

Schets 3
Pesten onder basisscholieren is een groot probleem in het werkgebied van de GGD waar u stage loopt. Om dit probleem aan te pakken, heeft uw collega vorige maand elke basisschool in de GGD-regio een leskist toegestuurd. De leskist bevat lesmaterialen en richtlijnen voor leraren om het onderwerp pesten onder de aandacht van de leerlingen te brengen. Ze wil nu graag een evaluatieonderzoek doen om te achterhalen of het werken met de leskist de omvang van het pestprobleem heeft gereduceerd. De leskist is nog niet eerder aan onderzoek onderworpen. Ze vraagt zich nu af hoe ze een dergelijk onderzoek kan opzetten. Wat is volgens u problematisch aan haar idee voor een
evaluatieonderzoek?

Answer 90

Het is problematisch dat ze komt met deze vraag naar effectevaluatie nadat de interventie onder de basisscholen is verspreid. Voor een goed evaluatieonderzoek naar de effecten van een dergelijke interventie is het belangrijk een onderzoeksdesign te gebruiken waarbij een voormeting
plaatsvindt en waarbij gebruik wordt gemaakt van een vergelijkbare controlegroep. Beide zijn onmogelijk te realiseren in dit stadium.

Question 91

Uw collega heeft voor de evaluatie van de leskist de volgende doelstelling geformuleerd: ‘De leskist beoogt het pestprobleem onder basisscholieren te reduceren’. Is dit doel concreet genoeg uitgewerkt om effecten te kunnen toetsen? En waarom wel of niet?

Answer 91

Nee, dit doel is onvoldoende uitgewerkt om te kunnen toetsen in een evaluatie. De omschreven doelstelling is niet specifiek (niet in termen van gedrag omschreven) en niet gekwantificeerd en dus niet meetbaar. Het formuleren van de doelstelling in SMART-termen biedt een goed
uitgangspunt voor toetsing. Specificiteit en meetbaarheid zijn net genoemd, over het onderdeel ‘acceptatie’ van de SMART is op basis van de schets niet veel te zeggen. Behalve dat de inhoud en hoogte van de doelen gespecificeerd moeten zijn zodat betrokkenen weten waar ze aan toe zijn, duidelijk kunnen zijn over de acceptatie van de doelstelling en de mate van realiteit en relevantie ervan kunnen inschatten. Ook de termijn waarbinnen de doelstelling moet zijn bereikt, is niet opgenomen.

Question 92

Bij situatieschets 3 is een intern valide effectonderzoek niet meer mogelijk. Een veldonderzoek waarbij de resultaten zeer voorzichtig geïnterpreteerd moeten worden in termen van effectiviteit is wellicht nog wel mogelijk. Welke andere vorm van evaluatieonderzoek is verder nog zinvol in deze situatie en welke aspecten verdienen dan aandacht (noem ten minste twee aspecten)?

Answer 92

Een procesevaluatie zou in ieder geval op zijn plaats zijn. Hiervoor zouden heldere meetbare doelen geformuleerd moeten worden (bijvoorbeeld volgens SMART-formulering). Verspreiding, bereik, waardering en uitvoering zouden aan de orde moeten komen. Diverse aspecten kunnen hierbij
belicht worden:
* Er kan worden onderzocht in welke mate de leraren de leskist gebruiken in lessituaties en of ze de leskist gebruiken zoals bedoeld (implementatie en bereik). Ook kan worden achterhaald welke materialen men dan gebruikt en hoe men deze beoordeelt.
* Ook kan worden nagevraagd of leraren al andere materialen (dus niet afkomstig van de GGD) gebruiken, waarom ze deze andere materialen gebruiken en hoe ze die beoordelen.
* In klassen waar de leskist al is gebruikt, kan de onderzoeker nagaan wat er precies aan de orde is geweest, wat men hiervan vond en wat men miste. Dit kan zowel met de leerkrachten als met de leerlingen worden besproken (zie ook paragraaf 9.3.1 en 9.5 tekstboek). Dit onderdeel kan gezien worden als een formatieve evaluatie (zie hoofdstuk 5 over pretesten) om de leskist, op basis van de aanbevelingen
die hieruit voortvloeien, aan te passen. Verder zou door middel van een literatuur- en theorieverkenning uitgezocht moeten worden welke factoren nu het pestgedrag (zelf pesten en gepest worden) van kinderen bepalen en in hoeverre de materialen uit de leskisten op deze factoren ingrijpen. Ook kunnen de materialen in de leskist op basis van literatuur over effectieve interventies (bijvoorbeeld op basis van systematische reviews, meta-analyses en wetenschappelijke artikelen over afzonderlijke effectstudies) en algemene theoretische principes van gedragsverandering, bekeken worden op hun mogelijke
effectiviteit.

Question 93

Hoe zou de evaluatie van de leskist (situatieschets 3) er idealiter uit zien?

Answer 93

1. Tijdens de ontwikkeling van de leskist dient een formatieve evaluatie (pretest, zie hoofdstuk 5) plaats te vinden bij leerkrachten (intermediairs) en leerlingen.
2. Als de leskist is ontwikkeld met behulp van het intervention mapping-protocol heeft onderbouwing op basis van theorie en eerder onderzoek al plaatsgevonden. Als dit niet is gebeurd, zou dat alsnog moeten plaatsvinden.
3. Vervolgens zou de leskist getoetst moeten worden op haar specifieke doelen in goed ‘gecontroleerd’ onderzoek (onderzoek naar efficacy) bij voorkeur met een gerandomiseerd experiment. Dergelijk onderzoek kan moeilijk in een laboratorium plaatsvinden. Dit kan mogelijk in een experimenteel onderzoek in het veld. Hierbij dienen vergelijkbare schoolklassen van leerlingen (van vergelijkbare scholen) at random te worden toegewezen aan een experimentele of controlegroep (multilevelanalyse, p. 231). Daarnaast moet er tijdens het onderzoek controle zijn op de mate van blootstelling en de kwaliteit van de uitvoering van de interventie.
4. Daarna zou een evaluatieonderzoek onder levensechte, niet gecontroleerde omstandigheden moeten plaatsvinden (effectiviteit maar ook bereik, adoptie, uitvoering en/of continuering).
5. Naast effectgegevens (in het bijzonder over tusseneffecten, namelijk effecten op gedrag en determinanten) moeten ook procesgegevens worden
   gemeten.

Question 94

Beschrijf in grote lijnen hoe de effectevaluatie en procesevaluatie van de online beweeginterventie voor vijftigplussers (dus van het Actief Plus vervolgproject) eruit zag. Denk aan: onderzoeksdesign en meetmomenten, steekproef, metingen (uitkomstvariabelen,
voormetingsvariabelen), analysetechnieken. Geef hierbij ook aan wat mogelijke tekortkomingen waren van de huidige onderzoeksopzet. (De kosteneffectiviteitsevaluatie mag u bij deze opdracht nog buiten beschouwing laten).

Answer 94

• Er is een randomized controlled trial uitgevoerd met een voormeting (voorafgaand aan de interventie) en meerdere nametingen (na 3, 6 en 12 maanden). En dergelijke experimentele opzet (met voormeting en diverse nametingen) heeft de voorkeur bij interventie-evaluaties.
  Bij de nametingen kunnen zowel effectdata als procesdata (over het gebruik en de waardering van de interventie) verzameld worden.
• De steekproeven voor de verschillende interventiegroepen zijn getrokken uit verschillende regio’s in Nederland (per interventieconditie één regio). De steekproeven zijn hierdoor wellicht mindere representatief voor de gehele Nederlandse bevolking. Bij voorkeur wordt er voor een evaluatie een at random-steekproef getrokken uit de gehele Nederlandse populatie en worden zij at random toegewezen aan
  een van de onderzoekscondities. Bij de evaluatie van de Actief Plus interventie is hier niet voor gekozen, maar zijn deelnemers afhankelijk van hun regio toegedeeld aan een bepaalde interventieconditie. Op deze manier probeerde de onderzoekers ervoor te zorgen dat deelnemers uit de verschillende interventiecondities in verschillende regio’s woonden en elkaar niet konden beïnvloeden (bijvoorbeeld
  door dat een deelnemers de informatie uit de interventie met extra omgevingsinformatie konden doorgeven aan deelnemers zonder extra omgevingsinformatie). Op deze manier probeerden de onderzoekers de meest zuivere resultaten te krijgen per interventieconditie. Dit
  design kan echter wel mogelijk de representativiteit van de steekproef beïnvloed hebben.
• De belangrijkste uitkomstvariabele is bewegingsgedrag. Het beweeggedrag is in het huidige evaluatie-onderzoek gemeten met de SQUASH-vragenlijst. Vragenlijsten zijn echter altijd subjectieve meetinstrumenten en daardoor mogelijk minder betrouwbaar. Een objectieve meting van het gedrag (bijvoorbeeld met een accelerometer) zou daarom een aanbeveling kunnen zijn. Hier zitten echter ook
  vaak hoge kosten aan verbonden.
• Er worden bij voorkeur analysetechnieken gebruikt waarbij rekening gehouden kan worden met de uitgangssituatie van het bewegingsgedrag op de voormeting en andere factoren die naast de interventie van invloed zijn op bewegingsgedrag (zogenoemde ‘confounders’, bijvoorbeeld leeftijd) of die mogelijk het interventie-effect beïnvloeden (zogenoemde effectmodificatoren of interactietermen). Een analysetechnieken die hiervoor kan worden aangewend, is de regressieanalyse.
• In de evaluatie zoals beschreven in hoofdstuk 11, heeft men gekeken of de interventiedeelname zorgt voor een toename in het aantal minuten beweging per week. Voor beleidsmakers kan het echter ook van belang zijn om zicht te hebben op het aantal personen dat als gevolg van deze interventie aan de beweegnorm is gaan voldoen. Hier zouden nog extra analyses voor uitgevoerd kunnen worden.

Question 95

Hoe wordt economische evaluatie ook wel genoemd?

Answer 95

Doelmatigheidsonderzoek.

Question 96

In kosteneffectiviteitstudies van preventieprogramma’s is de uitkomstmaat vaak gedragsverandering. Die benadering heeft als nadeel dat interventiestudies waarin niet dezelfde uitkomstmaat is gebruikt, niet onderling vergeleken kunnen worden. Met welke vorm van economische evaluatie kunnen uitkomstvariabelen wel met elkaar worden vergeleken? Licht uw antwoord toe.

Answer 96

Utkomstvariabelen kunnen wel worden vergeleken in een kostenutiliteitsanalyse omdat daarbij de gezondheidseffecten worden gemeten in voor
kwaliteit van leven gecorrigeerde levensjaren (QALY’s). Deze maat is onafhankelijk van het soort gedrag dat men beoogd te veranderen met een interventie. Hierdoor wordt vergelijking tussen kosten en baten van interventies die een verschillend doel hebben, mogelijk (één is bijvoorbeeld
gericht op stoppen met roken bij hartpatiënten en kost 10.000 euro per QALY en een andere op algehele leefstijlverandering bij hartpatiënten en kost 15.000 euro per QALY). Andere manieren om vergelijking mogelijk te maken zijn:
- het gebruik van epidemiologische simulatiemodellen om de kosteneffectiviteit voor gezondheidseffecten in te schatten
- een kosten-batenanalyse waarbij de verschillen in alternatieve behandelingen zijn uitgedrukt in monetaire eenheden.

Question 97

Een economisch evaluatieonderzoek brengt de kosten van twee beweeginterventies voor chronisch zieken - 1) face-to-face coaching en 2) telefonische coaching - in kaart in verhouding tot het aantal personen dat zes maanden na deelname aan de interventie de beweegnorm haalt. Dit is een voorbeeld van

Answer 97

• Kosteneffectiviteitsanalyse (juist)
  Het voorbeeld betreft een kosteneffectiviteitsanalyse. De kosten van de interventie worden namelijk vergeleken met de effecten op het beweeggedrag (kosteneffectiviteitsanalyse) en de effecten worden niet uitgedrukt in QALY’s (zoals bij een kostenutilitietsanalyse) of in geld (zoals bij de kostenbatenanalyse).
• Kosten-batenanalyse
• Kostenutiliteitsanalyse
• Kostenminimeringsanalyse

Question 98

Qaly’s combineren veranderingen in kwaliteit en kwantiteit van leven (morbiditeit en mortaliteit) in een gemeenschappelijke maat waardoor interventieprogramma’s met verschillende effectmaten vergeleken kunnen worden. Juist of onjuist?

Answer 98

• Onjuist
• Juist (juist)
  Deze maat maakt het mogelijk te vergelijken tussen programma’s. Een programma gericht op stoppen met roken voor hartpatiënten kost bijvoorbeeld 500 euro per Qaly terwijl een breder hartrevalidatieprogramma voor hartpatiënten 1000 euro per Qaly kost.

Question 99

Het aantal begeleidingsuren van de verpleegkundige in een stoppen-met-roken-begeleidingsprogramma voor hartpatiënten is een voorbeeld van indirecte kosten in de economische evaluatie van het desbetreffende programma. Juist of onjuist?

Answer 99

• Onjuist (juist)
  Het gaat hier om directe kosten.
• Juist

Question 100

Wanneer zowel de kosten als de effecten in geld worden uitgedrukt, wordt gesproken van een kostenminimeringsanalyse. Juist of onjuist?

Answer 100

• Juist
• Onjuist (juist)
  Het betreft dan een kosten-batenanalyse

Question 101

Bij het opzetten van een economische evaluatie dient een keuze te worden gemaakt voor het perspectief van waaruit de evaluatie wordt uitgevoerd. Beschrijf de perspectieven, geef aan welke bij voorkeur worden gebruikt en waarom.

Answer 101

Perspectieven:
* Maatschappelijk perspectief: deze wordt aanbevolen omdat dan alle kosten en gezondheidseffecten worden meegenomen, onafhankelijk van wie de kosten betaald heeft of baat heeft bij de effecten.
* Perspectief van de betaler (bijvoorbeeld ziektekostenverzekeraar): alleen de kosten en de effecten die voor de betaler belangrijk zijn worden meegenomen.
* Werkgeversperspectief: de werkgever wilt weten wat de kosten en effecten van gezondheidsbevordering of ziektepreventie zijn. Effecten worden hier veelal gepresenteerd in termen van ziekteverzuim en personeelstevredenheid.
* Perspectief van consument of patiënt: kosten en opbrengsten worden gemeten en gewaardeerd volgens de mening van de patient of consument.

Question 102

In een economische evaluatiestudie worden de kosten en baten van een alcoholpreventieprogramma voor jongeren in kaart gebracht.
Hier is sprake van een complete economische evaluatie. Juist of onjuist?

Answer 102

• Juist
• Onjuist (juist)
  Er is geen sprake van een complete economische evaluatie omdat er geen interventies worden vergeleken. Er wordt slechts één interventie bekeken.

Question 103

Bij een Kortetermijn economische evaluatie; Wat zijn de uitkomstmaat, de analyse en de Directe vs
indirecte kosten?

Answer 103

Uitkomstmaat: Effect wordt uitgedrukt in toename in beweeggedrag per € kosten
Analyse: Analyses zijn uitgevoerd op basis van data over het
beweeggedrag en de kosten die verzameld zijn met
vragenlijsten onder de deelnemers.
Directe vs indirecte kosten: In beide analyses wordt niet alleen naar de kosten van de interventie gekeken, maar ook naar de kosten als gevolg van een toe- of afname in zorggebruik. Er wordt dus ook naar de indirecte kosten gekeken. Op korte termijn zijn ook de kosten als gevolg van productiviteitsverlies en kosten voor de aanschaf van sportmateriaal mee berekend. Hier zijn dus meer indirecte kosten meegenomen.

Question 104

Bij een Langetermijn economische evaluatie; Wat zijn de uitkomstmaat, de analyse en de Directe vs
indirecte kosten?

Answer 104

Uitkomstmaat: Effect wordt uitgedrukt in toename in gezondheid (QALY) per € kosten
Analyse: Analyses zijn uitgevoerd op basis van data over het
beweeggedrag die verzameld zijn met vragenlijsten onder
de deelnemers, en gegevens over de kosten die verwacht
worden door een toename/afname in chronische zieken
volgens het Chronisch Zieken voorspellingsmodel
Directe vs indirecte kosten: In beide analyses wordt niet alleen naar de kosten van de interventie gekeken, maar ook naar de kosten als gevolg van een toe- of afname in zorggebruik. Er wordt dus ook naar de indirecte kosten gekeken.