Salstentamen

Question 1

Kritik mot enkla logiska modeller

Answer 1

'’Ett enda linjärt orsakssamband’’.
- Kan de lämpa sig för interventioner som syftar till att tillgodose människors behov?
- Risker för överskattning av resultat som gör informationen mindre tillförlitlig
- Risker med att tolka dessa bokstavligt då de utelämnar övriga faktorer som kan ha påverkat resultatet

Question 2

Vad skiljer en ‘‘cost-effectiveness analys’’ från en ‘‘cost-benefit analys’’?

Answer 2

Cost-effectiveness analys: En teknik där kostnaderna uttrycks i monetära termer och effekten i effektenheter.

Cost-benefit analys: En teknik där både kostnaderna och effekterna uttrycks i monetära termer.

Question 3

Vad utmärker ‘‘bieffektsmodellen’’ respektive ‘‘brukarmodellen’’?

Answer 3

Bieffektsmodellen: Offentliga interventioner kan åstadkomma andra resultat än avsedda, sk. bieffekter

Brukarmodellen: Låter individerna i målgruppen värdera något utifrån deras egna värderingskriterier

Question 4

Kritisk realism och empirismen kombinerat med kvantitativa respektive kvalitativa metoder

Answer 4

Kritisk realism - verkligheten existerar oberoende av betraktaren: Kvantitativa studier kan ge ledtrådar till mekanismer som kan påvisas i en kvalitativ studie.

Empirism - verkligheten existerar oberoende av betraktaren: Kvalitativa studier kan upptäcka eventuella kausala förhållanden som sedan bevisas i kvantitativa studier.

Question 5

Utvärderaren behöver skaffa sig information om problemets omfattning. Vilka metoder rekommenderar Rossi m.fl?

Answer 5

• Data: Samla in data från olika källor
• Social research: Samla in nya data genom ex. expertutlåtanden till storskaliga stickprov
• Agency records: Information som finns i olika organisationers register
• Surveys and Censuses: Originalforskning i form av urvalsundersökningar och folkräkningar
• Key informant surveys: Uppskatta omfattningen med hjälp av nyckelinformanter.
• Forecasting needs: Hur stor omfattningen av ett socialt problem kommer vara i framtiden.

Question 6

För- och nackdelar med självutvärderingar

Answer 6

Fördelar:
- Snabbt och kostnadseffektivt
- Den interna utvärderingen skapar förutsättningar för att resultaten ska uppfattas som trovärdiga
Nackdelar:
- Svårt att hålla sig oberoende till sin egen verksamhet
- Uppenbara risker för intressekonflikter

Question 7

Förklara vad sensitiviteten i ett utfallsmått innebär

Answer 7

För att kunna upptäcka förändringar eller skillnader i ett utfall behöver utfallsmåtten vara sensitiva för dessa effekter. Ett måtts sensitivitet är i vilken utsträckning värdena på måttet ändras när det sker en förändring eller skillnad i det som mäts.

Question 8

Vad menas med resultatparadoxen?

Answer 8

Utvärdering kan göras med de bästa av syften och med de bästa metoder, men kan ändå leda till negativa konsekvenser. Flera effekter i kvalitetsmätning kan resultera i icke avsedda och negativa.
- Målförskjutning: Indikatorer riskerar att ersätta uppsatta mål
- Avprofessionalisering: Fokuset ligger på mätbara indikatorer istället för t.ex. erfarenhet och proffessionalitet

Question 9

Rossi m.fl. diskuterar olika typer av bias. Beskriv fyra

Answer 9

• Selection bias: Skillnader mellan interventionsgruppen och kontrollgruppen som påverkar resultatet.
• Secular trends: Naturligt förekommande trender som påverkar resultatet.
• Interfering events: Kortsiktiga händelser som ger förändringar i resultatet.
• Maturation: Naturliga mognads- och utvecklingsprocesser som påverkar resultatet.
• Regression to the mean: Tendensen för mer extrema utfall att driva i en mindre extrem riktning efterföljande tidsperioder.

Question 10

Icke-realism i förhållande till relativism

Answer 10

Icke-realism - verkligheten är en social konstruktion: Vi kan inte förstå verkligheten som den egentligen är

• Detta kan leda till en långtgående relativism som innebär att vi helt saknar grund för att hävda att ett påstående är mer korrekt än ett annat.
• I verkligheten kan vi inte upprätthålla ett så radikalt perspektiv.

Question 11

Vad innebär teori- respektive implementeringsfel?

Answer 11

• Teorifel: Implementeringen fungerar som den ska men leder inte till önskad effekt.
• Implementeringsfel: Implementeringen och genomförandet fungerar inte, men hade de fungerat kanske de lett till önskad effekt.

Question 12

Skillnader mellan kvasiexperimentella studier och experimentella studier med randomisering, samt för- och nackdelar

Answer 12

Kvasiexperimentella studier: Studiedeltagarna har inte fördelats slumpmässigt i en interventions- resp. kontrollgrupp.
+ Trovärdiga uppskattningar av programeffekter, kräver ett mindre urval och mindre resurser
- Risk för bias, mindre intern validitet

Experimentella studier m. randomisering: Studiedeltagarna slumpas in i interventions- resp. kontrollgrupp
+ Den mest trovärdiga utvärderingsformen, eliminerar Selection bias
- Krävs stort urval och stora resurser

Question 13

Vad menar Rossi m.fl. med Black-box evaluation?

Answer 13

Ett sätt att mäta effekten av ett program men utan att undersöka dess natur.
- Finns ingen programprocessdata eller programteori som kan förklara resultatet

Question 14

För- och nackdelar med utvärderingar i form av expertpaneler (peer review)

Answer 14

+ Forskare anses vara bäst lämpade att värdera vilken forskning som är ‘‘bäst’’ inom det egna expertområdet, experter kan ofta ge värdefulla synpunkter som rör den vetenskapliga kvaliteten.

• Beroende av att finna neutrala experter, begränsar möjligheterna till en rättvis bedömning, verkar oftast konserverande istället för att främja utveckling och förändring.

Question 15

Fyra procedurer som kan underlätta rekryteringen av undersökningspersoner till en effektutvärdering

Answer 15

• Testa rekryteringsprocessen i förväg
• Adressera dem som har mandat att besluta om medverkan
• Lägga mycket tid på vidmakthållande
• Reducera de praktiska besvären, ersättning?
• Lyft fram vad deltagarna har att vinna på att delta

Question 16

Skillnad processutvärdering och effektutvärdering

Answer 16

Processutvärdering: Examinerar vad ett program är, vad för åtgärder som vidtagits eller vem som tagit emot service.

Effektutvärdering: Identifierar och mäter ett programs effekter för att påvisa förändring för de som deltagit

Question 17

Vad menas med emergens?

Answer 17

Begreppet avser att de specifika utfallen, och medlen för att uppnå dem framträder under genomförandet av en intervention.
- Mönster formas utifrån samspel mellan enkla strukturer eller beteenden

Question 18

Två etablerade instrument för att mäta behandlingstrohet

Answer 18

CTS - Cognitive Therapy Scale: Observatörsskattningar av videoinspelade sessioner av kognitiv terapi. Observatören utgår från en manual med 11 aspekter av kompetens.

CTACS - Cognitive Therapy Adherence and Competence Scale: Oberoende skattningar av ljudinspelare sessioner som omfattar 25 item. Följsamhet och kompetens skattas.

MITI - Motivational Interviewing Treatment Integrity Code: Ljudinspelningar av sessioner och omfattar flera dimensioner. Räkningar av antalet gånger behandlaren utför vissa beteenden.

Question 19

Rossi m.fl. menar att programutvärderingar ställer frågor inom fem områden. Vilka är dessa?

Answer 19

1. Programbehov
2. Programteori- och design
3. Programprocess
4. Programpåverkan
5. Programeffektivitet

Question 20

Vad menas med en moderator- respektive en mediatorvariabel?

Answer 20

Moderatorvariabel: En variabel som har möjlighet att ÄNDRA förhållandet mellan en oberoende och en beroende variabel.

Instagramanvändande -> Socialt jämförande
Grad av självkänsla

Mediatorvariabel: En variabel som syftar till att identifiera och FÖRKLARA förhållandet mellan den oberoende och den beroende variabeln

Trött -> Passivt aggressiv -> Argumentation

Question 21

Vad betyder behandlingstrohet och vilka dimensioner kan begreppet omfatta?

Answer 21

Begreppet betyder att man vid användandet av en metod strikt följer de manualer och riktlinjer som åtföljer metoder där evidens hävdas föreligga.

Brukar omfatta åtminstone två dimensioner:
- Följsamhet - Ex. aktivt deltagande
- Kompetens - Ex. genomförts med rätt timing och flexibilitet

Ytterligare:
- Differentiering: Förbjudna behandlingsmoment
- Exponering: Antal, längd och frekvens
- Klientförståelse:
- Klientföljsamhet
- Strukturella faktorer: Utbildningsnivå hos personal etc.

Question 22

Argument för- och emot ‘‘måluppfyllelsemodellen’’ respektive ‘‘intressentmodellen’’

Answer 22

Måluppfyllelsemodellen: Undersöker om de resultat som producerats lever upp till de mål som oberopades innan.
+ Tar fasta på den representativa demokratins perspektiv, främjar objektivitet.
- Otydliga mål är otjänliga som värderingsgrund, om fokus på ursprungliga mål - kan inte förutse bieffekter.

Intressentmodellen: Förhoppningar och farhågor hos dem som berörs av en intervention
+ Kartlägger och lyfter fram flera perspektiv som ökar resultatens användbarhet
- Diffus avgränsning och likställer intressenter, opraktisk och kostsam

Question 23

Redogör för två forskningsetiska teman som Smedler tar upp

Answer 23

• Principen att göra gott: Syftet med interventionen ska vara att göra gott.
• Principen att inte skada: Forskarna ska ha kompetens att genomföra projektet på ett professionellt sätt och skydda deltagarna från obehag.
• Autonomi - det informerade samtyckets princip: Personens rätt att bestämma över sig själv.
• Konfidentialitet och datasäkerhet: Stora mängder data hanteras, uppgifter som lämnats får inte användas på andra sätt än deltagaren uttryckligen samtyckt till.

Question 24

Tre utmärkande drag utvärderingsstudier har i förhållande till annan forskning

Answer 24

• Syftar till att bedöma eller förbättra en insats
• Handlar om att leverera specifik, tillämpad kunskap
• Utvärdering beställs ofta av någon som finansierar eller har yttersta ansvaret för en verksamhet

Question 25

Vad menas med ‘‘enhetspris’’ inom ekonomisk utvärdering?

Answer 25

Totala kostnaden under en period dividerat med antalet enheter producerade under tiden

Question 26

Förklara skillnaden mellan ‘‘ex ante’’ och ‘‘ex post’’ i en efficiencyanalys

Answer 26

Ex ante: Utvärderingsstudier som genomförs innan ett program startas kallas ex ante

Ex post: En utvärdering är en bedömning i efterhand, en sk. bedömning ex post

Question 27

Vad är skillnaden mellan proximal outcomes och distal outcomes?

Answer 27

Proximal outcomes: Händelser som följer direkt på programverksamheten, dvs. direkta utfall

Distal outcomes: Händelser längre ner i kedjan, senare händelser.

Question 28

Varför är ITT-analyser särskilt relevanta i RCT-studier?

Answer 28

RCT - randomized controlled trials säkerställer att varje skillnad i utfallet är en effekt av behandlingen i fråga och inte av någon annan faktor.

• Nödvändig för att behålla effekterna av randomisering
• Möjliggör ändamålsenlig hantering av deltagare som lämnat i förtid

Question 29

Vad är imputering av data vid bortfall?

Answer 29

Att ersätta ett saknat värde med ett verkligt med hjälp av statistik

Question 30

Beskriv två metoder för imputering av data vid bortfall

Answer 30

• Flytta fram värden: Det senast observerade värdet flyttas fram
• Omkringliggande värden: Det senaste och nästa värdet används. Genomsnittet av dessa ersätter det saknade värdet.
• Medelvärde, median och typvärde: Ersätta det saknade värdet med något av dessa

Question 31

Vad skiljer ITT (intention to treat analysis) och TOT (treatment on the treated analysis)?

Answer 31

ITT: Spårar effekterna av interventionen i praktiken, inte bara effekterna av de som varit följsamma eller avslutat behandlingen.

TOT: Inkluderar enbart följsamma deltagare och undersöker bara den faktiska behandlingseffekterna för en subgrupp deltagare. Utesluter avhoppare i analysen.

Question 32

Nackdelar med ‘‘könsblinda’’ utvärderingar

Answer 32

• Leder till att kvinnors behov och erfarenheter osynliggörs
• Fokuserar inte på hur metoden speglar mäns resp. kvinnors behov

Question 33

Beskriv en teoribaserad och en aktörsfokuserad utvärderingsmodell

Answer 33

Teori:
- Ramfaktormodell: Fokuserar på en åtgärds kontext och antar att vissa ramar skapar vissa processer som i sin tur ger vissa resultat.

Aktör:
-Intressentutvärdering: Förhoppningar och farhågor hos dem som berörs av en intervention.

Question 34

JS menar att det finns ett extra stort behov av utvärderingsstudier inom den offentliga sektorn jämfört med den privata. Hur resonerar han?

Answer 34

Den privata sektorn levererar tjänster till den som betalar för dem.
- Lättillgänglig information genom ex. årsrapporter, monetära termer är intressant.

Den offentliga sektorn levererar tjänster till de som har behovet.
- Mål mäts inte i vinst eller förlust, utvärderingar behövs för att beskriva process- och måluppfyllelse.
- Medborgarna har rätt till att veta hur staten använder pengarna
- Kostnadseffektivitet viktigt

Question 35

Förklara skillnaden mellan statistisk signifikant och klinisk signifikans

Answer 35

Statistisk signifikant: Hur pass säker man kan vara på att resultatet som bygger på ett slumpmässigt urval kan generaliseras till populationen urvalet är hämtat ifrån

Klinisk signifikant: Det praktiska värdet eller betydelsen av behandlingseffekten. Ex. om den gör någon verklig skillnad för klienten eller anhöriga

Question 36

Hur beskrivs potentiella problem med ‘‘outcome monitoring’’?

Answer 36

Outcome monitoring: Identifierandet och mätandet av indikatorer som är relevanta för programmets effekt.

Potentiella problem
- Indikatorer kan förvrängas av dem vars verksamhet blir utvärderad
- Vid tolkningen av insamlad data finns risken att man inte väger in kontexten

Question 37

Rossi m.fl. menar att kvalitativa metoder är särskilt lämpade för att undersöka behov relaterat till ett problem som insatsen är tänkt att motverka.
- Hur resonerar de och vilka metoder nämns?

Answer 37

Många aspekter av behovsbedömning kan fångas i kvantitativa data, kvalitativ forskning kan dock vara särskilt användbar för att få detaljerad information och strukturerad kunskap om behoven ifråga.
- Fokusgrupper: Teknik för att få information om ett socialt problem
- Snowball sampling: Identifiera nyckelinformanter som ombeds identifiera andra informanter som de tror är kunniga i frågan

Question 38

Vad är skillnaden mellan ‘‘program impact theory’’ och ‘‘program process theory’’?

Answer 38

Program impact theory: Varför?
- Beskrivning av programmets bakomliggande teori, antaganden om varför den ska leda till en förändring

Program process theory: Hur och vad
- Beskrivning av programmets funktioner, aktiviteter och processer

Question 39

Redogör för tre själ som JS uppger ligga bakom att vi i Sverige bara har ett fåtal utvärderingar av nya polismetoder

Answer 39

• Avsaknad av konkret politisk styrning: Finns krav på utvärderingar, men saknas konkreta instrument, framförallt av ekonomisk karaktär.
• Lagstiftningen: Fråga om sekretess mellan forskarna och polisen.
• Brist på resurser: Både ekonomiskt och kompetens. Behovet av polisarbete är nästan alltid större än tillgången, är polisen då villiga att lägga ner resurser på utvärdering?

Question 40

Vad är en poweranalys och vilka sätt finns det att öka den statistiska powern?

Answer 40

Poweranalys: En beräkning för att komma fram till effektstorlek, minsta urvalsstorlek, signifikansnivå eller den statistiska powern.

Sätt att öka den statistiska powern:
- Öka urvalsstorleken
- Öka förväntade skillnader mellan betingelserna
- Använd förmätning
- Använd riktade test
- Minska variabiliteten i en studie

Question 41

Vilka tre modeller för mångkulturell integration diskuteras av Anders Hanberger?

Answer 41

Kulturell assimilation: Minoritetskulturer assimileras/inkorporeras succesivt in i majoritetskulturen. Minoritetskulturer underkastas majoritetskulturen.

Kulturell sammansmältning: Ett samhälle som bejakar kulturell mångfald. Finns universella värden som alla bör acceptera.

Kulturell samexistens: Minoritetskulturer får blomstra utan att blandas med majoritetskulturen. Integrationen är begränsad.

Question 42

Vad innebär ITT-analyser (intention to treat) och vilka fördelar har en sådan?

Answer 42

ITT:
- Alla som randomiserats in i en utvärdering måste ingå i analyserna
- Ställer krav på att avhoppare tilldelas ett värde genom statistik

Fördelar:
- Möjliggör spårandet av effekter av interventioner i praktiken, inte effekterna av de som fullföljde programmet
- Garderar sig mot att överskatta behandlingseffekterna

Question 43

Vilka kan anledningarna vara till att importerade EBI (evidensbaserade interventioner) inte ger förväntade effekter?

Answer 43

• Olika forskningsdesigner används i den ursprungliga och den nya effektutvärderingen.
• Interventionen används inte som avsett, med hög behandlingstrohet.
• Interventionen känns inte kulturellt relevant, vilket kan påverka behandlingstroheten.
• Sociodemografiska eller kulturella skillnader påverkar effekterna av EBI i den nya kulturen

Question 44

Vad menas med:
- Varukvalitet
- Tjänstekvalitet
- Servicekvalitet
- Livskvalitet?

Answer 44

• Varukvalitet: Produkterna på marknaden motsvarar kundens krav och förväntningar.
• Tjänstekvalitet: Strukturkvalitet, kvalitet i resurser - ex. ekonomi och lokaler, Processkvalitet, utförandet av tjänsten - ex. arbetssätt och bemötande, Resultatkvalitet, mål och resultat för verksamheten - ex. betyg och levnadsstandard
• Servicekvalitet: De resurser och kompetenser som finns i verksamheten
• Livskvalitet: Livsomständigheter i stort, ex. välbefinnande

Question 45

Vad innebär ‘‘counterfactuals’’ och vilka utmaningar finns det med dessa?

Answer 45

Contrary to fact: Utvärderare måste mäta resultaten för de som genomför programmet men också hitta ett trovärdigt sätt att uppskatta de resultat som hade inträffat i avsaknad av programmet.

Utmaningar:
- Svårt att anta att fördelarna med programmet inte hade skett i avsaknad av programmet
- Kontrollgrupp är en rimlig åtgärd, men finns risk för Selection bias

Question 46

På vilka sätt kan man mäta programverkans storlek (magnitude)?

Answer 46

• Procentuell förändring: Ökningar eller minskningar procentuellt.
• Effect size statistics: Karaktäriserar omfattningen av en programeffekt snarare än en rå skillnadspoäng eller procentuell förändring
• Standardized mean difference: Förklarar skillnaden mellan medelvärdet och utfallsmåttet för en interventionsgrupp och medelvärdet för en kontrollgrupp i standardavvikelser.