Tenta Flashcards
Redogör för tre utmärkande drag som utvärderingsstudier har i förhållande till annan forskning.
Praktisk användbarhet: Utvärderingsstudier syftar till att ge information som direkt kan påverka beslut och åtgärder i program och policyer.
Prestationsbedömning: De fokuserar på att mäta och bedöma programmens prestationer mot förväntade mål eller standarder.
Anpassning till kontext: Utvärderingar anpassas efter programmet och dess politiska och organisatoriska omständigheter, ofta med praktiska kompromisser.
Skillnaden mellan processutvärdering och effektutvärdering?
Skillnaden ligger i dess fokus och syfte.
Processutvärdering undersöker hur ett program genomförs, inklusive kvaliteten på implementationen, aktiviteter som utförs, målgruppen som nås och hur väl genomförandet överensstämmer med den planerade designen.
Effektutvärdering: Bedömer programmens förmåga att uppnå de avsedda effekterna, vanligtvis under kontrollerade eller gynnsamma förhållanden. Det handlar om att mäta om programmet faktiskt ger de resultat som det var designat att åstadkomma.
Förklara skillnaden mellan kvasiexperimentella studier och experimentella studier med randomisering (RCT) samt diskutera för- och nackdelar med dessa typer av experimentella studier.
Kvasiexperimentella studier: Studiedeltagarna har inte fördelats slumpmässigt i en behandling- resp. kontrollgrupp.
+Trovärdiga uppskattningar av programeffekter, kräver mindre urval och mindre resurser.
-Risk för bias, lägre intern validitet
Experimentella studier m. randomisering (RCT): Studiedeltagarna slumpas in i behandling- resp. kontrollgrupp.
+Pålitliga kausala slutsatser, minimerar bias.
-Krävs stort urval och stora resurser
Vad innebär kritisk realism och hur kombineras kvantitativ och kvalitativ forskning inom empirismen respektive inom kritisk realism
Kritisk realism menar att verkligheten existerar oberoende av oss, men vår förståelse av den påverkas av sociala faktorer. Kvantitativa studier kan ge ledtrådar till mekanismer som kan påvisas i en kvalitativ studie.
Empirism - Verkligheten existerar oberoende av betraktaren. Kvalitativa studier kan upptäcka eventuella kausala förhållanden som sedan bevisas i kvantitativa studier.
Vad innebär icke-realism och hur förhåller sig detta ”mönster” till relativism?
Icke-realism handlar om att verkligheten är en social konstruktion, medan relativism ifrågasätter vad som kan anses vara sant eller rätt.
Icke-realism menar att verkligheten inte kan förstås objektivt, eftersom vår förståelse formas av språk och kultur. Relativism kopplar detta till att sanningar och värderingar beror på tid, plats och perspektiv.
Vad menas till exempel med varukvalitet, tjänstekvalitet, servicekvalitet och livskvalitet?
Varukvalitet: Avser en produkts egenskaper, hur väl den uppfyller konsumentens krav och förväntningar.
Tjänstekvalitet: Består av tre delar:
1. Strukturkvalitet: Resurser och förutsättningar.
2. Processkvalitet: Hur tjänsten utförs.
3. Resultatkvalitet: Uppnådda mål och resultat.
Servicekvalitet: Handlar om verksamhetens resurser, kompetens och hur tjänsterna utförs för att möta brukarnas behov.
Livskvalitet: Fokus på förbättringar i individens liv, både objektivt (t.ex. hälsa) och subjektivt (välbefinnande).
- Förklara resultatparadoxen
Utvärdering kan göras med de bästa av syften och med de bästa metoder, men kan ändå leda till negativa konsekvenser. Exempel på detta är om en utvärdering syftar till att förbättra verksamheten, kan själva utvärderingsprocessen eller de resultat som den genererar leda till skadliga effekter
Vad utmärker ”Bieffektsmodellen” respektive ”Brukarmodellen”
Bieffektsmodellen: Offentliga interventioner kan åstadkomma andra resultat än avsedda, sk. bieffekter
Brukarmodellen: Låter individerna i målgruppen värdera något utifrån deras egna värderingskriterier
Argument för och emot ”Måluppfyllelsemodellen” respektive ”Intressentmodellen”?
Måluppfyllelsemodellen: Undersöker om en insats uppfyller de ursprungligen fastställda målen.
+ Främjar objektivitet genom fokus på fastställda mål, stärker legitimitet och demokratisk kontroll.
-Otydliga mål försvårar utvärdering, missar ofta bieffekter och oväntade resultat.
Intressentmodellen: Förhoppningar och farhågor hos dem som berörs av en intervention
+ Lyfter flera perspektiv, ökar användbarheten av resultat, främjar demokrati och kompromiss.
-Svår avgränsning av intressenter, risk för att starka grupper dominerar, resurskrävande och ineffektiv.
- Vilka tre modeller för mångkulturell integration diskuteras av Anders Hanberger och vad anser författaren om HRV-programmets implementering i förhållande till dessa modeller?
Kulturell assimilation: Minoritetskulturer anpassar sig till majoritetskulturen, med begränsat utrymme för att bevara egna traditioner.
Kulturell sammansmältning: En hybridkultur skapas där värden från både majoritets- och minoritetskulturer blandas, samtidigt som varje kultur behåller vissa unika delar.
Kulturell samexistens: Minoritetskulturer och majoritetskulturen lever sida vid sida utan att blandas, med fokus på minoritetsrättigheter och särlagstiftning.
När det gäller HRV-programmet, anser författaren att programmet ligger närmast assimilationmodellen. Fokuserar på att stärka individens rättigheter och jämställdhet, vilket är i linje med ett assimilationsperspektiv där normer från majoritetskulturen (t.ex. jämställdhet och mänskliga rättigheter) betonas, samtidigt som minoritetskulturer förväntas anpassa sig.
Kritik mot enkla logiska modeller
“Ett enda linjärt orsaksamband”
Förenklar komplexa interventioner och riskerar att överskatta effekter.
Ignorerar kontextuella faktorer, och klienters egenskaper, vilket minskar tillförlitligheten.
Reflekterar oftast endast en förändringsteori och bortser från andra perspektiv.
Risk för bokstavlig tolkning som inte inkluderar andra påverkande faktorer.
Emergens inom komplicerade logiska modeller?
Emergens innebär att resultat och metoder utvecklas under programmets gång. Kräver en flexibel utvärdering för att hantera oväntade resultat och förändrade omständigheter.
- Vilka nackdelar innebär ”könsblinda” utvärderingar
Leder till att kvinnors behov och erfarenheter osynliggörs.
Fokuserar inte på hur metoden speglar mäns resp. kvinnors behov.
Behandlingsmetod som fungerar bra för kvinnor kan läggas ner om den inte visade positiva resultat i en könsneutral utvärdering
Beskriv en teoribaserad och en aktörsfokuserad utvärderingsmodell.
Teoribaserad utvärderingsmodell: Fokuserar på att förstå hur och varför ett program leder till vissa resultat genom att undersöka de bakomliggande antagandena och förändringslogiken. Den jämför teoretiska antaganden med faktiska observationer för att identifiera faktorer som bidrar till framgång.
Aktörsfokuserad utvärderingsmodell: Analyserar och bedömer åtgärder utifrån olika aktörers perspektiv, som projektägare, deltagare eller brukare, för att förstå hur programmet upplevs och identifiera förbättringsområden baserat på deras behov och förväntningar.
Vad innebär teori- respektive implementeringsfel
Teorifel: Implementeringen fungerar som den ska men leder inte till önskad effekt.
Implementeringsfel: Implementeringen och genomförandet fungerar inte, men hade de fungerat kanske de lett till önskad effekt
Vilka för- och nackdelar finns det med utvärderingar i form av expertpaneler (”peer review”)?
+ Forskare anses vara bäst lämpade att värdera vilken forskning som är ‘‘bäst’’ inom det egna expertområdet, experter kan ofta ge värdefulla synpunkter som rör den vetenskapliga kvaliteten.
-Beroende av att finna neutrala experter, begränsar möjligheterna till en rättvis bedömning, verkar oftast konserverande istället för att främja utveckling och förändring.
För- och nackdelar med självutvärderingar
Fördelar:
- Snabbt och kostnadseffektivt
- Resultaten uppfattas ofta som trovärdiga och accepterade av de berörda
- Stärker lärande och utvärderingskompetens inom organisationen
Nackdelar:
- Svårt att hålla sig oberoende till sin egen verksamhet
- Uppenbara risker för intressekonflikter
- Kan undvika att belysa negativa fakta
- Kan bli snedvriden om interna intressen påverkar bedömningarna
Redogör för två av sex forskningsetiska teman och hur de relaterar till interventionsstudier.
Principen att göra gott: Syftet med interventionen ska vara att göra gott.
Principen att inte skada: Forskarna ska ha kompetens att genomföra projektet på ett professionellt sätt och skydda deltagarna från obehag.
Autonomi - det informerade samtyckets princip: Personens rätt att bestämma över sig själv.
Konfidentialitet och datasäkerhet: Stora mängder data hanteras, uppgifter som lämnats får inte användas på andra sätt än deltagaren uttryckligen samtyckt till.
- Vad är poweranalys och vilka sätt finns det att öka den statistiska powern?
En poweranalys bedömer en studies förmåga att upptäcka en verklig skillnad om den finns. En power på 0,80 innebär 80% chans att hitta en skillnad om den existerar.
- Öka urvalsstorleken
- Använd förmätning: Genom att mäta både före och efter interventionen minskar variationen och förbättrar powern.
- Använda riktade test
- Öka förväntade skillnader mellan betingelserna
Vad menas med enhetspris i en ekonomisk utvärdering?
Totala kostnaden under en period dividerat med antalet enheter producerade under tiden
Vilka kan orsakerna vara till att utvärderingar av importerade EBI (Evidensbaserade interventioner) inte ger förväntade effekter?
- Skillnader i forskningsdesign – om metoder, mätinstrument eller urval inte överensstämmer med originalstudien kan resultaten påverkas.
- Dålig kulturell anpassning – om interventionen inte är anpassad till de lokala kulturella förhållandena kan den vara mindre effektiv
- Låg behandlingstrohet – interventionen används inte som avsett, vilket kan leda till att effekterna blir svagare eller uteblir.
- Interventionen är inte effektiv i den nya kontexten – det kan bero på att de faktorer som gjorde interventionen framgångsrik i den ursprungliga kontexten inte finns i den nya
Redogör för fyra procedurer för att underlätta rekryteringen av undersökningspersoner till en effektutvärdering
- Testa rekryteringsprocessen i förväg för att undersöka den förväntade inkluderingstakten och möjliga fallgropar.
- Adressera den som har mandat att besluta om medverkan.
- Lyft fram vad deltagarna har att vinna på att delta
- Engagera professionella: professionella som redan har förtroende från målgruppen (som läkare, kuratorer eller socialarbetare) kan spela en nyckelroll i rekryteringen.
- Lägga mycket tid på vidmakthållande
Vad betyder behandlingstrohet och vilka dimensioner kan detta begrepp omfatta?
Behandlingstrohet betyder att man vid användandet av en metod strikt följer de manualer och riktlinjer som åtföljer behandlingen.
Dimensioner:
- Följsamhet innebär att behandlingen genomförs enligt de angivna riktlinjerna eller manualen.
- kompetens avser utförarens förmåga att genomföra behandlingen på ett professionellt och effektivt sätt.
Beskriv två etablerade instrument för att mäta bbehandlingstrohet
Oberoende observationer: Detta anses vara den mest pålitliga metoden för att mäta behandlingstrohet. Den innebär att observatörer noggrant följer och bedömer behandlingen under sessionerna.
Självskattning: Metoden innebär att deltagare eller behandlare själva rapporterar/skattar själva graden av behandlingstrohet, ofta genom frågeformulär eller enkäter.
Vad innebär en ITT-analys (intention-to-treat) och vilka fördelar har en sådan?
ITT (Intention-to-Treat) är en analysmetod för randomiserade kontrollerade studier. Alla deltagare inkluderas i analysen, oavsett om de följt behandlingsplanen och analyseras baserat på den grupp de randomiserades till, oavsett om de följde behandlingsplanen eller inte.
Fördelar:
- Ger en realistisk uppskattning av behandlingseffekter i praktiken, inklusive alla deltagare, även de som inte följer behandlingsplanen.
- Bevarar randomiseringen och undviker systematiska fel, vilket ger mer pålitliga och generaliserbara resultat till den avsedda populationen.
- Minskar risken för snedvridna resultat som kan uppstå i analyser som utesluter icke-följsamma deltagare.
Varför är ITT-analyser särskilt relevanta i RCT-studier?
ITT är nödvändig för att RCT - randomized controlled trials - studier ska ge giltiga och opartiska resultat, särskilt när syftet är att undersöka behandlingens praktiska effektivitet snarare än bara dess teoretiska potential.
- Möjliggör ändamålsenlig hantering av deltagare som lämnat i förtid
- Genom att inkludera alla deltagare minimeras risken för selektionsbias som kan uppstå om man endast analyserar de som fullföljt behandlingen
Vad är imputering av data vid bortfall
Imputering vid bortfall innebär att saknade värden för deltagare uppskattas baserat på empiriskt stöd och antaganden.
Man ersätter ett saknat värde med ett verkligt med hjälp av statistik.
Beskriv två metoder för imputering av data vid bortfall
- Saknade värden ersätts med den senaste tillgängliga observationen.
- Saknade värden ersätts med medelvärdet från en individs alla valida värden före det saknade mättillfället.
- Imputerar ett saknat värde med det sämsta utfallet i behandlingsgruppen och det bästa i kontrollgruppen för att ge en konservativ uppskattning av behandlingseffekten.
Förklara skillnaden mellan statistisk signifikans och klinisk signifikans
Statistisk signifikans handlar om att säkerställa att ett resultat inte beror på slumpen utan reflekterar en verklig effekt. Mäts oftast med ett p-värde, där värdet under 0,05 anses indikera att resultatet osannolikt att ha uppkommit av en slump.
Klinisk signifikans fokuserar på det praktiska värdet av en intervention, dvs. om den faktiskt gör en meningsfull skillnad för individers hälsa eller livskvalitet. Även om en effekt är statistiskt signifikant, betyder det inte att den har en betydande inverkan på individernas liv eller hälsa.
JS menar att det finns ett extra stort behov av utvärderingsstudier inom den offentliga sektorn jämfört med den privata. Hur resonerar han?
Den privata sektorn levererar tjänster till den som betalar för dem.
- Lättillgänglig information som årsredovisningar.
- naturliga kontrollmekanismer. I den privata sektorn kan framgång mätas genom vinst och förlust.
Den offentliga sektorn levererar tjänster till de som har behovet.
- Mål mäts inte i vinst eller förlust, utvärderingar behövs för att beskriva process- och måluppfyllelse.
- Målen är komplexa och svåra att mäta i ekonomiska termer
- Medborgarna har rätt till att veta hur staten använder pengarna
- Kostnadseffektivitet viktigt
Redogör för tre av de sex skäl som JS uppger ligger bakom att vi i Sverige bara har ett fåtal ”utvärderande undersökningar eller andra studier av nya polismetoder.
- Avsaknad av konkret politisk styrning: Finns krav på utvärderingar, men saknas konkreta instrument, framförallt av ekonomisk karaktär.
- Lagstiftningen: Fråga om sekretess mellan forskarna och polisen.
- Brist på resurser: Både ekonomiskt och kompetens. Behovet av polisarbete är nästan alltid större än tillgången, är polisen då villiga att lägga ner resurser på utvärdering?
- Attityder inom forskarsamhället – bristande intresse för forskning som syftar till att förbättra polisens effektivitet
- polisen visar relativt lågt intresse att utnyttja forskningen och dess kunskaper.
I rapporten av JS sammanfattas förslagen till åtgärder i 13 punkter. Jämför dessa med kap. 5 i Blom m.fl. och redogör för vilka problem förslagen skulle kunna innebära?
- Utvärderingar som ritual och resursslöseri: Blom menar att Jerzys förslag om att prioritera RCT-studier kan bli dyrt och ineffektivt om resultaten inte används. Han påpekar också att många utvärderingar görs utan praktisk nytta, vilket tar resurser från det viktiga arbetet.
- Risk för målförskjutning: Blom varnar för att om fokus sätts på att mäta effektivitet med indikatorer kan det leda till att polisens verkliga mål glöms bort, som exempelvis förtroende från allmänheten, medan kvantifierbara resultat som antal lösta brott får för stor vikt.
- Validitetsproblem och avprofessionalisering: Blom är orolig att indikatorer kan ge en förenklad bild av polisens arbete och att det kan minska värdet av yrkesskicklighet och att kunna anpassa sig till olika situationer.
- Implementeringssvårigheter: Blom menar att Jerzys idé om att stärka forskningen och använda kunskapsbaserade metoder kan stöta på motstånd om det inte finns bra incitament och en tydlig plan för genomföra
Rossi m.fl. menar att programutvärderingar ställer frågor inom 5 olika områden. Vilka är dessa?
- Programbehov
- Programteori- och design
- Programprocess
- Programpåverkan
- Programeffektivitet
Vad är skillnaden mellan ”program impact theory” och ”program process theory”?
Program impact theory: Varför?
- Beskrivning av programmets bakomliggande teori, antaganden om varför den ska leda till en förändring
Program process theory: Hur och vad
- Beskrivning av programmets funktioner, aktiviteter och processer
- Vad menars med ”Black-box evaluation”?
Black-box evaluation innebär att man utvärderar ett program utan en tydlig förståelse för hur programmet är tänkt att fungera eller vad som driver resultaten.
- Man observerar om vissa resultat har uppstått (eller inte) men kan inte förklara varför.
- Man ser utfallet men inte processen bakom
Förklara vad sensitiviteten i ett utfallsmått innebär. Exemplifiera
Sensitivitet i ett utfallsmått handlar om instrumentets förmåga att upptäcka förändringar, särskilt när det gäller att mäta små eller individuella förändringar. Om ett mätinstrument har hög sensitivitet för förändring, innebär det att det är bra på att upptäcka effekter exempelvis vid kortsiktiga förändringar.
Exempelvis kan ett instrument vara mycket bra på att fånga förändringar i en individs beteende eller hälsotillstånd direkt efter en intervention, men det kan vara mindre effektivt när det gäller att mäta om samma individ bibehåller dessa förändringar på lång sikt
Förklara skillnaden mellan ex ante och ex post i en ”efficiency”-analys.
Skillnaden mellan ex ante och ex post handlar om NÄR effektivitetsanalysen genomförs i relation till programmet eller interventionen.
Ex ante: Effektivitetsanalysen som genomförs innan ett program startas, syftet är att förutsäga eller uppskatta de förväntade effekterna av programmet i förhållande till dess kostnader.
Ex post: Effektivitetsanalysen genomförs efter programmet när dess effekter är kända. Här utvärderar man hur väl programmet faktiskt presterade i relation till sina kostnader och mål, för att kunna bedöma om det var effektivt i praktiken.
Vad skiljer en cost-effectiveness analys från en cost-benefit analys?
Cost-effectiveness analys: En teknik där kostnaderna uttrycks i monetära termer och effekten i effektenheter.
Cost-benefit analys: En teknik där både kostnaderna och effekterna uttrycks i monetära termer
Beskriv vad som menas med en moderator- respektive mediatorvariabel.
Moderatorvariabel: En variabel som har möjlighet att ÄNDRA förhållandet mellan en oberoende och en beroende variabel.
Instagramanvändande -> Socialt jämförande
Grad av självkänsla
Mediatorvariabel: En variabel som syftar till att identifiera och FÖRKLARA förhållandet mellan den oberoende och den beroende variabeln
Trött -> Passivt aggressiv -> Argumentation
I Rossi diskuteras flera olika typer av ”bias” vid estimering av programeffekter. Beskriv fyra sådana.
- Selection bias: Skillnader mellan interventionsgruppen och kontrollgruppen som påverkar resultatet.
- Secular trends: Naturligt förekommande trender som påverkar resultatet.
- Interfering events: Kortsiktiga händelser som ger förändringar i resultatet.
- Maturation: Naturliga mognads- och utvecklingsprocesser som påverkar resultatet.
- Regression to the mean: Tendensen för mer extrema utfall att driva i en mindre extrem riktning efterföljande tidsperioder
Rossi menar att kvalitativa metoder är särskilt lämpade för att undersöka behov av hjälp relaterat till ett socialt problem som insatsen är tänkt att motverka. Hur resonerar de och vilka metoder nämns i sammanhanget?
Författarna menar att kvalitativa metoder som intervjuer, är värdefulla för att förstå hjälpbehov kopplade till sociala problem, eftersom de ger detaljerad information om individers upplevelser och underlättar utvecklingen av anpassade program.
- Fokusgrupper: Teknik för att få information om ett socialt problem
- Snowball sampling: Identifiera nyckelinformanter som ombeds identifiera andra informanter som de tror är kunniga i frågan
Utvärderaren behöver skaffa sig en uppfattning om problemets omfattning. Vilka metoder för detta rekommenderas av Rossi?
- Data: Samla in data från olika källor
- Social research: Samla in nya data genom ex. expertutlåtanden till storskaliga stickprov
- Agency records: Information som finns i olika organisationers register
- Surveys and Censuses: Originalforskning i form av urvalsundersökningar och folkräkningar
- Key informant surveys: Uppskatta omfattningen med hjälp av nyckelinformanter.
- Forecasting needs: Hur stor omfattningen av ett socialt problem kommer vara i framtiden.
Vad är skillnaden mellan proximal outcomes och distal outcomes?
Proximal outcomes är de omedelbara och direkta effekterna som ett program förväntas påverka. För de flesta sociala program är dessa proximala resultat psykologiska: såsom förändringar i kunskap, attityder eller beteende.
Distal outcomes är mer långsiktiga och övergripande effekter, som förändringar i sociala förhållanden eller livskvalitet, och de påverkas ofta av flera externa faktorer utöver programmet.
Hur beskrivs potentiella problem med outcome monitoring?
Outcome monitoring innebär att regelbundet mäta och rapportera indikatorer som speglar de effekter ett program har på deltagare eller sociala förhållanden.
Potentiella problem:
- Olämpliga indikatorer: Felaktigt valda indikatorer kan missa viktiga resultat och leda till felprioriteringar i programmet.
- Indikatorers korruption: Risk för bias när prestation utvärderas; kan minskas med externa granskare eller striktare rutiner.
- Svårigheter vid tolkning: Resultaten kan påverkas av externa faktorer och kräver kontext och kompletterande information för korrekt analys.
Vad innebär counterfactuals (kontrafaktiska) och vilka utmaningar beskrivas med det angående utvärdering av sociala program?
Counterfactuals är hypotetiska scenarier som används för att uppskatta vad som skulle ha hänt utan ett program, vilket är avgörande för att fastställa kausalitet.
- Kontrollgrupper: Svårt att skapa jämförbara grupper, risk för selektionsbias och etiska hinder.
- Externa faktorer: Andra influenser kan påverka resultaten och försvåra isolering av programmets effekt.
- Långsiktiga effekter: Svårt att bedöma effekter över tid.
- Generaliserbarhet: Svagheter i att tillämpa resultaten på andra kontexter.
Vad skiljer intent-to-treat effects från treatment-on-the-treated effects?
Intent-to-treat (ITT): Analyserar alla deltagare enligt deras ursprungliga tilldelning, oavsett om de genomförde behandlingen eller ej. Fokus ligger på programmets effekt i praktiken.
Treatment-on-the-treated (TOT): Analyserar endast de deltagare som faktiskt fullföljde behandlingen. Fokus ligger på behandlingens effekt för dem som tog del av den.
Vilka olika sätt beskriver Rossi m.fl. när det gäller att mäta programverkans storlek (magnitude)?
- Effect size statistic: Mäts genom att karaktärisera effekten snarare än att använda råa poäng eller procentuella skillnader.
- Standardized mean difference: Skillnaden mellan medelvärden för insats- och kontrollgruppen uttryckt i standardavvikelseenheter.
- Odds ratio: Används för binära utfallsmått (t.ex. arresterad/inte arresterad) och visar förhållandet mellan positiva och negativa utfall för interventions- och kontrollgrupperna
