Utvärderingsmetoder Flashcards
Vad är skillnaden mellan processutvärdering och effektutvärdering?
Skillnaden mellan processutvärdering och effektutvärdering är att processutvärdering fokuserar på hur ett program genomförs, vilka aktiviteter (åtgärder) som utförs och vem som mottar dessa och andra aspekter av programmets funktion och karaktär. Medan effektutvärdering handlar om att mäta programmets effekter och avgöra om de avsedda resultaten har uppnåtts. Det handlar också om att undersöka om dessa förändringar kan kopplas direkt till programmet.
Förklara skillnaden mellan kvasiexperimentella studier och experimentella studier med randomisering samt diskutera för- och nackdelar med dessa typer av experimentella studier.
I en experimentell studie med randomisering (”randomized control trails”, RCT) fördelas deltagarna slumpmässigt i interventions- och kontrollgrupper. Det skapar i teorin grupper som är jämförbara vad gäller viktiga variabler. Det enda som kommer att skilja grupperna åt systematiskt är vilken intervention de får.
Fördelar
o De har hög intern validitet. Randomiseringen minskar risken för olika typer av bias som t.ex. selektionsbias. Detta innebär att grupperna i genomsnitt är lika i alla avseenden förutom interventionen, vilket ökar tillförlitligheten i resultaten och stärker slutsatser om orsakssamband.
o Experimentella studier med randomisering ger den bästa metodologiska kontrollen över resultaten.
Nackdelar
o De kan vara dyra och tidskrävande att genomföra.
o Randomisering av deltagare kan i vissa fall vara svårt eller oetiskt att genomföra.
Om studien är experimentell med en kontrollgrupp, men där deltagarna inte randomiseras till interventions- och kontrollgrupper så handlar det om en icke-randomiserad experimentell studie. Denna designtyp kallas för kvasiexperimentella studier. Eftersom deltagarna inte slumpmässigt har fördelats till grupperna, kan systematiska skillnader mellan grupperna uppstå, vilket kan påverka resultaten.
Fördelar
o De kan vara mer praktiskt genomförbara i verkliga miljöer, där randomisering inte alltid är möjligt eller etiskt acceptabelt.
o De kan ge trovärdiga resultat.
Nackdelar
o De har ofta lägre intern validitet eftersom deltagarna inte slumpats till grupper, vilket ökar risken för bias och andra störande faktorer.
o Resultaten kan också vara mer osäkra eftersom det utan randomisering är svårare att fastställa orsakssamband.
Enligt Rossi m.fl. berör programutvärdering 5 olika områden (domäner). Redogör kortfattat för dessa.
1) Programbehov (“the need for the program”): Innan ett program implementeras är det viktigt att bedöma om det finns ett verkligt behov av programmet. Syftet är att bedöma gapet mellan det nuvarande sociala tillståndet och det önskade, acceptabla tillståndet. Bedömningen av behov fokuserar på att kartlägga både problemets omfattning och karaktär samt identifiera målgruppen för programmet.
2) Programdesign och teori (”program design and theory”): Denna domän fokuserar på att granska programmets design och säkerställa att det finns en solid teoretisk grund som gör det möjligt att förvänta sig att programmet kan lösa det identifierade problemet.
3) Program (“program process”): Denna domän undersöker hur väl ett program genomförs. Frågorna här handlar om programmets implementering, resursanvändning, deltagarnas upplevelse av programmet samt hur effektivt programmet når den avsedda målgruppen.
4) Programpåverkan (“impact evaluation”): Denna domän handlar om att bedöma huruvida ett program har nått sina avsedda mål eller resultat. Det innebär att mäta de förändringar (effekter) som programmet har orsakat och avgöra om dessa förändringar kan tillskrivas programmet själv eller om de beror på andra faktorer.
5) Programeffektivitet (“cost analysis and efficiency assessment”): Denna domän handlar om att bedöma programmets kostnader i relation till dess resultat och effekter. Frågorna här handlar om programmet är kostnadseffektivt, om resurser används på ett optimalt sätt och om samma resultat kan uppnås till en lägre kostnad genom alternativa metoder.
Förklara vad som menas med Black-box evaluation (enligt Rossi m.fl.) och ge ett konkret exempel.
Enligt Rossi är en black box evaluation en typ av utvärdering där fokus ligger på att mäta effekterna eller resultaten av en intervention utan att försöka förstå de bakomliggande mekanismerna som leder fram till resultaten. När programteorin är otydlig eller ofullständig saknar utvärderaren insikt i processerna som förväntas leda till de önskade effekterna. Även om resultaten går att observera, är det svårt att förklara varför de inträffade eller uteblev. Rossi liknar detta vid att titta i en “svart låda”, där de interna processerna är dolda.
Ett kriminologiskt relevant exempel på black-box evaluation kan vara en utvärdering av ett program som syftar till att minska återfall i brott bland tidigare dömda. Utvärderingen fokuserar enbart på att mäta om programmet har lett till färre återfallsbrott, utan att undersöka de specifika mekanismer eller faktorer som förklarar varför vissa deltagare lyckas bättre än andra. Eftersom programteorin saknas eller är otillräcklig, kan man endast observera resultatet (mindre återfall) utan att kunna förklara varför vissa deltagare förändrades och andra inte.
I kurslitteraturen beskrivs olika utvärderingsmodeller. Beskriv vad som utmärker “bieffektsmodellen” respektive “brukarmodellen” samt redovisa argument för-och emot dessa modeller.
Bieffektsmodellen utmärks av att den inte enbart fokuserar på att bedöma hur väl en intervention uppnår sina avsedda mål, utan beaktar även eventuella bieffekter. Den underliggande idén med bieffektsmodellen är att offentliga interventioner kan åstadkomma andra resultat än avsedda huvudresultat.
o Ett argument för: den kan upptäcka och fastställa bieffekter, vilket ger en mer omfattande bild av interventionens effekter.
Brukarmodellen utmärks av att den fokuserar på att ge de individer som är målgrupp för offentliga insatser (brukarna) möjlighet att värdera tjänster utifrån sina egna perspektiv och behov. En central del av modellen är att utvärdera om tjänsten eller insatsen lever upp till de kvalitetskriterier som brukarna själva anser vara viktiga.
o Ett argument för: de kan öka interventioners legitimitet.
o Ett argument emot: den kan skapa brukarmissnöje och politikerförakt.
Begreppet kvalitet är inte endimensionellt. Vad menas med varukvalitet, tjänstekvalitet, servicekvalitet och livskvalitet.
o Varukvalitet syftar till de inneboende egenskaperna hos en fysisk produkt (t.ex. hållbarhet) och om produkten uppfyller kundens krav och förväntningar.
o Tjänstekvalitet kan analytiskt sett delas in i tre huvudelement, vilka brukar benämnas strukturkvalitet, processkvalitet och resultatkvalitet.
Strukturkvalitet avser kvalitet i resurser, förutsättningar och ”ramar” som t.ex. ekonomi eller lokaler.
Processkvalitet rör utförandet av tjänsten som t.ex. arbetssätt eller bemötande av brukare.
Resultatkvalitet avser mål och resultat för verksamheten, det vill säga vad man uppnår med verksamheten t.ex. elevers kunskap och betyg.
o Servicekvalitet avser de resurser och kompetenser som finns i verksamheten samt den service eller tjänster som man presterar
o Det är också viktigt att resurser och tjänster leder till avsedda förbättringar i klienternas livssituation och bidrar till en hög livskvalitet. Med livskvalitet avses livsomständigheter och välbefinnande.
Förklara vad som menas med resultatparadoxen och ge ett kriminologiskt relevant exempel för att illustrera detta.
Resultatparadoxen innebär i stora drag ut att en utvärdering kan göras med de bästa syftena och med de bästa metoderna, men ändå leda till negativa konsekvenser. Till exempel kan en utvärdering som syftar till att förbättra verksamheten, genom själva utvärderingsprocessen eller de resultat den genererar, leda till oavsiktliga negativa effekter.
Att döma av forskningen är denna problematik särskilt påtaglig när det gäller uppföljning, det vill säga fortlöpande insamling av kvantitativ information i form av t.ex. olika kvalitetsindikatorer. Flertalet av de effekter som kvalitetsmätning kan resultera i är negativa. Ett exempel är målförskjutning, vilket innebär att en eller flera av de indikatorer som används för att mäta kvalitet riskerar att ersätta andra uppsatta mål.
“Ett kriminologiskt exempel på resultatparadoxen är användningen av antalet lagförda brott som en indikator för polisens effektivitet. Detta kan leda till målförskjutning, där fokus riktas mot att utreda mindre allvarliga brott för att snabbt nå målet, istället för att prioritera mer allvarliga och komplexa brott. Resultatet kan bli en ökning av lagförda brott, samtidigt som samhällstryggheten minskar och den verkliga effektiviteten i brottsbekämpningen blir missvisande.”
Redogör för fyra procedurer som du anser särskilt viktiga för att underlätta rekryteringen av undersökningspersoner till en effektutvärdering.
1) Testa rekryteringsprocessen i förväg för att undersöka den förväntade inkluderingstakten och möjliga fallgropar i proceduren.
2) Lyft fram vad deltagare har att vinna på att delta i studien och ge målgruppsanpassad, tydlig och korrekt studieinformation.
3) Skaffa en bild av de organisationsfaktorer som kan hota rekryteringsprocessen och förebygg där det är möjligt (t.ex. via avtal).
4) Reducera de praktiska besvären för deltagarna och överväg olika former av ersättning.
Förklara skillnaden mellan statistisk signifikans och klinisk signifikans.
Statistisk signifkans är en term som används för att beskriva hur sannolikt det är att ett resultat (en skillnad eller samband) som observerats inte beror på slumpen, utan faktisk reflekterar en verklig effekt. Det innebär att om man genomför samma studie på flera slumpmässiga urval från samma population, bör man förvänta sig att resultaten blir densamma varje gång.
Statistisk signifikans mäts ofta med hjälp av ett p-värde, där ett värde på under 0,05 anes indikera att resultatet osannolikt har uppstått av en slump = det är statistiskt signifikant.
Klinisk signifikans handlar om huruvida resultatet har praktisk eller meningsfull inverkan på individens hälsa eller livssituation. Även om en effekt är statistiskt signifikant, innebär det inte nödvändigtvis att den gör någon verklig skillnad för individen.
Förklara vad som menas med behandlingstrogenhet och vilka dimensioner detta begrepp kan omfatta.
Behandlingstrohet avser den grad med vilken en intervention genomförs på det sätt som föreskrivs i en teoretisk modell eller manual. Behandlingstrohet kan omfatta dimensionerna följsamhet och kompetens.
Dimensioner:
1. Följsamhet innebär att behandlingen genomförs enligt de angivna riktlinjerna eller manualen.
2. Kompetens avser utförarens förmåga att genomföra behandlingen på ett professionellt och effektivt sätt.
Beskriv två etablerade instrument för att mäta behandlingstrohet.
Självskattning: Metoden innebär att deltagare eller behandlare själva rapporterar/skattar själva graden av behandlingstrohet, ofta genom frågeformulär eller enkäter.
Oberoende observationer: Detta anses vara den mest pålitliga metoden för att mäta behandlingstrohet. Den innebär att observatörer noggrant följer och bedömer behandlingen under sessionerna.
Vilka nackdelar innebär ”könsblinda” utvärderingar? Förklara med ett konkret exempel.
Förespråkare för feministisk utvärdering hävdar att utvärderingar ofta är könsblinda, vilket missgynnar kvinnor. Om kvinnors erfarenheter och behov inte beaktas riskerar de att osynliggöras. Detta kan leda till att specifika kvinnliga behov förbises, vilket får konsekvenser för insatser och beslut. I värsta fall kan metoder som är effektiva för kvinnor avfärdas om de inte visat sig vara effektiva för den könsneutrala brukaren.
”Ett konkret exempel på en nackdel med könsblinda utvärderingar är om en behandlingsmetod som fungerar bra för kvinnor inte får fortsätta eftersom den inte är framgångsrik i könsneutrala utvärderingar. Om utvärderingen inte tar hänsyn till kvinnors och mäns olika behov, kan det skapa ett missvisande intryck av att behandlingen inte är effektiv, trots att den är framgångsrik för en specifik grupp. Detta kan leda till att viktiga insatser för kvinnor läggs ner eller förbises”.
Vad är en poweranalys? Varför är det viktigt att genomföra en sådan och vilka sätt finns det för att öka den statistiska powern?
En poweranalys är en statistisk metod som används för att beräkna den statistiska kraften (power) i en studie, det vill säga sannolikheten att korrekt upptäcka en verklig effekt eller skillnad om en sådan existerar. Powern beror på tre faktorer; alfa-nivån (signifikansnivå), effektstorlek och samplets storlek. En power på 0,80 innebär att forskaren har 80 % chans att upptäcka en skillnad om den existerar i populationen..
Att genomföra en powernalys är viktig för att minska risken för typ II-fel, där en verklig effekt missas.
Poweranalyser är också viktiga eftersom det är oetiskt att utsätta deltagare för en studie där det inte är rimligt att komma fram till ett signifikant resultat på grund av för låg power.
Det går att öka den statistiska powern genom att;
1. Öka sampelstorleken; fler deltagare minskar osäkerheten och ger mer precisa resultat.
2. Öka skillnaden mellan grupperna; en större skillnad gör det lättare att upptäcka en effekt.
3. Använda förmätningar; att mäta både före och efter interventionen minskar variationen och ökar powern.
4. Variera alfa-nivån; detta kan vara fördelaktigt, men bör göras varsamt för att inte öka risken för typ I-fel.
5. Använda riktade test; om en tydlig hypotes finns, kan riktade test öka powern genom att minska antalet möjliga resultat/utfall.
Redogör för tre av de sex skäl som Jerzy Sarnecki uppger ligger bakom att vi i Sverige bara har ett fåtal ”utvärderande undersökningar eller andra studier av nya polismetoder”.
1) Avsaknad av konkret politisk styrning: I budgetpropositionen för 2010 uttrycker regeringen behovet av utvärderingar inom rättsväsendet. Problemet tycks emellertid vara att det bakom formuleringen inte finns några konkreta styrinstrument och då särskilt inte av ekonomisk karaktär.
2) Attityder inom poliskåren: Sarnecki menar att polisen visar ett relativt lågt intresse för att utnyttja det stöd som forskningen har kapacitet att ge. Inom många delar av polisen finns en misstro mot akademiker. Polisen upplevs också vara känslig för kritik från forskarsamhället och saknar ofta kompetens att upphandla relevant forskning.
3) Attityder inom forskarsamhället: Polisens misstro gentemot forskarsamhället är delvis ett resultat av de attityder som forskare ofta uttrycker gentemot polisen. Det är vanligt att forskare kritiserar polisen på ett allmänt sätt utan att föreslå konstruktiva lösningar. Akademiker visar ofta ointresse för forskning som syftar till att förbättra polisens effektivitet. Detta beror delvis på grund av oro för begränsad frihet i metoder och resultat om forskningen är för kopplad till polisen.
Jerzy Sarnecki (JS) menar att det finns ett stort behov av utvärderingsstudier inom den offentliga sektorn jämfört med den privata. Hur resonerar han?
Jerzy Sarnecki menar att det finns ett större behov av utvärderingsstudier inom den offentliga sektorn än inom den privata eftersom de styrs och utvärderas på olika sätt. I den privata sektorn kan ett företags framgång enkelt mätas genom vinst eller förlust och ineffektiva företag går i konkurs, vilket fungerar som en inbyggd kontrollmekanism. Offentliga organisationer saknar denna inbyggda kontrollmekanism och deras mål, som trygghet eller vård, är svåra att mäta i ekonomiska termer. Sarnecki menar att det krävs särskilda utvärderingssystem för att bedöma måluppfyllelse, förbättra effektivitet, göra relevanta prioriteringar och informera medborgarna om hur skattepengar används.
I rapporten av JS sammanfattas förslagen till åtgärder i 13 punkter. Jämför dessa med kap. 5 i Blom m.fl. och redogör för vilka problem förslagen skulle kunna innebära?
1) Utvärderingar som ritual och resursslöseri: Sarneckis förslag att koppla utvärderingar till alla förändringar inom polisen och prioritera RCT-studier riskerar enligt Blom att bli både kostsamma och ineffektiva om resultaten inte används. Blom påpekar att många utvärderingar genomförs symboliskt och utan praktisk nytta, vilket kan resultera i att resurser tas från kärnverksamheten.
2) Risk för resultatparadox och målförskjutning: Sarneckis idé att mäta effektivitet med indikatorer kan enligt Blom leda till målförskjutning, där fokus flyttas från polisens egentliga mål till det som ska mätas. Kvantifierbara variabler som antal uppklarade brott kan få oproportionerligt stor vikt, medan svårmätbara aspekter som allmänhetens förtroende och brottsförebyggande arbete hamnar i skymundan. Blom varnar för resultatparadoxen, där utvärderingens goda intentioner kan leda till oönskade effekter, exempelvis att mätbara mål får prioritet på bekostnad av andra viktiga delar av arbetet.
3) Kvalitetsbegreppets inneboende problematik: Blom betonar att kvalitet är ett luddigt och besvärligt begrepp. Att definiera och mäta kvalitet inom socialt arbete är en komplicerad process. Sarnecki förslag om kvantitativa mätningar och evidensbaserade metoder inom polisen riskerar att förenkla komplexa problem och leda till en för snäv definition av kvalitet.
Vad innebär kritisk realism och hur kombineras kvantitativ och kvalitativ forskning inom empirismen respektive inom kritisk realism (enligt Berth Danermark)?
Kritisk realism hävdar att verkligheten existerar oberoende av observatören, men att vår kunskap om denna verklighet är socialt påverkad. Den fokuserar på att identifiera de mekanismer som påverkar både materiella och sociala fenomen och använder teori för att förstå hur dessa fungerar i olika kontexter. Inom kritisk realism kombineras kvantitativa och kvalitativa metoder genom att kvantitativa metoder används för att identifiera mönster och kvalitativa metoder används för att utforska de mekanismer som ligger bakom dessa mönster.
Inom empirismen används kvalitativa metoder för att identifiera kausala samband som sedan bekräftas med kvantitativa metoder för att fastställa observerbara regelbundenheter.
Beskriv skillnaden mellan måluppfyllelsemodeller och intressentmodeller samt styrkor och svagheter med respektive modell.
Måluppfyllelsemodellen undersöker om en intervention har uppnått målen som fastställdes vid dess implementering.
Styrkor:
o Måluppfyllelsemodellen kan motiveras utifrån ett demokratiskt perspektiv eftersom den fokuserar på officiella fastställda mål som har beslutats av folkets valda politiska representanter. Modellen gör det möjligt för både medborgare och politiker att kontrollera om dessa mål har uppnåtts. Detta stärker ansvarstagande och transparens, vilket främjar representativ demokrati.
o Objektivitetsargumentet: Baseras på en föreställning att måluppfyllelsemodellen gör det möjligt för utvärderaren att inte själv ta ställning i värdefrågor och därmed inte behöva agera subjektivt. Utvärderaren tar ju andras mål, det vill säga interventionens, till utgångspunkt för bedömning.
Svagheter:
o Bieffekter: Måluppfyllelsemodellen riskerar att missa oväntade bieffekter som kan uppstå under interventionens gång, vilket kan leda till en ofullständig och skev bild av interventionens effekt.
o Oklarheter i målen: Målen kan vara vaga eller oprioriterade, vilket kan leda till svårigheter vid utvärderingar.
Intressentmodellen fokuserar på att förstå och beakta de olika intressenternas (t.ex. brukare, personal, beslutsfattare) förhoppningar och farhågor. Modellen erkänner också att varje enskild intressentgrupp har sina egna perspektiv för hur insatsen ska bedömas. Utvärderingen blir därför mer pluralistisk och inkluderar en bredare syn på hur insatsen uppfattas av olika aktörer.
Styrkor:
o Mångbildsargumentet menar att en utvärdering aldrig kan ge helt objektiva resultat och därför bör utvärderaren lyfta fram olika perspektiv, vilket intressentmodellen gör.
o Användbarhet: Intressentmodellen adresserar ofta frågor som intressenterna känner ett stort behov av att få utredda. Deltagandet medför legitimitet åt utvärderingens resultat och gör att de lättare kommer till nytta.
Svagheter:
o Opraktisk och kostsam: Intressentmodellen kan vara tidskrävande och dyra att genomföra eftersom det krävs att många olika intressentgrupper involveras och samordnas.
o Likställer alla intressenter: och prioriterar inte mellan olika intressentgrupper. Risken finns att endast de starkast organiserade och mest engagerade intressenterna konsulteras i en utvärdering.
Skillnaden är kortfattat att måluppfyllelsemodellen fokuserar på att mäta resultat mot fördefinierade mål, medan intressentmodellen tar hänsyn till de olika intressenternas perspektiv vid bedömningen av en insats.
Beskriv skillnaden mellan en moderator- respektive mediatorvariabel, samt ge ett kriminologiskt relevant exempel på en moderator- respektive mediatoranalys.
En moderatorvariabel påverkar styrkan eller riktningen på sambandet mellan en oberoende variabel (X) och en beroende variabel (Y).
En mediatorvariabel, å andra sidan, förklarar den process genom vilken en oberoende variabel (X) påverkar en beroende variabel (Y). Mediatorvariabeln syftar till att förklara förhållandet mellan den oberoende variabeln och den beroende variabeln.
Ett kriminologiskt relevant exempel på en moderatoranalys kan vara att undersöka om kön (Z) påverkar sambandet mellan alkoholkonsumtion (X) och våldsbrott (Y). Analysen skulle här kunna visa att alkoholkonsumtion hos män leder till våldsbrott i högre utsträckning än hos kvinnor. Detta innebär att kön modifierar styrkan eller riktningen på sambandet mellan alkoholkonsumtion och våldsbrott.
Ett exempel på en mediatoranalys kan vara att undersöka om ökat välstånd (X) leder till fler stöldbrott (Y), där tillgången på stöldobjekt och tillfällesstruktur (Z) fungerar som en mediator. Analysen kan visa att när välståndet ökar, finns det potentiellt fler stöldobjekt att stjäla, vilket gör att det blir lättare att begå stöldbrott. Här fungerar tillgången på stöldobjekt och tillfällesstrukturen som en ”bro” mellan välstånd och stöldbrott och förklarar ”varför” ett ökat välstånd kan leda till fler brott.
Förklara vad teori- respektive implementeringsfel innebär inom utvärderingsforskning och ge kriminologiskt relevanta exempel.
Teori- respektive implementeringsfel är två viktiga begrepp inom utvärderingsforskning som förklarar varför en åtgärd eller program kanske inte uppnår sina förväntade resultat:
Teorifel uppstår när de underliggande antagandena eller teorin bakom en åtgärd är felaktiga, vilket gör att den förväntade orsaksmekanismen inte fungerar. Ett kriminologiskt relevant exempel på teorifel kan vara ett program som försöker minska brottslighet genom strängare straff, trots att forskning visar att rehabilitering och socialt stöd är mer effektiva metoder.
Implementeringsfel uppstår när åtgärden genomförs på ett sätt som hindrar den från att sätta igång den avsedda orsaksmekanismen, även om teorin i sig är korrekt. Ett kriminologiskt relevant exempel på implementeringsfel kan vara ett program som syftar till att minska ungdomsbrottslighet och som är teoretiskt utformat för att hjälpa unga med sociala problem att undvika brott. Om programmet istället implementeras brett, utan att rikta sig specifikt till ungdomar, så kan åtgärden misslyckas, trots att den underliggande teorin är korrekt.
Beskriv skillnaden mellan ITT-analyser och TOT-analyser samt styrkor och svagheter med respektive analys.
ITT-analyser är en analysmetod som ofta används för att analysera data från experimentella studier. I en ITT-analys inkluderas alla deltagare enligt deras ursprungliga randomisering, oavsett om de fullföljde behandlingen eller inte.
Styrkor:
1) ITT analyser bevarar randomiseringens effekter och minskar risken för systematiska fel, vilket ökar tillförlitligheten och generaliserbarheten hos resultaten.
2) Ger en realistisk bild av behandlingens effekt i verkliga förhållanden, snarare än under optimala förhållanden.
3) Den undviker överskattning av behandlingseffekten, vilket kan ske om deltagare som hoppat av exkluderas.
Svagheter:
- Kan underskatta behandlingens effekt eftersom även deltagare som inte fullföljde behandlingen inkluderas.
TOT-analyser fokuserar endast på att inkludera de deltagare som faktiskt genomförde behandlingen i analysen.
Styrkor:
- Ger en mer exakt uppskattning av behandlingens effekt på dem som genomfört behandlingen.
Svagheter:
- Förlorar fördelarna med randomiseringen eftersom deltagare som inte genomfört behandlingen utesluts, vilket kan minska resultatens tillförlitlighet.
Varför är ITT-analyser särskilt relevanta i RCT-studier?
ITT-analyser är särskilt relevanta i RCT-studier eftersom de säkerställer att alla deltagare som randomiserades till en interventions- eller kontrollgrupp inkluderas i analysen, vilket behåller effekterna av randomisering. Detta minskar risken för att resultaten påverkas av bortfall eller selektion bias. ITT-analyser hanterar även deltagare som lämnar studien i förtid genom att inkludera deras data, vilket ger en mer realistisk bild av behandlingens effekt i den verkliga världen. Därmed bevaras den interna validiteten och resultaten blir mer generaliserbara. RCT-studier kräver ITT-analyser annars faller idén med randomisering.
I litteraturen (Rossi m.fl.) diskuteras flera olika typer av ”bias” vid estimering av programeffekter. Beskriv fyra sådana.
1) Selektionsbias (”selection bias”): uppstår när det finns systematiska skillnader mellan grupperna som inte beror på programmet, vilket kan ge felaktiga slutsatser om programmets effekt.
2) Störande händelser (“interfering events”): hänvisar till oväntade faktorer (t.ex. en ekonomisk kris) som påverkar både interventions- och kontrollgruppen, vilket kan snedvrida effekterna av programmet.
3) Mognad (”maturation”): hänvisar till de naturliga, åldersrelaterade förändringar i en individs beteende och utveckling över tid, som inte påverkas av externa faktorer eller program.
4) Regression till medelvärdet (”regression to the mean”): innebär att extrema värden tenderar att röra sig mot genomsnittet över tid, vilket kan ge intrycket av att ett program har haft en större effekt än det faktiskt har.
Vilka för- och nackdelar finns det med utvärderingar i form av expertpaneler (”peer review”) samt självutvärderingar (”self-evaluation”,”self-assesment”)?
Expertpaneler (”peer review”):
Fördelar:
o Expertkunskap: Peer review anses vara ett av de mest trovärdiga verktygen för att utvärdera forskning, eftersom de som granskar är experter inom samma område. Detta ger en hög bedömningskvalitet och accepterade omdömen inom forskarsamhället.
o Stimulans och utveckling: Forskarna får konstruktiv feedback från sina jämlikar, vilket kan främja utveckling och förbättring av deras arbete.
Nackdelar:
o Jäv och partiskhet: det kan vara svårt att hitta helt oberoende experter, särskilt i små forskningsfält eller länder, vilket kan påverka objektiviteten.
o Konservatism och elitism: paneler tenderar att favorisera etablerade forskare, vilket kan hindra nyare eller mer innovativa idéer. Det kan också leda till att forskning bedöms utifrån tidigare framgångar snarare än nya perspektiv.
Självutvärderingar (”self evaluation”, ”self – assessment”):
Fördelar:
o Tids- och kostnadseffektivt: Eftersom utvärderingen görs internt kan den genomföras snabbare och till lägre kostnad än externa utvärderingar.
o Lärande och kompetensuppbyggnad: Genom att göra en självvärdering lär sig organisationen av sin egen verksamhet, vilket kan stärka deras utvärderingskompetens och förbättra interna processer.
Nackdelar:
o Subjektivitet: Det kan vara svårt för medarbetare att vara objektiva när de bedömer sitt eget arbete, vilket kan leda till snedvridna eller överdrivna resultat.
o Interna intressen: Det finns risk att självvärderingarna påverkas av interna maktförhållanden eller intressen, vilket kan förvränga de verkliga resultaten.
Förklara skillnaden mellan ex ante och ex post i en ”efficiency”-analys.
Skillnaden mellan ex ante och ex post handlar om NÄR effektivitetsanalysen genomförs i relation till programmet.
Ex ante i en “efficiency-analys” som genomförs innan ett program startas. Syftet är att uppskatta de förväntade effekterna av programmet i förhållande till dess kostnader.
Ex post i en “efficiency-analys” genomförs efter programmet när dess effekter är kända. Syftet är att utvärdera** hur väl programmet faktiskt presterade i relation **till sina kostnader och mål, för att kunna bedöma om det var effektivt i praktiken.
I litteraturen (Blom & Morén) definierar Peter Dahler-Larsen kvalitet utifrån fem perspektiv. Redogör för tre av dessa perspektiv.
1) Att uppnå politiskt fastställda mål: Kvalitet bedöms utifrån hur väl offentliga verksamheter uppnår politiskt fastställda mål. Detta kan dock vara problematiskt eftersom politiska mål ofta är vaga, vilket medför svårigheter i hur de ska mätas i praktiken.
2) Att tillgodose brukarnas önskningar: Numera är det naturligt för offentliga verksamheter att fråga brukare om deras uppfattningar om hur en verksamhet fungerar. Att inhämta brukarnas uppfattningar kan ge underlag för att utveckla en verksamhet och kan ses som ett kriterium för kvalitet.
3) Att ha ett organisatoriskt system som säkrar kvalitet: I det här perspektivet handlar kvalitet om olika egenskaper i det organisatoriska systemet, som på olika sätt ger underlag för kontroll av att verksamheten fungerar tillräckligt bra. Man talar ibland om kvalitetssäkring och att den ska vara inbygg i organisationen som t.ex. olika dokumentationssystem som underlättar den interna kontrollen av verksamheten.
Redogör för två av de sex forskningsetiska teman som Smedler tar upp (i Sundell) och hur de relaterat till interventionsstudier.
1) Principen att inte skada: Forskningen ska minimera riskerna för skada eller obehag för deltagarna. I interventionsstudier måste forskarna noga väga riskerna mot de potentiella fördelarna. Om riskerna överväger fördelarna eller orsakar allvarligt obehag, kan studien anses etiskt problematisk.
2) Autonomi – det informerade samtyckets princip: handlar om individens rätt att självständigt besluta om sitt deltagande i forskning. I interventionsstudier måste forskarna ge deltagarna tydlig och fullständig information om studiens syfte, procedurer, risker och fördelar. Deltagarna ska kunna fatta informerade beslut och ha rätt att avbryta sitt deltagande när som helst utan negativa konsekvenser.
I (Blom m.fl.) presenterar Hanberger fyra kriterier för bedömning av ett programs mångkulturella medvetenhet. Redogör kortfattat för dessa.
1) Problemsituationen: Ett program som är mångkulturellt medvetet bör baseras på en kulutrell medveten problemanalys som uppmärksammar hur aktuella problem kan förstås ur olika perspektiv.
2) Programmet: Ett programs kulturella implikationer bör också klargöras i ett mångkulturellt medvetet program (t.ex. stärka en berör minoritetskultur).
3) Genomförande: Om programmedarbetarna är toleranta och visar respekt för olika kulturella värden och traditioner är det ett tecken på mångkulturell medvetenhet.
4) Resultat/konsekvenser: Ett mångkulturellt medvetet program bör vara insatt i hur programmet påverkar olika grupper i samhället och vara beredd att hantera den problematik som kan uppkomma.
Vilka tre modeller för mångkulturell integration diskuteras av Anders Hanberger och vad anser författaren om HRV-programmets implementering i förhållande till dessa modeller?
1) Kulturell assimilation, den första modellen, är ett samhälle där minoritetskulturer successivt assimileras eller inkorporeras i majoritetskulturen. Denna form av integration innebär att minoritetskulturer underkastas majoritetskulturen.
2) Den andra modellen, kulturell sammansmältning, är ett samhälle som bejakar kulturell mångfald. Utgångspunkten är att det finns vissa universella värden som alla bör acceptera oavsett kulturell eller etnisk bakgrund. Minoritetskulturer och majoritetskulturen smälts samman till någon form av hybridkultur.
3) Den tredje modellen, kulturell samexistens, är ett samhälle där minoritetskultur får blomstra utan att blandas med majoritetskulturen. Minoritetsskydd och minoritetsrättigheter gör det möjligt för kulturella grupper att leva sida vid sida.
Författaren anser att HRV-programmet ligger närmast assimilationsmodellen (“kulturell assimilation”), då det betonar individens rättigheter och jämställdhet utifrån majoritetskulturens normer, samtidigt som minoritetskulturer förväntas anpassa sig.
Vad innebär icke-realism och hur förhåller sig detta ”mönster” till relativism.
Icke-realism hävdar att verkligheten är en social konstruktion och vi inte kan förstå verkligheten “i sig”. Mönstret genomsyras av en föreställning om att verkligheten som omger oss är omöjlig att få sann kunskap om. Detta kan leda till en långtgående relativism som innebär att vi helt saknar grund för att hävda att ett påstående är mer korrekt än ett annat. I verkligheten kan vi inte upprätthålla ett sådant radikalt perspektiv.
Vad är imputering av data vid bortfall?
Imputering av data vid bortfall innebär att med statistiska metoder ersätta saknade värden.
Beskriv två metoder för imputering av data vid bortfall.
Imputeringsmetoden senast och nästa (eng.last and next) kan användas för att imputera bortfall vid ett mättillfälle mellan två observerade mättillfällen, ett före och ett efter. Mättillfället som fallit bort ersätts med genomsnittet av individens senaste och nästkommande valida information.
LOCF (eng. last observation carried forward): ett sätt att imputera bortfall och som har använts frekvent innebär att det senaste observerade värdet flyttas fram. I denna metod ersätts en individs förlorade värde på en variabel av intresse med variabelns sista valida värde, oavsett tid mellan dessa två mättillfällen.
Vilka kan orsakerna vara till att utvärderingar av importerade EBI inte ger förväntade effekter?
1) Skillnader i forskningsdesign – om metoder, mätinstrument eller urval inte överensstämmer med originalstudien kan resultaten påverkas.
2) Dålig kulturell anpassning – om interventionen inte är anpassad till de lokala kulturella förhållandena kan den vara mindre effektiv eller irrelevant.
3) Låg behandlingstrohet – interventionen genomförs inte som avsett, vilket kan leda till att effekterna blir svagare eller uteblir.
4) Interventionen är inte effektiv i den nya kontexten – det kan bero på att de faktorer som gjorde interventionen framgångsrik i den ursprungliga kontexten inte finns i den nya.
Vad skiljer en cost-effectiveness analys från en cost-benefit analys?
Cost-effectiveness analys: bedömer ett programs ekonomiska effektivitet, där effekterna mäts i icke- monetära termer som t.ex. livskvalitet.
Cost-benefit analys: bedömer också ett programs ekonomiska effektivitet, men där kostnader och resultat omvvandlas och mäts i monetära termer.
Vad innebär counterfactuals och vilka utmaningar kan de innebära vid utvärderingar av sociala program?
Counturfactuals (”kontrafaktiska utfall”) handlar om att uppskatta vad som skulle ha hänt utan en intervention. För att isolera ett programs effekt måste utvärderaren jämföra deltagarnas faktiska resultat med det kontrafaktiska utfallet. Det kontrafaktiska kan inte observeras direkt, vilket kräver att utvärderaren använder metoder som baslinjemätningar och kontrollgrupper.
Utamningar vid utvärdering av sociala program är:
* Kontroll av externa faktorer: Inom de fysiska vetenskaperna är det relativt enkelt att uppskatta de kontrafaktiska eftersom dessa experiment ofta utförs i labratoriumsammanhang. Där kan forskaren kontrollera miljön och externa faktorer, så att effekten man vill studiera, isoleras. I sociala program är det svårt att kontrollera omgivningen och externa faktorer, vilket gör det svårara att uppskatta det kontrafaktisika.
- Problem med kontrollgrupper: Det finns också svårigheter i att jämföra en interventionsgrupp med en kontrollgrupp eftersom de måste vara just jämförbara vad gäller viktiga variabler. Eftersom deltagandet i sociala program ofta är frivlillgit, kan det finnas skillnader mellan de som väljer att delta och de som inte gör det. Dessa skillnader kan skapa ett selektionsbias, vilket kan göra det svårt att använda en kontrollgrupp för att uppskatta det kontrafaktiska i sociala program.
Redogör för tre utmärkande drag som utvärderingsstudier har i förhållande till annan forskning.
1) Det första utmärkande draget är att utvärderingsstudier syftar till att bedöma eller förbättra en insats.
2) Det andra utmärkande draget är att utvärderingsstudier ofta handlar om att leverera tillämpad och konkret kunskap.
3) Det tredje utmärkande draget är att utvärderingar ofta beställs av finansiär, vilket gör att utvärderingarna kan vara praktiskt styrda av externa krav.
Vilken kritik har riktats mot s.k. enkla logiska modeller inom programteori?
Kritiken mot enkla logiska modeller inom programteori handlar om deras oförmåga att hantera komplexa och dynamiska sammanhang. Dessa modeller förenklar verkligheten genom att beskriva ”linjära orsakssamband” och ignorerar ofta viktiga faktorer som samtidiga program eller individuella skillnader, vilket kan leda till överdrivna slutsatser och mindre tillförlitliga resultat vid upprepade försök.
Vad menas med emergens inom komplicerade logiska modeller?
Emergens inom komplicerade logiska modeller innebär att oförutsedda mönster och resultat kan uppstå under en intervention. I system med många aktörer påverkar varandra sker ständiga anpassningar, vilket kan leda till oväntade utfall, särskilt vid komplexa problem eller sociala förändringar.
Beskriv en teoribaserad och en aktörsfokuserad utvärderingsmodell.
Ramfaktormodellen är en teoribaserad utvärderingsmodell
som fokuserar på de externa faktorer som påverkar en intervention eller verksamhet. Modellen identifierar och analyserar (ram)faktorer som begränsar en intervention som t.ex. resurser och organisatoriska strukturer.
Intressentutvärdering är en aktörsfokuserad utvärderingsmodell som fokuserar på att förstå och beakta olika intressenters (t.ex. brukare, personal, beslutsfattare) förhoppningar och farhågor vid en utvärdering av en insats.
Vad menas med enhetspris i en ekonomisk utvärdering?
Enhetspris i en ekonomisk utvärdering hänvisar till kostnaden per enhet av en specifik resurs eller aktivitet som ingår i utvärderingen.
Totala kostnaden under en period dividerat med antalet enheter producerade under tiden
Vad är skillnaden mellan ”program impact theory” och ”program process theory”?
Skillnaden mellan ”program impact thery” och ”program process theory” är deras olika fokus. Program impact theory fokuserar på de underliggande antaganden och teorier som förklarar varför ett program förväntas leda till förändring. Medan program process theory handlar om de konkreta aktiviteter och processer som genomförs för att uppnå programmets mål. Den första teorin förklarar varför förändring ska ske, medan den andra förklarar hur förändringen genomförs.
Förklara vad sensitiviteten i ett utfallsmått innebär. Exemplifiera.
- Sensitivitet i ett utfallsmått handlar om instrumentets förmåga att upptäcka förändringar, särskilt små, i ett tillstånd över tid.
- Till exempel, ett mått som bedömer depression kan vara känsligt för förändringar om det kan fånga även små förbättringar eller försämringar i symptomen, vilket gör det lättare att se effekten av en behandling.
- För att vara användbart måste måttet vara känsligt nog att fånga både kort- och långsiktiga förändringar i det som mäts.
Författarna (Rossi m.fl.) menar att kvalitativa metoder är särskilt lämpade för att
undersöka behov av hjälp relaterat till ett socialt problem som insatsen är tänkt att
motverka. Hur resonerar de och vilka metoder nämns i sammanhanget?
Rossi betonar att kvalitativa metoder är särskilt användbara för att undersöka behov av hjälp relaterade till sociala problem eftersom de ger djupgående och detaljerad information. Metoder som intervjuer insikter i individers upplevelser, vilket underlättar utvecklingen av skräddarsydda program och tjänster. Fokusgrupper kan används för att samla in synpunkter från intressenter och målgrupper. Snöbollssampling kan också användas för att få en bredare bild genom att informanter identifierar nyckelpersoner.
Förutom att definiera det aktuella sociala problem insatsen är tänkt att motverka (alt. hitta en definition att utgå ifrån) behöver utvärderaren skaffa sig en uppfattning om problemets omfattning. Vilka metoder för detta rekommenderas av författarna (Rossi m.fl.)?
1) Agency records: Information från organisationer som arbetar med målgruppen, förutsatt att registren är kompletta och representativa.
2) Enkäter och folkräkningar (”Surveys and Censuses”): Om tillförlitliga data saknas kan enkäter eller folkräkningar genomföras för att samla in ny information från ett representativt urval.
3) Nyckelinformanter (”Key informants”): Ett enklare sätt är att konsultera personer med expertkunskap om problemets natur och omfattning, även om denna metod är mindre pålitlig.
4) Prognoser (”Forecasting needs”): För att utvärdera policyer kan det vara nödvändigt att uppskatta ett socialt problems framtida omfattning. Prognoser innebär dock ofta osäkerhet, särskilt när det gäller långsiktiga uppskattningar.
Vad är skillnaden mellan proximal outcomes och distal outcomes? (Rossi m.fl.)
Proximal outcomes är de omedelbara och direkta effekterna av ett program. Inom sociala program är dessa ofta psykologiska förändringar som kunskap, attityder eller beteende. Distal outcomes är långsiktiga, övergripande effekter, som förändringar i sociala förhållanden eller livskvalitet. Dessa resultat kan påverkas av externa faktorer utöver programmet.
Hur beskrivs potentiella problem med outcome monitoring?
Outcome monitoring innebär att regelbundet mäta och rapportera indikatorer som speglar de effekter ett program har på deltagare eller sociala förhållanden.
Potentiella problem:
1. Olämpliga indikatorer: Felaktiga indikatorer kan leda till att viktiga resultat förbises, vilket kan resultera i felaktiga åtgärder för att förbättra programmets effekt.
- Indikatorernas korruption syftar till den naturliga tendens hos de vars prestation som utvärderas att försöka sneda indikatorerna i en mer gynnsam riktning.
- Tolkning av indikatorer: Resultatdata kan bli missvisande utan relevant kontext, som demografiska eller ekonomiska förändringar, vilket leder till felaktiga slutsatser.
Vilka olika sätt beskriver Rossi m.fl. när det gäller att mäta programverkans storlek
(magnitude)?
Direkt numerisk skillnad: Detta innebär att man jämför medelvärdena för interventionsgruppen och kontrollgruppen för att se den direkta skillnaden i resultat.
Procentuell förändring: Denna metod används när resultaten mäts på skalor där det finns ett verkligt nollvärde (t.ex. andelar eller frekvenser). Genom att beräkna procentuell förändring kan man visa hur mycket resultaten har förändrats.
Effect size statistics: Dessa används när resultaten mäts på skalor med godtyckliga enheter (t.ex. när resultaten inte har ett konkret nollvärde). Exempel på detta är:
Standardized mean difference: Mäter skillnaden mellan gruppernas medelvärden i relation till standardavvikelsen.
Odds Ratio: Används för binära utfall (t.ex. ja/nej). Ett odds ratio på 1,75 innebär att interventionsgruppen har 1,75 gånger större chans att uppnå ett positivt resultat än kontrollgruppen.
Vad skiljer intent-to-treat effects från treatment-on-the-treated effects?
Intent-to-treat (ITT): Analyserar alla deltagare enligt deras ursprungliga tilldelning, oavsett om de genomförde behandlingen eller ej. Fokus ligger på programmets effekt i praktiken.
Treatment-on-the-treated (TOT): Analyserar endast de deltagare som faktiskt fullföljde behandlingen. Fokus ligger på behandlingens effekt för dem som tog del av den.
