Salstentamen Flashcards
Kritik mot enkla logiska modeller
'’Ett enda linjärt orsakssamband’’.
- Kan de lämpa sig för interventioner som syftar till att tillgodose människors behov?
- Risker för överskattning av resultat som gör informationen mindre tillförlitlig
- Risker med att tolka dessa bokstavligt då de utelämnar övriga faktorer som kan ha påverkat resultatet
Vad skiljer en ‘‘cost-effectiveness analys’’ från en ‘‘cost-benefit analys’’?
Cost-effectiveness analys: En teknik där kostnaderna uttrycks i monetära termer och effekten i effektenheter.
Cost-benefit analys: En teknik där både kostnaderna och effekterna uttrycks i monetära termer.
Vad utmärker ‘‘bieffektsmodellen’’ respektive ‘‘brukarmodellen’’?
Bieffektsmodellen: Offentliga interventioner kan åstadkomma andra resultat än avsedda, sk. bieffekter
Brukarmodellen: Låter individerna i målgruppen värdera något utifrån deras egna värderingskriterier
Kritisk realism och empirismen kombinerat med kvantitativa respektive kvalitativa metoder
Kritisk realism - verkligheten existerar oberoende av betraktaren: Kvantitativa studier kan ge ledtrådar till mekanismer som kan påvisas i en kvalitativ studie.
Empirism - verkligheten existerar oberoende av betraktaren: Kvalitativa studier kan upptäcka eventuella kausala förhållanden som sedan bevisas i kvantitativa studier.
Utvärderaren behöver skaffa sig information om problemets omfattning. Vilka metoder rekommenderar Rossi m.fl?
- Data: Samla in data från olika källor
- Social research: Samla in nya data genom ex. expertutlåtanden till storskaliga stickprov
- Agency records: Information som finns i olika organisationers register
- Surveys and Censuses: Originalforskning i form av urvalsundersökningar och folkräkningar
- Key informant surveys: Uppskatta omfattningen med hjälp av nyckelinformanter.
- Forecasting needs: Hur stor omfattningen av ett socialt problem kommer vara i framtiden.
För- och nackdelar med självutvärderingar
Fördelar:
- Snabbt och kostnadseffektivt
- Den interna utvärderingen skapar förutsättningar för att resultaten ska uppfattas som trovärdiga
Nackdelar:
- Svårt att hålla sig oberoende till sin egen verksamhet
- Uppenbara risker för intressekonflikter
Förklara vad sensitiviteten i ett utfallsmått innebär
För att kunna upptäcka förändringar eller skillnader i ett utfall behöver utfallsmåtten vara sensitiva för dessa effekter. Ett måtts sensitivitet är i vilken utsträckning värdena på måttet ändras när det sker en förändring eller skillnad i det som mäts.
Vad menas med resultatparadoxen?
Utvärdering kan göras med de bästa av syften och med de bästa metoder, men kan ändå leda till negativa konsekvenser. Flera effekter i kvalitetsmätning kan resultera i icke avsedda och negativa.
- Målförskjutning: Indikatorer riskerar att ersätta uppsatta mål
- Avprofessionalisering: Fokuset ligger på mätbara indikatorer istället för t.ex. erfarenhet och proffessionalitet
Rossi m.fl. diskuterar olika typer av bias. Beskriv fyra
- Selection bias: Skillnader mellan interventionsgruppen och kontrollgruppen som påverkar resultatet.
- Secular trends: Naturligt förekommande trender som påverkar resultatet.
- Interfering events: Kortsiktiga händelser som ger förändringar i resultatet.
- Maturation: Naturliga mognads- och utvecklingsprocesser som påverkar resultatet.
- Regression to the mean: Tendensen för mer extrema utfall att driva i en mindre extrem riktning efterföljande tidsperioder.
Icke-realism i förhållande till relativism
Icke-realism - verkligheten är en social konstruktion: Vi kan inte förstå verkligheten som den egentligen är
- Detta kan leda till en långtgående relativism som innebär att vi helt saknar grund för att hävda att ett påstående är mer korrekt än ett annat.
- I verkligheten kan vi inte upprätthålla ett så radikalt perspektiv.
Vad innebär teori- respektive implementeringsfel?
- Teorifel: Implementeringen fungerar som den ska men leder inte till önskad effekt.
- Implementeringsfel: Implementeringen och genomförandet fungerar inte, men hade de fungerat kanske de lett till önskad effekt.
Skillnader mellan kvasiexperimentella studier och experimentella studier med randomisering, samt för- och nackdelar
Kvasiexperimentella studier: Studiedeltagarna har inte fördelats slumpmässigt i en interventions- resp. kontrollgrupp.
+ Trovärdiga uppskattningar av programeffekter, kräver ett mindre urval och mindre resurser
- Risk för bias, mindre intern validitet
Experimentella studier m. randomisering: Studiedeltagarna slumpas in i interventions- resp. kontrollgrupp
+ Den mest trovärdiga utvärderingsformen, eliminerar Selection bias
- Krävs stort urval och stora resurser
Vad menar Rossi m.fl. med Black-box evaluation?
Ett sätt att mäta effekten av ett program men utan att undersöka dess natur.
- Finns ingen programprocessdata eller programteori som kan förklara resultatet
För- och nackdelar med utvärderingar i form av expertpaneler (peer review)
+ Forskare anses vara bäst lämpade att värdera vilken forskning som är ‘‘bäst’’ inom det egna expertområdet, experter kan ofta ge värdefulla synpunkter som rör den vetenskapliga kvaliteten.
- Beroende av att finna neutrala experter, begränsar möjligheterna till en rättvis bedömning, verkar oftast konserverande istället för att främja utveckling och förändring.
Fyra procedurer som kan underlätta rekryteringen av undersökningspersoner till en effektutvärdering
- Testa rekryteringsprocessen i förväg
- Adressera dem som har mandat att besluta om medverkan
- Lägga mycket tid på vidmakthållande
- Reducera de praktiska besvären, ersättning?
- Lyft fram vad deltagarna har att vinna på att delta
Skillnad processutvärdering och effektutvärdering
Processutvärdering: Examinerar vad ett program är, vad för åtgärder som vidtagits eller vem som tagit emot service.
Effektutvärdering: Identifierar och mäter ett programs effekter för att påvisa förändring för de som deltagit
Vad menas med emergens?
Begreppet avser att de specifika utfallen, och medlen för att uppnå dem framträder under genomförandet av en intervention.
- Mönster formas utifrån samspel mellan enkla strukturer eller beteenden
Två etablerade instrument för att mäta behandlingstrohet
CTS - Cognitive Therapy Scale: Observatörsskattningar av videoinspelade sessioner av kognitiv terapi. Observatören utgår från en manual med 11 aspekter av kompetens.
CTACS - Cognitive Therapy Adherence and Competence Scale: Oberoende skattningar av ljudinspelare sessioner som omfattar 25 item. Följsamhet och kompetens skattas.
MITI - Motivational Interviewing Treatment Integrity Code: Ljudinspelningar av sessioner och omfattar flera dimensioner. Räkningar av antalet gånger behandlaren utför vissa beteenden.
Rossi m.fl. menar att programutvärderingar ställer frågor inom fem områden. Vilka är dessa?
- Programbehov
- Programteori- och design
- Programprocess
- Programpåverkan
- Programeffektivitet
Vad menas med en moderator- respektive en mediatorvariabel?
Moderatorvariabel: En variabel som har möjlighet att ÄNDRA förhållandet mellan en oberoende och en beroende variabel.
Instagramanvändande -> Socialt jämförande
Grad av självkänsla
Mediatorvariabel: En variabel som syftar till att identifiera och FÖRKLARA förhållandet mellan den oberoende och den beroende variabeln
Trött -> Passivt aggressiv -> Argumentation
Vad betyder behandlingstrohet och vilka dimensioner kan begreppet omfatta?
Begreppet betyder att man vid användandet av en metod strikt följer de manualer och riktlinjer som åtföljer metoder där evidens hävdas föreligga.
Brukar omfatta åtminstone två dimensioner:
- Följsamhet - Ex. aktivt deltagande
- Kompetens - Ex. genomförts med rätt timing och flexibilitet
Ytterligare:
- Differentiering: Förbjudna behandlingsmoment
- Exponering: Antal, längd och frekvens
- Klientförståelse:
- Klientföljsamhet
- Strukturella faktorer: Utbildningsnivå hos personal etc.
Argument för- och emot ‘‘måluppfyllelsemodellen’’ respektive ‘‘intressentmodellen’’
Måluppfyllelsemodellen: Undersöker om de resultat som producerats lever upp till de mål som oberopades innan.
+ Tar fasta på den representativa demokratins perspektiv, främjar objektivitet.
- Otydliga mål är otjänliga som värderingsgrund, om fokus på ursprungliga mål - kan inte förutse bieffekter.
Intressentmodellen: Förhoppningar och farhågor hos dem som berörs av en intervention
+ Kartlägger och lyfter fram flera perspektiv som ökar resultatens användbarhet
- Diffus avgränsning och likställer intressenter, opraktisk och kostsam
Redogör för två forskningsetiska teman som Smedler tar upp
- Principen att göra gott: Syftet med interventionen ska vara att göra gott.
- Principen att inte skada: Forskarna ska ha kompetens att genomföra projektet på ett professionellt sätt och skydda deltagarna från obehag.
- Autonomi - det informerade samtyckets princip: Personens rätt att bestämma över sig själv.
- Konfidentialitet och datasäkerhet: Stora mängder data hanteras, uppgifter som lämnats får inte användas på andra sätt än deltagaren uttryckligen samtyckt till.
Tre utmärkande drag utvärderingsstudier har i förhållande till annan forskning
- Syftar till att bedöma eller förbättra en insats
- Handlar om att leverera specifik, tillämpad kunskap
- Utvärdering beställs ofta av någon som finansierar eller har yttersta ansvaret för en verksamhet
