Att mäta det omätbara Flashcards
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
Definiera begreppet! (Ondska ex) Hur gör vi detta?
- Färdiga definitioner från litteratur ex
- Definitioner från expertgrupper
- Kriteriebaserade definitioner – ex vid psykiatriska åkommer
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
- Definiera begreppet!
Vi måste kunna veta att testet är pålitligt
Vad innebär detta?
- Ska ge samma resultat vid flera mätningar
- Det ska verkligen mäta ondska och inget annat
- Tänk om folk ljuger?
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
- Definiera begreppet!
- Vi måste kunna veta att testet är pålitligt
Vad finns gjort gällande test? – i detta fall inget test
Så hur kan vi ta fram frågor?
- Skapa massa frågor (items) (för att sen ta bort vissa mindre lämpliga)
- Källor på frågor
- Låna från andra existerande tester
- Från existerande litteratur
- Intervjuer med patienter eller experter som kan fenomenet
- Observationsstudier
- Teorier, hypoteser
- Fler goda personer har hockeyfrisyr (ströks sen)
- Nu sätter vi samman item-bank av frågor som innehåller frågor som kan ingå i testet
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
- Definiera begreppet!
- Vi måste kunna veta att testet är pålitligt
- Vad finns gjort gällande test?
Itemgenerering via kvalitativa studier (ex intervjustudier)
Hur kan detta gå till?
- Man försöker fånga alla aspekter av ett begrepp
- Man försöker fånga de ordval som används av de man tänker använda frågeformuläret på
- Man genererar items utan förutfattade meningar
- För bättre helhetsbild av det begrepp vi vill undersöka
- Jag bär vapen ibland
- Det spelas läskig musik omkring mig
- Jag har sprängt en planet
- Jag har huggit av någons arm
- Jag har förslavat folk
- Jag har inte hockeyfrisyr
Vad är detta exempel på?
Items efter itemgenerering
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
- Definiera begreppet!
- Vi måste kunna veta att testet är pålitligt
- Vad finns gjort gällande test? – i detta fall inget test
- Itemgenerering via kvalitativa studier
Hur många svarsalternativ
Vad finns det för alternativ och vad kan vara viktigt att tänka på?
- Dikotom – ja/nej
- Polytom – fler än två svarsalternativ
- Jämt eller udda antal svarsalternativ?
- Ojämt antal så kan man alltid sätta mitten (tar inte ställning)
- Hur namnge svarsalternativen
- Ska mittenalternativet vara neutralt eller inte?
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
- Definiera begreppet!
- Vi måste kunna veta att testet är pålitligt
- Vad finns gjort gällande test? – i detta fall inget test
- Itemgenerering via kvalitativa studier (ex intervjustudier)
- Hur många svarsalternativ
Bedömning av items
Hur kan detta gå till?
- Är uppgifterna bra formulerade?
- Undvik frågor som kan tolkas på flera sätt
- Undvik frågor som innehåller flera led
- ”Jag har många ovänner som jag brukar försätta i farliga situationer”
- Omfattar frågorna alla aspekter av begreppet som du önskar undersöka?
- Livskvalitet, depression, ångest osv – fångar vi hela begreppet
- Kan svaret på frågorna antas påverkas av annat än det du vill mäta?
- Vid många frågor kan folk tröttna
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
- Definiera begreppet!
- Vi måste kunna veta att testet är pålitligt
- Vad finns gjort gällande test? – i detta fall inget test
- Itemgenerering via kvalitativa studier (ex intervjustudier)
- Hur många svarsalternativ
- Bedömning av items
Testning av items: svarsfrekvens
Vad tittar vi på?
- Finns det items som väldigt många inte svara alls på? I så fall varför?
- Oklart?
- Irrelevant?
- Känsligt?
- Finns det items som nästan alla svara likadant på?
- Då kanske det inte bidrar så mkt
- Eller som bara någon svarar ja på
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
- Definiera begreppet!
- Vi måste kunna veta att testet är pålitligt
- Vad finns gjort gällande test? – i detta fall inget test
- Itemgenerering via kvalitativa studier (ex intervjustudier)
- Hur många svarsalternativ
- Bedömning av items
- Testning av items: svarsfrekvens
Testning av items: dimensionalitet
Vad innebär detta?
- Handlar om frågorna mäter ett och samma bakomliggande koncept
- Två frågor som mäter samma sak borde samvariera med varandra mer än två frågor som mäter olika saker
- Vi kan göra upp en tabell som visar hur varje fråga samvarierar med varje annan
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
- Definiera begreppet!
- Vi måste kunna veta att testet är pålitligt
- Vad finns gjort gällande test? – i detta fall inget test
- Itemgenerering via kvalitativa studier (ex intervjustudier)
- Hur många svarsalternativ
- Bedömning av items
- Testning av items: svarsfrekvens
- Testning av items: dimensionalitet
Hittar frågor som folk svarar lika på (hör kanske samman då, mäter samma sak liksom)
Vad beskrivs ovan och hur görs det?
Faktoranalys
- Metod som bygger på att leta efter underliggande faktorer som förklarar variationen i våra data
- Forskaren måste välja hur många faktorer han/hon tror finns, samt namnge dessa
- Dessa grupper av frågor (som mäter liknande saker) kallas för faktor
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
- Definiera begreppet!
- Vi måste kunna veta att testet är pålitligt
- Vad finns gjort gällande test? – i detta fall inget test
- Itemgenerering via kvalitativa studier (ex intervjustudier)
- Hur många svarsalternativ
- Bedömning av items
- Testning av items: svarsfrekvens
- Testning av items: dimensionalitet
- Mått på hur stor del av variationen i hur folk besvarar itemet som beror på att de verkligen är olika med avseende på de som testet mäter
- Två personer som fyller i angående livskvalitet så kommer en få bättre livskvalitet, en orsak kan vara olikhet i livskvalitet men en del i skillnaden är mätorsäkerhet
- Ju högre av “detta” desto mindre mätosäkerhet
Vad är detta?
Reliabilitet
Konstruktion och utvärdering av frågeformulär. Vad behöver vi för att kunna konstruera ett formulär?
- Definiera begreppet!
- Vi måste kunna veta att testet är pålitligt
- Vad finns gjort gällande test? – i detta fall inget test
- Itemgenerering via kvalitativa studier (ex intervjustudier)
- Hur många svarsalternativ
- Bedömning av items
- Testning av items: svarsfrekvens
- Testning av items: dimensionalitet
- Reliabilitet
- För att definiera reliabilitet så tittar vi dels på patientens observerade poäng (den poäng som testet mäter) så tänker vi att det består av sann poäng som man skulle få på testet om det inte finns mätfel alls och dels ett mätfel
- Nu mäter vi hur stor andel av den observerade poängen som beror på att folk varierar avseende sin sanna poäng
- Det enda vi vet är ju dock vad folk får på testet, så hur kan vi beräkna reliabiliteten om vi inte vet folks sanna poäng???
- Vi antar till höger att vi är allvetande, vi vet alltså exakt vad de skulle fått om det inte funnits fel
- Ungefär 48 % av den variation som finns i testet beror på att de är olika i det som testet ska mäta
- Ju högre reliabilitet, desto större del av variationen i hur folk svarar på frågeformuläret beror verkligen på att de är olika
- Reliabiliteten för ett idealt test är 1 (100 %), men det är den aldrig i verkligheten, 0 så beror allt på slumpfel
- För att definiera reliabilitet så tittar vi dels på patientens observerade poäng (den poäng som testet mäter) så tänker vi att det består av sann poäng som man skulle få på testet om det inte finns mätfel alls och dels ett mätfel
Så hur kan vi öka reliabiliteten?
- Ju fler items, desto högre reliabilitet, beror på att slumpfel slår åt bägge håll (lägre på vissa, högre på vissa)
Varför är reliabilitet viktigt?
- Vid låg reliabilitet blir den maximala korrelationen (vid jämförelse av andra utfall) som är teoretiskt möjlig att uppnå låg
- Det blir svårare att tolka förändringar i testpoäng och konfidensintervallen blir bredare
- Vi vet inte om patienten blivit bättre av medicinen
- Reliabiliteten kan användas för att förbättra testet genom att identifiera problematiska items
- Empiriska mått på reliabilitet (vi vet inte allt)
Vad innebär parallella tester?
- Om två tester mäter samma sak, och har samma felvarians, kan vi använda korrelationen mellan dem som ett mått på reliabilitet
- Problem – bygger på att vi vet att testerna har samma felvarians (fungerar inte praktiskt)
Empiriska mått på reliabilitet (vi vet inte allt)
Vad innebär test-retestreliabilitet?
- Vi gör samma test två gånger på samma personer och korrelerar resultaten från omgång 1 med omgång 2? Hur väl korrelerar dessa resultat (ju högre desto reliabilitet)
- Problem: ändrade omständigheter, inlärningseffekter (IQ-test)
Empiriska mått på reliabilitet (vi vet inte allt)
Vad innebär interbedömarreliabilitet?
- Vi låter två oberoende bedömare bedöma samma testprestation och korrelerar deras bedömningar?
- Ex vid röntgenplåtar kan flera experter titta.