Reliabilitet Flashcards
Vad menas med reliabilitet?
- Ett psykometriskt test består vanligen av items som är inriktade på att mäta en viss egenskap/förmåga, och när items summeras belyser de den underliggande egenskapen/förmågan
- Reliabilitet är alltså ett statistiskt mått på testets och mätningens tillförlitlighet, dvs att vi litar på den mätning som gjorts
- Hög reliabilitet innebär att man får samma resultat under samma testförhållanden (upprepad användning av test och oberoende av vem som använder testet)
- Hot mot reliabiliteten är mätfel: systematiska fel (kan bero på fel i metod eller mätinstrument såsom fel i manualen) eller slumpmässiga fel (beror på tillfälligheter och kan gå åt vilket håll som helst)
Klassisk testteori
Det är en teori om vad som påverkar ett mätt testresultat
X = t + e
X = erhållet värde (ex testpoäng)
t = sant värde (okänt)
e = slumpmässigt mätfel (negativt eller positivt)
Sant värde skulle man teoretiskt kunna få fram genom att utföra testet oändligt antal gånger och sedan ta medelvärde
Mätfelens orsaker
- Testets egenskaper: svårbegripligt, tvetydigt
- Yttre omständigheter: störande faktorer etc
- Testtagarens:
- stress inför testet
- kapacitet och vilja att följa instruktionerna
- fysisk smärta och emotionell upprördhet
- fysisk påverkan efter att inte ha sovit eller ätit tillräckligt
- hur alert man är
- benägenhet/tendens att hålla med (eller inte)
- förkunskap om testet
- behov av att framställa sig i god dager (eller tvärtom) - Relationen mellan den som testas och den som testar (är det ens psykolog och utvärderar en behandling och ska undersöka förändringar efter x antal gånger kan det finnas risk för patienten framhåller mer positiva förändringar eller tvärtom om man inte vill avsluta en kontakt)
Process vid enskilt svar
- Vad handlar frågan om?
- Minnas beteende, attityd eller förändring (om frågor handlar om tidigare saker)
- Göra en bedömning av frekvens/förekomst (svårt att bedöma hur ofta)
- Överföra sitt svar till ett svarsalternativ (inte lätt för alla)
- Vad vill den som svarar dela med sig av? - leder till risk för bias (framhålla eller undanhålla)
Hot mot rättvisa svar
Alltså: risk för bias som ger orsak till mätfel
- Om det är ett långt frågeformulär och individerna inte känner sig motiverade att svara, eller frågor kanske inte ens känns relevanta
- Människor tenderar generellt att hålla med, hellre än att säga emot
- Vissa svar uppfattas som socialt önskvärda (ex frågor om föräldraskap)
- Kan vilja framställa sig i negativ dager för att undvika något (rekrytering till militären)
- Frågan kan vara otydlig eller svårbegriplig
Att uppskatta ett tests reliabilitet (tillförlitlighet)
Definition: Förmåga hos ett test att (i en given population) mäta det som testet mäter
* Anger frånvaron av slumpmässiga mätfel
* Eller uttrycker proportionen av den totala variansen i mätningen som beror på den sanna differensen mellan individer
* Det ska vara så nära det sanna värdet som möjligt, då är det hög reliabilitet!! Det ska finnas minst risk för mätfel, vi vill göra så säkert instrument som möjligt som verkligen mäter den underliggande dimensionen
Klassisk testteori och reliabilitet
Reliabilitet (1-) = slumpfri varians / totalvarians
Denna formeln utgår från x = t + e men ovan är det varianserna vi pratar om
Behöver inte förstå uträkningarna, men vill förstå konceptet
Hur man matematiskt försöker förstå vad reliabiliteten är i mätning
Man vill få så nära 1 som möjligt
Så lite slumpfel som möjligt ? så hög reliabilitetskoefficient som möjligt
Det går inte att veta hur stort mätfelet är!
Olika metoder för skattning av reliabilitet
- Stabilitet (om det mäter samma vid två tillfällen)
- Test-retest - Parallelltestmetoden
- Intern konsistens
- Split-half
- Kuder-Richardson (kategori)
- Cronbach Alfa (kontinuerlig) - Interbedömarreliabilitet (intervju eller observationsmetod där bedömaren har stor roll och del vid skattningen, hur samstämmiga de är)
- Kappa (kategori)
- Intraclass Correlation Coefficient (kontinuerlig)
Test-retest
- Reliabiliteten över tid (stabilitet)
- Samma test ges till en representativ grupp av personer vid två tillfällen
- Sambandet mellan de två mätningarna utgör den uppskattade reliabilitetskoefficienten
- Hög korrelation = stabilt mått
- Hög reliabilitet (inom detta mått) innebär att mätresultatet inte är beroende av dagsform eller andra faktorer som kan orsaka variation i mätning över tid
- Om det finns risk för träningseffekter är detta mått problematiskt
- Om det finns studier som visar hög rest-retest i tillägg till högre inre konstisen rä det starkare stöd för mätinstrumentets reliabilitet: om det är hög samstämmighet mellan frågorna och mellan tillfällen ger det starkt stöd för få mätfel!
- Många studier som är i utprövningsdelen av ett test använder sig av denna
- Utvärdering av förändring kan vara lämplig med test som har lägre test-retest. Om man vill mäta förändring i behandlingsforskning vill man ha test som är känsliga för förändringar då det kan vara tillfälle där man inte behöver ha så hög stabilitet, ex humör
Test-retest intervall
* Tillräckligt kort mellan test för personen inte ska ändras
* Tillräckligt långt så personen inte minns sina tidigare svar
- För korta test med mindre än 50 items har man vanligen 10-14 dagar, för längre test kan intervallen vara längre pga inte kommer ihåg frågorna
* Längre intervall för egenskaper än states, eftersom states kan förändras snabbare över kortare tid
Parallelltest
- Två likvärdiga test ges till samma grupp personer vid samma tillfälle
- Testen är konstruerade att mäta samma sak, men med olika frågor
- Korrelationen mellan de parallella testen fer en uppskattning av reliabilitetskoefficienten (annan variant at bedöma reliabilitet, mer hur samstämmigt det är)
- Hög korrelationskoeffivient tyder på att testen mäter samma sak
Split-half
- Mått på intern konsistens
- Ett test ges vid ett tillfälle, items/frågorn agrupperas i två delas (ex udda och tjäna frågor) som sedan summeras. Därefter beräknas sambandet mellan dessa två summavariabler
- Ger ett mått på samstämmigheten mellan de två delarna i testet
- Redovisas sällan ohc anses mer begränsat visa på inre konsistens
- Spelar roll vilka items som hamnar i de olika grupperna
Kuder-Richardson
- Intern konsistens
- Används på dikotomi items (finns bara två svarsalternativ)
- Bygger på homogenitet ger ett mått på samstämmighet - det som kallas inre/intern konsistens
- Ger ett mått på samstämmigheten mellan samtliga items i ett test - hur väl de mäter samma dimension
- Ger reliabilitetskoefficienten KR-20 eller KR-21
Cronbachs alfa
- Intern konsistens
- Används för kontinuerliga items
- Hur mycket av variationen i mätresultatet kommer av det som deluppgifterna mäter gemensamt, till skillnad från variation som är unik för varje deluppgift?
- Anger kvoten mellan summan av itemvarianserna delat med variansen för totalsumman för hela testet
- Mått på inre konsistens, samstämmighet mellan samtliga item i ett test
- Är tekniskt lätt att beräkna och information om inre konsistens bör finnas i manualer eller publikationer om testet
- Ska vara trygga i att det är ett mått på inre konsistens, samstämmighet på de items som ingår i skalan!
Reliabilitetskoefficienten
Vad som är en tillräckligt bra reliabilitetskoefficient beror lite på vad testet ska användas till.
Tumregler som ofta förekommer är:
Rxx > 0.9 = utmärkt
Rxx 0.8-0.9 = bra
Rxx 0.7-0,8 = ok
Exempel: en reliabilitet på 0.8 innebär att 80% förklaras av sann variation för den egenskap man vill mäta, och 20% förklaras av mätfel
Högre reliabilitet med fler items
- Reliabiliteten för inre konsistens påverkas av antalet items eftersom de ingår i formeln för uträkning - fler items ökar reliabilitetskoefficienten (även om det påverkas av frågornas kvalitet också)
- Spearman-Browns formel: kan räkna ut hur mycket reliabiliteten skulle förbätrras om man exempelvis dubblar antalet frågor
- Kan också användas för att beräkna hur mycket reliabiliteten skulle öka med dubbelt så många frågor eller för att förkorta test
