Validitet Flashcards
1
Q
Validitet
A
- Hög reliabilitet är en förutsättning för hög empirisk validitet
- Reliabiliteten sätter en övre gräns för testets möjliga validitet
- Traditionellt beskrivs validitet som ett tests förmåga att (i en given
population) mäta det som testet avser att mäta - Är inte en egenskap hos testet i sig, utan avgörs i relation till den
testade populationen
– Validiteten beror på test, respondent och omständigheter runt
testningen
2
Q
Olika typer av validitet
A
- Innehållsvaliditet (content): hur innehållet i frågor relaterar till syftet
med testet, avgörs ofta kvalitativt
– Ytvaliditet (face): testet uppfatts rimligt i förhållande till sitt syfte, hur
respondenterna uppfattar frågorna, om de tar dem seriöst - Kriterievaliditet (criterion): undersöks empiriskt
– Samtidig validitet (concurrent): korrelation med annat test eller
bedömning av samma fenomen som görs vid samma tidpunkt
– Prediktiv validitet (predictive): korrelation mellan testet med ett kriterie
som föreligger först vid senare tillfälle - Begreppsvaliditet (construct): I vilken mån testet kan sägas mäta
en teoretiskt definierad psykisk dimension. Undersöks genom att visa
på samband med andra mått eller med hjälp av faktoranalys.
3
Q
Definition validitet
A
- Fram till ~ 1980:
“Mäter testet vad det är avsett att mäta?”
– Olika validiteter hade beskrivits - Efter 1980 (Messick): Begreppsvaliditet/construct validity (inre/intern
validitet) lyftes fram som överordnad
– Nytta/användbarhet (extern validitet) - Validitet för ett testinstrument innebär att man har observationer och
resultat i studier som verifierar instrumentets effektivitet vid diagnos
och prognos
4
Q
Hur undersöker man ett tests validitet?
A
- De statistiska analysmetoder som används är korrelationer,
faktoranalys och regressionsanalys. - Ett tests validitet kan bestämmas genom studier av all systematisk
och vetenskaplig evidens för testets tillförlitlighet. - Vi måste dock vara medvetna om att vi aldrig helt kan vara säkra
på att våra analyser identifierar dimensionen vi arbetar med – vi
gör uppskattningar.
5
Q
Validitetskoefficienten
A
- Validitetskoefficienten, rxy är korrelationen mellan ett testresultat och
ett lämpligt kriterium som man kan validera testet emot, t.ex. ett ”gold-
standard” test (begreppsvaliditet) eller ett mätbart kriterium på utfall
(prediktiv validitet). - Determinationskoefficienten, rxy2 anger proportionen förklarad varians i
förhållande till total varians
– Förklarad varians anses vara bästa sättet att bedöma effektivitet i
prediktionen - Mindre urval ger lägre validitet och lägre koefficienter
6
Q
Att undersöka begreppsvaliditet
A
- Mäter testet de dimensioner som
domänen/konstruktet/begreppet har i enlighet med vår teori? - Korrelation beräknas mellan index-test och referens-test.
- Kan även undersökas med hjälp av faktoranalys
- Är en viktig del av undersökningen av ett tests validitet
- Även ett verktyg i utvecklingen av test
7
Q
Faktoranalys
A
- Bestämmer funktionella relationer mellan variabler.
- Analysen tar hänsyn till graden av gemensam
information i variablerna. - Faktoranalys innebär att man förklarar strukturen i ett material, var det finns höga faktorladdningar.
- Testkonstruktören har en viktig del i att finna de
fraktorer som är teoretiskt meningsfulla
8
Q
Principalkomponentanalys (PCA)
A
- Används ofta som första steg i
faktoranalys - Deskriptiv metod
- Tar fram oberoende (orthogonala)
komponenter - Varje komponent innehåller variabler
med så stor förklarad varians som
möjligt samtidigt som ortogonal mot
tidigare komponenter - Gemensam/delad varians och unik varians
9
Q
Explorativ faktoranalys (EFA)
A
- Använder bara gemensam/delad
varians - Underlag för reduktion av item med
oklar faktortillhörighet - Indikation på att fler variabler
behövs inom ”liten” faktor
10
Q
Konfirmatorisk faktoranalys (CFA)
A
- Testar hypotes om struktur – var
höga laddningar mellan faktorer ska
förekomma, dvs vilka variabler som
är indikatorer på vilka faktorer - Bygger på SEM (Strukturell
ekvationsmodellering)
11
Q
Från idé till färdigt test
A
- Analys av fenomenet: beskrivning från olika perspektiv av det
fenomen som man vill mäta - Konstruktion av testitems: fenomenet omsätts till konkreta
testitems med en lämplig svarsskala.
– Pröva på ett litet bekvämlighetsurval för synpunker på formulering - Itemstatistik: undersök svarsfördelning på enskilda items – har
hela skalan (range) använts? Är fördelningarna symmetriska eller
sneda? Fortsatta beräkningar förutsätter symmetriska fördelningar. - Samband mellan testitems: beräkning av reliabilitet,
faktoranalys, logistisk itemanalys (IRT). Hittar de items som behöver
tas bort. - Summavariabeln: när man får fram tillfredställande reliabilitet
mätt med ex Cronbachs alpha, kan skalan anses vara tillförlitlig. - Validitet, finns inga entydiga regler
* Korsvalidering – pröva reliabilitet i två eller fler sample
* Begreppsvaliditet – har eller saknar testet samband med andra test
* Samtidig eller prognostisk validitet – finns samband med kriterium nu
eller i framtiden
* Inkrementell validitet – visa att det nya testet ökar validitet i
bedömning
12
Q
Vilken skala ska frågan besvaras med?
A
- Lämpligt antal steg?
- Jämt eller ojämnt antal?
- Ankarvärden eller värden på alla skalsteg?
- Ska det neutrala värdet vara i mitten på skalan?
- Spelar siffrorna någon roll?
- Ska man vända ordningen på några item?
- Påverkar frågor varandra?
13
Q
Frågor att undvika
A
- Ledande frågor
- Tvetydiga frågor
- Fler frågor i samma fråga
- Frågor som förutsätter speciell kunskap
- Krångligt språk
- Långa frågor med flera led/ komplexa frågor
- Nedlåtande frågor
- Negationer
14
Q
Att tänka på vid val av items
A
- När man konstruerar ett test eftersträvar man
redan från början stor interindividuell spridning - Detta uppnås genom att välja items som olika
personer svarar på olika sätt – uppgifter som har
varierande lösningsfrekvens - Syftet är att skapa dimensioner där samtliga items inom varje
dimension bidrar till
– homogenitet (mäter samma förmåga/färdighet)
– kommunalitet (har gemensam varians) - Genom att studera effekten på reliabiliteten av att ändra
antalet items kan man arbeta med att förbättra den - Ofta bra skapa fler items än man tänkt sig att använda och
sedan reducera antalet och välja de som fungerar bäst
15
Q
Standardisering av mätinstrument
A
- Innebär att testet har utprövats i den population som den är
avsedd för – ett representativt stickprov. - Är testpoängen normalfördelad har man beräknat medelvärde,
standardavvikelse och korrelationer av intresse som beskriver
testets egenskaper i den aktuella populationen. - Viktigt att det finns information om hur test standardiserats för att
ta ställning till om hur rimligt det är att jämföra testpersonens
resultat med normen. - Barntest: viktigt med normgrupper för olika åldrar
Standardisering kan också syfta mer specifikt på:
Att proceduren eller administrationen av mätmetoden är väldefinierad
när det kommer till
– Instruktioner
– Träning av intervjuare, testledare, observatörer eller liknande
* Alla relevanta detaljer för att utföra testningen på det avsedda sättet
finns i en manual eller liknande
* När ett test översätts från ett annat språk är det viktigt att se över
anpassning till språk och kultur – mätmetoden ska vara relevant och
acceptabel för de som ska svara på den
