Validitet

Question 1

Validitet

Answer 1

Ett tests förmåga att (i en given population) mäta det som testet avser att mäta. Mäter du något som inte avser rätt enhet så får du låg validitet, dåligt. Mäter du något som avser rätt får du hög validitet. Är inte en egenskap hos testet i sig utan avgörs i relation till den testade populationen.

Question 2

Innehållsvaliditet (content)

Answer 2

Hur innehållet i frågor relaterar till syftet med testet, avgörs ofta kvalitativt.

Question 3

Ytvaliditet (face)

Answer 3

Testet uppfatts rimligt i förhållande till sitt syfte, hur respondenterna uppfattar frågorna, om de tar dem seriöst.

Question 4

Kriterievaliditet (criterion)

Answer 4

Undersöks empiriskt.

Question 5

Samtidig validitet (concurrent)

Answer 5

Korrelation med annat test eller bedömning av samma fenomen som görs vid samma tidpunkt.

Question 6

Prediktiv validitet (predictive)

Answer 6

Korrelation mellan testet med ett kriterie som föreligger först vid senare tillfälle. Hur relaterar testet till andra test, något yttre/ett kriterium som man sätter upp.

Question 7

Begreppsvaliditet (construct)

Answer 7

I vilken mån testet kan sägas mäta en teoretiskt definierad psykisk dimension. Undersöks genom att visa på samband med andra mått eller med hjälp av faktoranalys.
Samband med andra mått, syftet är att förankra det i en teori.

Question 8

Intern validitet

Answer 8

I vilken utsträckning den oberoende variabeln (och ingenting annat) påverkar beroende variabeln (utfallet, de uppnådda resultaten).

Question 9

Extern validitet

Answer 9

I vilken utsträckning resultaten kan generaliseras till andra individer, miljöer, situationer (förhållanden)?

Question 10

Validitet för testinstrument

Answer 10

Observationer och resultat i studier som verifierar instrumentets effektivitet vid diagnos och prognos

Question 11

Hur påverkar reliabilitet validitet?

Answer 11

Hög reliabilitet är en förutsättning för empirisk validitet och reliabiliteten sätter en övre gräns för testets möjliga validitet.

Question 12

Hur undersöker man ett tests validitet?

Answer 12

Genom korrelationer, faktoranalys och regressionsanalys. Validiteten kan bestämmas genom studier av all systematisk och vetenskaplig evidens för testets tillförlitlighet. Dock enbart uppskattningar.

Question 13

Validitetskoefficienten

Answer 13

Validitetskoefficienten, rxy är korrelationen mellan ett testresultat och ett lämpligt kriterium som man kan validera testet emot, t.ex. ett ”goldstandard” test (begreppsvaliditet) eller ett mätbart kriterium på utfall (prediktiv validitet). Mindre urval ger lägre validitet och lägre koefficienter.

Question 14

Determinationskoefficienten

Answer 14

Determinations-koefficienten anger hur stor del av variationen (mellan individer) i den beroende variabeln (y) som kan förklaras av att individerna har olika värden på den oberoende variabeln (x). rxy 2 anger proportionen förklarad varians i förhållande till total varians.

Question 15

Att undersöka begreppsvaliditet

Answer 15

Mäter testet de dimensioner som domänen/konstruktet/begreppet har i enlighet med vår teori? Korrelation beräknas mellan index-test och referens-test. (test som ansågs mäta begreppet). Kan även undersökas med faktoranalys. Det är en viktig del av undersökningen av ett tests validitet och ett verktyg i utvecklingen av test.

Question 16

Faktoranalys

Answer 16

Bestämmer funktionella relationer mellan variabler. Analysen tar hänsyn till graden av gemensam information i variablerna och innebär att man förklarar strukturen i ett material, var det finns höga faktorladdingar - grupperar sig frågorna och kan man hitta en struktur mellan olika frågor. Testkonstruktören har en viktig del i att finna de faktorer som är teoretiskt meningsfulla.

Question 17

Faktorladdningar

Answer 17

En gruppering av frågor. Grupperar sig frågorna på något sätt?

Question 18

Principalkomponentanalys (PCA)

Answer 18

Används ofta som första steg i faktoranalys och som en deskriptiv metod för att ta fram oberoende (ortogonala) komponenter. Varje komponent innehåller variabler med så stor förklarad varians som möjligt samtidigt som ortogonal mot tidigare komponenter. Handlar om gemensam/delad varians och unik varians.

Question 19

Explorativ faktoranalys (EFA)

Answer 19

Använder bara gemensam/Delad varians. Ett underlag för reduktion av item med oklar faktortillhörighet och är en indikation på att fler variabler behövs inom “liten” faktor. (se bild)

Question 20

Konfirmatorisk faktoranalys (CFA)

Answer 20

Testar hypotes om struktur – var höga laddningar mellan faktorer ska förekomma, dvs vilka variabler som är indikatorer på vilka faktorer. Bygger på SEM - strukturell ekvationsmodellering (se bild)

Question 21

Exempel på faktoranalyser

Answer 21

Wechslers intelligensskalor (WAIS) = Faktoranalytiska metoder har tydliggjort hur de olika deltestenförhåller sig till varandra. Genom att undersöka begreppsvaliditeten på detta sätt kan vi idag uttala oss om olika kognitiva funktioner

Personlighetstest (NEO-PI) = Det är en lång faktoranalytisk tradition som har utmynnat i femfaktormodellen
Modellen bygger på ett stort antal test och forskningsstudier.

Question 22

Att konstruera ett test

Answer 22

1. Analys av fenomenet: beskrivning från olika perspektiv av det fenomen som man vill mäta
2. Konstruktion av testitems: fenomenet omsätts till konkreta testitems med en lämplig svarsskala. Pröva på ett litet bekvämlighetsurval för synpunker på formulering
3. Itemstatistik: undersök svarsfördelning på enskilda items – har hela skalan (range) använts? Är fördelningarna symmetriska eller sneda? Fortsatta beräkningar förutsätter symmetriska fördelningar.
4. Samband mellan testitems: beräkning av reliabilitet, faktoranalys, logistisk itemanalys (IRT). Hittar de items som behöver tas bort.
5. Summavariabeln: när man får fram tillfredställande reliabilitet mätt med ex Cronbachs alpha, kan skalan anses vara tillförlitlig.
6. Validitet, finns inga entydiga regler
7. Korsvalidering – pröva reliabilitet i två eller fler sample
8. Begreppsvaliditet – har eller saknar testet samband med andra test
9. Samtidig eller prognostisk validitet – finns samband med kriterium nu eller i framtiden
10. Inkrementell validitet – visa att det nya testet ökar validitet i bedömning

Question 23

Vilken skala ska man välja?

Answer 23

Lämpligt antal steg?
Jämt eller ojämnt antal?
Ankarvärden eller värden på alla skalsteg?
Ska det neutrala värdet vara i mitten på skalan?
Spelar siffrorna någon roll?
Ska man vända ordningen på några item?
Påverkar frågor varandra?

Question 24

Frågor att undvika

Answer 24

Ledande frågor
Tvetydiga frågor
Fler frågor i samma fråga
Frågor som förutsätter speciell kunskap
Krångligt språk
Långa frågor med flera led/ komplexa frågor
Nedlåtande frågor
Negationer

Question 25

Vad ska man tänka på vid val av items?

Answer 25

När man konstruerar ett test eftersträvar man redan från början stor interindividuell spridning
Detta uppnås genom att välja items som olika personer svarar på olika sätt – uppgifter som har varierande lösningsfrekvens
Syftet är att skapa dimensioner där samtliga items inom varje dimension bidrar till
homogenitet (mäter samma förmåga/färdighet)
kommunalitet (har gemensam varians)
Genom att studera effekten på reliabiliteten av att ändra antalet items kan man arbeta med att förbättra den
Ofta bra skapa fler items än man tänkt sig att använda och sedan reducera antalet och välja de som fungerar bäst

Question 26

Vad innebär standardisering?

Answer 26

Innebär att testet har utprövats i den population som den är avsedd för – ett representativt stickprov.
Är testpoängen normalfördelad har man beräknat medelvärde, standardavvikelse och korrelationer av intresse som beskriver testets egenskaper i den aktuella populationen.
Viktigt att det finns information om hur test standardiserats för att ta ställning till om hur rimligt det är att jämföra testpersonens resultat med normen.
Barntest: viktigt med normgrupper för olika åldrar

Question 27

Standardisering kan mer specifikt syfta på…

Answer 27

…att proceduren eller administrationen av mätmetoden är väldefinierad när det kommer till instruktioner, träning av intervjuare, testledare etc. Samt att alla relevanta detaljer för att utföra testningen på det avsedda sättet finns i en manual eller liknande. Viktigt att anpassa till språk och kultur vi översättning - mätmetoden ska vara relevant för de som ska svara på den.

Question 28

Viktigt att ta ställning till - översätta existerande test

Answer 28

Viktigt att ta ställning till
– Konceptuell ekvivalens – uppfattas fenomenet på samma sätt?
– Item ekvivalens – uppfattas enskilda item på samma sätt?
– Semantisk ekvivalens – betyder ett begrepp samma sak?
– Operationell ekvivalens – kan man fråga på samma sätt?
– Measurement equivalence – är de psykometriska egenskaperna desamma?
Testning av begriplighet
Eventuellt finns det kulturella skillnader som måste anpassas?

Question 29

Item Response Theory (IRT)

Answer 29

En modern testteori. Övergripande begrepp för ett antal olika modeller
I kursboken används exemplet Logististisk itemanalys
Latent trait models
Item responses/testsvar är observerade manifestationer av hypotetiska egenskaper, konstrukt eller attribut
Dessa modeller ger mer precis information om enskilda items

Question 30

Klassisk testteori (CTT)

Answer 30

Dominerat testkonstruktion det senaste århundradet
Många av de metoder vi diskuterat har utgått från denna teori
Det finns dock en rad problem med CTT, exempelvis att:
– Statistik för item och skalor är beroende av den grupp som testats
– Om skalan kortas eller item ändras behöver man utvärdera på nytt
– Varje item bidrar lika mycket till totalpoängen (om man inte viktar)

Question 31

En modern testteori

Answer 31

Vid testkonstruktion har klassisk testteori allt oftare kommit att kombineras med Item Response Theory (IRT).
Har fokus på enskilda items mätkvaliteter istället för testet som helhet.
Avancerade matematiska modeller används för att pröva samband mellan latenta (icke-observerbara) egenskaper och attribut och deras manifesta uttryck (observerbara svar, utfall och prestationer).

Question 32

Antaganden om IRT

Answer 32

Den latenta variabeln (exempelvis upplevd stress, en viss attityd eller färdighet) och testuppgifterna kan placeras längs ett kontinuum från låg till hög nivå – vi vill veta var individen befinner sig på detta kontinuum.
Den latenta variabeln utgår man ifrån är endimensionell och att det är denna latenta variabel/egenskap som reflekteras i varje testsvar.
Förutsatt att antagandena stämmer så beror skillnader i testsvar mellan olika individer på skillnader i den latenta variabeln.

Question 33

Lite om terminologi

Answer 33

Sannolikheten att man avger ett visst svar är relaterad till ett items svårighetsgrad (difficulty)
Ett svårt item besvaras korrekt bara av de som har mycket av egenskapen
En persons proficiency (färdighet) avgör vilket svar som väljs
Motsvarar hur mycket en person har av den latent variabeln
Både intelligens och depression ses båda som “färdigheter”
En persons förmåga, proficiency, betecknas theta (Θ)
Transformeras till ett värde som liknar z-värde
Genomsnittlig person Θ = 0
Kan varierera mellan ~ -3.0 to ~ +3.0
Även svårighet (b) transformeras på liknande sätt

Question 34

The Item Characteristic Curve

Answer 34

Beskriver relationen mellan en persons färdighet (Ꝋ) och sannolikheten att man svarar “rätt”
Sannolikheteten 0,5 motsvarar 50% chans att man svarar “rätt”

Kurvan man får ut för ett enskilt item
X-axeln - individens färdighet som baseras på antalet rätt som en individ har totalt sett på en skala
Y-axeln - jämfört med sannolikheten att svara rätt
(se bild)

Question 35

Sannolikhet ICC

Question 36

Fördelar och nackdelar med IRT

Answer 36

Fördelar
Kan ge korta skalor med hög reliabilitet
Ger precisa estimat för varje item
Kan jämföra individer även om de svarat på olika item
Har använts mer inom folkhälsovetenskap och vid konstruktion av kunskapstest, men användning inom psykologi ökar.
– Exempel: SDQ har undersökts med IRT-ansats som visat att instrumentet trots sitt korta format (5 frågor/delskala) fångar olika problemdimensioner (Hagqvist, 2007)

Nackdelar
Svårt att beräkna med vanliga statistikprogram
Oklart om det alltid är värt det externa arbetet