Föreläsning Att mäta det omätbara

Question 1

Hur hittar man på frågor till ett frågeformulär?

Answer 1

Expertgrupp, existerande tester, hypoteser/ teorier => frågor till en “itembank”

Question 2

Vad innebär itemgenerering via kvalitativa studier?

Answer 2

Fånga alla aspekter av ett begrepp

Fånga de ordval som används av de man tänker använda frågeformulär på

Generera items utan förutfattade meningar

Question 3

Vilka olika svarsalternativ finns?

Answer 3

Dikotom
= två svarsalternativ

Polytom
= fler än två svarsalternativ

Jämt eller udda antal svarsalternativ?

Hur namnges svarsalternativen?

Ska mittenalternativet vara neutralt eller inte?

Question 4

Vad är bra items?

Answer 4

Är uppgifterna bra formulerade?

• Undvik frågor som kan tolkas på flera sätt
• Undvik frågor som innehåller flera led

Omfattar frågorna alla aspekter av begreppet som du önskar undersöka?

Kan svaret på frågorna antas påverkas av annat än det du vill mäta?

Question 5

Hur kan man testa sina items?

Answer 5

Svarsfrekvens
= finns det items som väldigt många inte svarar på?

Svarsutbredning
= finns det items som nästan alla svarar likadant på? detta ger inte så mycket information

Dimensionalitet
= mäter frågorna ett och samma bakomliggande koncept?

Faktoranalys

Reliabilitet

Question 6

Vad är en faktoranalys?

Answer 6

Faktoranalys är en statistisk metod som bygger på att leta efter underliggande faktorer som förklarar variationen i våra data

Forskare måste själv välja hur många faktorer han eller hon tror finns, samt namnge dessa

Question 7

Vad är reliabilitet?

Answer 7

Reliabilitet är ett mått på hur stor del av variationen i hur folk besvarar itemet som beror på att de verkligen är olika med avseende på det testet mäter

Question 8

Vad innebär högre reliabilitet?

Answer 8

Ju högre reliabilitet, desto större del av variationen i hur folk svarar på frågeformuläret beror verkligen på att de är olika

Reliabiliteten för ett idealt test är 1, men det är den aldrig i verkligheten

Question 9

Hur kan man höja reliabiliteten?

Answer 9

Desto fler items: desto högre reliabilitet

Question 10

Varför är reliabiliteten viktig?

Answer 10

Om reliabilitet är låg blir:

• Den maximala korrelatonen som är teoretiskt möjlig att uppnå också låg
• Det svårare att tolka förändringar i testpoäng, och konfidensintervallen blir bredare

Question 11

Vad kan reliabiliteten användas till?

Answer 11

Reliabiliteten kan användas för att förbättra testet genom att identifiera problematiska items

Question 12

Hur kan man undersöka empirisk reliabilitet?

Answer 12

Parallella tester
- Två tester mäter samma sak = använd korrelationen mellan dem som ett mått på reliabilitet

Test-retestreliabilitet
- Vi gör samma test 2 ggr på samma personer och korrelerar resultat från omgång 1 med omgång 2

Interbedämarreliabilitet
- Två oberoende bedömare bedömer samma testprestation och korrelerar deras bedömningar

Split half-reliabilitet

• Delar alla items i testet i två slumpvisa grupper och låtsas att det är två olika tester
• Sen korrelerar vi dem mot varandra

Cronbachs alfa

• Vanligaste reliabilitetsmåttet
• Beräknas utifrån hur varje item samvarierar med varje annat item

Question 13

Vad är itemsvårighet?

Answer 13

Två items som mäter samma egenskap kan vara bra på att mäta olika grader av egenskapen
= vi säger att de är olika svåra

En person som har mycket av egenskapen vi mäter säger vi har en hög förmåga

Question 14

När uppstår golv- respektive takeffekter?

Answer 14

Golv- respektive takeffekter kan uppstå när items är för svåra eller för lätta för populationen vi vill använda testet på

Question 15

Vad innebär validitet?

Answer 15

Validitet avser till vilken grad det finns stöd för att resultatet på ett test kan tolkas på det sätt som det avses

Validitet = testet mäter verkligen det som det ska

Question 16

Vad är begreppsvaliditet?

Answer 16

Är egenskapen vi vill mäta verkligen giltig?

Mäts ofta genom att man korrelerar testet till resultatet på andra tester som antingen mäter samma egenskap, eller mäter egenskaper som enligt teorin borde samvariera med den avsedda egenskapen på ett tänkt sätt

Question 17

Vad är innehållsvaliditet?

Answer 17

Ingår alla relevanta delar av begreppet vi vill mäta i testet?

Bedöms ofta av expertgrupper eller liknande, som granskar innehållets items

Question 18

Vad är kriterievaliditet?

Answer 18

Får personer som borde ha olika resultat på testet verkligen ha det?

Tar ett kriterium och jämför poängen på FCEI

Question 19

Vad är uppenbar validitet?

Answer 19

Verkar testet mäta det som det avser att mäta när man tittar på uppgifterna?

Om en lekman läser frågorna, tycker hon eller han att de är relevanta för det som testet avser mäta?

Frågor som verkar relevanta kan ge mer motiverade respondenter

Question 20

Vad finns det för systematiska svarsavvikelser?

Answer 20

Ja-sägande resp. nej-sägande

Vissa är mer eller mindre benägna att använda ytterlighetsalternativ

Differential item functioning:
- Items kan ha olika psykometriska egenskaper för olika grupper

Question 21

Vad innebär faking good?

Answer 21

Fakear att allt är bra

Stor risk om patienten har någon yttre motivation för att få ett visst resultat

Question 22

Vad är faking bad?

Answer 22

Fakear att allt är dåligt

Stor risk om det finns någon form av vinst för patienten att ha besvär

Question 23

Vad innebär test of memory malingering?

Answer 23

Testar om någon fejkar dåligt minne

Personer som fejkar hjärnskador presterar mycket sämre än de med verkliga hjärnskador