1- Reliabilitet

Question 1

Hvorfor trenger vi Reliabilitet?

Answer 1

Alle tester er full av feil. Når vi bruker en test må vi stille krav til nøyaktighet og presisjon. Reliabilitet gjør at vi kan vite hvor stor grad av sikkerhet vi har- det er relevant når vi skal ta en avgjørelse innenfor psykologien.
Forskjell når du skal avgjøre om personen skal bli tatt fra barna sine og når du tar en personlighetstrekk.

Question 2

Hva er Reliabilitet (definisjon)

Answer 2

“Andelen av total varians i en skåre som kan tilskrives varians i sanne skårer”

=Konsistent og pålitelig resultat av skårer på et måleinstrument.

Question 3

Dersom vi hadde hatt perfekt reliabilitet, hva ville vi fått da?

Answer 3

Den som testes oppnår samme skåre på testen ved flere målinger under ellers like forhold. Perfekt reliabilitet= fravær av målefeil

Question 4

Hva er klassisk testteori?

Answer 4

T er det vi egentlig ønsker å måle, men skåren man får på en test antas å være forurenset av målefeil (e)

Question 5

Vi kan dele inn målefeil i to. Eksempeler på hver?

Answer 5

Usystematiske: Misforsto spørsmålet, surv, dagsform, feil hos administrator

Systematisk: løgn, bias hos testadministrator, testen favoriserer

Question 6

Hvilken antagelse har vi om målefeil i klassisk testteori?

Answer 6

Vi antar at målefeil er tilfeldige fordi det er vanskelig å fange opp de systematiske feilene.

Question 7

Hvordan kan vi gå frem for å vite personens sanne skåre?

Answer 7

Teoretisk må vi teste personen uendelig mange ganger, sann skåre vil være gjennomsnittet av alle oppnådde skårer. (ikke mulig i praksis)
I praksis må flere personer skåres på samme test (eller parallelle former av denne) en eller to ganger. Tar du testen en gang må du ha flere spørsmål som spør om det samme begrepet slik at vi kan beregne reliabiliten.

Question 8

Hva er reliabilitetskoeffisienten et produkt av?

Answer 8

Question 9

Nevn alle måtene vi kan estimere reliabilitet.

Answer 9

Stabilitetstester
- Test-retest reliabilitet
-Alternativ form/paralelle former

Intern konsistensbaserte tester
-Split half reliabilitet
-Inter rater reliabilitet
-Inter item reliabilitet (Cronbachs alfa)

Question 10

Hva er stabilitetstester?

Answer 10

Estimerer reliabilitet. Relevant når vi skal måle stabile egenskaper. For stabilitet over tid/ulike versjoner av tester. Som feks IQ eller personlighet
En test nå og en om 1 år.

Question 11

Hva er test-retest? (stabilitetstester)

Answer 11

Man tester samme person to ganger ved ulike tidspunkt for å så korrelere svarene. Høy korrelasjon vil si høy reliabilitet. Feilkilder kan være at det har skjedd en reell endring, eller at man husker svaret fra sist gang

Question 12

Hva er alternativ form? (stabilitetstester)

Answer 12

Man tester samme person to ganger, men med litt ulike versjoner som egentlig måler det samme, feks eksamen v22 og h22. Feilkilder kan være at det har skjedd en reell endring, eller at man egentlig ikke måler det samme ved disse to ulike versjonene.

Question 13

Hva er Intern konsistensbasert tester?

Answer 13

Estimering av reliabilitet. Relevant når det vi skal måle ikke er stabilit over tid. Brukes for måling av en sumskåre på samme tidspunkt. Reliabilitet basert på kun en administrasjon av testen. Feks holdninger. Forutsetter at vi har flere indikatorer.

Question 14

Hva er inter-rater reliabilitet? (Intern konsistensbasert tester)

Answer 14

To eller flere personer obserververer samme person slik at vi har flere målinger samme “gang”. Ser om det er korrelasjon mellom disse.

Question 15

Hva er Split-halft? (Intern konsistensbasert tester)

Answer 15

Splitter testen i to. Forutsetter at du har flere indikatorer på det du skal måle. Lager sumskåre på de to delene (som er tilfeldig delt) og korrelerer de med hverandre. Så må du korrigere for at du kun har halve delen. (Spearman Brown korreksjon).
Gammel metode med flere ulemper.

Question 16

Du får en reliabilitet på .67. Hva betyr det?

Answer 16

67% av variasjonen i sumskårer tilskrives sann skåre. En del av variansen kan skyldes målefeil.

Question 17

Hvorfor er Cronbachs alfa bedre enn splif half?

Answer 17

Er den gjennomsnittlige reliabiliteten beregnet ut i fra alle mulige split-half kombinasjoner

Question 18

Hva er Inter rater reliabilitet alfa? (Intern konsistensbasert tester)

Answer 18

Summerer alle spørsmålene og målefeil til hver av de og summerer dissse.
Mange spørsmål/målinger på hver latente variabel. Beregnes ved Cronbachs alfa.
Viktig at de ulike spørsmålene korrelerer med hverandre, fordi om de ikke gjør det så måler de jo ikke det samme. (Trenger altså høy inter- item korrelasjon). Jo sterkere denne er desto bedre er reliabiliten.

=Vi trenger altså mange spørsmål på hver latente variabel og høy inter-rater
Får god reliabilitet fordi man i en test har målt den latente mange ganger.

Question 19

Hva er en latent variabel?

Answer 19

Det vi ønsker å måle. Kan ikke observeres direkte, men kan måles ved å spørre om observerte skårer. Feks at angst er latent variabel og “ofte redd” observert skåre. Også det samme som en faktor.

Question 20

Når det kommer til Cronbachs alfa har vi en ide om målefeil. Hva da?

Answer 20

Ideen er at målefeilene på hvert spørsmål er tilfeldig. Kanskje du overvurderer på et og undervurderer på et. Da vil til slutt målefeilene bli = 0. Har vi mange nok spørsmål/målinger på hver latente variebel så vil målefeilene bli mindre og mindre

Question 21

Hva inkluderer Cronbachs alfa i vurderingen sin?

Answer 21

Hvor sterkt spørsmålene korrelerer (inter-item-correlation), altså gjennomsnittlig korrelasjon
Hvor mange spørsmål er det (antall testledd)

Question 22

Hva er forutsetninger i klassisk testteori?

Answer 22

-Alle spørsmålene er like gode målinger av den latente variabelen(skjeldent i praksis)
-Hvert testledd skal se på som et repetert måling av den latente variablen
-Hvis hvert testledd måler den samme latente variabelen skal indikatorene korrelere med hverandre.
-Målefeil for hver indikator antas å være helt tilfeldig, derfor er ikke målefeilene korrelert mellom testleddene

Question 23

Kan man bruke inter-item correlasjons matrise for å se om noen spørsmål er dårligere enn andre?

Answer 23

Ja. Feks sp 7 her korrelerer dårligere enn de andre.

Question 24

Hva skjer med reliabiliteten når vi har flere testledd. Og hvorfor?

Answer 24

Den øker. Fordi mindre målefeil. Men nb vi bør ikke har for lange skalaer, fordi folk blir lei.

Question 25

Når alfa blir feks 0.96, hva kan det bety? Er det et mål å alltid ha den høyeste mulige alfaen?

Answer 25

At spørsmålene stilles nesten er helt like, bare små nøyanser. Kan være at du måler veldig snevert. Ikke alltid målet, kanskje vi stiller litt for like spørmsål. Det kommer an på hva du skal bruke den til.

Question 26

Hva kan være problemet ved for snevre spørsmål?

Answer 26

Fanger opp lite av det du prøver å måle.

Question 27

Kan vi være 95% sikre på at en skåre på 90 og en på 105 er ulike?

Answer 27

Fordi 4,98 gjelder for 1 standardavvik og vi er ute etter å finne 2 standardavvik må vi gange dette med to.
4,98 *2= 9,96
2
Svaret vi får er 9,96. Dette betyr at dersom to personer har mer enn 9,96 i forskjell, kan vi med 95% sikkerhet at de har en skåre som er forskjellig fra hverandre.