3. Testing og Måling Flashcards
Operasjonalisering?
Gjøre noe testbart:
Teoretisk begrep operasjonaliseres slik at det defineres i forhold til noen empiriske indikatorer.
Latent variabel?
Uobserverbare egenskaper som vi antar ligger til grunn og forårsaker de observerbare responsene.
Psykometri
Et felt som utvikler teori og verktøy får å tallfeste/måle psykologiske egenskaper.
Hva er en psykologisk test?
“En metode i psykologien som er karakterisert ved en standardsituasjon som forskjellige individer kan stilles overfor, og hvor man er interessert i de individuelle forskjeller i prestasjoner og reaksjoner»
Manifeste variabler?
Svarene vi observerer.
Hva kjennetegner en god psykologisk test?
- Reliabel
- Valid
- Klart i stand til å skille mellom individer
- Har et stort normgrunnlag
Hva beskriver reliabilitet?
Om et instrument oppfører seg på en forutsigbar måte, fri for tilfeldig målefeil.
• Er testen pålitelig?
->Er testen Reproduserbar?
->Er testen konsistent?
Hva er en tests validitet?
En betegnelse på hvor godt man klarer å måle det man har til hensikt å måle eller undersøke.
• Er testen gyldig?
○ Måler den det den er ment å måle?
○ Er testen et riktig uttrykk for det fenomen vi er opptatt av?
○ Forutsier testen det den var ment å skulle forutsi?
• Validitet er en egenskap ved tolkningen av en test.
Klassisk test-teori har som mål å forbedre psykologiske tester. Hva er grunnantagelsen i teorien?
Klassisk test-teori er basert på en antagelse som at de observerte skårene (Xi) består av en kombinasjon av en sann skåre (Ti) og en tilfeldig målefeil (ei). Xi=Ti+ei
Reliabilitet uttrykkes som et tall mellom 0 og 1. Hva er formelen for reliabilitet?
Reliabilitet=Varians i sanne skårer/Varians i observerte skårer
Hva kan reliabilitetsstesting avdekke?
Reliabilitetstesting kan avdekke usystematiske feil, mens systematiske feil vil bli kamuflert som en del av “den sanne skåre”.
Reliabilitetsteori baserer seg på to antagelser:
Antagelsen om at:
- Den sanne skåren endrer seg systematisk med det vi skal måle.
- Eventuelle feil er usystematisk( fravær av systematisk feil).
Hvordan estimere reliabiliteten? Ulike måter å forsøke å estimere ratioen av sann varians til feilvarians.
○ Test-retest reliabilitet ○ Reliabilitet til parallelle former ○ Splitt - half reliabilitet ○ Intern konsistens ○ Inter - rater reliabilitet
Hvordan teste Test-retest reliabilitet?
• Test hver person flere ganger og regn ut korrelasjonen mellom målene
○ Kanskje den enkleste tilnærmingen til reliabilitet, og den som ligger nærmest forståelsen av reliabilitet som reproduserbarheten av målinger.
○ Tilnærmingen som typisk brukes in naturvitenskapene.
• Problem: Retesten vil nødvendigvis påvirkes av første test.
Hvordan teste alternative (parallelle) former?
- Lag to parallelletester (like gode tester som måler samme egenskap).
- Administrer begge og bruk korrelasjonen som et estimat på reliabilitet.
• Problemer:
○ Veldig vanskelig å lage «like» tester, og vanskelig å avgjøre om to tester faktisk er like.
○ Som test retest: To tester administreres ikke samtidig. Kan det være reelle endringer mellom testtidspunktene?
Hvordan teste en test ved split-half reliabilitet?
- Testen deles i to og samvariasjonen mellom delene regnes ut. Er reliabiliteten høy er det grunn til å anta at testleddene i de to delene måler samme karakteristika.
- Hver av delene betraktes som likeverdige utgaver av testen.
•Fordel: testen baserer seg på en enkelt måling.
Hva er indre konsistens?
• En kompositt skåre må basere seg på ledd som “måler dets samme”.
○ Den mest kjente er Chronbach’s alpha Basert på gjennomsnittskorrelasjon og antall items.
○ Det har blitt standard å rapportere alpha i all psykologisk forskning der flere ledd er bruk for å måle et konstrukt.
○ En aplha på 0,7 (70%) blir betraktet som en akseptabel grense.
• En svakhet: hvis man inkluderer mange ledd i en test til alpha bli høyere fordi forskjellene vil nulle hverandre ut.
Hva er de ulike validitetsformene, som på ulike måtes teste om testen er valid?
- Face validitet (overflatevaliditet)
- Innholdsvaliditet
- Kriterievaliditet
- Begrepsvaliditet (construct-validity)
Hva er face validitet (overflatevaliditet)?
○ Referer til hvilken grad en på et mål på overflaten later til å måle hva det antar å måle
○ Problemer: ikke betraktet som et legitimt mål på validitet. At noe virker valid, betyr ikke at det er valid.
Hva er innholdsvaliditet?
Refererer til i hvilken grad et mål representerer alle fasetter av et gikk konstrukt.
○ Ofte vil høye nivåer av innholdsvaliditet føre til lavere intern konsistens.
○ Kurseksamen har innholdsvaliditet om alle deler av pensum er representer i eksamen.
Hva vil det si at en test har høy kriterievaliditet?
En test er kriterievalid hvis dens resultat predikerer atferd på andre mål på det samme fenomenet.
Hvis det er høyt samsvar mellom resultatene ved bruk av ulike operasjonelle definisjoner av det samme teoretiske begrep, sies det at kriterievaliditeten er høy.
Hva er de to formene for kriterievaliditet?
○ Samtidig validitet(concurrent validity): når en test korrelerer sterkt med et etablert mål.
○ Prediktiv validitet(predictive validity): tar opp testens evne til å forutsi prestasjoner.
Hva er en tests begrepsvaliditet (construct-validity)?
Om en test (konstrukt) måler det den er ment å måle (latent variabler).
Kan en test være valid uten å være reliabel?
Nei, en test kan være reliabel uten å være valid, men kan aldri være valid uten å være reliabel.
Hva vil det si at en test er sensitiv?
Sensitivitet henviser til andel av reelle positive tilfeller som blir korrekt identifisert.
○ Sensitivitet= (sanne positive)/sanne positive + falske negative.
Hva er en tests spesifisitet?
Spesifisitet beskriver andel av negative tilfeller som blir korrekt identifisert.
○ Spesifisitet = (sanne negative)/sanne negative + falske positive.
Hva menes med unidimensjonalitet?
Det er viktig at en test kun måler en enkelt egenskap.
○ Dersom den måler flere må disse skilles ut på spearate subskalaer. I psykologien er dette er aldri helt oppfylt i virkeligheten
Hva menes med range effekter, og når inntreffer de?
- Range effekter finner man når mange av skårene treffer variabelens øvre (tak) eller nedre grense (gulv)
- Dette kan inntreffe feks hvis en test er for lett eller for vanskelig. Eks IQ-test for barn på voksne.
En god test er:
- Reliabel
- Valid
- Har et stort og relevant normgrunnlag
- Unidimensjonal; måler én enkelt egenskap, eller skiller ulike egenskaper på forskjellige subskalaer.
- Har ikke gulv-/takeffekter.
- Minimerer observasjonseffekter
Hva menes med observasjonseffekter, og hvordan kan de unngås?
Observasjonseffekter er når deltagerne påvirkes av å bli observert og derfor oppfører seg annerledes enn de ellers ville ha gjort.
Tiltak mot reaktivitet og demand characteristics kan være:
• Blindet design: eksperimentator vet ikke hvem som er i kontroll/eksperimentgruppe
• Blindet og «bedrag»: deltagerne gis i tillegg ikke info om prosjektets hensikt
• Automatisering: alle deltagere for identisk instruks m.m. med f.eks. samme video
• Kontroll for ”impression management”: feks ”Jeg har aldri såret noen”,”Jeg har aldri løyet om noe”
