Patikimumas Flashcards
Kas yra tikrasis įvertis? (keli apibrėžimai)
- Vidutinis įvertis, kurį gautų asmuo, jei testą atliktų begalybę kartų
- Įvertis, kurį gautų asmuo, jei nebūtų matavimo klaidų
- Tai testo įverčio dalis, kuri matuoja konstruktą
Iš ko sudeda testo įvertis?
Testo įvertis = tikrasis įvertis (viskas, ką turėtų testas matuoti) + matavimo klaidos (viskas, ko testas neturėtų matuoti)
Kokie matavimo klaidų šaltiniai? (grupės)
Matavimo klaidą lemia viskas, kas susiję su testu:
- Pats testas
- Testuotojas
- Aplinkybės
- Testuojamasis
Ar galima išmatuoti tikrąjį įvertį? Kodėl?
Ne
Nes tikrasis įvertis yra hipotetinis įvertis, kurį gautume, jei begalybę kartų pateiktume žmogui testą, ir šio turėtų neveikti matavimo klaidos, nors jos visada yra.
Kas yra patikimumas? (Keli apibrėžimai)
Testo charakteristika, kuri nusako:
- Kiek testo įvertis atspindi tikrąjį įvertį
- Kiek tiksliai testo įvertis atspindi matuojamą konstruktą
- Kiek panašūs įverčiai gaunami pakartojus testą
Kokia patikimumo koeficiento formulė?
Tikrojo įverčio dispersija / Testo įverčio dispersija
Koks visų patikimumo koeficientų pagrindas?
Koreliacija
Kokias vertes gali įgyti patikimumo koeficientai?
0 - 1
Ką rodo patikimumo koeficientas?
Kiek testo dispersijos yra dėl tikrojo įverčio?
Ar taisyklingiau sakyti, kad patikimas testas, ar patikimi testo įverčiai? Kodėl?
Patikimi testo įverčiai
Nes sakydami, kad patikimas testas, ignoruojame kontekstą, kuriame taikomas testas.
Ar instrumento patikimumas gali būti absoliutus?
Negali.
Visada gali atsirasti matavimo klaidos, todėl svarbu į jas atkreipti dėmesį, net jei patikimumo įverčiai geri.
Kas yra matavimo klaida?
Viskas, ko testas neturėtų matuoti.
Kokie matavimo klaidų plačiausi tipai?
Atsitiktinės ir sisteminės
Kokios atsitiktinių matavimo klaidų savybės?
Veikia tik kai kuriuos kintamuosius ir tik kai kada
Skirtingos kiekvieną matavimą (tiek to pačio individo skirtingi matavimai, tiek skirtingų individų)
Neprognozuojamos ir nenumatomos
Padidina įverčių išsibarstymą, bet nekeičia grupės vidurkio.
Paveikia ir validumą
Nėra didelė problema didelėj imty, nes atsitiktinės klaidos viena kitą sumažina.
Kokios sisteminių matavimo klaidų savybės?
Veikia visus tyrimo dalyvius ir visada (vienodos matuojant tiek tą patį individą kelis kartus, tiek skirtingus individus)
Lengviau numatomos, bet sunkiau kontroliuojamos
Keičia grupės vidurkį
Kokie matavimo klaidų šaltiniai, kylantys iš pačio testo? Pateikite pavyzdžių
- Turinio heterogeniškumas: neišgrynintas konstruktas (pvz.: su soc. uždarumu matuoja ir neurotiškumą, nors neturėtų)
- Turinio klaida: blogai parinktos užduotys (pvz.: galima atsakyti į testo klausimą, tik jei visas išnašas paskaitai iš vadovėlio)
- Teiginiu klaida: painios testo pateikimo instrukcijos (pvz.: testuotojas vieną kartą vienaip, kitą kartą kitaip pateikia instrukcijas)
- Teiginiu klaida: neaiški užduoties formuluotė (pvz.: ne visi žino, ką reiškia “stropus”)
- Bloga spausdinimo kokybė (pvz.: nesimato klausimo ar atsakymo dalies)
- Pasenusi testo medžiaga (pvz.: dar kalbama apie litus)
Kokie trys standartai lemia gerą įvertinimą?
Asmeniniai standartai: testuotojo kvalifikacija
Produkto standartai: testo kokybė, patikimumas ir validumas
Įvertinimo proceso standartai: praktika/politika
Kaip tarpusavyje siejasi trys standartai, lemiantys gerą įvertinimą?
Asmeniniai ir produkto:
- Geras testas be kvalifikuoto testuotojo nieko vertas
- Blogas testuotojas nežinos, kas yra geras testas
Įvertinimo proceso ir kt.
- Turi egzistuoti standartų politika, kuri remiasi testuotojais ir testais
- Standartų politikos negalim kurti be tinkamų testų ir kvalifikuotų testuotojų
Kokios dvi sąlygos renkantis testą?
- Tinkamas testo naudojimas: testuotojas turi kompetenciją naudoti ir daro tai etiškai (turi teisę naudoti)
- Testo tinkamos psichometrinės charakteristikos: patikimumas, validumas, standartizacija ir kitoss
Kokia testavimo situacija Lietuvoje?
- LT psichologai neabejoja savo kompetencijomis
- Taip pat naudoja testus be normų
- Mano, kad LT nėra gerų testų.
Kokios geram testuotojui privalomos žinios ir įgūdžiai?
- Testų konstravimo
- Psichometrikos (patikimumas ir validumas)
- Statistikos
- Testų atrankos
- Testų administravimo
- Rezultatų skaičiavimo ir interpretavimo
- Rezultatų pateikimo testuojamajam
- Etikos reikalavimų
- Tiriamo konstrukto ir srities žinių
Kas būdinga geriems testams?
- Jie patikimi
- Jie validūs
- Gerai atskiria grupes (diagnostikai/prognozei)
- Normos sudarytos reprezentatyvia imtimi
Kokie matavimo klaidos šaltiniai kalbant apie tyrėją?
- Užduočių pateikimas (nesilaikoma griežto aprašymo, kaip pateikti)
- Laiko matavimas (netiksliai matuoja)
- Grįžtamojo ryšio teikimas (suponuoja sprendimo būdą)
- Kontakto ypatumai (atrodo grėsmingas - blogesnė atliktis)
- Rezultatų skaičiavimas (neteisingai paskaičiuoja)
Kokie matavimo klaidos šaltiniai kalbant apie testavimo sąlygas?
- Laikas (pvz.: anksti ryte žmogus dar neprabudęs, todėl blogiau išlaiko)
- Aplinka (pvz.: triukšmas, dėl kurio blogiau išlaiko)
Kokie matavimo klaidos šaltiniai kalbant apie testuojamąjį?
- Nuotaika (pvz.: liūdnas - blogesnė atliktis)
- Nerimas (blogesnė atliktis)
- Motyvacija (gali atsakyti nenuoširdžiai, jei yra motyvuotas tai daryti)
- Fizinė būklė (pvz.: sloga - blogesnė atliktis)
- Nuovargis
- Dėmesys (pvz.: dėl nuovargio arba ADHD)
- Patirtis (pvz.: išmokimas praeito testo)
- Polinkis rinktis tam tikrus atsakymus (pvz.: labiau vidurinius nei kraštutinius)
Kaip didinti patikimumą?
Sumažinti arba eliminuoti matavimo klaidas
Kokie pagrindiniai patikimumo vertinimo būdai? (patikimumų tipai)
Pakartotinis testavimas
Paralelinių formų pateikimas
Dalijimas pusiau
Vidinis suderintumas (Cronbach alfa/KR-20)
Kelių vertintojų suderintumas
Kas yra pakartotinis testavimas?
Patikimumo įrodymo būdas, kai tas pats testas tiems patiems testuojamiesiems pateiktas du kartus per skirtingą laiko tarpą
Kaip matuojamas pakartotinis testavimas?
Koreliacija tarp pakartotinių matavimų:
- Pearson
- Intra-class (kai numanoma, kad skirsis)
Kokios sąlygos, kada taikomas pakartotinis testavimas?
- Matuojamas konstruktas yra stabilus - toks pats skirtingu laiku ir situacijose (pvz.: netinka emocijos)
- Testuojamasis pamirš savo atsakymus (nebus išmokimo)
Ar testo naudotojui svarbu kelti savo kvalifikaciją? Kodėl?
Taip, nes jis tiesiogiai atsako už tai, kokios kokybės testą naudoja.
Kodėl testo naudotojui reikia kompetencijos?
Kad galėtų įvertinti testo psichometrinius duomenis
Ir ar testas bus naudojamas tinkamai paskirčiai.
Kodėl pakartotiniame testavime antro testo rezultatai būna geresni nei pirmo?
- Išmokimas (išmoksta spręsti tokias užduotis)
- Atmintis (atsimena buvusio testo atsakymus)
- Brendimas (vidiniai pokyčiai per tą laiką)
- Mokymasis mokykloje (išmoksta kažką naujo)
- Intervencijos (pvz.: terapija pakeičia depresijos įverčius)
Kokiems testams labiau būdinga, kad pakartotinio testavimo antras testas geresnis nei pirmas?
Žinių ir gebėjimų nei asmenybės
Nuo ko priklauso pakartotinio testavimo patikimumo koreliacinis įvertis?
- Laiko intervalo tarp matavimų (kuo trumpesnis, tuo didesnė r)
- Imties ypatumų (didesnė ir įvairesnė imtis - didesnė r; šoninės reiškmės - mažesnė r)
Koks optimalus laiko tarpas tarp pakartotinių testavimų? Skirtingiems testams
Bendrai: 2 - 6 sav., max 6 mėn.
Asmenybės testų: 2 - 3 sav
Gebėjimų testų: 3 - 4 men. (IQ net 6 mėn)
Kokios problemos su pakartotiniu testavimu?
- Nubyrėjimas
- Žmogus pasikeičia (raida, mokymasis mokykloje, terapija, t.t., dėl kurių pakinta vertinamas konstruktas)
- Išmokimas (išmoktos sprendimų strategijos arba atsimenami atsakymai)
- Netinka laike greitai kintantys konstruktai
- Geras patikimumas pakartotinio testavimo būdu nereiškia matavimo tikslumo
Kokią matavimo klaidą apskaičiuoja pakartotinis testavimas?
Laiko pokyčių - kai matavimo klaida atsiranda dėl laiko pokyčių tarp matavimų (pvz.: išmokimas)
Kas yra paralelinių formų pateikimas?
Patikimumo įrodymo būdas, kai pakartotinai pateikiamas testas, su labai panašiu, bet ne identišku turiniu.
Gali būti iš karto vienas po kito, gali būti po laiko tarpo.
Kokių sąlygų reikia, kad testai būtų laikomi paraleliniais?
- Vienodo sunkumo užduočių
- Vienodos skiriamosios galios užduočių
- Vienodo testo ilgio
- Vienodo vidurkio ir standartinio nuokrypio
Kaip matuojamas patikimumas pagal paralelinių formų pateikimą?
Pearson koreliacija
Kokia prielaida remiasi paralelinių formų patiekimas?
Testuojamojo tikrasis įvertis bus toks pat nepriklausomai nuo formos, skirsis tik matavimo klaida
Kokie paralelinių formų pateikimo privalumai virš pakartotinio testavimo?
Išvengiama išmokimo (nes ne tokios pat užduotys)
Išlaikoma motyvacija (nes kitokie uždaviniai;
Tačiau pilnai neina išvengti šių problemų.
Kokie paralelinių formų pateikimo trūkumai?
Sukūrimas - brangus ir sudėtingas
Savotiškos matavimo klaidos skirtingoms formoms
Nuovargis testuojant vieną po kito
Matuojamas konstruktas pakinta testuojant po laiko.
Kas yra dalinimas pusiau?
Patikimumo įrodymo būdas, kai testas padalinamas į dvi ekvivalenčias dalis ir yra matuojama koreliacija tarp jų.
Testas pateikiamas žmogui vieną kartą.
Kaip matuojamas dalinimo pusiau patikimumas?
Pearson koreliacija tarp dviejų ekvivalenčių to paties testo dalių
Spearman-Brown korekcijos formulė naudojama
Kodėl dalinimo pusiau patikimume naudojamas Spearman-Brown korekcijos formulė?
Tam, kad matuojant koreliaciją būtų atsižvelgta į tai, kad testas patrumpėjo per pusę, nes esant mažesniam testui, koreliacija mažesnė, tačiau mes realiai testo nesumažinome.
Kokia yra dalinimo pusiau patikimumo prielaida?
Kad jei dvi dalys stipriai koreliuoja, tai tą patį testą pateikus du kartus, rezultatai taip pat stipriai koreliuos.
Koks dalinimo pusiau santykis su kitais patikimumo įrodymo metodais.
Naudojamas papildomai šalia pakartotinio testavimo
Kartais naudojamas vietoje paralelinio testavimo: viena pusė atliekama vienu metu, kita kitu metu.
Kokie dalinimo pusiau patikimumo privalumai?
- Leidžia taupyti resursus
- Išvengiama išmokimo
- Išvengiama matuojamo konstrukto pokyčių laike
Kaip padalinti testą į dalis, kai taikomas dalinimo pusiau patikimumo metodas?
- Pradžia/pabaiga
- Lyginės/nelyginės (pvz.: kai pradžios ir pabaigos sunkumas skiriasi)
- Dalinimas skalėmis (pvz.: neurotiškumo subskalė padalinta į dvi dalis, taip pat ekstraversijos, t.t.)
Kokie padalinimo pusiau patikimumo metodo trūkumai?
- Dalijimo pusiau patikimumas keičiasi priklausomai nuo to, kaip padalinam
- Kartais neina padalinti testą į dvi dalis.
- Sutrumpinam testą, todėl sumažinam jo patikimumą (taikomas Spearman-Browni)
- Negalim matuoti testų, orientuotų į greitį.
Kaip matuoti patikimumą testo, kuris orientuotas į greitį (teiginiai lengvi, bet skaičiuojama, kiek jų padarys per laiką)
Pakartotinis arba paralelinių formų testavimas.
Kokią matavimo klaidą matuoja dalinimo pusiau patikimumas?
- Turinio klaidos - kai matavimo klaidos atsiranda dėl testo turinio (pvz.: žinių testas iš išnašų neatspindės testuojamojo mokėjimo aprėpties)
- Turinio heterogeniškumo - kai teiginiai matuoja skirtingus konstruktus, nors turėtų matuoti tuos pačius
Kuris patikimumo įrodymo būdas yra pagrindinis?
Vidinis suderintumas
Kas yra vidinis suderintumas?
Patikimumo įrodymo būdas, kai gaunamas visų įmanomų dalijimo pusiau koeficientų vidurkis.
Testas pateikiamas vieną kartą.
Kaip matuojamas vidinis suderintumas?
- Cronbach alfa (koreguotas Spearman-Brown)
- Kuder - Richardson - 20: jei binariniai kintamieji.
Kodėl atliekamas vidinio suderintumo matavimas? (paaiškinti pačio metodo esmę)
Sumuojant teiginius eliminuojame matavimo klaidą.
Kuo geriau teiginiai matuoja tikrąjį įvertį, tuo jie geriau koreliuos tarpusavyje
Kokia vidinio suderintumo matavimo prielaida? Kas bus, jei ji pažeidžiama?
Kad visi teiginiai matuoja numatytą konstruktą, o ne kažką kitą.
Jei taip nėra (matuoja tokiu pat būdu), koeficientas gali būti aukštas, bet visi teiginiai matuoja ne tikrąjį įvertį, o tikrąjį įvertį su matavimo klaida (ypač jei <10 teiginių)
Ką rodo vidinis suderintumas?
Kaip tiksliai matuojame konstruktą.
Jei aukštas vidinis suderintumas, ar mes galime skaičiuoti bendrą testo įverčių sumą?
Ne, didelis vidinis suderintumas nerodo testo vienadimensiškumo.
Tai galime daryti tik atlikę faktorinę analizę.
Kaip matuoti vidinį suderintumą esant (intentionally) heterogeniškam turiniui?
Suskaidyti turinį į subskales ir matuoti jų vidinį suderintumą atskirai.
Kada naudojamas kelių vertintojų suderintumas?
Kai teste nėra vienareikšmiškai teisingo atsakymo (pvz.: projekcinės technikos, kūrybiškumas)
Kas yra kelių vertintojų suderintumas?
Patikimumo įrodymo būdas, kai to paties tiriamojo testo atsakymus vertina du ar daugiau nepriklausomų tyrėjų ir jų įvertinimas lyginamas
Kokie kelių vertintojų suderintumo matavimo būdai?
- Koreliacija tarp vertintojų įverčių
- Sutapimų procentas (neatsižvelgia į atsitiktinius sutapimus)
- Cohen’s kappa - atsižvelgia į atsitiktinius sutapimus.
Kokias matavimo klaidas galim numatyti patikimumo vertinimu, o kurių ne?
neteisingasklausimas
Kokia Cohen’s kappa yra pakankama?
0.4 - 0.6
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - skirtumai tarp vertintojų vertinimo?
Kelių vertintojų suderintumą
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - laiko pokyčiai
Pakartotinį testavimą
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - turinio klaidos?
Paralelinę formą arba dalijimo pusiau patikimumą
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - interitem inconsistency?
Dalijimo pusiau patikimumas arba vidinis suderintumas
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - interitem inconsistency ir turinio heterogeniškumo?
Vidinis suderintumas
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - laiko pokyčiai ir turinio klaidos?
Paralelines formas, matuojamas skirtingais laiko tarpais.
Kas yra turinio klaida (angl. content sampling error)?
Turinio klaidos – matavimo klaidos dėl testo turinio ar specifinių teiginių
(pvz.: testas matuoja tik 2/5 skyrių knygos, tada žmogus, kuris 40% moka turinio, gali gauti 100%, 0% arba 50%, nors moka tokį patį kiekį.)
Kas yra interitem inconsistency?
Matavimo klaidos, kai į teiginius, kurie turėtų matuoti tą patį, tas pats žmogus atsako labai skirtingai.
Gali kilti dėl turinio klaidos ar turinio heterogeniškumo
Pavyzdžiui.: žmogus į du teiginius, kurie abu turėtų matuoti ekstraversiją, atsako skirtingai
Kas yra turinio heterogeniškumas?
Matavimo klaidos dėl to, kad skirtingi teiginiai nematuoja to pačio konstrukto, o matuoja dar kažką.
Pvz.: netinkami teiginiai, kurie matuoja ne tik socialinę adaptaciją, kurią turėtų matuoti, o dar irneurotiškumą.
Bet jei testas buvo sukurtas matuoti heterogenišką turinį, tada tai nėra matavimo klaida
Pagal ką pasirinkti patikimumo matavimą?
Jeigu tik galime matuoti ir mums tinka: pakartotinis testavimas (greičio testams) arba vidinis suderintumas
Jei negalime rinktis šių - renkamės kitus testus pagal poreikį.
Nuo ko priklauso patikimumo reikalavimai?
Koks matuojamas konstruktas (gebėjimų testams reik didesnio nei asmenybės)
Teiginių/užduočių skaičius (daugiau teiginių, didesnis patikimumas)
Testo įverčio naudojimo tikslo (didesnis aukštos rizikos testuose)
Patikimumo vertinimo būdas (skiriasi tarpusavyje)
Imties dydžio, heterogeniškumo, pobūdžio (geriau didesnė ir heterogeniškesnė)
Kaip galima pagerinti patikimumą?
Jeigu testas gerai veikia, jo įverčiai ir taip bus geri.
Bet galima pagerinti šiais būdais:
- Vengti matavimo klaidų
- Ieškoti geresnių užduočių
- Aiškiai apibrėžti ir taikyti administravimo procedūras
- Didinti užduočių skaičių (bet ne identiškų)
- Didinti ir plėsti imtį.
Kas yra pasikliauties intervalas? (keli apibrėžimai)
Tai yra apatiniai ir viršutiniai įvertinimo rėžiai, į kuriuos, yra tikimybė (dažniausiai 0.95), patenka tikrieji testuojamųjų įverčiai.
Koks yra pasikliautinių intervalų taikymas?
Dviejų tiriamųjų rezultatų lyginimas
To pačio individo dviejų skirtingų testo rezultatų lyginimas
Kokiu atveju tiriamųjų testo rezultatai yra laikomi statistiškai reikšmingai vienodais arba skirtingais? Pagal pasikliauties intervalus
Vienodi - jei jų įverčių pasikliauties intervalai persidengia (pvz.: 20 - 24 ir 23 - 27)
Skirtingi - jei jų įverčių pasikliauties intervalai nepersidengia (pvz.: 20 - 24 ir 25 - 29)
Koks geriausias metodas lyginti du testo įverčius?
Standartinė skirtumų paklaida
Kas yra standartinė matavimo paklaida (SEM)?
Tai asmens testo įverčio vidutinis standartinis nuokrypis, jeigu žmogus testą išspręstų begalybę kartų.
Šios dispersijos vidurkis - tikrasis įvrtis.
Kaip paskaičiuoti pasikliauties intervalą?
SEM=SD\sqrt{1-r}
PI_a=X-1.96\ast SEM
PI_V=X+1.96\ast SEM
Kam naudojama standartinė skirtumų paklaida (SEdiff)?
Testo įverčių lyginimui:
- To pačio individo kelis skirtingų testų įverčius
- Skirtingų individų to pačio testo įverčius.
Kokios dvi patikimumo matavimo strategijos?
Vertinant pastovumą: koreliaciją tarp kelių matavimų (pakartotinis testavimas/paralelinių formų pateikimas)
Vertinant vidinį suderintumą (užtenka vieno matavimo)
Pakartotiniame testavime antro testavimo įverčiai dažnai geresni.
Kaip to išvengti?
Matuoti koreliacijas ne tarp pakartotinių testų įverčių, o rangų (ar tas pats žmogus išliks toje pačioje vietoje grupėje)
Kokie aspektai apsprendžia patikimumo įrodymo pasirinkimą? Duokite pavyzdžių
Konstruktas (emocijų testo negalim matuoti pakartotiniu testavimu)
Testo pobūdis (greičio testo negalim matuoti vidiniu suderintumu)
Tikslas (depresiją diagnozuojantiems testams reiks aukštesnio patikimumo)
Ar skirtingi patikimumo tipai susiję?
Taip
Kaip skiriasi interitem inconsistency ir turinio klaida?
Interitem inconsistency - kai į teiginius, kurie turėtų matuoti tą patį konstruktą, atsakoma labai skirtingai.
Turinio klaida - kai teiginiai, kurie atspindi konstruktą, blogai jį aprėpia, t.y., pasirinkti netinkami teiginiai.
