Psichometrika Flashcards
1
Q
Kas yra tikrasis įvertis? (keli apibrėžimai)
A
- Vidutinis įvertis, kurį gautų asmuo, jei testą atliktų begalybę kartų
- Įvertis, kurį gautų asmuo, jei nebūtų matavimo klaidų
- Tai testo įverčio dalis, kuri matuoja konstruktą
2
Q
Iš ko sudeda testo įvertis?
A
Testo įvertis = tikrasis įvertis (viskas, ką turėtų testas matuoti) + matavimo klaidos (viskas, ko testas neturėtų matuoti)
3
Q
Kokie matavimo klaidų šaltiniai? (grupės)
A
Matavimo klaidą lemia viskas, kas susiję su testu:
- Pats testas
- Testuotojas
- Aplinkybės
- Testuojamasis
4
Q
Ar galima išmatuoti tikrąjį įvertį? Kodėl?
A
Ne
Nes tikrasis įvertis yra hipotetinis įvertis, kurį gautume, jei begalybę kartų pateiktume žmogui testą, ir šio turėtų neveikti matavimo klaidos, nors jos visada yra.
5
Q
Kas yra patikimumas? (Keli apibrėžimai)
A
Testo charakteristika, kuri nusako:
- Kiek testo įvertis atspindi tikrąjį įvertį, o ne klaidas
- Kiek tiksliai testo įvertis atspindi matuojamą konstruktą
- Kiek panašūs įverčiai gaunami pakartojus testą
6
Q
Kokia patikimumo koeficiento teorinė formulė?
A
Tikrojo įverčio dispersija / Testo įverčio dispersija
7
Q
Koks visų patikimumo koeficientų pagrindas?
A
Koreliacija
8
Q
Kokias vertes gali įgyti patikimumo koeficientai?
A
0 - 1
9
Q
Ką rodo patikimumo koeficientas?
A
Kiek testo dispersijos yra dėl tikrojo įverčio
10
Q
Ar taisyklingiau sakyti, kad patikimas testas, ar patikimi testo įverčiai? Kodėl?
A
Patikimi testo įverčiai
Nes sakydami, kad patikimas testas, ignoruojame kontekstą, kuriame taikomas testas.
11
Q
Ar instrumento patikimumas gali būti absoliutus?
A
Negali.
Visada gali atsirasti matavimo klaidos, todėl svarbu į jas atkreipti dėmesį, net jei patikimumo įverčiai geri.
12
Q
Kas yra matavimo klaida?
A
Viskas, ko testas neturėtų matuoti.
13
Q
Kokie matavimo klaidų plačiausi tipai?
A
Atsitiktinės ir sisteminės
14
Q
Kokios atsitiktinių matavimo klaidų savybės?
A
Veikia tik kai kuriuos kintamuosius ir tik kai kada
Skirtingos kiekvieną matavimą (tiek to pačio individo skirtingi matavimai, tiek skirtingų individų)
Neprognozuojamos ir nenumatomos
Padidina įverčių išsibarstymą, bet nekeičia grupės vidurkio.
Paveikia ir validumą
Nėra didelė problema didelėj imty, nes atsitiktinės klaidos viena kitą sumažina.
15
Q
Kokios sisteminių matavimo klaidų savybės?
A
Veikia visus tyrimo dalyvius ir visada (vienodos matuojant tiek tą patį individą kelis kartus, tiek skirtingus individus)
Lengviau numatomos, bet sunkiau kontroliuojamos
Keičia grupės vidurkį
16
Q
Kokie matavimo klaidų šaltiniai, kylantys iš pačio testo? Pateikite pavyzdžių
A
- Turinio heterogeniškumas: neišgrynintas konstruktas (pvz.: su soc. uždarumu matuoja ir neurotiškumą, nors neturėtų)
- Turinio klaida: blogai parinktos užduotys (pvz.: galima atsakyti į testo klausimą, tik jei visas išnašas paskaitai iš vadovėlio)
- Teiginių klaida: painios testo pateikimo instrukcijos (pvz.: testuotojas vieną kartą vienaip, kitą kartą kitaip pateikia instrukcijas)
- Teiginių klaida: neaiški užduoties formuluotė (pvz.: ne visi žino, ką reiškia “stropus”)
- Bloga spausdinimo kokybė (pvz.: nesimato klausimo ar atsakymo dalies)
- Pasenusi testo medžiaga (pvz.: dar kalbama apie litus)
17
Q
Kokie trys standartai lemia gerą įvertinimą?
A
Asmeniniai standartai: testuotojo kvalifikacija
Produkto standartai: testo kokybė, patikimumas ir validumas
Įvertinimo proceso standartai: praktika/politika
18
Q
Kaip tarpusavyje siejasi trys standartai, lemiantys gerą įvertinimą?
A
Asmeniniai ir produkto:
- Geras testas be kvalifikuoto testuotojo nieko vertas
- Blogas testuotojas nežinos, kas yra geras testas
Įvertinimo proceso ir kt.
- Turi egzistuoti standartų politika, kuri remiasi testuotojais ir testais
- Standartų politikos negalim kurti be tinkamų testų ir kvalifikuotų testuotojų
19
Q
Kokios dvi sąlygos renkantis ir administruojant testą?
A
- Tinkamas testo naudojimas: testuotojas turi kompetenciją naudoti ir daro tai etiškai (turi teisę naudoti)
- Testo tinkamos psichometrinės charakteristikos: patikimumas, validumas, standartizacija ir kitoss
20
Q
Kokia testavimo situacija Lietuvoje?
A
- LT psichologai neabejoja savo kompetencijomis
- Taip pat naudoja testus be normų- Mano, kad LT nėra gerų testų.
21
Q
Kokios geram testuotojui privalomos žinios ir įgūdžiai?
A
- Testų konstravimo
- Psichometrikos (patikimumas ir validumas)
- Statistikos
- Testų atrankos
- Testų administravimo
- Rezultatų skaičiavimo ir interpretavimo
- Rezultatų pateikimo testuojamajam
- Etikos reikalavimų
- Tiriamo konstrukto ir srities žinių
22
Q
Kas būdinga geriems testams?
A
- Jie patikimi
- Jie validūs
- Gerai atskiria grupes (diagnostikai/prognozei)
- Normos sudarytos reprezentatyvia imtimi
23
Q
Kokie matavimo klaidos šaltiniai kalbant apie tyrėją?
A
- Užduočių pateikimas (nesilaikoma griežto aprašymo, kaip pateikti)
- Laiko matavimas (netiksliai matuoja)
- Grįžtamojo ryšio teikimas (suponuoja sprendimo būdą)
- Kontakto ypatumai (atrodo grėsmingas - blogesnė atliktis)
- Rezultatų skaičiavimas (neteisingai paskaičiuoja)
24
Q
Kokie matavimo klaidos šaltiniai kalbant apie testavimo sąlygas?
A
- Laikas (pvz.: anksti ryte žmogus dar neprabudęs, todėl blogiau išlaiko)
- Aplinka (pvz.: triukšmas, dėl kurio blogiau išlaiko)
25
Kokie matavimo klaidos šaltiniai kalbant apie testuojamąjį?
- Nuotaika (pvz.: liūdnas - blogesnė atliktis)
- Nerimas (blogesnė atliktis)- Motyvacija (gali atsakyti nenuoširdžiai, jei yra motyvuotas tai daryti)
- Fizinė būklė (pvz.: sloga - blogesnė atliktis)
- Nuovargis
- Dėmesys (pvz.: dėl nuovargio arba ADHD)
- Patirtis (pvz.: išmokimas praeito testo)
- Polinkis rinktis tam tikrus atsakymus (pvz.: labiau vidurinius nei kraštutinius)
26
Kaip didinti patikimumą?
Sumažinti arba eliminuoti matavimo klaidas
27
Kokie pagrindiniai patikimumo vertinimo būdai? (patikimumų tipai)
Pakartotinis testavimas
Paralelinių formų pateikimas
Dalijimas pusiau
Vidinis suderintumas (Cronbach alfa/KR-20)
Kelių vertintojų suderintumas
28
Kas yra pakartotinis testavimas?
Patikimumo įrodymo būdas, kai tas pats testas tiems patiems testuojamiesiems pateiktas du kartus per skirtingą laiko tarpą
29
Kaip matuojamas pakartotinis testavimas?
Koreliacija tarp pakartotinių matavimų:
- Pearson
- Intra-class (kai numanoma, kad skirsis)
30
Kokios sąlygos (prielaidos), kada taikomas pakartotinis testavimas?
- Matuojamas konstruktas yra stabilus - toks pats skirtingu laiku ir situacijose (pvz.: netinka emocijos)
- Testuojamasis pamirš savo atsakymus (nebus išmokimo)
31
Ar testo naudotojui svarbu kelti savo kvalifikaciją? Kodėl?
Taip, nes jis tiesiogiai atsako už tai, kokios kokybės testą naudoja.
32
Kodėl testo naudotojui reikia kompetencijos?
Kad galėtų įvertinti testo psichometrinius duomenis
Ir ar testas bus naudojamas tinkamai paskirčiai.
33
Kodėl pakartotiniame testavime antro testo rezultatai būna geresni nei pirmo?
- Išmokimas (išmoksta spręsti tokias užduotis)
- Atmintis (atsimena buvusio testo atsakymus)
- Brendimas (vidiniai pokyčiai per tą laiką)
- Mokymasis mokykloje (išmoksta kažką naujo)
- Intervencijos (pvz.: terapija pakeičia depresijos įverčius)
34
Kokiems testams labiau būdinga, kad pakartotinio testavimo antras testas geresnis nei pirmas?
Labiau žinių ir gebėjimų nei asmenybės
35
Nuo ko priklauso pakartotinio testavimo patikimumo koreliacinis įvertis?
- Laiko intervalo tarp matavimų (kuo trumpesnis, tuo didesnė r)
- Imties ypatumų (didesnė ir įvairesnė imtis - didesnė r; šoninės reikšmės - mažesnė r)
36
Koks optimalus laiko tarpas tarp pakartotinių testavimų? Skirtingiems testams
Bendrai: 2 - 6 sav., max 6 mėn.
Asmenybės testų: 2 - 3 sav
Gebėjimų testų: 3 - 4 men. (IQ net 6 mėn)
37
Kokios problemos su pakartotiniu testavimu?
- Nubyrėjimas
- Žmogus pasikeičia (raida, mokymasis mokykloje, terapija, t.t., dėl kurių pakinta vertinamas konstruktas)
- Išmokimas (išmoktos sprendimų strategijos arba atsimenami atsakymai)
- Netinka laike greitai kintantys konstruktai
- Geras patikimumas pakartotinio testavimo būdu nereiškia matavimo tikslumo
38
Kokią matavimo klaidą apskaičiuoja pakartotinis testavimas?
Laiko pokyčių - kai matavimo klaida atsiranda dėl laiko pokyčių tarp matavimų (pvz.: išmokimas)
39
Kas yra paralelinių formų pateikimas?
Patikimumo įrodymo būdas, kai pakartotinai pateikiamas testas, su labai panašiu, bet ne identišku turiniu.
Gali būti iš karto vienas po kito, gali būti po laiko tarpo.
40
Kokių sąlygų reikia, kad testai būtų laikomi paraleliniais?
- Vienodo sunkumo užduočių
- Vienodos skiriamosios galios užduočių
- Vienodo testo ilgio
- Vienodo vidurkio ir standartinio nuokrypio
41
Kaip matuojamas patikimumas pagal paralelinių formų pateikimą?
Pearson koreliacija
42
Kokia prielaida remiasi paralelinių formų patiekimas?
Testuojamojo tikrasis įvertis bus toks pat nepriklausomai nuo formos, skirsis tik matavimo klaida
43
Kokie paralelinių formų pateikimo privalumai virš pakartotinio testavimo?
Išvengiama išmokimo (nes ne tokios pat užduotys)
Išlaikoma motyvacija (nes kitokie uždaviniai;
Tačiau pilnai neina išvengti šių problemų.
44
Kokie paralelinių formų pateikimo trūkumai?
Sukūrimas - brangus ir sudėtingas
Savotiškos matavimo klaidos skirtingoms formoms
Nuovargis testuojant vieną po kito
Matuojamas konstruktas pakinta testuojant po laiko.
45
Kas yra dalinimas pusiau?
Patikimumo įrodymo būdas, kai testas padalinamas į dvi ekvivalenčias dalis ir yra matuojama koreliacija tarp jų.
Testas pateikiamas žmogui vieną kartą.
46
Kaip matuojamas dalinimo pusiau patikimumas?
Pearson koreliacija tarp dviejų ekvivalenčių to paties testo dalių
Spearman-Brown korekcijos formulė naudojama
47
Kodėl dalinimo pusiau patikimume naudojamas Spearman-Brown korekcijos formulė?
Tam, kad matuojant koreliaciją būtų atsižvelgta į tai, kad testas patrumpėjo per pusę, nes esant mažesniam testui, koreliacija mažesnė, tačiau mes realiai testo nesumažinome.
48
Kokia dalinimo pusiau sąsaja su pakartotinio matavimo patikimumu?
Kad jei dvi dalys stipriai koreliuoja, tai tą patį testą pateikus du kartus, rezultatai taip pat stipriai koreliuos.
49
Koks dalinimo pusiau santykis su kitais patikimumo įrodymo metodais.
Naudojamas papildomai šalia pakartotinio testavimo
Kartais naudojamas vietoje paralelinio testavimo: viena pusė atliekama vienu metu, kita kitu metu.
50
Kokie dalinimo pusiau patikimumo privalumai?
- Leidžia taupyti resursus
- Išvengiama išmokimo
- Išvengiama matuojamo konstrukto pokyčių laike
51
Kaip padalinti testą į dalis, kai taikomas dalinimo pusiau patikimumo metodas?
- Pradžia/pabaiga
- Lyginės/nelyginės (pvz.: kai pradžios ir pabaigos sunkumas skiriasi)
- Dalinimas skalėmis (pvz.: neurotiškumo subskalė padalinta į dvi dalis, taip pat ekstraversijos, t.t.)
52
Kokie padalinimo pusiau patikimumo metodo trūkumai?
- Dalijimo pusiau patikimumas keičiasi priklausomai nuo to, kaip padalinam- Kartais neina padalinti testą į dvi dalis.
- Sutrumpinam testą, todėl sumažinam jo patikimumą (taikomas Spearman-Browni)
- Negalim matuoti testų, orientuotų į greitį.
53
Kaip matuoti patikimumą testo, kuris orientuotas į greitį (teiginiai lengvi, bet skaičiuojama, kiek jų padarys per laiką)
**Pakartotinis** arba paralelinių formų testavimas.Bet tarpas turi būti pakankamas (3–4 mėn.)
54
Kokią matavimo klaidą matuoja dalinimo pusiau patikimumas?
- Turinio klaidos - kai matavimo klaidos atsiranda dėl testo turinio (pvz.: žinių testas iš išnašų neatspindės testuojamojo mokėjimo aprėpties)
- Turinio heterogeniškumo - kai teiginiai matuoja skirtingus konstruktus, nors turėtų matuoti tuos pačius
55
Kuris patikimumo įrodymo būdas yra pagrindinis ir geriausias?
Vidinis suderintumas
56
Kas yra vidinis suderintumas?
Patikimumo įrodymo būdas, kai gaunamas visų įmanomų dalijimo pusiau koeficientų vidurkis.
Testas pateikiamas vieną kartą.
57
Kaip matuojamas vidinis suderintumas?
- Cronbach alfa (koreguotas Spearman-Brown)
- Kuder - Richardson - 20: jei binariniai kintamieji.
58
Kodėl atliekamas vidinio suderintumo matavimas? (paaiškinti pačio metodo esmę)
Sumuojant teiginius eliminuojame matavimo klaidą.
Kuo geriau teiginiai matuoja tikrąjį įvertį, tuo jie geriau koreliuos tarpusavyje
59
Kokia vidinio suderintumo matavimo prielaida? Kas bus, jei ji pažeidžiama?
Kad visi teiginiai matuoja numatytą konstruktą, o ne kažką kitą.
Jei taip nėra (matuoja tokiu pat būdu), koeficientas gali būti aukštas, bet visi teiginiai matuoja ne tikrąjį įvertį, o tikrąjį įvertį su matavimo klaida (ypač jei <10 teiginių)
60
Ką rodo vidinis suderintumas?
Kaip tiksliai matuojame konstruktą.
61
Jei aukštas vidinis suderintumas, ar mes galime skaičiuoti bendrą testo įverčių sumą?
Ne, didelis vidinis suderintumas nerodo testo vienadimensiškumo.
Tai galime daryti tik atlikę faktorinę analizę.
62
Kaip matuoti vidinį suderintumą esant (intentionally) heterogeniškam turiniui?
Suskaidyti turinį į subskales ir matuoti jų vidinį suderintumą atskirai.
63
Kada naudojamas kelių vertintojų suderintumas?
Kai teste nėra vienareikšmiškai teisingo atsakymo (pvz.: projekcinės technikos, kūrybiškumas)
64
Kas yra kelių vertintojų suderintumas?
Patikimumo įrodymo būdas, kai to paties tiriamojo testo atsakymus vertina du ar daugiau nepriklausomų tyrėjų ir jų įvertinimas lyginamas
65
Kokie kelių vertintojų suderintumo matavimo būdai?
- Koreliacija tarp vertintojų įverčių
- Sutapimų procentas (neatsižvelgia į atsitiktinius sutapimus)
- Cohen's kappa - atsižvelgia į atsitiktinius sutapimus.
66
Kokia Cohen's kappa yra pakankama?
0.4 - 0.6
67
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - skirtumai tarp vertintojų vertinimo?
Kelių vertintojų suderintumą
68
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - laiko pokyčiai
Pakartotinį testavimą
69
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - turinio klaidos?
Paralelinę formą arba dalijimo pusiau patikimumą
70
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - interitem inconsistency?
Dalijimo pusiau patikimumas arba Cronbach alfa
71
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - interitem inconsistency ir turinio heterogeniškumo?
Vidinis suderintumas
72
Kokio reikia patikimumo matavimo, jei klaidos šaltinis - laiko pokyčiai ir turinio klaidos?
Paralelines formas, matuojamas skirtingais laiko tarpais.
73
Kas yra turinio klaida (angl. content sampling error)? Pateikite pvz
Matavimo klaidos dėl išrinkto testo turinio ar specifinių teiginių
(pvz.: testas matuoja tik 2/5 skyrių knygos, tada žmogus, kuris 40% moka turinio, gali gauti 100%, 0% arba 50%, nors moka tokį patį kiekį.)
74
Kas yra interitem inconsistency? Pateikite pvz.
Matavimo klaidos, kai į teiginius, kurie turėtų matuoti tą patį, tas pats žmogus atsako labai skirtingai.
Gali kilti dėl turinio klaidos ar turinio heterogeniškumo
Pavyzdžiui.: žmogus į du teiginius, kurie abu turėtų matuoti ekstraversiją, atsako skirtingai
75
Kas yra turinio heterogeniškumas? Pateikite pvz.
Matavimo klaidos dėl to, kad skirtingi teiginiai nematuoja to pačio konstrukto, o matuoja dar kažką.
Pvz.: netinkami teiginiai, kurie matuoja ne tik socialinę adaptaciją, kurią turėtų matuoti, o dar ir neurotiškumą.
Bet testas gali būti specialiai heterogeniškas (5 asmenybės subskalės), tada tai nėra matavimo klaida
76
Kokius geriausia pasirinkti patikimumo matavimo būdus?
Jeigu tik galime matuoti ir mums tinka:
- Pakartotinis testavimas (greičio testams)
- Vidinis suderintumas
Jei negalime rinktis šių - renkamės kitus testus pagal poreikį.
77
Į ką, nepaisant pačių koeficientų, reikia atsižvelgti vertinant patikimumą?
Koks matuojamas konstruktas (gebėjimų testams reik didesnio nei asmenybės)
Teiginių/užduočių skaičius (daugiau teiginių, didesnis patikimumas)
Testo įverčio naudojimo tikslo (didesnis aukštos rizikos testuose)
Patikimumo vertinimo būdas (skiriasi tarpusavyje)
Imties dydžio, heterogeniškumo, pobūdžio (geriau didesnė ir heterogeniškesnė)
78
Kaip galima pagerinti patikimumą?
Jeigu testas gerai veikia, jo įverčiai ir taip bus geri.
Bet galima pagerinti šiais būdais:
- Vengti matavimo klaidų
- Ieškoti geresnių užduočių
- Aiškiai apibrėžti ir taikyti administravimo procedūras
- Didinti užduočių skaičių (bet ne identiškų)
- Didinti ir plėsti imtį.
79
Kas yra pasikliauties intervalas? (keli apibrėžimai)
Tai yra apatiniai ir viršutiniai įvertinimo rėžiai, į kuriuos, yra tikimybė (dažniausiai 0.95), kad patenka tikrieji testuojamųjų įverčiai.
80
Koks yra pasikliautinių intervalų taikymas?
Dviejų tiriamųjų rezultatų lyginimas
To pačio individo dviejų skirtingų testo rezultatų lyginimas
81
Kokiu atveju tiriamųjų testo rezultatai yra laikomi statistiškai reikšmingai vienodais arba skirtingais? Pagal pasikliauties intervalus
Vienodi - jei jų įverčių pasikliauties intervalai persidengia (pvz.: 20 - 24 ir 23 - 27)
Skirtingi - jei jų įverčių pasikliauties intervalai nepersidengia (pvz.: 20 - 24 ir 25 - 29)
82
Koks geriausias metodas lyginti du testo įverčius?
Standartinė skirtumų paklaida
83
Kas yra standartinė matavimo paklaida (SEM)?
SEM nurodo, į kokį intervalą patektų tiriamojo rezultatai, jei tiriamasis darytų testą begalybę kartų.
Šios dispersijos vidurkis - tikrasis įvertis.
84
Kaip paskaičiuoti pasikliauties intervalą?
SEM=SD\sqrt{1-r}
PI_a=X-1.96\ast SEM
PI_v=X+1.96\ast SEM
85
Kam naudojama standartinės paklaidos skirtumas (SEdiff)?
Testo įverčių lyginimui:
- To pačio individo kelis skirtingų testų įverčius
- Skirtingų individų to pačio testo įverčius.
SEdiff (standartinės paklaidos skirtumas) leidžia pamatuoti, ar kai kurie gebėjimai stat. reikšmingai skiriasi.
86
Kokios dvi patikimumo matavimo strategijos?
Vertinant pastovumą: koreliaciją tarp kelių matavimų (pakartotinis testavimas/paralelinių formų pateikimas)
Vertinant vidinį suderintumą (užtenka vieno matavimo)
87
Pakartotiniame testavime antro testavimo įverčiai dažnai geresni.
Kaip to išvengti?
Matuoti koreliacijas ne tarp pakartotinių testų įverčių, o rangų (ar tas pats žmogus išliks toje pačioje vietoje grupėje)
88
Kokie aspektai apsprendžia patikimumo įrodymo pasirinkimą?
Duokite pavyzdžių
Konstruktas (emocijų testo negalim matuoti pakartotiniu testavimu)
Testo pobūdis (greičio testo negalim matuoti vidiniu suderintumu)
Tikslas (depresiją diagnozuojantiems testams reiks aukštesnio patikimumo)
89
Ar skirtingi patikimumo tipai susiję?
Taip
90
Kuo skiriasi interitem inconsistency ir turinio klaida?
Interitem inconsistency - kai į teiginius, kurie turėtų matuoti tą patį konstruktą, atsakoma labai skirtingai (realiai vidinio suderintumo priešingybė)
Turinio klaida - kai teiginiai, kurie atspindi konstruktą, blogai jį aprėpia, t.y., pasirinkti netinkami teiginiai (pvz.: matuojamas tik fluidinis intelektas, kai norim matuoti bendrą)
91
Kas yra konstruktas?
Bet kas, kas sukuriama žmogaus proto, bet negali būti tiesiogiai matuojama/stebima.
Testo matavimo kontekste - tai išvada, daroma pasitelkus testu
92
Kas yra validumas? Keli apibrėžimai
Laipsnis, kuriuo testas matuoja tai, ką numatyta išmatuoti.
Laipsnis, kuriuo teorija ir empiriniai įrodymai pagrindžia tam tikrą testo įverčio interpretaciją (pvz.: ar tikrai IQ prognozuoja studijų sėkmę?)
93
Kokia formuluotė tinkamesnė? Kodėl?
" Testas - validus"
"Testo įverčio interpretacija - validi"
"Testo įverčio interpretacija - validi"
Nes validumas neturėtų būti atsiejamas nuo konteksto. Jei sakome, kad testas validus, tai suponuoja, kad jis validus naudojant bet kokiame kontekste.
94
Kas yra validumo tikrinimas?
Procesas, atspindintis nuolatines pastangas (testo kūrėjų, mokslinikų ir naudotojų) rinkti įrodymus, grindžiančius siūlomas testo įverčių interpretacijas
95
Kokie yra nevalidumo šaltiniai?
Testu matuojama tik dalis norimo matuoti konstrukto (pvz.: tiria IQ, bet neištiria neverbalinių gebėjimų, tik verbalinius)
Testu matuojami gebėjimai/savybės, nesusiję su norimu matuoti konstruktu (pvz.: tiria neurotiškumą, bet kartu išmatuoja ir ekstraversiją)
Testuojamojo ypatumai, keičiantys/ribojantys galimus atsakymus (Pvz.: dėl nerimo prasčiau atlieka IQ testą)
Testo administravimas ir įverčių skaičiavimas (Pvz.: administruoja ne pagal reikalavimus)
Testo standartizcinė imtis (pvz.: nereprezentatyvi, maža)
Tiriamojo išmokimas
96
Koks santykis tarp validumo ir patikimumo?
Patikimumas - būtina validumo sąlyga (jei nepatikimas - nevalidus)
Pvz.: jei gaunami vis kitokie rezultatai, tai turbūt nebus tinkamai matuojamas konstruktas)
Patikimumas - nėra pakankama validumo sąlyga (gali patikimai matuoti ne tai, ką reikia)
Pvz.: matuojama galvos apimtis kaip intelekto matavimas - tiksliai (patikimai), bet neatspindi intelekto (nevalidi)
97
Kokie validumo tipai pagal tradicinį požiūrį?
Turinio validumas
Kriterinis validumas
Konstrukto validumas
98
Kas yra turinio validumas? Kokios jo dalys?
Kiek tinkamai testo turinys reprezentuoja matuojamą konstruktą:
- Turinio aprėptis: ar aprėpia visą konstruktą (pvz.: ar matuoja visas intelekto dimensijas, kurias turi matuot?)
- Užduočių relevantiškumas: ar iš viso matuoja reikiamą konstruktą (pvz.: ar iš viso matuoja intelektą, o ne kažką kitą)
99
Kas yra kriterinis validumas?
Kiek asmens testo įvertis yra susijęs su kitais jo veiklos rodikliais (t.y., kriterijumi)
Ryšių tarp testo įverčių ir kriterijaus įvertinimas.
100
Kas yra konstrukto validumas?
Kiek remiantis testo įverčiais galime daryti pagrįstas išvadas apie matuojamo konstrukto išraišką
(Pvz.: ar depresijos skalės aukšti įverčiai rodo, kad žmogui depresija)
101
Kokia šiuolaikinė validumo struktūros samprata?
Validumas yra nedalomas - nėra skirtingų validumo tipų.
Yra tik validumo įrodymo tipai.
102
Kokie validumo įrodymo tipai pagal šiuolaikinį požiūrį?
Kokius tradicinius validumo tipus jie atitinka?
Remiantis:
- Testo turiniu (turinio validumas)
- Atsakymo proceso analize (turinio ir konstrukto validumas)
- Vidine struktūra (konstrukto validumas)
- Ryšiais su kitų testų įverčiais (konstrukto validumas)
- Ryšiais su kitais kintamaisiais (kriterinis validumas)
- Testo įverčių skirtingose grupėse palyginimas (konstrukto validumas)
103
Kokie validumo vertinimo testo turiniu būdai?
- Ekspertų vertinimas (SPECIFIKACIJOS LENTELĖ)
- Psichologinis-loginis-lingvistinis metodas
- Statistiniai metodai
104
Kaip validumas vertinamas testo turiniu: ekspertų vertinimas?
Nepriklausomų ekspertų prašoma įvertinti, kiek atskiros užduotys matuoja konstruktą.
Lyginamas jų vertinimų atitikimas ir neatitikimas
105
Kaip validumas vertinamas testo turiniu: psichologinis-loginis-lingvistinis metodas?
Tiesiog įvertinama, ar teiginiai/užduotys aiškios: siekiama kuo suprantamiau, universaliau, aiškiau apibrėžti
Vertinamas teiginių sudėtingumas, sąsajos su specifine kultūra.
106
Kaip validumas vertinamas testo turiniu: statistinis metodas?
Matuojame:
- Užduoties-testo įverčio (koreguotą) koreliaciją (kiek koreliuoja užduotis su testu)
- Užduoties sunkumą
- Užduoties skiriamąją galią
- Užduočių atsakymų alternatyvų dažnį, jei dydis ranginis
107
Kokiems testams svarbus validumas, vertinamas testo turiniu pagal statistinį metodą (užduočių analizė)?
Testams, kurie diferencijuoja, pvz.: diagnostiniams.
108
Kas yra paviršinis/akivaizdus validumas? (angl. face validity)
Kiek neprofesionalaus asmens (pvz.: testuojamojo) akimis testas matuoja tai, ką turėtų matuoti.
109
Kodėl svarbus geras paviršinis validumas?
- Palankesnis testuojamojo požiūris į testą
- Didesnė motyvacija pildyti testą ir bendradarbiauti
- Gauti rezultatai labiau pripažįstami
Bet tai nėra actual validumas ir juo nesiremiama.
110
Kodėl paviršinis validumas - blogai?
Jei asmuo supranta, kas matuojama testu, tai gali taip pakreipti testo atsakymus, kad atitiktų jų tikslus (pvz.: kad geriau pasirodytų asmenybės teste)
111
Kas yra validumo įrodymas atsakymo procesais? (turinys/konstrukto)
Pateikite pvz. tokio validumo trūkumo.
Kiek testuojamojo veiksmai atliekant testo užduotis atspindi matuojamą konstruktą
Pvz.: žmogus teisingai išsprendžia uždavinį, bet aprašo netinkamai (VBE)
Pvz.: žmogus matematikos uždavinius išsprendžia tik dėl to, kad žino sprendimo algoritmą.
112
Kokie būdai įrodyti validumą atsakymo procesais?
- Interviu su testuojamuoju apie užduoties sprendimo procesą ir naudotas strategijas
- Elgesio rodiklių fiksavimas
- Klaidų analizė
113
Kas yra validumo įrodymas vidine testo struktūra?
Pateikite pavyzdį.
Kiek testo struktūra (užduočių tarpusavio ryšiai) sutampa su norimo matuoti konstrukto struktūra
T.y. ar testas turi tą pačią struktūrą, kurią teorija siūlo turėti
Pvz.: ar testo struktūra atitinka Didžiojo Penketo teorijos struktūrą.
114
Kokie būdai įrodyti validumą vidine testo struktūra?
- Faktorinė analizė (tiriamoji - ar išlenda faktoriai, žymimi teorijoje; patvirtinančioji - sukišam faktorius ir žiūrim ar tinka)
- Testo struktūros patvirtinimas skirtingose imties grupėse (jei neurotiškumas būdingesnis moterims, ar tai atsispindi teste)
- Vidinio suderintumo analizė - kiek skalės teiginiai koreliuoja su savo skale (turi su savo geriau nei sukitom)
- Divergentinis ir konvergentinis validumas
- multibruožų–multimetodų matrica
115
Kas yra validumo įrodymas remiantis testo įverčių ryšiais su kito testo įverčiais?
Kas jį sudaro?
Siekiama nustatyti testo ir tą patį konstruktą matuojančio kito testo įverčių reikšmingus ryšius.
Sudaro:
- Konvergentinis validumas (teigiami ryšiai)
- Diskriminantinis validumas (neigiami ryšiai)
116
Kas yra konvergentinis validumas? Duokite pavyzdį
Validumo įrodymo remiantis testo įverčių ryšiais su kito testo įverčiais tipas.
Kai siekiama nustatyti testo ir tą patį konstruktą matuojančio kito testo įverčių reikšmingus teigiamus ryšius
Pvz.: ar mūsų depresijos testas koreliuoja su kitu depresiją matuojančiu testu.
117
Kokia yra konvergentinio validumo tikrinimo sąlyga?
Kad testas, su kuriuo lyginama, validus ir patikimas
118
Ar gerai, jei konvergentinis validumas yra >0.9?
Ne, nes tada per daug panašios skalės.
O tai negerai, nes mums nenaudingos dvi vienodos skalės.
Tai tikėtinai turi būti nuo 0,55 (efpa) iki 0,9.
119
Kas yra diskriminantinis validumas? Duokite pavyzdį
Kai instrumentas, su kuriuo lyginame savo testą, matuoja kažką kitą, kas turėtų (empiriškai ar teoriškai) priešintis konstruktui, kurį matuoja mūsų testas
Pvz.: jei mūsų skalė matuoja ekstraversiją, ji turėtų prastai koreliuoti su introversijos skale.
120
Kas yra multitrait-multimethod matrix (MTMM)? Kam naudojamas?
Kai du ar daugiau konstruktų yra matuojami dviem ar daugiau testų.
Sukuriama koreliacijų matrica.
Naudojamas konvergentiniui ir diskriminantiniui validumui įvertinti.
121
Kaip nustatyti konvergentinį validumą MTMM metodu?
Tikrinama koreliacija, kurioje tas pats konstruktas matuojamas skirtingais būdais. Jis turėtų stipriai koreliuoti.
Taip pat turėtų geriau koreliuoti nei su kitomis savybėmis, matuotų tiek tuo pačiu, tiek kitais instrumentais.
pxy > HM ir HH
122
Kaip nustatyti diskriminantinį validumą MTMM metodu?
Skirtingi konstruktai, matuojami skirtingais metodais, tarpusavyje turėtų blogiau koreliuoti nei skirtinga savybė–toks pats instrumentas.....
(((((ARBA ta pati savybė–kitoks instrumentas.)))))))
HM>HH – diskriminantinis
rxy > HM arba HH. kai konvergentinis
(((rxx>rxy>HM>HH)))
123
Kaip nustatyti patikimumą MTMM metodu?
Koreliacija tarp tų pačių konstruktų, matuotų tais pačiais metodais
pxx
124
Kokią išvadą galime daryti, jeigu MTMM matricoje koreliacijos tarp skirtingų konstruktų, matuotų tais pačiais instrumentais, daug didesni nei tarp skirtingų konstruktų, matuotų skirtingais instrumentais?
Instrumentas turi didesnę matavimo paklaida
125
Kas yra validumo įrodymas testo įverčių testuojamųjų grupėse palyginimu? Pateikite pavyzdį.
Siekiama nustatyti, ar testo įverčių grupėse (pvz.: amžiaus, lyties) palyginimas atspindės teoriškai numatytus ir empiriškai patvirtintus skirtumus
Pvz.: intelekto testo žali balai turėtų būti aukštesni jaunų suaugusiųjų nei vaikų)
Taip parodome, kad tikrai matuojame konstruktą, kurį norime matuoti.
126
Minimalus teiginio svoris faktoriuj
0,4
127
Kas yra validumo įrodymas, remiantis testo įverčių ryšiais su kitais kintamaisiais?
Kaip jis skirstomas?
Pateikite pavyzdį
Kiek asmens testo įvertis yra susijęs su kitais jo veiklos rodikliais, t.y., kriterijumi. Bet ne konvergentinis validumas čia.
Pvz.: kaip testuojamojo VBE rezultatai siejasi su jo pažymiais universitete (prognostinis)
Skirstoma į:
- Diagnostinį (lyginama su kriterijumi dabar)
- Prognostinį (lyginama su kriterijumi ateityje
128
Kas yra diagnostinis validumas?
Kiek asmens testo įvertis siejasi su kitais jo veiklos rodikliais, t.y., kriterijumi, esamuoju laiku.
(Priešingai nei prognostinis, kuris matuojamas ateityje)
129
Kas yra prognostinis validumas? Pateikite pavyzdį
Kiek validžiai galime pagal testo įverčius prognozuoti ateities atliktį.
Nustatomas ryšys tarp testo įverčio ir būsimos veiklos rezultatų, t.y., kriterijaus.
Pvz.: kaip testuojamojo VBE rezultatai siejasi su jo pažymiais universitete
130
Kaip matuojamas diagnostinis validumas? Pateikite pavyzdį
Kontrastinių grupių metodu:
Testas taikomas priešingų grupių asmenims (pvz.: sergančiais ir nesergančiais depresija) ir nustatoma, kiek skiriasi dviejų grupių testo įverčiai.
Jei skiriasi, reiškia testas gali būti naudojamas diagnostiniais tikslais.
Pvz.: sergantys depresija gauna daug mūsų depresijos teste, o nesergantys - mažai.
131
Kaip matuojamas prognostinis validumas? Pateikite pavyzdį
Nustatomas ryšys tarp testo įverčio ir būsimos veiklus rezultatų, t.y., kriterijaus.
Pvz.: kaip testuojamojo VBE rezultatai siejasi su jo pažymiais universitete
132
Koks turėtų būti prognostinio validumo koeficientas, kad galėtume taikyti testą?
Mokyklinių pasiekimų apie 0.5
Darbo rezultatų apie 0.2 - 0.3
133
Kas svarbu tiriant validumą, remiantis įverčių ryšiais su kitais kintamaisiais?
(Kriterinį validumą)
- Kriterijus, kurį bandome prognozuoti/diagnozuoti, turi būti patikimas ir validus
- Testo įvertis ir kriterijus turi būti matuojami nepriklausomai (kriterijų testuotojai neturėtų žinoti matuojamo testo įverčių; ir atvirkščiai)
- Svarbu atskirties įverčio jautrumas ir specifiškumas
134
Kas yra atskirties įvertis (angl. cut-off)?
Pateikite pavyzdį.
Kur jis taikomas?
Mažiausias galimas testo balas, kurį asmuo, atlikęs testą, turi gauti, kad būtų atrinktas/pasirinktas
Pavyzdys: turi surinkti 27 ar daugiau taškus depresijos teste, kad būtų diagnozuota depresija; jei mažiau - nebus diagnozuota
Taikomas diagnostiniuose ir prognostiniuose testuose kaip sprendimo rodiklis (ar atrinksime, ar ne)
135
Kokie keturi parametrai apibūdina atskirties įvertį?
Trumpai apibūdinkite juos
Pagal atskirties įvertį:
Jautrumas - kaip gerai aptinkami individai, pasižymintys X savybe
Specifiškumas - kaip gerai aptinkami individai, neturintys X savybės
Teigiamos prognozės vertė - kiek iš tų, kurie buvo atrinkti kaip pasižymintys X savybe, iš tikrųjų ją turi.
Neigiamos prognozės vertė - kiek iš tų kurie buvo atrinkti kaip pasižymintis X savybe, iš tikrųjų jos neturi.
136
Kas yra (atskirties įverčio) jautrumas? Pateikite pavyzdį
Parametras, kaip gerai atskirties įverčio pagalba aptinkami individai, pasižymintys X savybe
T.y. koks procentas turinčių X savybę buvo atskirti kaip turintys ją
Pvz.: iš visų gabių vaikų, testas sugebėjo atrinkti 50% jų.
137
Kas yra (atskirties įverčio) specifiškumas?
Pateikite pavyzdį
Parametras, kaip gerai atskirties įverčio pagalba aptinkami individai, neturintys X savybės
T.y. koks procentas neturinčių X savybės buvo atskirti kaip neturintys jos
Pvz.: iš visų negabių vaikų, testas sugebėjo atrinkti 50% jų
138
Kas yra (atskirties įverčio) teigiamos prognozės vertė? Pateikite pavyzdį
Koks procentas individų, atrinktų kaip turinčių X savybę, iš tikrųjų ją turi
Pvz.: atrinko, kad 100 vaikų yra gabūs, bet tik 80 iš jų realiai gabūs, tai 80%
139
Kas yra (atskirties įverčio) neigiamos prognozės vertė? Pateikite pavyzdį
Koks procentas individų, atrinktų kaip neturinčių X savybės, iš tikrųjų jos neturi
Pvz.: atrinko, kad 100 vaikų yra negabūs, bet tik 80 iš jų realiai negabūs, tai 80%
140
Kaip apskaičiuojami atskirties įverčio parametrai? (jautrumas, specifiškumas, t.t.)
Jautrumas: aptiktų kaip turinčių ir turinčių X savybę / visų turinčių X savybę
Specifiškumas: aptiktų kaip neturinčių ir neturinčių savybės / visų neturinčių X savybės
Teigiamos prognozės vertė: aptiktų kaip turinčių X savybę ir turinčių ją / visų aptiktų kaip turinčių
Neigiamos prognozės vertė: aptiktų kaip neturinčių X savybės ir neturinčių jos / visų aptiktų kaip neturinčių
141
Kiek pageidautina klaidingų priskyrimų jautrumo/specifiškumo rodiklyje?
Ne daugiau 25% klaidingų priskyrimų.
142
Ar galima lyginti testų rezultatus vieno individo kai instrumentai skirtingi?
Ta pati norminė imtis
Tie patys matavimo vienetai/balai
Tas pats M ir SD
143
Kaip brėžiama ROC kreivė? Kaip interpretuoti ją? Kam ji naudojama?
X ašis - true negative ir false positive
Y ašis - true positive ir false negative
Kuo didesnis plotas apimtas - tuo geriau
Atsirinkti geriausią atskirties įvertį pagal tai, koks jautrumo ir specifiškumo santykis mums tinka. Galima rinktis jautrumo/specifiškumo santykį.
144
Jeigu testas yra validus, ar galime jį naudoti bet kokiame kontekste?
Ne, interpretaciją pagal testo įverčius galima atlikti tik tuose kontekstuose, kur ji yra empiriškai pagrįsta
Pvz.: ar galime ADHD vaikų depresiją išmatuoti tuo pačiu testu, kuris skirtas bendrai populiacijai?
145
Koks minimalus pageidautinas jautrumas arba specifiškumas
75%
146
Kas yra žalias/pirminis balas (angl. raw score)?
Suminis testo įvertis (pvz.: teisingai išspręstų užduočių kiekis; laikas, per kurį atliko; t.t.)
147
Ar žalias/pirminis balas iš savęs interpretuojamas? Kodėl?
Ne.
Iš savęs jis nieko nereiškia, kol nežinom, koks yra kriterijus ar kokius įverčius gavo kiti.
148
Kas yra standartinis balas? Kokiuose testuose jis būdingas? Kokie būna?
Individo atliktis, lyginama su kitų atliktimi.
Normose grįstuose testuose
z- balai; standartiniai balai, t balai, IQ, t.t.
149
Kokie įverčių tipai būdingi normomis ir kriterijais grįstiems testams?
Normomis: standartiniai balai (z-balai, t-balai, t.t.)
Kriterijais: teisingų atsakymų procentas, atskirties įvertis (išlaikė/ne; atrinktas/ne) , **standartu** grįstas įvertis.
150
Kokios normos minimalios ir tobulos? (Imties dydis, atranka, reprezentatyvumas, amžius)
- Pakankamas imties dydis (min 200 lowstake/300 highstake; geriausia 1000+)
- Tikimybinė atranka; iš bėdos - netikimybinė kvotinė
- Tikslinės populiacijos reprezentacija (pagal demografinius duomenis)
- Normų amžius (<20 m.)
- Standartinė administravimo procedūra + kompetentingi testuotojai
151
Kokie būna normų tipai? (additional)
Amžiaus (mokyklos klasės) normos: kokius įverčius gauna to amžiaus ar klasės žmonės.
Vietinės (local) normos: kokius įverčius gauna toje šalyje arba organizacijoje
Grupės normos: kokius įverčius gauna tam tikra lytis ar kt.
Specialiosios normos: kokius įverčius gauna tikslingai atrinkta imtis, pvz.: klinikinė.
152
Flynn efektas
Intelekto testų normos padidėja apytiksliai 3 IQ kas 10 metų.(M=100, SD=15).
153
Kokią informaciją svarbu pateikti testo leidėjams?
Visą informaciją, reikalingą testo naudotojui įvertinti testo normų tinkamumą, patikimumą ir validumą
154
Kaip interpretuoti z-balą?
Per kiek SD individo žalias balas yra nutolęs nuo imties žalių balų vidurkio
Vidurkis = 0
SD = 1
Linijinė transformacija
Z balai nepatogūs, nes su kableliais ir minusais, todėl vedam t, SB balus.
155
Kaip interpretuoti t-balą?
Vidurkis = 50
SD = 10
34 (5 procentilis) - 66 (95 procentilis)
156
Kaip interpretuoti IQ balą?
Dažniausiai vidurkis = 100, SD = 15
Bet kartais būna kitoks SD.
157
Koks pasiskirstymas procentais normaliojoje Gauso kreivėje?
Atsiminti: 2 ir 34 (50 - 34 - 2 = 14; o kita pusė kartojasi)
Po vieną SD: 0.1%, 2%, 14%, 34%; kartojasi kita pusė
34; 13,6; 2; 0,1.
158
Ką darome, jeigu žali balai nėra normaliai pasiskirstę?
Paverčiame ir normalizuotus standartinius balus - atliekame nelinijinę transformaciją.
Žalias balas --> suminis procentas --> suminė proporcija --> normalizuotas z balas.
159
Kas yra linijinė ir nelinijinė transformacija? Kokie jos pavyzdžiai?
Linijinė - įverčių pasiskirstymas išlieka toks pats, kaip žalių įverčių (z-balai; t-balai; SB; IQ)
Nelinijinė - įverčių pasiskirstymas pasikeičia nuo žalių įverčių (staninai, procentiliai)
160
Kaip interpretuoti stenainus?
Pasiskirstymas padalinamas į 9 dalis.
4; 5; 6 – vidury.
x = 5; SD = 2 (bet ne visai)
161
Kaip interpretuoti procentilius? Duokite pvz.
Koks procentas norminės imties dalyvių atliko testą taip pat arba blogiau.
Pvz.: 64 procentilis - 64% norminės imties dalyvių gavo tokį pat arba blogesnį įvertį; 36% atliko geriau.
162
Kodėl t-balai geriau nei z-balai?
Nes z-balai turi skaičius po kablelio ir yra neigiami, todėl juos gali būti sudėtinga interpretuoti
163
Kokie procentilių trūkumai?
Intervalai tarp procentilių nėra lygūs (taškų skirtumas tarp 90 ir 99 nėra lygus 50 ir 59)
Todėl tai nepalanku žinių ir gebėjimų lyginimui.
164
Kokie dar įverčiai yra panašūs į procentilius?
Kvartiliai: 1: 1-25%; 4: 76 - 99%
Deciliai: 1: 1-10%; 10: 91-99%
165
Kas yra klasės ekvivalentas? Kaip jį interpretuoti?
Tam tikrą klasę lankančių mokinių testo įverčių vidurkis/mediana.
Interpretacijos pvz.: 2 klasės mokinys skaito taip, kaip vidutinis 4 klasės mokinys.
166
Kokie klasės ekvivalento trūkumai?
- Dažnai neteisingai interpretuojama (pvz.: 2 klasės mokinys skaito kaip vidutinis 4 kl., bet tai nereiškia, kad jo protas kaip 4-oko)
- Neturi sąsajos su procentiliais
- Negalima lyginti kelių subtestų įverčių
- Tarp 4 klasės ir 6 klasės nebūtinai toks pats žinių skirtumas, kaip tarp 7 ir 9.
- Beprasmiškai siekiama, kad visi 6 turėtų 6-okų lygį.
167
Kaip žaliems/pirminiams balams suteikiama prasmė?
- Normomis grįsta interpretacija (pagal tai, kokie referentinės grupės įverčiai)
- Kriterijumi grįsta interpretacija (pagal empiriškai pagrįsta kriterijų)
168
Nuo ko turėtų priklausyti instrumento normų tinkamumo įvertinimas?
(Nepaisant tiesiog skaičiukų)
- Instrumento pobūdžio
- Instrumento paskirties
- Instrumento normų kokybės
- Kokie sprendimai bus priimti pagal instrumentą
169
Kokie svarbiausi aspektai nuo svarbiausio iki mažiausiai svarbaus, vertinant normų kokybę?
1. Imties dydis
2. Imties atrankos tipas
3. Imties reprezentatyvumas
4. Normų amžius
170
Kodėl normuojant testus reikia didelio imties dydžio? Pateikite pavyzdį
Kad būtų pakankamai adekvatus kiekis imties galuose, kad testas pakankamai tiksliai galėtų įvertinti imties galų atliktį.
171
Koks yra mažiausias ir koks geriausias imties dydis normuojant testą?
Klasikiniame normavime
Žemos rizikos testui: min. 200
Aukštos rizikos testui: min. 300
Tiek žemos, tiek aukštos rizikos testui: puiku 1000+
172
Kuom tęstinis normavimas geresnis nei klasikinis?
Reikia mažesnio imties dydžio, kad būtų gaunamas panašus tikslumas
Pagal regresijos liniją galima paskaičiuoti tarpiniu grupiu normas
173
Koks imties dydis minimalus ir geriausias normuojant pagal tęstinį normavimą?
Žemos rizikos: min. 8* 70
Aukštos rizikos: min. 8* 100
Abiejų geriausias: 8*150
174
Kokie imties atrankų tipai?
Tikimybinė atranka: atsitiktinė, sisteminė, sluoksniuota, klasterinė
Netikimybinė atranka: patogioji, kvotinė, sniego gniūžtės, tikslinė
175
Kokie tikimybinės atrankos tipai?
Atsitiktinė, sisteminė, sluoksniuota, klasterinė
176
Kokie netikimybinės atrankos tipai?
Patogioji, kvotinė, sniego gniūžtės, tikslinė
177
Kas yra atsitiktinė tikimybinė atranka?
Sukuriam atsitiktinių skaičių lentelę, paimam visą populiacijos sąrašą ir pagal tuos skaičius atrenkam žmones.
178
Kas yra sisteminė tikimybinė atranka?
Paimam populiacijos sąrašą ir išskiriam žmones pagal taisyklę.
Pvz.: atrenkam kas 10-ą sąrašo žmogų.
179
Kas yra sluoksniuota tikimybinė atranka?
Suskirstom populiaciją į grupes ir atrenkam atsitiktinai iš tų grupių.
Pvz.: universiteto studentus suskirstom į 1, 2, 3, 4-kursius; tada iš kiekvienos grupės atsitiktinai atrenkam.
180
Kas yra klasterinė tikimybinė atranka?
Suskirstom populiaciją į grupes, atsitiktinai atrenkam grupes ir iš jų paimam visus žmones į imtį.
Pvz.: universiteto studentus suskirstom į 1, 2, 3, 4 kursius; atsitiktinai išrenkam, kuriuos kursus tirsim, ir paimam visus asmenis iš atrinktų kursų.
181
Kas yra patogioji netikimybinė atranka?
Kai į imtį atrenkamas bet kas, ką randam
182
Kas yra kvotinė netikimybinė atranka?
Imtį suskirstome į grupes, kurios atitinka populiacijos proporciją pagal tam tikrus kintamuosius, ir tada surenkame, kad užpildyti tas grupes.
Pvz.: populiacijoje 30 % vyrai ir 70% moterys, todėl renkame žmones, kad užpildytų 30 % vyrų ir 70% moterų.
183
Kas yra sniego gniūžtės netikimybinė atranka?
Kai imtis atrenkama paprašant asmenų dalyvauti ir, kad jie paprašytų kitų asmenų, kad šie paprašytų kitų asmenų ir t.t.
184
Kokia yra tikslinė netikimybinė atranka?
Kai imtis atrenkama pagal tam tikrą kriterijų
Pvz.: atrenkame tik depresija sergančius žmones
185
Kokią imtį galima vadinti puikiai reprezentatyvia?
- Imtis surinkta tikimybinės atrankos būdu
- Imties kompozicija panaši į populiacijos pagal tam tikrus kintamuosius (pvz.: amžius, lytis, t.t.)
186
Koks minimalus ir geriausias testo normų amžius?
Minimalus: < 20 (20 jau per senas)
Geriausias: < 10
187
Kodėl instrumento normos pasensta?
Nes nebetinka laikotarpiui (pvz.: jau nebevažinėjama arkliais) arba žmonės pasikeičia pagal matuojamą konstruktą (IQ padidėja dėl Flyno efekto).
188
Nuo ko labiausiai priklauso bendras normų įvertinimas?
Bendras balas negali būti didesnis už imties dydžio balą – imties dydis yra svarbiausias kriterijus.
Jei netikimybinė atranka, geriausiu atveju tik adekvatus; ir tik kai imties kompozicija (pagal demografinius ar kitus kintamuosius) yra panaši.
189
Kokiu atveju reikalaujamas didesnis patikimumas?
Kai sprendimai atliekami apie individą, ne grupes.
Kai aukštos rizikos sprendimai priimami.
190
Kokiems testams negalime matuoti vidinio suderintumo?
Greičio testams
Heterogeniškoms skalėms (galim subskalėmis)
191
Kuris tikslesnis, vidinis suderintumas ar dalinimo pusiau metodas?
Vidinis suderintumas
192
Koks koeficientų (Cronbach alfa, KR-20 ar kitų) dydis vidiniam suderintumui vertinti minimalus ir geriausias?
Minimalus: 0.7+
Geriausias: 0.9+
193
Koks minimalus ir geriausias imties dydis patikimumui matuoti? (skirtingų metodų)
Minimalus: 100+
Geriausias: daug tyrimų po 100+
194
Koks koeficientų dydis pakartotinio testavimo patikimumui vertinti minimalus ir geriausias?
Minimalus: 0.6+
Geriausias: 0.8+
195
Kokia informacija svarbiausia pateikiant pakartotinio testavimo patikimumą?
Koks intervalas tarp pakartojimų.
196
Kokiems testams netinka patikimumo įrodymas pakartotiniu testavimu?
Greitai kintančių būsenų testams (pvz.: emocijų)
197
Koks koeficiento dydis minimalus ir geriausias paralelinių formų patikimumui?
Minimalus: 0.7 +
Geriausias: 0.9+
198
Koks svarbus aspektas vertinant paralelinių formų patikimumą?
Ar formas tikrai galime laikyti paralelinėmis, t.y., ar vienodi:
- vidurkis
- dispersija
- ar geros koreliacijos tarp tų testų.
199
Kokiems testams netinka kelių vertintojų patikimumo vertinimas?
Jei nėra subjektyvių įvertinimų
200
Kokie būna kelių vertintojų patikimumo koeficientų tipai?
Sutapimo procentas (iš visų užduočių, kiek sutarta),
Cohen's kappa (tas pats tik atsižvelgiama į atsitiktinumus), kt.
201
Kokie koeficientų dydžiai yra minimalus ir geriausias kelių vertintojų patikimumui?
Minimalus: 0.6+
Geriausias: 0.8+
202
Į ką reikia atsižvelgti vertinant, ar patikimumas pakankamai geras
- Apie individą didesnis, apie grupę mažesnis
- Aukštos rizikos didesnis, žemos mažesnis
- Kiek patikimumo tyrimų yra
- Ar pateikta reikalinga informacija: SEM, Standartizavimo imtis, vertintojų skaičius, intervalas tarp pakartotinio testavimo
- Patikimumo tyrimų aiškumas
203
Kuris validumas svarbesnis, konstrukto ar kriterijaus?
Konstrukto (kriterinis tarsi prisideda prie konstrukto validumo)
204
Kaip patikimumas siejasi su validumu?
Jei aukštesnis patikimumas, aukštesnis ir validumas;
jei žemesnis patikimumas - žemesnis validumas
205
Kokie konstrukto validumo įrodymo būdai?
- Tiriančioji faktorinė analizė
- Patvirtinančioji faktorinė analizė
- Teiginio-skalės koreliacijos
- Ar yra faktorių struktūros skirtumai tarp grupių
- Ar tokie patys skirtumai tarp grupių
- Koreliacijos su kitais instrumentais, kurie matuoja tą patį.
- MTMM
- IRT
206
Kokiame intervale geriausias konstrukto validumo koeficiento dydis?
Minimalus:
-Jei labai panašūs instrumentai: 0.6
-Jei labiau skiriasi instrumentai/laiko intervalas tarp jų: iki 0.55
Maksimalus: 0.9
- Jei didesnis, skalės per daug vienodos.
207
Koks imties dydis minimalus ir geriausias validumo tikrinimui? (visiems tipams)
Minimalus: 100+
Geriausias: daug tyrimų su 100+
208
Koks validumo tyrimo amžius adekvatus?
Priklauso nuo konstrukto, todėl nėra bendro rodiklio.
209
Kokie kriterinio validumo tipai?
- Po to numatantis - matuojantis kaip buvo anksčiau
- Diagnostinis - priskiriantis tiriamąjį tam tikrai grupei čia ir dabar (diagnozės)
- Prognostinis - prognozuojantis ateitį (akademinę sėkmę iš VBE)
210
Koks kriterinio validumo koeficiento dydis minimalus ir geriausias
Bendrai:
- Minimalus: 0.2+
- Geriausias: 0.5+
BET: esant aukštos rizikos sprendimams reiktų didesnio (edukaciniam ar medicinos diagnozės kontekste: 0.8+)
211
Jei teste pakeiti užduočių eiliškumą, ar tai paralelinės formos?
Ne!
212
Vidinio suderintumo dydis priklauso nuo ko?
Teiginių kiekio teste
Tiriamųjų atsakymo dispersijos
213
Konvergentinio validumo minimalus įvertis
0,55
214
B balas yra kas?
Kokio sugebėjimo lygio reikia, kad žmogus į uždavinį atsakytų su 50 % tikimybe.
215
A parametras
Kampas kurį, icc kreivė sudaro su X ašim.
; kuo statesnė kreivė, tuo geriau diferencijuoja.
