Testo peržiūros modelis Flashcards

1
Q

Kaip žaliems/pirminiams balams suteikiama prasmė?

A
  • Normomis grįsta interpretacija (pagal tai, kokie referentinės grupės įverčiai)
  • Kriterijumi grįsta interpretacija (pagal empiriškai pagrįsta kriterijų)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Nuo ko turėtų priklausyti instrumento normų įvertinimas? (Nepaisant bendrų vertinimų)

A
  • Instrumento pobūdžio
  • Instrumento paskirties
  • Instrumento normų kokybės
  • Kokie sprendimai bus priimti pagal instrumentą
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Kokie svarbiausi aspektai nuo svarbiausio iki mažiausiai svarbaus, vertinant normų kokybę?

A
  1. Imties dydis
  2. Imties atrankos tipas
  3. Imties reprezentatyvumas
  4. Normų amžius
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Kodėl normuojant testus reikia didelio imties dydžio? Pateikite pavyzdį

A

Kad būtų pakankamai adekvatus kiekis imties galuose, kad testas pakankamai tiksliai galėtų įvertinti imties galų atliktį.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Koks yra mažiausias ir koks geriausias imties dydis normuojant testą? Klasikiniame normavime

A

Žemos rizikos testui: min. 200
Aukštos rizikos testui: min. 300

Tiek žemos, tiek aukštos rizikos testui: puiku 1000+

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Kuom tęstinis normavimas geresnis nei klasikinis?

A

Reikia mažesnio imties dydžio, kad būtų gaunamas panašus tikslumas

Pagal regresijos liniją galima paskaičiuoti tarpiniu grupiu normas

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Koks imties dydis minimalus ir geriausias normuojant pagal tęstinį normavimą?

A

Žemos rizikos: min. 8* 69
Aukštos rizikos: min. 8* 100

Abiejų geriausias: 8*150

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Kokie imties atrankų tipai?

A

Tikimybinė atranka: atsitiktinė, sisteminė, sluoksniuota, klasterinė

Netikimybinė atranka: patogioji, kvotinė, sniego gniūžtės, tikslinė

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Kokie tikimybinės atrankos tipai?

A

Atsitiktinė, sisteminė, sluoksniuota, klasterinė

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Kokie netikimybinės atrankos tipai?

A

Patogioji, kvotinė, sniego gniūžtės, tikslinė

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Kas yra atsitiktinė tikimybinė atranka?

A

Sukuriam atsitiktinių skaičių lentelę, paimam visą populiacijos sąrašą ir pagal tuos skaičius atrenkam žmones.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Kas yra sisteminė tikimybinė atranka?

A

Paimam populiacijos sąrašą ir išskiriam žmones pagal taisyklę.

Pvz.: atrenkam kas 10-ą sąrašo žmogų.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Kas yra sluoksniuota tikimybinė atranka?

A

Suskirstom populiaciją į grupes ir atrenkam atsitiktinai iš tų grupių.

Pvz.: universiteto studentus suskirstom į 1, 2, 3, 4-kursius; tada iš kiekvienos grupės atsitiktinai atrenkam.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Kas yra klasterinė tikimybinė atranka?

A

Suskirstom populiaciją į grupes, atsitiktinai atrenkam grupes ir iš jų paimam visus žmones į imtį.

Pvz.: universiteto studentus suskirstom į 1, 2, 3, 4 kursius; atsitiktinai išrenkam, kuriuos kursus tirsim, ir paimam visus asmenis iš atrinktų kursų.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Kas yra patogioji netikimybinė atranka?

A

Kai į imtį atrenkamas bet kas, ką randam

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Kas yra kvotinė netikimybinė atranka?

A

Imtį suskirstome į grupes, kurios atitinka populiacijos proporciją pagal tam tikrus kintamuosius, ir tada surenkame, kad užpildyti tas grupes.

Pvz.: populiacijoje 30 % vyrai ir 70% moterys, todėl renkame žmones, kad užpildytų 30 % vyrų ir 70% moterų.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Kas yra sniego gniūžtės netikimybinė atranka?

A

Kai imtis atrenkama paprašant asmenų dalyvauti ir, kad jie paprašytų kitų asmenų, kad šie paprašytų kitų asmenų ir t.t.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Kokia yra tikslinė netikimybinė atranka?

A

Kai imtis atrenkama pagal tam tikrą kriterijų

Pvz.: atrenkame tik depresija sergančius žmones

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Kokią imtį galima vadinti puikiai reprezentatyvia?

A
  • Imtis surinkta tikimybinės atrankos būdu
  • Imties kompozicija panaši į populiacijos pagal tam tikrus kintamuosius (pvz.: amžius, lytis, t.t.)
20
Q

Koks minimalus ir geriausias testo normų amžius?

A

Minimalus: < 20 (20 jau per daug)
Geriausias: < 10

21
Q

Kodėl instrumento normos pasensta?

A

Nes nebetinka laikotarpiui (pvz.: jau nebevažinėjama arkliais) arba žmonės pasikeičia pagal matuojamą konstruktą (IQ padidėja dėl Flyno efekto).

22
Q

Nuo ko labiausiai priklauso bendras normų įvertinimas?

A

Bendras balas negali būti didesnis už imties dydžio balą.

Jei netikimybinė atranka, geriausiu atveju tik adekvatus; ir tik kai imties kompozicija (pagal demografinius ar kitus kintamuosius) yra panaši.

23
Q

Kokiu atveju reikalaujamas didesnis patikimumas?

A

Kai sprendimai atliekami apie individą, ne grupes.

Kai aukštos rizikos sprendimai priimami.

24
Q

Kokiems testams negalime matuoti vidinio suderintumo?

A

Greičio testams

Heterogeniškoms skalėms

25
Kuris tikslesnis, vidinis suderintumas ar dalinimo pusiau metodas?
Vidinis suderintumas
26
Koks koeficientų (Cronbach alfa, KR-20 ar kitų) dydis vidiniam suderintumui vertinti minimalus ir geriausias?
Minimalus: 0.7+ Geriausias: 0.9+
27
Pagal kokius kriterijus vertinamas testo patikimumas? Testo peržiūros modelyje, kiekvienas tipas taip pat
Kiekvieno patikimumo tipo svarbus: - Imties dydis - Koeficientų dydis - Imties reprezentatyvumas
28
Koks minimalus ir geriausias imties dydis patikimumui matuoti? (skirtingų metodų)
Minimalus: 100+ Geriausias: daug tyrimų po 100+
29
Koks koeficientų dydis pakartotinio testavimo patikimumui vertinti minimalus ir geriausias?
Minimalus: 0.6+ Geriausias: 0.8+
30
Kokia informacija svarbiausia patekiant pakartotinio testavimo patikimumą?
Koks intervalas tarp pakartojimų.
31
Kokiems testams netinka patimimumo įrodymas pakartotiniu testavimu?
Greitai kintančių būsenų testams (pvz.: emocijų)
32
Koks koeficiento dydis minimalus ir geriausias paralelinių formų patikimumui?
Minimalus: 0.7 + Geriausias: 0.9+
33
Koks svarbus aspektas vertinant paralelinių formų patikimumą?
Ar formas tikrai galime laikyti paralelinėmis - ar vienodi: vidurkis, dispersija; ar geros koreliacijos tarp tų testų.
34
Kokiems testams netinka kelių vertintojų patikimumo vertinimas?
Jei nėra subjektyvių įvertinimų
35
Kokie būna kelių vertintojų patikimumo koeficientų tipai?
Sutapimo procentas (iš visų užduočių, kiek sutarta), Cohen's kappa (tas pats tik atsižvelgiama į atsitiktinumus), kt.
36
Kokie koeficientų dydžiai yra minimalus ir geriausias kelių vertintojų patikimumui?
Minimalus: 0.6+ Geriausias: 0.8+
37
Į ką reikia atsižvelgti vertinant, ar patikimumas pakankamai geras
- Apie individą didesnis, apie grupę mažesnis - Aukštos rizikos didesnis, žemos mažesnis - Kiek patikimumo tyrimų yra - Ar pateikti SEM - Standartizavimo imtis, vertintojų skaičius, intervalas tarp pakartotinio testavimo - Patikimumo tyrimų aiškumas
38
Kuris validumas svarbesnis, konstrukto ar kriterijaus?
Konstrukto (kriterinis tarsi prisideda prie konstrukto validumo)
39
Kaip patikimumas siejasi su validumu?
Jei aukštesnis patikimumas, aukštesnis ir validumas; jei žemesnis patikimumas - žemesnis validumas
40
Kokie konstrukto validumo įrodymo būdai?
- Tiriančioji faktorinė analizė - Patvirtinančioji faktorinė analizė - Teiginio-skalės koreliacijos - Ar yra faktorių struktūros skirtumai tarp grupių - Ar tokie patys skirtumai tarp grupių - Koreliacijos su kitais instrumentais, kurie matuoja tą patį. - MTMM - IRT
41
Kokiame intervale geriausias konstrukto validumo koeficiento dydis?
Minimalus: -Jei labai panašūs instrumentai: 0.6 -Jei labiau skiriasi instrumentai/laiko intervalas tarp jų: iki 0.55 Maksimalus: 0.9 - Jei didesnis, skalės per daug vienodos.
42
Koks imties dydis minimalus ir geriausias validumo tikrinimui? (visiems tipams)
Minimalus: 100+ Geriausias: daug tyrimų su 100+
43
Koks validumo tyrimo amžius adekvatus?
Priklauso nuo konstrukto, todėl nėra bendro rodiklio.
44
Kokie kriterinio validumo tipai?
- Po to numatantis - matuojantis kaip buvo anksčiau - Diagnostinis - priskiriantis tiriamąjį tam tikrai grupei čia ir dabar (diagnozės) - Prognostinis - prognozuojantis ateitį (akademinę sėkmę iš VBE)
45
Koks kriterinio validumo koeficiento dydis minimalus ir geriausias
Bendrai: - Minimalus: 0.2+ - Geriausias: 0.5+ BET: esant aukštos rizikos sprendimams reiktų didesnio (edukaciniam ar medicinos diagnozės kontekste: 0.8+)
46
Į ką atsižvelgti bendram kriterijaus validumo įvertinimui?
- Ar naudojamos teisingos analizės technikos - Ar standartizavimo imtis atitinka teste naudojamai imčiai - Imties dydis - Kokybė kriterinių instrumentų - Tyrimų amžius