Testų ir klausimynų kūrimas + etika Flashcards
Kokie yra testo kūrimo etapai?
- Testo kūrimo pagrindimas
- Konstrukto, tikslinės grupės, paskirties ir naudotojo apibrėžimas
- Testo struktūros ir formos specifikacija
- Užduočių ir instrukcijų parengimas
- Užduočių išbandymas ir analizė
- Parengto testo patikimumo ir validumo tikrinimas
- Normų sudarymas
- Testo pristatymas ir leidyba
- Testo peržiūra ir naujas leidimas.
Kokie svarbiausi testo kūrimo pagrindimo aspektai?
- Būtinybė vertinti specifines individų grupes
- Siekis atliepti naujus teorinius samprotavimus ir empirinius faktus
- Siekis turėti kuo tikslesnius testo įverčius, remiantis kuriais būtų daromos pagrįstos išvados apie individą
Būtina įsitikinti, kad nėra tinkamo testo, kuris patikimai ir validžiai matuotų norimą konstruktą, norimoje populiacijoje, norimu tikslu.
Kokie svarbiausi testo taikymo srities ir tikslų pasirinkimo aspektai?
Ar taikomas:
- Klinikoje ar darbuotojų atrankai
- Lyginami individai tarpusavyje ar lyginami su standartu
- Vertinamas individas ar mokslinis tyrimas atliekamas
Kokie tikslinės populiacijos ypatumai, turintys įtakos testo administravimui ir atlikčiai
Amžius – vaikų atliktis prastesnė, jei ribojamas laikas. Vaikams sunkiau skaityti, sunkiau su smulkiąja motorika.
Skaitymo lygis – saviataskaitos testai kuriami nuo 11 m.
Negalės ir sutrikimai
Motyvacija nuoširdžiai atsakinėti
Kokie būna konstrukto apibrėžimų tipai? Pagal tai, kaip bus kuriami teiginiai/užduotys.
Teorinis - testas kuriamas remiantis teorija ir ankstesniais tyrimais
Empirinis - testas kuriamas remiantis tuo, kiek gerai koreliuoja užduotys su matuojamu konstruktu
Mišrus - testas kuriamas remiantis tiek teorija, tiek teiginių funkcionavimo ypatumais – čia empiriškumas ne tas pats, kas tiesiog empiriniame apibrėžime (nėra, kad tiesiog koreliuoja užduotys su matuojamu konstruktu), bet plačiau paaiškinti negaliu.
Kokie būna konstrukto apibrėžimai? Pagal paskirtį
Teorinis, konceptualus.
Operantinis, darbinis - kokie aspektai sudaro, kaip matuojamas
Kokie svarbiausi etapai konstrukto apibrėžimo etape?
Apibrėžti:
- Kokį konstruktą norime matuoti
- Kas yra žinoma (teoriškai, empiriškai) apie konstruktą
Kokie yra testo formos aspektai?
Individualiai ar grupėje administruojamas?
Popieriaus ir pieštuko ar kompiuterine?
Kas pildys atsakymus: testuojamasis, testuotojas, kitas žmogus?
Kokie yra testo struktūros aspektai?
Vienas vs keli įverčiai?
Ar skaičiuojamas bendras suminis įvertis?
Kokius išvestinius rodiklius dar numatyta skaičiuoti?
Ką reikia padaryti testo strūktūros ir formos specifikacijos etape? Kodėl?
Sukurti specifikacijos lentelę.
Ši padeda suprasti, ar dera testo konstrukto apibrėžimas ir testo turinys.
Ypač tinka žinių/pasiekimų testams.
Parodoma, kiek teiginių yra kiekvienam konstrukto aspektui padengti.
Kokie būna užduočių/teiginių tipai?
Objektyvūs vs subjektyvūs
Pasirenkamas iš pateiktų vs testuojamojo paties formuluojamas
Kokie atsakymo pasirinkimo iš pateiktų užduočių/teiginių tipo privalumai?
Lengviau, greičiau atsakoma -> daugiau užduočių -> geriau reprezentuojamas matuojamas konstruktas
Objektyvus vertinimas, mažiau klystama -> išvengiama tyrėjo klaidos
Išvengiama kai kurių veiksnių galimos įtakos testo įverčiams
Kokie atsakymo pasirinkimo iš pateiktų užduočių/teiginių tipo trūkumai?
Nelengva sugalvoti tinkamas atsakymų alternatyvas (daugiau laiko reikia)
Netinka visiems konstruktams (pvz.: kūrybiškumas)
Galimas spėliojimas ir atsitiktinis atsakinėjimas. Padeda alternatyvų skaičiaus didinimas.
Kokie testuojamojo paties formuluojamo atsakymo užduočių/teiginių tipo privalumai?
Lengviau kuriami nei uždari
Tinka vertinti sudėtingesnius kognityvinius gebėjimus (kūrybiškumą)
Išvengiama spėliojimo
Kokie testuojamojo paties formuluojamo atsakymo užduočių/teiginių tipo trūkumai?
Sunkiau atsakyti -> mažiau užduočių
Sunkiau vertinti; galima testuotojo klaida
Neišvengiama atsakinėjimo remiantis bendru išprusimu
Galima matavimo klaida dėl su konstruktu nesusijusių veiksnių (kalbos raiškos gebėjimas)
Kokie bendri užduočių/teiginių formulavimo principai?
Aiškūs trumpi nurodymai, kaip atsakyti
Kuo paprastesnis žodynas, sakiniai, nėra neiginių
Atsakymų alternatyvos visų ekspertų vertinamos kaip (ne)teisingos
Vengiama teisingą atsakymą suponuojančių formuluočių
Yra eiliškumas pagal formą ar sunkėjimą
Užd./teiginys pateiktas viename psl. (nepersikelia per du)
Atsižvelgiama į tikslinę populiaciją (aklumas pvz.)
Vengiama su konstruktų nesusijusių veiksnių matavimo
Lengvai skaitomas, aiškus šriftas, pakankami tarpai tarp eilučių
Nuo ko priklauso uždavinių/teiginių skaičius teste?
Turimas laikas (atrankos iki 15 min)
Testuojamųjų amžius (vaikai ar senoliai - iki 30 min; kiti iki 2-4h)
Individualus vs grupinis
Greičio (daugiau uždavinių ir paprasčiau) vs rezultato (sudėtingiau ir ilgiau).
Kas būdinga geroms pasirenkamų atsakymų užduotims
Klausimas aiškus, galima atsakyti be alternatyvų
3-5 trumpos alternatyvos (jei daugiau - mažesnė spėjimo tikimybė, sunkiau sugalvoti distraktorius)
Alternatyvų pateikimo tvarka
Vengti “visi teisingi”, “visada” ir pan.
Kokie būna pasirenkamų atsakymų tipai?
Klausimas vs nebaigtas sakinys (stemas);
vienintelis teisingas vs geriausias ats.
Kas būdinga geroms “teisinga-neteisinga” užduotims?
Nėra dvigubų teiginių
Nėra “visada”, “niekada”, “dažnai”, “kartais”.
Vienodas atsakymų dažnumas teisinguose ir klaidinguose teiginiuose
Teisingi ir klaidingi panašaus ilgio
Daugmaž vienodas skaičius teisingų ir klaidingų atsakymų
Kas būdinga geroms “atitikmens pasirinkimo” užduotims?
Nurodyta, kad kiekviena alternatyva gali būti panaudota vieną/kelis kartus/ visai nepanaudotą
Visos alternatyvos atstovauja tik vieną temą
Dešiniajame stulpelyje daugiau alternatyvų nei kairiajame
Alternatyvų formuluotės trumpos, neilgas sąrašas (5-8)
Apgalvota pateikimo tvarka (abėcėlė, data, pan.)
Kokie “esė” užduočių tipai?
Apriboto atsakymo (pasakyk teiginį, ok dar vieną, gana) vs neribojamo (kiek sako, tiek pasako).
Kas būdinga geroms “esė” tipo užduotims?
Trumpa, tačiau maksimaliai tiksli klausimo formuluotė
Iš anksto numatytos klausimo atsakymų vertinimo gairės.
apriboto atsakymo arba ne.
Kokie “esė” tipo užduočių trūkumai?
Subjektyvus vertinimas
Maža turinio aprėptis, o tokių klausimų daug užduoti negali
Imlios laikui, todėl vengtinos
Kaip atrodo “trumpo atsakymo” užduočių tipas?
Atsakant įrašomas žodis, frazė, skaičius.
Tarsi riboto atsakymo esė
Kas būdinga geram “trumpo atsakymo” užduočių tipui?
Užduoties formuluotė reikalauja trumpo atsakymo. Vienintelis atsakymas yra teisingas.
Geriau nebaigtas teiginys nei klausimas
Nebaigtas sakinys turi vieną tuščią vietą pildymui, geriausia teiginio pabaigoje.
Turi pakakti vietos įrašymui.
Vieta įrašymui visoms šio tipo užduotims vienodas ilgis
Iš anksto paruoštos atsakymų vertinimo gairės.
Kokios yra vienpolės ir dvipolės vertinimo skalės?
Vienpolės: atsakymas vieno polio (netiesa - iš dalies tiesa - tiesa)
Dvipolės: atsakymas tarp dviejų polių (aktyvus - 1 - 2 - 3 - 4 - 5 - pasyvus)
Kas būdinga geriems tipinės atlikties teiginiams?
Tipinės mintys, jausmai, elgesys, o ne (ne)teisingi faktai.
Viena mintis (Jausmas, elgesys) per teiginį
Tiek teigiami, tiek neigiami jausmai/elgesys
4 - 5 alternatyvos
Visos alternatyvos įvardijamos
Vengiama “niekada”, “visada”, “visas”.
Kiek reiktų sukurti užduočių/teiginių pirminiame testo kūrimo etape?
2 - 3 kartus daugiau nei žadame palikti
Ar gera mintis užduotis/teiginius kurti visiškai patiems?
Geriausia būtų pasitelkti srities ekspertus, išmanančius tikslinės populiacijos ypatumus
Kam reikia kurti testo instrukcijas kuriant testą? (Kokiems žmonėms)
Testuotojai
Testuojamam
Ką reiktų padaryti toliau, sukūrus užduotis/teiginius ir instrukcijas?
Išbandyti užduotis: pabandyti pabūti tiek testuotoju, tiek testuojamuoju (turėtų administruoti nepriklausomas tyrėjas)
Ką reiktų padaryti pirmą išbandžius užpildyti kuriamą testą?
Skaičiuoti balus: kelių testuojamųjų rezultatus ir vertintojų suderintumą.
Kokie yra užduočių/teiginių išbandymo ir analizės etapai?
Preliminarus tyrimas – labiau kokybinis, kultūrinis tinkamumas, suprantama formuotė, reakcija į trukmę, ilgį.
Bandomasis tyrimas
Ką darome preliminaraus tyrimo testo kūrimo metu?
Kokybinę užduočių analizę.
Kokia turi būti imtis ir jos dydis bandomojo tyrimo metu, kai kuriame testą?
Min 100.
Turi būti reprezentuojama tikslinė populiacija
Jau darysime kiekybinę analizę
Ką darome bandomojo tyrimo metu kuriant testą?
Statistinę analizę, leidžiančią įvertinti atskiros testo užduoties/teiginio efektyvumą, tinkamumą.
Kokią statistinę analizę darome bandomojo tyrimo metu?
Klasikinės testų teorijos:
- Užduoties sunkumą
- Užduoties skiriamąją galią
- Užduoties-testo įverčio koreguotą koreliaciją
- Alternatyvų pasirinkimo dažnį (distraktorių analizę)
Užduoties atsako teoriją
Kas yra užduoties sunkumas? (Pagal klasikinę testų teoriją)
Maksimalios atlikties užduotyje: kokia dalis imties pasirinko teisingą atsakymą
p = teisingai atsakę / visi atlikę
Tipinės atlikties užduotis: kokia dalis imties pasirinko konstruktą matuojančią alternatyvą – kad pažiūrėt, ar visi vienodai nesirenka.
Vertinimo skalėms:
p = teiginio vidurkis imtyje / (max-min) teiginio vertė
Kokia užduoties sunkumo vertė yra geriausia? (Pagal klasikinę testų teoriją)
Per daug lengvos arba sunkios užduotys yra neinformatyvios.
Geriausiai diferencijuoja p = 0.5 ± 0.2
Tačiau priklauso nuo
- testo paskirties (gebėjimų: 0.2 - 0.8)
- alternatyvų skaičiaus (daugiau bus mažesnis)
Kokia raide žymimas užduoties sunkumas?
p
Kas yra užduoties skiriamoji galia (Pagal klasikinę testų teoriją)
Kaip gerai užduotis diferencijuoja individus: žinančius/nežinančius; gebančius/negebančius, t.t. (maksimalioj);
pasižyminčius nuo nepasižyminčių – tipinėj atlikty
Kokia raide žymima užduoties skiriamoji galia?
D
Kaip bendrai skaičiuojama užduoties skiriamoji galia? (Pagal klasikinę testų teoriją)
D = pa - pž
A - didžiausius testo įverčius turintys
Ž - mažiausius testo įverčius turintys
pa - užduoties sunkumas A grupėje
pž - užduoties sunkumas B grupėje
Kaip skaičiuojama užduoties skiriamoji galia vertinimo skalės tipo užduotyse? (Pagal klasikinę testų teoriją)
D = (pa - pž )/max-min
p - užduoties sunkumas
Kaip skaičiuojama užduoties skiriamoji galia kriterijais grįstų testų užduotyse? (Pagal klasikinę testų teoriją)
D = p(above cut off) - p (under cut off)
p - užd sunkumas
Ką darome, jeigu reikia skaičiuoti užduočių skiriamąją galią greičio testų užduotyse? (Pagal klasikinę testų teoriją)
Neskaičiuojame
Koks yra grupių atskyrimo kriterijus skaičiuojant skiriamąją galią? Nuo ko tai priklauso?
10 - 33% geriausių/blogiausių
Geriausia - 27%
Priklauso nuo imties dydžio
Realistiškai imama nuo 0,4
Kokia yra gera užduoties skiriamoji galia? (Pagal klasikinę testų teoriją)
Kuo didesnė, tuo geriau.
Gerai: D > 0.3 - 0.4
Žinant užduočių sunkumą, kurios užduotys yra atrenkamos gebėjimų testuose? (Pagal klasikinę testų teoriją)
Suskirstome užduotis pagal sunkumą (nuo lengvų iki sunkių), tada atrenkame, kad būtų įvairaus sunkumo užduočių.
Ką mums pasako užduoties-testo koreliacija?
Tą patį, kaip ir skiriamoji galia: kaip konkreti užduotis gali atskirti gerai ir prastai testą atliekančius
Taip pat testo homogeniškumą: kuria dalimi atskira užduotis matuoja tą patį, ką ir visas testas
Koks statistinis kriterijus skaičiuojamas koreguotoje užduoties-testo koreliacijoje?
Pearson koreliacija tarp užduoties ir suminio testo įverčio (atėmus pačios užduoties įvertį)
Kokia yra minimali riba užduoties-testo koreliacijos, kad dar laikytume užduotį informatyvia?
0.2
Kas yra distraktorių analizė?
Kiek didžiausius (mažiausius) testo įverčius turinčiųjų grupėje yra pasirinkusiųjų kiekvieną alternatyvą
Kiek turėtų būti pasirenkama užduoties alternatyvų ?
Turi būti pasirenktas bent dalies testuojamųjų.
Mažiausius įverčius turinčių grupėje turėtų būti daugiau pasirinkusiųjų nei didelius įverčius turinčių
Kokie pagrindiniai užduoties atsako teorijos teiginiai?
Kiekvienas asmuo turi tam tikrą kiekį matuojamo latentinio bruožo
Latentinio bruožo įvertis nepriklauso nuo testo
Latentinis bruožas apsprendžia asmens tam tikro atsakymo tikimybę testo užduotyje
Kaip naudojama užduoties atsako teorija užduočių analizėje?
Piešiama ICC kreivė:
-x ašyje: bruožo išreikštumas
-y ašyje: tikimybė teisingai atsakyti
Kas yra b parametras?
teiginio sunkumas, teiginio X ašies reikšmė ICC kreivei, kuomet Y, tikimybė atsakyti teisingai, yra 50%.
Kas yra a parametras?
ICC pasvirimas linkio taške, jis nusako, kaip klausimas gerai diferencijuoja. Kuo statesnė tuo mažesnį gebėjimą turintį asmenį greičiau atmeta. Tuo geriau skiria gebančius nuo negebančių.
Turime dvi identiškas ICC kreivės, bet viena pasislinkusi į dešinę – ką tai reiškia?
Dešinioji kreivė – uždavinys yra sudėtingesnis, bet diskriminuoja vienodai.
Plokščia ICC kreivė ką parodo?
Parodoma, kad uždavinys/teiginys nediskriminuoja beveik pagal sunkumą – nesvarbu, dundukas ar nedundukas, atsakyt teisingai tikimybė panaši.
Ką reiškia TIF? Ka ji parodo? Kaip ją interpretuoti?
Testo informacijos kreivė.
Kiek informacijos testas suteikia kiekvienoje gebėjimų išraiškoje; kiek patikimai matuoja skirtingą gebėjimą turinčių asmenų gebėjimus.
Tose x vertėse, kur y reikšmė aukštesnė, ten geriau matuoja.
Kas yra ICC? Ką ji parodo?
Item Characteristic Curve
Rodo teiginio sunkumą ir skiriamąją galią
Teiginio sunkumas: x ašies reikšmė, kai y = 0.5
Teiginio skiriamoji galia: kreivės pasvirimas jos vidury; kuo statesnė - tuo geriau diferencijuoja