MERSKE KARAKTERISTIKE Flashcards
Katere so osnovne merske karakteristike? Kako jih razumemo?
Razumemo jih kot točnost merjenja. Pri vsakem instrumentu, ki ga izdelamo moramo misliti na njegove osnovne merske karakteristike:
- Veljavnost
- Zanesljivost - Objektivnost - Občutljivost
Veljavnost anketnega vprašalnika
Lastnost, da nam odgovori prinašajo prav tiste podatke, ki so nam potrebni. Meriti moramo točno to, kar smo imeli namen meriti.
Stavek na prvi pogled nelogičen. Z vidika sestavljala anketnih vprašanj je tako razmišljanje lahko preozko. Vedno se moramo postaviti v vlogo reševalca tega anketnega vprašalnika. Vprašanja morajo biti jasna, razumljiva, ne smejo biti sugestivna …
Pogosta napaka z vidika veljavnosti je spraševanje otrok o izobrazbi njihovih staršev. Ali pa če sprašujemo o nekih strokovnih tematikah. Odgovore bomo sicer dobili, ker je to v človekovi naravi, da odgovori, ni nujno pa da bodo odgovori ok.
Vprašalnik je veljaven, če so veljavna vprašanja, ki ga sestavljajo. Zato se moramo osredotočiti na vsako vprašanje posebej.
Takoj ko se pojavi nek dvom anketirancev, je takšno vprašanje že bistveno manj veljavno.
Veljavnost razumemo v nekem kontinuumu. Vmes je neka »paleta« od večje do manjše veljavnosti. Neke absolutne veljavnosti ni. Težimo k temu, da so vprašanja čim bolj veljavna.
Veljavnost testa
Z veljavnostjo mislimo na lastnost, da meri prav tisto, kar imamo namen z njim meriti, veljaven je toliko kolikor meri prav to.
Učitelj vedno misli, da meri to kar ima namen meriti. Vendar pa se mora vedno vprašati če je temu res tako. Vprašat se mora katero taksonomsko raven ima namen preverjati, če vprašanja ne ciljajo tega, potem vprašanja niso ustrezna.
Vsebinska veljavnost
- Je racionalna.
- Zanima nas oz. racionalno preverjamo ali je test vsebinsko primerno sestavljen, da bi mogel meriti tisto, kar želimo z njim meriti
- Veljavnost testa je treba presojati glede na to, kaj imamo z njim meriti.
- Šolski testi so veljavni za ocenjevanje znanja učencev, dijakov po obravnavi neke učne snovi. Niso pa veljavni recimo za maturitetne teste,
NPZ (torej testi, ki obsegajo neko širšo učno znanje)
Kriterijska veljavnost
➢ Testne rezultate koreliramo s kakšnimi drugimi rezultati (ocene pri
različnih preizkusih, ocena učitelja …)
➢ O takem kriteriju govorimo navadno kot o zunanjem kriteriju
veljavnosti.
➢ Kriterijska validacija je empirična.
➢ Izberemo si nek zunanji kriterij na podlagi katerega potem presojamo o
veljavnosti testa.
Konstruktna veljavnost
➢ Gre za to v kolikšni meri lahko testne rezultate interpretiramo kot odraz nekih konstruktov (npr. inteligentnost, ustvarjalnost ...) ➢ Tudi ta je empirična, ugotavljamo jo npr. s faktorsko analizo.
Zanesljivost anketnega vprašalnika, kako jo zagotovimo.
Vprašalnik je zanesljiv, če nam osebe pri ponovnem anketiranju z enakim vprašalnikom podajo odgovore na naša vprašanja enako kot pri prvem anketiranju.
Vprašalnik je zanesljiv, če so zanesljiva vprašanja, ki ga sestavljajo. Vendar pozor, če so zanesljiva, ni nujno da je veljavna!
Kako zagotovimo zanesljivost?
o Ponavljana metoda - Če anketiramo dvakrat, govorimo o ponavljalni metodi.
Pri ponavljalni metodi lahko preverimo stabilnost odgovorov na dva načina:
➢ V fazi preizkušanja
➢ S ponovitvijo definitivnega anketiranja na manjšem vzorcu (redkeje uporabljena metoda. Je pa metoda, ki viša metodološko kakovost raziskave)
o Kontrolna vprašanja
Postavimo vsebinsko sorodna vprašanja in potem primerjamo odgovore.
Zanesljivost testa
Pri ponovnem testiranju istih testirancev moramo dobiti znova enake rezultate. Zanesljivost preverjamo z različnimi koeficienti.
o Pearsonov korelacijski koeficient. - Korelacija mora biti pozitivna in dovolj močna. Kot dovolj močno štejemo korelacijo ki je večja ali enaka od 0,80.
Če dobimo visok rezultat zanesljivosti, to še ni zagotovilo, da meri test prav tisto, kar želimo z njim meriti (to nam pove veljavnost).
S katerimi metodami ocenjujemo zanesljivost testa?
o Retestna ali ponavljalna metoda (iste posameznike testiramo dvakrat z istim
testom in izračunamo Pearsonov korelacijski koeficient – dobimo koeficient stabilnosti. Da lahko govorimo, da je test zanesljiv mora biti njegove vrednost večja od 0,80)
o Metoda paralelnih oblik testa (test A in test B)(iste testirance testiramo dvakrat, vendar uporabimo paralelni obliki testa; izračunamo Pearsonov korelacijski koeficient – imenujemo ga koeficient ekvivalentnosti. Da lahko govorimo, da je test zanesljiv mora biti njegove vrednost večja od 0,80)
o Metoda lihih in sodih polovic (testiranci rešijo en test, ki ga naknadno razdelimo v dve polovici: eno sestavljajo naloge, ki so pod lihimi zaporednimi številkami, drugo pa naloge, ki so pod sodimi zaporednimi številkami; izračunamo Pearsonov korelacijski koeficient in dobimo koeficient homogenosti)
o Metoda analize notranje konsistentnosti
(homogenosti, skladnosti, doslednosti) testa (test razdelimo na toliko delov, kolikor nalog ima in računamo s pomočjo Kuder-Richardsonove formule)
o Cronbachov koeficient alfa (ne samo pri testih. Lahko tudi pri lestvici stališč uporabimo).
Kako izboljšati zanesljivost testa?
o Najprej se prepričamo, kako je z objektivnostjo. Neobjektiven test ne more biti dovolj zanesljiv.
o Pregledamo težavnost nalog. Srednje težke naloge praviloma višajo zanesljivost testa.
o Testne rezultate višajo zanesljivost testa.
o Testne rezultate korigiramo zaradi možnosti ugibanja.
o Test lahko podaljšamo.
Objektivnost anketnega vprašalnika
o Objektivnost je tem večja, čim manj oseba, ki razbira odgovore, spreminja informacije, ki jih odgovori vsebujejo (izključitev subjektivne presoje).
o To je enostavneje pri zaprtih odgovorih. Zaplete se pri odprtih odgovorih.
o Med in pred anketiranjem (sploh v živo), anketarji ne smejo vplivati na anketirance s npr. svojimi prepričanji …
Objektivnost testa
o Objektivnost izvedbe testiranja (na rezultate testiranja ne sme vplivati subjektivni faktor testiranja)
o Objektivnost vrednotenja odgovorov ali rešitev (različni ocenjevalci morajo enako ovrednotiti odgovore; naloge morajo biti oblikovane tako, da jih vsi testiranci razumejo enako)
o Objektivnost ierpretacije testnih rezultatov (interpretacija testnega rezultata ne sme biti odvisna od subjektivne presoje interpretatorja)
Občutljivost testa
- Test znanja je tem bolj občutljiv, čim manjše razlike v znanju posameznikov lahko z njim ugotavljamo. V test moramo vključiti različne naloge, od lažjih do težjih.
- Različno težke naloge
- Večja kot je razpršenost rezultatov, večja je občutljivost testa.
- Občutljivost testa je odvisna tudi od dolžine testa.
