Faze eksperimentalne empirične raziskave Flashcards
Opredeli eksperimentalno empitično raziskavo
Pri tej raziskavi gre za to, da se preizkusi nekaj novega in se sistematično opazuje in meri dogajanje ali spremembe (učinek te »novitete«).
Gre za raziskavo, pri kateri se neka novost (eksperimentalni dejavnik/faktor/tretma) vnese v eno skupino (eksperimentalno), v drugo, podobno (kontrolno) skupino pa ne. V kontrolni skupini je kontrolni tretma.
Zakaj vnašamo neko novost? Z eksperimentom empirično preverjamo neko vnaprejšnjo deduktivno pridobljeno, dobro teoretsko podprto in verificirano (teoretsko preverjeno) hipotezo.
Eksperimentalna raziskava je način, kako neka teoretska izhodišča v praksi preverjamo Hipotezo deduktivno, torej iz splošnega na posamično izpeljemo iz obstoječe teorije. Zato pravimo, da je dobro teoretsko podprto in teoretsko verificirana. Če nas teorija prepričuje v nekaj, skušamo to to empirično preveriti in dokazati.
Hipoteza, ki jo z eksperimentom preverjamo, govori o večji učinkovitosti eksperimentalnega tretmaja v primerjavi s kontrolnim tretmajem.
Ko govorimo o eksperimentu je najbolj pogost eksperiment z eno eksperimentalno in eno kontrolno skupino,
Pogoji za pedagoški eksperiment
- Vnos »novosti« oz. namernega izzivanja, povzročanja pojava (akcijsko-manipulativni odnos raziskovalca – to pomeni da manipuliramo z raziskovalnim poljem)
- (Najpogosteje) vsaj dve, lahko pa tudi več primerjalnih skupin. - Randomizacija
Randomizacija
Pomeni razvrščanje oseb v primerjalne skupine na slučajnosti način. To pomeni, da ni nobenega kriterija za izbor enot v vzorec oz. eksperimentalno/kontrolno skupino.
Uporabljamo jo z namenom, da bi bile primerjalne skupine izenačene do slučajnostnih razlik glede vplivov/učinkov na kriterijsko (odvisno) spremenljivko, ki jih povzročajo relevantni dejavniki, vezani na osebe kot posameznike.
Randomizacija služi temu da dejavniki, vezani na posameznike nimajo učinkov na kriterijsko spremenljivko. Zaradi tega, ker sta v obeh skupinah različni učenci (z večjo motivacijo, bolj sposobni, boljši socialni položaj …). Te dejavniki se izničijo.
Slučajnostne razlike ne vplivajo na razlike primerjalnih skupin v rezultatih. Ob takšni izenačenosti skupin, ti vplivi/učinki (ki jih povzročajo relevantni dejavniki vezani na osebe kot posameznike) ne motijo eksperimentalnih izsledkov, ker ne vplivajo na razlike primerjalnih skupin glede rezultatov. Do teh rezultatov pridemo na instrumentih (na enem ali več njih), ki merijo učinke eksperimentalnih in kontrolnih tretmajev, ki prinašajo podatke za kriterijsko spremenljivko.
Randomizacija je učinkovita le, če so skupine dovolj velike.
Kaj je kriterijska spremenljivka?
o je tista spremenljivka za katero pričakujemo, da bo imel nanjo eksperimentalni dejavnik nek učinek. To je tista spremenljivka, ki jo v naši raziskovalni hipotezi predpostavimo kot odvisno od učinka našega eksperimentalnega dejavnika (tiste novosti, ki jo bomo vpeljali) (Npr. Center za poklicno izobraževanje se bi odločil, da izpelje neko eksperimentalno raziskavo, pri kateri bo v eksperimentalno skupino vnašal nek nov način dela z dijaki (nove metode, pristope). Za to so se odločili, ker teorija govori o tem, da je nek nov način dela bolj učinkovit od zdajšnjega. Ta nov način dela, recimo uvedba individualizacije pri praktičnem usposabljanju z delom, je eksperimentalni dejavnik/tretma, kontrolni tretma pa predstavlja delo po nekih ustaljenih načinih. V eksperimentalno skupino bi slušajnostno izbrali 300 dijakov, prav tako v kontrolno. Ti dijaki, bi se zelo razlikovali med seboj … Te razlike pripeljejo skozi randomizacijo do tega, da sta si skupini podobni. Ker sta si skupini podobni, te razlike ne motijo učinka na odvisno spremenljivko.
Kaj je tisto, kar nas v procesu izobraževanja zanima? Učinek česa, kaj želimo doseči? Izboljšati oz. pridobiti znanje.
Znanje je naš cilj, obenem pa je to v tem primeru tudi kriterijska spremenljivka. To znanje je potrebno izmeriti z nekimi preizkusi znanja. Točke na testu nam predstavljajo kriterijsko spremenljivko.
Primer
Slučajnostno izberemo enote v eksperimentalno skupino, recimo da je to 300 učencev. V kontrolno skupino izberemo prav tako 300 učencev. Učenci v prvi skupini, se bodo med seboj razlikovali, prav tako v drugi skupini. Razlikovali se bodo po učnih zmožnostih, po predznanju, po motivaciji, po aspiracijah, po delovnih navadah … Imeli bodo različne kognitivne značilnosti, različna socialna ozadja …
Ti dejavniki nimajo nobenega vpliva na kriterijsko spremenljivko.
To je tista spremenljivka za katero pričakujemo, da bo imel nanjo eksperimentalni dejavnik nek učinek. To je tista spremenljivka, ki jo v naši raziskovalni hipotezi predpostavimo kot odvisno od učinka našega eksperimentalnega dejavnika (tiste novosti, ki jo bomo vpeljali) (Npr. Center za poklicno izobraževanje se bi odločil, da izpelje neko eksperimentalno raziskavo, pri kateri bo v eksperimentalno skupino vnašal nek nov način dela z dijaki (nove metode, pristope). Za to so se odločili, ker teorija govori o tem, da je nek nov način dela bolj učinkovit od zdajšnjega. Ta nov način dela, recimo uvedba individualizacije pri praktičnem usposabljanju z delom, je eksperimentalni dejavnik/tretma, kontrolni tretma pa predstavlja delo po nekih ustaljenih načinih. V eksperimentalno skupino bi slušajnostno izbrali 300 dijakov, prav tako v kontrolno. Ti dijaki, bi se zelo razlikovali med seboj … Te razlike pripeljejo skozi randomizacijo do tega, da sta si skupini podobni. Ker sta si skupini podobni, te razlike ne motijo učinka na odvisno spremenljivko.
Kaj je tisto, kar nas v procesu izobraževanja zanima? Učinek česa, kaj želimo doseči? Izboljšati oz. pridobiti znanje.
Znanje je naš cilj, obenem pa je to v tem primeru tudi kriterijska spremenljivka. To znanje je potrebno izmeriti z nekimi preizkusi znanja. Točke na testu nam predstavljajo kriterijsko spremenljivko.Če se vrnemo nazaj na primer. Na koncu eksperimenta bi v eksperimentalni skupini opravili meritev, z nekim instrumentom (običajno je nek test). S tem testom izmerimo praktično znanje, ki so ga pridobili dijaki v eksperimentalni skupini in ravno tako s tem istim testom izmerimo praktično znanje, ki so ga dobili dijaki v kontrolni skupini. Potem pogledamo ali se med tema skupinama pojavljajo razlike. Pričakujemo, da bo, glede na našo hipotezo, ki predpostavlja večji učinek eksperimentalnega dejavnika v primerjavi s kontrolnim dejavnikom, na tem instrumentu, ki meri vrednosti kriterijske spremenljivke (v našem primeru praktičnega znanja) rezultat bo v eksperimentalni skupini višji kot v kontrolni.
Randomizacija v manjših skupinah
Pri manjših skupinah (ko z randomizacijo ne moremo zagotoviti izenačenosti skupin do slučajnostnih razlik)→dodatno kontroliramo dejavnike, vezane na osebe kot posameznike (statistična kontrola z analizo kovariance ali multiplo linearno regresijo)
➔ Pri teh postopkih zberemo podatke o učnih navadah, učnem uspehu, motivaciji … Ko podatke za te spremenljivke imamo poskušamo vpliv teh spremenljivk kontrolirat s pomočjo statističnih orodij. Te vplive izločimo.
SLUČAJNOSTNI ENOFAKTORSKI EKSPERIMENT
Kontrolno kot tudi eksperimentalno skupino smo izbrali slučajnostno. Opravka imamo z eno faktorskim eksperimentom, kar pomeni, da imamo eno eksperimentalno skupino in eno kontrolno.
Iz statistične množice izberemo dovolj velik slučajnostni vzorec. Dovolj velik vzorec je nekaj sto enot. Potem iz tega izberemo slučajnostno eksperimentalno in kontrolno skupino. Potem običajno izmerimo, da sta skupini med seboj primerljivi. V eksperimentalno vnesemo neko novost, druga skupina pa dela naprej kot običajno. Uveden dejavnik mora nekaj časa delovati, učinkovati (koliko časa, je odvisno od tega, kaj preverjamo) … Po vpeljavi sledi kriterijsko merjenje.
Pri tem s testom izmerimo vrednosti v obeh skupinah. Te vrednosti potem ustrezno primerjamo.
Na testu dobimo neke točke. Vsak učenec dobi svoje število točk. Kaj narediti, da lahko te podatke (skupno število točk zbranih na 600 testih) primerjamo?
Iz vseh vrednosti najprej izračunamo povprečne vrednosti. Dobimo povprečno vrednost za eksperimentalno skupino in povprečno vrednost za kontrolno skupino. Ti vrednosti se bi skoraj zagotovo razlikovali.
Dobili bi neko razliko. Vendar to ni namen eksperimenta.
Namen je, da te rezultate posplošimo izven situacije, v kateri smo jih pridobili. Da to naredimo potrebujemo statistične postopke za posploševanje. Primer takega postopka je T-test (preverja ničelno hipotezo o razliki aritmetičnih sredin v OM).
Tudi recimo ANOVA (analiza variance), uporabimo jo takrat ko imamo več kot dve primerjalni skupini.
Imeli bi lahko tudi situacijo, ko bi imeli tri skupine, dve bi bili eksperimentalni, ena kontrolna. V eno eksperimentalno skupino bi uvedli eno novost, v drugo pa neko drugačno novost, v tretji nebi uvedli nič.
Ti eksperimentalni dejavniki bi lahko bili:
- V eni skupini delajo samo z pisnimi internetnimi viri in na tak način predelujejo snov srednjega veka
- V drugi skupini hodijo po muzejih, galerijah in spoznava srednji vek…
- V tretji skupini se dela na ustaljen način.
Obstajajo eksperimenti, kjer nimamo eksperimentalne skupine. V takem primeru v obe skupine vnesemo nek eksperimentalni dejavnik, obe sta druga drugi kontrolni.
DIDAKTIČNI EKSPERIMENTI
V šolski praksi srečamo eksperimente, ki so vezani na oddelke kot eksperimentalne enote.
Kot statistično množico lahko vzamemo vse oddelke.
Takšni eksperimenti so zelo zahtevni, sploh kar se tiče slučajnostnega vzorčenja in tudi kar se tiče zagotavljanja enakih pogojev kar se tiče izvedbe … Zato so taki eksperimenti v šolski praksi redki.
Metodologija didaktičnega eksperimenta se je v teoriji zelo razvila, vendar se ta teoretični model v praksi prilagaja. Ker ga je preprosto nemogoče izvajati.
KVAZIEKSPERIMENT ali NESLUČAJNOSTNI EKSPERIMENT
Lahko se ga poslužujejo učitelji v svojih vsakodnevnih praksah.
Vzamemo npr. dva oddelka (npr. 9.a in 9.b) istega razreda (eksperimentalna in kontrolna skupina). Če vzamemo dva razreda, lahko pride do pristranskih učinkov. Npr. 9.a in 9.b pri kemiji nista kar tako samoumevno primerljiva. Ker ni randimizacije, ni slučajnostnega izbora ni izenačitve in so možno pristranski učinki.
Problem→ni randomizacije, zato so možni pristranski učinki
Učitelj bi imel možnost kontrole dejavnikov, vezanih na učence/dijake kot posameznike s pomočjo statističnih orodij (analiza kovariance, multipla linearna regresija)→učiteljev, ki bi to vse znali skoraj da ni!
Kako si lahko še omogočimo izenačitev skupin?
Tako, da tvorimo pare enot eksperimentalne in kontrolne skupine.
Pare tvori po relevantnih spremenljivkah. Torej po tistih, ki bi lahko vplivale na kriterijsko spremenljivko.Kaj to pomeni? Če bi hotel učitelj kemije v 9. razredu neko snov npr. zmesi obravnavati na drugačen način. V eni skupini (npr. 9.a) bo uvedel neko novo učno metodo, v drugi skupini (9. b) pa bi snov obravnaval na nek ustaljen način. Učitelj ve, da sta oddelka zelo različna.
Kriterijsko spremenljivko predstavljajo točke na testu znanja, ne želi si pristranskega učinka na to spremenljivko. Tvoril bo pare po nekih relevantnih spremenljivkah.
Kaj so to relevantne spremenljivke?
- Predznanje (učitelj bi uporabil nek test)
Iz eksperimentalne skupine, bi vzel npr. učenko Nino, ki je imela lani zaključeno 4 in je na zadnjem testu dosegla 28 točk. Tej Nini bi poiskal par v kontrolni skupini. Recimo bi bil to Blaž, ki je imel lani zaključeno 4 in je na testu dobil 29 točk. Ta dva tvorita prvi par. Na takšen način določi še druge pare. Vsekakor se vsi učenci ne morejo združit v pare. Za vsakega ne moremo poiskati ustrezen par. Ko iščemo pare po več spremenljivkah, bo manj teh parov. Zato premislimo po katerih spremenljivkah tvorimo pare.
Ko je to narejeno se eksperiment začne. Učitelj dela z vsemi učenci na enkrat. Potem, ko izvede kriterijsko merjenje vzame kot relevantne samo tiste vrednosti na testu za tiste učence, ki so tvorili pare. Potem pogleda ali je imel nek eksperimentalni dejavnik učinek ali ne.
FAZE EKSPERIMENTALNE RAZISKAVE
- Identifikacija in opredelitev problema, primernega za ER (z eksperimentom ne smemo škodovati udeležencem; mora biti izvedljiv) Primer neetičnih eksperimentov: Milgramov eksperiment…
- Oblikovanje hipotez (splošna-temeljna, specifične), določanje spremenljivk.
Temeljna hipoteza običajno je, da bo imel eksperimentalni dejavnik (npr. nova učna metoda) učinek npr. na znanje učencev, ki bo zaradi tega dejavnika bolj poglobljeno. Dosegali bodo višje taksonomske ravni …
Iz tega so lahko potem izpeljane bolj specifične hipoteze: da bo znanje bolj trajno, tisti ki so znanje dobili s pomočjo novega načina bodo imeli poglobljeno znanje še po recimo štirih mesecih, kot tisti ki so se učili z nekim običajnim pristopom.
Določanje spremenljivk:
- Kriterijska sepremenljivka, ki govori o tem kako merimo znanje (običajno
so to točke na testu znanja)
- Dodatne spremenljivke (npr. točke na testu znanja čez en mesec, dva
meseca … recimo če nas zanima trajnost učinka našega eksperimentalnega dejavnika)
- Načrtovanje ER, izbira vzorca
- Načrtovanje instrumentov in njihovo preizkušanje
- Izvedba eksperimenta, uvajanje eksperimentalnega dejavnika
- Zbiranje podatkov, analiza rezultatov,
- Pisanje poročila
Od ne eksperimentalne raziskave se ločijo te raziskave predvsem po 5. fazi. Tam je ni. Ostale faze se pojavijo tudi v ne eksperimentalni raziskavi, oz. pravzaprav v vseh raziskavah – tudi v kvalitativni.
Notranja veljavnost eksperimenta
- O njej govorimo takrat, ko so razlike v dosežkih primerjalnih skupin res posledica delovanja eksperimentalnega faktorja.
Če ni nobenih drugih nekontroliranih vplivov na kriterijsko spremenljivko (na rezultate na testih), ki bi jih povzročali dejavniki, ki jih randomizacija ne zajame in so razlike med eksperimentalno in kontrolno skupino v teh rezultatih dejansko posledica razlik v učinkovitosti eksperimentalnega in kontrolnega tretmaja, je eksperiment notranje veljaven.
Kolikor bolj so te razlike posledica učinkovitosti eksperimentalnega in kontrolnega tretmaja, ne pa nekih drugih vplivov, toliko bolj drži da je eksperiment notranje veljaven.
Če so razlike v korist eksperimentalnemu tretmaju, to pomeni da empirične ugotovitve eksperimenta podpirajo hipotezo, ki jo z eksperimentom preizkušamo. Iz tega sledi, da se notranja veljavnost nanaša na veljavnost empiričnih ugotovitev o teh razlikah.
Notranja veljavnost eksperimenta
- O njej govorimo takrat, ko so razlike v dosežkih primerjalnih skupin res posledica delovanja eksperimentalnega faktorja.
Če ni nobenih drugih nekontroliranih vplivov na kriterijsko spremenljivko (na rezultate na testih), ki bi jih povzročali dejavniki, ki jih randomizacija ne zajame in so razlike med eksperimentalno in kontrolno skupino v teh rezultatih dejansko posledica razlik v učinkovitosti eksperimentalnega in kontrolnega tretmaja, je eksperiment notranje veljaven.
Kolikor bolj so te razlike posledica učinkovitosti eksperimentalnega in kontrolnega tretmaja, ne pa nekih drugih vplivov, toliko bolj drži da je eksperiment notranje veljaven.
Če so razlike v korist eksperimentalnemu tretmaju, to pomeni da empirične ugotovitve eksperimenta podpirajo hipotezo, ki jo z eksperimentom preizkušamo. Iz tega sledi, da se notranja veljavnost nanaša na veljavnost empiričnih ugotovitev o teh razlikah.
Zunanja veljavnost
Če smo pri oblikovanju eksperimentalne in kontrolne skupine izhajali iz slučajnostnega vzorca (če smo randomizirali), lahko naše eksperimentalne izsledke posplošimo na OM. V tem primeru govorimo o zunanji veljavnosti eksperimenta.
Torej zunanje veljaven je takrat, ko lahko izsledke posplošujemo izven eksperimentalne situacije.
Statistična analiza podatkov nam pokaže kolikšna je verjetnost, da bi se prednost eksperimentalnega tretmaja pred kontrolnim ponavljala sistematično, če bi eksperiment
Problem eksperimenta v pedagogiki in posploševanje po analogiji
Kaj je imanentno eksperimentu, če se osredotočimo na logiko naravoslovja? → Eksperiment po logiki naravoslovja pomeni: v enakih pogojih, mora neka akcija imeti enake učinke. (V kemiji in fiziki so eksperimenti ponovljivi)
Tu trči teorija eksperimenta na največje zadržke, kritike, kar se tiče recimo pedagoškega raziskovanja … Eksperiment za namene pedagoških študij je zelo težko ponoviti. Kajti, delamo z različnimi osebami, ki se med seboj razlikujejo …
Res pa je, da z nekimi verjetnostnimi računi poskušamo dokazovati, kaj bi v nekih podobnih okoliščinah ob ponovitvah lahko pričakovali tudi zunaj dane eksperimentalne situacije.
To velja za slučajnostni eksperiment. Kaj pa če imamo kvazi eksperiment, takšnega, ki uporabljamo v vsakdanji praksi? Kaj če eden od učiteljev pride do nekih zelo zanimivih ugotovitev z nekim novim načinom dela in to recimo deli med svoje kolege učitelje. Kako je v tem primeru s posploševanjem, ali so njegovi rezultati posplošljivi?
Tu se pojavi podobno vprašanje, kot se pojavi pri priložnostnih vzorcih. Tudi tam smo rekli, da ne moremo izvajati posplošitev na celotno OM, lahko pa z nekim razmislekom izvajamo posplošitve na neke podobne situacije. Tako je tudi pri uporabnosti rezultatov, ki so nastali kot produkt kvazi eksperimenta.
Naslonili bi se na vzročno razlago učinkovitosti eksperimentalnega tretmaja, v kontekstu eksperimentalne situacije v šoli, kjer je eksperiment potekal. Ta razlaga nam bi omogočala sklepanje o možnostih uporabe eksperimentalnih izsledkov v nekih podobnih situacijah, na drugih šolah.
Takšno sklepanje o zunanji veljavnosti ne opremo na uporabo statističnih metod za posploševanje, pač pa na vzročno razlago in na empirično podobnost situacije. Temu pravimo posploševanje po analogiji.
Definiraj posploševanje po analogiji
Naslonili bi se na vzročno razlago učinkovitosti eksperimentalnega tretmaja, v kontekstu eksperimentalne situacije v šoli, kjer je eksperiment potekal. Ta razlaga nam bi omogočala sklepanje o možnostih uporabe eksperimentalnih izsledkov v nekih podobnih situacijah, na drugih šolah.
Takšno sklepanje o zunanji veljavnosti ne opremo na uporabo statističnih metod za posploševanje, pač pa na vzročno razlago in na empirično podobnost situacije. Temu pravimo posploševanje po analogiji.
Posploševanje po analogiji
Posploševanje po analogijo v primeru neslučajnostnega kvazi eksperimenta pomeni, da možnost posploševanja izven eksperimentalne situacije upremo na vzročno razlago učinkovitosti eksperimentalnega dejavnika in empirično podobnost situacij. To nam omogoča sklepanje o možnostih uporabe eksperimentalnih izsledkov v nekih podobnih situacijah, kot je bila tista v kateri smo do takšnih izsledkov prišli.
Pomeni, da se naslanjamo na empirično podobnost situacij, torej na sklepanje o možnostih uporabe eksperimentalnih izsledkov v podobnih situacijah, na nekih drugih šolah in hkrati se opiramo na vzročno razlago učinkovitosti eksperimentalnega tretmaja.
