Validitatea Flashcards
Ce e validitatea? La ce fel de date se refera?
Validitatea reprezinta masura in care un test masoara ceea ce isi propune sa masoare. Trebuie atribuita inferentelor facute pe baza performantei la un test, deoarece determina relatia dintre inferente si realitate.
Care sunt tipurile de validitate? (in studii)
Validitate interna = abilitatea de a trage concluzii asupra relatiilor cauzale din datele noastre
Validitate externa = gradul in care rezultatele noastre sunt generalizabile si dincolo de studiul nostru
Care sunt tipurile de validitate?
Validitate de aspect
Validitate de criteriu/empirica
Validitate de construct
Validitate de continut
Ce este validitatea de aspect?
Masura in care un test arata asa cum ar trebui. Nu e prea importanta dar are implicatii pentru respondenti pentru ca influenteaza modul in care se raporteaza la test.
Ce este validitatea de criteriu?
Indica masura in care un test este un bun predictor pentru un esantion de comportamente si presupune compararea scorurilor la test cu alte criterii cantitative definite.
Care e predictorul si criteriul?
Predictor - test
Criteriu - performanta
Care sunt conditiile pe care trebuie sa le indeplineasca un criteriu?
PURF-ect
1. Practic - sa nu coste mult
2. Unitati - sa fie exprimat in aceleasi unitati pentru toate persoanele
3. Relevant - pentru activitatea / caracteristica la care se refera
4. Fidel - sa fie congruent cu evaluarile realizate la momente diferite
Exemple de criterii
- Varsta - criteriu in cazul constructelor ce cunosc o maturizare
- Performantele scolare - criteriu pentru teste de cunostinte sau care evalueaza aptitudini scolare
- Performante la diverse programe de instruire speciale (muzica, sport etc.)
- Rezultatele altor teste
- Grupele contrastante
Care sunt tipurile de validitate de criteriu?
Validitate predictiva, concurenta si incrementala
Ce este validitatea predictiva?
Acuratetea cu care putem estima in ce masura o anumita caracteristica sau aptitudine a unei persoane se va manifesta in viitor pe baza masurii in care persoana poseda o serie de caracteristici/aptitudini curente
Care sunt principiile predictiei?
- Abordarea pe baza de trasaturi - principiul deductiv nomologic; exista legi psihologice intre trasaturile unei persoane si activitatile pe care le desfasoara
- Abordarea pe baza generalizarii comportamentului - generalizarea comportamentului observat intr-un esantion de situatii la o alta situatie similara cu cea din esantion
Ce e validitatea concurenta?
Exprima masura in care scorurile la test pot fi utilizate pentru a estima performata actuala a unei persoane la un anumit criteriu. Rezultatele predictorului sunt obtinute simultan cu cele ale criteriului.
Ce e validitatea incrementala?
Masura in care un test aduce informatii aditionale sau noi fata de ceea ce era deja cunoscut sau prezis de alte teste.
Ce e coeficientul de validitate?
Puterea si directia relatiei dintre predictor si criteriu; e o corelatie deci nu arata cauzalitate
Ce e varianta explicata?
r2; varianta din criteriu explicata de predictor
Ce sunt variabilele moderatoare?
Variabile care influenteaza relatia dintre predictor si criteriu.
- demografice: gen, varsta, etnie, localizare
- psihologice: interese, motivatii, anxietate
Ce este validitatea diferentiala si preferentiala?
Tin de validitatea de criteriu.
Validitatea diferentiala = masura in care un test poate distinge intre indivizii care se diferentiaza in ceea ce priveste constructul masurat
Validitate preferentiala = masura in care un test prezice corect succesul la un anumit criteriu.
Un test poate avea nivele diferite de val. diferentiala si preferentiala.
Care sunt pasii in stabilirea validitatii de criteriu?
- Selectarea unui criteriu
- Identificarea unui esantion reprezentativ
- Administrarea testului
- Administrarea criteriului
- Calcularea coeficientului de validitate (r/ regresie)
Care ar fi niste consideratii pentru interpretarea validitatii de criteriu?
Fidelitatea limiteaza validitatea dar este o prerechizita a ei
Validitatea criteriului depinde de cat de bun e si cat de bine a fost operationalizat
Ce este utilitatea diagnostica?
Utilizarea unui test in scop clinic, pentru a confirma / refuza un diagnostic sau screening.
Care sunt proprietatile testului? (din persp. utilitatii diagnostice)
- Sensibilitate
- Specificitate
- Puterea de predictie pozitiva
- Puterea de predictie negativa
Ce este sensibilitatea si cum se calculeaza?
Abilitatea testului de a-i identifica corect pe cei care in realitate au diagnostic.
= AP/AP+FN
Ce este specificitatea si cum se calculeaza?
Abilitatea testului de a-i identifica corect pe cei care in realitate nu au diagnostic
= AN/ AN+FP
Ce este puterea de predictie pozitiva si cum se calculeaza?
Probabilitatea ca un pacient sa aiba diagnostic, dat fiind rezultatul pozitiv la test.
= AP/ AP+FP
Ce este puterea de predictie negativa si cum se calculeaza?
Probabilitatea ca un pacient sa nu aiba diagnostic, dat fiind rezultatul negativ la test.
= AN/ AN+FN
Care e relatia dintre sensibilitate si specificitate si cand sunt folosite?
Depind de scorul prag al instrumentului
Sunt invers proportionale
Diagnostic => specificitate mai mare
Screening => sensibilitate mai mare
Cum se calculeaza utilitatea testului si prevalenta?
Util. test. = AP+AN/ N
Prevalenta = AP/N
Care e relatia dintre PPP si PPN si prevalenta?
PPP si PPN depind de prevalenta tulburarii la nivel de esantion; pe cat prevalenta scade, PPP scade si PPN creste
Cum se seteaza scorul prag?
Analiza ROC
Ce face ROC?
Raporteaza nr de FP la nr de AP
Ce e AUC si cum se interpreteaza?
AUC = Area under the Curve
Este o masura a utilitatii testului
0.5 - 0.7 utilitate redusa (linia apropiata de mijloc)
0.7 - 0.9 utilitate medie
>0.9 utilitate ridicata (linia apropiata de cadran)
Care este relatia dintre prag si sensibilitate si specificitate?
Prag mai mic - crestem sensibilitate
Prag mai mare - crestem specificitate
Ce e validitatea de construct?
Masura in care un test poate sustine ca masora o variabila sau o trasatura specifica (sinonim cu validitatea generala)
Ce e constructul?
- trasatura, proces, cunostinte, caracteristici pe care un cercetator doreste sa le masoare
- inferente teoretice pe care cineva le poate face pornind de la scorurile testului
Cum este un construct operationalizat?
- Identificarea comportamentelor care au legatura cu constructul
- Identificarea altor constructe si deciderea daca are legatura cu constructul nostru
- Alcatuirea unei liste de comportamente prin care se exprima
- Se decide daca comportamentele alese au legatura cu constructul
Care sunt pasii in validarea relativa la construct?
- Descrierea amanuntita a domeniului constructului; un grup de experti aprecieaza daca sunt acoperite cele mai importante parti ale constructului
- Analiza consecventei raspunsurilor la stimuli
- Analiza factoriala
- Estimarea generalitatii
- Relatiile dintre alte scoruri si alte masuratori - val. convergenta si divergenta
Care sunt metodele de analiza factoriala?
EFA si CFA
Ce este EFA?
Analiza factoriala exploratorie - prima analiza statistica care testeaza validitatea de construct; se face cand e construit un test pentru a vedea cum sunt relationate variabilele si care sunt factorii care le pot explica
Ce sunt atributele interne si unde sunt folosite?
Constructe ipotetice care sunt folosite pentru a intelege si explica o serie de fenomene observabile; nu sunt observabili; oamenii difera prin ele
Tipurile de atribute interne
Factori comuni - AI care influenteaza mai mult de un AS
Factori specifici - AI care influenteaza un singur Aspect de Suprafata
(pot se se schimbe intre ei daca se adauga/ retrag variabile)
Erori de masura - asociate cu masurare AS
Factor unic - factor specific + ERM
Varianta atributelor de suprafata
- varianta comuna - influenta factorilor comuni
- varianta specifica - influenta factorilor specifici
- varianta unica - varianta specifica + ERM
- eroare de masura
Cum covariaza AS?
Variabilele de suprafata dintr-un domeniu specific pot sa coreleze intr-o anumita masura din cazuza influentei factorilor comuni
Care sunt obiectivele analizei factoriale?
Identificarea factorilor adicenti variabilelor de suprafata
Screeningul variabilelor
Sumarizarea variabilelor
Selectia variabilelor
Ce este CFA?
Analiza factoriala confirmatorie - cand un test e deja construit si stim cum sunt agregati factorii; itemii se asociaza iar noi vedem cat de bine fac ei asta, in conditiile in care schimbam ceva (ex: populatie)
Pe ce se bazeaza CFA si cum se interpreteaza indicatorii de potrivire?
Corelatie
Indicatori intre 0 si 1 :
- CFI (e bine daca e mare); comparatie cu nul
- TLI (e bine daca e mare) comparatie cu nul
- RMSEA (e bine daca e mai mic) practic e cat de prost poate sa fie avand in vedere gradul de incredere
Ce implica metoda trasaturi multiple metode multiple?
Validitatea convergenta - scorurile unui test nou dezvoltat se asociaza pozitiv cu scorurile unui alt test despre care se stie ca masoara corect acel construct
Validitate divergenta - scorurile unui test nou dezvoltat se asociaza negativ cu scorurile unui alt test despre care se stie ca nu masoara acel construct
Ce e validitatea de continut?
Masura in care itemii testului sunt reprezentativi si acopera toate dimensiunile constructului. Se face prin analiza itemilor ce alcatuiesc testul.
Care e procedura de generare a itemilor?
Definirea domeniului de interes
Selectia unui panel de experti in domeniul de continut
Generarea itemilor
Analiza, colectarea si sumarizarea datelor
Cum se poate face analiza de itemi?
Cantitativ - indicele de dificultate al itemului si indicele de discriminare
Calitativ
Cum se obtine indicele de dificultate al unui item?
px - proportia studentilor care au rapsuns corect la item. Valoarea este intre 0 (daca nici un subiect nu a rezolvat corect itemul) si 1 (daca toata lumea l-a rezolvat corect)
Cum se obtine indicele de discriminare?
d - cat de bine reuseste un item sa separe sau sa discrimineze subiectii care au obtinut scoruri mari si cei care au obtinut scoruri mici
d = (S-I)/n
Un item e discriminativ daca la el au raspuns corect cei superiori si gresit cei inferiori.
Cand este relevanta analiza de itemi?
La testele de cunostinte, cand nu exista un criteriu adecvat
La testele care masoara un atribut ce nu poate fi exprimat printr-un construct
La testele care evalueaza performanta in munca in scopuri de selectie si clasificare
