An II - Diagnostic I. Validitatea Flashcards

1
Q

Ce e validitatea? La ce fel de date se refera?

A

Validitatea reprezinta masura in care un test masoara ceea ce isi propune sa masoare. Trebuie atribuita inferentelor facute pe baza performantei la un test, deoarece determina relatia dintre inferente si realitate.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Care sunt tipurile de validitate? (in studii)

A

Validitate interna = abilitatea de a trage concluzii asupra relatiilor cauzale din datele noastre
Validitate externa = gradul in care rezultatele noastre sunt generalizabile si dincolo de studiul nostru

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Care sunt tipurile de validitate?

A

Validitate de aspect
Validitate de criteriu/empirica
Validitate de construct
Validitate de continut

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Ce este validitatea de aspect?

A

Masura in care un test arata asa cum ar trebui. Nu e prea importanta dar are implicatii pentru respondenti pentru ca influenteaza modul in care se raporteaza la test.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Ce este validitatea de criteriu?

A

Indica masura in care un test este un bun predictor pentru un esantion de comportamente si presupune compararea scorurilor la test cu alte criterii cantitative definite.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Care e predictorul si criteriul?

A

Predictor - test
Criteriu - performanta

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Care sunt conditiile pe care trebuie sa le indeplineasca un criteriu?

A

PURF-ect
1. Practic - sa nu coste mult
2. Unitati - sa fie exprimat in aceleasi unitati pentru toate persoanele
3. Relevant - pentru activitatea / caracteristica la care se refera
4. Fidel - sa fie congruent cu evaluarile realizate la momente diferite

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Exemple de criterii

A
  1. Varsta - criteriu in cazul constructelor ce cunosc o maturizare
  2. Performantele scolare - criteriu pentru teste de cunostinte sau care evalueaza aptitudini scolare
  3. Performante la diverse programe de instruire speciale (muzica, sport etc.)
  4. Rezultatele altor teste
  5. Grupele contrastante
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Care sunt tipurile de validitate de criteriu?

A

Validitate predictiva, concurenta si incrementala

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Ce este validitatea predictiva?

A

Acuratetea cu care putem estima in ce masura o anumita caracteristica sau aptitudine a unei persoane se va manifesta in viitor pe baza masurii in care persoana poseda o serie de caracteristici/aptitudini curente

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Care sunt principiile predictiei?

A
  1. Abordarea pe baza de trasaturi - principiul deductiv nomologic; exista legi psihologice intre trasaturile unei persoane si activitatile pe care le desfasoara
  2. Abordarea pe baza generalizarii comportamentului - generalizarea comportamentului observat intr-un esantion de situatii la o alta situatie similara cu cea din esantion
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Ce e validitatea concurenta?

A

Exprima masura in care scorurile la test pot fi utilizate pentru a estima performata actuala a unei persoane la un anumit criteriu. Rezultatele predictorului sunt obtinute simultan cu cele ale criteriului.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Ce e validitatea incrementala?

A

Masura in care un test aduce informatii aditionale sau noi fata de ceea ce era deja cunoscut sau prezis de alte teste.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Ce e coeficientul de validitate?

A

Puterea si directia relatiei dintre predictor si criteriu; e o corelatie deci nu arata cauzalitate

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Ce e varianta explicata?

A

r2; varianta din criteriu explicata de predictor

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Ce sunt variabilele moderatoare?

A

Variabile care influenteaza relatia dintre predictor si criteriu.
- demografice: gen, varsta, etnie, localizare
- psihologice: interese, motivatii, anxietate

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Ce este validitatea diferentiala si preferentiala?

A

Tin de validitatea de criteriu.
Validitatea diferentiala = masura in care un test poate distinge intre indivizii care se diferentiaza in ceea ce priveste constructul masurat
Validitate preferentiala = masura in care un test prezice corect succesul la un anumit criteriu.
Un test poate avea nivele diferite de val. diferentiala si preferentiala.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Care sunt pasii in stabilirea validitatii de criteriu?

A
  1. Selectarea unui criteriu
  2. Identificarea unui esantion reprezentativ
  3. Administrarea testului
  4. Administrarea criteriului
  5. Calcularea coeficientului de validitate (r/ regresie)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Care ar fi niste consideratii pentru interpretarea validitatii de criteriu?

A

Fidelitatea limiteaza validitatea dar este o prerechizita a ei
Validitatea criteriului depinde de cat de bun e si cat de bine a fost operationalizat

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Ce este utilitatea diagnostica?

A

Utilizarea unui test in scop clinic, pentru a confirma / refuza un diagnostic sau screening.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Care sunt proprietatile testului? (din persp. utilitatii diagnostice)

A

Sensibilitate
Specificitate
Puterea de predictie pozitiva
Puterea de predictie negativa

22
Q

Ce este sensibilitatea si cum se calculeaza?

A

Abilitatea testului de a-i identifica corect pe cei care in realitate au diagnostic.
= AP/AP+FN

23
Q

Ce este specificitatea si cum se calculeaza?

A

Abilitatea testului de a-i identifica corect pe cei care in realitate nu au diagnostic
= AN/ AN+FP

24
Q

Ce este puterea de predictie pozitiva si cum se calculeaza?

A

Probabilitatea ca un pacient sa aiba diagnostic, dat fiind rezultatul pozitiv la test.
= AP/ AP+FP

25
Q

Ce este puterea de predictie negativa si cum se calculeaza?

A

Probabilitatea ca un pacient sa nu aiba diagnostic, dat fiind rezultatul negativ la test.
= AN/ AN+FN

26
Q

Care e relatia dintre sensibilitate si specificitate si cand sunt folosite?

A

Depind de scorul prag al instrumentului
Sunt invers proportionale
Diagnostic => specificitate mai mare
Screening => sensibilitate mai mare

27
Q

Cum se calculeaza utilitatea testului si prevalenta?

A

Util. test. = AP+AN/ N
Prevalenta = AP/N

28
Q

Care e relatia dintre PPP si PPN si prevalenta?

A

PPP si PPN depind de prevalenta tulburarii la nivel de esantion; pe cat prevalenta scade, PPP scade si PPN creste

29
Q

Cum se seteaza scorul prag?

A

Analiza ROC

30
Q

Ce face ROC?

A

Raporteaza nr de FP la nr de AP

31
Q

Ce e AUC si cum se interpreteaza?

A

AUC = Area under the Curve
Este o masura a utilitatii testului
0.5 - 0.7 utilitate redusa (linia apropiata de mijloc)
0.7 - 0.9 utilitate medie
>0.9 utilitate ridicata (linia apropiata de cadran)

32
Q

Care este relatia dintre prag si sensibilitate si specificitate?

A

Prag mai mic - crestem sensibilitate
Prag mai mare - crestem specificitate

33
Q

Ce e validitatea de construct?

A

Masura in care un test poate sustine ca masora o variabila sau o trasatura specifica (sinonim cu validitatea generala)

34
Q

Ce e constructul?

A
  • trasatura, proces, cunostinte, caracteristici pe care un cercetator doreste sa le masoare
  • inferente teoretice pe care cineva le poate face pornind de la scorurile testului
35
Q

Cum este un construct operationalizat?

A
  1. Identificarea comportamentelor care au legatura cu constructul
  2. Identificarea altor constructe si deciderea daca are legatura cu constructul nostru
  3. Alcatuirea unei liste de comportamente prin care se exprima
  4. Se decide daca comportamentele alese au legatura cu constructul
36
Q

Care sunt pasii in validarea relativa la construct?

A
  1. Descrierea amanuntita a domeniului constructului; un grup de experti aprecieaza daca sunt acoperite cele mai importante parti ale constructului
  2. Analiza consecventei raspunsurilor la stimuli
  3. Analiza factoriala
  4. Estimarea generalitatii
  5. Relatiile dintre alte scoruri si alte masuratori - val. convergenta si divergenta
37
Q

Care sunt metodele de analiza factoriala?

A

EFA si CFA

38
Q

Ce este EFA?

A

Analiza factoriala exploratorie - prima analiza statistica care testeaza validitatea de construct; se face cand e construit un test pentru a vedea cum sunt relationate variabilele si care sunt factorii care le pot explica

39
Q

Ce sunt atributele interne si unde sunt folosite?

A

Constructe ipotetice care sunt folosite pentru a intelege si explica o serie de fenomene observabile; nu sunt observabili; oamenii difera prin ele

40
Q

Tipurile de atribute interne

A

Factori comuni - AI care influenteaza mai mult de un AS
Factori specifici - AI care influenteaza un singur Aspect de Suprafata
(pot se se schimbe intre ei daca se adauga/ retrag variabile)
Erori de masura - asociate cu masurare AS
Factor unic - factor specific + ERM

41
Q

Varianta atributelor de suprafata

A

varianta comuna - influenta factorilor comuni
varianta specifica - influenta factorilor specifici
varianta unica - varianta specifica + ERM
eroare de masura

42
Q

Cum covariaza AS?

A

Variabilele de suprafata dintr-un domeniu specific pot sa coreleze intr-o anumita masura din cazuza influentei factorilor comuni

43
Q

Care sunt obiectivele analizei factoriale?

A

Identificarea factorilor adicenti variabilelor de suprafata
Screeningul variabilelor
Sumarizarea variabilelor
Selectia variabilelor

44
Q

Ce este CFA?

A

Analiza factoriala confirmatorie - cand un test e deja construit si stim cum sunt agregati factorii; itemii se asociaza iar noi vedem cat de bine fac ei asta, in conditiile in care schimbam ceva (ex: populatie)

45
Q

Pe ce se bazeaza CFA si cum se interpreteaza indicatorii de potrivire?

A

Corelatie
Indicatori intre 0 si 1 :
- CFI (e bine daca e mare); comparatie cu nul
- TLI (e bine daca e mare) comparatie cu nul
- RMSEA (e bine daca e mai mic) practic e cat de prost poate sa fie avand in vedere gradul de incredere

46
Q

Ce implica metoda trasaturi multiple metode multiple?

A

Validitatea convergenta - scorurile unui test nou dezvoltat se asociaza pozitiv cu scorurile unui alt test despre care se stie ca masoara corect acel construct
Validitate divergenta - scorurile unui test nou dezvoltat se asociaza negativ cu scorurile unui alt test despre care se stie ca nu masoara acel construct

47
Q

Ce e validitatea de continut?

A

Masura in care itemii testului sunt reprezentativi si acopera toate dimensiunile constructului. Se face prin analiza itemilor ce alcatuiesc testul.

48
Q

Care e procedura de generare a itemilor?

A

Definirea domeniului de interes
Selectia unui panel de experti in domeniul de continut
Generarea itemilor
Analiza, colectarea si sumarizarea datelor

49
Q

Cum se poate face analiza de itemi?

A

Cantitativ - indicele de dificultate al itemului si indicele de discriminare
Calitativ

50
Q

Cum se obtine indicele de dificultate al unui item?

A

px - proportia studentilor care au rapsuns corect la item. Valoarea este intre 0 (daca nici un subiect nu a rezolvat corect itemul) si 1 (daca toata lumea l-a rezolvat corect)

51
Q

Cum se obtine indicele de discriminare?

A

d - cat de bine reuseste un item sa separe sau sa discrimineze subiectii care au obtinut scoruri mari si cei care au obtinut scoruri mici
d = (S-I)/n
Un item e discriminativ daca la el au raspuns corect cei superiori si gresit cei inferiori.

52
Q

Cand este relevanta analiza de itemi?

A

La testele de cunostinte, cand nu exista un criteriu adecvat
La testele care masoara un atribut ce nu poate fi exprimat printr-un construct
La testele care evalueaza performanta in munca in scopuri de selectie si clasificare