4. VALUTAZIONE PRELIMINARE DEGLI ITEM DI UN TEST Flashcards
cos’è la validità?
capacità del test di misurare effettivamente ciò che vogliamo che misuri; si distinguono all’interno di esso validità: di costrutto, di criterio, di contenuto, di facciata.
cos’è la validità di contenuto?
grado in cui gli elementi di uno strumento di assessment sono rilevanti e rappresentativi del costrutto target per un particolare scopo di valutazione. Essendo una caratteristica transitora necessita di altri criteri per la diagnosi rilevanza (quanto sono appropriati gli elementi per la valutazione del costrutto) e rappresentatività (grado in cui gli elementi dello strumento sono adatti a rappresentare le sfaccettature del costrutto target, e quindi il suo dominio di contenuto)
come si può capire se gli item sono rilevanti e rappresentativi?
-uso che si intende fare del test e delle informazioni ch si vogliono ricavare
-tipo di comportamento che si intende valutare
-parametro di interesse
-popolazione target
-dominio concettuale
-natura dinamica
-verifica delle corrispondenze
cosa sono le corrispondenze?
l’appropriatezza del metodo che utilizzo rispetto al costrutto che voglio indagare
-metodo-modalità: grado in cui un particolare metodo di valutazione è appropriato per il costrutto target. Per metodo ci riferiamo al tipo di somministrazione che facciamo (centrato sul soggetto)
-metodo-funzione: grado in cui un particolare metodo di assessment è appropriato per gli scopi della valutazione (centrato sullo scopo)
quali sono le quattro componenti fondamentali della validità di contenuto?
-campionamento del dominio: grado in cui ogni item del test corrisponde ad un dominio e il grado in cui l’insieme degli item è in grado di rappresentare il dominio di contenuto di interesse
-rilevanza del dominio: Il dominio di contenuto che definisce la mia misura è rilevante rispetto alla definizione del costrutto che voglio misurare
-chiarezza del dominio: Chiarezza con cui i domini di contenuto di una misura vengono definiti
-qualità tecnica degli item
cos’è la validità di facciata?
non si riferisce a ciò che il test effettivamente misura, ma a cosa sembra misurare superficialmente. è sostanzialmente il grado in cui gli item di un test sembrano misurare il costrutto che intendono misurare.
Utile per scegliere il più idoneo tra vari test che misurano lo stesso costrutto; Suggerisce quali precauzioni andrebbero prese durante la somministrazione; Può aiutare nella scelta di quale test utilizzare/acquistare quando il tempo a disposizione è
limitato. tuttavia da sola non è sufficiente per garantire la validità di un test
come si misura la validità di facciata?
-intervista cognitiva: aalisi dei processi di pensiero che portno alla risposta
-intervista in profondità
come si fa l’analisi degli item per i test da prestazione massima?
-difficoltà dell’item (nè troppo difficili nè troppo facili) che ha a che fare con la percentuale di risposte corrette e sbagliate
-analisi dei distrattori per stimare la proporzione di soggetto che ha risposto tirando a caso
-discriminatività: misura di quanto un item è in grado di distinguere i soggeetti con livelli elevati nel costrutto da quelli con un basso livello. si confronta la proporzione di risposte corrette fra il gruppo alto e basso (D = Palto-Pbasso)
-correlazione item-totale corretta: Indica quanto ogni item è rappresentativo dell’intera scala e quanto ogni singolo item è in grado di rappresentare, da solo, il costrutto misurato dall’insieme degli altri item contenuti nel test.
-ridondanza calcolata con correlazione tra gli item
come si fa l’analisi degli item per i test da prestazione tipica?
-statistiche descrittive:
-> numero casi validi/mancanti
->forma della distribuzione (un item deve produrre la maggiore variabilità di punteggi)
->punteggio minimo e massimo (va controllato che sia presente almeno una volta o vuol dire che è impobabile essere del tutto d’accordo o in disaccordo)
->indici di tendenza centrale
->indici di formazione della distribuzione per vedere se è normale: indice di skewness (grado di simmetria della curva nella distribuzione rispetto all’asse mediano), indice di curtosi (indica qunto la curva è appuntita o appiattita)
-discriminatività valutata o mediante il valore mediano dell’indice di dimensione dell’effetto o con la variante per item politomici, con l’indice di Ferguson 𝛅.
-correlazione item-totale corretta: in un test di prestazione tipica essa indica quanto ogni item è rappresentativo dell’intera scala e quanto ogni singolo item è in grado di rappresentare, da solo, il costrutto misurato dall’insieme degli altri item contenuti nel test, calcolata con il coefficente di pearson.
-ridondanza degli item
cosa sono i missing e quali sono le sue cause?
dato mancante che può essere informativo circa l’adeguatezza deell’tem. esistono varie dipologie di missing:
1.per definizione della sottopopolazione
2.missing completely at random
3.missing at random
4.missing not at random
le cause del missing possono essere:
● Per qualche motivo, il soggetto rifiuta di rispondere; per cui intenzionalmente non ha indicato la sua risposta
● Il soggetto non sa cosa rispondere e quindi nel dubbio, non indica la risposta;
● Il soggetto ha magari saltato l’item;
● La risposta non è stata inserita nel database, per errore.
cos’è l’attendibilità?
proprietà psicometriche relative all’accuratezza ccon cui un test o una scala misura una certa variabile pscologica
quali sono possibili fonti di erore di misurazione?
● somministratore: somministratore ideale deve possedere competenza, integrità e responsabilità
sociale.
● soggetti
● test stesso (es. layout)
● situazione
quali sono i due tipi di errore che si possono verificare?
-errore sistematico (bias), si veifica i maniera costante, distorce il puntgio sempre nella stesssa direzione
-errore casuale, imprevedibile perchè dipende dalle differenze individuali
cos’è l’errore casuale nella teoria classica dei test (TCT)?
3 assunzioni fondamentali:
-l’errore di misurazione ècasuale e distribuito normalmente
-punteggio vero ed errore di misurazione sono indipendenti tra loro
-gli errori di misurazione di due misurazioni dverse sono indipendenti tra loro
cos’è la tct?
(teoria classica dei test o dell’errore casuale): si presuppone che il costrutto abbia un effetto
causale sulle risposte degli item e sia il fattore in grado di spiegare la maggior parte del punteggio
osservato.
