Attendibilità e Validità in Psicometria: Teorie e Metodi di Valutazione

Introduzione all'Attendibilità

Le teorie psicometriche dell'attendibilità sono state sviluppate per stimare gli effetti dell'inattendibilità nella accuratezza delle misurazioni psicologiche. Il punto di partenza di queste teorie è l'idea che i punteggi nel test riflettano l'influenza di due tipi di fattori:

1. Fattori che contribuiscono alla coerenza dei punteggi (caratteristiche stabili dei soggetti che si vogliono misurare)
2. Fattori che contribuiscono all'incoerenza dei punteggi (caratteristiche individuali o situazionali)

Attendibilità quindi esprime la misura in cui le differenze tra i punteggi di un gruppo di soggetti sottoposti allo stesso test in tempi diversi o a versioni equivalenti possano essere attribuite a errori casuali nella misurazione o all'effettivo variare nei soggetti delle caratteristiche misurate.Teoria della Misurazione: Teoria classica Presuppone che la componente di errore che è presente in ogni punteggio è un dato di fatto ineliminabile ma controllabile al fine di ottenere risultati il più possibili e precisi. PUNTEGGIO OSSERVATO (X) = punteggio ottenuto al test dalla persona che comprende sempre una parte di errore (E) PUNTEGGIO VERO (V) = la parte del punteggio libera dall'errore (è ipotetica!): punteggio che identifica precisamente il grado in cui il soggetto possiede una determinata caratteristica (es. estroversione) al netto dell'errore di misurazione X = V + E E = errore casuale: dovuto all'influenza del caso; fonti possibili: condizioni psicofisiche dei soggetti, risposte date a caso, circostanze ambientali -> non sappiamo come agiscono e per chi! Diverso dall'errore sistematico: influenza sistematica su tutte le risposte del test di variabili diverse da quelle che il test si propone di misurare (per frequenza e intensità)ATTENDIBILITÀ "un test è tanto più attendibile quanto più fornisce misure accurate, cioè immuni da errori casuali. Quante più variazioni nei punteggi si ottengono a causa di errori casuali fra diverse somministrazioni di uno stesso test, tanto meno questo è attendibile". (Dazzi e Pedrabissi, 1999)

• Grado di precisione con cui il test misura il costrutto indagato
• Grado con cui il test fornisce misure indipendenti da errori casuali di misurazione
• Stabilità nel tempo
• Coerenza interna

Esistono distinte fonti di errore casuale e diversi modi per misurare il grado di affidabilità dei test psicologici. Il grado di attendibilità indica il livello di correlazione tra due distribuzioni di punteggi ottenuti dagli stessi individui nello stesso test, somministrato loro in tempi diversi, o in risposta a due versioni equivalenti dello stesso test.

Fonti di Errore nella Misurazione

Errori Sistematici e Non Sistematici

• Errori sistematici (e.g. scoring)
• Errori non sistematici (possono riguardare caratteristiche legate alla persona testata, al contenuto, alla situazione ... ) > Portano alla sovrastima o sottostima del punteggio vero. Maggiore è l'errore casuale nel punteggio, minore è la sua attendibilità.

La dimensione dell'errore può essere misurata?

• Coefficiente di affidabilità > Per gruppi di soggetti
• Errore standard di misurazione -> Per soggetti singoli

Selezione degli Item, Somministrazione e Scoring

Selezione degli item e costruzione del test Errore dettato dalla costruzione dello strumento > Il gruppo di item scelto potrebbe non essere equivalente per tutti i soggetti. Somministrazione Errore dettato da circostanze ambientali e materiale usato. Condizioni soggettive (stato di salute, affaticamento), condizioni legate allo sperimentatore. Scoring Somministrazione test oggettivi, soggettivi o proiettivi comportano un grado di errore differente nell'attribuzione di un punteggio.

Relazione tra Errore di Misura e Affidabilità

L'errore di misura riduce l'affidabilità o replicabilità dei risultati. Infatti l'affidabilità è definita come indipendenza dall'errore casuale. Assunti della teoria classica:

1. Errore di misura agisce sotto forma di influenza causale
2. La media degli errori di misurazione, in presenza di un campione molto ampio, è uguale a zero.
3. I punteggi reali e gli errori non sono fra loro in correlazione. Infatti se i punteggi errore fossero in relazione ad altri sarebbero sistematici e non più casuali
4. Gli errori di misurazione in test differenti non sono correlati tra loro

Implicazioni della Teoria Classica

Sappiamo che somministrando un test ad un gruppo ampio di soggetti, questo presenterà una variabilità nei punteggi osservati. Questa variabilità viene espressa con il termine varianza. Secondo la teoria classica, la varianza dei punteggi Vx può essere considerata come la somma della varianza dei punteggi veri Vy e quella dovuta agli errori VE > Vx = Vv + VE Se gli errori sono responsabili della gran parte della variabilità del test, tali punteggi saranno inattendibili; infatti se il test viene riapplicato, i punteggi non rimarrebbero stabili. E' possibile stimare il coefficiente di affidabilità come il rapporto tra varianza del punteggio reale e la varianza totale. - > Yxx = Vy Vx Esempio: Nel caso di un coeff. di affidabilità di .85, l'85% della varianza è dovuta alle reali differenze nelle risposte date dai soggetti e un 15% da fonti di errore difficilmente controllabili.

Coefficiente di Correlazione

Metodo di analisi dei dati che permette di verificare se vi è una relazione lineare statisticamente significativa tra i punteggi in due variabili rilevate nello stesso gruppo di individui. Il suo valore va da -1 a +1

• il valore assoluto (magnitudo) indica l'intensità della relazione lineare fra le due variabili: più è alto maggiore è la relazione
• il segno indica la direzione della relazione: direttamente (+) o inversamente (-) proporzionale

Interpretazione del Coefficiente di Correlazione

r = + 1: relazione lineare perfetta positiva tra le due variabili r = - 1: relazione lineare perfetta negativa tra le due variabili r = 0: vi è assenza di relazione tra le due variabili (o meglio, assenza di relazione lineare tra le due variabili) Criteri per interpretazione della magnitudo r (Cohen, 1988):

.25 .30 Power STATISTICAL POWER ANALYSIS for the 542 241 136 87 161 198 127 BEHAVIORAL SCIENCES .10 .15 .20 .25 .30 Second Edition 119 14 .70 797 200 1029 258 65 .90 156 88 57 194 109 70 Jacob Cohen 576 155 100 LEA Power .05 .10 .15 .20 .25 419 105 .70 693 173 .80 221 99 Cicchetti et al., 2011 1395 149

Relazione Lineare Positiva Forte

RELAZIONE LINEARE POSITIVA FORTE r = + .80 ZY 2 x All'aumentare dei punteggi conseguiti al test 1 aumentano anche quelli conseguiti al test 2 (e VICEVERSA)

Relazione Lineare Negativa Forte

RELAZIONE LINEARE NEGATIVA FORTE Zy r = - . 80 All'aumentare dei punteggi conseguiti al test 1 diminuiscono i punteggi conseguiti al test 2 (e VICEVERSA) Zx

Relazione Non Lineare e Assenza di Relazione

RELAZIONE NON LINEARE ZY r = 0 .ASSENZA DI RELAZIONE r = 0 . ZYASSENZA DI RELAZIONE r = 0

Il coefficiente di correlazione consente di segnalare la coerenza dei punteggi ottenuti da test psicologici. Esso riflette la proporzione di varianza nei punteggi osservati che va attribuita alla variabilità dei punteggi reali. Un metodo dunque per valutare l'attendibilità è quello test-retest I metodi per stabilire l'attendibilità di un test quindi possono essere divisi in:

1. Metodi che richiedono due somministrazioni di un test (test-retest e test parallelo)
2. Metodi che si basano su una sola somministrazione (split-half, Kuder- Richardson, alpha Cronbach)

Fonti di Errore e Attendibilità

POSSIBILI FONTI DI ERRORE CASUALE TIPO DI ATTENDIBILITÀ

1. Campionamento degli item a) non coerenza fra i singoli item Coerenza Interna b) non coerenza fra due metà equivalenti del test Attendibilità Split-half c) non coerenza dell'intero insieme di item rispetto ad altri item "paralleli" Attendibilità fra forme parallele
2. Specificità della situazione di Attendibilità Test-retest somministrazione rispetto ad altre differite nel tempo
3. Specificità del somministratore/correttore Attendibilità fra somministratori/correttori

Metodi di Attendibilità con una Sola Applicazione

Campionamento degli Item: Attendibilità Split-half

Metodi che richiedono® una sola applicazione $ $ ... .. $ 01. CAMPIONAMENTO DEGLI ITEM - Non coerenza fra due metà equivalenti del test Attendibilità Split-half: Correlazione fra i punteggi ottenuti da un gruppo di individui in due metà di un singolo test, somministrato un'unica volta. Poiché il test viene diviso in due metà comparabili, risulta evidente che una simile attendibilità fornisce una misura della coerenza interna e riguarda il campionamento degli item. La modalità più utilizzata per creare due parti uguali è quella di dividere item pari e item dispari. Calcolo avviene in 3 passaggi:

1. Divisione del test in due parti equivalenti
2. Calcolo del coefficiente r di Pearson fra i punteggi conseguiti dai soggetti nelle due parti
3. Correzione dell'affidabilità con la formula di Spearman-Brown

Campionamento degli Item: Coerenza Interna

1. CAMPIONAMENTO DEGLI ITEM - Non coerenza fra i singoli item Coerenza Interna: Grado di correlazione tra tutti gli item di un test (inter-item consistency). Corrisponde alla misura dell'affidabilità basata sulla coerenza delle risposte ai singoli item del test e rappresenta un indice della omogeneità degli item all'interno di esso. Test omogeneo = gli item che lo compongono misurano un singolo fattore (più un test è omogeneo e maggiore sarà la sua consistenza interna) E nel caso di costrutti multidimensionali?

Coefficiente Alpha di Cronbach

1. CAMPIONAMENTO DEGLI ITEM - Non coerenza fra i singoli item Coerenza Interna: Il coefficiente più utilizzato è l'alpha di Cronbach, indice del grado in cui il test misura un singolo costrutto. EFPA Review Model per la Descrizione e Valutazione dei Test Psicologici ed Educativi - Test Review (European Federation of Psychologists Association, 2013) From Bayes Through Marginal Utility to Effect Sizes: A Guide to Understanding the Clinical and Statistical Significance of the Results of Autism Research Findings (Cicchetti, 2011)