Valutazioni di impatto nella pratica: politiche basate sull'evidenza

VALUTAZIONI DI IMPATTO NELLA PRATICA

Perché valutare?

1) Elaborazione di politiche basate sull'evidenza. I programmi di sviluppo mirano a migliorare redditi, salute e istruzione, ma spesso si misurano solo gli input (spese, partecipazione) anziché i risultati reali. Le valutazioni di impatto, strumenti centrali delle politiche basate su evidenze, aiutano a capire se un programma ha davvero causato i cambiamenti desiderati. Offrono prove credibili utili per decisioni politiche, riforme, allocazioni di bilancio e miglioramento dei servizi. Sono sempre più usate anche per confrontare soluzioni alternative e capire cosa funziona e cosa no nel ridurre la povertà e migliorare il benessere.

ESEMPIO 1: Progresa in Messico

Negli anni '90 il Messico avviò Progresa, un programma di trasferimenti monetari condizionati (CCT) per sostenere le famiglie povere e incentivare scuola e salute nei bambini. Fin dall'inizio fu prevista una valutazione d'impatto, che dimostrò risultati significativi: +0,7 anni di scolarizzazione, -23% malattie infantili e miglioramenti nella crescita dei bambini. Queste evidenze portarono all'espansione del programma, alla riforma di altri sussidi meno efficaci e alla diffusione internazionale dei CCT. Il Messico introdusse anche l'obbligo di valutazione per tutti i progetti sociali.

ESEMPIO 2: Programma prescolare in Mozambico

In Mozambico solo il 4% dei bambini frequenta la prescuola, e molti arrivano alla primaria impreparati. Nel 2006 Save the Children ha avviato un programma prescolare nelle aree rurali. Una valutazione del 2008 ha mostrato che i bambini iscritti avevano maggiori possibilità di iniziare la primaria in tempo, migliori risultati e passavano più tempo sui compiti. Anche le famiglie beneficiavano, con più lavoro per i caregiver e più scuola per i fratelli maggiori. Il governo ha quindi esteso il programma a 600 comunità .

Che cos'è la valutazione di impatto

2) Che cos'è la valutazione di impatto La valutazione dell'impatto è uno degli approcci chiave della politica basata sull'evidenza, insieme al monitoraggio e ad altri tipi di valutazione.

• Monitoraggio: processo continuo che raccoglie dati (principalmente amministrativi) per tracciare l'andamento di un programma, supportando la gestione e le decisioni quotidiane. Tiene sotto controllo input, attività e risultati, e analizza trend nel tempo. È essenziale per ogni programma.
• Valutazioni: analisi periodiche e obiettive, condotte in momenti specifici, spesso con esperti esterni, per rispondere a domande precise su progettazione, implementazione e risultati. Possono essere di tre tipi:

1. Descrittive: cosa sta accadendo.
2. Normative: confronto tra ciò che accade e ciò che dovrebbe accadere.
3. Causa-effetto: quale differenza ha fatto il programma sui risultati.

Le valutazioni usano dati qualitativi (non numerici) e quantitativi (numerici), spesso integrandoli, e possono attingere a dati primari o secondari. Le valutazioni di impatto si concentrano sulla domanda di causa-effetto: qual è l'effetto causale di un programma su un risultato? Per stimare questo effetto è necessario un confronto tra chi partecipa al programma (gruppo trattamento) e chi non partecipa (gruppo controllo o confronto), per identificare il "controfattuale" cioè cosa sarebbe successo senza il programma. La scelta del metodo di valutazione dipende dalle caratteristiche operative delprogramma, come regole chiare di accesso, trasparenza, risorse disponibili e tempi di attuazione. Programmi ben strutturati facilitano la creazione di gruppi di confronto validi, fondamentali per valutazioni d'impatto rigorose.

Valutazione dell'impatto prospettico contro retrospettivo

3) Valutazione dell'impatto prospettico contro retrospettivo Valutazioni d'impatto: due tipi principali

• Valutazioni prospettiche

• Vengono pianificate prima dell'avvio del programma.
• Raccolgono dati iniziali (baseline) sia per il gruppo coinvolto sia per un gruppo di controllo.
• Forniscono risultati più solidi e affidabili perché:

1. Consentono di misurare lo stato prima dell'intervento.
2. Definiscono chiaramente obiettivi e indicatori.
3. Identificano i gruppi di studio prima dell'attuazione, facilitando la costruzione di un controfattuale valido.

• Valutazioni retrospettive . Si svolgono dopo la conclusione del programma.
• Individuano i gruppi di trattamento e controllo solo ex post, spesso con dati limitati.
• Sono meno attendibili poiché mancano dati pre-intervento e si basano su metodi quasi- sperimentali con ipotesi più forti.

In sintesi: Le valutazioni prospettiche sono preferibili quando si può pianificare sin dall'inizio, soprattutto se il programma ha regole, risorse e tempi ben definiti. Le valutazioni retrospettive sono un'opzione quando la pianificazione preventiva non è possibile, ma la loro affidabilità può risultare compromessa.

Studi di efficacy e di effectiveness

4) Studi di efficacy e di effectiveness Studi di efficacia (efficacy studies)

• Contesto: Condotti in ambienti controllati e spesso su piccola scala.
• Obiettivo: Testare la fattibilità del programma o una teoria del cambiamento.
• Coinvolgimento: Forte supporto tecnico e controllo durante l'attuazione.
• Risultati: Garantiscono che il programma funzioni in condizioni ideali.
• Limitazioni: I risultati potrebbero non replicarsi in condizioni normali o su larga scala.

Studi di efficacia reale (effectiveness studies)

• Contesto: Realizzati in condizioni ordinarie, con canali e risorse usuali.
• Obiettivo: Valutare l'impatto del programma in circostanze normali.
• Coinvolgimento: Minore controllo tecnico, più simile alla realtà operativa.
• Risultati: Producono evidenze generalizzabili a popolazioni più ampie.
• Vantaggio: Permettono di informare decisioni politiche per l'espansione del programma.

Approcci complementari alla valutazione

5) Approcci complementari Le valutazioni d'impatto rispondono a domande precise di causa ed effetto, ma altri approcci sono importanti per integrarle. Questi includono il monitoraggio del programma, simulazioni ex ante, analisi con metodi misti (qualitativi e quantitativi) e valutazioni di processo. Questi strumenti aiutano a stimare gli effetti prima dell'attuazione, a definire meglio le domande della valutazione d'impatto, a monitorare lo svolgimento del programma e a interpretarne i risultati. Affidarsi solo alle valutazioni d'impatto senza altri dati può limitare la qualità tecnica e la rilevanza politica. Infatti, pur dimostrando se un effetto c'è stato, le valutazioni d'impatto spesso non spiegano i meccanismi attraverso cui il programma ha prodotto quei risultati.

Monitoraggio dell'attuazione

Monitoraggio: Il monitoraggio dell'attuazione, spesso basato su dati amministrativi, è essenziale per capire se, come e quando il programma è stato effettivamente erogato. Permette di verificare chi ha ricevuto il programma, la sua diffusione, e come sono state utilizzate le risorse. Inoltre, consente di controllare che i beneficiari partecipino davvero e che i non beneficiari rimangano esclusi, garantendo così la validità della valutazione. Questi dati sono anche utili per analisi economiche, come costi- benefici e costi-efficacia ex ante.

Simulazioni ex ante

Simulazioni ex ante: Le simulazioni ex ante usano dati esistenti per prevedere gli effetti futuri di un programma o riforma. Permettono di confrontare diverse opzioni, stimare costi e benefici, e fissare obiettivi realistici. Sono utili prima dell'attuazione e si basano su modelli applicati a dati di qualità.

Metodi misti nelle valutazioni

Metodi misti: Gli approcci a metodi misti combinano dati quantitativi e qualitativi per integrare le valutazioni di impatto. I dati qualitativi, raccolti tramite interviste, focus group, osservazioni ed etnografie, aiutano a generare ipotesi e a comprendere meglio il funzionamento e le percezioni del programma durante e dopo l'attuazione. Secondo Creswell (2014), ci sono tre modi principali di usare i metodi misti:

1. Parallelo convergente: si raccolgono contemporaneamente dati qualitativi e quantitativi e li si confronta per triangolare i risultati.
2. Sequenza esplicativa: prima si raccolgono dati quantitativi, poi quelli qualitativi per spiegare i risultati ottenuti.
3. Sequenza esplorativa: si raccolgono prima dati qualitativi per esplorare un fenomeno e sviluppare ipotesi, poi si raccolgono dati quantitativi per testare queste ipotesi.

Valutazioni di processo

Valutazioni di processo: Le valutazioni di processo analizzano come un programma viene effettivamente realizzato, verificando se rispetta il progetto originale e documentandone lo sviluppo e il funzionamento. Queste valutazioni sono generalmente rapide e a basso costo e sono particolarmente utili nelle fasi iniziali o nei progetti pilota, perché aiutano a migliorare l'implementazione prima che il programma sia completamente definito. Le valutazioni di processo includono la descrizione degli obiettivi e del contesto del programma, il modo in cui è stato progettato e attuato, eventuali modifiche operative, dati di base sull'attuazione, fattori esterni che possono aver influenzato i risultati e la raccolta di documenti come manuali, verbali e relazioni. Senza una valutazione di processo, rischia di essere inefficace o fuorviante una valutazione d'impatto, perché potrebbe non considerare se il programma è stato realmente implementato come previsto o se sono intervenute modifiche durante l'attuazione.

Analisi dei costi

Analisi dei costi: La valutazione d'impatto deve essere integrata con i dati sui costi per capire il rapporto tra benefici e spese. L'analisi costi-benefici valuta se i vantaggi di un programma superano i costi, mentre l'analisi costo-efficacia confronta diverse opzioni in base al costo per ottenere lo stesso risultato. Queste informazioni aiutano i decisori a scegliere gli interventi più efficienti.

Considerazioni etiche nella valutazione dell'impatto

6) Considerazioni etiche relative alla valutazione dell'impatto Quando si progetta una valutazione d'impatto, è fondamentale considerare aspetti etici importanti. Valutare l'efficacia di programmi pubblici evita sprechi di risorse e favorisce investimenti più responsabili. Le valutazioni devono rispettare principi etici come non negare interventi benefici solo per la ricerca e adattarsi a regole di assegnazione eque e trasparenti, che sono responsabilità del programma, non della valutazione stessa. L'assegnazione casuale, pur sollevando dubbi, è considerata etica perché garantisce pari opportunità tra beneficiari idonei, specialmente quando le risorse sono limitate. L'etica della valutazione riguarda anche il rispetto dei soggetti coinvolti e la trasparenza scientifica: i piani di ricerca devono essere pre-registrati e i dati resi disponibili per permettere replicazioni, tutelando sempre l'anonimato.

Valutazioni di impatto per le decisioni politiche

7) Valutazioni di impatto per le decisioni politiche Le valutazioni d'impatto aiutano i responsabili politici a decidere se ridurre, adeguare o scegliere tra programmi sociali, specialmente per interventi pilota innovativi. La valutazione base confronta un gruppo che riceve il programma con uno di controllo per verificarne l'efficacia. È cruciale creare gruppi di confronto simili al gruppo trattato per garantire validità. Oltre a testare l'efficacia, si possono valutare diverse modalità di attuazione (bracci di trattamento) per capire quale sia più efficace o economica. Le valutazioni possono anche analizzare l'efficacia su sottogruppi specifici, ma ciò richiede un campione ampio e una progettazione attenta. I risultati influenzano decisioni su continuazione, modifica o cessazione di programmi, e possono essere generalizzati a contesti diversi solo con molteplici prove raccolte in vari ambienti. L'uso crescente di meta-analisi e registri di valutazioni consente di verificare la replicabilità e affidabilità dei risultati, rafforzando la fiducia nella scalabilità e diffusione dei programmi efficaci.

Decidere se effettuare una valutazione di impatto

8) Decidere se effettuare una valutazione di impatto Non tutti i programmi giustificano una valutazione d'impatto, che dovrebbe essere usata in modo selettivo quando è necessario un rigoroso esame della causalità. Le valutazioni d'impatto possono essere costose e il budget deve essere impiegato strategicamente. Per decidere se fare una valutazione, è utile porsi alcune domande chiave:

1. Qual è la posta in gioco? Se il programma riguarda decisioni importanti, come grandi allocazioni di bilancio o un numero rilevante di beneficiari, allora una valutazione è più giustificata. Se invece l'impatto è limitato o il programma coinvolge poche persone, la valutazione potrebbe non valere la pena.
2. Esistono già prove sull'efficacia del programma? Se non ci sono prove, un progetto pilota con valutazione d'impatto può essere utile. Se invece le prove esistono, la valutazione ha senso solo se si indaga un'importante innovazione o domanda politica ancora non esplorata.

Per giustificare la valutazione d'impatto, l'intervento deve essere:

• Innovativo: testa un nuovo approccio promettente.
• Replicabile: può essere scalato o applicato altrove.
• Strategicamente rilevante: può influenzare decisioni su espansione, riforma o budget.
• Non testato: poco noto nella sua efficacia.
• Influente: i risultati saranno usati per decisioni politiche.

Infine, è necessario avere le risorse tecniche, finanziarie e istituzionali adeguate per condurre una buona valutazione. Se queste condizioni sono soddisfatte, la valutazione d'impatto è uno strumento utile per prendere decisioni informate.