L’impatto, un concetto complesso. Il risultato dell’attività di monitoraggio e valutazione è chiaramente e direttamente apprezzabile quando riguarda aspetti operativi: attività e output realizzati, beneficiari raggiunti, conseguenze immediate e visibili di un progetto appena concluso. Questi dati, che si ricavano soprattutto attraverso l’attività di monitoraggio, sono anche i più importanti per chi realizza un progetto, che è chiamato a risponderne direttamente.
È, invece, più complesso rispondere a domande più ampie e strategiche, tipiche dell’attività di valutazione: qual è stato (e quale sarà) l’impatto del progetto? Il progetto ha raggiunto il suo fine ultimo, ovvero il suo obiettivo generale? Ha prodotto gli effetti e il cambiamento che si prefiggeva quando è stato elaborato?
Per rispondere a queste domande con elementi oggettivi occorrere raccogliere dati in un periodo successivo alla conclusione del progetto e utilizzare risorse che possono andare al di là di quanto è messo a disposizione nell’ambito di un singolo progetto europeo.
Inoltre, l’impatto è un concetto complesso dal punto di vista concettuale e statistico-matematico, perché molti fattori contribuiscono a realizzarlo: non è facile “isolare” il contributo del progetto da una pluralità di altri fattori concomitanti. Ad esempio: quanto sono apprezzabili su una comunità gli effetti di un progetto di riduzione della povertà, e come isolarli da una pluralità di altri fattori (positivi o negativi) quali gli effetti della congiuntura economica, delle politiche industriali, di altri progetti paralleli, dell’iniziativa dei membri della comunità?
La misura dell’impatto resta tuttavia una preoccupazione legittima: l’impatto è parte integrante della logica del progetto e del suo quadro di monitoraggio e valutazione; è il punto di partenza e di arrivo per chiunque realizzi o finanzi un progetto; è ciò che definisce nei termini più ampi l’effettivo successo del progetto.
Anche in questo caso, la trattazione che segue non ha pretese di rigore scientifico né di esaustività, ma si propone di tradurre il concetto di “impatto” in alcuni spunti che possano risultare “alla portata” di chi realizza un progetto europeo.
L’impatto come analisi controfattuale. L’analisi controfattuale definisce l’impatto come la differenza tra dati rilevati alla fine di un intervento (dati “fattuali”) e dati rilevati in una situazione caratterizzata da assenza di intervento (dati “controfattuali”). Si tratta dell’approccio più “scientifico” alla valutazione d’impatto: viene infatti utilizzato nella ricerca medica, che confronta gruppi “soggetti a trattamento” con serie storiche o gruppi di controllo.
Questo approccio è difficilmente utilizzabile in ambito sociale, in quanto presuppone:
- L’esistenza di indicatori verificabili in modo univoco con strumenti analitici, dotati di un nesso altrettanto univoco e di lungo periodo con la dimensione che intendono misurare;
- Oppure, la possibilità di identificare un “gruppo di controllo” con caratteristiche e dinamiche pienamente comparabili con quelle del gruppo-target del progetto.
Si tratta di condizioni non semplici per molti progetti che riguardano aspetti “umani” e sociali, in cui la correlazione tra i dati e fenomeno misurato può essere più o meno forte, ma è difficilmente univoca e dipende dall’intervento di più fattori (soprattutto considerata la scala ridotta di un normale progetto); e in cui le situazioni di gruppi e comunità sono molto varie, complesse e difficilmente comparabili con le risorse limitate di un normale progetto.
Nonostante i suoi limiti operativi nell’ambito dei progetti europei, l’analisi controfattuale resta un utile “riferimento ideale” per misurare l’impatto. Può essere realizzata con tre modifiche modalità:
- Quella chiamata “Pre-post design”, che stima l’impatto a partire dalle discrepanze tra lunghe serie storiche di dati (e dalle proiezioni che ne risultano) e quanto osservato dopo la realizzazione del progetto. Questa modalità richiede un’ampiezza temporale e un’ampiezza dell’ambito d’intervento difficilmente compatibili con i dati e le realizzazioni di un progetto;
- Quella chiamata “Control group design”, che stima l’impatto analizzando la differenza tra il gruppo di beneficiari del progetto e un “gruppo di controllo” con le stesse caratteristiche. Questa modalità implica l’identificazione (e l’analisi) di un gruppo di controllo “altro” rispetto alle attività di progetto;
- Quella chiamata “Difference in differences”, che combina le due precedenti modalità e analizza la doppia variazione di una variabile: nel tempo (prima, dopo, ex-post”) e tra soggetti (destinatari e non).
L’impatto come cambiamento di un trend. L’analisi controfattuale può essere utilizzata in forma attenuata, adottando un approccio meno rigoroso nel trattare i dati del progetto e i trend di riferimento, con un grado di complessità proporzionale alle ambizioni del progetto e alle risorse disponibili. Del resto, se il gruppo di “soggetti trattati” (ovvero di beneficiari del progetto) riguarda soltanto (come spesso accade) poche decine di persone, una valutazione d’impatto seria e controfattuale perde di significato e di rilevanza scientifica.
Il “cambiamento di traiettoria” nel trend stimato avrà dunque una valenza narrativa e indicativa. Può essere comunque utile a produrre alcune suggestioni alla conclusione di un progetto, in combinazione con gli elementi più sostanziali di un rapporto, relativi ad aspetti più facilmente e obiettivamente verificabili (attività e output realizzati, beneficiari raggiunti, dati di follow-up sui beneficiari). Per rendere la stima dell’impatto più realistica e veritiera, si consiglia di:
- Circoscrivere l’ambito del fenomeno che si intende misurare a ciò cui il progetto ha contribuito più fortemente e direttamente (aumentando così il livello di correlazione tra l’indicatore e l’obiettivo misurato);
- Comparare l’evoluzione registrata dai dati di progetto rispetto a punti di riferimento il più possibile “vicini” alla popolazione-target del progetto (situazione “quasi controfattuale”);
- Coniugare tra loro, se possibile, riferimenti di comparazione diversi e complementari, “triangolando” dati e punti di vista diversi per aumentare l’attendibilità dei risultati;
- Includere nell’analisi, se possibile, più momenti di misurazione (per definire un trend), incluse misurazioni di “di follow-up” (ad esempio dopo uno, due o tre anni dalla conclusione del progetto);
- Accompagnare l’analisi con una valutazione dei fattori (positivi o negativi) che possono aver influito su dati e “trend” del progetto e dei riferimenti utilizzati.
Ad esempio, su un progetto dedicato all’inserimento lavorativo per giovani in fascia d’età 15-24, residenti in un territorio urbano soggetto a problemi sociali, si possono comparare le variazioni dei dati occupazionali dei giovani in fascia d’età 15-24 registrate:
- Dal progetto sui suoi beneficiari (baseline vs dato finale: dato “fattuale”).
- Nell’area d’intervento del progetto (o in un altro territorio urbano soggetto a problemi sociali), nello stesso periodo (dato “quasi controfattuale”).
In coda all’esempio di Quadro di monitoraggio e valutazione viene fornito un esempio più dettagliato e specifico.
La scelta del metro di comparazione (o l’utilizzo contemporaneo di più riferimenti di comparazione) può variare in funzione della disponibilità di dati. Le differenze tra “dato fattuale” e “dato quasi controfattuale” possono essere analizzate (ed eventualmente ponderate, o corrette) alla luce di altri fattori e variabili che possono aver inciso sulle due popolazioni di riferimento:
- Fattori positivi – ad esempio, risultati positivi ottenuti da iniziative parallele presenti sul territorio (es. corsi professionalizzanti, sostegno a tirocini, strumenti di “matching” tra domanda e offerta di lavoro…).
- Fattori negativi – ad esempio, difficoltà congiunturali delle imprese sul territorio o peggioramento di condizioni abilitanti (es. diminuzione delle risorse destinate dalle amministrazioni pubbliche ad educazione o assistenza sociale).
La Teoria del Cambiamento può essere d’ausilio in questa attività di ponderazione, in quanto prevede una “mappatura” di tutte le condizioni necessarie a realizzare un cambiamento desiderato.
Nei casi in cui questo sia possibile e siano disponibili le risorse per farlo, è possibile avviare le attività di raccolta dei dati nell’ambito del progetto sia sul gruppo di beneficiari (es. giovani 15-24 di alcuni istituti tecnici) sia su gruppi di controllo il più possibile analoghi (es.: giovani 15-24 degli stessi istituti, distribuiti in modo analogo per età, classe di appartenenza, media scolastica, sesso, reddito della famiglia di provenienza o giovani 15-24 di altri istituti tecnici dello stesso tipo e dimensione, posizionati in quartieri con simili condizioni socio-economiche).
L’impatto come “storie” di cambiamento. Quanto illustrato finora segue uno schema logico e strutturato, più o meno quantitativo, basato sul concetto di “misura” del cambiamento realizzato rispetto a quanto il progetto si propone.
In molti progetti questo schema può risultare complesso o non sufficiente a illustrare in modo corretto e completo cambiamenti di tipo qualitativo, fenomeni inattesi ed effetti non definiti nelle metriche iniziali. Per questo motivo, esistono metodi di misura dell’impatto più ampi, qualitativi o svincolati dal concetto di misura rispetto ad “obiettivi” iniziali (es. valutazione “goal-free”).
Anche in questo caso, una trattazione del tema completa, esaustiva e rigorosa va oltre le ambizioni di questa Guida. È tuttavia importante attirare l’attenzione sull’importanza di aspetti qualitativi e meno strutturati nella misura dell’impatto di un progetto.
In termini operativi, questo significa porsi le seguenti domande: come è cambiata la vita dei beneficiari (o delle organizzazioni beneficiarie) in seguito al progetto? Che ruolo ha avuto il progetto nella loro evoluzione, nella loro “storia” e nella loro esperienza individuale? Nella percezione dei beneficiari (o delle organizzazioni beneficiarie), come sarebbe stata la loro vita e quale sarebbe stata la loro storia senza l’intervento del progetto? Queste piccole “storie” individuali sono in grado di produrre a loro volta nuove piccole e suggestive “storie di cambiamento”? Attraverso “storie” e punti di vista individuali è possibile tracciare una linea che identifichi i parametri di successo del progetto e le sue debolezze?
Le “storie” possono essere raccolte e valutate attraverso vari metodi di analisi qualitativa, già citati nei precedenti paragrafi: interviste e focus group; redazione di casi di studio e indagini narrative; metodi più specifici, quali il “most significant change” e i sistemi di analisi e rappresentazione grafica di trend e cambiamenti qualitativi.Questo tipo di analisi adotta un approccio empirico basato sulla “induzione”, ovvero sulla formulazione di conclusioni di carattere generale a partire da casi particolari. Non va considerata un “piano B” rispetto ad altre metodologie, in quanto può essere in grado di cogliere elementi diversi, più profondi o quantomeno complementari rispetto a sistemi di analisi più strutturati.
Un’analisi attraverso “storie” di vario tipo permette inoltre di elaborare materiale di comunicazione e disseminazione interessante e fruibile da un’ampia platea di specialisti (in virtù della sua profondità di analisi), da partner e stakeholder (che possono a loro volta farlo proprio e diffonderlo) e dal pubblico più ampio di non addetti ai lavori.
Questi aspetti sono rilevanti ed apprezzati nell’ambito dei progetti europei. La reportistica e la comunicazione sono aspetti tra loro collegati, che rispondono a un comune obiettivo di responsabilità e trasparenza (accountability) nei confronti delle istituzioni, dei cittadini e della propria comunità di riferimento.
Approfondire concetti e approcci sull’impatto. Per chi desiderasse affrontare le metodologie di misura e gestione dell’impatto in modo più approfondito e da punti di vista alternativi e complementari, consigliamo:
- L’IPSEE (Inventario dei Problemi, delle Soluzioni e dell’Evidenza sugli Effetti), una piattaforma dedicata curata dall’ASVAPP, l’Associazione per lo Sviluppo della Valutazione e l’Analisi delle Politiche Pubbliche. Offre una rassegna dei problemi che le politiche pubbliche dovrebbero affrontare, delle soluzioni adottate, dell’evidenza empirica esistente sui loro effetti, accompagnata da un glossario sull’impatto e da una panoramica dei metodi utilizzati;
- Un’ampia rassegna di guide e strumenti prodotti da organizzazioni specializzate del settore dell’impact investing, cui abbiamo dedicato un apposito approfondimento. L’impact investing è caratterizzato da una mobilitazione metodica e consapevole delle risorse per il raggiungimento di un impatto misurabile in ambiti in cui ve ne è carenza (principi di intenzionalità, misurabilità e addizionalità);
- Una guida sviluppata nell’ambito di CIVITAS, iniziativa dell’Unione europea dedicata alla mobilità urbana. Pur con esempi dedicati al settore specifico, fornisce una trattazione molto chiara, completa e generale del tema della valutazione di progetti e programmi.
- Un manuale “user friendly” per la valutazione dei progetti sviluppato in ambito americano (agenzia governativa National Science Foundation), che ha un approccio sistematico, completo e scientifico al tema della valutazione dei progetti.