L’impatto, un concetto complesso. Il risultato dell’attività di monitoraggio e valutazione è chiaramente e direttamente apprezzabile quando riguarda aspetti operativi: attività e output realizzati, beneficiari raggiunti, conseguenze immediate e visibili di un progetto appena concluso. Questi dati, che si ricavano soprattutto attraverso l’attività di monitoraggio, sono anche i più importanti per chi realizza un progetto, che è chiamato a risponderne direttamente.
È, invece, più complesso rispondere a domande più ampie e strategiche, tipiche dell’attività di valutazione: qual è stato (e quale sarà) l’impatto del progetto? Il progetto ha raggiunto il suo fine ultimo, ovvero il suo obiettivo generale? Ha prodotto gli effetti e il cambiamento che si prefiggeva quando è stato elaborato?
Per rispondere a queste domande con elementi oggettivi occorrere raccogliere dati in un periodo successivo alla conclusione del progetto e utilizzare risorse che possono andare al di là di quanto è messo a disposizione nell’ambito di un singolo progetto europeo.
Inoltre, l’impatto è un concetto complesso dal punto di vista concettuale e statistico-matematico, perché molti fattori contribuiscono a realizzarlo: non è facile “isolare” il contributo del progetto da una pluralità di altri fattori concomitanti. Ad esempio: quanto sono apprezzabili su una comunità gli effetti di un progetto di riduzione della povertà, e come isolarli da una pluralità di altri fattori (positivi o negativi) quali gli effetti della congiuntura economica, delle politiche industriali, di altri progetti paralleli, dell’iniziativa dei membri della comunità?
La misura dell’impatto resta tuttavia una preoccupazione legittima: l’impatto è parte integrante della logica del progetto e del suo quadro di monitoraggio e valutazione; è il punto di partenza e di arrivo per chiunque realizzi o finanzi un progetto; è ciò che definisce nei termini più ampi l’effettivo successo del progetto.
Anche in questo caso, la trattazione che segue non ha pretese di rigore scientifico né di esaustività, ma si propone di tradurre il concetto di “impatto” in alcuni spunti che possano risultare “alla portata” di chi realizza un progetto europeo.
L’impatto come analisi controfattuale. L’analisi controfattuale definisce l’impatto come la differenza tra dati rilevati alla fine di un intervento (dati “fattuali”) e dati rilevati in una situazione caratterizzata da assenza di intervento (dati “controfattuali”). Si tratta dell’approccio più “scientifico” alla valutazione d’impatto: viene infatti utilizzato nella ricerca medica, che confronta gruppi “soggetti a trattamento” con serie storiche o gruppi di controllo.
Questo approccio è difficilmente utilizzabile in ambito sociale, in quanto presuppone:
- L’esistenza di indicatori verificabili in modo univoco con strumenti analitici, dotati di un nesso altrettanto univoco e di lungo periodo con la dimensione che intendono misurare;
- Oppure, la possibilità di identificare un “gruppo di controllo” con caratteristiche e dinamiche pienamente comparabili con quelle del gruppo-target del progetto.
Si tratta di condizioni non semplici per molti progetti che riguardano aspetti “umani” e sociali, in cui la correlazione tra i dati e fenomeno misurato può essere più o meno forte, ma è difficilmente univoca e dipende dall’intervento di più fattori (soprattutto considerata la scala ridotta di un normale progetto); e in cui le situazioni di gruppi e comunità sono molto varie, complesse e difficilmente comparabili con le risorse limitate di un normale progetto.
Nonostante i suoi limiti operativi nell’ambito dei progetti europei, l’analisi controfattuale resta un utile “riferimento ideale” per misurare l’impatto. Può essere realizzata con tre modifiche modalità:
- Quella chiamata “Pre-post design”, che stima l’impatto a partire dalle discrepanze tra lunghe serie storiche di dati (e dalle proiezioni che ne risultano) e quanto osservato dopo la realizzazione del progetto. Questa modalità richiede un’ampiezza temporale e un’ampiezza dell’ambito d’intervento difficilmente compatibili con i dati e le realizzazioni di un progetto;
- Quella chiamata “Control group design”, che stima l’impatto analizzando la differenza tra il gruppo di beneficiari del progetto e un “gruppo di controllo” con le stesse caratteristiche. Questa modalità implica l’identificazione (e l’analisi) di un gruppo di controllo “altro” rispetto alle attività di progetto;
- Quella chiamata “Difference in differences”, che combina le due precedenti modalità e analizza la doppia variazione di una variabile: nel tempo (prima, dopo, ex-post”) e tra soggetti (destinatari e non).
L’impatto come cambiamento di un trend. L’analisi controfattuale può essere utilizzata in forma attenuata, adottando un approccio meno rigoroso nel trattare i dati del progetto e i trend di riferimento, con un grado di complessità proporzionale alle ambizioni del progetto e alle risorse disponibili. Del resto, se il gruppo di “soggetti trattati” (ovvero di beneficiari del progetto) riguarda soltanto (come spesso accade) poche decine di persone, una valutazione d’impatto seria e controfattuale perde di significato e di rilevanza scientifica.
Il “cambiamento di traiettoria” nel trend stimato avrà dunque una valenza narrativa e indicativa. Può essere comunque utile a produrre alcune suggestioni alla conclusione di un progetto, in combinazione con gli elementi più sostanziali di un rapporto, relativi ad aspetti più facilmente e obiettivamente verificabili (attività e output realizzati, beneficiari raggiunti, dati di follow-up sui beneficiari). Per rendere la stima dell’impatto più realistica e veritiera, si consiglia di:
- Circoscrivere l’ambito del fenomeno che si intende misurare a ciò cui il progetto ha contribuito più fortemente e direttamente (aumentando così il livello di correlazione tra l’indicatore e l’obiettivo misurato);
- Comparare l’evoluzione registrata dai dati di progetto rispetto a punti di riferimento il più possibile “vicini” alla popolazione-target del progetto (situazione “quasi controfattuale”);
- Coniugare tra loro, se possibile, riferimenti di comparazione diversi e complementari, “triangolando” dati e punti di vista diversi per aumentare l’attendibilità dei risultati;
- Includere nell’analisi, se possibile, più momenti di misurazione (per definire un trend), incluse misurazioni di “di follow-up” (ad esempio dopo uno, due o tre anni dalla conclusione del progetto);
- Accompagnare l’analisi con una valutazione dei fattori (positivi o negativi) che possono aver influito su dati e “trend” del progetto e dei riferimenti utilizzati.
Ad esempio, su un progetto dedicato all’inserimento lavorativo per giovani in fascia d’età 15-24, residenti in un territorio urbano soggetto a problemi sociali, si possono comparare le variazioni dei dati occupazionali dei giovani in fascia d’età 15-24 registrate:
- Dal progetto sui suoi beneficiari (baseline vs dato finale: dato “fattuale”).
- Nell’area d’intervento del progetto (o in un altro territorio urbano soggetto a problemi sociali), nello stesso periodo (dato “quasi controfattuale”).
In coda all’esempio di Quadro di monitoraggio e valutazione viene fornito un esempio più dettagliato e specifico.
La scelta del metro di comparazione (o l’utilizzo contemporaneo di più riferimenti di comparazione) può variare in funzione della disponibilità di dati. Le differenze tra “dato fattuale” e “dato quasi controfattuale” possono essere analizzate (ed eventualmente ponderate, o corrette) alla luce di altri fattori e variabili che possono aver inciso sulle due popolazioni di riferimento:
- Fattori positivi – ad esempio, risultati positivi ottenuti da iniziative parallele presenti sul territorio (es. corsi professionalizzanti, sostegno a tirocini, strumenti di “matching” tra domanda e offerta di lavoro…).
- Fattori negativi – ad esempio, difficoltà congiunturali delle imprese sul territorio o peggioramento di condizioni abilitanti (es. diminuzione delle risorse destinate dalle amministrazioni pubbliche ad educazione o assistenza sociale).
La Teoria del Cambiamento può essere d’ausilio in questa attività di ponderazione, in quanto prevede una “mappatura” di tutte le condizioni necessarie a realizzare un cambiamento desiderato.
Nei casi in cui questo sia possibile e siano disponibili le risorse per farlo, è possibile avviare le attività di raccolta dei dati nell’ambito del progetto sia sul gruppo di beneficiari (es. giovani 15-24 di alcuni istituti tecnici) sia su gruppi di controllo il più possibile analoghi (es.: giovani 15-24 degli stessi istituti, distribuiti in modo analogo per età, classe di appartenenza, media scolastica, sesso, reddito della famiglia di provenienza o giovani 15-24 di altri istituti tecnici dello stesso tipo e dimensione, posizionati in quartieri con simili condizioni socio-economiche).
Metodologie non sperimentali di valutazione dell’impatto. Esistono varie metodologie non strettamente quantitative per misurare l’impatto di un progetto a partire dalla sua logica d’intervento, o dalla sua teoria del cambiamento. Si tratta di metodi non sperimentali, che hanno dunque una minore ambizione di “scientificità” rispetto a metodi controfattuali, ma che sono volti a formalizzare il processo di attribuzione del cambiamento o dei risultati osservati a un determinato progetto o intervento. Citiamo in particolare:
- L’Analisi del contributo. Questa metodologia parte da una teoria causale ragionata e plausibile su come si ritiene che il cambiamento avvenga (logica d’intervento o teoria del cambiamento). Si concentra quindi sulla raccolta di prove che convalidino tale teoria: ricercando altri fattori che possono aver contributo ai risultati osservati, identificando ed escludendo (dove possibile) spiegazioni alternative o complementari che possano aver portato a tali risultati. Per farlo, abbraccia prospettive diverse (es. contesto, altri interventi, narrazione degli attori, riscontri dei beneficiari) volte a suggerire fattori o “percorsi causali” diversi che possano aver portato o contribuito al risultato;
- La Metodologia di Eliminazione Globale (GEM) si basa sull’identificazione sistematica di possibili spiegazioni alternative che possano aver condotto ai risultati osservati, stilando elenchi di cause e dei “modus operandi” a esse concatenati, per ogni risultato di interesse. Si determina poi quali delle cause si sono verificate e quali dei “modus operandi” si sono osservati. Le cause per le quali non è stato osservato il relativo “modus operandi” vengono scartate, lasciando solo le spiegazioni causali che hanno un nesso causale genuino. A partire da questo è possibile contestualizzare e valutare con maggior accuratezza la reale efficacia dell’intervento;
- La Valutazione realista parte dalla considerazione che l’efficacia di un intervento non dipende solo dalle relazioni causa-effetto di quanto prodotto da un progetto o da un intervento, ma da una pluralità di meccanismi legati al contesto, all’insieme degli attori e di una comunità, alle loro interazioni e dinamiche storiche, culturali, economiche, umane e sociali. In ambiti diversi e in comunità diverse un intervento avrà infatti risultati ed efficacia diversi. La valutazione (che attinge da fonti quantitative e qualitative) cerca dunque di mappare una serie di “mini-teorie del cambiamento” ipotetiche, in grado di catturare le diverse dinamiche e contestualizzando in questo l’intervento e la sua efficacia;
- L’Analisi comparativa qualitativa (QCA) mette a confronto casi diversi (configurazioni di possibili condizioni causali diverse), ma che hanno prodotto un simile risultato. Analizza dunque cluster di fattori presenti in casi diversi, ma che hanno prodotto i risultati e gli impatti di interesse, per definire il grado di rilevanza di ciascuna condizione nel raggiungimento dell’impatto desiderato, e individuare il set più semplice di condizioni che può spiegare tutti i risultati osservati, nonché la loro assenza;
- Il Tracciamento del processo è una metodologia che permette di esaminare e testare uno specifico nesso causale, per valutare se le prove sono sufficienti per trarre una conclusione sulla causa. Applica quattro tipi di test di “potenza” crescente: il test “della pagliuzza nel vento”, che permette di definire se ci sono o meno le condizioni per escludere a priori un nesso causale; il test “del cerchio”, che permette di escludere un nesso causale, quando la condizione analizzata è presente, ma non è presente il risultato atteso; il test “della pistola fumante”, che al contrario conferma la compresenza (e tendenzialmente, il nesso di causalità) della condizione analizzata e del risultato atteso; il test “doppiamente definitivo” permette (in casi molto rari) di escludere l’esistenza di altri nessi causali oltre a quello individuato.
L’impatto come “storie” di cambiamento. Quanto illustrato finora segue uno schema logico e strutturato, più o meno quantitativo, basato sul concetto di “misura” del cambiamento realizzato rispetto e sull’utilizzo di tecniche statistiche più o meno raffinate (variabili a seconda delle ambizioni di “scientificità” del processo di valutazione intrapreso).
In alcuni progetti questo schema può risultare complesso o non sufficiente ad illustrare in modo corretto e completo cambiamenti di tipo qualitativo, fenomeni inattesi ed effetti non definiti nelle metriche iniziali. Per questo motivo, esistono metodi di misura dell’impatto più ampi, qualitativi o svincolati dal concetto di misura rispetto ad “obiettivi” iniziali (es. valutazione “goal-free”).
Anche in questo caso, una trattazione del tema completa, esaustiva e rigorosa va oltre le ambizioni di questa Guida. È tuttavia importante attirare l’attenzione sull’importanza di aspetti qualitativi e meno strutturati nella misura dell’impatto di un progetto.
In termini operativi, questo significa porsi le seguenti domande: come è cambiata la vita dei beneficiari (o delle organizzazioni beneficiarie) in seguito al progetto? Che ruolo ha avuto il progetto nella loro evoluzione, nella loro “storia” e nella loro esperienza individuale? Nella percezione dei beneficiari (o delle organizzazioni beneficiarie), come sarebbe stata la loro vita e quale sarebbe stata la loro storia senza l’intervento del progetto? Queste piccole “storie” individuali sono in grado di produrre a loro volta nuove piccole e suggestive “storie di cambiamento”? Attraverso “storie” e punti di vista individuali è possibile tracciare una linea che identifichi i parametri di successo del progetto e le sue debolezze?
Le “storie” possono essere raccolte e valutate attraverso vari metodi di analisi qualitativa, già citati nei precedenti paragrafi: interviste e focus group; redazione di casi di studio e indagini narrative; metodi più specifici, quali il “most significant change“ e i sistemi di analisi e rappresentazione grafica di trend e cambiamenti qualitativi.
Questo tipo di analisi adotta un approccio empirico basato sulla “induzione”, ovvero sulla formulazione di conclusioni di carattere generale a partire da casi particolari. Non va considerata un “piano B” rispetto ad altre metodologie, in quanto può essere in grado di cogliere elementi diversi, più profondi o quantomeno complementari rispetto a sistemi di analisi più strutturati.
Un altro approccio di valutazione qualitativa molto utilizzato è quello dell’Outcome Mapping, che stima gli effetti di un progetto o di un intervento attraverso l’analisi dei cambiamenti nel comportamento, nelle relazioni, nelle attività e nelle azioni di persone, gruppi e organizzazioni con i quali si è direttamente lavorato. Si basa sul presupposto che ogni cambiamento sociale dipende, in ultima analisi, da cambiamenti nel comportamento umano; e che la sostenibilità di ogni cambiamento dipende da relazioni tra le persone. Da questa filosofia scaturisce l’oggetto del relativo sistema monitoraggio di valutazione: 1) la visione a cui l’intervento vuole contribuire e (soprattutto) i cambiamenti di comportamento, azione e relazione che si vogliono ottenere; 2) i “partner di confine” dell’intervento, ovvero individui, gruppi e organizzazioni con cui il programma interagisce direttamente e su cui ha dirette opportunità di influenza. L’analisi che ne deriva è di natura qualitativa e si concentra sull’osservazione (e talvolta sull’auto-valutazione) del cambiamento del comportamento di chi lavora con il progetto. Per quanto meno rigorosa, può quindi risultare più semplice e applicabile rispetto ad altri approcci.
Un’analisi attraverso “storie di cambiamento” di vario tipo permette di elaborare materiale di comunicazione e disseminazione interessante e fruibile da un’ampia platea di specialisti (in virtù della sua profondità di analisi), da partner e stakeholder (che possono a loro volta farlo proprio e diffonderlo) e dal pubblico più ampio di non addetti ai lavori.
Questi aspetti sono rilevanti ed apprezzati nell’ambito dei progetti europei. La reportistica e la comunicazione sono aspetti tra loro collegati, che rispondono a un comune obiettivo di responsabilità e trasparenza (accountability) nei confronti delle istituzioni, dei cittadini e della propria comunità di riferimento.
Approfondire concetti e approcci sull’impatto. Per chi desiderasse affrontare le metodologie di misura e gestione dell’impatto in modo più approfondito e da punti di vista alternativi e complementari, consigliamo:
1. BetterEvaluation, una piattaforma di conoscenza e una comunità globale dedicata al miglioramento e alla diffusione di metodologie e strumenti per una buona valutazione dei progetti, degli interventi e delle politiche pubbliche. Propone in particolare uno strumento (RainbowFramework) per definire e gestire al meglio il proprio sistema di valutazione, una selezione di Guide dedicate e una dettagliata descrizione (con esempi e un’ampia rassegna di link di approfondimento) di metodi e approcci utilizzati nel mondo della valutazione;
2. Il Manuale di Valutazione prodotto dalla Commissione europea (DG INTPA). È focalizzato specificamente su procedure e processi di valutazione utilizzati su progetti europei in Paesi terzi, ma contiene validi riferimenti a come gestire il processo di valutazione a partire dalla definizione della logica dell’intervento (terzo capitolo, dedicato a approcci, metodi e strumenti);
3. L’IPSEE (Inventario dei Problemi, delle Soluzioni e dell’Evidenza sugli Effetti), una piattaforma dedicata curata dall’ASVAPP, l’Associazione per lo Sviluppo della Valutazione e l’Analisi delle Politiche Pubbliche. Offre una rassegna dei problemi che le politiche pubbliche dovrebbero affrontare, delle soluzioni adottate, dell’evidenza empirica esistente sui loro effetti, accompagnata da un glossario sull’impatto e da una panoramica dei metodi utilizzati;
4. Un’ampia rassegna di guide e strumenti prodotti da organizzazioni specializzate del settore dell’impact investing, cui abbiamo dedicato un apposito approfondimento. L’impact investing è caratterizzato da una mobilitazione metodica e consapevole delle risorse per il raggiungimento di un impatto misurabile in ambiti in cui ve ne è carenza (principi di intenzionalità, misurabilità e addizionalità);
5. Una guida sviluppata nell’ambito di CIVITAS, iniziativa dell’Unione europea dedicata alla mobilità urbana. Pur con esempi dedicati al settore specifico, fornisce una trattazione molto chiara, completa e generale del tema della valutazione di progetti e programmi.
6. Un manuale “user friendly” per la valutazione dei progetti sviluppato in ambito americano (agenzia governativa National Science Foundation), che ha un approccio sistematico, completo e scientifico al tema della valutazione dei progetti.
