I nuovi spunti e i nuovi approcci dalla Guida della Commissione europea sulla valutazione dei progetti.
Una nuova Guida, a lungo attesa
È stata pubblicata qualche mese fa una nuova Guida per la Valutazione dei progetti da parte della Commissione europea (DG International Partnerships). La precedente edizione era del 2006, quindi si tratta di un documento a lungo atteso dagli “addetti ai lavori”, in questo caso del settore specifico della valutazione e della cooperazione allo sviluppo. La valutazione è infatti un’attività che in parte supera i confini del progetto, e che rientra nelle responsabilità di “professionisti della valutazione” nominati dalla Commissione europea, o di suo staff dedicato.
Questa guida intende fornire le indicazioni procedurali, operative e metodologiche per questi professionisti, in modo che operino sulla base di standard, processi e metodi comuni. La sua lettura dà però utilissime indicazioni a chiunque voglia approfondire il concetto di valutazione applicato ai progetti europei. In particolare, la sua terza parte (dedicata ad approcci, metodi e strumenti) traccia tutto il percorso che va dall’elaborazione della logica d’intervento fino alla valutazione del progetto e alla stima del suo impatto, fornendo interessanti spunti e strumenti metodologici.
Quanto descritto ricalca in gran parte quanto illustrato nel capitolo dedicato della nostra Guida (Gestire il progetto: monitoraggio e valutazione). Vi sono però alcuni aspetti addizionali, che abbiamo provveduto a integrare nella nostra trattazione e che sintetizziamo qui di seguito.
L’“anello mancante” per la stima dell’impatto
L’aspetto più interessante, che abbiamo integrato nel nostro capitolo dedicato, riguarda l’analisi dei metodi utilizzati per stimare l’impatto a partire dalla logica d’intervento (o dalla teoria del cambiamento).
Ci siamo focalizzati soprattutto su metodologie non sperimentali, quindi diverse dalla valutazione “scientifica” e controfattuale, difficilmente attuabile in un progetto. Queste metodologie formalizzano un processo che attribuisce (o meno) i risultati osservati a un determinato progetto o intervento. Citiamo quelle che ci sono sembrate più interessanti.
- L’Analisi del contributo si concentra sulla raccolta di prove che convalidino l’attribuzione, ricercando, identificando ed escludendo (dove possibile) fattori complementari e spiegazioni alternative;
- La Metodologia di Eliminazione Globale (GEM) sistematizza ulteriormente questo approccio, identificando elenchi di cause e di “modus operandi” a esse correlati, per ogni risultato di interesse;
- La Valutazione realista si propone di abbracciare la pluralità di meccanismi, interazioni e dinamiche legate agli attori e al contesto, analizzando una serie di “mini-teorie del cambiamento” ipotetiche, e contestualizzando in esse i risultati del progetto;
- L’Analisi comparativa qualitativa (QCA) mette a confronto casi diversi che hanno prodotto un simile risultato. Analizza i fattori presenti nei diversi casi per definirne il grado di rilevanza e di contributo all’impatto osservato;
- Il Tracciamento del processo è una metodologia che permette di esaminare uno specifico nesso causale attraverso vari tipi di “test”, per valutare se le prove sono sufficienti a trarre una conclusione sulla causa;
- L’Outcome Mapping (metodologia qualitativa e partecipativa) valuta gli effetti di un progetto o di un intervento attraverso l’analisi dei cambiamenti nel comportamento, nelle relazioni, nelle attività e nelle azioni di persone, gruppi e organizzazioni con i quali si è direttamente lavorato.
Un altro aspetto interessante (e che abbiamo provveduto a integrare) della nuova guida della DG International Partnerships, riguarda l’analisi delle distorsioni (bias) più frequenti nel processo di raccolta e di trattamento dei dati: bias “di conferma”, “di empatia”, “di autocensura”, bias “strategico” e “di manipolazione”, bias da “apofenia” (o “correlazione spuria”), “di ancoraggio” o “da effetto alone”. Poiché il monitoraggio e la valutazione dei progetti si basano sui dati, è importante esserne consapevoli e saperli riconoscere.
Nuove fonti di approfondimento sulla valutazione
Abbiamo inserito questa nuova guida della Commissione europea tra le fonti raccomandate per approfondire il tema della valutazione dell’impatto dei progetti.
Raccomandiamo inoltre la pagina dedicata della piattaforma Capacity4Dev ricca di articoli e approfondimenti sui vari aspetti della materia: criteri di valutazione, metodi e strumenti di valutazione, indicatori, monitoraggio interno, quadro dei risultati – solo per citarne alcuni.
Infine, segnaliamo quella che è probabilmente la fonte più ampia, esaustiva e “scientifica” sul tema: la piattaforma BetterEvaluation, dedicata al miglioramento e alla diffusione di metodologie e strumenti per una buona valutazione dei progetti, degli interventi e delle politiche pubbliche. Propone in particolare uno strumento (RainbowFramework) per definire e gestire al meglio il proprio sistema di valutazione, una selezione di Guide dedicate e una dettagliata descrizione (con esempi e un’ampia rassegna di link di approfondimento) di metodi e approcci utilizzati nel mondo della valutazione.
Potete scoprire tutto questo attraverso i link forniti in questo articolo, e nel capitolo dedicato della nostra Guida.
