Projets, évaluation et impact : nouveaux guides, méthodes et outils

Nouvelles perspectives et approches du guide de la Commission européenne sur l’évaluation des projets.

Un nouveau guide très attendu

Un nouveau Guide pour l’évaluation des projets a été publié il y a quelques mois par la Commission européenne (DG Partenariats internationaux). L’édition précédente datant de 2006, il s’agit donc d’un document très attendu par les « initiés », en l’occurrence dans le domaine spécifique de l’évaluation et de la coopération au développement. L’évaluation est en effet une activité qui transcende en partie les limites des projets et relève de la responsabilité des « professionnels de l’évaluation » nommés par la Commission européenne ou de son personnel spécialisé.

Ce guide vise à fournir des orientations procédurales, opérationnelles et méthodologiques à ces professionnels, afin qu’ils travaillent sur la base de normes, de processus et de méthodes communs. Cependant, sa lecture donne des indications très utiles à toute personne souhaitant explorer le concept d’évaluation tel qu’il est appliqué aux projets européens. En particulier, sa troisième partie (consacrée aux approches, méthodes et outils) retrace l’ensemble du parcours, de l’élaboration de la logique d’intervention à l’évaluation du projet et à l’estimation de son impact, en fournissant des aperçus méthodologiques et des outils intéressants.

Ce que nous avons décrit est en grande partie le même que dans le chapitre dédié de notre guide(Gestion de projet : suivi et évaluation). Cependant, il y a quelques aspects supplémentaires que nous avons incorporés dans notre discussion et que nous résumons ci-dessous.

Le « chaînon manquant » de l’estimation de l’impact

L’aspect le plus intéressant, que nous avons intégré dans notre chapitre dédié, concerne l’analyse des méthodes utilisées pour estimer l’impact à partir de la logique d’intervention (ou théorie du changement).

Nous nous sommes principalement concentrés sur les méthodologies non expérimentales, donc différentes de l’évaluation « scientifique » et contrefactuelle, qui est difficile à mettre en œuvre dans un projet. Ces méthodologies formalisent un processus qui attribue (ou non) les résultats observés à un projet ou une intervention donnée. Nous mentionnons celles qui nous ont semblé les plus intéressantes.

• L’analyse de contribution se concentre sur la collecte de preuves pour valider l’attribution, la recherche, l’identification et l’exclusion (dans la mesure du possible) de facteurs complémentaires et d’autres explications ;
• La méthodologie d’élimination globale (GEM) systématise davantage cette approche en identifiant des listes de causes et de « modus operandi » pour chaque effet d’intérêt ;
• L’évaluation réaliste vise à englober la pluralité des mécanismes, des interactions et des dynamiques liés aux acteurs et au contexte, en analysant une série de « mini-théories du changement » hypothétiques et en replaçant les résultats du projet dans leur contexte ;
• L’analyse qualitative comparative (AQC) compare différents cas qui ont produit un résultat similaire. Elle analyse les facteurs présents dans les différents cas afin de définir leur degré de pertinence et de contribution à l’impact observé ;
• La traçabilité des processus est une méthodologie qui permet d’examiner un lien de causalité spécifique à l’aide de différents types de « tests » afin d’évaluer si les preuves sont suffisantes pour tirer une conclusion sur le lien de causalité ;
• La cartographie des incidences (méthodologie qualitative et participative) évalue les effets d’un projet ou d’une intervention par l’analyse des changements dans le comportement, les relations, les activités et les actions des personnes, des groupes et des organisations avec lesquels on a travaillé directement.

Un autre aspect intéressant (que nous avons intégré) du nouveau guide de la DG Partenariats internationaux est l’analyse des biais les plus fréquents dans le processus de collecte et de traitement des données : les biais de « confirmation », d' »empathie », d' »autocensure », de « stratégie » et de « manipulation », d' »apophénie » (ou « corrélation fallacieuse »), d' »ancrage » ou d' »effet de halo ». Le suivi et l’évaluation des projets étant basés sur des données, il est important d’en être conscient et de pouvoir les reconnaître.

De nouvelles sources d’information sur l’évaluation

Nous avons inclus ce nouveau guide de la Commission européenne parmi les sources recommandées pour explorer le thème de l’évaluation de l’impact des projets.

Nous vous recommandons également la page dédiée de la plateforme Capacity4Dev, qui regorge d’articles et de réflexions sur divers aspects du sujet : critères d’évaluation, méthodes et outils d’évaluation, indicateurs, suivi interne, cadre de résultats – pour n’en citer que quelques-uns.

Enfin, nous aimerions souligner ce qui est probablement la source la plus complète, exhaustive et « scientifique » sur le sujet : la plateforme BetterEvaluation, dédiée à l’amélioration et à la diffusion de méthodologies et d’outils pour une bonne évaluation des projets, des interventions et des politiques publiques. Elle propose notamment un outil(RainbowFramework) pour mieux définir et gérer son propre système d’évaluation, une sélection de Guides dédiés et une description détaillée (avec des exemples et de nombreux liens approfondis) des méthodes et approches utilisées dans le monde de l’évaluation.

Vous trouverez toutes ces informations dans les liens fournis dans cet article et dans le chapitre correspondant de notre guide.