• 3.6

Gestion de projet : suivi et évaluation

Pourquoi et comment parler de suivi et d'évaluation dans les projets européens ?

Ce chapitre illustre comment le cadre logique, outil de base pour la formulation des projets européens, est utilisé pour la gestion des projets, c’est-à-dire comme outil de suivi et d’évaluation.

Comme nous le verrons, il y a en fait peu de différences entre le cadre logique (surtout dans sa version « étendue » et officielle) et un « cadre de suivi et d’évaluation », qui est essentiellement une version plus détaillée et plus opérationnelle de ce qui se trouve déjà dans le cadre logique.

L’utilisation correcte du cadre logique et la bonne gestion d’un projet européen nécessitent un suivi et une évaluation efficaces. Ces aspects constituent la composante la plus importante de l’activité de gestion de projet et il existe peu de « modes d’emploi » officiels à leur sujet : tout comme d’autres aspects spécifiques traités dans cette section (par exemple, la gestion des partenariats et l’établissement de rapports), ils sont normalement appris dans le cadre de cours spécialisés ou par la pratique.

Ce qui suit tente donc de combler cette lacune, en fournissant un premier cadre opérationnel et non exhaustif sur cette question. Il approfondit et relie ce qui a déjà été illustré dans les chapitres précédents :

Comment structurer un projet : le processus et les outils | Comment structurer un projet : un exemple pratique et d’autres outils | Elaborer et gérer un projet

Le suivi et l’évaluation font partie intégrante de chaque activité de projet. Pour être tel, un « projet » est en effet soumis à des contraintes qui nécessitent des formes de contrôle:

  • Contraintes de réalisation (un projet vise à obtenir des résultats, des produits et des objectifs, obtenus grâce à une série d’activités interdépendantes) ;
  • Contraintes de temps (un projet se déroule dans un délai défini), contraintes économiques et de ressources (un projet dispose de ressources économiques, matérielles et humaines spécifiquement allouées) ;
  • Contraintes d’ordre organisationnel (un projet est organisé en phases avec des dates cibles spécifiques et une répartition des tâches et des responsabilités).

Le suivi et l’évaluation sont des formes de contrôle de ces contraintes.

Ce contrôle concerne à la fois ceux qui mettent en œuvre le projet (ceux qui doivent maintenir son exécution dans les limites des contraintes requises) et ceux qui le financent (ceux qui définissent une grande partie de ces contraintes). La Commission européenne et les autorités de gestion des fonds européens sont également soumises à des contraintes et sont obligées (elles-mêmes) de mener des activités de suivi et d’évaluation de leurs programmes et projets. Savoir communiquer ce qu’ils ont réalisé avec les fonds qui leur sont confiés fait partie intégrante de leur responsabilité vis-à-vis des citoyens.

La réalisation des objectifs fixés, dans les délais impartis et avec les ressources disponibles, est donc au cœur du lien entre la personne qui soumet un projet européen et l’autorité de gestion qui le finance. C’est pourquoi un suivi et une évaluation bien présentés (au stade de la proposition) et bien mis en œuvre (au stade de l’exécution) constituent un élément fondamental pour les personnes impliquées dans l’europlanification et une condition de réussite pour leurs projets.

Même lorsque l’appel à propositions n’exige pas expressément l’élaboration d’un cadre logique ou d’un cadre de suivi et d’évaluation, la demande est implicite dans divers champs et critères du formulaire de candidature (description de la logique du projet, de l’impact attendu du projet, du système de suivi du projet, etc.) Ces domaines et critères peuvent avoir un poids considérable dans le processus de sélection des projets et doivent être présentés en termes concrets et cohérents avec l’ensemble de la proposition. Cela est possible si le projet est soutenu par un bon cadre logique et un bon cadre de suivi et d’évaluation.

Le suivi et l’évaluation sont deux activités similaires, qui se soutiennent mutuellement et permettent toutes deux de comprendre « comment le projet se déroule » (ou « comment il s’est déroulé »). Elles sont toutefois distinctes :

  • En fonction du calendrier. Le suivi est effectué de manière continue et systématique au cours des activités et est nécessaire pour guider la vie opérationnelle du projet ; l’évaluation a lieu à des moments précis (principalement à la fin des activités, mais aussi à mi-parcours du projet ou quelque temps après sa conclusion) et a des implications stratégiques (le projet a-t-il produit les effets qu’il escomptait ? Quelles leçons peut-on en tirer ? Comment orienter les nouveaux programmes et projets en conséquence ?)
  • Par intention. Le suivi se concentre sur les niveaux « inférieurs » du cadre logique, sur la gestion quotidienne des activités, des risques, du temps et des ressources et des résultats du projet, ainsi que sur les dimensions opérationnelles (efficience et efficacité) ; l’évaluation se concentre sur les niveaux « supérieurs » et stratégiques du cadre logique (résultats, objectifs, résultats et impact du projet) et approfondit les cinq critères de pertinence, d’efficience, d’efficacité, d’impact et de durabilité ;
  • Pour les instruments. L’évaluation peut utiliser des outils plus « lents » et plus complexes (par exemple, des questionnaires, des entretiens, des groupes de discussion et d’autres modes de collecte de données), tandis que le suivi utilise des outils de collecte et d’analyse de données plus rapides et plus immédiats, ou l’observation directe de certaines variables clés. En outre, le suivi est normalement effectué par les responsables des activités du projet, tandis que l’évaluation est souvent déléguée à des tiers ;
  • Par pertinence (pour ceux qui participent à des projets européens). De ces deux activités, le suivi est celle dont les responsables de la mise en œuvre des projets européens sont le plus directement redevables et celle qui a l’impact le plus direct sur la mise en œuvre des projets. Néanmoins, l’évaluation reste un exercice important, qui fournit une orientation stratégique (lorsqu’elle est réalisée, par exemple, à mi-parcours d’un projet) et un ensemble de réflexions et d’orientations finales (souvent requises dans le rapport final du projet).

Les efforts requis pour le suivi et l’évaluation s’étendent de la phase de conception d’un projet à son achèvement et au-delà. Il se compose des étapes suivantes, développées dans les sections suivantes de ce chapitre :

  • Définir la logique d’intervention ;
  • Définir les indicateurs ;
  • Définir le cadre de suivi et d’évaluation ;
  • Mettre en œuvre le plan de suivi et d’évaluation au moyen d’outils et de méthodes de collecte de données appropriés ;
  • Définir l' »impact » d’un projet.

Définir la logique d'intervention : le cadre logique et la théorie du changement

Le point de départ d’une bonne mesure de la performance d’un projet est une identification claire de sa logique d’intervention, c’est-à-dire la séquence (logiquement concaténée) d’objectifs, de résultats et d’activités à réaliser.

Une formulation de la logique d’intervention qui n’est pas précise, claire et cohérente (dans la définition et le lien logique entre ses parties) rend la préparation ultérieure du cadre de suivi et d’évaluation plus complexe, moins efficace et moins significative. En effet, si vous ne définissez pas précisément ce que vous voulez obtenir d’un projet, il est difficile de l’évaluer.

La logique d’intervention est à son tour la base du cadre logique, qui est le noyau le plus important d’un cadre de suivi et d’évaluation. Dans sa version « étendue », le cadre logique comprend en fait presque tous les éléments d’un cadre de suivi et d’évaluation (indicateurs, sources de vérification, niveaux de référence, objectifs et données progressives liées à la mesure des indicateurs).

Des indications plus spécifiques pour la définition de la logique d’intervention et du cadre logique peuvent être trouvées dans un chapitre dédié (avec un exemple pratique).

Pour soutenir la formulation d’une bonne logique d’intervention, il existe un outil alternatif et complémentaire au cadre logique (et à l’arbre problème/solution), appelé théorie du changement.

La théorie du changement repose sur un processus et une terminologie similaires (mais pas identiques) et identifie (comme le cadre logique) diverses étapes logiques qui relient les activités du projet au « changement final » à réaliser. Il s’agit d’un outil plus dynamique et plus souple que le cadre logique. Elle comporte les étapes suivantes :

  • La définition du « changement » à long terme que le projet entend réaliser ;
  • Cartographier les conditions nécessaires pour provoquer un tel changement ;
  • La vérification de la nécessité et de l’exhaustivité des conditions identifiées ;
  • La formulation d’hypothèses pour exclure certaines des conditions identifiées du champ d’intervention ;
  • L’identification des actions nécessaires pour atteindre les conditions restantes, qui constituent par conséquent la portée du projet ;
  • Le développement d’indicateurs pour vérifier que toutes les conditions nécessaires au changement initialement identifié ont été réalisées.

Vous pouvez en savoir plus sur la théorie du changement, avec des explications et des exemples, sur un site dédié.

La visualisation de la théorie du changement dans un projet prend des formes plus variées et plus souples que le tableau (rigide et structuré) typique du cadre logique. Une théorie du changement peut être visualisée à l’aide de graphiques comportant des cases, des flèches et des chemins non linéaires, et est donc mieux adaptée pour saisir la complexité de la portée d’un projet.

En revanche, la forme plus structurée du cadre logique permet de définir plus précisément une « hiérarchie » d’indicateurs, qui sont associés, selon le « niveau » de référence, soit à des activités de suivi, soit à des activités d’évaluation.

Si la théorie du changement est très utile pour définir la logique d’intervention et structurer le projet, le cadre logique constitue la base des activités de suivi et d’évaluation ultérieures.

D’autres outils utiles pour soutenir le développement de la logique d’intervention d’un projet sont l ‘ »analyse des lacunes  » et la « planification des scénarios », dans lesquels les éléments suivants sont respectivement analysés : (a) les « écarts » à combler par rapport à certains paramètres, les paramètres cibles et les actions et ressources nécessaires pour les atteindre ; (b) les « scénarios » possibles (positifs et négatifs) pour l’évolution d’un secteur ou d’un contexte donné, les conditions et les facteurs (positifs et négatifs) associés à chaque type d’évolution et la voie à suivre pour atteindre le « scénario » considéré comme le plus favorable et le plus réalisable avec les ressources disponibles.

Définition des indicateurs : critères "SMART", linéarité et simplification

L’étape suivante, après la définition de la logique d’intervention, est la définition des indicateurs.

Comme indiqué dans la matrice du cadre logique, au moins un indicateur doit être inclus pour chaque ligne de la logique d’intervention (objectif général, objectifs spécifiques et résultats). Afin d’assurer un suivi efficace et opportun, il est conseillé de fournir des indicateurs simples ou des listes de contrôle opérationnelles pour la mise en œuvre des activités ou des groupes d’activités (lots de travail ou composants).

La définition des indicateurs doit suivre les critères suivants, qui constituent l’acronyme « SMART » :

  • Spécifique (doit être tangible, défini avec précision, identifiable sans ambiguïté) ;
  • Mesurable (doit être objectivement détectable, qualitativement ou quantitativement, avec les ressources disponibles) ;
  • Réalisable (doit se référer à un contenu réellement réalisable avec les ressources disponibles) ;
  • Pertinent (doit être pertinent par rapport à ce qui doit être réalisé ou mesuré) ;
  • Limités dans le temps (ils doivent être associés à un calendrier de réalisation et d’évaluation).

En termes opérationnels, une bonne définition des indicateurs exige à la fois linéarité et précision.

Linéarité et simplification. Un bon cadre d’évaluation repose sur un petit nombre d’indicateurs clés pertinents, spécifiques et bien mesurables : un trop grand nombre d’indicateurs pèse inutilement sur les ressources du projet. Chaque indicateur doit avoir sa propre pertinence pour définir le succès (ou non) du projet. 1 Les indicateurs qui ne sont pas vraiment pertinents pour définir le succès ou les progrès du projet, qui sont difficiles à mesurer ou qui sont trop coûteux à mesurer peuvent être évités : en révisant la logique d’intervention, en utilisant d’autres indicateurs plus facilement mesurables ou en utilisant des indicateurs « indirects » (qui ne mesurent pas directement la variable souhaitée, mais en donnent une estimation fiable).

La complexité des indicateurs dépend du niveau de la logique d’intervention auquel ils se réfèrent. Les indicateurs d’activité ou de résultat doivent pouvoir être mesurés immédiatement (dans le cadre du suivi quotidien du projet), tandis que les indicateurs de résultat ou d’impact (liés aux objectifs du projet) peuvent nécessiter une évaluation plus approfondie, car ils mesurent un changement plus général et à long terme. Les objectifs et les résultats eux-mêmes doivent être formulés de manière simple et éventuellement « empirique », afin de réduire le nombre et la complexité des indicateurs nécessaires pour les mesurer.

La linéarité et la simplification sont également des principes directeurs dans la formulation des indicateurs : il est préférable d’utiliser des indicateurs déjà connus, existants et utilisés par les « initiés » (par exemple, les données Invalsi dans une certaine région) que d’en inventer de nouveaux (par exemple, des données similaires obtenues par des tests propres) ; il est préférable de définir les indicateurs en termes concis plutôt que d’inclure trop de détails (les délais, les objectifs et d’autres aspects devraient être spécifiés dans des champs dédiés du tableau de bord).

Spécificité et précision. La simplification ne doit pas se faire au détriment de la spécificité et de la précision, en particulier lorsque celles-ci sont à la portée des ressources ou peuvent être obtenues par des moyens simples. En particulier, la spécificité et la précision des indicateurs sont la conséquence d’objectifs et de résultats formulés de manière simple, empirique et directement observable.

Les paramètres doivent donner la mesure réelle de ce qui est défini comme objectif et résultat. Ils doivent être formulés sans ambiguïté, de sorte que leur mesure ne soit pas sujette à des variations dues à la discrétion. Si nécessaire, la méthode de calcul peut être définie sur le côté (par exemple : paramètres à prendre en compte pour le calcul d’un pourcentage).

La spécificité et la précision peuvent également s’appliquer aux indicateurs de nature qualitative, lorsqu’ils sont nécessaires pour mesurer un changement souhaité. Dans ces cas, le critère de précision exige de définir l’échelle et la situation auxquelles les paramètres qualitatifs utilisés se réfèrent (par exemple, ce qu’indiquent des appréciations telles que « excellent » ou « bon ») et/ou de définir spécifiquement la manière dont cet indicateur est évalué (par exemple, formulation sans ambiguïté des questions administrées dans un questionnaire ou un groupe de discussion).

Les indicateurs, et en particulier leurs valeurs cibles, doivent être pratiquement réalisables dans le cadre du projet et doivent être associés à des calendriers, à des délais de détection et aux autres aspects du cadre de suivi et d’évaluation.

Définir le cadre de suivi et d'évaluation

Le cadre de suivi et d’évaluation est un grand tableau qui renvoie chaque indicateur à chacun des éléments suivants, qui précisent comment et quand chaque indicateur sera vérifié :

  1. Valeurs de départ (baseline) et valeurs cibles (targets) des indicateurs,
  2. Sources, méthodes et moyens matériels de vérification,
  3. Calendrier des vérifications et des rapports,
  4. Responsabilité et répartition des tâches dans le processus de vérification.

L’ampleur du cadre de suivi et d’évaluation et les efforts qu’il requiert doivent être réalistes, et non surdimensionnés, et proportionnés à la nature du projet, aux ressources disponibles et aux capacités opérationnelles réelles de ceux qui le gèrent et de ses bénéficiaires. Il est préférable de suivre et d’évaluer un nombre réduit d’indicateurs clés de performance ( ICP) , éventuellement sélectionnés parmi ceux définis dans le cadre logique, plutôt que de ne pas effectuer de suivi et d’évaluation du tout en raison de la complexité du système et du volume d’activité qu’il requiert.

Pour les projets complexes, il est également conseillé d’établir un plan de suivi et d’évaluation (par exemple sous la forme d’un diagramme de Gantt) résumant les activités à réaliser, le calendrier et les points forts du processus de suivi et d’évaluation.

1. Base de référence et objectif. La définition d’une ligne de base, c’est-à-dire d’un point de départ pour les indicateurs considérés, est la première véritable activité d' »évaluation » réalisée dans le cadre d’un projet et est appelée « étude de base ».

La définition d’une base de référence peut nécessiter des données, du temps et des ressources, comme c’est le cas lors de la réalisation d’une activité de suivi et d’évaluation. L’effort requis pour identifier une base de référence et les valeurs cibles correspondantes est proportionnel à l’effort qui sera requis ultérieurement, lors du suivi et de l’évaluation. Les difficultés rencontrées à ce stade (en raison du manque de données, de temps et de ressources) peuvent indiquer que le cadre de suivi et d’évaluation est disproportionné par rapport à la capacité d’une personne à le mettre en pratique.

Il est important de prévoir un calendrier pour atteindre les valeurs cibles. Outre la date de fin du projet, il est conseillé d’indiquer des valeurs de référence pour une révision à mi-parcours et éventuellement d’autres valeurs intermédiaires, afin de comprendre avant la fin du projet si l’on est sur la bonne voie pour atteindre les indicateurs.

Les indicateurs quantifiant des actions ou des produits spécifiques à réaliser dans le cadre du projet ont normalement une valeur initiale de zéro, qui augmente au fur et à mesure de la réalisation des activités. Les valeurs cibles des indicateurs doivent évidemment être quantifiées de manière réaliste.

2. Sources, voies et moyens de vérification. Cette partie du cadre de suivi et d’évaluation répond à la question clé de savoir « comment » les indicateurs seront mesurés.

Tout d’abord, il est nécessaire de définir la source (document ou support physique) par laquelle les données peuvent être collectées : soit une source interne au projet (le projet « crée » les données par le biais de ses propres questionnaires, recherches ou observations), soit une source externe (publications, bases de données et annuaires statistiques d’institutions régionales, nationales ou internationales, d’universités, d’entreprises ou d’organisations actives dans le domaine, d’organisations bénéficiaires, d’autres projets ou actions parallèles effectuant la collecte et le traitement des données, etc.)

Outre la source, les moyens de vérification doivent également être vérifiés, en tenant compte des paramètres suivants :

  • La cohérence des données avec la définition adoptée par le projet et leur constance dans le temps (données calculées avec les mêmes paramètres à la fréquence nécessaire, depuis le moment de la ligne de base jusqu’à celui des dernières évaluations) ;
  • La fiabilité de la source (source faisant autorité, vérifiable également par des tiers, ou méthodologie rigoureuse et vérifiable lorsque les données sont élaborées en interne) ;
  • sa disponibilité réelle (nécessité d’accords ou d’abonnements, coûts éventuels, facteurs incontrôlables susceptibles de conditionner l’accès aux données) ;
  • Mode d’accès (en ligne, bibliothèque, achat du support, base de données propre, nécessité d’un traitement ultérieur des données).

Ensuite, il est nécessaire de définir comment les données seront traitées pour produire des informations utiles au projet, comment elles seront stockées (type de format et de support) et comment elles seront consultées, vérifiées, mises à jour et modifiées.

Les informations ainsi obtenues doivent être transmises à ceux qui peuvent en tirer des conclusions utiles (et d’éventuelles mesures correctives), c’est-à-dire ceux qui gèrent le projet, ceux qui y exercent un rôle décisionnel, ceux qui le financent et ceux qui sont habilités et intéressés à suivre son évolution. Cela se fait par le biais d’analyses et de rapports (dont la fréquence et la structure doivent être définies) et de canaux de communication spécifiques (dont la nature, les mécanismes et les bénéficiaires doivent être définis).

Compte tenu de la quantité de travail que la collecte et le traitement des données peuvent impliquer, les options les plus simples, les plus rentables et les plus rapides doivent également être choisies ici, par exemple en limitant la quantité et la complexité de la « production » de données par le projet et ses bénéficiaires (par le biais de questionnaires, d’enquêtes, de groupes de discussion, etc.

Ce point peut être examiné plus en détail dans la section suivante sur la manière dont les données sont collectées et traitées.

3. Calendrier des vérifications et des rapports. Cette partie du cadre de suivi et d’évaluation répond à la question clé de savoir « quand » les indicateurs seront mesurés ou, plus précisément, pendant combien de temps et à quelle fréquence. Le choix dépend des indicateurs, des données, des modalités préalablement identifiées, de l’engagement qu’elles requièrent de la part des bénéficiaires et des ressources humaines et matérielles disponibles.

Le calendrier dépend également du « niveau » auquel l’indicateur est placé : comme nous l’avons déjà mentionné, les indicateurs relatifs aux activités et aux résultats (output) sont normalement plus simples et peuvent être vérifiés fréquemment, dans le cadre du suivi du projet ; les indicateurs relatifs aux effets (outcome) et aux objectifs du projet (impact) sont mesurés dans le cadre d’une activité d’évaluation ad hoc. Si une activité d’évaluation doit être menée, elle ne doit pas être reléguée à la fin du projet, mais se dérouler parallèlement à la préparation et à la mise en œuvre du projet, afin que le processus de structuration et de collecte des données (par exemple sur un groupe cible et un éventuel « groupe de contrôle ») puisse être correctement organisé.

Enfin, le calendrier défini doit prévoir les moyens de communiquer les informations recueillies à ceux qui ont la possibilité d’en tirer des conclusions et de mettre en œuvre des actions correctives. Les indicateurs les plus critiques, c’est-à-dire ceux dont la non-réalisation présente un risque plus important pour la performance du projet, méritent une attention constante tout au long de la durée de vie du projet. L’analyse et la gestion des risques font en effet partie intégrante de l’activité de contrôle.

Pour en savoir plus sur la vérification des indicateurs et la gestion des risques, reportez-vous à la section suivante sur les outils de suivi et d’évaluation.

4. Responsabilités et tâches. Cette partie du cadre de suivi et d’évaluation répond à la question clé de savoir « qui » mesure les indicateurs. Identifier les responsabilités de manière précise est utile pour ne pas négliger des aspects importants de la gestion de projet, en particulier lorsque les délais et les activités en cours absorbent beaucoup de temps et d’énergie.

Le fait de « relever la tête » de temps en temps, ne serait-ce que pour analyser quelques « KPI » cruciaux, permet au projet de rester sur la bonne voie. Cela peut être fait directement par le personnel du projet et son chef de projet, bien que pour les grands projets (et en particulier pour les activités d’évaluation) des consultants externes spécialisés puissent être envisagés (pour garantir la neutralité du processus).

À cette fin, il peut être utile d’établir un calendrier simple qui rappelle qui et quand réaliser les principales activités de suivi et d’évaluation, sous la forme d’un aide-mémoire ou d’un diagramme de Gantt ; y compris, en tant qu’aspect fondamental, les activités liées à l’établissement de rapports sur le projet. Certains des contrôles opérationnels de base (temps, activités et produits livrables, budget et ressources) devraient être mis en œuvre automatiquement par l’équipe au cours des activités quotidiennes de gestion de projet.

Outils de suivi et d'évaluation

Un bon suivi est le signe d’une bonne gestion de projet. Le contrôle – et les actions de suivi – sont en fait au cœur des activités de gestion de projet. De nombreuses méthodes et outils ont été développés autour de la gestion de projet : chaque chef de projet et chaque projet adoptent la combinaison qui convient le mieux à leur organisation et à leurs besoins. La Commission européenne a produit sa propre « boîte à outils », organisée en une méthode de gestion de projet appelée « OpenPM2 » : nous lui avons consacré un article et une brève discussion approfondie. Ladernière édition du manuel, disponible gratuitement en italien, date d’avril 2023. OpenPM2 :

  • Il définit le suivi et le contrôle comme uneactivité continue qui s’étend sur toute la durée de vie du projet, depuis son lancement (phase 1) jusqu’à sa clôture (phase 4), en passant par sa planification et son exécution (phases 2 et 3).
  • Il identifie 11 composantes principales de l’ activité de suivi et de contrôle : gérer les achats, gérer les risques, gérer les points d’attention et les décisions, contrôler les coûts, contrôler les délais, contrôler les performances, gérer la qualité, accepter les produits, gérer les parties prenantes, gérer les changements dans le projet, gérer la transition.
  • Il propose divers outils typiques de la discipline de la gestion de projet, dont beaucoup sont présentés ou mentionnés dans ce guide (matrice RACI et ses variantes, matrice des parties prenantes, planification et budgétisation du projet, registre des risques et des points d’attention, liste de contrôle, diagramme de Gantt…).

Sans prétendre à l’exhaustivité, nous présentons ci-dessous deux des outils les plus fréquemment utilisés pour la gestion, le suivi, le contrôle et l’évaluation des projets, en complément de ce qui a déjà été illustré dans ce chapitre et dans les chapitres précédents.

Le « tableau de bord » du projet. L’un des moyens les plus populaires et les plus efficaces de suivre l’avancement d’un projet consiste à créer un « tableau de bord » ou « panneau de contrôle » qui permet de surveiller certains paramètres clés, notamment

  • Les activités individuelles, les résultats qu’elles produisent et leur calendrier, en mettant l’accent sur ce que l’on appelle les «  jalons » du projet, c’est-à-dire les « jalons » qui marquent les principales étapes (par exemple, les dates cibles pour la définition, l’approbation, le lancement et l’achèvement d’un plan de formation). Cette partie du « tableau de bord » peut être représentée efficacement sous la forme d’un diagramme de Gantt.
  • Les principaux indicateurs identifiés pour le projet, en particulier les indicateurs plus simples, « opérationnels » (liés aux activités et aux résultats) et ceux qui ont été définis comme des « KPI  » (indicateurs clés) à suivre régulièrement. Dans ce cas, le « tableau de bord » peut présenter, pour chaque indicateur, une valeur attendue pour chaque date de contrôle prévue, accompagnée de sa mesure afin de mettre en évidence les écarts éventuels.
  • Un plan d’utilisation des ressources, avec des valeurs d’utilisation prévues dans le temps pour chaque ressource (fonds, personnel, matériel) et des « points de contrôle » périodiques, à comparer avec l’état d’avancement des indicateurs.

Pour chaque mesure, il est conseillé de donner à chacun de ces paramètres une « étiquette » synthétique, éventuellement associée à un symbole et à un code couleur (comme dans l’exemple) :

▶ « En cours » : progrès comme prévu, sans obstacles ou retards particuliers ;▶ « En retard » : progrès inférieurs aux attentes, avec nécessité éventuelle d’une action corrective (dans le cas des ressources : « En excès » / utilisation supérieure aux attentes) ;▶ « En péril » : l’avancement est menacé et, sans une action rapide, il est voué à la non-réalisation ou à l’échec (ou au dépassement des ressources disponibles) ;◼ « Achevé » : l’activité est achevée (ou la ressource est épuisée) comme prévu ;◼ « Suspendu » : l’activité est temporairement suspendue en raison de facteurs externes ou d’un manque de ressources ;◼ « Échec » : l’activité n’est plus réalisable ou la ressource a été épuisée prématurément.

Dans le cadre de la surveillance, il est également conseillé d’entretenir :

  • un relevé des écarts constatés, des mesures correctives prises et des changements éventuels apportés à la structure du projet (réorganisation des activités et des ressources) pour répondre aux difficultés rencontrées au cours de sa mise en œuvre ;
  • une matrice des risques et un registre des points d’attention pertinents (voir ci-dessous).

Les éléments d’un « tableau de bord » peuvent être trouvés dans certains logiciels spécifiquement dédiés à la gestion de projet, ou peuvent être créés (sous une forme relativement simple) à l’aide de feuilles de calcul correctement paramétrées, partagées sur un réseau ou un nuage entre les membres de l’équipe de projet.

La matrice des risques. Les activités de gestion et de suivi des projets visent à prévenir, atténuer et corriger les risques susceptibles de survenir au cours de l’exécution du projet. Le tableau de bord du projet est donc normalement complété par des outils spéciaux dédiés au concept de risque. La gestion des risques comprend à son tour quatre étapes principales :

  1. Identification des risques potentiels qui pourraient avoir un impact sur le projet, par des activités de brainstorming, la définition de listes de contrôle et l’analyse de l’expérience d’autres projets. Tous les risques pertinents doivent être pris en considération. Ils peuvent provenir de différentes sources : l’organisation elle-même et ses partenaires (risques internes), les groupes cibles et les bénéficiaires, d’autres organisations dans le cadre du projet, les institutions, la situation politique, économique et financière, des événements sociaux ou technologiques perturbateurs, des événements naturels, etc ;
  2. Analyse des risques pour déterminer la probabilité et l’impact possible. Les risques peuvent être introduits dans une matrice qui, en attribuant une valeur de 1 à 3 à la probabilité (P) et à l’impact (I), divise leur gravité (G = P x I) en légère (G = 1 ou 2, compatible avec le fonctionnement normal du projet), modérée (G = 3 ou 4, nécessite des contre-mesures spécifiques) et élevée (G = 6 ou 9, capable de compromettre la viabilité du projet) ;
  3. Planifier une réponse au risque, qui peut consister en diverses solutions visant à éviter le risque (en modifiant la conception ou en prenant des dispositions spécifiques), à transférer le risque (en le faisant atténuer par un tiers, par exemple par le biais d’une assurance), à atténuer le risque (en réduisant sa gravité à un niveau « modéré ») ou à accepter le risque (en assumant ses conséquences mais en disposant d’un « plan de secours » élaboré au cas où il surviendrait) ;
  4. Mise en place d’un système de suivi des risques, par une mise à jour plus ou moins continue de la matrice des risques et du plan de réponse correspondant (d’une manière similaire à ce qui a été fait avec les indicateurs du tableau de bord du projet). De même que pour les indicateurs de performance clés, les risques ayant un niveau de gravité plus élevé constituent des points d’attention à surveiller plus régulièrement et de manière plus approfondie.

Méthodes de collecte et de traitement des données

Le suivi et l’évaluation reposent sur des données qui doivent être collectées (c’est-à-dire observées et enregistrées d’une manière ou d’une autre), gérées (c’est-à-dire conservées et stockées de manière sûre et homogène sur un support, généralement électronique), traitées (c’est-à-dire transformées en informations utiles sur le projet grâce à des outils analytiques et statistiques) et présentées (c’est-à-dire intégrées dans un système d’établissement de rapports).

Les données sont réparties en plusieurs types :

  • Les données primaires sont collectées directement dans le cadre du projet auprès de la population à observer, tandis que les données secondaires sont collectées à partir de sources existantes. Les données primaires sont plus spécifiques en ce qui concerne la mesure des effets et de l’impact du projet, mais moins comparables avec des données plus générales et certainement plus difficiles à produire ; les données secondaires, quant à elles, sont plus facilement disponibles et comparables, mais tendent à mesurer la contribution du projet de manière moins spécifique ;
  • Les données quantitatives correspondent à des valeurs numériques directement mesurées au moment de la mesure, sont normalement structurées dans un format spécifique et sont représentables mathématiquement par des équations et des formules. Les données qualitatives, quant à elles, se réfèrent à des dimensions subjectives et ne peuvent pas être directement résumées par une valeur numérique, mais sont normalement organisées en catégories afin d’être plus facilement gérées par des outils mathématiques et statistiques. Les données quantitatives peuvent être traitées plus facilement à l’aide d’outils mathématiques et peuvent donc paraître plus « objectives », mais elles peuvent rendre compte de la complexité d’un phénomène de manière moins efficace que les données qualitatives.

La science et les méthodes existantes de collecte et de traitement des données sont variées, vastes et complexes et dépassent le cadre de ce guide. Sans prétendre à l’exhaustivité ou à la rigueur, nous nous efforçons de fournir un aperçu rapide, qui servira de point de départ à l’étude d’autres sources plus spécialisées. Les différentes méthodes sont complémentaires et sont normalement utilisées dans diverses combinaisons pour soutenir le suivi et l’évaluation d’un projet.

1. Recherche documentaire et utilisation de données secondaires, par exemple à partir de documents gouvernementaux, de recherches universitaires, de recherches et d’analyses effectuées par d’autres personnes sur le terrain ou dans le cadre d’autres projets, de sources en ligne telles que les médias sociaux, les blogs ou les conversations entre utilisateurs.

2. L’observation directe, obtenue par le relevé direct des données liées au projet de diverses manières (par exemple, le nombre de médias produits, le nombre de participants à un événement de formation, les listes de présence, les traces et les commentaires enregistrés sur les outils informatiques créés par le projet, les commentaires obtenus directement au cours des activités du projet, les observations enregistrées par les opérateurs au cours de l’exécution des activités, etc.)

3. Les enquêtes, utilisées pour collecter des données auprès d’un grand nombre de personnes, par le biais d’outils en ligne, d’enquêtes téléphoniques ou de questionnaires papier, également administrés pendant les activités du projet (par exemple, à la fin d’un événement). Ils peuvent recueillir des réponses quantitatives, des réponses qualitatives organisées en catégories et un retour d’information qualitatif sous forme libre (réponses ouvertes).

4. Les entretiens, c’est-à-dire les conversations en face à face entre un chercheur et un participant, avec un système de questions-réponses qui peut être libre, semi-structuré (avec des questions fixes et des réponses qui peuvent varier) ou structuré (questions avec des réponses plus courtes ou prédéfinies).

5. Les groupes de discussion, c’est-à-dire les discussions de groupe modérées dans lesquelles les participants sont invités à partager leurs opinions et leurs idées sur un sujet donné. Elle permet d’approfondir l’analyse et l’intégration de différents points de vue. Il peut suivre un parcours plus ou moins structuré (comme un entretien), en fonction des besoins et de la dynamique du groupe de participants.

6. Les études de cas, utilisées pour acquérir une compréhension approfondie d’un phénomène et d’un sujet particuliers. Elle implique la collecte et l’analyse de sources multiples, telles que des entretiens, des enquêtes et des observations visant à reconstituer en détail le contexte, les facteurs et les dynamiques à l’origine du phénomène, ce qui permet de dégager des tendances, des dynamiques, des modèles types, des solutions, des recommandations et des enseignements.

7. L’enquête narrative, une approche qualitative qui utilise des entretiens, des notes de terrain et d’autres formes de collecte de données pour découvrir les histoires de groupes ou d’individus et analyser leurs expériences, leurs perspectives, leur dynamique et les leçons à en tirer pour l’action future.

8. le « changement le plus significatif », une variante plus structurée des approches précédentes, qui consiste à demander à chaque participant de décrire le changement le plus significatif qui s’est produit dans son expérience concernant un domaine ou un paramètre particulier, et d’en expliquer la signification. Les « histoires » recueillies peuvent être approfondies, sélectionnées et commentées en groupe.

9. L’analyse qualitative des tendances, qui utilise des tableaux et des supports visuels pour collecter et représenter des données qualitatives sur les changements produits au sein d’un groupe et sur une période donnée. Elle peut être représentée de différentes manières, avec l’aide du groupe de référence : 1 ) Représentation cartésienne sur une échelle de 1 à 5 de l’évolution d’un certain paramètre au fil des ans. Plusieurs lignes peuvent être utilisées pour représenter plusieurs paramètres, en indiquant brièvement les phénomènes associés à l’obtention de certains « pics » et « vallées » dans le graphique ; 2 ) représentation tabulaire, avec les différents critères de référence, leur évaluation de 1 à 5 au cours des années et une évaluation sommaire (+ / -) de la tendance de chaque paramètre au cours des années ; 3) représentation visuelle, dans laquelle le parcours du groupe est dessiné sur une véritable « route », en indiquant par des dessins et des commentaires les principaux événements, phénomènes et changements qui ont marqué son évolution au cours des années.

10. Benchmarking (ou analyse comparative), méthode utilisée pour comparer et contraster deux ou plusieurs cas différents, en identifiant les similitudes et les différences entre deux ou plusieurs acteurs ou phénomènes. Les données doivent être collectées en parallèle avec les mêmes paramètres et les mêmes méthodes dans les deux cas à comparer pour garantir une comparabilité totale.

11. L’analyse statistique, qui traite les données quantitatives à l’aide de méthodes statistiques pour décrire et résumer les informations (statistiques descriptives) ou pour faire des prédictions (statistiques inférentielles). Les méthodes de statistiques descriptives comprennent, par exemple, la mesure de la tendance centrale (moyenne, médiane et mode), la corrélation (évaluation de l’existence d’une relation positive ou négative entre les variables) et la distribution (description, au moyen de fonctions, de données et de courbes, de la manière dont les données sont réparties sur un champ). Les méthodes de statistiques inférentielles comprennent, par exemple, la régression (mise en évidence d’une tendance à partir d’un ensemble de données), l’analyse de séries chronologiques et d’autres méthodes de construction de modèles prédictifs. L’analyse statistique utilise le concept d' »échantillon », dont la taille dépend de la taille de la population totale à laquelle il se rapporte, ainsi que du niveau de confiance et de la marge d’erreur souhaités.

12. L’exploration de textes et l’exploration de données, qui impliquent la collecte de données en ligne à l’aide d’ensembles de documents et de grandes bases de données, dont des informations utiles, des tendances et des modèles peuvent être extraits à l’aide d’outils informatiques spécifiques, d’algorithmes et d’applications de l’intelligence artificielle.

Lors de la mise en place d’un système de traitement des données, en particulier lorsque les données sont collectées et traitées « en interne » (par exemple, des enquêtes via des outils télématiques), l’organisation doit prêter attention à la législation et à la réglementation en vigueur concernant les données à caractère personnel(GDPR). Les données à caractère personnel sont définies comme « les informations qui identifient ou rendent identifiable, directement ou indirectement, une personne physique et qui sont susceptibles de fournir des renseignements sur ses caractéristiques, ses habitudes, son mode de vie, ses relations personnelles, son état de santé, sa situation économique, etc. Il est conseillé d’utiliser le moins possible de données à caractère personnel, de tenir un registre des données collectées, de collecter les données de la manière la plus anonyme possible (ou lorsque cela n’est pas possible, d' »anonymiser » les données collectées), et d’identifier un responsable du traitement des données à caractère personnel, sur la base de la législation en vigueur.

Des indicateurs à l'impact

L’impact, un concept complexe. Le résultat du suivi et de l’évaluation est clairement et directement appréciable lorsqu’il concerne des aspects opérationnels : activités et résultats réalisés, bénéficiaires atteints, conséquences immédiates et visibles d’un projet qui vient de s’achever. Ces données, qui sont principalement obtenues par le biais d’activités de suivi, sont également les plus importantes pour les responsables de la mise en œuvre des projets, qui en sont directement comptables.

Il est en revanche plus complexe de répondre à des questions plus larges et plus stratégiques, typiques du travail d’évaluation : quel a été (et quel sera) l’impact du projet ? Le projet a-t-il atteint son but ultime, c’est-à-dire son objectif global ? A-t-il produit les effets et les changements escomptés lors de son élaboration ?

Pour répondre à ces questions avec des preuves objectives, il est nécessaire de collecter des données après la fin du projet et d’utiliser des ressources qui peuvent aller au-delà de ce qui est mis à disposition dans le cadre d’un seul projet européen.

De plus, l’impact est un concept complexe d’un point de vue conceptuel et statistique-mathématique car de nombreux facteurs y contribuent : il n’est pas facile d' »isoler » la contribution du projet d’une pluralité d’autres facteurs concomitants. Par exemple : dans quelle mesure les effets d’un projet de réduction de la pauvreté sur une communauté sont-ils appréciables et comment peuvent-ils être isolés d’une pluralité d’autres facteurs (positifs ou négatifs) tels que les effets de la situation économique, les politiques industrielles, d’autres projets parallèles et l’initiative des membres de la communauté ?

La mesure de l’impact reste cependant une préoccupation légitime : l’impact fait partie intégrante de la logique du projet et de son cadre de suivi et d’évaluation ; c’est le point de départ et d’arrivée de toute personne qui met en œuvre ou finance un projet ; c’est ce qui définit au sens le plus large le succès réel du projet.

Encore une fois, la discussion qui suit ne prétend pas à la rigueur scientifique ou à l’exhaustivité, mais vise à traduire le concept d' »impact » en quelques idées qui peuvent être « à la portée » des responsables de la mise en œuvre des projets européens.

L’impact en tant qu’analyse contrefactuelle. L’analyse contrefactuelle définit l’impact comme la différence entre les données collectées à la fin d’une intervention (données « factuelles ») et les données collectées dans une situation sans intervention (données « contrefactuelles »). Il s’agit de l’approche la plus « scientifique » de l’évaluation d’impact : elle est utilisée dans la recherche médicale pour comparer des groupes de « traitement » à des séries chronologiques ou à des groupes de contrôle.

Cette approche est difficilement utilisable dans le domaine social, car elle présuppose.. :

  • L’existence d’indicateurs vérifiables sans ambiguïté à l’aide d’outils analytiques et ayant un lien tout aussi vérifiable et sans ambiguïté avec la dimension qu’ils sont censés mesurer.
  • La possibilité d’identifier un « groupe de contrôle » dont les caractéristiques et la dynamique sont tout à fait comparables à celles du groupe cible du projet.

Ce ne sont pas des conditions faciles pour de nombreux projets impliquant des aspects « humains » et sociaux :

  • La corrélation entre les données et le phénomène mesuré peut être plus ou moins forte, mais elle n’est guère unique et dépend de l’intervention de plusieurs facteurs.
  • Les situations des groupes et des communautés sont très variées, complexes et (à y regarder de plus près) difficilement comparables.

Malgré ses limites, l’analyse contrefactuelle reste une « référence idéale » utile pour mesurer l’impact.

Impact en tant que changement de tendance. L’analyse contrefactuelle peut être utilisée sous une forme atténuée en définissant l’impact en termes plus simples et plus généraux, comme « la capacité à produire un changement de trajectoire » dans une tendance ou un phénomène.

Bien qu’elle ne soit pas totalement quantitative et scientifique, l’analyse des données du projet par rapport à certaines tendances permet de mesurer son impact, c’est-à-dire la mesure dans laquelle le projet a pu « changer » une tendance existante. Ce type d’analyse peut être retracé en termes plus formels à la méthode de la « différence dans les différences » (difference-in-differences). méthode des « différences dans les différencesqui analyse la double variation d’une variable : dans le temps (avant, après, ex-post’ ) et entre les sujets (bénéficiaires et non bénéficiaires).

Cette méthode peut être appliquée avec plus ou moins de complexité et de rigueur en fonction des ambitions et des ressources disponibles. Il peut être applicable :

  • Circonscrire l’étendue du phénomène à mesurer à ce à quoi le projet a contribué le plus fortement et le plus directement (pour augmenter le niveau de corrélation entre l’indicateur et l’objectif mesuré) ;
  • En comparant l’évolution enregistrée par les données du projet à des points de référence aussi « proches » que possible de la population cible du projet (situation « quasi-contrefactuelle ») ;
  • Combiner, si possible, des références comparatives différentes et complémentaires (ou « trianguler » différentes données et différents points de vue pour accroître la fiabilité des résultats) ;
  • Incluez dans l’analyse, si possible, plusieurs moments de mesure (pour établir une tendance), y compris des mesures de « suivi » (par exemple, un, deux ou trois ans après la fin du projet) ;
  • Accompagner l’analyse d’une évaluation des facteurs (positifs ou négatifs) qui ont pu influencer les données et les « tendances » du projet et les références utilisées.

Par exemple, dans le cadre d’un projet consacré au placement des jeunes de 15 à 24 ans résidant dans une zone urbaine en proie à des problèmes sociaux, on peut comparer l’évolution des données relatives à l’emploi des jeunes de 15 à 24 ans enregistrées :

  • Du projet sur ses bénéficiaires (données de base vs. données finales : données « factuelles »).
  • Dans la zone d’intervention du projet (ou dans une autre zone urbaine en proie à des problèmes sociaux), au cours de la même période (données « quasi-contrefactuelles »).

Un exemple plus détaillé et plus spécifique est donné à la fin de l’exemple de cadre de suivi et d’évaluation.

Le choix du critère de référence (ou l’utilisation simultanée de plusieurs critères) peut varier en fonction de la disponibilité des données. Les différences entre les « données factuelles » et les « données quasi-contrefactuelles » peuvent être analysées (et éventuellement pondérées ou corrigées) à la lumière d’autres facteurs et variables susceptibles d’avoir affecté les deux populations de référence :

  • Facteurs positifs – par exemple, les résultats positifs obtenus grâce à des initiatives parallèles dans le domaine (par exemple, cours de formation professionnelle, soutien à l’apprentissage, outils permettant de « faire correspondre » l’offre et la demande de main-d’œuvre…).
  • Facteurs négatifs – par exemple, les difficultés économiques des entreprises de la région ou l’aggravation des conditions favorables (par exemple, la diminution des ressources allouées par les gouvernements à l’éducation ou à l’assistance sociale).

La théorie du changement peut contribuer à cette activité de pondération, car elle fournit une « cartographie » de toutes les conditions nécessaires à la réalisation du changement souhaité.

L’impact en tant que « récits » de changement. Ce qui a été illustré jusqu’à présent suit un schéma logique et structuré, plus ou moins quantitatif, basé sur le concept de « mesure » du changement obtenu par rapport à ce que le projet propose.

Dans certains projets, ce schéma peut être complexe ou insuffisant pour illustrer correctement et complètement les changements qualitatifs, les phénomènes inattendus et les effets non définis dans les mesures initiales. C’est pourquoi il existe des méthodes plus larges, qualitatives ou non contraignantes pour mesurer l’impact par rapport à des « objectifs » initiaux (par ex. l’évaluation « sans objectif).

Là encore, un traitement complet, exhaustif et rigoureux du sujet dépasse les ambitions de ce guide. Cependant, il est important d’attirer l’attention sur l’importance des aspects qualitatifs et moins structurés dans la mesure de l’impact d’un projet.

En termes opérationnels, cela signifie qu’il faut poser les questions suivantes: comment la vie des bénéficiaires (ou des organisations bénéficiaires) a-t-elle changé à la suite du projet ? Quel rôle le projet a-t-il joué dans leur évolution, leur « histoire » et leur expérience individuelle ? Selon la perception des bénéficiaires (ou des organisations bénéficiaires), quelle aurait été leur vie et leur histoire sans l’intervention du projet ? Ces petites « histoires » individuelles sont-elles capables de produire à leur tour de nouvelles « histoires de changement », petites et évocatrices ? À travers les « histoires » et les points de vue individuels, est-il possible de tracer une ligne qui identifie les paramètres de réussite et les faiblesses du projet ?

Les « histoires » peuvent être recueillies et évaluées au moyen de diverses méthodes d’analyse qualitative, déjà mentionnées dans les sections précédentes : entretiens et groupes de discussion ; études de cas et enquêtes narratives ; méthodes plus spécifiques, telles que le « changement le plus significatif » et les systèmes d’analyse et de représentation graphique des tendances et des changements qualitatifs. Ce type d’analyse adopte une approche empirique basée sur l‘ »induction« , c’est-à-dire la formulation de conclusions générales à partir de cas particuliers. Elle ne doit pas être considérée comme un « plan B » par rapport à d’autres méthodologies, car elle peut être en mesure de saisir des éléments différents, plus profonds ou au moins complémentaires par rapport à des systèmes d’analyse plus structurés.

Une analyse au moyen d' »histoires » de différents types permet également de développer un matériel de communication et de diffusion intéressant et utilisable par un large public de spécialistes (en raison de la profondeur de l’analyse), par les partenaires et les parties prenantes (qui peuvent à leur tour se l’approprier et le diffuser) et par le public plus large des profanes.

Ces aspects sont pertinents et appréciés dans les projets européens. Les rapports et la communication sont des aspects interdépendants qui répondent à un objectif commun de responsabilité et de transparence (responsabilité) à l’égard des institutions, des citoyens et de leurs communautés.

Approfondir les concepts et les approches de l’impact. Pour ceux qui souhaitent aborder les méthodologies de mesure et de gestion de l’impact d’un point de vue alternatif et complémentaire, nous recommandons unexamen approfondi des guides et outils produits par les organisations spécialisées dans l’investissement d’impact, auxquels nous avons consacré une section distincte et approfondie.

L’investissement d’impact se caractérise par une mobilisation méthodique et consciente de ressources pour obtenir un impact mesurable dans des domaines où il fait défaut (principes d’intentionnalité, de mesurabilité et d’additionnalité). Bien qu’ils ne soient pas spécifiquement axés sur le champ d’application de notre guide, les guides et outils proposés ont des points communs avec ce qui est décrit dans ce chapitre et peuvent fournir des indications supplémentaires pour la mesure et la gestion de l’impact dans les projets européens.

Nous aimerions signaler deux autres guides consacrés à l’évaluation des projets. Ils ne sont pas récents et proviennent de domaines particuliers, mais peuvent fournir des indications intéressantes pour ceux qui travaillent avec des projets européens.

1. Un guide développé dans le cadre de CIVITAS, une initiative de l’Union européenne dédiée à la mobilité urbaine. Bien qu’il contienne des exemples dédiés au secteur spécifique, il fournit un traitement très clair, complet et général du sujet de l’évaluation des projets et des programmes.

2. Un manuel d’ évaluation de projet facile à utiliser, élaboré aux États-Unis (agence gouvernementale National Science Foundation), qui adopte une approche systématique, complète et scientifique du sujet de l’évaluation de projet.