Projektmanagement: Überwachung und Bewertung

Warum und wie man über Monitoring und Evaluierung in europäischen Projekten spricht

Dieses Kapitel veranschaulicht, wie der Logical Framework, das grundlegende Instrument zur Formulierung europäischer Projekte, für das Projektmanagement, d.h. als Überwachungs- und Bewertungsinstrument, verwendet wird.

Wie wir feststellen werden, gibt es in der Tat nur wenige Unterschiede zwischen dem Logical Framework (insbesondere in seiner ‚erweiterten‘ und offiziellen Version ) und einem ‚Monitoring- und Evaluierungsrahmen‘, der im Wesentlichen eine detailliertere und operationelle Version dessen ist, was bereits im Logical Framework enthalten ist.

Die korrekte Verwendung des logischen Rahmens und das gute Management eines europäischen Projekts erfordern eine effektive Überwachung und Bewertung. Diese Aspekte stellen die wichtigste Komponente der Projektmanagementtätigkeit dar, und es gibt nur wenige offizielle ‚Gebrauchsanweisungen‘ dazu: wie auch andere spezifische Aspekte, die in diesem Abschnitt behandelt werden (z.B. Partnerschaftsmanagement und Berichterstattung), werden sie normalerweise in Fachkursen oder durch Praxis erlernt.

Im Folgenden wird daher versucht, diese Lücke zu schließen, indem ein erster operativer und nicht erschöpfender Rahmen zu diesem Thema geschaffen wird. Es vertieft und verknüpft, was in den vorangegangenen Kapiteln bereits veranschaulicht wurde:

Wie man ein Projekt strukturiert: der Prozess und die Werkzeuge | Wie man ein Projekt strukturiert: ein praktisches Beispiel und andere Werkzeuge | Entwicklung und Management eines Projekts

Überwachung und Bewertung sind ein integraler Bestandteil jeder Projektaktivität. Als solches unterliegt ein ‚Projekt‘ in der Tat Zwängen, die Formen der Kontrolle erfordern:

  • Leistungszwänge (ein Projekt zielt auf die Erreichung von Ergebnissen, Produkten und Zielen ab, die durch eine Reihe von miteinander verbundenen Aktivitäten erreicht werden);
  • Zeitliche Beschränkungen (ein Projekt findet innerhalb eines bestimmten Zeitrahmens statt), wirtschaftliche und ressourcenbezogene Beschränkungen (ein Projekt verfügt über speziell zugewiesene wirtschaftliche, materielle und personelle Ressourcen);
  • Zwänge organisatorischer Art (ein Projekt ist in Phasen mit bestimmten Zieldaten und einer Aufteilung der Aufgaben und Verantwortlichkeiten organisiert).

Überwachung und Bewertung sind Formen der Kontrolle dieser Zwänge.

Diese Kontrolle betrifft sowohl diejenigen, die das Projekt umsetzen (diejenigen, die dafür sorgen müssen, dass die Ausführung innerhalb der geforderten Grenzen bleibt), als auch diejenigen, die es finanzieren (diejenigen, die einen großen Teil dieser Grenzen festlegen). Die Europäische Kommission und die Verwaltungsbehörden der europäischen Fonds unterliegen ebenfalls Zwängen und sind (selbst) verpflichtet, ihre Programme und Projekte zu überwachen und zu bewerten. Zu wissen, wie sie vermitteln können, was sie mit den ihnen anvertrauten Mitteln erreicht haben, ist ein wesentlicher Bestandteil ihrer Verantwortung gegenüber den Bürgern.

Die Erreichung der gesetzten Ziele innerhalb des vorgegebenen Zeitrahmens und mit den verfügbaren Mitteln ist daher das Herzstück der Verbindung zwischen der Person, die ein europäisches Projekt einreicht, und der Verwaltungsbehörde, die es finanziert. Aus diesem Grund ist eine gut durchdachte (in der Vorschlagsphase) und gut umgesetzte (in der Durchführungsphase) Überwachung und Bewertung ein grundlegender Bestandteil für die an der Europlanung Beteiligten und eine Voraussetzung für den Erfolg ihrer Projekte.

Selbst wenn in der Aufforderung zur Einreichung von Vorschlägen die Ausarbeitung eines logischen Rahmens oder eines Rahmens für die Überwachung und Bewertung nicht ausdrücklich gefordert wird, ist die Anforderung in verschiedenen Feldern und Kriterien des Antragsformulars implizit enthalten (Beschreibung der Projektlogik, erwartete Projektauswirkungen, Projektüberwachungssystem usw.). Diese Bereiche und Kriterien können bei der Projektauswahl ein erhebliches Gewicht haben und müssen konkret und im Einklang mit dem Vorschlag als Ganzes dargestellt werden. Dies ist möglich, wenn das Projekt durch einen guten Logical Framework und einen guten Monitoring- und Evaluierungsrahmen unterstützt wird.

Monitoring und Evaluierung sind zwei ähnliche Aktivitäten, sie unterstützen sich gegenseitig und dienen beide dazu, zu verstehen, „wie das Projekt läuft“ (oder „wie es gelaufen ist“). Sie sind jedoch unterschiedlich:

  • Nach Zeitplan. Die Überwachung erfolgt kontinuierlich und systematisch während des Verlaufs der Aktivitäten und ist notwendig, um die operative Lebensdauer des Projekts zu steuern. Die Evaluierung findet zu bestimmten Zeitpunkten statt (hauptsächlich am Ende der Aktivitäten, aber auch in der Mitte des Projekts oder einige Zeit nach dessen Abschluss) und hat strategische Auswirkungen (hat das Projekt die beabsichtigten Wirkungen erzielt? Welche Lehren können daraus gezogen werden? Wie sollten neue Programme und Projekte entsprechend ausgerichtet werden?);
  • Mit Absicht. Die Überwachung konzentriert sich auf die ‚unteren‘ Ebenen des logischen Rahmens, auf das tägliche Management von Aktivitäten, Risiken, Zeit und Ressourcen sowie auf die Projektergebnisse und auf die operativen Dimensionen (Effizienz und Effektivität). Die Evaluierung konzentriert sich auf die ‚höheren‘ und strategischen Ebenen des logischen Rahmens (Ergebnisse, Ziele, Resultate und Auswirkungen des Projekts) und befasst sich eingehend mit allen 5 Kriterien – Relevanz, Effizienz, Effektivität, Auswirkungen und Nachhaltigkeit;
  • Für Instrumente. Bei der Evaluierung können „langsamere“ und komplexere Instrumente (z.B. Fragebögen, Interviews, Fokusgruppen und andere Arten der Datenerhebung) zum Einsatz kommen, während bei der Überwachung schnellere und unmittelbarere Instrumente zur Datenerhebung und -analyse oder die direkte Beobachtung bestimmter Schlüsselvariablen verwendet werden. Außerdem wird die Überwachung normalerweise von den für die Projektaktivitäten Verantwortlichen durchgeführt, während die Bewertung oft an Dritte delegiert wird;
  • Nach Relevanz (für diejenigen, die an europäischen Projekten beteiligt sind). Von den beiden Aktivitäten ist die Überwachung diejenige, der die europäischen Projektträger am unmittelbarsten Rechenschaft ablegen müssen, und diejenige, die sich am direktesten auf die Projektdurchführung auswirkt. Nichtsdestotrotz bleibt die Evaluierung eine wichtige Aufgabe, denn sie bietet eine strategische Orientierung (wenn sie z.B. in der Mitte eines Projekts durchgeführt wird) und eine Reihe von abschließenden Überlegungen und Orientierungen (die oft in der abschließenden Projektberichterstattung verlangt werden).

Der Aufwand für die Überwachung und Bewertung erstreckt sich von der Planungsphase eines Projekts bis zu seinem Abschluss und darüber hinaus. Es besteht aus den folgenden Schritten, die in den nächsten Abschnitten dieses Kapitels erläutert werden:

  • Definieren Sie die Interventionslogik;
  • Definieren Sie Indikatoren;
  • Legen Sie den Rahmen für die Überwachung und Bewertung fest;
  • Setzen Sie den Überwachungs- und Bewertungsplan mit Hilfe geeigneter Instrumente und Datenerfassungsmethoden um;
  • Schätzung der ‚Auswirkungen‘ eines Projekts.

Definition der Interventionslogik: der logische Rahmen und die Theorie der Veränderung

Der Ausgangspunkt für eine gute Messung der Projektleistung ist eine klare Identifizierung der Interventionslogik, d.h. der (logisch verketteten) Abfolge von Zielen, Ergebnissen und Aktivitäten, die erreicht werden sollen.

Eine Formulierung der Interventionslogik, die nicht genau, klar und konsistent ist (in Bezug auf die Definition und die logische Verknüpfung ihrer Teile), macht die anschließende Ausarbeitung des Monitoring- und Evaluierungsrahmens komplexer, weniger effektiv und weniger sinnvoll. Wenn Sie nämlich nicht genau definieren, was Sie mit einem Projekt erreichen wollen, ist es schwierig, es zu bewerten.

Die Interventionslogik ist wiederum die Grundlage für den Logical Framework, der den wichtigsten Kern eines Monitoring- und Evaluierungsrahmens darstellt. In seiner ‚erweiterten‘ Version enthält der Logical Framework tatsächlich fast alle Elemente eines Überwachungs- und Bewertungsrahmens (Indikatoren, Quellen der Überprüfung, Basislinien, Ziele und progressive Daten im Zusammenhang mit der Messung der Indikatoren).

Genauere Angaben zur Definition der Interventionslogik und des Logical Framework finden Sie in einem eigenen Kapitel (mit einem praktischen Beispiel).

Um die Formulierung einer guten Interventionslogik zu unterstützen, gibt es ein alternatives und ergänzendes Instrument zum Logical Framework (und dem Problem/Lösungsbaum), die Theorie der Veränderung.

Die Theory of Change basiert auf einem ähnlichen (wenn auch nicht identischen) Prozess und einer ähnlichen Terminologie und identifiziert (wie der Logical Framework) verschiedene logische Schritte, die die Projektaktivitäten mit der zu erreichenden „endgültigen Veränderung“ verbinden. Es ist ein dynamischeres und flexibleres Werkzeug als das Logical Framework. Es umfasst die folgenden Schritte:

  • Die Definition der langfristigen „Veränderung“, die mit dem Projekt erreicht werden soll;
  • Kartierung der Bedingungen, die notwendig sind, um einen solchen Wandel herbeizuführen;
  • Die Überprüfung der Notwendigkeit und Vollständigkeit der identifizierten Bedingungen;
  • Die Formulierung von Hypothesen, um einige der identifizierten Bedingungen aus dem Anwendungsbereich der Intervention auszuschließen;
  • Die Identifizierung der Maßnahmen, die notwendig sind, um die verbleibenden Bedingungen zu erreichen, die folglich den Umfang des Projekts ausmachen;
  • Die Entwicklung von Indikatoren, um zu überprüfen, ob alle notwendigen Bedingungen für die ursprünglich identifizierte Veränderung erfüllt wurden.

Mehr über die Theory of Change, mit Erklärungen und Beispielen, erfahren Sie auf einer speziellen Website.

Die Visualisierung der Theory of Change in einem Projekt nimmt vielfältigere und flexiblere Formen an als die (starre und strukturierte) Tabelle, die für den Logical Framework typisch ist. Eine Theory of Change lässt sich mit Hilfe von Diagrammen mit Kästchen, Pfeilen und nicht-linearen Pfaden visualisieren und ist daher besser geeignet, die Komplexität des Umfangs eines Projekts zu erfassen.

Andererseits ermöglicht die strukturiertere Form des logischen Rahmens eine präzisere Definition einer „Hierarchie“ von Indikatoren, die je nach Bezugsebene entweder mit Überwachungsaktivitäten oder mit Bewertungsaktivitäten verbunden sind.

Während die Theory of Change für die Definition der Interventionslogik und die Strukturierung des Projekts sehr nützlich ist, bildet der Logical Framework die Grundlage für die anschließenden Überwachungs- und Bewertungsaktivitäten.

Weitere nützliche Instrumente zur Unterstützung der Entwicklung der Interventionslogik eines Projekts sind die „Lückenanalyse “ und die „Szenarioplanung“, bei denen jeweils Folgendes analysiert wird: (a) die „Lücken“, die in Bezug auf bestimmte Parameter zu schließen sind, die Zielparameter und die zu ihrer Erreichung erforderlichen Maßnahmen und Ressourcen; (b) die möglichen (positiven und negativen) „Szenarien“ für die Entwicklung eines bestimmten Sektors oder Kontexts, die Bedingungen und Faktoren (positive und negative), die mit jeder Art von Entwicklung verbunden sind, und der Weg, der erforderlich ist, um das „Szenario“ zu erreichen, das mit den verfügbaren Ressourcen als am günstigsten und machbarsten angesehen wird.

Definition von Indikatoren: "SMART"-Kriterien, Linearität und Vereinfachung

Der nächste Schritt nach der Definition der Interventionslogik ist die Definition von Indikatoren.

Wie in der Logical Framework-Matrix angegeben, sollte für jede Zeile der Interventionslogik (Allgemeines Ziel, spezifische Ziele und Ergebnisse) mindestens ein Indikator enthalten sein. Im Sinne einer effektiven und zeitnahen Überwachung ist es ratsam, einfache Indikatoren oder operative Checklisten auch für die Durchführung von Aktivitäten oder Gruppen von Aktivitäten (Arbeitspakete oder Komponenten) bereitzustellen.

Die Definition der Indikatoren muss den folgenden Kriterien folgen, die das Akronym ‚SMART‘ bilden:

  • Spezifisch (muss greifbar, genau definiert und eindeutig identifizierbar sein);
  • Messbar (muss objektiv nachweisbar sein, qualitativ oder quantitativ, mit den verfügbaren Ressourcen);
  • Erreichbar (muss sich auf Inhalte beziehen, die mit den verfügbaren Ressourcen tatsächlich erreichbar sind);
  • Zeitgebunden (muss mit einem Zeitrahmen für die Erreichung und Messung der Ziele verbunden sein).

Operativ gesehen erfordert eine gute Definition von Indikatoren sowohl Linearität als auch Präzision.

Linearität und Vereinfachung. Ein guter Bewertungsrahmen basiert auf einer kleinen Anzahl relevanter, spezifischer und gut messbarer Schlüsselindikatoren: Zu viele Indikatoren belasten die Projektressourcen unnötig. Jeder Indikator muss seine eigene Bedeutung haben, um den Erfolg (oder Misserfolg) des Projekts zu definieren. 1 Indikatoren, die für die Definition des Erfolgs oder des Fortschritts des Projekts nicht wirklich relevant sind, die schwer zu messen sind oder deren Messung zu kostspielig ist, können vermieden werden: durch eine Überarbeitung der Interventionslogik, durch die Verwendung anderer, leichter messbarer Indikatoren oder durch die Verwendung von „Proxy“-Indikatoren (die die gewünschte Variable nicht direkt messen, aber eine zuverlässige Schätzung liefern).

Die Komplexität der Indikatoren hängt von der Ebene der Interventionslogik ab, auf die sie sich beziehen. Aktivitäts- oder Ergebnisindikatoren sollten sofort gemessen werden können (im Rahmen der täglichen Projektüberwachung), während Ergebnis- oder Wirkungsindikatoren (im Zusammenhang mit den Projektzielen) möglicherweise eine eingehendere Bewertung erfordern, da sie eine allgemeinere und langfristige Veränderung messen. Die Ziele und Ergebnisse selbst müssen einfach und möglichst „empirisch“ formuliert werden, um die Anzahl und Komplexität der zu ihrer Messung erforderlichen Indikatoren zu reduzieren.

Linearität und Vereinfachung sind auch Leitprinzipien bei der Formulierung von Indikatoren: Es ist besser, Indikatoren zu verwenden, die bereits bekannt sind, existieren und von ‚Insidern‘ verwendet werden (z.B. Invalsi-Daten in einer bestimmten Region), als neue zu erfinden (z.B. ähnliche Daten, die durch eigene Tests gewonnen wurden); es ist besser, Indikatoren in knappen Worten zu definieren, als zu viele Details aufzunehmen (Zeitrahmen, Ziele und andere Aspekte sollten in speziellen Feldern des Anzeigers angegeben werden).

Spezifität und Präzision. Die Vereinfachung sollte nicht auf Kosten von Spezifität und Präzision gehen, vor allem dann nicht, wenn diese in Reichweite der eigenen Ressourcen liegen oder mit einfachen Mitteln erreicht werden können. Insbesondere die Spezifität und Präzision der Indikatoren sind eine Folge der Ziele und Ergebnisse, die auf einfache, empirische und direkt beobachtbare Weise formuliert wurden.

Die Parameter müssen das tatsächliche Maß dessen angeben, was als Ziel und Ergebnis definiert ist. Sie müssen eindeutig formuliert sein, damit ihre Messung nicht durch Ermessensspielraum variiert werden kann. Falls erforderlich, kann die Berechnungsmethode auf der Seite definiert werden (z.B.: Parameter, die bei der Berechnung eines Prozentsatzes zu berücksichtigen sind).

Spezifität und Präzision können auch auf Indikatoren qualitativer Art angewandt werden, wenn diese zur Messung einer gewünschten Veränderung erforderlich sind. In diesen Fällen erfordert das Kriterium der Genauigkeit eine Definition der Skala und der Situation, auf die sich die verwendeten qualitativen Parameter beziehen (z. B. was Bewertungen wie „ausgezeichnet“ oder „gut“ bedeuten) und/oder eine spezifische Definition der Art und Weise, wie dieser Indikator bewertet wird (z. B. eine eindeutige Formulierung der Fragen in einem Fragebogen oder einer Fokusgruppe).

Die Indikatoren und insbesondere ihre Zielwerte müssen im Rahmen des Projekts praktisch durchführbar sein und mit Zeitrahmen, Zeitrahmen für die Feststellung und den anderen Aspekten des Überwachungs- und Bewertungsrahmens in Verbindung stehen.

Festlegung des Rahmens für die Überwachung und Bewertung

Der Rahmen für die Überwachung und Bewertung ist eine große Tabelle, in der jeder Indikator mit den folgenden Punkten verlinkt ist, die angeben, wie und wann jeder Indikator überprüft wird:

  1. Ausgangswerte (Baseline) und Zielwerte (Ziele) der Indikatoren,
  2. Quellen, Methoden und materielle Mittel für ihre Überprüfung,
  3. Zeitplan für die Überprüfung und Berichterstattung,
  4. Verantwortung und Arbeitsteilung im Verifizierungsprozess.

Der Umfang des Monitoring- und Evaluierungsrahmens und der dafür erforderliche Aufwand müssen realistisch und nicht überdimensioniert sein und der Art des Projekts, den verfügbaren Ressourcen und den tatsächlichen operativen Kapazitäten der Projektträger und der Begünstigten entsprechen. Es ist besser, eine kleinere Anzahl vonLeistungsindikatoren (Key Performance Indicators – KPIs) zu überwachen und zu bewerten, die möglicherweise aus den im Logical Framework definierten Indikatoren ausgewählt werden, als aufgrund der Komplexität des Systems und des Umfangs der erforderlichen Aktivitäten überhaupt kein Monitoring und keine Evaluierung durchzuführen.

Bei komplexen Projekten ist es außerdem ratsam, einen Überwachungs- und Bewertungsplan (z.B. in Form eines Gantt-Diagramms) zu erstellen, in dem die durchzuführenden Aktivitäten, der Zeitrahmen und die Höhepunkte des Überwachungs- und Bewertungsprozesses zusammengefasst sind.

1. Ausgangsbasis und Ziel. Die Definition einer Baseline, d.h. eines Ausgangspunkts für die betrachteten Indikatoren, ist die erste wirkliche „Bewertungs“-Aktivität, die im Rahmen eines Projekts durchgeführt wird, und wird als „Baseline-Studie“ bezeichnet.

Für die Festlegung einer Baseline werden Daten, Zeit und Ressourcen benötigt, ähnlich wie bei der Durchführung einer Überwachungs- und Bewertungsmaßnahme. Der Aufwand für die Ermittlung einer Baseline und der entsprechenden Zielwerte ist proportional zu dem Aufwand, der später bei der Überwachung und Bewertung erforderlich ist. Schwierigkeiten in dieser Phase (aufgrund mangelnder Daten, Zeit und Ressourcen) können darauf hindeuten, dass der Überwachungs- und Bewertungsrahmen in keinem Verhältnis zu den eigenen Fähigkeiten steht, ihn in die Praxis umzusetzen.

Es ist wichtig, dass Sie einen Zeitrahmen für die Erreichung der Zielwerte angeben. Zusätzlich zum Enddatum des Projekts ist es ratsam, Referenzwerte für eine Halbzeitbewertung und möglicherweise weitere Zwischenwerte anzugeben, um vor dem Ende des Projekts zu verstehen, ob man auf dem richtigen Weg ist, die Indikatoren zu erreichen.

Indikatoren, die bestimmte Aktionen oder Produkte, die im Rahmen des Projekts realisiert werden sollen, quantifizieren, haben normalerweise einen Startwert von Null, der sich mit der Durchführung der Aktivitäten erhöht. Die Zielwerte der Indikatoren müssen natürlich realistisch quantifiziert werden.

2. Quellen, Wege und Mittel zur Überprüfung. Dieser Teil des Monitoring- und Evaluierungsrahmens beantwortet die zentrale Frage, „wie“ die Indikatoren gemessen werden sollen.

Zunächst muss die Quelle (Dokument oder physischer Datenträger) definiert werden, über die die Daten gesammelt werden können: entweder eine interne Projektquelle (das Projekt „erstellt“ die Daten durch eigene Fragebögen, Untersuchungen oder Beobachtungen) oder eine externe Quelle (Veröffentlichungen, Datenbanken und statistische Jahrbücher regionaler, nationaler oder internationaler Institutionen, Universitäten, Unternehmen oder Organisationen, die in diesem Bereich tätig sind, begünstigte Organisationen, andere Projekte oder parallele Aktionen, die Daten sammeln und verarbeiten, usw.).

Neben der Quelle müssen auch die Art und Weise der Überprüfung unter Berücksichtigung der folgenden Parameter überprüft werden:

  • Die Konsistenz der Daten mit der vom Projekt angenommenen Definition und ihre Konstanz im Laufe der Zeit (Daten, die mit denselben Parametern mit der erforderlichen Häufigkeit berechnet wurden, vom Zeitpunkt der Baseline bis zum Zeitpunkt der letzten Bewertungen);
  • Die Zuverlässigkeit der Quelle (maßgebliche Quelle, überprüfbar auch durch Dritte, oder strenge und überprüfbare Methodik, da die Daten intern entwickelt wurden);
  • Ihre tatsächliche Verfügbarkeit (Notwendigkeit von Vereinbarungen oder Abonnements, mögliche Kosten, unkontrollierbare Faktoren, die den Zugang zu den Daten beeinträchtigen könnten);
  • Wie wird darauf zugegriffen (online, Bibliothek, Kauf des Mediums, eigene Datenbank, Notwendigkeit der Weiterverarbeitung von Daten).

Als nächstes muss festgelegt werden, wie die Daten verarbeitet werden, um nützliche Informationen für das Projekt zu erhalten, wie sie gespeichert werden (Art des Formats und des Mediums) und wie auf sie zugegriffen, sie überprüft, aktualisiert und geändert werden.

Die so gewonnenen Informationen müssen an diejenigen weitergegeben werden, die daraus nützliche Schlüsse (und eventuelle Korrekturmaßnahmen) ziehen können, d.h. an diejenigen, die das Projekt verwalten, an diejenigen, die eine Entscheidungsfunktion darin ausüben, an diejenigen, die es finanzieren, und an diejenigen, die berechtigt und daran interessiert sind, seine Entwicklung zu verfolgen. Dies geschieht durch Analysen und Berichte (deren Häufigkeit und Struktur festgelegt werden müssen) sowie durch spezifische Kommunikationskanäle (deren Art, Mechanismen und Begünstigte festgelegt werden müssen).

Angesichts des Arbeitsaufwands, den die Erhebung und Verarbeitung von Daten mit sich bringen kann, sollten auch hier die einfachsten, kosteneffizientesten und zeitsparendsten Optionen gewählt werden, z. B. indem der Umfang und die Komplexität der Daten „produktion“ durch das Projekt und seine Begünstigten (durch Fragebögen, Umfragen, Fokusgruppen usw.) auf das unbedingt Notwendige beschränkt werden.

Dies kann im folgenden Abschnitt über die Erfassung und Verarbeitung von Daten genauer untersucht werden.

3. Zeitplan für die Überprüfung und Berichterstattung. Dieser Teil des Monitoring- und Evaluierungsrahmens beantwortet die Schlüsselfrage, wann die Indikatoren gemessen werden, oder genauer gesagt, wie lange und wie oft. Die Wahl hängt von den Indikatoren, den Daten, den zuvor festgelegten Modalitäten, dem Engagement, das sie von den Begünstigten erfordern, und den verfügbaren personellen und materiellen Ressourcen ab.

Der Zeitplan hängt auch von der „Ebene“ ab, auf der der Indikator angesiedelt ist: Wie bereits erwähnt, sind Indikatoren, die sich auf Aktivitäten und Ergebnisse (Output) beziehen, in der Regel einfacher und können im Rahmen der Projektüberwachung häufig überprüft werden; Indikatoren, die sich auf Ergebnisse (Outcome) und Projektziele (Impact) beziehen, werden im Rahmen einer Ad-hoc-Bewertung gemessen. Wenn eine Evaluierung durchgeführt werden soll, sollte sie nicht erst am Ende des Projekts stattfinden, sondern parallel zur Vorbereitung und Durchführung des Projekts, damit der Prozess der Strukturierung und Sammlung von Daten (z.B. über eine Zielgruppe und eine mögliche ‚Kontrollgruppe‘) richtig organisiert ist.

Schließlich muss der festgelegte Zeitrahmen Mittel und Wege beinhalten, um die gesammelten Informationen an diejenigen weiterzuleiten, die die Möglichkeit haben, Schlussfolgerungen zu ziehen und Korrekturmaßnahmen zu ergreifen. Die kritischsten Indikatoren, d.h. diejenigen, deren Nichterreichen ein größeres Risiko für die Projektleistung darstellt, verdienen während der gesamten Projektlaufzeit ständige Aufmerksamkeit. Die Risikoanalyse und das Risikomanagement sind in der Tat ein integraler Bestandteil der Überwachungstätigkeit.

Mehr darüber, wie die Indikatoren überprüft werden und wie die Risiken gehandhabt werden, erfahren Sie im folgenden Abschnitt über Überwachungs- und Bewertungsinstrumente.

4. Verantwortlichkeiten und Aufgaben. Dieser Teil des Überwachungs- und Bewertungsrahmens beantwortet die Schlüsselfrage, wer die Indikatoren misst. Eine genaue Festlegung der Verantwortlichkeiten ist nützlich, um wichtige Aspekte des Projektmanagements nicht zu vernachlässigen, insbesondere in Zeiten, in denen Fristen und laufende Aktivitäten viel Zeit und Energie absorbieren.

„Wenn man von Zeit zu Zeit den Kopf hebt, und sei es nur, um einige wichtige „KPIs“ zu analysieren, kann das Projekt auf dem richtigen Weg bleiben. Dies kann direkt von den Projektmitarbeitern und dem Projektmanager erledigt werden, obwohl bei großen Projekten (und insbesondere bei Bewertungsaktivitäten) spezialisierte externe Berater in Betracht gezogen werden können (um die Neutralität des Prozesses zu gewährleisten).

Zu diesem Zweck kann es sinnvoll sein, einen einfachen Kalender einzurichten, der daran erinnert, wer wann die wichtigsten Überwachungs- und Bewertungsaktivitäten in Form einer Erinnerung oder eines Gantt-Diagramms durchführt; dazu gehören auch die Aktivitäten im Zusammenhang mit der Projektberichterstattung. Einige der grundlegenden operativen Kontrollen (Zeit, Aktivitäten und Ergebnisse, Budget und Ressourcen) sollten vom Team während der täglichen Projektmanagementaktivitäten automatisch durchgeführt werden.

Guida Europrogettazione - Esempio di Quadro di monitoraggio e valutazione

Instrumente zur Überwachung und Bewertung

Eine gute Überwachung ist ein Zeichen für gutes Projektmanagement. Die Überwachung – und die Folgemaßnahmen – sind in der Tat das Herzstück des Projektmanagements. Für das Projektmanagement wurden viele Methoden und Werkzeuge entwickelt: Jeder Projektmanager und jedes Projekt wählt die Kombination, die am besten zu seiner Organisation und seinen Bedürfnissen passt. Die Europäische Kommission hat eine eigene ‚Toolbox‘ von Tools entwickelt, die in einer Projektmanagement-Methode namens ‚OpenPM2‘ organisiert sind : Wir haben ihr einen Artikel und eine kurze , ausführliche Diskussion gewidmet. Dieletzte Ausgabe des Handbuchs, das kostenlos auf Italienisch erhältlich ist, datiert auf April 2023. OpenPM2:
  • Es definiert Überwachung und Kontrolle als eine kontinuierlicheAktivität, die sich über die gesamte Lebensdauer des Projekts erstreckt, von der Initiierung (Phase 1) über die Planung und Durchführung (Phasen 2 und 3) bis zum Abschluss (Phase 4).
  • Es identifiziert 11 Hauptkomponenten der Überwachungs- und Kontrolltätigkeit: Beschaffung verwalten, Risiken verwalten, Aufmerksamkeitspunkte und Entscheidungen verwalten, Kosten kontrollieren, Zeit kontrollieren, Leistung überwachen, Qualität verwalten, Produkte abnehmen, Beteiligte verwalten, Projektänderungen verwalten, Übergang verwalten.
  • Es werden verschiedene für das Projektmanagement typische Instrumente vorgeschlagen, von denen viele in diesem Leitfaden vorgestellt oder erwähnt werden (RACI-Matrix und ihre Varianten, Stakeholder-Matrix, Projektplanung und Budgetierung, Risiko- und Aufmerksamkeitsregister, Checkliste, Gantt-Diagramm…).
Ohne den Anspruch auf Vollständigkeit erheben zu wollen, stellen wir im Folgenden zwei der am häufigsten verwendeten Tools für Projektmanagement, Überwachung, Kontrolle und Bewertung vor, zusätzlich zu dem, was bereits in diesem und den vorangegangenen Kapiteln erläutert wurde. Das Projekt ‚Dashboard‘. Eine der beliebtesten und effektivsten Methoden zur Überwachung des Projektfortschritts besteht darin, ein „Dashboard“ oder „Kontrollpanel“ zu erstellen, mit dem bestimmte Schlüsselparameter überwacht werden können, darunter insbesondere
  • Die einzelnen Aktivitäten, die von ihnen produzierten Ergebnisse und ihre Zeitpläne, wobei der Schwerpunkt auf den so genannten Projekt-„ Meilensteinen“ liegt, d.h. den „Meilensteinen“, die die wichtigsten Etappenziele markieren (z.B. die Zieldaten für die Definition, Genehmigung, Einführung und Fertigstellung eines Ausbildungsplans). Dieser Teil des ‚Dashboards‘ kann effektiv in Form eines Gantt-Diagramms dargestellt werden.
  • Die wichtigsten Indikatoren, die für das Projekt ermittelt wurden, insbesondere die einfacheren, ‚operativen‘ Indikatoren (die mit Aktivitäten und Ergebnissen verbunden sind) und die Indikatoren, die als ‚KPIs ‚ (Schlüsselindikatoren) definiert wurden, die regelmäßig überwacht werden sollen. In diesem Fall kann das ‚Dashboard‘ für jeden Indikator einen erwarteten Wert für jedes geplante Kontrolldatum anzeigen, der mit der entsprechenden Messung einhergeht, um etwaige Abweichungen zu verdeutlichen.
  • Ein Plan für die Nutzung der Ressourcen, wiederum mit den erwarteten Werten für die Nutzung jeder Ressource (Mittel, Personal, Material) im Laufe der Zeit und regelmäßigen ‚Kontrollpunkten‘, die mit dem Fortschrittsstatus der Indikatoren verglichen werden.
Für jede Messung ist es ratsam, jedem dieser Parameter ein synthetisches ‚Etikett‘ zu geben, möglicherweise in Verbindung mit einem Symbol und einem Farbcode (wie in diesem Beispiel):
    ▶ ‚Laufend‘: Fortschritt wie geplant, ohne besondere Hindernisse oder Verzögerungen;
    ▶ ‚Überfällig‘: Fortschritte, die hinter den Erwartungen zurückbleiben, mit möglichem Bedarf an Korrekturmaßnahmen (im Falle von Ressourcen: ‚Übererfüllt‘ / Auslastung über den Erwartungen);
    ▶ ‚Gefährdet‘: Das Vorankommen ist in Gefahr und ohne schnelles Handeln wird es zwangsläufig zum Nicht-Erreichen oder Scheitern (oder zur Überschreitung der verfügbaren Ressourcen) führen;
    ◼ ‚Abgeschlossen‘: die Aktivität ist wie erwartet abgeschlossen (oder die Ressource ist erschöpft);
    ◼ ‚Ausgesetzt‘: die Aktivität ist aufgrund externer Faktoren oder mangelnder Ressourcen vorübergehend ausgesetzt;
    ◼ ‚Gescheitert‘: die Aktivität ist nicht mehr durchführbar oder die Ressource ist vorzeitig erschöpft.
Im Zuge der Überwachung ist es auch ratsam, den Zustand zu erhalten:
  • eine Aufzeichnung der festgestellten Diskrepanzen, der ergriffenen Korrekturmaßnahmen und der Änderungen an der Projektstruktur (Umgestaltung von Aktivitäten und Ressourcen), die als Reaktion auf die bei der Umsetzung aufgetretenen Herausforderungen vorgenommen wurden;
  • eine Risikomatrix und ein Register der relevanten Aufmerksamkeitspunkte (siehe unten).
Die Elemente eines ‚Dashboards‘ finden Sie in einer Software, die speziell für das Projektmanagement entwickelt wurde. Sie können aber auch (in relativ einfacher Form) durch entsprechend eingerichtete Tabellenkalkulationen erstellt werden, die über ein Netzwerk oder eine Cloud zwischen den Mitgliedern des Projektteams ausgetauscht werden.

Die Risikomatrix. Die Aktivitäten des Projektmanagements und der Überwachung zielen darauf ab, Risiken, die während der Projektdurchführung auftreten können, zu verhindern, zu mindern und zu korrigieren. Das Projekt-Dashboard wird daher normalerweise durch spezielle Tools für das Risikokonzept ergänzt. Das Risikomanagement besteht wiederum aus vier Hauptphasen:

  1. Identifizierung potenzieller Risiken, die sich auf das Projekt auswirken könnten, durch Brainstorming-Aktivitäten, Definition von Checklisten und Analyse der Erfahrungen aus anderen Projekten. Es müssen alle relevanten Risiken berücksichtigt werden, die aus verschiedenen Quellen stammen können: die Organisation selbst und ihre Partner (interne Risiken), Zielgruppen und Begünstigte, andere Organisationen im Rahmen des Projekts, Institutionen, die politische, wirtschaftliche und finanzielle Situation, störende soziale oder technologische Ereignisse, Naturereignisse, usw;
  2. Risikoanalyse zur Bestimmung der Wahrscheinlichkeit und der möglichen Auswirkungen. Die Risiken können in eine Matrix eingetragen werden, die durch Zuweisung eines Wertes von 1 bis 3 für die Wahrscheinlichkeit (P) und die Auswirkungen (I) ihren Schweregrad (G = P x I) in leicht (G = 1 oder 2, mit dem normalen Projektbetrieb vereinbar), mäßig (G = 3 oder 4, erfordert spezifische Gegenmaßnahmen) und hoch (G = 6 oder 9, kann die Lebensfähigkeit des Projekts untergraben) unterteilt;
  3. Planung einer Risikoreaktion, die aus verschiedenen Lösungen bestehen kann, die darauf abzielen, das Risiko zu vermeiden (durch Änderung der Konstruktion oder durch besondere Vorkehrungen), das Risiko zu übertragen (indem es von einem Dritten gemindert wird, z. B. durch eine Versicherung), das Risiko zu mindern (indem sein Schweregrad auf ein „mildes“ Niveau reduziert wird) oder das Risiko zu akzeptieren (indem seine Folgen in Kauf genommen werden, aber ein ausgeklügelter „Notfallplan“ für den Fall seines Eintretens besteht);
  4. Einführung eines Risikoüberwachungssystems durch eine mehr oder weniger kontinuierliche Aktualisierung der Risikomatrix und des entsprechenden Reaktionsplans (ähnlich wie bei den Indikatoren im Projekt-Dashboard). Ähnlich wie bei den KPIs sind Risiken mit einem höheren Schweregrad die Aufmerksamkeitspunkte, die regelmäßiger und gründlicher überwacht werden müssen.

Methoden der Datenerhebung und -verarbeitung

Monitoring und Evaluierung basieren auf Daten, die gesammelt (d.h. auf irgendeine Weise beobachtet und aufgezeichnet), verwaltet (d.h. sicher und einheitlich auf einem Medium, in der Regel elektronisch, gepflegt und gespeichert), verarbeitet (d.h. mit Hilfe von analytischen und statistischen Werkzeugen in nützliche Projektinformationen umgewandelt) und präsentiert (d.h. in ein Berichtssystem integriert) werden müssen.

Die Daten sind in verschiedene Typen unterteilt:

  • Primäre Daten werden im Rahmen des Projekts direkt bei der zu beobachtenden Bevölkerung erhoben, während sekundäre Daten über vorhandene Quellen gesammelt werden. Primärdaten sind spezifischer in Bezug auf die Messung der Projektwirkungen und -auswirkungen, aber weniger vergleichbar mit allgemeineren Daten und sicherlich schwieriger zu erstellen; Sekundärdaten hingegen sind leichter verfügbar und vergleichbar, messen den Beitrag des Projekts aber tendenziell weniger spezifisch;
  • Quantitative Daten entsprechen numerischen Werten, die zum Zeitpunkt der Messung direkt gemessen werden, sind normalerweise in einem bestimmten Format strukturiert und lassen sich durch Gleichungen und Formeln mathematisch darstellen. Qualitative Daten hingegen beziehen sich auf subjektive Dimensionen und lassen sich nicht direkt in einem numerischen Wert zusammenfassen, sondern werden normalerweise in Kategorien organisiert, um mit mathematischen und statistischen Werkzeugen leichter verwaltet werden zu können. Quantitative Daten lassen sich leichter mit mathematischen Werkzeugen bearbeiten und können daher „objektiver“ erscheinen, aber sie können die Komplexität eines Phänomens weniger gut erfassen als qualitative Daten.

Die bestehenden wissenschaftlichen Erkenntnisse und Methoden der Datenerfassung und -verarbeitung sind vielfältig, breit gefächert und komplex und würden den Rahmen dieses Leitfadens sprengen. Ohne Anspruch auf Vollständigkeit und Strenge versuchen wir, einen schnellen Überblick zu geben, als Ausgangspunkt für das weitere Studium anderer, speziellerer Quellen. Die verschiedenen Methoden ergänzen sich gegenseitig und werden in der Regel in verschiedenen Kombinationen eingesetzt, um die Überwachung und Bewertung eines Projekts zu unterstützen.

1. Dokumentarische Recherche und die Verwendung von Sekundärdaten, z. B. aus Regierungsdokumenten, akademischer Forschung, Forschung und Analyse durch andere in diesem Bereich oder anderen Projekten, Online-Quellen wie soziale Medien, Blogs oder Gespräche zwischen Nutzern.

2. Direkte Beobachtung, die durch die direkte Erhebung von Projektdaten auf verschiedene Weise gewonnen wird (z.B. Anzahl der produzierten Medien, Anzahl der Teilnehmer an einer Schulungsveranstaltung, Anwesenheitslisten, Spuren und Rückmeldungen, die zu den im Rahmen des Projekts erstellten IT-Tools aufgezeichnet wurden, Rückmeldungen, die direkt während der Projektaktivitäten eingeholt wurden, Beobachtungen, die von den Mitarbeitern während der Durchführung der Aktivitäten aufgezeichnet wurden, usw.).

3. Umfragen, die dazu dienen, Daten von einer großen Anzahl von Personen über Online-Tools, Telefonumfragen oder Papierfragebögen zu sammeln, die auch während der Projektaktivitäten (z. B. am Ende einer Veranstaltung) durchgeführt werden. Sie können quantitative Antworten, nach Kategorien geordnete qualitative Antworten und qualitatives Feedback in freier Form (offene Antworten) sammeln.

4. Interviews, d.h. Gespräche von Angesicht zu Angesicht zwischen einem Forscher und einem Teilnehmer, mit einem Frage- und Antwortsystem, das frei, halbstrukturiert (mit festen Fragen und Antworten, die variieren können) oder strukturiert (Fragen mit kürzeren oder vordefinierten Antworten) sein kann.

5. Fokusgruppen, d.h. moderierte Gruppendiskussionen, in denen die Teilnehmer aufgefordert werden, Meinungen und Ideen zu einem bestimmten Thema auszutauschen. Sie ermöglicht eine tiefere Analyse und Integration verschiedener Standpunkte. Je nach den Bedürfnissen und der Dynamik in der Teilnehmergruppe kann sie mehr oder weniger strukturiert verlaufen (z. B. in Form eines Interviews).

6. Crowdsourcing, d.h. ein System (in der Regel unterstützt durch digitale Plattformen), bei dem die Nutzer einer Dienstleistung oder die Begünstigten eines Projekts kollektiv zur Sammlung von Daten, Informationen und Feedback beitragen.

7. Fallstudien, die dazu dienen, ein bestimmtes Phänomen und ein bestimmtes Thema eingehend zu verstehen. Sie beinhaltet die Sammlung und Analyse verschiedener Quellen wie Interviews, Umfragen und Beobachtungen, die darauf abzielen, den Kontext, die Faktoren und die Dynamik hinter dem Phänomen im Detail zu rekonstruieren, was nützlich ist, um Trends, Dynamiken, Beispielmodelle, Lösungen, Empfehlungen und Lehren abzuleiten.

8. Narrative Enquiry, ein qualitativer Ansatz, der Interviews, Feldnotizen und andere Formen der Datenerfassung verwendet, um die Geschichten von Gruppen oder Einzelpersonen aufzudecken und ihre Erfahrungen, Perspektiven, Dynamiken und Lehren für künftige Maßnahmen zu analysieren.

9. Sammlung von Audio- und Videoaufnahmen. Die Verbreitung digitaler Video- und Fotoaufnahmen und die wachsende Gewohnheit der Nutzer, diese zu teilen, indem sie ihre eigene „Geschichte“ damit entwickeln, kann genutzt werden, um die Aktivitäten eines Projekts und seine Höhepunkte zu erzählen. Dies ist zwar eine sehr erzählerische, partizipatorische und qualitative Art der Datenerhebung, kann aber in Bezug auf den Reichtum der gesammelten Informationen und ihre kommunikative Wirkung sehr effektiv sein.

8. „Bedeutendste Veränderung“, eine strukturiertere Variante der vorherigen Ansätze, die darin besteht, jeden Teilnehmer zu bitten, die bedeutendste Veränderung zu beschreiben, die in seiner Erfahrung in Bezug auf einen bestimmten Bereich oder Parameter eingetreten ist, und deren Bedeutung zu erklären. Die gesammelten ‚Geschichten‘ können in Gruppen vertieft, weiter ausgewählt und kommentiert werden.

10. Qualitative Trendanalyse, bei der Tabellen und visuelle Hilfsmittel verwendet werden, um qualitative Daten über die Veränderungen zu sammeln und darzustellen, die bei einer Gruppe und über einen bestimmten Zeitraum hinweg entstanden sind. Sie kann mit Hilfe der Referenzgruppe auf verschiedene Weise dargestellt werden: 1 ) Kartesische Darstellung auf einer Skala von 1 bis 5 des Trends eines bestimmten Parameters im Laufe der Jahre. Es können mehrere Linien verwendet werden, um mehrere Parameter darzustellen, die synthetisch die Phänomene anzeigen, die mit dem Erreichen bestimmter ‚Spitzen‘ und ‚Täler‘ in der Grafik verbunden sind; 2 ) tabellarische Darstellung mit den verschiedenen Referenzkriterien, ihrer Bewertung von 1 bis 5 im Laufe der Jahre und einer zusammenfassenden Bewertung (+ / -) der Entwicklung jedes Parameters im Laufe der Jahre; 3) visuelle Darstellung, bei der der Weg der Gruppe auf einer realen ‚Straße‘ eingezeichnet wird und die wichtigsten Ereignisse, Phänomene und Veränderungen, die ihre Entwicklung im Laufe der Jahre geprägt haben, mit Zeichnungen und Kommentaren angezeigt werden.

11. Benchmarking (oder vergleichende Analyse), eine Methode, die zum Vergleich und zur Gegenüberstellung von zwei oder mehr verschiedenen Fällen verwendet wird, um Ähnlichkeiten und Unterschiede zwischen zwei oder mehr Akteuren oder Phänomenen zu ermitteln. Die Daten müssen in den beiden zu vergleichenden Fällen parallel mit denselben Parametern und Methoden erhoben werden, um eine vollständige Vergleichbarkeit zu gewährleisten.

12. Statistische Analyse, die quantitative Daten mit Hilfe statistischer Methoden verarbeitet, um Informationen zu beschreiben und zusammenzufassen (deskriptive Statistik) oder um Vorhersagen zu treffen (inferentielle Statistik). Zu den Methoden der deskriptiven Statistik gehören z.B. die Messung der zentralen Tendenz (Mittelwert, Median und Mode), die Korrelation (Bewertung der Existenz einer positiven oder negativen Beziehung zwischen Variablen) und die Verteilung (Beschreibung der Verteilung von Daten über ein Feld durch Funktionen, Daten und Kurven). Zu den Methoden der Inferenzstatistik gehören z.B. Regression (Umreißen eines Trends aus einer Reihe von Daten), Zeitreihenanalyse und andere Methoden zur Erstellung von Vorhersagemodellen. Die statistische Analyse verwendet das Konzept einer ‚Stichprobe‘, deren Größe von der Größe der Gesamtpopulation, auf die sie sich bezieht, und dem gewünschten Konfidenzniveau und der Fehlermarge abhängt.

13. Text Mining und Data Mining, bei denen es um die Sammlung von Online-Daten anhand von Dokumentensätzen und großen Datenbanken geht, aus denen mit Hilfe spezieller Computer-Tools, Algorithmen und Anwendungen der Künstlichen Intelligenz nützliche Informationen, Trends und Muster extrahiert werden können.

Bei der Einrichtung eines Datenverarbeitungssystems, insbesondere wenn Daten „intern“ erhoben und verarbeitet werden (z.B. bei Umfragen über Telematik-Tools), muss die Organisation die aktuellen Gesetze und Vorschriften zu personenbezogenen Daten(GDPR) beachten. Personenbezogene Daten sind definiert als „Informationen, mit denen eine natürliche Person direkt oder indirekt identifiziert oder identifizierbar gemacht werden kann und die möglicherweise Aufschluss über ihre Eigenschaften, Gewohnheiten, Lebensweise, persönliche Beziehungen, ihren Gesundheitszustand, ihre wirtschaftliche Lage usw. geben“ (hier die Referenzseite des Datenschutzgaranten). Es ist ratsam, so wenig personenbezogene Daten wie möglich zu verwenden, ein Register der erhobenen Daten zu führen, die Daten so anonym wie möglich zu erheben (oder, wenn dies nicht möglich ist, die erhobenen Daten zu „anonymisieren“) und einen Verantwortlichen für die Verarbeitung personenbezogener Daten auf der Grundlage der geltenden Rechtsvorschriften zu benennen.

Die häufigsten Verzerrungen bei der Datenerfassung und -verarbeitung sind:

  • Confirmation‘ bias, d.h. die Tendenz, nach Beweisen zu suchen, die mit den erwarteten Effekten übereinstimmen, und dabei Beweise zu vernachlässigen, die ihnen widersprechen könnten, oder potenziell problematische Aspekte;
  • Die ‚Empathie‘-Voreingenommenheit und die ‚Selbstzensur‘-Voreingenommenheit, d.h. die Tendenz, positiv zu antworten, um dem Fragesteller zu gefallen, oder um keine Meinungen zu äußern, die der aktuellen Meinung oder der der eigenen Hierarchie widersprechen;
  • Die ’strategische‘ Verzerrung und die ‚Manipulationsverzerrung‘, d.h. die Verzerrung, die bei den Befragten durch den Wunsch entsteht, die Bewertung an ihren eigenen Zielen auszurichten, oder durch die Art und Weise, wie die Fragen formuliert wurden, was zu einer Verzerrung der Antworten führen kann;
  • Die „Apophänie“ oder „Scheinkorrelation“, d.h. die Verzerrung, die durch die Beobachtung einer Korrelation zwischen Variablen entsteht, die entweder nicht wirklich existiert oder nicht durch eine kausale Beziehung bestimmt ist;
  • Die „Verankerung“ oder der „Halo-Effekt“, d.h. die Tendenz, alle Informationen auf der Grundlage der ersten gesammelten Informationen oder auf der Grundlage einer einzigen Variable zu interpretieren.

Bestimmte Tricks helfen, die Auswirkungen dieser Verzerrungen zu begrenzen, z. B. offene Fragen zu stellen, positive und negative Fragen zu mischen, die Fragen auf Fakten zu konzentrieren, Anonymität zu gewährleisten und Daten aus verschiedenen Quellen miteinander zu vergleichen (Triangulation).

Von Indikatoren zu Auswirkungen

Wirkung, ein komplexes Konzept. Das Ergebnis von Monitoring und Evaluierung ist klar und direkt spürbar, wenn es sich um operative Aspekte handelt: durchgeführte Aktivitäten und Outputs, erreichte Begünstigte, unmittelbare und sichtbare Folgen eines gerade abgeschlossenen Projekts. Diese Daten, die hauptsächlich durch Monitoring-Aktivitäten gewonnen werden, sind auch die wichtigsten für die Projektdurchführenden, die direkt für sie verantwortlich sind.

Die Beantwortung umfassenderer und strategischerer Fragen, wie sie für die Evaluierungsarbeit typisch sind, ist dagegen komplexer: Welche Auswirkungen hatte das Projekt (und welche werden es haben)? Hat das Projekt sein Endziel, d.h. sein Gesamtziel, erreicht? Hat es die Auswirkungen und Veränderungen bewirkt, die es bei seiner Entwicklung beabsichtigte?

Um diese Fragen mit objektiven Beweisen zu beantworten, ist es notwendig, nach dem Ende des Projekts Daten zu sammeln und Ressourcen zu nutzen, die über das hinausgehen, was im Rahmen eines einzelnen europäischen Projekts zur Verfügung gestellt wird.

Darüber hinaus ist der Begriff der Wirkung aus konzeptioneller und statistisch-mathematischer Sicht komplex, da viele Faktoren dazu beitragen: Es ist nicht einfach, den Beitrag des Projekts von einer Vielzahl anderer begleitender Faktoren zu „isolieren“. Zum Beispiel: Wie spürbar sind die Auswirkungen eines Armutsbekämpfungsprojekts auf eine Gemeinde, und wie lassen sie sich von einer Vielzahl anderer (positiver oder negativer) Faktoren wie den Auswirkungen der Wirtschaftslage, der Industriepolitik, anderer paralleler Projekte und der Initiative von Gemeindemitgliedern trennen?

Die Messung der Auswirkungen bleibt jedoch ein berechtigtes Anliegen: Die Auswirkungen sind ein integraler Bestandteil der Projektbegründung und des Überwachungs- und Bewertungsrahmens; sie sind der Ausgangs- und Endpunkt für jeden, der ein Projekt durchführt oder finanziert; sie definieren im weitesten Sinne den tatsächlichen Erfolg des Projekts.

Auch die folgende Diskussion erhebt keinen Anspruch auf wissenschaftliche Strenge oder Vollständigkeit, sondern zielt darauf ab, das Konzept der ‚Wirkung‘ in einige Einsichten zu übersetzen, die für europäische Projektdurchführer ‚greifbar‘ sein könnten.

Auswirkungen als kontrafaktische Analyse. Die kontrafaktische Analyse definiert die Wirkung als den Unterschied zwischen den Daten, die am Ende einer Intervention erhoben wurden („faktische“ Daten) und den Daten, die in einer Situation ohne Intervention erhoben wurden („kontrafaktische“ Daten). Dies ist der „wissenschaftlichste“ Ansatz zur Folgenabschätzung: Er wird in der medizinischen Forschung verwendet, um „Behandlungsgruppen“ mit Zeitreihen oder Kontrollgruppen zu vergleichen.

Dieser Ansatz ist im sozialen Bereich nur schwer anwendbar, da er voraussetzt:

  • Das Vorhandensein von Indikatoren, die mit analytischen Instrumenten eindeutig überprüfbar sind und eine ebenso eindeutige und langfristige Verbindung zu der Dimension haben, die sie messen sollen;
  • Oder die Möglichkeit, eine „Kontrollgruppe“ zu identifizieren, deren Merkmale und Dynamik mit denen der Zielgruppe des Projekts vollständig vergleichbar sind.

Dies sind keine einfachen Bedingungen für viele Projekte, bei denen es um „menschliche“ und soziale Aspekte geht, bei denen die Korrelation zwischen Daten und gemessenen Phänomenen zwar mehr oder weniger stark sein mag, aber kaum eindeutig ist und vom Zusammenspiel mehrerer Faktoren abhängt (insbesondere angesichts des geringen Umfangs eines normalen Projekts); und bei denen die Situationen von Gruppen und Gemeinschaften sehr vielfältig und komplex sind und sich nur schwer mit den begrenzten Ressourcen eines normalen Projekts vergleichen lassen.

Trotz ihrer operativen Einschränkungen im Zusammenhang mit europäischen Projekten bleibt die kontrafaktische Analyse eine nützliche „ideale Referenz“ für die Messung der Auswirkungen. Sie kann mit drei Modifikationen durchgeführt werden:

  • Das sogenannte „Prä-Post-Design“.bei dem die Auswirkungen anhand der Diskrepanzen zwischen langen Zeitreihen von Daten (und den daraus resultierenden Projektionen) und dem, was nach der Projektrealisierung beobachtet wird, geschätzt werden. Diese Modalität erfordert eine Zeitspanne und einen Umfang, die nur schwer mit den Daten und der Realisierung eines Projekts in Einklang zu bringen sind;
  • Das sogenannte „Kontrollgruppen-Design“.bei dem die Auswirkungen geschätzt werden, indem der Unterschied zwischen der Gruppe der Projektbegünstigten und einer „Kontrollgruppe“ mit denselben Merkmalen analysiert wird. Dieser Modus impliziert die Identifizierung (und Analyse) einer Kontrollgruppe, die „anders“ ist als die Projektaktivitäten;
  • Die sogenannte ‚Differenz in Unterschieden‘.die die beiden vorherigen Modi kombiniert und die doppelte Variation einer Variablen analysiert: im Laufe der Zeit (vorher, nachher, ex-post) und zwischen Subjekten (Empfängern und Nicht-Empfängern).

Auswirkungen als Veränderung eines Trends. Die kontrafaktische Analyse kann in abgeschwächter Form verwendet werden, indem ein weniger rigoroser Ansatz im Umgang mit Projektdaten und Referenztrends gewählt wird, wobei der Grad der Komplexität proportional zu den Ambitionen des Projekts und den verfügbaren Ressourcen ist. Andererseits verliert eine seriöse kontrafaktische Folgenabschätzung ihren Sinn und ihre wissenschaftliche Relevanz, wenn die Gruppe der „behandelten Subjekte“ (d.h. die Begünstigten des Projekts) nur ein paar Dutzend Menschen betrifft (wie es oft der Fall ist).

Die „Veränderung der Flugbahn“ im geschätzten Trend hat daher einen erzählerischen und indikativen Wert. Es kann jedoch sinnvoll sein, zum Abschluss eines Projekts einige Vorschläge zu machen, die sich auf leichter und objektiv überprüfbare Aspekte beziehen (durchgeführte Aktivitäten und Outputs, erreichte Begünstigte, Follow-up-Daten zu den Begünstigten), und zwar in Kombination mit den substanzielleren Elementen eines Berichts. Um die Einschätzung der Auswirkungen realistischer und wahrheitsgetreuer zu gestalten, ist es ratsam:

  • Beschränken Sie den Umfang des zu messenden Phänomens auf das, wozu das Projekt am stärksten und direktesten beigetragen hat (und erhöhen Sie so den Grad der Korrelation zwischen dem Indikator und dem zu messenden Ziel);
  • Vergleich der von den Projektdaten aufgezeichneten Entwicklung mit Referenzpunkten, die der Zielpopulation des Projekts so „nahe“ wie möglich kommen („quasi-kontrafaktische“ Situation);
  • Kombinieren Sie, wenn möglich, verschiedene und sich ergänzende vergleichende Referenzen, indem Sie verschiedene Daten und Standpunkte „triangulieren“, um die Zuverlässigkeit der Ergebnisse zu erhöhen;
  • Beziehen Sie, wenn möglich, mehrere Messzeitpunkte in die Analyse ein (um einen Trend zu ermitteln), einschließlich „Follow-up“-Messungen (z. B. ein, zwei oder drei Jahre nach Ende des Projekts);
  • Begleiten Sie die Analyse mit einer Bewertung der (positiven oder negativen) Faktoren, die die Daten und „Trends“ des Projekts beeinflusst haben könnten, und den verwendeten Referenzen.

Bei einem Projekt zur Arbeitsvermittlung für junge Menschen im Alter von 15-24 Jahren, die in einem städtischen Gebiet mit sozialen Problemen wohnen, können Sie beispielsweise die Veränderungen bei den erfassten Beschäftigungsdaten junger Menschen im Alter von 15-24 Jahren vergleichen:

  • Vom Projekt zu seinen Nutznießern (Ausgangsdaten vs. Enddaten: „faktische“ Daten).
  • Im Projektgebiet (oder in einem anderen städtischen Gebiet mit sozialen Problemen), während des gleichen Zeitraums (eine „quasi-kontrafaktische“ Zahl).

Ein ausführlicheres und spezifischeres Beispiel finden Sie am Ende desBeispiels für den Überwachungs- und Bewertungsrahmen.

Die Wahl des Benchmarks (oder die gleichzeitige Verwendung mehrerer Benchmarks) kann je nach Verfügbarkeit von Daten variieren. Unterschiede zwischen „faktischen Daten“ und „quasi-kontrafaktischen Daten“ können unter Berücksichtigung anderer Faktoren und Variablen, die die beiden Referenzpopulationen beeinflusst haben könnten, analysiert (und möglicherweise gewichtet oder korrigiert) werden:

  • Positive Faktoren – z.B. positive Ergebnisse, die durch parallele Initiativen in diesem Bereich erzielt wurden (z.B. berufsbildende Kurse, Unterstützung für Lehrstellen, Instrumente zur Abstimmung von Arbeitsangebot und -nachfrage…).
  • Negative Faktoren – z.B. wirtschaftliche Schwierigkeiten von Unternehmen in der Region oder sich verschlechternde Rahmenbedingungen (z.B. Rückgang der von der Regierung für Bildung oder Sozialhilfe bereitgestellten Mittel).

Die Theorie der Veränderung kann bei dieser Abwägung helfen, da sie eine „Kartierung“ aller Bedingungen liefert, die notwendig sind, um eine gewünschte Veränderung herbeizuführen.

Wenn dies möglich ist und die entsprechenden Mittel zur Verfügung stehen, kann im Rahmen des Projekts mit der Datenerhebung begonnen werden, und zwar entweder bei der Gruppe der Begünstigten (z. B. Jugendliche zwischen 15 und 24 Jahren aus bestimmten technischen Instituten) oder bei möglichst ähnlichen Kontrollgruppen (z. B. Jugendliche zwischen 15 und 24 Jahren aus denselben Instituten, die in Bezug auf Alter, Klasse, durchschnittlichen Schulbesuch, Geschlecht und Familieneinkommen ähnlich verteilt sind, oder Jugendliche zwischen 15 und 24 Jahren aus anderen technischen Instituten desselben Typs und derselben Größe, die in Vierteln mit ähnlichen sozioökonomischen Bedingungen liegen).

Nicht-experimentelle Methoden der Folgenabschätzung. Es gibt verschiedene Methoden, die nicht streng quantitativ sind, um die Auswirkungen eines Projekts anhand seiner Interventionslogik oder seiner Theorie der Veränderung zu messen. Dabei handelt es sich um nicht-experimentelle Methoden, die daher weniger „wissenschaftlich“ sind als kontrafaktische Methoden, die aber darauf abzielen, den Prozess der Zuordnung von Veränderungen oder beobachteten Ergebnissen zu einem bestimmten Projekt oder einer Intervention zu formalisieren. Wir erwähnen sie im Besonderen:

  1. DieBeitragsanalyse. Diese Methodik beginnt mit einer begründeten und plausiblen Kausaltheorie darüber, wie eine Veränderung zustande kommen soll (Interventionslogik oder Theorie der Veränderung). Sie konzentriert sich dann auf das Sammeln von Beweisen, die diese Theorie bestätigen: Sie sucht nach anderen Faktoren, die zu den beobachteten Ergebnissen beigetragen haben könnten, und identifiziert und schließt (wenn möglich) alternative oder ergänzende Erklärungen aus, die zu diesen Ergebnissen geführt haben könnten. Zu diesem Zweck werden verschiedene Perspektiven (z. B. Kontext, andere Interventionen, Erzählungen der Akteure, Feedback der Begünstigten) einbezogen, um verschiedene Faktoren oder „Kausalpfade“ aufzuzeigen, die zu den Ergebnissen geführt oder beigetragen haben könnten;
  2. Die Global Elimination Methodology (GEM) basiert auf der systematischen Identifizierung möglicher alternativer Erklärungen, die zu den beobachteten Ergebnissen geführt haben könnten, indem für jedes interessierende Ergebnis eine Liste von Ursachen und ihren miteinander verknüpften „modus operandi“ erstellt wird. Anschließend wird ermittelt, welche der Ursachen eingetreten sind und welche der „modus operandi“ beobachtet wurden. Ursachen, bei denen der entsprechende „modus operandi“ nicht beobachtet wurde, werden verworfen, so dass nur diejenigen kausalen Erklärungen übrig bleiben, die einen echten Kausalzusammenhang aufweisen. Auf dieser Grundlage kann die tatsächliche Wirksamkeit der Intervention genauer kontextualisiert und bewertet werden;
  3. Die realistische Bewertung geht von der Überlegung aus, dass die Wirksamkeit einer Intervention nicht nur von den Ursache-Wirkungs-Beziehungen dessen abhängt, was ein Projekt oder eine Intervention bewirkt, sondern von einer Vielzahl von Mechanismen, die mit dem Kontext, der Gruppe von Akteuren und einer Gemeinschaft, ihren historischen, kulturellen, wirtschaftlichen, menschlichen und sozialen Interaktionen und Dynamiken zusammenhängen. In verschiedenen Kontexten und in verschiedenen Gemeinschaften wird eine Intervention unterschiedliche Ergebnisse und Wirksamkeit haben. Die Evaluierung (die sich auf quantitative und qualitative Quellen stützt) versucht daher, eine Reihe hypothetischer „Mini-Theorien des Wandels“ zu entwerfen, die in der Lage sind, die verschiedenen Dynamiken zu erfassen und die Intervention und ihre Wirksamkeit in diesem Kontext zu kontextualisieren;
  4. Die Qualitative Comparative Analysis (QCA) vergleicht verschiedene Fälle (Konfigurationen verschiedener möglicher kausaler Bedingungen), die jedoch ein ähnliches Ergebnis hervorgebracht haben. Sie analysiert daher Cluster von Faktoren, die in verschiedenen Fällen vorhanden sind, aber zu den gewünschten Ergebnissen und Auswirkungen geführt haben, um den Grad der Relevanz jeder Bedingung für das Erreichen der gewünschten Auswirkungen zu bestimmen und die einfachste Gruppe von Bedingungen zu ermitteln, die alle beobachteten Ergebnisse sowie deren Fehlen erklären kann;
  5. Die Prozessverfolgung ist eine Methode zur Untersuchung und Prüfung eines bestimmten kausalen Zusammenhangs, um zu beurteilen, ob die Beweise ausreichen, um eine Schlussfolgerung über die Ursache zu ziehen. Sie wendet vier Arten von Tests mit zunehmender ‚Stärke‘ an: der ‚Strohhalm im Wind‘-Test, der es ermöglicht, zu bestimmen, ob es Bedingungen gibt, die einen kausalen Zusammenhang von vornherein ausschließen; der ‚Kreis‘-Test, der es ermöglicht, einen kausalen Zusammenhang auszuschließen, wenn die analysierte Bedingung vorliegt, aber das erwartete Ergebnis nicht vorhanden ist; der ’smoking gun‘-Test, der im Gegenteil das gemeinsame Vorhandensein (und tendenziell den kausalen Zusammenhang) der analysierten Bedingung und des erwarteten Ergebnisses bestätigt; der ‚double definitive‘-Test erlaubt es (in sehr seltenen Fällen), die Existenz anderer kausaler Zusammenhänge zusätzlich zu dem identifizierten auszuschließen.

Auswirkungen als ‚Geschichten‘ des Wandels. Was bisher dargestellt wurde, folgt einem logischen und strukturierten Schema, das mehr oder weniger quantitativ ist und auf dem Konzept der „Messung“ der erzielten Veränderungen in Bezug auf und unter Verwendung von mehr oder weniger ausgefeilten statistischen Techniken basiert (je nach den Ambitionen der „Wissenschaftlichkeit“ des durchgeführten Evaluierungsprozesses).

Bei einigen Projekten kann dieses Schema komplex oder unzureichend sein, um qualitative Veränderungen, unerwartete Phänomene und Effekte, die in den ursprünglichen Metriken nicht definiert wurden, korrekt und vollständig darzustellen. Aus diesem Grund gibt es breiter angelegte, qualitative oder uneingeschränkte Methoden zur Messung der Auswirkungen gegenüber den anfänglichen ‚Zielen‘ (z.B. zielfreie‘ Bewertung).

Auch hier liegt eine umfassende, erschöpfende und strenge Behandlung des Themas jenseits der Ambitionen dieses Leitfadens. Es ist jedoch wichtig, auf die Bedeutung der qualitativen und weniger strukturierten Aspekte bei der Messung der Auswirkungen eines Projekts hinzuweisen.

Auf operativer Ebene bedeutet dies, die folgenden Fragen zu stellen: Wie hat sich das Leben der Begünstigten (oder der begünstigten Organisationen) durch das Projekt verändert? Welche Rolle hat das Projekt für ihre Entwicklung, ihre „Geschichte“ und ihre individuellen Erfahrungen gespielt? Wie hätten die Begünstigten (oder die begünstigten Organisationen) ihr Leben und ihre Geschichte ohne die Projektintervention erlebt? Sind diese kleinen individuellen „Geschichten“ in der Lage, ihrerseits neue kleine und eindrucksvolle „Geschichten des Wandels“ hervorzubringen? Ist es möglich, anhand der individuellen „Geschichten“ und Sichtweisen eine Linie zu ziehen, die die Erfolgsparameter und Schwächen des Projekts aufzeigt?

Geschichten“ können durch verschiedene Methoden der qualitativen Analyse gesammelt und ausgewertet werden, die bereits in den vorangegangenen Abschnitten erwähnt wurden: Interviews und Fokusgruppen, Fallstudien und narrative Umfragen, spezifischere Methoden wie die„bedeutendste Veränderung„ und Systeme zur Analyse und grafischen Darstellung von Trends und qualitativen Veränderungen.

Diese Art der Analyse verfolgt einen empirischen Ansatz, der auf„Induktion“ beruht, d.h. auf der Formulierung allgemeiner Schlussfolgerungen aus bestimmten Fällen. Sie sollte nicht als ‚Plan B‘ im Vergleich zu anderen Methoden betrachtet werden, da sie im Vergleich zu stärker strukturierten Analysesystemen möglicherweise andere, tiefere oder zumindest ergänzende Elemente erfassen kann.

Ein weiterer weit verbreiteter qualitativer Bewertungsansatz ist dasOutcome Mappingdas die Auswirkungen eines Projekts oder einer Intervention abschätzt, indem es die Veränderungen im Verhalten, in den Beziehungen, Aktivitäten und Handlungen von Menschen, Gruppen und Organisationen analysiert, mit denen direkt gearbeitet wurde. Er basiert auf der Annahme, dass jeglicher sozialer Wandel letztlich von Veränderungen im menschlichen Verhalten abhängt und dass die Nachhaltigkeit jeglichen Wandels von den Beziehungen zwischen den Menschen abhängt. Aus dieser Philosophie ergibt sich der Gegenstand des entsprechenden Evaluierungsmonitoringsystems: 1) die Vision, zu der die Intervention beitragen will, und (vor allem) die Veränderungen im Verhalten, im Handeln und in den Beziehungen, die erreicht werden sollen; 2) die ‚Grenzpartner‘ der Intervention, d.h. die Personen, Gruppen und Organisationen, mit denen das Programm direkt interagiert und auf die es direkte Einflussmöglichkeiten hat. Die sich daraus ergebende Analyse ist qualitativer Natur und konzentriert sich auf die Beobachtung (und manchmal Selbsteinschätzung) der Verhaltensänderung derjenigen, die mit dem Projekt arbeiten. Obwohl sie weniger streng ist, kann sie daher einfacher und besser anwendbar sein als andere Ansätze.

Eine Analyse anhand von ‚Geschichten des Wandels‘ verschiedener Art ermöglicht es, Kommunikations- und Verbreitungsmaterial zu entwickeln, das für ein breites Fachpublikum (aufgrund seiner Analysetiefe), für Partner und Interessengruppen (die es sich wiederum zu eigen machen und verbreiten können) und für die breite Laienöffentlichkeit interessant und nutzbar ist.

Diese Aspekte sind relevant und werden in europäischen Projekten geschätzt. Berichterstattung und Kommunikation sind miteinander verknüpfte Aspekte, die dem gemeinsamen Ziel der Rechenschaftspflicht und Transparenz entsprechen (Rechenschaftspflicht) gegenüber Institutionen, Bürgern und ihren Gemeinschaften.

Vertiefung der Konzepte und Ansätze zur Wirkung. Für diejenigen, die sich eingehender und aus alternativen und ergänzenden Perspektiven mit Methoden der Wirkungsmessung und des Wirkungsmanagements befassen möchten, empfehlen wir:

1. BetterEvaluation, eine Wissensplattform und globale Gemeinschaft, die sich der Verbesserung und Verbreitung von Methoden und Instrumenten für eine gute Bewertung von Projekten, Interventionen und öffentlichen Maßnahmen widmet. Sie bietet insbesondere ein Tool(RainbowFramework), mit dem Sie Ihr eigenes Bewertungssystem besser definieren und verwalten können, eine Auswahl spezieller Leitfäden und eine ausführliche Beschreibung (mit Beispielen und einer umfassenden Übersicht über weiterführende Links) der in der Welt der Bewertung verwendeten Methoden und Ansätze;

2. Das von der Europäischen Kommission (GD INTPA) erstellte Evaluierungshandbuch. Es konzentriert sich speziell auf Evaluierungsverfahren und -prozesse, die bei europäischen Projekten in Drittländern zum Einsatz kommen, enthält aber auch wertvolle Hinweise darauf, wie der Evaluierungsprozess von der Definition der Interventionslogik (drittes Kapitel über Ansätze, Methoden und Instrumente) an gesteuert werden kann;

3. DasIPSEE (Inventory of Problems, Solutions and Evidence on Effects), eine spezielle Plattform, die vonASVAPP, der Vereinigung für die Entwicklung der Evaluierung und Analyse der öffentlichen Politik, unterhalten wird. Sie bietet einen Überblick über die Probleme, die von der öffentlichen Politik angegangen werden sollten, die gewählten Lösungen und die vorhandenen empirischen Nachweise über ihre Auswirkungen, begleitet von einem Glossar über die Auswirkungen und einem Überblick über die verwendeten Methoden;

4. Eineausführliche Überprüfung von Leitfäden und Tools, die von spezialisierten Organisationen im Bereich Impact Investing erstellt wurden, denen wir einen eigenen Abschnitt gewidmet haben.Impact Investing zeichnet sich durch eine methodische und bewusste Mobilisierung von Ressourcen aus, um eine messbare Wirkung in Bereichen zu erzielen, in denen es daran mangelt (Grundsätze der Intentionalität, Messbarkeit und Zusätzlichkeit);

5. Ein Leitfaden, der im Rahmen von CIVITAS entwickelt wurde, einer Initiative der Europäischen Union, die sich der urbanen Mobilität widmet. Obwohl er Beispiele für den spezifischen Sektor enthält, bietet er eine sehr klare, umfassende und allgemeine Behandlung des Themas der Projekt- und Programmbewertung.

6. Ein benutzerfreundliches Handbuch für die Projektevaluierung, das in den USA (Regierungsbehörde National Science Foundation) entwickelt wurde und einen systematischen, umfassenden und wissenschaftlichen Ansatz für das Thema Projektevaluierung bietet.