• 3.6

Projektmanagement: Überwachung und Bewertung

Warum und wie man über Monitoring und Evaluierung in europäischen Projekten spricht

Dieses Kapitel veranschaulicht, wie der Logical Framework, das grundlegende Instrument zur Formulierung europäischer Projekte, für das Projektmanagement, d.h. als Überwachungs- und Bewertungsinstrument, verwendet wird.

Wie wir feststellen werden, gibt es in der Tat nur wenige Unterschiede zwischen dem Logical Framework (insbesondere in seiner ‚erweiterten‘ und offiziellen Version ) und einem ‚Monitoring- und Evaluierungsrahmen‘, der im Wesentlichen eine detailliertere und operationelle Version dessen ist, was bereits im Logical Framework enthalten ist.

Die korrekte Verwendung des logischen Rahmens und das gute Management eines europäischen Projekts erfordern eine effektive Überwachung und Bewertung. Diese Aspekte stellen die wichtigste Komponente der Projektmanagementtätigkeit dar, und es gibt nur wenige offizielle ‚Gebrauchsanweisungen‘ dazu: wie auch andere spezifische Aspekte, die in diesem Abschnitt behandelt werden (z.B. Partnerschaftsmanagement und Berichterstattung), werden sie normalerweise in Fachkursen oder durch Praxis erlernt.

Im Folgenden wird daher versucht, diese Lücke zu schließen, indem ein erster operativer und nicht erschöpfender Rahmen zu diesem Thema geschaffen wird. Es vertieft und verknüpft, was in den vorangegangenen Kapiteln bereits veranschaulicht wurde:

Wie man ein Projekt strukturiert: der Prozess und die Werkzeuge | Wie man ein Projekt strukturiert: ein praktisches Beispiel und andere Werkzeuge | Aufsetzen und Verwalten eines Projekts

Überwachung und Bewertung sind ein integraler Bestandteil jeder Projektaktivität. Als solches unterliegt ein ‚Projekt‘ in der Tat Zwängen, die Formen der Kontrolle erfordern:

  • Leistungszwänge (ein Projekt zielt auf die Erreichung von Ergebnissen, Produkten und Zielen ab, die durch eine Reihe von miteinander verbundenen Aktivitäten erreicht werden);
  • Zeitliche Beschränkungen (ein Projekt findet innerhalb eines bestimmten Zeitrahmens statt), wirtschaftliche und ressourcenbezogene Beschränkungen (ein Projekt verfügt über speziell zugewiesene wirtschaftliche, materielle und personelle Ressourcen);
  • Zwänge organisatorischer Art (ein Projekt ist in Phasen mit bestimmten Zieldaten und einer Aufteilung der Aufgaben und Verantwortlichkeiten organisiert).

Überwachung und Bewertung sind Formen der Kontrolle dieser Zwänge.

Diese Kontrolle betrifft sowohl diejenigen, die das Projekt umsetzen (diejenigen, die dafür sorgen müssen, dass die Ausführung innerhalb der geforderten Grenzen bleibt), als auch diejenigen, die es finanzieren (diejenigen, die einen großen Teil dieser Grenzen festlegen). Die Europäische Kommission und die Verwaltungsbehörden der europäischen Fonds unterliegen ebenfalls Zwängen und sind (selbst) verpflichtet, ihre Programme und Projekte zu überwachen und zu bewerten. Zu wissen, wie sie vermitteln können, was sie mit den ihnen anvertrauten Mitteln erreicht haben, ist ein wesentlicher Bestandteil ihrer Verantwortung gegenüber den Bürgern.

Die Erreichung der gesetzten Ziele innerhalb des vorgegebenen Zeitrahmens und mit den verfügbaren Mitteln ist daher das Herzstück der Verbindung zwischen der Person, die ein europäisches Projekt einreicht, und der Verwaltungsbehörde, die es finanziert. Aus diesem Grund ist eine gut durchdachte (in der Vorschlagsphase) und gut umgesetzte (in der Durchführungsphase) Überwachung und Bewertung ein grundlegender Bestandteil für die an der Europlanung Beteiligten und eine Voraussetzung für den Erfolg ihrer Projekte.

Selbst wenn in der Aufforderung zur Einreichung von Vorschlägen die Ausarbeitung eines logischen Rahmens oder eines Rahmens für die Überwachung und Bewertung nicht ausdrücklich gefordert wird, ist die Anforderung in verschiedenen Feldern und Kriterien des Antragsformulars implizit enthalten (Beschreibung der Projektlogik, erwartete Projektauswirkungen, Projektüberwachungssystem usw.). Diese Bereiche und Kriterien können bei der Projektauswahl ein erhebliches Gewicht haben und müssen konkret und im Einklang mit dem Vorschlag als Ganzes dargestellt werden. Dies ist möglich, wenn das Projekt durch einen guten Logical Framework und einen guten Monitoring- und Evaluierungsrahmen unterstützt wird.

Monitoring und Evaluierung sind zwei ähnliche Aktivitäten, sie unterstützen sich gegenseitig und dienen beide dazu, zu verstehen, „wie das Projekt läuft“ (oder „wie es gelaufen ist“). Sie sind jedoch unterschiedlich:

  • Nach Zeitplan. Die Überwachung erfolgt kontinuierlich und systematisch während des Verlaufs der Aktivitäten und ist notwendig, um das operative Leben des Projekts zu lenken. Die Bewertung findet zu bestimmten Zeitpunkten statt (hauptsächlich am Ende der Aktivitäten, aber auch in der Mitte des Projekts oder einige Zeit nach dessen Abschluss) und hat strategische Auswirkungen (was wurde durch das Projekt erreicht? Welche Lehren können daraus gezogen werden? Wie können neue Programme und Projekte entsprechend ausgerichtet werden?);
  • Mit Absicht. Die Überwachung konzentriert sich auf die ‚unteren‘ Ebenen des logischen Rahmens, auf das tägliche Management von Aktivitäten, Risiken, Zeit und Ressourcen sowie auf die Projektergebnisse und auf die operativen Dimensionen (Effizienz und Effektivität). Die Evaluierung konzentriert sich auf die ‚höheren‘ und strategischen Ebenen des logischen Rahmens (Ergebnisse, Ziele, Resultate und Auswirkungen des Projekts) und befasst sich eingehend mit allen 5 Kriterien – Relevanz, Effizienz, Effektivität, Auswirkungen und Nachhaltigkeit;
  • Für Instrumente. Bei der Evaluierung können „langsamere“ und komplexere Instrumente (z.B. Fragebögen, Interviews, Fokusgruppen und andere Arten der Datenerhebung) zum Einsatz kommen, während bei der Überwachung schnellere und unmittelbarere Instrumente zur Datenerhebung und -analyse oder die direkte Beobachtung bestimmter Schlüsselvariablen verwendet werden. Außerdem wird die Überwachung normalerweise von den für die Projektaktivitäten Verantwortlichen durchgeführt, während die Bewertung oft an Dritte delegiert wird;
  • Nach Relevanz (für diejenigen, die an europäischen Projekten beteiligt sind). Von den beiden Aktivitäten ist die Überwachung diejenige, der die europäischen Projektträger am unmittelbarsten Rechenschaft ablegen müssen, und diejenige, die sich am direktesten auf die Projektdurchführung auswirkt. Nichtsdestotrotz bleibt die Evaluierung eine wichtige Aufgabe, denn sie bietet eine strategische Orientierung (wenn sie z.B. in der Mitte eines Projekts durchgeführt wird) und eine Reihe von abschließenden Überlegungen und Orientierungen (die oft in der abschließenden Projektberichterstattung verlangt werden).

Der Aufwand für die Überwachung und Bewertung erstreckt sich von der Planungsphase eines Projekts bis zu seinem Abschluss und darüber hinaus. Es besteht aus den folgenden Schritten, die in den nächsten Abschnitten dieses Kapitels erläutert werden:

  • Definieren Sie die Interventionslogik;
  • Definieren Sie Indikatoren;
  • Legen Sie den Rahmen für die Überwachung und Bewertung fest;
  • Setzen Sie den Überwachungs- und Bewertungsplan mit Hilfe geeigneter Instrumente und Datenerfassungsmethoden um;
  • Definieren Sie die ‚Auswirkungen‘ eines Projekts.

Definition der Interventionslogik: der logische Rahmen und die Theorie der Veränderung

Der Ausgangspunkt für eine gute Messung der Projektleistung ist eine klare Identifizierung der Interventionslogik, d.h. der (logisch verketteten) Abfolge von Zielen, Ergebnissen und Aktivitäten, die erreicht werden sollen.

Eine Formulierung der Interventionslogik, die nicht genau, klar und konsistent ist (in Bezug auf die Definition und die logische Verknüpfung ihrer Teile), macht die anschließende Ausarbeitung des Monitoring- und Evaluierungsrahmens komplexer, weniger effektiv und weniger sinnvoll. Wenn Sie nämlich nicht genau definieren, was Sie mit einem Projekt erreichen wollen, ist es schwierig, es zu bewerten.

Die Interventionslogik ist wiederum die Grundlage für den Logical Framework, der den wichtigsten Kern eines Monitoring- und Evaluierungsrahmens darstellt. In seiner ‚erweiterten‘ Version enthält der Logical Framework tatsächlich fast alle Elemente eines Überwachungs- und Bewertungsrahmens (Indikatoren, Quellen der Überprüfung, Basislinien, Ziele und progressive Daten im Zusammenhang mit der Messung der Indikatoren).

Genauere Angaben zur Definition der Interventionslogik und des Logical Framework finden Sie in einem eigenen Kapitel (mit einem praktischen Beispiel).

Um die Formulierung einer guten Interventionslogik zu unterstützen, gibt es ein alternatives und ergänzendes Instrument zum Logical Framework (und dem Problem/Lösungsbaum), die Theorie der Veränderung.

Die Theory of Change basiert auf einem ähnlichen (wenn auch nicht identischen) Prozess und einer ähnlichen Terminologie und identifiziert (wie der Logical Framework) verschiedene logische Schritte, die die Projektaktivitäten mit der zu erreichenden „endgültigen Veränderung“ verbinden. Es ist ein dynamischeres und flexibleres Werkzeug als das Logical Framework. Es umfasst die folgenden Schritte:

  • Die Definition der langfristigen „Veränderung“, die mit dem Projekt erreicht werden soll;
  • Kartierung der Bedingungen, die notwendig sind, um einen solchen Wandel herbeizuführen;
  • Die Überprüfung der Notwendigkeit und Vollständigkeit der identifizierten Bedingungen;
  • Die Formulierung von Hypothesen, um einige der identifizierten Bedingungen aus dem Anwendungsbereich der Intervention auszuschließen;
  • Die Identifizierung der Maßnahmen, die notwendig sind, um die verbleibenden Bedingungen zu erreichen, die folglich den Umfang des Projekts ausmachen;
  • Die Entwicklung von Indikatoren, um zu überprüfen, ob alle notwendigen Bedingungen für die ursprünglich identifizierte Veränderung erfüllt wurden.

Mehr über die Theory of Change, mit Erklärungen und Beispielen, erfahren Sie auf einer speziellen Website.

Die Visualisierung der Theory of Change in einem Projekt nimmt vielfältigere und flexiblere Formen an als die (starre und strukturierte) Tabelle, die für den Logical Framework typisch ist. Eine Theory of Change lässt sich mit Hilfe von Diagrammen mit Kästchen, Pfeilen und nicht-linearen Pfaden visualisieren und ist daher besser geeignet, die Komplexität des Umfangs eines Projekts zu erfassen.

Andererseits ermöglicht die strukturiertere Form des logischen Rahmens eine präzisere Definition einer „Hierarchie“ von Indikatoren, die je nach Bezugsebene entweder mit Überwachungsaktivitäten oder mit Bewertungsaktivitäten verbunden sind.

Während die Theory of Change für die Definition der Interventionslogik und die Strukturierung des Projekts sehr nützlich ist, bildet der Logical Framework die Grundlage für die anschließenden Überwachungs- und Bewertungsaktivitäten.

Weitere nützliche Instrumente zur Unterstützung der Entwicklung der Interventionslogik eines Projekts sind die „Lückenanalyse “ und die „Szenarioplanung“, bei denen jeweils Folgendes analysiert wird: (a) die „Lücken“, die in Bezug auf bestimmte Parameter zu schließen sind, die Zielparameter und die zu ihrer Erreichung erforderlichen Maßnahmen und Ressourcen; (b) die möglichen (positiven und negativen) „Szenarien“ für die Entwicklung eines bestimmten Sektors oder Kontexts, die Bedingungen und Faktoren (positive und negative), die mit jeder Art von Entwicklung verbunden sind, und der Weg, der erforderlich ist, um das „Szenario“ zu erreichen, das mit den verfügbaren Ressourcen als am günstigsten und machbarsten angesehen wird.

Definition von Indikatoren: "SMART"-Kriterien, Linearität und Vereinfachung

Der nächste Schritt nach der Definition der Interventionslogik ist die Definition von Indikatoren.

Wie in der Logical Framework-Matrix angegeben, sollte für jede Zeile der Interventionslogik (Allgemeines Ziel, spezifische Ziele und Ergebnisse) mindestens ein Indikator enthalten sein. Im Sinne einer effektiven und zeitnahen Überwachung ist es ratsam, einfache Indikatoren oder operative Checklisten auch für die Durchführung von Aktivitäten oder Gruppen von Aktivitäten (Arbeitspakete oder Komponenten) bereitzustellen.

Die Definition der Indikatoren muss den folgenden Kriterien folgen, die das Akronym ‚SMART‘ bilden:

  • Spezifisch (muss greifbar, genau definiert und eindeutig identifizierbar sein);
  • Messbar (muss mit den verfügbaren Ressourcen qualitativ oder quantitativ objektiv nachweisbar sein); Erreichbar (muss sich auf Inhalte beziehen, die mit den verfügbaren Ressourcen tatsächlich realisiert werden können);
  • Relevant (muss für das, was erreicht oder gemessen werden soll, relevant sein);
  • Zeitgebunden (muss mit einem Zeitrahmen für die Erreichung und Messung der Ziele verbunden sein).

Operativ gesehen erfordert eine gute Definition von Indikatoren sowohl Linearität als auch Präzision.

Linearität und Vereinfachung. Ein guter Bewertungsrahmen basiert auf einer kleinen Anzahl relevanter, spezifischer und gut messbarer Schlüsselindikatoren: Zu viele Indikatoren belasten die Projektressourcen unnötig. Jeder Indikator muss seine eigene Bedeutung haben, um den Erfolg (oder Misserfolg) des Projekts zu definieren. 1 Indikatoren, die für die Definition des Erfolgs oder des Fortschritts des Projekts nicht wirklich relevant sind, die schwer zu messen sind oder deren Messung zu kostspielig ist, können vermieden werden: durch eine Überarbeitung der Interventionslogik, durch die Verwendung anderer, leichter messbarer Indikatoren oder durch die Verwendung von „Proxy“-Indikatoren (die die gewünschte Variable nicht direkt messen, aber eine zuverlässige Schätzung liefern).

Die Komplexität der Indikatoren hängt von der Ebene der Interventionslogik ab, auf die sie sich beziehen. Aktivitäts- oder Ergebnisindikatoren sollten sofort gemessen werden können (im Rahmen der täglichen Projektüberwachung), während Ergebnis- oder Wirkungsindikatoren (im Zusammenhang mit den Projektzielen) möglicherweise eine eingehendere Bewertung erfordern, da sie eine allgemeinere und langfristige Veränderung messen. Die Ziele und Ergebnisse selbst müssen einfach und möglichst „empirisch“ formuliert werden, um die Anzahl und Komplexität der zu ihrer Messung erforderlichen Indikatoren zu reduzieren.

Linearität und Vereinfachung sind auch Leitprinzipien bei der Formulierung von Indikatoren: Es ist besser, Indikatoren zu verwenden, die bereits bekannt sind, existieren und von ‚Insidern‘ verwendet werden (z.B. Invalsi-Daten in einer bestimmten Region), als neue zu erfinden (z.B. ähnliche Daten, die durch eigene Tests gewonnen wurden); es ist besser, Indikatoren in knappen Worten zu definieren, als zu viele Details aufzunehmen (Zeitrahmen, Ziele und andere Aspekte sollten in speziellen Feldern des Anzeigers angegeben werden).

Spezifität und Präzision. Die Vereinfachung sollte nicht auf Kosten von Spezifität und Präzision gehen, vor allem dann nicht, wenn diese in Reichweite der eigenen Ressourcen liegen oder mit einfachen Mitteln erreicht werden können. Insbesondere die Spezifität und Präzision der Indikatoren sind eine Folge der Ziele und Ergebnisse, die auf einfache, empirische und direkt beobachtbare Weise formuliert wurden.

Die Parameter müssen das tatsächliche Maß dessen angeben, was als Ziel und Ergebnis definiert ist. Sie müssen eindeutig formuliert sein, damit ihre Messung nicht durch Ermessensspielraum variiert werden kann. Falls erforderlich, kann die Berechnungsmethode auf der Seite definiert werden (z.B.: Parameter, die bei der Berechnung eines Prozentsatzes zu berücksichtigen sind).

Spezifität und Präzision können auch auf Indikatoren qualitativer Art angewandt werden, wenn diese zur Messung einer gewünschten Veränderung erforderlich sind. In diesen Fällen erfordert das Kriterium der Genauigkeit eine Definition der Skala und der Situation, auf die sich die verwendeten qualitativen Parameter beziehen (z. B. was Bewertungen wie „ausgezeichnet“ oder „gut“ bedeuten) und/oder eine spezifische Definition der Art und Weise, wie dieser Indikator bewertet wird (z. B. eine eindeutige Formulierung der Fragen in einem Fragebogen oder einer Fokusgruppe).

Die Indikatoren und insbesondere ihre Zielwerte müssen im Rahmen des Projekts praktisch durchführbar sein und mit Zeitrahmen, Zeitrahmen für die Feststellung und den anderen Aspekten des Überwachungs- und Bewertungsrahmens in Verbindung stehen.

Festlegung des Rahmens für die Überwachung und Bewertung

Der Rahmen für die Überwachung und Bewertung ist eine große Tabelle, in der jeder Indikator mit den folgenden Punkten verlinkt ist, die angeben, wie und wann jeder Indikator überprüft wird:

  1. Ausgangswerte (Baseline) und Zielwerte (Ziele) der Indikatoren,
  2. Quellen, Methoden und materielle Mittel für ihre Überprüfung,
  3. Zeitplan für die Überprüfung und Berichterstattung,
  4. Verantwortung und Arbeitsteilung im Verifizierungsprozess.

Der Umfang des Monitoring- und Evaluierungsrahmens und der dafür erforderliche Aufwand müssen realistisch und nicht überdimensioniert sein und der Art des Projekts, den verfügbaren Ressourcen und den tatsächlichen operativen Kapazitäten der Projektträger und der Begünstigten entsprechen. Es ist besser, eine kleinere Anzahl vonLeistungsindikatoren (Key Performance Indicators – KPIs) zu überwachen und zu bewerten, die möglicherweise aus den im Logical Framework definierten Indikatoren ausgewählt werden, als aufgrund der Komplexität des Systems und des Umfangs der erforderlichen Aktivitäten überhaupt kein Monitoring und keine Evaluierung durchzuführen.

Bei komplexen Projekten ist es außerdem ratsam, einen Überwachungs- und Bewertungsplan (z.B. in Form eines Gantt-Diagramms) zu erstellen, in dem die durchzuführenden Aktivitäten, der Zeitrahmen und die Höhepunkte des Überwachungs- und Bewertungsprozesses zusammengefasst sind.

1. Ausgangsbasis und Ziel. Die Definition einer Baseline, d.h. eines Ausgangspunkts für die betrachteten Indikatoren, ist die erste wirkliche „Bewertungs“-Aktivität, die im Rahmen eines Projekts durchgeführt wird, und wird als „Baseline-Studie“ bezeichnet.

Für die Festlegung einer Baseline werden Daten, Zeit und Ressourcen benötigt, ähnlich wie bei der Durchführung einer Überwachungs- und Bewertungsmaßnahme. Der Aufwand für die Ermittlung einer Baseline und der entsprechenden Zielwerte ist proportional zu dem Aufwand, der später bei der Überwachung und Bewertung erforderlich ist. Schwierigkeiten in dieser Phase (aufgrund mangelnder Daten, Zeit und Ressourcen) können darauf hindeuten, dass der Überwachungs- und Bewertungsrahmen in keinem Verhältnis zu den eigenen Fähigkeiten steht, ihn in die Praxis umzusetzen.

Es ist wichtig, dass Sie einen Zeitrahmen für die Erreichung der Zielwerte angeben. Zusätzlich zum Enddatum des Projekts ist es ratsam, Referenzwerte für eine Halbzeitbewertung und möglicherweise weitere Zwischenwerte anzugeben, um vor dem Ende des Projekts zu verstehen, ob man auf dem richtigen Weg ist, die Indikatoren zu erreichen.

Indikatoren, die bestimmte Aktionen oder Produkte, die im Rahmen des Projekts realisiert werden sollen, quantifizieren, haben normalerweise einen Startwert von Null, der sich mit der Durchführung der Aktivitäten erhöht. Die Zielwerte der Indikatoren müssen natürlich realistisch quantifiziert werden.

2. Quellen, Wege und Mittel zur Überprüfung. Dieser Teil des Monitoring- und Evaluierungsrahmens beantwortet die zentrale Frage, „wie“ die Indikatoren gemessen werden sollen.

Zunächst muss die Quelle (Dokument oder physischer Datenträger) definiert werden, über die die Daten gesammelt werden können: entweder eine interne Projektquelle (das Projekt „erstellt“ die Daten durch eigene Fragebögen, Untersuchungen oder Beobachtungen) oder eine externe Quelle (Veröffentlichungen, Datenbanken und statistische Jahrbücher regionaler, nationaler oder internationaler Institutionen, Universitäten, Unternehmen oder Organisationen, die in diesem Bereich tätig sind, begünstigte Organisationen, andere Projekte oder parallele Aktionen, die Daten sammeln und verarbeiten, usw.).

Neben der Quelle müssen auch die Art und Weise der Überprüfung unter Berücksichtigung der folgenden Parameter überprüft werden:

  • Die Konsistenz der Daten mit der vom Projekt angenommenen Definition und ihre Konstanz im Laufe der Zeit (Daten, die mit denselben Parametern mit der erforderlichen Häufigkeit berechnet wurden, vom Zeitpunkt der Baseline bis zum Zeitpunkt der letzten Bewertungen);
  • Die Zuverlässigkeit der Quelle (maßgebliche Quelle, überprüfbar auch durch Dritte, oder strenge und überprüfbare Methodik, da die Daten intern entwickelt wurden);
  • Ihre tatsächliche Verfügbarkeit (Notwendigkeit von Vereinbarungen oder Abonnements, mögliche Kosten, unkontrollierbare Faktoren, die den Zugang zu den Daten beeinträchtigen könnten);
  • Wie wird darauf zugegriffen (online, Bibliothek, Kauf des Mediums, eigene Datenbank, Notwendigkeit der Weiterverarbeitung von Daten).

Als nächstes muss festgelegt werden, wie die Daten verarbeitet werden, um nützliche Informationen für das Projekt zu erhalten, wie sie gespeichert werden (Art des Formats und des Mediums) und wie auf sie zugegriffen, sie überprüft, aktualisiert und geändert werden.

Die so gewonnenen Informationen müssen an diejenigen weitergegeben werden, die daraus nützliche Schlüsse (und eventuelle Korrekturmaßnahmen) ziehen können, d.h. an diejenigen, die das Projekt verwalten, an diejenigen, die eine Entscheidungsfunktion darin ausüben, an diejenigen, die es finanzieren, und an diejenigen, die berechtigt und daran interessiert sind, seine Entwicklung zu verfolgen. Dies geschieht durch Analysen und Berichte (deren Häufigkeit und Struktur festgelegt werden müssen) sowie durch spezifische Kommunikationskanäle (deren Art, Mechanismen und Begünstigte festgelegt werden müssen).

Angesichts des Arbeitsaufwands, den die Erhebung und Verarbeitung von Daten mit sich bringen kann, sollten auch hier die einfachsten, kosteneffizientesten und zeitsparendsten Optionen gewählt werden, z. B. indem der Umfang und die Komplexität der Daten „produktion“ durch das Projekt und seine Begünstigten (durch Fragebögen, Umfragen, Fokusgruppen usw.) auf das unbedingt Notwendige beschränkt werden.

Dies kann im folgenden Abschnitt über die Erfassung und Verarbeitung von Daten genauer untersucht werden.

3. Zeitplan für die Überprüfung und Berichterstattung. Dieser Teil des Monitoring- und Evaluierungsrahmens beantwortet die Schlüsselfrage, wann die Indikatoren gemessen werden, oder genauer gesagt, wie lange und wie oft. Die Wahl hängt von den Indikatoren, den Daten, den zuvor festgelegten Modalitäten, dem Engagement, das sie von den Begünstigten erfordern, und den verfügbaren personellen und materiellen Ressourcen ab.

Der Zeitplan hängt auch von der „Ebene“ ab, auf der der Indikator angesiedelt ist: Wie bereits erwähnt, sind Indikatoren, die sich auf Aktivitäten und Ergebnisse (Output) beziehen, normalerweise einfacher und können im Rahmen der Projektüberwachung häufig überprüft werden; Indikatoren, die sich auf Ergebnisse (Outcome) und Projektziele (Impact) beziehen, werden im Rahmen einer Ad-hoc-Evaluierung gemessen. Die Evaluierung, auch wenn sie komplexer ist, sollte nicht erst am Ende des Projekts erfolgen, sondern bereits während der Projektdurchführung, möglicherweise in einfacherer Form, um Korrekturen zu ermöglichen, wenn die Verwirklichung der Ziele nicht den Erwartungen entspricht.

Schließlich muss der festgelegte Zeitrahmen Mittel und Wege beinhalten, um die gesammelten Informationen an diejenigen weiterzuleiten, die die Möglichkeit haben, Schlussfolgerungen zu ziehen und Korrekturmaßnahmen zu ergreifen. Die kritischsten Indikatoren, d.h. diejenigen, deren Nichterreichen ein größeres Risiko für die Projektleistung darstellt, verdienen während der gesamten Projektlaufzeit ständige Aufmerksamkeit. Die Risikoanalyse und das Risikomanagement sind in der Tat ein integraler Bestandteil der Überwachungstätigkeit.

Mehr darüber, wie die Indikatoren überprüft werden und wie die Risiken gehandhabt werden, erfahren Sie im folgenden Abschnitt über Überwachungs- und Bewertungsinstrumente.

4. Verantwortlichkeiten und Aufgaben. Dieser Teil des Überwachungs- und Bewertungsrahmens beantwortet die Schlüsselfrage, wer die Indikatoren misst. Eine genaue Festlegung der Verantwortlichkeiten ist nützlich, um wichtige Aspekte des Projektmanagements nicht zu vernachlässigen, insbesondere in Zeiten, in denen Fristen und laufende Aktivitäten viel Zeit und Energie absorbieren.

„Wenn man von Zeit zu Zeit den Kopf hebt, und sei es nur, um einige wichtige „KPIs“ zu analysieren, kann das Projekt auf dem richtigen Weg bleiben. Dies kann direkt von den Projektmitarbeitern und dem Projektmanager erledigt werden, obwohl bei großen Projekten (und insbesondere bei Bewertungsaktivitäten) spezialisierte externe Berater in Betracht gezogen werden können (um die Neutralität des Prozesses zu gewährleisten).

Zu diesem Zweck kann es sinnvoll sein, einen einfachen Kalender einzurichten, der daran erinnert, wer wann die wichtigsten Überwachungs- und Bewertungsaktivitäten in Form einer Erinnerung oder eines Gantt-Diagramms durchführt; dazu gehören auch die Aktivitäten im Zusammenhang mit der Projektberichterstattung. Einige der grundlegenden operativen Kontrollen (Zeit, Aktivitäten und Ergebnisse, Budget und Ressourcen) sollten vom Team während der täglichen Projektmanagementaktivitäten automatisch durchgeführt werden.

Instrumente zur Überwachung und Bewertung

Eine gute Überwachung ist ein Zeichen für gutes Projektmanagement. Die Überwachung – und die Folgemaßnahmen – sind in der Tat das Herzstück des Projektmanagements. Für das Projektmanagement wurden viele Methoden und Werkzeuge entwickelt: Jeder Projektmanager und jedes Projekt wählt die Kombination, die am besten zu seiner Organisation und seinen Bedürfnissen passt. Die Europäische Kommission hat eine eigene ‚Toolbox‘ von Tools entwickelt, die in einer Projektmanagement-Methode namens ‚OpenPM2‘ organisiert sind : Wir haben ihr einen Artikel und eine kurze , ausführliche Diskussion gewidmet. Dieletzte Ausgabe des Handbuchs, das kostenlos auf Italienisch erhältlich ist, datiert auf April 2023. OpenPM2:

  • Es definiert Überwachung und Kontrolle als eine kontinuierlicheAktivität, die sich über die gesamte Lebensdauer des Projekts erstreckt, von der Initiierung (Phase 1) über die Planung und Durchführung (Phasen 2 und 3) bis zum Abschluss (Phase 4).
  • Es identifiziert 11 Hauptkomponenten der Überwachungs- und Kontrolltätigkeit: Beschaffung verwalten, Risiken verwalten, Aufmerksamkeitspunkte und Entscheidungen verwalten, Kosten kontrollieren, Zeit kontrollieren, Leistung überwachen, Qualität verwalten, Produkte abnehmen, Beteiligte verwalten, Projektänderungen verwalten, Übergang verwalten.
  • Es werden verschiedene für das Projektmanagement typische Instrumente vorgeschlagen, von denen viele in diesem Leitfaden vorgestellt oder erwähnt werden (RACI-Matrix und ihre Varianten, Stakeholder-Matrix, Projektplanung und Budgetierung, Risiko- und Aufmerksamkeitsregister, Checkliste, Gantt-Diagramm…).

Ohne den Anspruch auf Vollständigkeit erheben zu wollen, stellen wir im Folgenden zwei der am häufigsten verwendeten Tools für Projektmanagement, -überwachung, -kontrolle und -evaluierung vor, zusätzlich zu dem, was in diesem und den vorangegangenen Kapiteln bereits erläutert wurde. Das Projekt-Dashboard. Eine der am weitesten verbreiteten und effektivsten Methoden zur Überwachung des Projektfortschritts ist die Erstellung eines „Dashboards“, d.h. eines „Armaturenbretts“ oder „Kontrollpanels“, mit dem bestimmte Schlüsselparameter überwacht werden können, darunter vor allem

  • Die einzelnen Aktivitäten, die von ihnen produzierten Ergebnisse und ihre Zeitpläne, wobei der Schwerpunkt auf den so genannten Projekt-„ Meilensteinen“ liegt, d.h. den „Meilensteinen“, die die wichtigsten Etappenziele markieren (z.B. die Zieldaten für die Definition, Genehmigung, Einführung und Fertigstellung eines Ausbildungsplans). Dieser Teil des ‚Dashboards‘ kann effektiv in Form eines Gantt-Diagramms dargestellt werden.
  • Die wichtigsten Indikatoren, die für das Projekt ermittelt wurden, insbesondere die einfacheren, ‚operativen‘ Indikatoren (die mit Aktivitäten und Ergebnissen verbunden sind) und die Indikatoren, die als ‚KPIs ‚ (Schlüsselindikatoren) definiert wurden, die regelmäßig überwacht werden sollen. In diesem Fall kann das ‚Dashboard‘ für jeden Indikator einen erwarteten Wert für jedes geplante Kontrolldatum anzeigen, der mit der entsprechenden Messung einhergeht, um etwaige Abweichungen zu verdeutlichen.
  • Ein Plan für die Nutzung der Ressourcen, wiederum mit den erwarteten Werten für die Nutzung jeder Ressource (Mittel, Personal, Material) im Laufe der Zeit und regelmäßigen ‚Kontrollpunkten‘, die mit dem Fortschrittsstatus der Indikatoren verglichen werden.

Für jede Messung ist es ratsam, jedem dieser Parameter ein synthetisches ‚Etikett‘ zu geben, möglicherweise in Verbindung mit einem Symbol und einem Farbcode (wie in diesem Beispiel):

▶ ‚Laufend‘: Fortschritt wie geplant, ohne besondere Hindernisse oder Verzögerungen;▶ ‚Überfällig‘: Fortschritte, die hinter den Erwartungen zurückbleiben, mit möglichem Bedarf an Korrekturmaßnahmen (im Falle von Ressourcen: ‚Übererfüllt‘ / Auslastung über den Erwartungen);▶ ‚Gefährdet‘: Das Vorankommen ist in Gefahr und ohne schnelles Handeln wird es zwangsläufig zum Nicht-Erreichen oder Scheitern (oder zur Überschreitung der verfügbaren Ressourcen) führen;◼ ‚Abgeschlossen‘: die Aktivität ist wie erwartet abgeschlossen (oder die Ressource ist erschöpft);◼ ‚Ausgesetzt‘: die Aktivität ist aufgrund externer Faktoren oder mangelnder Ressourcen vorübergehend ausgesetzt;◼ ‚Gescheitert‘: die Aktivität ist nicht mehr durchführbar oder die Ressource ist vorzeitig erschöpft.

Im Zuge der Überwachung ist es auch ratsam, den Zustand zu erhalten:

  • eine Aufzeichnung der festgestellten Diskrepanzen, der ergriffenen Korrekturmaßnahmen und der Änderungen an der Projektstruktur (Umgestaltung von Aktivitäten und Ressourcen), die als Reaktion auf die bei der Umsetzung aufgetretenen Herausforderungen vorgenommen wurden;
  • eine Risikomatrix und ein Register der relevanten Aufmerksamkeitspunkte (siehe unten).

Die Elemente eines ‚Dashboards‘ finden Sie in einer Software, die speziell für das Projektmanagement entwickelt wurde. Sie können aber auch (in relativ einfacher Form) durch entsprechend eingerichtete Tabellenkalkulationen erstellt werden, die über ein Netzwerk oder eine Cloud zwischen den Mitgliedern des Projektteams ausgetauscht werden.

Die Risikomatrix. Die Aktivitäten des Projektmanagements und der Überwachung zielen darauf ab, Risiken, die während der Projektdurchführung auftreten können, zu verhindern, zu mindern und zu korrigieren. Das Projekt-Dashboard wird daher normalerweise durch spezielle Tools für das Risikokonzept ergänzt. Das Risikomanagement besteht wiederum aus vier Hauptphasen:

  1. Identifizierung potenzieller Risiken, die sich auf das Projekt auswirken könnten, durch Brainstorming-Aktivitäten, Definition von Checklisten und Analyse der Erfahrungen aus anderen Projekten. Es müssen alle relevanten Risiken berücksichtigt werden, die aus verschiedenen Quellen stammen können: die Organisation selbst und ihre Partner (interne Risiken), Zielgruppen und Begünstigte, andere Organisationen im Rahmen des Projekts, Institutionen, die politische, wirtschaftliche und finanzielle Situation, störende soziale oder technologische Ereignisse, Naturereignisse, usw;
  2. Risikoanalyse zur Bestimmung der Wahrscheinlichkeit und der möglichen Auswirkungen. Die Risiken können in eine Matrix eingetragen werden, die durch Zuweisung eines Wertes von 1 bis 3 für die Wahrscheinlichkeit (P) und die Auswirkungen (I) ihren Schweregrad (G = P x I) in leicht (G = 1 oder 2, mit dem normalen Projektbetrieb vereinbar), mäßig (G = 3 oder 4, erfordert spezifische Gegenmaßnahmen) und hoch (G = 6 oder 9, kann die Lebensfähigkeit des Projekts untergraben) unterteilt;
  3. Planung einer Risikoreaktion, die aus verschiedenen Lösungen bestehen kann, die darauf abzielen, das Risiko zu vermeiden (durch Änderung der Konstruktion oder durch besondere Vorkehrungen), das Risiko zu übertragen (indem es von einem Dritten gemindert wird, z. B. durch eine Versicherung), das Risiko zu mindern (indem sein Schweregrad auf ein „mildes“ Niveau reduziert wird) oder das Risiko zu akzeptieren (indem seine Folgen in Kauf genommen werden, aber ein ausgeklügelter „Notfallplan“ für den Fall seines Eintretens besteht);
  4. Einführung eines Risikoüberwachungssystems durch eine mehr oder weniger kontinuierliche Aktualisierung der Risikomatrix und des entsprechenden Reaktionsplans (ähnlich wie bei den Indikatoren im Projekt-Dashboard). Ähnlich wie bei den KPIs sind Risiken mit einem höheren Schweregrad die Aufmerksamkeitspunkte, die regelmäßiger und gründlicher überwacht werden müssen.

Methoden der Datenerhebung und -verarbeitung

Monitoring und Evaluierung basieren auf Daten, die gesammelt (d.h. auf irgendeine Weise beobachtet und aufgezeichnet), verwaltet (d.h. sicher und einheitlich auf einem Medium, in der Regel elektronisch, gepflegt und gespeichert), verarbeitet (d.h. mit Hilfe von analytischen und statistischen Werkzeugen in nützliche Projektinformationen umgewandelt) und präsentiert (d.h. in ein Berichtssystem integriert) werden müssen.

Die Daten sind in verschiedene Typen unterteilt:

  • Primäre Daten werden im Rahmen des Projekts direkt bei der zu beobachtenden Bevölkerung erhoben, während sekundäre Daten über vorhandene Quellen gesammelt werden. Primärdaten sind spezifischer in Bezug auf die Messung der Projektwirkungen und -auswirkungen, aber weniger vergleichbar mit allgemeineren Daten und sicherlich schwieriger zu erstellen; Sekundärdaten hingegen sind leichter verfügbar und vergleichbar, messen den Beitrag des Projekts aber tendenziell weniger spezifisch;
  • Quantitative Daten entsprechen numerischen Werten, die zum Zeitpunkt der Messung direkt gemessen werden, sind normalerweise in einem bestimmten Format strukturiert und lassen sich durch Gleichungen und Formeln mathematisch darstellen. Qualitative Daten hingegen beziehen sich auf subjektive Dimensionen und lassen sich nicht direkt in einem numerischen Wert zusammenfassen, sondern werden normalerweise in Kategorien organisiert, um mit mathematischen und statistischen Werkzeugen leichter verwaltet werden zu können. Quantitative Daten lassen sich leichter mit mathematischen Werkzeugen bearbeiten und können daher „objektiver“ erscheinen, aber sie können die Komplexität eines Phänomens weniger gut erfassen als qualitative Daten.

Die bestehenden wissenschaftlichen Erkenntnisse und Methoden der Datenerfassung und -verarbeitung sind vielfältig, breit gefächert und komplex und würden den Rahmen dieses Leitfadens sprengen. Ohne Anspruch auf Vollständigkeit und Strenge versuchen wir, einen schnellen Überblick zu geben, als Ausgangspunkt für das weitere Studium anderer, speziellerer Quellen. Die verschiedenen Methoden ergänzen sich gegenseitig und werden in der Regel in verschiedenen Kombinationen eingesetzt, um die Überwachung und Bewertung eines Projekts zu unterstützen.

1. Dokumentarische Recherche und die Verwendung von Sekundärdaten, z. B. aus Regierungsdokumenten, akademischer Forschung, Forschung und Analyse durch andere in diesem Bereich oder anderen Projekten, Online-Quellen wie soziale Medien, Blogs oder Gespräche zwischen Nutzern.

2. Direkte Beobachtung, die durch die direkte Erhebung von Projektdaten auf verschiedene Weise gewonnen wird (z.B. Anzahl der produzierten Medien, Anzahl der Teilnehmer an einer Schulungsveranstaltung, Anwesenheitslisten, Spuren und Rückmeldungen, die zu den im Rahmen des Projekts erstellten IT-Tools aufgezeichnet wurden, Rückmeldungen, die direkt während der Projektaktivitäten eingeholt wurden, Beobachtungen, die von den Mitarbeitern während der Durchführung der Aktivitäten aufgezeichnet wurden, usw.).

3. Umfragen, die dazu dienen, Daten von einer großen Anzahl von Personen über Online-Tools, Telefonumfragen oder Papierfragebögen zu sammeln, die auch während der Projektaktivitäten (z. B. am Ende einer Veranstaltung) durchgeführt werden. Sie können quantitative Antworten, nach Kategorien geordnete qualitative Antworten und qualitatives Feedback in freier Form (offene Antworten) sammeln.

4. Interviews, d.h. Gespräche von Angesicht zu Angesicht zwischen einem Forscher und einem Teilnehmer, mit einem Frage- und Antwortsystem, das frei, halbstrukturiert (mit festen Fragen und Antworten, die variieren können) oder strukturiert (Fragen mit kürzeren oder vordefinierten Antworten) sein kann.

5. Fokusgruppen, d.h. moderierte Gruppendiskussionen, in denen die Teilnehmer aufgefordert werden, Meinungen und Ideen zu einem bestimmten Thema auszutauschen. Sie ermöglicht eine tiefere Analyse und Integration verschiedener Standpunkte. Je nach den Bedürfnissen und der Dynamik in der Teilnehmergruppe kann sie mehr oder weniger strukturiert verlaufen (z. B. in Form eines Interviews).

6. Fallstudien, die dazu dienen, ein bestimmtes Phänomen und ein bestimmtes Thema eingehend zu verstehen. Sie beinhaltet die Sammlung und Analyse verschiedener Quellen wie Interviews, Umfragen und Beobachtungen, die darauf abzielen, den Kontext, die Faktoren und die Dynamik hinter dem Phänomen im Detail zu rekonstruieren, was nützlich ist, um Trends, Dynamiken, Beispielmodelle, Lösungen, Empfehlungen und Lehren abzuleiten.

7. Narrative Enquiry, ein qualitativer Ansatz, der Interviews, Feldnotizen und andere Formen der Datenerfassung verwendet, um die Geschichten von Gruppen oder Einzelpersonen aufzudecken und ihre Erfahrungen, Perspektiven, Dynamiken und Lehren für künftige Maßnahmen zu analysieren.

8. „Bedeutendste Veränderung“, eine strukturiertere Variante der vorherigen Ansätze, die darin besteht, jeden Teilnehmer zu bitten, die bedeutendste Veränderung zu beschreiben, die in seiner Erfahrung in Bezug auf einen bestimmten Bereich oder Parameter eingetreten ist, und deren Bedeutung zu erklären. Die gesammelten ‚Geschichten‘ können in Gruppen vertieft, weiter ausgewählt und kommentiert werden.

9. Qualitative Trendanalyse, bei der Tabellen und visuelle Hilfsmittel verwendet werden, um qualitative Daten über die Veränderungen zu sammeln und darzustellen, die bei einer Gruppe und über einen bestimmten Zeitraum hinweg entstanden sind. Sie kann mit Hilfe der Referenzgruppe auf verschiedene Weise dargestellt werden: 1 ) Kartesische Darstellung auf einer Skala von 1 bis 5 des Trends eines bestimmten Parameters im Laufe der Jahre. Es können mehrere Linien verwendet werden, um mehrere Parameter darzustellen, die synthetisch die Phänomene anzeigen, die mit dem Erreichen bestimmter ‚Spitzen‘ und ‚Täler‘ in der Grafik verbunden sind; 2 ) tabellarische Darstellung mit den verschiedenen Referenzkriterien, ihrer Bewertung von 1 bis 5 im Laufe der Jahre und einer zusammenfassenden Bewertung (+ / -) der Entwicklung jedes Parameters im Laufe der Jahre; 3) visuelle Darstellung, bei der der Weg der Gruppe auf einer realen ‚Straße‘ eingezeichnet wird und die wichtigsten Ereignisse, Phänomene und Veränderungen, die ihre Entwicklung im Laufe der Jahre geprägt haben, mit Zeichnungen und Kommentaren angezeigt werden.

10. Benchmarking (oder vergleichende Analyse), eine Methode, die zum Vergleich und zur Gegenüberstellung von zwei oder mehr verschiedenen Fällen verwendet wird, um Ähnlichkeiten und Unterschiede zwischen zwei oder mehr Akteuren oder Phänomenen zu ermitteln. Die Daten müssen in den beiden zu vergleichenden Fällen parallel mit denselben Parametern und Methoden erhoben werden, um eine vollständige Vergleichbarkeit zu gewährleisten.

11. Statistische Analyse, die quantitative Daten mit Hilfe statistischer Methoden verarbeitet, um Informationen zu beschreiben und zusammenzufassen (deskriptive Statistik) oder um Vorhersagen zu treffen (inferentielle Statistik). Zu den Methoden der deskriptiven Statistik gehören z.B. die Messung der zentralen Tendenz (Mittelwert, Median und Mode), die Korrelation (Bewertung der Existenz einer positiven oder negativen Beziehung zwischen Variablen) und die Verteilung (Beschreibung der Verteilung von Daten über ein Feld durch Funktionen, Daten und Kurven). Zu den Methoden der Inferenzstatistik gehören z.B. Regression (Umreißen eines Trends aus einer Reihe von Daten), Zeitreihenanalyse und andere Methoden zur Erstellung von Vorhersagemodellen. Die statistische Analyse verwendet das Konzept einer ‚Stichprobe‘, deren Größe von der Größe der Gesamtpopulation, auf die sie sich bezieht, und dem gewünschten Konfidenzniveau und der Fehlermarge abhängt.

12. Text Mining und Data Mining, bei denen es um die Sammlung von Online-Daten anhand von Dokumentensätzen und großen Datenbanken geht, aus denen mit Hilfe spezieller Computer-Tools, Algorithmen und Anwendungen der Künstlichen Intelligenz nützliche Informationen, Trends und Muster extrahiert werden können.

Bei der Einrichtung eines Datenverarbeitungssystems, insbesondere wenn Daten „intern“ erhoben und verarbeitet werden (z.B. bei Umfragen über Telematik-Tools), muss die Organisation die aktuellen Gesetze und Vorschriften zu personenbezogenen Daten(GDPR) beachten. Personenbezogene Daten sind definiert als „Informationen, mit denen eine natürliche Person direkt oder indirekt identifiziert oder identifizierbar gemacht werden kann und die möglicherweise Aufschluss über ihre Eigenschaften, Gewohnheiten, Lebensweise, persönliche Beziehungen, ihren Gesundheitszustand, ihre wirtschaftliche Lage usw. geben“ (hier die Referenzseite des Datenschutzgaranten). Es ist ratsam, so wenig personenbezogene Daten wie möglich zu verwenden, ein Register der erhobenen Daten zu führen, die Daten so anonym wie möglich zu erheben (oder, wenn dies nicht möglich ist, die erhobenen Daten zu „anonymisieren“) und einen Verantwortlichen für die Verarbeitung personenbezogener Daten auf der Grundlage der geltenden Rechtsvorschriften zu benennen.

Von Indikatoren zu Auswirkungen

Wirkung, ein komplexes Konzept. Das Ergebnis von Monitoring und Evaluierung ist klar und direkt spürbar, wenn es sich um operative Aspekte handelt: durchgeführte Aktivitäten und Outputs, erreichte Begünstigte, unmittelbare und sichtbare Folgen eines gerade abgeschlossenen Projekts. Diese Daten, die hauptsächlich durch Monitoring-Aktivitäten gewonnen werden, sind auch die wichtigsten für die Projektdurchführenden, die direkt für sie verantwortlich sind.

Die Beantwortung umfassenderer und strategischerer Fragen, wie sie für die Evaluierungsarbeit typisch sind, ist dagegen komplexer: Welche Auswirkungen hatte das Projekt (und welche werden es haben)? Hat das Projekt sein Endziel, d.h. sein Gesamtziel, erreicht? Hat es den Wandel bewirkt, den es bewirken sollte, als es entwickelt wurde?

Um diese Fragen mit objektiven Beweisen zu beantworten, ist es notwendig, nach dem Ende des Projekts Daten zu sammeln und Ressourcen zu nutzen, die über das hinausgehen, was im Rahmen eines einzelnen europäischen Projekts zur Verfügung gestellt wird.

Darüber hinaus ist der Begriff der Wirkung aus konzeptioneller und statistisch-mathematischer Sicht komplex, da viele Faktoren dazu beitragen: Es ist nicht einfach, den Beitrag des Projekts von einer Vielzahl anderer begleitender Faktoren zu „isolieren“. Zum Beispiel: Wie spürbar sind die Auswirkungen eines Armutsbekämpfungsprojekts auf eine Gemeinde, und wie lassen sie sich von einer Vielzahl anderer (positiver oder negativer) Faktoren wie den Auswirkungen der Wirtschaftslage, der Industriepolitik, anderer paralleler Projekte und der Initiative von Gemeindemitgliedern trennen?

Die Messung der Auswirkungen bleibt jedoch ein berechtigtes Anliegen: Die Auswirkungen sind ein integraler Bestandteil der Projektbegründung und des Überwachungs- und Bewertungsrahmens; sie sind der Ausgangs- und Endpunkt für jeden, der ein Projekt durchführt oder finanziert; sie definieren im weitesten Sinne den tatsächlichen Erfolg des Projekts.

Auch die folgende Diskussion erhebt keinen Anspruch auf wissenschaftliche Strenge oder Vollständigkeit, sondern zielt darauf ab, das Konzept der ‚Wirkung‘ in einige Einsichten zu übersetzen, die für europäische Projektdurchführer ‚greifbar‘ sein könnten.

Auswirkungen als kontrafaktische Analyse. Die kontrafaktische Analyse definiert die Wirkung als den Unterschied zwischen den Daten, die am Ende einer Intervention erhoben wurden („faktische“ Daten) und den Daten, die in einer Situation ohne Intervention erhoben wurden („kontrafaktische“ Daten). Dies ist der „wissenschaftlichste“ Ansatz zur Folgenabschätzung: Er wird in der medizinischen Forschung verwendet, um „Behandlungsgruppen“ mit „Kontrollgruppen“ zu vergleichen.

Dieser Ansatz ist im sozialen Bereich nur schwer anwendbar, da er voraussetzt:

  • Das Vorhandensein von Indikatoren, die mit analytischen Instrumenten eindeutig überprüfbar sind und eine ebenso überprüfbare und eindeutige Verbindung zu der Dimension haben, die sie messen sollen.
  • Die Möglichkeit, eine „Kontrollgruppe“ zu identifizieren, deren Merkmale und Dynamik mit denen der Zielgruppe des Projekts vollständig vergleichbar sind.

Dies sind keine einfachen Bedingungen für viele Projekte, die ‚menschliche‘ und soziale Aspekte beinhalten:

  • Die Korrelation zwischen den Daten und dem gemessenen Phänomen kann stärker oder schwächer sein, aber sie ist kaum eindeutig und hängt vom Zusammenspiel mehrerer Faktoren ab.
  • Die Situationen von Gruppen und Gemeinschaften sind sehr unterschiedlich, komplex und (bei näherer Betrachtung) schwer zu vergleichen.

Trotz ihrer Einschränkungen bleibt die kontrafaktische Analyse ein nützlicher „idealer Maßstab“ für die Messung der Auswirkungen.

Auswirkungen als Veränderung eines Trends. Die kontrafaktische Analyse kann in abgeschwächter Form verwendet werden, indem die Auswirkungen einfacher und allgemeiner definiert werden, nämlich als „die Fähigkeit, einen Trend oder ein Phänomen in seinem Verlauf zu verändern“.

Obwohl die Analyse der Projektdaten im Vergleich zu bestimmten Trends nicht völlig quantitativ und wissenschaftlich ist, liefert sie ein Maß für die Auswirkungen des Projekts, d.h. inwieweit das Projekt einen bestehenden Trend „verändern“ konnte. Diese Art der Analyse lässt sich formal auf die Differenz-in-Differenzen“-Methodedie die doppelte Variation einer Variablen analysiert: über die Zeit (vorher, nachher, ex-post) und zwischen Subjekten (Empfängern und Nicht-Empfängern).

Diese Methode kann je nach Ambitionen und verfügbaren Ressourcen mit mehr oder weniger Komplexität und Strenge angewendet werden. Es kann anwendbar sein:

  • Umschreibung des Umfangs des zu messenden Phänomens auf das, wozu das Projekt am stärksten und direktesten beigetragen hat (um den Grad der Korrelation zwischen Indikator und gemessenem Ziel zu erhöhen);
  • Durch den Vergleich der von den Projektdaten aufgezeichneten Entwicklung mit Referenzpunkten, die der Zielpopulation des Projekts so „nahe“ wie möglich kommen (eine „quasi-kontrafaktische“ Situation );
  • Kombinieren Sie, wenn möglich, verschiedene und sich ergänzende vergleichende Referenzen (oder ‚triangulieren‘ Sie verschiedene Daten und Standpunkte, um die Zuverlässigkeit der Ergebnisse zu erhöhen);
  • Beziehen Sie, wenn möglich, mehrere Messzeitpunkte in die Analyse ein (um einen Trend zu ermitteln), einschließlich „Follow-up“-Messungen (z. B. ein, zwei oder drei Jahre nach Ende des Projekts);
  • Begleiten Sie die Analyse mit einer Bewertung der (positiven oder negativen) Faktoren, die die Daten und „Trends“ des Projekts beeinflusst haben könnten, sowie der verwendeten Referenzen.

Bei einem Projekt zur Arbeitsvermittlung für junge Menschen im Alter von 15-24 Jahren, die in einem städtischen Gebiet mit sozialen Problemen wohnen, können Sie beispielsweise die Veränderungen bei den erfassten Beschäftigungsdaten junger Menschen im Alter von 15-24 Jahren vergleichen:

  • Vom Projekt zu seinen Nutznießern (Ausgangsdaten vs. Enddaten: „faktische“ Daten).
  • Im Projektgebiet (oder in einem anderen städtischen Gebiet mit sozialen Problemen), während des gleichen Zeitraums (eine „quasi-kontrafaktische“ Zahl).

Ein ausführlicheres und spezifischeres Beispiel finden Sie am Ende desBeispiels für den Überwachungs- und Bewertungsrahmen.

Die Wahl des Benchmarks (oder die gleichzeitige Verwendung mehrerer Benchmarks) kann je nach Verfügbarkeit von Daten variieren. Unterschiede zwischen „faktischen Daten“ und „quasi-kontrafaktischen Daten“ können unter Berücksichtigung anderer Faktoren und Variablen, die die beiden Referenzpopulationen beeinflusst haben könnten, analysiert (und möglicherweise gewichtet oder korrigiert) werden:

  • Positive Faktoren – z.B. positive Ergebnisse, die durch parallele Initiativen in diesem Bereich erzielt wurden (z.B. berufsbildende Kurse, Unterstützung für Lehrstellen, Instrumente zur Abstimmung von Arbeitsangebot und -nachfrage…).
  • Negative Faktoren – z.B. wirtschaftliche Schwierigkeiten von Unternehmen in der Region oder sich verschlechternde Rahmenbedingungen (z.B. Rückgang der von der Regierung für Bildung oder Sozialhilfe bereitgestellten Mittel).

Die Theorie der Veränderung kann bei dieser Abwägung helfen, da sie eine „Kartierung“ aller Bedingungen liefert, die notwendig sind, um eine gewünschte Veränderung herbeizuführen.

Auswirkungen als ‚Geschichten‘ des Wandels. Was bisher dargestellt wurde, folgt einem logischen und strukturierten Schema, das mehr oder weniger quantitativ ist und auf dem Konzept der „Messung“ der erreichten Veränderung im Vergleich zu dem, was das Projekt vorschlägt, basiert.

Bei einigen Projekten kann dieses Schema komplex oder unzureichend sein, um qualitative Veränderungen, unerwartete Phänomene und Effekte, die in den ursprünglichen Metriken nicht definiert wurden, korrekt und vollständig darzustellen. Aus diesem Grund gibt es breiter angelegte, qualitative oder uneingeschränkte Methoden zur Messung der Auswirkungen gegenüber den anfänglichen ‚Zielen‘ (z.B. zielfreie‘ Bewertung).

Auch hier liegt eine umfassende, erschöpfende und strenge Behandlung des Themas jenseits der Ambitionen dieses Leitfadens. Es ist jedoch wichtig, auf die Bedeutung der qualitativen und weniger strukturierten Aspekte bei der Messung der Auswirkungen eines Projekts hinzuweisen.

Auf operativer Ebene bedeutet dies, die folgenden Fragen zu stellen: Wie hat sich das Leben der Begünstigten (oder der begünstigten Organisationen) durch das Projekt verändert? Welche Rolle hat das Projekt für ihre Entwicklung, ihre „Geschichte“ und ihre individuellen Erfahrungen gespielt? Wie hätten die Begünstigten (oder die begünstigten Organisationen) ihr Leben und ihre Geschichte ohne die Projektintervention erlebt? Sind diese kleinen individuellen „Geschichten“ in der Lage, ihrerseits neue kleine und eindrucksvolle „Geschichten des Wandels“ hervorzubringen? Ist es möglich, anhand der individuellen „Geschichten“ und Sichtweisen eine Linie zu ziehen, die die Erfolgsparameter und Schwächen des Projekts aufzeigt?

Die „Geschichten“ können durch verschiedene Methoden der qualitativen Analyse gesammelt und ausgewertet werden, die bereits in den vorangegangenen Abschnitten erwähnt wurden: Interviews und Fokusgruppen, Fallstudien und narrative Umfragen, spezifischere Methoden wie die „signifikanteste Veränderung“ und Systeme zur Analyse und grafischen Darstellung von Trends und qualitativen Veränderungen. Diese Art der Analyse verfolgt einen empirischen Ansatz, der auf„Induktion“ beruht, d.h. auf der Formulierung allgemeiner Schlussfolgerungen aus bestimmten Fällen. Sie sollte nicht als ‚Plan B‘ im Vergleich zu anderen Methoden betrachtet werden, da sie im Vergleich zu stärker strukturierten Analysesystemen möglicherweise andere, tiefere oder zumindest ergänzende Elemente erfassen kann.

Eine Analyse durch ‚Geschichten‘ verschiedener Art ermöglicht es auch, Kommunikations- und Verbreitungsmaterial zu entwickeln, das für ein breites Fachpublikum (aufgrund seiner Analysetiefe), für Partner und Interessengruppen (die es sich wiederum zu eigen machen und verbreiten können) und für die breite Öffentlichkeit von Laien interessant und nutzbar ist.

Diese Aspekte sind relevant und werden in europäischen Projekten geschätzt. Berichterstattung und Kommunikation sind miteinander verknüpfte Aspekte, die dem gemeinsamen Ziel der Rechenschaftspflicht und Transparenz entsprechen (Rechenschaftspflicht) gegenüber Institutionen, Bürgern und ihren Gemeinschaften.

Vertiefung von Konzepten und Ansätzen zur Wirkung. Für diejenigen, die sich den Methoden der Wirkungsmessung und des Wirkungsmanagements von einem alternativen und ergänzenden Standpunkt aus nähern möchten, empfehlen wir eineausführliche Durchsicht der Leitfäden und Tools, die von spezialisierten Organisationen für Impact Investing erstellt wurden und denen wir einen eigenen ausführlichen Abschnitt gewidmet haben.

L‘Impact Investing zeichnet sich durch eine methodische und bewusste Mobilisierung von Ressourcen aus, um eine messbare Wirkung in Bereichen zu erzielen, in denen es daran mangelt (Grundsätze der Intentionalität, Messbarkeit und Zusätzlichkeit). Obwohl sie nicht speziell auf den Anwendungsbereich unseres Leitfadens ausgerichtet sind, haben die vorgeschlagenen Leitfäden und Instrumente einige Gemeinsamkeiten mit dem, was in diesem Kapitel beschrieben wird, und können zusätzliche Erkenntnisse für die Wirkungsmessung und das Wirkungsmanagement in europäischen Projekten liefern.

Wir möchten Sie auf zwei weitere Leitfäden hinweisen, die sich mit der Bewertung von Projekten befassen. Sie sind nicht neu und stammen aus bestimmten Bereichen, können aber für diejenigen, die mit europäischen Projekten arbeiten, interessante Anhaltspunkte bieten.

1. Ein Leitfaden, der im Rahmen von CIVITAS entwickelt wurde, einer Initiative der Europäischen Union, die sich der urbanen Mobilität widmet. Obwohl er Beispiele für den spezifischen Sektor enthält, bietet er eine sehr klare, umfassende und allgemeine Behandlung des Themas der Projekt- und Programmbewertung.

2. Ein benutzerfreundliches Handbuch zur Projektevaluierung, das in den USA (Regierungsbehörde National Science Foundation) entwickelt wurde und das einen systematischen, umfassenden und wissenschaftlichen Ansatz zum Thema Projektevaluierung verfolgt.