Neue Erkenntnisse und Ansätze aus dem Leitfaden der Europäischen Kommission zur Projektbewertung.
Ein neuer, lang erwarteter Leitfaden
Vor einigen Monaten wurde von der Europäischen Kommission (GD Internationale Partnerschaften) ein neuer Leitfaden für die Projektevaluierung veröffentlicht. Die vorherige Ausgabe stammt aus dem Jahr 2006. Es handelt sich also um ein lang erwartetes Dokument für ‚Insider‘, in diesem Fall aus dem speziellen Bereich der Evaluierung und der Entwicklungszusammenarbeit. Die Evaluierung ist in der Tat eine Tätigkeit, die teilweise über die Projektgrenzen hinausgeht und in die Zuständigkeit von ‚Evaluierungsfachleuten‘ fällt, die von der Europäischen Kommission ernannt werden, oder von deren speziellen Mitarbeitern.
Dieser Leitfaden soll diesen Fachleuten verfahrenstechnische, operative und methodische Hinweise geben, damit sie auf der Grundlage gemeinsamer Standards, Prozesse und Methoden arbeiten können. Die Lektüre des Leitfadens ist jedoch auch für jeden nützlich, der sich mit dem Konzept der Evaluierung von europäischen Projekten befassen möchte. Insbesondere der dritte Teil (Ansätze, Methoden und Instrumente) zeichnet den gesamten Weg von der Ausarbeitung der Interventionslogik bis zur Evaluierung des Projekts und der Abschätzung seiner Auswirkungen nach und liefert interessante methodische Erkenntnisse und Instrumente.
Was wir beschrieben haben, ist weitgehend dasselbe wie im entsprechenden Kapitel unseres Leitfadens(Projektmanagement: Überwachung und Bewertung). Es gibt jedoch einige zusätzliche Aspekte, die wir in unsere Diskussion aufgenommen haben und im Folgenden zusammenfassen.
Das ‚fehlende Glied‘ bei der Abschätzung der Auswirkungen
Der interessanteste Aspekt, den wir in unser eigenes Kapitel aufgenommen haben, betrifft die Analyse der Methoden, die zur Schätzung der Auswirkungen der Interventionslogik (oder der Theorie des Wandels) verwendet werden.
Wir haben uns hauptsächlich auf nicht-experimentelle Methoden konzentriert, die sich also von der ‚wissenschaftlichen‘ und kontrafaktischen Bewertung unterscheiden, die in einem Projekt nur schwer umzusetzen ist. Diese Methoden formalisieren einen Prozess, der die beobachteten Ergebnisse einem bestimmten Projekt oder einer Intervention zuordnet (oder auch nicht). Wir erwähnen diejenigen, die uns am interessantesten erschienen.
- Die Beitragsanalyse konzentriert sich auf das Sammeln von Beweisen, um die Zuschreibung zu validieren, sowie auf die Erforschung, Identifizierung und den Ausschluss (wenn möglich) ergänzender Faktoren und alternativer Erklärungen;
- Die Globale Eliminierungsmethodik (GEM) systematisiert diesen Ansatz noch weiter, indem sie Listen von Ursachen und den dazugehörigen ‚modus operandi‘ für jedes Ergebnis von Interesse aufstellt;
- Die realistische Evaluierung zielt darauf ab, die Vielzahl von Mechanismen, Interaktionen und Dynamiken im Zusammenhang mit den Akteuren und dem Kontext zu erfassen, eine Reihe hypothetischer ‚Mini-Theorien des Wandels‘ zu analysieren und die Projektergebnisse in den entsprechenden Kontext zu stellen;
- Die Qualitative Comparative Analysis (QCA) vergleicht verschiedene Fälle, die ein ähnliches Ergebnis erbracht haben. Sie analysiert die Faktoren, die in den verschiedenen Fällen vorhanden sind, um ihren Grad an Relevanz und ihren Beitrag zu den beobachteten Auswirkungen zu bestimmen;
- Bei der Prozessverfolgung handelt es sich um eine Methodik zur Untersuchung eines bestimmten Kausalzusammenhangs durch verschiedene Arten von „Tests“, um zu beurteilen, ob die Beweise ausreichen, um eine Schlussfolgerung über die Kausalität zu ziehen;
- Outcome Mapping (qualitative und partizipative Methodik) bewertet die Auswirkungen eines Projekts oder einer Intervention durch die Analyse von Veränderungen im Verhalten, in den Beziehungen, Aktivitäten und Handlungen von Menschen, Gruppen und Organisationen, mit denen man direkt zusammengearbeitet hat.
Ein weiterer interessanter Aspekt (den wir integriert haben) des neuen Leitfadens der GD Internationale Partnerschaften ist die Analyse der häufigsten Voreingenommenheiten bei der Datenerhebung und -verarbeitung: „Bestätigungs-„, „Empathie-„, „Selbstzensur-„, „strategische“ und „Manipulations-“ Voreingenommenheit, „Apophänie“ (oder „Scheinkorrelation“), „Verankerung“ oder „Halo-Effekt“. Da Projektüberwachung und -evaluierung auf Daten beruhen, ist es wichtig, sich ihrer bewusst zu sein und sie erkennen zu können.
Neue Quellen für Erkenntnisse über die Bewertung
Wir haben diesen neuen Leitfaden der Europäischen Kommission als eine der empfohlenen Quellen aufgenommen, um das Thema Projektfolgenabschätzung zu erkunden.
Wir empfehlen Ihnen auch die Seite der Plattform Capacity4Dev, die Artikel und Einblicke zu verschiedenen Aspekten des Themas enthält: Bewertungskriterien, Bewertungsmethoden und -instrumente, Indikatoren, interne Überwachung, Ergebnisrahmen – um nur einige zu nennen.
Schließlich möchten wir auf die wahrscheinlich umfangreichste, erschöpfendste und „wissenschaftlichste“ Quelle zu diesem Thema hinweisen: die Plattform BetterEvaluation, die sich der Verbesserung und Verbreitung von Methoden und Instrumenten für eine gute Bewertung von Projekten, Interventionen und öffentlichen Maßnahmen widmet. Sie bietet insbesondere ein Tool(RainbowFramework) zur besseren Definition und Verwaltung des eigenen Bewertungssystems, eine Auswahl spezieller Leitfäden und eine ausführliche Beschreibung (mit Beispielen und einer Vielzahl von weiterführenden Links) der in der Welt der Bewertung verwendeten Methoden und Ansätze.
All dies können Sie über die Links in diesem Artikel und in dem entsprechenden Kapitel unseres Leitfadens herausfinden.
