Oliver Hermannim und Herr Weiziger, herzlichen Dank für die Einladung.
Abends freut mich, dass Sie gekommen sind. Oliver hat
es jetzt ein bisschen, also Statistik fokussiert, eingeführt.
Nein, ich werde versuchen, nein, das hier,
das hier müsste angemacht werden. Ich habe ihn extra hier verkabelt,
aber ich glaube, ich habe auch eine feste Stimme,
ich kriege das auch in so einem Saal ohne Migrün.
Ist das Mikro an? Ah, okay.
Welches das hier oder das hier? Das hier?
Meine sind alle froh
Beide. Okay. An, zurück zu einem Statistikpunkt.
Ich werde versuchen, es ihnen dennoch verständlich zu machen,
sodass sie am Ende sagen, hey, ich habe es kapiert.
Und es ist ja gar nicht so kompliziert. An der Stelle
darf ich vorab keine Klickerfragen. Ich habe keine Klickerfragen eingebaut,
aber darf ich vorab dennoch abfragen zu dem Hintergrund von ihnen?
Gibt es unter Ihnen VWLer, VWLerinnen respektive Personen,
die Ökonometrie
mögen können
Hey, super. Okay. Gibt es unter Ihnen,
ja, das sind jetzt wahrscheinlich dann,
wenn ich das richtig interpretiere, Mehen, Soziologen,
Psychologen, Erziehungswissenschaftlerinnen, die einen Fokus auf Statistik einfavorite,
ein Favorite, ja, mein Faible für Statistik haben.
Okay, gibt es Soziologen ohne Statistik? Hey,
Mann, Mann, Mann, okay, alles klar.
Worum geht es bei diesem Vortragesgeht um Wirkungen,
Wirkungen im Fokus
Die Aufmerksamkeit richtet sich aktuell in allen Politikfällnern.
Also nicht nur der Entwicklungszusammenarbeit, sondern in allen Politikfällnlern,
Umwelt, Wirtschaftspolitik, soziale Dienstleistungen, immer mehr auf Wirkungen.
Und die Aufgabe von Evaluationen ist eben, diese Wirkungen aufzuzeigen,
in dem zuverlässige Ergebnisse über die Wirksamkeit von Maßnahmen zur Verfügung gestellt werden.
Das Ziel ist, und das ist ein,
vielleicht haben sie es auch schon, Hier und da gehört oder gelesen,
das ist so das Schlagwort, Evidenzbasierte Handlungsoptionen sollen durch diese Evolution aufgezeigt werden,
um eben künftiger Politik gestalten zu können, und zwar nicht irgendwie gestalten zu können,
sondern eben Evidenzbasiert, das Modewort schlichthin. Wirkungsevolutionen haben dadurch Hochkonjunktur,
und insbesondere in der Entwicklungszusammenarbeit, Das ist der Politikbereich der Entwicklungszusammenarbeit,
war das der Bereich, das Politikfeld,
in dem das Thema Wirkungen im Kontext von Evolution begonnen hat und zwar schon vor vielen Jahren und ist heute schon akzeptiert,
hat eine hohe Relevanz, die zentrale Frage,
mit der sich Wirkungsevolution, insbesondere in der EZ,
beschäftigen,
ist eben mit welchen methodologischen und konzeptionellen Ansätzen Wirkungen eines Projektes wirklich eindeutig nachgewiesen werden können.
Ganz kurz zum Hintergrund der Wirkungsfrage. Sie sehen schon am
An den Jahreszahlen, bereits mit dem Millennium Development Goals,
aber auch mit der Parace Degreation an Aid Effectivness,
an dem Begriff, kann man es sich ja schon fast heranholen.
Wurde die Bedeutung von Wirkungsevolutionen immer, immer sichtbarer.
Aber man hat parallel auch die sogenannte Evaluation Gap gesehen.
Und dann hat das damals Evaluation Gap genannt.
Das heißt, das fehlende Wissen über die Wirksamkeit von Maßnahmen
Ganz kurz, wer von Ihnen war, letzter,
die letzte Session hier? Ah, doch, schön.
Man kann nicht ein bisschen Bezug nehmen. Sie erinnern sich vielleicht,
dass auf die erste Klickerfrage beim letzten Vortrag ist die RZ erfolgreich.
44 Prozent von Ihnen, von den Teilnehmenden, mit Nein gestimmt haben.
Ist jetzt ähnlich der Eveluation Gap, zentraler Punkt war damals
das sogenannte Mikromakroparadoxon. Das heißt, auf der Mikroebene,
der Kollege Wolfgang Meyer aus der letzten Sitzung,
hat das ja auch aufgezeigt,
diese Hochglanzjahresberichte von GZ und KfW und hast du nicht gesehen,
die immer unglaublich erfolgreich sind
Auf der einen Seite und auf der anderen Seite haben,
also Mikro-Ebene, auf der Mikro-Ebene, auf der Projektebene,
hey, alle Projekte sind erfolgreich.
Aber auf der Makro-Ebene haben die Ökonomen eben oder die Wirtschaftswissenschaftler
auf Landesebene überhaupt keine Veränderungen gesehen.
Das heißt, die Projekte waren erfolgreich, angeblich,
aber dem Land geht es einzelnen Ländern, geht es schlechter denn je.
Nennt man Mikro-Makro-Paradox, und dann hat man überlegt,
woran mag es denn liegen?
Lügen die Evaluationen auf der Mikro-Ebene.
Das war die Überlegung
Man hat die Ursache,
dann mal noch beiseite geschoben und hat erst mal nur festgestellt,
wir wissen vielleicht doch nicht so wirklich viel auf Projektebene.
Also nach wie vor gibt es die Evaluation Gap,
die wurde man sich Anfang der 2000er Jahre bewusst,
eben diese Frage, what works under what conditions oder präzise,
what difference did this one program make?
Das Center for Global Development,
ein Think Tank in der Entwicklungszusammenarbeit mit Sitz in Washington DC,
hat dann 2004 die Evaluation Gap Working Group gegründet
Und die hat 2006 ihren Bericht vorgelegt, der prägnanterweise heißt,
when we we ever learn. Improving life through impact evaluation.
Die zentralen Erkenntnisse dieses Berichtes eben zeigen oder lassen sich reduzieren auf zwei zentrale Punkte,
nämlich es gibt eine quantitative und eine qualitative Lücke Gap.
Ein Punkt war, dass Evolution meist auf Output,
Outcomes fokussieren oder auf dieser Ebene hängen bleiben,
aber dass es zu wenige, also die quantitative Lücke,
zu wenige Evolutionen gibt mit einem Fokus auf Impulse Impact oder Wirkungen,
die qualitative Lücke, die in dem Bericht aufgezeigt wird,
ist, dass Evaluationen, nennen sie sich denn mal,
auf Impacts, auf Wirkungen beziehen, methodisch,
man könnte hier präziser formulieren, methodologisch nicht angemessen sind.
Das heißt, mit denen meist methodisch oder mit den Mais
zugrunde liegenden Methoden können Wirkungen der Maßnahmen nicht wirklich nicht
eindeutig zugeschrieben werden
Vielleicht, weil du es eben erwähnt hast,
ganz kurz an der Stelle noch, ich gehe nur mal einen Schritt zurück.
Kann ich das gerade aufgreifen, weil ein Ergebnis,
eine Empfehlung der Evaluation Gap Working Group war Collective Action.
Und es gab Collective Action in der Form,
das internationale Organisation gegründet wurden, eben einmal Noney,
ein Netzwerk, ein Netzwerke, die schon existieren.
Ich bin da kein Mitglied, oder Einzelpersonen eben kein Mitglied sind.
Das ist eher ein Netzwerk, dann Netzwege, der Geberorganisationen.
Also du hattest sie genannt, OECD-Duck, Evaluation,
Network, Unec, United Nation, also die Vereinten Nationen.
Dann sind noch die Banken dabei. Wie heißen die? ECG,
Evaluation Corporation Group und dann als viertes sind noch Partner oder Personenorganisationen
auf den Partnerländern, auch über ein Netzwerk, IO-IO-CE.
Aber ich war kein Mitglied. Ich wurde im Auftrag des Deutschen des Bundesministeriums,
des BMZ, geschickt und habe an diesen Tagungen teilgenommen,
an diesen Netzwerktreffen, ohne diese Diskussion nach Deutschland zu holen.
Aber ich war kein Mitglied. Also,
Nony wurde damals gegründet und noch eine zweite Organisation Three IE.
Eine Niciative on Impact. International initiative on Impact evaluation,
also dreimal e-three IE. Beide Organisationen haben sich also
den verstatteten Umsetzen von Impact-Evolution qualitativ hochwertiger Impact-Evolution verschrieben.
Nony mehr auf der Geberorganisation theoretisch mit Erarbeitung von Papieren,
Three IE ganz klar mit Funnings.
Die haben einfach Funs gegeben, wer immer halt eine saubere Impact-Evolution durchführt, bekommt Funs.
Und Three AI, der Name dort ist Howard White,
schauen Sie sich die Papiere an am Göttlichen.
Okay, fangen wir aber mal an. Was ist denn
Impact? Was ist Impact? Mit Nony und Three AI
hat man dich besinnt auf die Alter, Alter,
weil bereits 2002 formulierte Definition von Impact vom Dack, vom OECD-Duck.
Demnach sind Impacts, positive and the negative.
Primary and Secondary.
Long term effects
Produced by a development intervention, directly or indirectly,
intended or unintended. Wie ich eben erfahren habe,
sind Sie ja, sind ein Großteil fast alle,
auch auf der letzten Veranstaltung gewesen.
Von daher haben Sie diese Wirkungskette schon mal gesehen,
nämlich bei Wolfgang Mayer. Kleine Exkursion zur Wirkungskette.
Das ist die Logik. Die finden Sie nicht nur in
Entwicklungszusammenarbeit, sondern die geht wieder Art von Projektmanagement
Input, Output, Outcome Impact. Sie sehen hier noch differenziert auf
der Out-Come-Ebene, das ist kurz und mittelfristiger Wirkungen gibt.
Und auf der Impact-Ebene, dass die Impact-Ebene die längerfristigen,
übergeordneten Wirkungen darstellen. Und üblicherweise aus dem Projektmanagement kommen,
sagt man, das ist die Wirkungsebene.
Also Outcome and Impact ist die Wirkungsebene. In der Entwicklungszusammenarbeit,
sofern sie ein bisschen Einblick bekommen haben, schon bisher,
ist Wording immer ganz wichtig,
Und dann gibt es immer eine Sau,
die durchs Dorf getrieben wird und dann kommt die nächste Sau.
Und einer dieser Schweine, die durchs Dorf getrieben wurden,
waren eben der Begriff Wirkungskette.
Das ist ein böses Wort. Also man darf Wirkungskette
nicht mehr sagen, Wolfgang Mayer hat das ja aufgeführt.
Die Welt ist doch viel komplexer. Es ist doch alles viel komplexer,
das ist nicht linear, ein Projekt ist nicht linear.
Nein, ist es nicht. Aber wenn wir irgendwie Projekte nach vorne bringen wollen,
wenn wir sie sauber planen wollen und beevaluieren wollen,
so müssen wir irgendwie ein Modell finden, um die Logik abzubilden.
Und natürlich ist am Anfang ein Input in Form von monetären Aspekten,
Geld und Personal. Und natürlich soll damit etwas produziert werden.
Ich fange gleich mal an mit Beispielen. Fortbildungsprogramme. Und natürlich,
wenn man diese Fortbildungsprogramme von Lehrerinnen und Lehrern in Uganda umgesetzt,
angewandt werden, dann ist das immer noch nicht das Ziel,
die Wirkung meiner Maßnahme, sondern die definiere ich erst,
wenn auf der Ebene der Zielgruppe,
bei den Kindern irgendetwas ankommt,
das ist ein Modell
Unglücklicher Begriff, dass man es Wirkungskette genannt hat. Nennen wir uns,
nennen wir es alternativ, also hebt es jetzt Gefüge.
Wirkungsgefüge. Ich nenne es einfach Wirkungsmodell. Natürlich ist
die Welt komplexer. Aber um etwas zu analysieren,
aber auch in der Projektplanung, muss ich es reduzieren,
um es modellieren zu können.
Okay, natürlich gibt es eben noch Kontextfaktoren, die immer berücksichtigt werden müssen.
Ob es sie jetzt hier zuschreibe und damit das Ganze schon komplexer macht.
Jetzt sind wir schon eher auf der Ebene eines Gefüges.
Diese Kontextfaktoren können intern und extern sein.
Interner Faktoren oder Externe Faktoren
Okay. Einmal zur Wirkungskette, zur Wirkungslogik, zum Wirkungsmodell
. Zurück zu, was ist Impact?
Klappt? Wieso sagt man nicht einfach aus, Polti?
Oh Gott, in der Entwicklungszusammenarbeit, das ist ausgebrütet,
das ist doch negativ. Haben Sie sofort negative Konnotationen?
Sie würden gesteinigt. Entwicklungszusammenarbeit Wording, Obacht. Okay.
Deswegen nenne ich es Modell. Es wird,
mittlerweile wird das Wirkungsgefüge genannt
Also Gefüge. Und das wird auch mit Wölkchen jetzt gemalt.
Schauen Sie sich bei der GEZ die Papiere an für Gutachterinnen und Gutachter.
Da müssen Sie es jetzt in einem Wölkchen machen.
Sie merken, man leichten. Okay. Gut,
aber kommen wir zurück zu Impact. Also,
wir haben diese alte OEC-DDAC-Definition von Impact und demnach heißt es aber jetzt,
wir nehmen diese alte Definition, aber legen den Fokus auf Impact,
weil das Ergebnis der Evolution Gap Working Group war ja zu wenige Evolution mit Fokus auf Impact.
Also hat man gesagt, wir legen jetzt
den Fokus auf Impact
Dass das mit dem Fokus auf Impact,
also wir haben natürlich hier auch ein Deutsch englisches Übersetzungsproblem,
dass das dann wirklich da hinten nur die übergeordnete Ebene sein soll,
hat man dann auch gemerkt, dass das schwierig ist.
Man hat dann so ein bisschen die Outcome-Ebene wieder reingenommen,
wenn wir real die Impact-Eveluations, die guten tollen Leuten uns heute anschauen,
retrospektiv, was seit dem Geschehen ist, werden wir sehen.
Der Fokus ist auf Outcome. Also real werden Impact-Evaluationen auf dieser Ebene angesiedelt. Okay,
aber das Entscheidende, der zweite Fokus, der damals gesetzt wurde,
war, dass man wirklich bei der Definition,
dass Produce by ernst genommen hat, Produced by.
Und da, das war das entscheidende qualitative Moment,
dass gesagt wurde, der echte Impact-Evolution hat eine eindeutige kausale Zuschreibung,
eine pausale Attribution, dass die Ursache,
das Projekt wirklich die aufgezeigte Wirkung bewirkt hat, verursacht hat.
Und damit eben das sogenannte kontrafaktische berücksichtigt,
das kontrafaktische wieder so ein toller Begriff, bedeutet einfach,
was wäre gelesen,
wenn das Projekt,
wenn es
das Projekt nicht gegeben hätte
Man hat das Kind dann, um sich abzugrenzen, weil es gab schon Impact-Evolutionen.
Nur war nicht drin, was draufstand. Hat man sich
dann abgegrenzt und das Wording, ich hatte es ja gesagt,
hat man das dann Regulus Impact, Evaluations genannt.
Jetzt ähnlich wie ihren Vorschlag, Rederos. Wie konnten wir
so blöd sein? Also der Begriff, der hat,
keine Ahnung, 95 Prozent der Gutachterinnen und Gutachter und Mitarbeiterinnen
und Mitarbeiter in der EZ abgeschreckt.
Regeros, das geht nicht. Dann haben wir versucht,
dass Howard White ganz vorne für ihr I,
man hat es dann
Quality Impact Evaluation genannt
Immer wieder ein anderes Wording. Heute sind es einfach Impact Evaluation und
es ist wie früher, es ist mal was drin, was draufsteht.
Manchmal aber auch nicht. Aber dieses Add-on hat man gelassen.
So, ein kurzer Überblick. Was sind Wirkungen? Wir
gehen weg von dem Impact-Begriff, gehen allgemein zu Wirkungen.
Meist verstehen wir das darunter. Veränderungen, die nach Beendigung
einer Maßnahme aufzufinden sind. Und dann vergessen wir,
dass das, was wir auffinden, sowohl auf die Maßnahme zurückzuführen,
die ist aber auch auf andere Einflüsse
Meistens passt eines der beiden aufgeführten Dinge
entweder der ausformulierte Satz oder aber die Visualisierung unten rechts.
Klasse und der ist eben schwach. Hier, Klassiker,
wir kennen es vorher nachher, wir vermessen die Veränderung und das ist die Wirkung.
An der Stelle vielleicht doch schon ein Beispiel.
Wir wollen Ertragssteigerung bei Kleinbauern in Äthiopien erreichen.
Ernährungssicherung, großes Thema. Wir geben denen neues Saatgut,
verbessertes Saatgut
Nach der Ernte in diesen, also nachdem das neue Sarg
gut ausgebracht ist und die Ernte eingetragen wurde,
schauen wir, ob der Ertrag sich gesteigert hat.
Hey, 30 Prozent Ertragssteigerung. Super sadgut. Genau.
Vielleicht hat es endlich mal geregnet. Also von daher,
das ist genau die Kritik. Also der Klassiker funktioniert nicht
. Wir müssen noch weitere Wirkungen berücksichtigen
Nämlich die Nettowirkungen. Und die Nettowirkung, das ist der
isolierter Anteil. An insgesamt auftretenden Veränderungen, die allein,
allein auf die durchgeführte Maßnahme zurückzuführen sind. Das heißt,
dieser isolierte Anteil wäre nicht beobachtbar gewesen, denn die Maßnahme nicht durchgeführt worden wäre.
Und sie sehen hier, der Klassiker mit Saatgut ohne Saatgut,
weil es hat vielleicht wirklich geregnet, deswegen hat sich eine Ertragssteigerung gebracht.
Das heißt, nur die Differenz, das funktioniert nicht,
nur die Differenz ist die reine Wirkung, die man der Maßnahme zuschreiben kann.
Das, und das nennt man dann eben den kausalen Effekt,
Produced by oder Projektwirkungen. Das heißt, man muss,
wenn man von Wirkungen redet, immer realisieren,
dass wir oder dass uns bei der Evaluation Nettowirkungen interessieren und keinesfalls Bruttowirkungen,
aber auch der Begriff Wirkungen an sich muss man realisieren,
dass der implizit auch immer Nettowirkung bedeutet,
wenn wir von Projektwirkungen reden,
dann reden wir von Nettowirkungen
Aber vielleicht ist es Ihnen aufgefallen, wenn Sie die Evolutionsfragen in der Entwicklungszusammenarbeit kennen,
dann wissen Sie, dass er immer noch, immer noch Fragen zur Zielerreichung steht.
Naja, mit dem, was ich Ihnen jetzt erzählt habe,
dürfte relativ klar sein, das Zielerreichung ungleich Nettowirkungen sind.
Also in dem Saatgut-Projekt, die haben bestimmt ihre Ziele erreicht,
hatten aber keine Wirkung erzeugt, weil es eben nicht das Saatgut war.
Also diese Frage nach der Zielerreichung ist immer etwas kritisch.
An der Stelle einmal machen sie die Augen zu,
wenn es ihnen jetzt schon leicht schwindelig wird,
falls unter ihnen Nometriker, Ökonometrikerinnen sind oder Menschen,
die einfach mit vorne besser zurechtkommen, habe ich sie einmal technisch aufgeschrieben.
Die Nettowirkung oder ein kausaler Effekt ist allen vom Auftreten eines kausal wirksamen Faktors tät,
das ist die Maßnahme, das Projekt des Programms,
abhängiger kausaler Effekt Eltern,
das ist die Wirkung und die wiederum ist die Differenz zwischen dem Ereignis Y I1,
das war Auftreten von T gleich 1,
realisiert wird und dem alternativen Ereignis Y I0,
das ohne der Maßnahme täglich null eintreten würde.
Sie sehen es hier, die Folien sind zum Downloaden,
kann man sich auch in Ruhe anschauen,
aber sehen auch hier wieder die Visualisierung,
das ist die gleiche Grafik von vorne.
Da ist nichts anders. Ja, also hier ist die Veränderung Getreide.
Ja, hier keine Ahnung. Drei haben wir,
ich kenne mich null aus. Drei, drei, drei
Rieseneinheiten pro Hektar Getreide. Jetzt funktioniert es wieder nicht.
Drei, hier. Im Vorjahr neues Saatgut als Tragsteigerung,
Altes Saatgut, aber mit Regen hat sich auch verbessert.
Und natürlich Das war vorher schon angezeichnet und entsprechend finden wir
hier, dass das sind dann die Wirkungen.
Okay, die Nettbewegung ist also nur die Differenz.
Was ist die reine Wirkung, die nur auf das Projekt zurückzuführen ist?
Jetzt ist natürlich das Problem, dass sich Wirkungen nicht direkt beobachten kann.
Also das Ereignis Y für die Teilnahme, die Eins,
ist umgekehrt für Teilnehmerinnen kann ich umgekehrt oder gleichzeitig die Nicht-Teilnahme beobachten.
Denn ich kann entweder Teilnehmerin sein oder nicht, Teilnehmerin, aber niemals beides.
Das heißt, ich kann Das Kontrafaktische bei mir als Teilnehmerin
nicht messen. Daher werden Wirkungen anhand durchschnittlicher Werte empirisch erfasst,
wenn sie es kennen. Das heißt, geschätzt, geschätzt,
mit den Durchschnittswerten nicht mehr auf der individuellen Ebene, sondern auf der Gesamtebene.
Daher, und das ist vielleicht die Quintessenz,
die für sie spannend sein könnte, wenn sie mit Ökonometrikern,
Ökonomikprickerinnen sprechen und sie reden von Wirkungen, dann sagen die,
ja, ja, 1, Minus Y 0, ne?
Und das ist dann immer ganz nett, wenn man dann
die Antwort geben kann, ja, Wirkungen halt, ne?
Also lassen Sie sich von solchen spannenden, Oliver,
kannst du mir ganz kurz, da ist eine neue Batterie drin.
Also, lassen Sie sich davon nur das Komprassminute Batterie gehen.
Lassen Sie sich davon nicht irritieren, bei Ökonometrikern sind die Wirkungen einfach,
Y, 1, Minus Y, 0.
Wie messe ich denn diese Wirkungen, wie messe ich denn das kontrafaktische?
Diese Situation, da, jetzt kommt der zentrale Punkt,
gehen wir über das Untersuchungsdesign, das Evaluationsdesign, ein Untersuchungsdesign,
Erklärt bestimmt einfach nur, die zentralen Fragen, wer,
wann, wie oft befragt wird.
Sie kennen das wahrscheinlich. Auf der Ebene ist das sogenannte Vorexperimentelle Untersuchungsdesign.
Sie kennen das, also ZG ist die Zielgruppe in dem Fall.
Wir haben die Ebene. Es ist nicht einfach,
die Batterie daraus zu kriegen
Vielleicht doch die Frau mit Fingernägel. Okay, danke.
Jetzt. Ja, perfekt. Hier. Zielgruppe. Und die Idee ist einfach,
ist hier aufgezeigt, das ist vor einer Maßnahme.
Das X bedeutet Maßnahme. Und hinten bedeutet Nachhermessung. Also
wenn man gar nichts macht, dann wäre es die untere Zeile.
Also wir führen ein Projekt durch und am Ende des Projektes,
ach verdammt, wir haben ja ganz vergessen,
wir müssen ja auch noch evaluieren.
Der Geldgeber will ja noch wissen, was wir bewirkt haben.
Dann gehen wir mal hin und fragen,
die bauen, wie groß die Ernte waren
Kann ich da irgendeine Wirkung messen? Nein. Okay,
dann gibt es gute Ideen, gut gewollte Ideen.
Man macht eine Vorhermessung. Aber wir haben es eben gesehen
. Vorher nachher Messung. Die Idee mit dem Saat,
gut, es ist nicht eindeutig, die Veränderung kann ich
nicht eindeutig auf mein Saatgutprojekt der Deutschen Entwicklungszusammenarbeit zurückführen.
Denn ich berücksichtige nicht die Situation, was wäre ohne gewesen.
Ich berücksichtige nicht die kontrafaktische Situation
Und hier kommt der Entscheidende, entscheidende Satz dieser Veranstaltung mit vorexperimentellen,
mit nicht experimentellen Designs, können Wirkungen nicht gemessen werden.
Vorher, nachher Messung, das ist nett,
aber ich kann nichts damit beweisen. Ich brauche experimentelle Designs.
Sie sehen hier experimentelle Designs, was ist der große Unterschied?
Wir haben hier eine zweite Gruppe, die Kontrollgruppe.
Und diese Kontrollgruppe drückt das kontrafaktische aus.
Und jetzt wird es ganz einfach. Ich denke,
die meisten von ihnen nehmen vielleicht nur ganz, ganz,
ganz selten und einen großen Ausnahmenfällen,
aber dennoch,
sie nehmen Medikamente
Und warum? Also sie wissen, dass sie getestet werden.
Und sie wissen noch, wie sie getestet werden.
Da gibt es genügend Kritik, weil die jetzt mauscheln und die Pharmaindustrie,
die Mauschen. Aber dennoch ist ihr Vertrauen so groß,
dass sie hin und wieder vielleicht dann doch mal ein Medikament,
eine Tablette nehmen.
Weil sie wissen, sie kennen diese experimentelle Design, sie kennen sie.
Eine Gruppe kommt in einen Raum und wird per Zufall,
wer weiß, den Fachbegriff per Zufall.
Ja, ich habe es doch gerade gehört, laut.
Ja, danke. Genau. Randomisiert in zwei Gruppen geteilt
. Es soll gemessen werden, ein Blutdruck
Senkendes Mittel. Per Zufall in zwei Gruppen,
dann kommt die Vorhermessung, ich messe den Blutdruck vorher,
dann müssen alle im Raum bleiben,
dürfen die Handys nicht nutzen, damit sie,
dürfen nicht Fernsehen schauen, damit sie sich aufregen,
was sie im Fernsehen sehen oder auf dem Handy-Tweet von Trump lesen.
Abgeschottet stehen sie da und dann müssen sie, bekommen dann,
sie bekommen natürlich ein Tablettchen, das neue Medikament oder ein Placebo,
hängen fünf Stunden in einem Raum ab.
Später wird der Blutdruck wieder gemessen. Sie kennen dieses System
. Das Entscheidende ist, die zweite Gruppe,
die das kontrafaktisch Was wäre ohne gewesen?
Was wäre ohne Medikament gewesen? Nein,
wenn ich fünf Stunden in einem Raum bin,
kann es sein, dass bei vielen Menschen der Blutdruck runtergeht.
Weil sie einfach sich nicht beschäftigen. Aber geht er noch weiter
runter durch das Medikament? Das ist also die Logik.
Wir haben eine Zielgruppe und eine Kontrollgruppe, eine Maßnahme,
keine Maßnahme, eine Vorhermessung bei bereiten Entscheidungsmoment.
Ich habe eben eine zweite Gruppe für das Kontrafaktische.
Jetzt ist es mit der Laborsituation nicht immer so einfach,
dieses System nennt man auch
Es steht hier, randomized control, Trial RCT,
RCT sollten sie wissen, was es heißt, RCT.
Man nennt das auch Königsweg. Oder Goalstandard. Also ein
ganz wichtiger Punkt. Also das ist das hohe Ideal.
Aber die Welt ist eben eigentlich kein Labor.
Deswegen gibt es auch die sogenannten quasi experimentellen Designs.
Was ist denn hier der Unterschied? Vergleichen wir Nummer die zwei,
da ist nicht viel, außer dass hier VGM hier PG steht.
Das ist der Vorteil in der deutschen Sprache.
Im Englischen wird es leider im Wording nicht sauber unterschieden.
Aber im Deutschen können wir differenzieren
Kontrollgruppe ist hart randomisiert, was wir eben sagten,
per Zufall in zwei Gruppen geteilt. Damit kann ich garantieren,
dass die Verteilung im Alter, im Geschlecht,
in Einkommen, in Vorkrankheiten, in Blutdruckwerten identisch ist.
Ich werfe die Münze hundertmal nach oben. Und dann
werde ich die gleiche Anzahl an Wappen und Zahl haben.
Das ist die Logik. Und das ist die Idee
des Randomisierens. Theoretisch habt ihr es gemerkt,
brauche ich keine Vorhermessung, weil die ist ja identisch.
Die Vorhermessung bei einer randomisierten Kontrollgruppe
müsste identisch sein
Weil ich habe sie ja ananomisiert. Sie sind ja gleich.
Das funktioniert aber eben nicht. Und die Idee ist,
dass ich in quasi Experimentellen eben dieses Element der Experimentelling Designs,
diese Randomisierung nicht umsetzen kann.
Aber dennoch die ganze Logik an der Experimentallogik sich orientiert.
Das heißt, ich habe keine Randomisierte Kontrollgruppe. Ich bastle mir
eine. Wie man sich eben diese Vergleichsgruppe basteln kann,
dass sie trotzdem noch die Idee hat,
meiner Zielgruppe möglichst ähnlich zu sein
Bringe ich nachher Beispiele. Aber das ist die Idee.
Und im Deutschen kann man hier zwischen Vergleichsgruppe und Kontrollgruppe im Learning differenzieren.
Kontrollgruppe anomisiert, Vergleichsgruppe gebastelt. Qualität kann variieren.
Aber ihr seht jetzt hier noch verschiedene Varianten der Vergleichsgruppe.
Und ihr seht hier unten auf der untersten Ebene keine Vorhermessung.
Keine Vorhermessung. Nur die Nachhermessen bei meinem Bauern mit
dem Saatgut und bei Bauern ohne dieses Saatgut. Huch,
ich bin schon, ich bin auf der quasi experimentellen Ebene.
Das heißt, mit dieser Variante Und da habe ich
das kontrafaktische berücksichtigt und kann also Wirkungen nachweisen.
Hier seht ihr die Variante, bei der Zielgruppe habe ich zumindest eine Vorhermessung.
Und hier ist es identisch zum Randomized Control Trial,
wobei nochmal, diese Messung müsste ich gar nicht haben.
Hier kommt nochmal die Visualisierung. Das ist die Variante,
der vorexperimentellen, das nicht experimentellen Designs. Reine vorher Nachermessung,
wie sie leider heute immer noch in der Entwicklungszusammenarbeit,
insbesondere von NGOs, umgesetzt wird.
Jetzt habe ich hier die Variante der untersten Ebene,
dass quasi experimentellen Designs nur Nachhermessung
Die Nachermessung. Hier habe ich jetzt bestrichelt, aufgeführt,
von wo die vielleicht kommen könnten.
Aber ich habe nur nachher gemessen. Und wenn ich mir
jetzt anschaue, ich bin hier in meiner Wirkungsmessung besser.
Und jetzt kommt die nächste Folio. Das wäre jetzt die
Variante mit einem Quasi-Experimentalen Design, aber auf der sauberen Ebene.
Woran erkennt man das? Und es blendet hier.
Seht ihr den Punkt hier hier? Dadurch, dass hier
zwei Punkte sind und dass die Vorhermessung nicht identisch ist
Daran erkennt man, dass es ein quasi experimentelles Design ist.
Weil wäre es ein Sendemize-Control-Trial, dann müssten diese zwei Punkte ja identisch sein.
Okay. Okay. Verschlimm besser. Nein, ich glaube,
es passt schon. Okay, und daran erkennt man,
dass also ich bei Act-quase-Experimentalen Designs die Wirkungen wirklich präziser abschätzen kann.
Natürlich werden sie geringer. Aber das kann ja nicht der Punkt sein.
Das heißt, mit quasi experimentellen Designs bin ich wesentlich sauberer
und kann die Wirkungen, naja, nicht überschätzt darstellen.
Zentraler Punkt, bis hierhin ist, ich brauche immer eine Vergleichsgruppe.
Mindestens eine Vergleichsgruppe, nicht Kontrollgruppe, Vergleichsgruppen.
Hier nochmal der Übersicht, unten böse, rot,
geht nicht, ab hier experimentelles Design ist positiv.
Umsetzungsmöglichkeiten kommen wir mal zum spannenden Teil.
Es war zu Beginn dieser Diskussion eben 2006, Sieben,
als ich dieses Thema in der Entwicklungszusammenarbeit nach Deutschland bringen sollte,
war die Ablehnung unglaublich groß.
Also unglaublich groß, das kann man nicht machen.
Wir arbeiten doch mit Menschen, das kann man nicht messen.
Und wenn das nicht mehr gezogen hat,
dann wurde gesagt, das ist zu teuer.
Und wenn das nicht mehr ging, dann wurde die,
die alles, die alles totschlag.
Das alles totschlag, Argument gebracht.
Das ist ethisch nicht angemessen. Das kann man nicht machen
Allerdings wurde, oder wird, wenn man dagegen argumentieren möchte,
immer nur der Ghost Standard genommen, nur die echten ACTs.
Aber nicht die Quasi-experimentellen Designs. Und ich möchte jetzt Beispiele auffügen,
anführen, was es alternativ gibt. Und als erstes möchte
ich Ihnen ein paar erzählen, die doch ACTs nutzen.
Wirklich beeindruckende Beispiele zu experimentellen Designs. Ich glaube,
Wolfgang Meyer hat ihn auf der letzten Sitzung schon am Esther
beflohen und aber steht Managie genannt, vom MIT.
Die haben J. Paul gegründet.
Achtung,
Lange, lange, lange vor. Evaluation Gap Working Group auf die Idee kam,
dass es ein Gap gibt und eine Gruppe beauftragt hat, das zu analysieren.
Da hat Esther, du Floh am MIT,
schon längst der Theepole gegründet und Impact Devaluation durchgeführt.
Und Esther, du flohst, also es gibt einige Videos,
YouTube-Videos, beeindruckende Frau. Und sie ist Ärztin, ursprünglich,
und hat dann aber, also irgendwie, ich glaube,
sie hat nur ein Semester, genommen, mit euch studiert,
obwohl sie heute zu den führenden VWLern gehört.
Sie war mal im Gespräch zum Nobelpreis
Ist wirklich beeindruckend, die reicht nämlich mit ihrem Kind,
mit ihrem Kleinkind, in Indien rum und führt Experimente durch.
Und wenn sie dann in den Interviews,
wenn sie sich das anschauen, wenn sie gefragt wird,
ob das nicht ethisch bedenkbar ist, dann gibt sie wirklich geniale Argumente.
Ich erzähle Ihnen mal ein paar Sachen, die sie rausgefunden hat.
Also man, Klassiker in der Entwicklungszusammenarbeit ist,
dass wir hohe Schulabbrecherquoten haben,
also viele Kinder gehen einfach nicht zur Schule oder nicht Abbrecher,
Schulabwesenheit, hohe Schulabwesenheit.
Naja, gibt es dann verschiedene Varianten an Maßnahmen,
die man implementiert hat?
Vielleicht kennen sie einige
Man hat entdeckt, das ist der Lehrer,
der nicht da ist, dann hat der Lehrer ein Fahrrad bekommen,
damit der an die Schule kommen kann.
Dann hat man entdeckt, der Lehrer kann schon an
die Schule kommen, aber der braucht das Geld nicht,
dann hat man die tageweise Bezahlung bei Lehrer eingeführt.
Also es ist wirklich, also in vielen Entwicklungsländern,
Partnerländern, dann hat man das irgendwie nicht realisiert,
wie viele Tage er denn wirklich an der Schule war,
so musste er jeden Tag ein Polaroid-Foto vor der Schule machen.
Das ist echt, das stimmt, so ist es.
Und dann gibt es wiederum die Projekte auf Kinderseite, Klassiker ist Finanzierung von Schuluniformen
Und ein weiterer Klassiker ist Mahlzeit, eine Mahlzeit.
Man gibt den Kindern eine Mahlzeit in der Schule,
hoher Anreiz, dass die Kinder in die Schule kommen.
Dennoch ist die Schulabwesenheit von Kindern groß. Und
dann hat man eine... Ist da, du Flo,
mit Projektmitarbeitern und kennen dann vor Ort diskutiert,
was ist denn noch sonst, sonst noch so sein könnte?
Und dann kamen die auf die Idee, dass sie einen anderen Anreiz bringen.
Weil in Afrika in vielen Partnerländern haben Menschen Würmer.
Würmer führt zu Anami und Leistungsabfall. Ganz abgesehen davon,
dass es zu Krankheiten führt, und die Kinder aufgrund der Krankheit nicht zur Schule kommen.
Also hat man implementiert eine Entwurmungskur einmal im Jahr an einer Schule.
Und Esther, du Flo, hat experimentelles Design gemacht,
die hat per Zufall in der Region Schulen rausgesucht, per Zufall randomisiert.
Ihr, in der Schule, ihr Schüler,
ihr kriegt die Entwurmung, ihr kriegt sie nicht.
Und sie konnte damit nachweisen, wie groß dieser Effekt ist.
Er hat alles gesprengt
Also, Kriegen kriegt mein Kind einen Entburgenskurs,
dann weiß ich auch, dass mein Kind nicht nur keine Würmer hat,
sondern sich auch von anderen Schülern nicht ansteckt und auch die Familie nicht ansteckt.
Der Reiz, der Anreiz der Eltern,
die Kinder in die Schule zu schicken, war derart hoch,
das ist aller anderen Projekte gesprengt hat,
ist heute ein zentraler Aspekt, Entbummungskunden.
Jetzt die Frage, ist es unethisch für die Gruppe,
die keine Entbummungskur gekriegt hat? Also, man geht natürlich
dann in die Schule und zu den Eltern und zu den Kindern
nicht hin und sagt, edge, du kriegst keine Entbummungskur.
Also ich meine, Warum sollten wir? Aber auf der
anderen Seite untersuchen wir ganz häufig Menschen, nicht als Kontrollgruppe,
sondern um erstmal nur festzustellen, was sie haben.
Wenn nicht bei euch also den Test mache, ob ihr Bühmer habt,
dann ist das erstmal für euch, naja, nicht auffällig.
Also es werden oft Tests gemacht, ohne dass in einem anderen,
auf einer anderen Ebene Projekte umgesetzt werden.
Aber wenn man mit dieser Hilfe, mit Hilfe dieser Kontrollgruppe,
wir sind auf der Ebene der Kontrollgruppe, rausbekommt,
wie wirksam, wie wirksam diese Maßnahme ist.
Ja, hallo, dann bekommt ihr das morgen sowieso.
Das ist ja
die Idee
Esther, du Flo hat noch... Ah, es funktioniert hier keine Maus.
Okay, hat noch weitere, weitere Überlegungen oder weitere Experimente gemacht.
Eins war auch ganz spannend. Es war in einem Bundesstaat
in Indien. Da waren irgendwie nur zwei von 100 Kindern
grundimmunisiert. Das sind diese, ich kenne mich nicht,
also ich habe keine Kinder, diese fünf Impfungen,
Impfungen, Masern, die Dreh, whatever.
Okay, ich weiß, es sind fünf Grundimmunisierungen.
Und dann haben die Projekte angeschoben, wo freie Impfkampagnen an
sechs Tage die Woche rund um die Uhr aller,
im Umkreis von einer Meile laufen.
Also wirklich, also Absolut, ohne Hürden für die Bevölkerung.
Und trotzdem kamen die Leute mich, sie kamen einfach nicht.
Und wieder hat sie sich hingesetzt und hat überlegt,
woran kann das liegen? Und dann hat ein Projektmitarbeiter darauf
hingewiesen, dass Menschen in Indien durchaus arbeitgläubisch sind.
Kleine Kinder sind gefährdet, dass sie den bösen Blick bekommen.
Wer schon mal in Indien war, kennt es vielleicht,
dass die kleinen Babys immer diese dicken Karl-Stiftungen um die Augen haben.
Damit versucht man böse Blicke abzuwehren. Und es geht auch darum,
im ersten Jahr werden kleine Kinderbabys nicht unbedingt vor die Tür gebracht.
Also die sollen den bösen Blick nicht kriegen. Also hat
man überlegt, wie kann man denn die Leute überreden?
Und dann hat sie ein Experiment eingeführt
Aber ich glaube, 146 Störfe hat sie genommen und in
drei Gruppen eingeteilt. Das eine drauf blieb,
wie es ist, Impfkampagnen im Krankenhaus wie eh und je.
In einem Dorf hat sie sieben Tage, also Impfkampagnen,
sieben, sechs Tage in der Woche kostenfrei.
Und in der dritten Gruppe, also sie hat Vergleichsgruppen angestellt,
Multiple Comparison Groupen sein. Also sie hat nicht nur
eine Zielgruppe und eine Kontrollgruppe in der dritten Gruppe,
hat sie den Leuten bei jeder Impfung der Mutter noch einen Pfund Lesen gegeben.
Und nach der fünften Impfung noch zwei Teller.
Das war's
Was absurd erscheint, hat gewirkt in der Gruppe mit ein bisschen Linsen und zwei Tellern.
Der Anreiz war für die Bewohnerinnen so groß,
dass der Aberglaube dann da nicht mehr so stichhaltig war.
Die Wirkung war enorm. Und das ist Esther, Esther, du Flo. Auch der Klassiker,
was sie bestimmt schon gehört haben, Moskito-Netzer, geschenkt,
subventioniert, verkauft, dann gibt es, kennen sie,
alle schon mal gehört, es ist ein Mythos,
dass die dann, wenn sie geschenkt sind,
zu Brautschleier umfunktioniert werden, es stimmt alles nicht,
aber Esther, du Flo hat auch auf der Ebene immer geschaut,
darf es geschenkt sein?
Kann es subventioniert sein oder muss es richtig was kosten?
Vergleichsgruppen. Und in der Tat, eine Gruppe war immer Kontrollgruppe
und hat randomisiert in der Tat per Zufall. Sie merken,
einen abschließenden Satz an der Stelle, sie merken schon,
dass wir hier natürlich nicht auf der Ebene unbedingt der Evolution sind.
Esther, du Flo, evaluiert also nicht eine Maßnahme,
ein Projekt und will wissen, hat dieses Projekt gewirkt,
so wie es wollte? Sondern Esther, du Flo,
wie die wirklich auch zukünftige Projekte nach vorne bringen.
Sie setzt also an, bevor das Projekt kommt, sodass das Projekt,
also man könnte sagen, Es ist eine fundierte Planung.
Planungsvorbereitung für das Projekt, andere gehen hin und bauen Brunnen.
Klappt dann aber nicht. Also, Trial and Error in
der Entwicklungszusammenarbeit wird durch Estherdoflot durchaus durch die experimentellen Designs verhindert.
Apropos fundierte Planung. Ich habe erstmal sowas zum Beispiel nicht,
das ist armegläubige Leute gibt, dass die Leute auch Leute haben,
wie sowas alles so geht.
Okay, es gibt zwei Antworten. Haben Sie es verstanden
? Okay, die Frage war, apropos Planung,
warum weiß man das denn vorher nicht?
Warum weiß man nicht, dass es abergläubische Personen gibt
Zwei extreme Antworten, die jetzt durchaus auch subjektiv sind.
Okay, berücksichtigen Sie immer so, meine Wertung.
Ich habe ganz große Kritik an der Projektplanung.
Also es werden nämlich auch meine Steuergelder dabei bezahlt.
Das ist der Grund, warum ich Evelotorin geworden bin.
Und es ist erschreckend, wenn Sie manchmal sehen, wie Projekte geplant werden.
Wie kann man sich gegen eine Wirkungskette streuen?
Wie geht das? Hey, das kann doch nicht sein,
dass Millionen Millionen ausgegeben werden und das Projekt geplant wird,
weil drei Leute halt mal denken, das könnte so wirken.
Dazu bin ich Wissenschaftlerin. Also ich plane nichts,
weil jemand denkt, sondern ich plane,
wann man etwas weiß auf Basis von Fakten.
Und in der Tat, mit dieser Überlegung ist es erschreckend,
aber auf der anderen Seite müssen sie wissen, es ist natürlich Kontextfaktoren.
Das sind Kontextfaktoren, das mag jetzt in Indien so sein,
dass es in anderen Ländern ganz anders.
Also das war wirklich, und das ist diese Idee von Esther,
du Flo und Apagie Banagie. Die gehen vor Ort und
reden mit einem Menschen, das war jetzt ein Projekt,
auch ursprünglich von Indien und nicht von ausländischen Gebern.
Und die haben einfach zusammengesessen und haben überlegt, was könnte es sein?
Wobei es ist ja egal, ob es der Aberglaube ist.
Die Rebereifer schafft einen anderen Anreiz.
Und immer was für einen Anreiz
Dass es ganz nah ist, dass die Impfungen für Ungesinn hat nicht gelangen.
Schaffen wir einen anderen Anreiz. Aber die Rahmenbedienung,
die faktoren, muss man das zusammen ertragen,
bevor man eben die Maßgabe inzentrieren möchte.
Oder du gehst irgendwie unterstützt. Okay, anderes Beispiel,
was Esther, du Flo, auch gemacht hat.
Es gab Projekte, da ging es darum,
dass man eben weiß, wenn Felder gedüngt werden,
ist die Ertragssteuerung enorm.
Also Landwirtschaft ernten ist ja ein Riesen,
ein Riesenthema im Kontext von Ernährungssicherung.
Naja, dann hat man
den Bauern eben Dünger gegeben
Und der Dünger, die Ertragssteigerung mit dem Dünger,
und das ist die Logik, die natürlich schon auf Wiesn basiert,
so wird ein Projekt implementiert, okay?
Das ist also da. Und da sind auch die Fachleute
düngen mit dem adäquaten Dünger zur richtigen Zeit, am erhöht den Ertrag.
Hat auch funktioniert. Und die Leute, die Bauern hatten enormen,
enormen Geldzuwachs. Aber sie haben sich mit dem Wissen,
dass es funktioniert und dass sie Geld hätten,
der noch für das nächste Jahr keinen Dünger gekauft hat.
Alles Geld war weg. Das war bis dahin schon ausgegeben
. Hat jetzt nichts mit irgendwelchen, whatever, südostasiatischen,
afrikanischen Bauern zu tun, ist bei uns Sicherlich genauso.
Also das Weihnachtsgeld, wenn es das noch gibt,
das ist relativ schnell weg und nicht bis dann am Ende des nächsten Jahres die Stromnachzahlung kommt.
Und Esther, du Flo, hat dann einfach überlegt, Anreize zu schaffen.
Und hat das dann wieder mit Experimenten überprüft und ganz banal.
Die Bauern konnten direkt nach Ernte, nach der Ernte,
in dem Moment, wo sie das Geld hatten,
Gutscheine für Dünger, Anlieferung zu einem vorhergesagten Zeitpunkt kaufen.
Und siehe da, passt alle Bauern, haben eben
dieses Gutscheinsystem angenommen. Also es ging nicht darum,
denen noch mehr zu geben, zu schenken,
kostenfrei,
es hat einfach funktioniert
Das ist so Esther-Duflo. Und sie testet das eben an Experimenten
. Und das ist dieser Punkt, Multiple Comperson Design.
Sie führt Nuancen ein in den unterschiedlichen Gruppen. Also sie schaut dann,
wenn es dann was kostet, wie hoch die Kosten sein können.
Und das ist das Beeindruckende. Okay, kommen wir zu
dem zweiten Punkt im Kontext von Evaluationen. Natürlich kann ich
harte experimentelle Designs in der Entwicklungszusammenarbeit, im Kontext von Evaluation nicht umsetzen.
Ich kann ja, also ein Projekt ist ja Nachfrage orientiert.
Ich kann ja nicht Projektplan, ohne das Problem vorher zu definieren und das Ziel.
Und dann zu gucken, hey, wer will es haben?
Ihr könnt das alle haben wollen, aber ich teile euch
jetzt per Zufall in zwei Gruppen und dann sagen,
ihr kriegt es nicht, aber ihr kriegt es.
Entwicklungszusammenarbeit, die Projekte, wir haben zielorientiert und auch nachfrageorientiert geplant,
weil der Partner im Land ja häufig auch nachfragt.
Also das funktioniert nicht, diese vorab randomisierte Zuteilung.
Aber es gibt eben im Kontext der Evaluation in der Entwicklungszusammenarbeit,
aber auch in anderen Politikbereichen, mit sozialen Kontexten durchaus realistische Möglichkeiten,
wie ich quasi experimentelle Designs umsetzen kann.
Und die Schauen wir uns kurz an. Magic on up
server besites. Das hat jetzt nichts mit der Entwicklungszusammenarbeit,
sondern eher mit der Statistik zu tun.
Hochtrabendes Wort für nichts dahinter. Was heißt Magic on up service,
magic on observables, heißt, ich bastle mir eine Vergleichsgruppe und denk dabei ein bisschen.
Ich suche mir einfach eine Vergleichsgruppe. Ich überlege mir einfach,
wer könnte, welche Personengruppe könnte meiner Zielgruppe am ähnlichsten sein.
Natürlich betrachte ich dann meine Zielgruppe nach dem Observer des beobachtbaren
Eigenschaften, alter Geschlecht,
Und dann suche ich mir Personen, die dazu passen.
Und die nehme ich dann eben als Vergleichsgruppe.
Mache ich das erst nach dem Projekt? Also zum Ende
kann ich also nur zum Zeitpunkt die 1 oder T2 messen.
T2 hatte ich 0, 1 und 2 hatte ich.
Dann kann ich natürlich nur diesen Single Difference zwischen Zielgruppe und Vergleichsgruppe messen.
Komme ich aber auf diese Idee schon bei meiner Projektimplementation,
weil ich schon ein bisschen weiter denke.
Dann kann ich nicht nur bei meiner Zielgruppe,
sondern auch bei meiner überlegten Vergleichsgruppe,
schon vorher Messungen durchführen
Beispiel. Wir haben da ein Land oder eine Region,
die durch einen Fluss geteilt wird. Und auf der Seite,
für sie ist das der Osten, im Osten ist die Hauptstadt.
Okay. Und im Westen, das wird schwierig.
Hier ist keine Hauptstadt. Und daher war der Osten entwickelt,
der Westen unterentwickelt. Also wird eine Brücke gebaut. Damit
ich den Offs im Westteil der Stadt mit der Hauptstadt,
mit der Region der Hauptstadt verbinden kann.
Macht Sinn, oder? Dass die Zugang zu Märkten
haben, das ist die Idee
Jetzt könnte ich überlegen, wer ist denn meine Vergleichsgruppe?
Ich kann hier niemand randomisiert zuordnen. Also die leben da und
die Brücke verbindet sie. Da geht nichts anders, ja.
Da kann ich keinen randomisierten Vergleich, Kontrollgruppe mir basteln.
Was mache ich? Ja, also ich will natürlich schauen,
ob diese Brückenbau, ist ja ein klassisches KfW-Projekt,
ob das einen Einfluss hat auf die Entwicklung.
Der Dörfer auf dieser Seite des Flusses,
links vom Fluss, machen wir es mal so rum.
Auf der Seite. Naja, jetzt überlege ich,
wer könnte denn
meine Vergleichsgruppe sein
Ich könnte doch überlegen, inwieweit ich könnte mir anschauen,
inwieweit auf beiden Seiten Hauptstraßen sind, Dörfer an Hauptstraßen.
Und inwieweit auf beiden Seiten Dörfer entlegen sind.
Und dann würde ich mir diese Dörfer anschauen. Und ich
würde, glaube ich, auf beiden Seiten da versuchen.
Ich würde auf der entwickelten Seite mit der Hauptstadt,
würde ich abseits der Straßen Dörfer mir anschauen.
Und ich würde auf der neuen nun zu entwickeln,
weil durch Brücke verbundenen Seite würde ich mir an der Haupt- Straße, an Hauptstraßen.
Mir dörfersuchen. Und dann würde ich schauen,
ob die Dörfer zum Zeitpunkt T-Nullen identisch sind.
Da wäre, glaube ich, eine Feuermessung durchaus relevant.
Okay, aber ihr seht die Logik,
das ist schon ganz schön aus den Fingern gesaugt.
Also man muss auch auf Plausibilitäten schauen. Anderes Beispiel ist,
Schulprojekt in Ruanda. Okay, 2003 direkt nach dem Genozid.
Das gab es wirklich, heißt Peace Education Training in Active Pädagoggi,
Turinforce Peace Culture Ad School. Man wollte also über Schule aktive Pädagogik,
wollte man die Gesamtgesellschaft Wirkungskette, auf der Impact-Ebene Demokratie fördern.
Hat aber auf der Schulebene angefangen. Man hat zwei Experten gehabt,
die haben Multiplikatoren, Train of Train,
das ist ein aktiver Pädagogik geschult, also Demokratierechte,
was gibt es denn da noch, Demokratie, Kultur,
Konfliktlösungsmöglichkeiten, Frauenrechte, die wiederum haben Lehrer Weitergebildung.
Die Lehrer haben wir dann in ihrer Schule umgesetzt.
So, jetzt kommen die Evaluatoren dahin. Und dann kommen sie
in Schulen, da sitzen drei dieser Lehrer und lehren das.
Das ist die Frage schon mal erstmal,
was messe ich denn
Das klingt unglaublich komplett, das kann ich doch keine Wirkungen messen.
Super geniale Idee. Standardisierte Beobachtung. Naja, also ich
bin jetzt kein Expertin. Nee, ich bin noch nicht
mal Laien in aktive Pädagogik. Aber ich kann mir schon
so in etwa vorstellen, was darunter gemeint ist.
Das haben die also, die Evaluatorinnen und Evaluatoren vor Ort gemacht.
Die haben ganz banal erstmal in den Räumen geschaut,
wo der Lehrer oder die Lehrerin unterrichtet hat.
Frontalunterricht oder sind die Tische im Kreis gestellt?
Sind die Wände nackt, sind die leer,
hängen da bunte Bilderchen von den Kindern
Oder hängen da irgendwelche Aufklärungskampagnen? Demokratie, Frauenrechte,
Bildung für alle. Gibt es eine Schülervertretung? Gibt es
getrennte Toiletten? Frauenrechte. Mädchen verlassen die Schule in dem
Moment, wo sie ihre Periode bekommen.
Und dann können sie mit Jungs nicht mehr auf eine Toilette gehen.
Wissen Kulturen. Das haben die beobachtet. Und dann sind die
zu Schulen gegangen, wo eben keine fortgebildeten Lehrer waren.
Haben dort sich den Unterricht angeschaut und haben natürlich geschaut,
ob in diesen Schulen die Struktur der Schüler
ähnlich war
Wenn die fortgebildeten Schüler alle in der Stadt gelehrt haben,
dann sind die natürlich nicht aufs Land gegangen,
haben sich dort Schulen ohne Lehrer, ohne fortgebildete Lehrer angeschaut.
Also die haben geschaut, welche Schulen gibt es und haben dann geschaut,
ob die Schulen in etwa ähnlich sind, in größer,
in der Art und Weise, welche Personen,
welche Schülerinnen, was für ein Klientel, dort ist,
ist in Deutschland ganz genauso.
Man sucht einfach eine Kindertagesstätte, die passt zu mir.
Also das ist die Idee. Ich bastel, ich bastel
mir. Magic on obsourables. Maging. Ich nenne es
immer basteln oder gesunder Menschenverstand. Natürlich, hier ist aufgeführt,
Single Difference oder ich kann sogar Double Difference gucken.
Weißt du, man muss natürlich berücksichtigen, dann habe ich nicht mehr die Wahrheit.
Das ist dann nicht die eine Wahrheit, der Faktor 3,
um drei Einheiten gestiegen. Nein, ich habe aber,
also ich habe dann nicht mehr das kontrafaktische oder nein,
den, die Nettowirkung bewiesen, eindeutig und unumgänglich.
Ich sage nein, meine Vergleichsgruppe mag Schwächen haben,
ich fühle den Bericht auf, aber ich habe ein Argument,
mehr und Plausibilitäten abzuleiten.
Also ich sage nicht, dass wir wirklich jetzt messen,
wir geben ein Argument ein,
Plausibilitätsargument hinzu
Regression this continuity and attor, ne? Hochtrabende Begriffe. Dieses Regression discontinuity,
okay, für die Statistiker, ach ne,
ihr habt ja nur, ihr seid ja nur Soziologin.
Aber vielleicht habt ihr Regression, steckt da drin.
Der Begriff Regression. Das ist ein geniales Verfahren, allerdings nur selten anwendbar,
aber wenn ihr in einem Projekt seid und es passen würde,
es wird euch anfangen, ihr werdet es nicht mehr vergessen.
Dieses Modell ist ansetzbar, wenn ihr,
wenn es Zugangsvoraussetzungen gibt für die Teilnahme an einer Maßnahme und die gibt es,
die gibt es durchaus, bis hin zu BAföG, ja, Einkommen.
Also ein Klassiker ist, Schwellenwert,
irgendwie der Zugang zu einer Maßnahme, dass man teilnehmen kann,
ist gebunden an Einkommen, Billow, Papattiline oder an Alter,
Young Leadership Program for whatever, Under 20.
Also man muss unter 20 sein, an eine Testergebnis,
Sprachtest, das ist jetzt eher Deutsch oder eine Leistung.
Und dann kann ich ja, dann müssen ja Menschen pleiten,
sich bewerben. Okay. Und dann wird es sichtbar,
ob sie diesen Schwellenwert, je nachdem,
unter- oder überschreiten, also weniger Einkommen haben.
Also ob sie wirklich below poverty line sind. Und dann gibt es Leute,
verdammt, die haben gerade ein US-Dollar 90 PPP.
Es sind also, ja, gerade so, über die Armutskreise drüber.
Dann gibt es Leute, die sind ganz weit weg.
Und die Idee bei Regression this continuities, hey, dadurch,
dass sie einen Antrag schreiben müssen, haben wir Baseline-Daten.
Und lass uns doch die Person nehmen,
die hier ganz knapp diese Voraussetzung nicht erfüllen haben
Dieser Cut-Off, der Schwellenwert, ist doch ohnehin zufällig.
Und was unterscheidet diese Personen von dieser? Das ist die
Idee. Und es wird durchaus gemacht. Eine Idee,
kennen Sie vielleicht das ASA-Programm? ASA, dieses,
wie nennt man es? Das ist so ein Volontier-Programm.
Praktikumsprogramm in der Entwicklungszusammenarbeit. Ursprünglich von der Studentikgruppe in der
69er gegründet. Dann über, weiß ich nicht mehr,
Die Küh, nee, Küh bin ich.
Duisburg, kein Duisburg-Gesellschaft. Und dann zu Event,
dann kurz bei der GEZ angesiedelt und dann wieder bei Engagement global.
Großes Programm, hatte unlängst 50 Jahre, 50-jähriges Geburtstag,
da musst du natürlich das Programm evaluiert werden.
Was ist das Ziel von ASA? Junge Menschen sollen also entwicklungspolitische Ziele weitertragen,
dadurch, dass sie ein Jahr gefördert werden im Ausland,
ein Projekt umsetzen dürfen.
Sollen die zurückkommen und sich einsetzen für Nachhaltigkeit?
Und dann ging es darum, das Programm zu evaluieren.
Und ich habe damals im Moment beraten,
als Methodenberaterin
Und ich habe gesagt, super, lasst uns Regression Discontinuity ansetzen,
weil die Auswahl bei Eman für dieses ASA-Programm, nein,
bei den Vorgängern, war wie bei so vielen Förderprogrammen.
Es wäre nun in der Person eingeladen und 50 kriegen es.
50-50 1 zu 1. Das heißt, zwei Personen,
dann diese Intensivgespräche und ihr kennt es vielleicht,
war schon mal jemand, diese Interviews,
wo es nur um Stressresistenz geht und dann kommt dieser Vergleich,
ihr müsst 20 Minuten in einer Gruppe diskutieren,
müssen Führungspersönlichkeit zeigen, aber auch Gruppenfähigkeiten.
Und einer fliegt, einer kommt weiter.
Und ich habe gesagt, hey, Regression Discontinuity,
habt ihr eure Vergleichsgruppe
Die waren engagiert, die sind schon eine Runde weitergekommen.
Es wurden ja schon ganz viele vorher abgelehnt. Die waren kurz davor.
Asa, Asatin zu werden. Und ich habe gesagt,
schreib die Leute an und frag sie, was wir heute machen.
Weil meine Hypothese war, die wollten das.
Und die haben auch ohne Asa ihr Ding gemacht.
Die sind ja heute ohne Asa. Fertig. Man hat
diese Ideen nicht umgesetzt. Man könnte jetzt hier Hypothesen anstellen,
warum man diese geniale Idee nicht aufgegriffen hat.
Ein anderer wirklicher Klassiker ist, Ist das bei Recredit?
Nee, nee, nicht hier. Bei Conditional Cash-Transfer-Programme,
kennt ihr das? CCT? Conditional Cash-Transfer,
da macht es häufig auch Sinn, weil es,
also Conditional Cash-Transfer ist ähnlich wie Unterstützung durch die Arge,
verdient man zu wenig, bekommt man Geld.
Und das Ganze ist an Konditionen gebunden, meist,
also Klassiker CCTs haben eine Familie bekommt,
wenn das Kind in die Schule geht,
damit der Arbeitsausfall kompensiert wird und die Kondition ist noch,
dass die meist, dass die Mutter an einem Ernährungseimer im Jahr oder im Monat oder whatever,
an einer Ernährungsfortbildung teilnimmt und dass das Kind geimpft wird.
Das ist so Klassiker,
Cicity-Programme und da kann man eben auch diese Regression Discontinuity nehmen,
immer wenn so ein Schwellenwert am Gesetz ist,
also es gibt auch noch Business,
manchmal muss man Businesspläne einreichen, da ist es genau umgekehrt,
da muss der Businessplan mindestens so und so viel Qualitätspunkte bei der Bewertung erhalten, hey,
wenn da nur neun Stadt der erforderlichen zehn Punkte bekommen hat,
ist es doch eine gute Vergleichsgruppe.
Das ist die Idee, also ihr merkt schon,
aber mit dem Schwellenwert,
das ist jetzt nicht so häufig dem Programm gegeben,
deswegen es passt nicht häufig,
aber wenn es passt,
dann passt es
richtig gut
Propensity Score matching, das ist jetzt etwas komplizierter und das
ist nicht von den Projektmitarbeiterinnen umzuführen. Hier brauche ich wiederum,
brauche ich jetzt eine Soziologin, wobei das schade ist,
weil mich diese Idee, dieses Designs, quasi experimentellen Designs,
deswegen fasziniert, weil ich brauche eben keinen Soziologen.
Soziologen, keine Statistiker, Statistiker, keine Ökonometrikerin, Ökonometriker.
Das kann jeder Projektmitarbeiter selbst machen, weil die Logik ist so einfach.
Ich suche mir Pi mal Daumen eine Vergleichsgruppe und Gottchen vorher nachher messen,
das kann ich selbst, da brauche ich keine Eveluatorin.
Das hier, Propensity Score matching nicht. Die Idee hier ist,
Naja, es gibt immer mehr Daten, allgemeine Daten in einem Land,
zu allem möglichen heute Morgen war gerade in der Süddeutschen ein Artikel dazu drin.
Das ist so, es ging um Vorsorge.
Eine Infratest, dass eben jetzt die unterschiedlichen Ergebnisse zu Wahlprognosen.
Also es war eine gute Kritik an den ganzen Daten.
Aber auch in Partnerländern, es gibt immer mehr Daten und
die Idee ist, ich kann mir eine Vergleichsgruppe basteln,
aber fundierter.
Etwas sauberer
Ich versuche es mal runterzubrechen. Die Idee ist,
ich definiere bei meiner Zielgruppe Eigenschaften, all der Geschlecht, Einkommen.
Und noch drei, vier mehr. Und dann schaue ich,
ob es allgemeine Bevölkerungsdaten gibt in dieser Region, in Südafrika, ins Waseland.
Die, die mich interessieren, in Variablen interessieren.
Und dann suche ich in meiner, in meinen Sekundärdaten,
in meiner Statistikdaten, die andere erhoben haben,
für jede Person aus meiner Zielgruppe, den statistischen Zwilling.
Also ich suche in der Datenmatrix Eine Frau mit diesem Alter,
mit diesem Einkommen, mit dieser Religion bestimmte Eigenschaften.
Ich versuche also aus meiner großen Bevölkerungsunfrage einen statistischen Zwilling für jeden,
aus der Zielgruppe zu finden und baskele mir damit eine Vergleichsgruppe.
Das Ganze wird aber mit methodischen Verfahren umgesetzt,
mit Regression unter anderem auch,
sodass die Qualität der Vergleichsgruppe vorausgesetzt die Datenqualität ist gut oder sind überhaupt Daten da annähernd einer Kontrollgruppe ist.
Es gibt sogar Möglichkeiten, dass man Kontrollgruppen mit Matchingverfahren nachjustiert
Lange Rede, kurzer Sinn, die Chance schlechthin. Allerdings,
das kann man nicht mehr umsetzen,
aber sollten sie in ein Projekt gehen,
ist es ganz nett, wenn sie das im Hinterkopf behalten,
hey, da war doch noch Matching,
da gab es doch was mit Matching-Verfahren.
Können Sie das, Herr Evaluathor, Frau Evaluathorin?
Wir haben nämlich hier ganz gute Daten. Sollte man eventuell behalten
. Ich möchte aber nicht mit sowas nicht möglichem enden,
deswegen ist das letzte Verfahren wieder für das Projektmitarbeiterinnen aus der Praxis möglich, sogenannte Pipeline-Verfahren.
Hier ist die Idee, Dass ich, wenn,
dass die Realität, die Realität der Entwicklungszusammenarbeit ist ja nicht mehr so,
dass wir kleine Projekte, Projektitis, die Kritik daran,
gleiche Projekte umsetzen in der Region A,
im Dorf B. Heute setzen wir häufig große Programme um.
Großen. Und dies setzen wir nicht um, jetzt und überall.
Wir setzen sie zeitversetzt um. In Phase 1,
Phase 2, Phase 3, in Region 1 fangen wir an.
Wir gehen über Region 2 zur Region 3. Und die Idee ist,
wenn es keinen Grund gibt,
warum ich mit Dorf 1 anfange und danach mit Dorf 2
und dann ist Dorf 3 komme
Argumente wie Dorf 1 ist am allernächsten zur Hauptstadt. Doch 2 ist genannt
nur 5 Kilometer weiter. Also wenn es eine Entfernung gibt,
die sogar gestaffelt ist oder Einkommen, wenn es...
Und wenn ich dem Projektmitarbeiterinnen zu Beginn des Projektes ausreden kann,
dass sie solche pragmatischen Gründe ranziehen, wo sie anfangen,
sondern in Zufall entscheiden lassen, wo sie,
wo sie beginnen.
Randomized facing in. Dann ist meine Phase 2,
die Zielgruppe der Phase 2,
kann ich als Vergleichsgruppe
meiner ersten Phase nehmen
Habt ihr es? Das heißt,
ich habe eine Vorhermessung bei meiner Zielgruppe,
bei den Bewohnerinnen in Dorf 1. Und nach Projektende messe ich dort.
Aber Projektende in Dorf 1 ist gleichzeitig auch Beginn in Dorf 2. Und das heißt,
meine Baseline-Studie bei Indoorf 2 ist meine Vergleichsgruppe für Dorf 1.
How he is it. Und ich kann sogar
noch hingehen und kann sagen, Gottchen
Das Dorf wird nicht sterben,
wenn nicht sogar ein Jahr vorher dort auch Daten erhebe.
Auch spannend. Keine Maßnahme, keine Maßnahme, Maßnahme.
Das geht in die Richtung Salomon 4 Gruppenvergleich.
Also es geht nicht darum, was wir haben,
eine Stunde Fragebogen. Es werden nur die Zielindikatoren gemessen.
Also da gibt es einen Klassiker, ein absolut klassisches Beispiel.
Einer der ersten großen Regurus Impact Evaluation Bar.
Vielleicht habt ihr schon mal gehört,
Progresser in Mexiko
Also Progressa-Studie in Mexiko googeln, also wird 5000 Mal in Google aufgetaucht.
Wirklich spannend. Da wurde in Health Nutrition Programm und Education
Programm evaluiert. Und spannenderweise haben die noch Vergleichsgruppen gemacht,
also was heißt Vergleichsgruppe? Die haben noch methodisch gemessen,
wie sie die Wirkung am besten aufzeigen können mit experimentellen Designs,
mit Quasi-Experimentellen Designs und ohne.
Also die haben die Methoden noch untereinander verglichen. Wirklich spannend. Und
das Progressa, da geht es um Conditional Cash Transfer,
was ich eben sagte. Und da hatten wir das,
und nicht wir, da war das zentrale Problem,
dass dieses Conditional Cash Transfer national, also komplett umgesetzt werden sollte.
Und wenn ich eine Maßnahme in einer gesamten Region implementiere,
dann funktioniert das ja nicht, dass ich irgendwie eine Kontrollvergleichsgruppe bilden kann.
Geht ja nicht. Weil wen soll ich denn nehmen?
Ein anderes Land, andere Konditionen, andere Rahmenbedingungen,
geht nicht. Aber die Lösung war, Psychity in Progressor
wurde in Regionen häppchenweise eingeführt. Und somit konnte man hier
recht schön
das Ganze aufzeigen
Okay, Validität. Ich glaube, das dürften viele von Ihnen kennen.
Ich gehe ganz kurz nur darauf ein, Blick auf die Uhr.
Validität bedeutet die Gültigkeit, Blastbarkeit meines aufgezeigten Zusammenhangs.
Man unterscheidet zwischen interne und externe Validität, die interne Validität,
Mist, ob wirklich der von mir,
also die aufgezeigte Wirkung wirklich eindeutig auf die Maßnahme zurückzuzuführen ist.
Also es stimmt. Und die externe Validität miest,
ob man das auch auf andere Situationen übertragen kann
Hier sieht man, wenn ich jetzt das so ein bisschen zuordne,
dann sieht man schon,
dass natürlich auf der einen Seite Laborstudien wesentlich am höheren,
auf der linken Seite, ist das gerade falsch rum?
Experimentell und quasi experimentell. Die interne Validität von experimentellen Studien
ist natürlich wesentlich höher als quasi experimentelle Studien,
aber die extern, jetzt habe ich es.
Aber die externe Validität, also die Übertragbarkeit auf andere Kontext,
ist natürlich bei Feldstudien wesentlich höher als bei Laborstudien
Also inwieweit das Tabletten, das im Labor und der
hart kontrollierten Bedingungen gemessene Tablettchen wirklich auch wirkt,
wenn jemand zu viel Trump-Kommentare liest, Tweets liest.
Das ist dann eben die Feldstudie, das ist nicht bewiesen.
Also das ist relativ klar, wobei spannenderweise ist, wo könnte man,
deswegen habe ich auf der rechten Seite die zwei Kringel gemacht,
weil wir natürlich im Kontext der Evolution immer eher auf der rechten Seite sind.
Also bei den Feldstudien. Und hier oben ist Esther,
du floh und hier unten sind die Praktikerinnen,
die fünf Augen immer zudrücken.
Aber die Plausibilität erhöhen
Abschließend noch ein Kommentar, das ist mir ganz, ganz, ganz wichtig.
Der Titel, der vorgeschlagen wurde, hieß, Achtung,
wir kommen gemessen werden. Wie wirkt Entwicklungspolitik okay?
Wir kommen Studie. Also diese Diskussion um Wirkungsmessen,
die bezieht sich, und das ist mir ganz wichtig,
weil international rutscht das gerade auch den Evaluatorinnen weg.
Hilfediskussion, die ich euch gerade gezeigt habe,
die bezieht sich noch an ganz, ganz, ganz gerne Nauschnitt.
Im Kontext einer Evaluation. Nämlich auf den Dismessens
Mir ist es wirklich wichtig, dass Hengblack,
dass eine Wirkungsmessung einen, ach so elaborierte Studie vom MIT,
wie wir ja alle andauernd lesen.
Ungleich Wirkungsevolution ist. Denn Evolution ist mehr. Das eine
ist Messen. Nur das eine, was ich wollte,
das eigene Messen, ob jetzt die Stuhlerde kommen oder nicht.
Also Wolfgang Maier hat das auch gesagt. Bei der
reinen Wirkungsmessung, was nur Ökonometrika machen, keine Evaluatorinnen.
Da bleibt die Frage nach dem Weh offen. Wenn wir
also aufzeigen, nein, die Maßnahmen hat nicht gewählt,
ja,
warum nicht
Oder wenn sie gewirkt hat, warum hat sie gewirkt?
Was waren die entscheidenden Erfolgs- und Misserfolgsfaktoren? Bei den Kontextfaktoren,
damit ich es übertragen kann, in andere Kontexten.
Das beantwortet die Wirkungsmessung nicht. Die Evaluation aber schon,
die Evaluation muss nämlich auch, nicht intendierte Wirkungen zum Beispiel.
Überprüfen und abfragen. Oder auch weitere Ursache,
Wirkungshypothesen aufstellen und prüfen. Daher Wirkungsevaluationen sollten immer prüfen,
ob sie Wirkungen messen können mit Adlist
quasi experimentellen Designs
Dann können Wirkungsevaluationen evidenzbasierte Handlungsoptionen für die Implementation zukünftiger Politikmaßnahmen aufzeigen.
Hier noch einmal zum Nachlesen.
Ich danke Ihnen für Ihre Geduld