Heute geht es um Wirkungsmessung mit diesen radominisierten Kontrollstudien.
Daran arbeite ich praktisch seit circa fünf Jahren,
leite zum Teil Studien, arbeite an Studien mit,
bin häufig auch in Afrika, hauptsächlich in Westafrika,
Leiterstudien, meistens im Bereich der Gesundheitspolitik,
aber habe auch schon an Dezentralisierungsfragen gearbeitet, Umweltfragen und so weiter.
Das Wissen um diese Methode lässt sich sehr gut übertragen auf
andere Sektoren, daher ist es möglich,
sich auch breit,
breit aufzustellen
Kurz zum Aufbau heute. Ich habe mir das folgendermaßen gedacht,
im ersten Teil würde ich noch mal kurz die Methode vorstellen
und die Vorteile der Methode. Herr Hammerling sagte mir,
dass in der Vorlesungsreihe bereits ein bisschen darüber gesprochen wurde.
Ich hoffe, dass das nicht zu langweilig wird.
Ich versuche da ein bisschen schneller durchzugehen, falls dann noch
Verständnisfragen da sind, können wir darauf noch eingehen.
Im zweiten Teil würde ich dann gerne so ein bisschen auf
die Probleme der Methode eingehen, praktischer, aber auch theoretischer Natur.
Und dann im letzten Abschnitt hoffentlich haben wir da noch genug Zeit,
um ein paar Fragen zu diskutieren,
die ihn auf der Zunge brennen oder Dinge,
zu denen ich nicht gekommen bin im Laufe des Vortrags
Falls Fragen zwischendurch bestehen, bitte gern melden, dann können wir darauf eingehen.
Zu Beginn möchte ich gern nochmal auf etwas eingehen,
was Herr Jakobbat in der allerersten Vorlesung hier im April,
war das, glaube ich, eingegangen ist.
Und zwar das sogenannte Mikro-Makro-Paradoxon. Hier auf diesem Grafen
sieht man die Entwicklung der Pro-Kopf-Entwicklungshilfe ins subsaharische Afrika seit
1960. Das ist ja von fast null auf mittlerweile ungefähr 50 US-Dollar
pro Kopf gestiegen. Also enorm gestiegen, insbesondere wenn man
die gleichzeitige enorme Den Wachstum der Bevölkerung auch noch mit einrechnet.
Also sind enorme Summen mittlerweile nach Afrika geflossen, Entwicklungshilfe.
Und hier auf dem nächsten Grafen sieht man den Vergleich
der Wachstumsraten pro Kopf, Bruttosozialprodukt in US-Dollar gemessen.
Subsarisches Afrika, hier unten der Grüne,
Zeitstrahl und die Europäische Union im Vergleich.
Also man kann sehen, dass sich in dem Zeitraum dort
nicht sehr viel getan hat.
Leider. Nochmal zurück zum Mikro Makroparadoxon
Entwicklungsorganisationen stellen sich durch die Bank eigentlich sehr gute Noten aus.
Ich habe hier Daten, die etwas älter sind, aus dem Jahr
2008. Die Weltbank sagt, dass 81 Prozent ihrer Projekte erfolgreich sind.
Also diese Projekte scheinen zu funktionieren, aber auf der Makro-Ebene
zeigen sich kaum Effekte, wie wir eben gesehen haben.
Woran kann das liegen? Messen wir falsch? Wie messen
wir die Wirksamkeit von Projekten überhaupt? Und wie gut sind
wir darin, kausale Effekte herauszufinden? Esther D. Flo,
die ja auch schon mehrmals erwähnt wurde im Rahmen dieser Vorlesung,
vom MIT, die so ein bisschen die Vorreiterin ist,
dieser Methode
Die sagt, über die EZ und die Wirksamkeitsforschung,
dass wir eigentlich nicht besser sind als mittelalterliche Doktoren mit ihren Blutegeln.
Also eigentlich wissen wir kaum etwas über den Zusammenhang von
effektiver Entwicklungszusammenarbeit und Wachstum. Ja, und ja,
auch seit erster D-Flow aktiv ist und das sprach auch Herr
Jakubert gerade schon an, hat sich diese Methode,
ja, der Nutzen dieser Methode hat sich enorm gesteigert.
Also Ende der 90er Jahre ging das ungefähr los,
dass diese Methode in der,
im Entwicklungsbereich enorm an Popularität gewonnen hat
Und dann im Verlauf der 2000er Jahre ist das dann exponentiell gestiegen.
Das ist hier die blaue Linie oben.
Obwohl das eigentlich eine sehr alte Forschungsmethode ist,
ist das dann erst um die Jahrtausendwende, hat sich das,
wurde das vermehrt in der EZ benutzt.
Und geht einher so ein bisschen mit den Begriffen,
auch Culture of Evidence, Evidence, Based Policy Making,
die ja mittlerweile sehr beliebt sind.
Das hängt sehr stark zusammen mit dem, mit dem,
mit diesen Nutzen dieser quantitativen Forschungsmethode zur Evaluation von EZ-Projekten
Kurzes Beispiel, um das alles ein bisschen zu veranschaulichen.
Gehen wir mal davon aus, die GEZ hat vor,
die Bildung zu stärken im Land X und sagt,
wir bilden Lehrer aus in 200 Schulen zum Beispiel.
Wie das häufig evaluiert wird und in der Mehrzahl wage ich
es mal zu behaupten, dass immer noch der Fall ist,
da wird einfach mal gezählt,
wie viele Lehrer ausgebildet wurden und ob die erfolgreich ausgebildet wurden.
Das habe ich auch schon öfter gesehen. Da wird einfach gesagt,
das Ziel war es, 1000 Lehrer auszubilden und am Ende wird berichtet,
wir haben das Ziel übertroffen,
1200 Lehrer wurden ausgebildet
Das steht oft noch in den Valuationsberichten drin,
obwohl das eigentlich wenig zu tun hat mit dem Entwicklungserfolg.
Ein anderes Konzept, was auch in der Weltbank
sehr beliebt ist, ist die sogenannte Dispersement-Rate.
Also wenn Projekt von der Weltbank aufgesetzt wird, ist das
mit Geldsummen verbunden, die ausgegeben werden müssen zu einem gewissen Thema.
Also dann wird zum Beispiel gesagt,
die Weltbank soll jetzt 8 Millionen Euro ausgeben in Guinea,
um die Bildung zu verbessern. Und ein Faktor,
mit dem Projektleiter der Weltbank oder deren Leistung gemessen wird,
ist,
ob das Geld
wirklich ausgegeben wurde
Das ist eigentlich der wichtigste Faktor bei der Messung der Effektivität von Projektleitern.
Und wenn es jemand schafft, möglichst sein Geld auszugeben,
hat er gute Chancen, auch nach oben zu kommen.
Ich habe da auch schon gesehen, dass sich Leute eine High Five geben,
weil sie es geschafft haben, ihr Geld auszugeben.
Also es ist, wie gesagt, sehr schwierig in vielen Ländern
so viel Geld überhaupt auszugeben, weil es gar nicht diese Absorptionsfähigkeit gibt.
Es gibt keine guten Dienstleister, die solche Projekte überhaupt aufsetzen können.
Und wenn dann viel Geld liegen bleibt, ist das häufig ein Problem. Sagen wir mal,
in diesem fiktiven Beispiel, GZ ist besser und sagt,
wir schauen uns jetzt nicht nur diese sehr seltsamen Faktoren an,
sondern auch,
wie haben sich dann eigentlich die Testergebnisse der Schüler verbessert in den Schulen,
in denen wir dieses Projekt aufgesetzt haben.
Und sie messen mal vorher nachher vor dem Projekt,
haben die 50 Punkte gehabt von 100 in ihren Mathe-Tests und nach dem Projekt 60 Punkte.
Das heißt, man kann sehen,
plus von 10 Punkten könnte man ja eigentlich sagen,
moderat erfolgreiches Projekt hat die Testergebnisse verbessert.
Leider Dann sagen wir, das Projekt lief mal ein Jahr
oder so. Leider gibt es noch viele andere Faktoren,
die im gleichen Zeitraum ebenfalls einen Einfluss haben können auf diese Testergebnisse.
Sagen wir mal, wir haben erfolgreich die Lehrer ausgebildet.
Haben wir genug Möglichkeiten, dass die Schüler zur Schule kommen?
Gibt es in dem Projektbereich ein Moskito-Problem, Malaria-Probleme,
hat sich das verschlechtert, hat sich das verbessert?
Tauchen die Lehrer überhaupt auf in der Schule? Das ist
auch immer ein großes Problem der Bildung in vielen Ländern,
dass die Lehrer gar nicht zur Schule kommen und dann da
Schüler in leeren krassen Räumen sitzen,
haben die Eltern genug Geld,
um ihre Kinder zur Schule
zu schicken
Gibt es genug Schulbücher und andere Materialien? All diese Faktoren
können im gleichen Zeitraum ebenfalls einen Effekt haben auf diese Testergebnisse.
Und selbst wenn wir das alles auch noch in Betracht ziehen und sagen,
wir machen ein ganzheitliches Projekt, das versucht, alle diese Dinge anzugehen,
dann gibt es immer noch andere Faktoren außerhalb der Kontrolle der Geberorganisation.
Zum Beispiel Naturkatastrophen, Projekte anderer Geber,
Dürren zum Beispiel, die Verbreitung von Technologie,
vielleicht hat sich das Internet ausgeweitet in dem Projektbereich oder es wurde eine andere Person gewählt,
die wesentlich effektivere Projekte aufsetzt oder weniger Effekte Projekte aufsetzen kann und so weiter.
Also damit will ich nur sagen, es gibt einfach unheimlich viele Faktoren,
die in dem Projektzeitraum auf unsere Zielvariable einwirken können.
Und wenn wir einfach nur vorher, nachher schauen,
wie haben sich die Testergebnisse verbessert,
dann hat das eigentlich kaum bis gar keine Aussagekraft.
Leider werden so viele Evaluationen heutzutage in vielen Organisationen durchgeführt.
Diese Randomized Control Trials oder RCTs, abgekürzt,
versuchen eben genau dieses Problem anzugehen,
das sogenannte Identifikationsproblem
Hat das Projekt wirklich das Ergebnis beeinflusst, das uns interessiert.
Und wenn ja, um wie viel? Was wäre ohne
das Projekt passiert? Das ist das sogenannte Kontrafaktische. Wir versuchen,
kausale Effekte des Projekts von anderen Effekten zu unterscheiden. Idealerweise würden wir,
wenn das möglich wäre, wäre es gut,
wenn man eben diesen Projektbereich einfach klonen könnte oder eine Zeitreise macht und sagt,
wir versuchen es einmal mit Projekt,
lass uns einmal durchlaufen, spulen die Zeit zurück,
versuchen es nochmal ohne Projekt und wir gucken dann Hat unser Projekt da,
in dem hat das was gebracht oder nicht?
Das ist leider noch nicht möglich technologisch, vielleicht kommen wir soweit auch nochmal.
Und diese ASCTs, die versuchen eben so einen Klon künstlich herzustellen.
Und zwar wird das so gemacht, dass von einer Grundgesamtheit
wird per Zufallszufallsauswahl, wenn zwei oder mehr Gruppen erstellt,
das können auch mehrere Gruppen sein.
Die eine Gruppe ist die sogenannte Treatment-Gruppe und die andere Gruppe
ist die Kontrollgruppe. Und die Randomisierung,
das ist das Wichtige, stellt sicher,
dass beide Gruppen zum Projektstart
genau gleich sind
Und zwar nicht nur anhand der messbaren Faktoren, sondern auch anhand der
nicht messbaren Faktoren. Darauf gehe ich gleich nochmal ein,
aber das ist eigentlich noch der noch wichtigere Faktor hier,
dass diese Randomisierung eben auch die nicht messbaren Faktoren nivellieren.
Und auch im Laufe des Projekts können wir davon ausgehen,
im Idealfall, ich komme nachher nochmal auf die Probleme zu sprechen,
dass alle externen Faktoren, die ich eben auch schon angesprochen habe,
im gleichen Maße auf beide Gruppen, die Treatment und die Control Group einwirken.
Wieso können wir uns so sicher sein,
dass die Gruppen genau gleich sind?
Hier hilft uns
das Gesetz der großen Zahlen
Mathematisches Prinzip, dass vielleicht viele noch aus dem Schulunterricht kennen.
Entschuldigung, wenn man eine Münze einfach häufig genug wirft,
kann man davon ausgehen, dass sie in 50,
in 50 Prozent der Fälle Kopf zeigt und in 50 Prozent der Fälle zahlt.
Und dieses Gesetz ist, wenn sich die Stichprobengröße eben vergrößert, ziemlich bombensicher.
Das bestätigen alle Versuche, auch wenn wir RCTs durchführen,
gibt es immer nach der Anomisierung so eine sogenannten Balance-Check,
wo man sich alle Variablen anguckt,
die man hat und vergleicht sie, um zu gucken,
ob die Anomisierung funktioniert hat.
Und das funktioniert immer sehr gut
Was wären schlechte Kontrollgruppen? Schlechte Kontrollgruppen sind Kontrollgruppen,
die sogenannten Selection Bias oder Stichprobenverzerrung hervorrufen.
Dieser Vorher-Nachher-Vergleich zum Beispiel ist eine sehr schlechte Stichprobe.
Wenn man sich benachbarte Dörfer nimmt zum Beispiel, sagen wir,
wir machen in einem Dorf das Projekt und sagen,
das andere Dorf ist doch eigentlich genauso wie unser erstes Dorf.
Das ist auch eine sehr schlechte Kontrollgruppe. Selbst wenn man Daten hat über dieses Dorf,
A und B, die man messen und vergleichen kann und versucht,
diese zu nivellieren, gibt es immer noch diese nicht messbaren Faktoren,
über die man eben keine Kontrolle hat,
wenn man nicht dranomisiert
Dann gibt es auch noch eine andere Methode,
die häufig benutzt wird, ist, dass man versucht,
ein Projekt zu starten und nimmt alle Teilnehmer,
die sich freiwillig melden, auf in das Projekt und alle,
die sich nicht melden, die sind dann die Kontrollgruppe.
Das ist ebenfalls problematisch, weil, ja,
da ist große Motivationsunterschiede gibt und etwaig messen wir dann nicht
den Impact des Projekts, sondern eben, was bringt es,
wenn man motivierter ist, an diesem Projekt teilzunehmen.
Das wäre zum Beispiel in diesem Beispiel der Lehrerausbildung sehr stark zu sehen,
wenn dort eben nur sehr motivierte Lehrer teilnehmen,
können wir davon ausgehen,
dass die dann auch besseren Unterricht später machen
Um das noch mal besser zu veranschaulichen, wie das tatsächlich stattfindet.
Und das findet, das ist jetzt eine amüsante Darstellung,
aber das findet wirklich so statt,
dass man hat eine Liste mit Dörfern zum Beispiel im Computer,
in Excel oder in Stata, und lässt dann den Zufallsmechanismus drüber laufen.
Und genau, die, die dann ausgewählt wurden,
hier habe ich die mit dem Sternchen markiert, die Dörfer,
die sind dann Teil der Treatment-Gruppe und die anderen eben Teil der Kontrollgruppe.
Da gibt es noch ein paar technische Feinheiten,
aber im Prinzip funktioniert es genauso
Hier habe ich jetzt nochmal so diesen Balance-Table,
so eine Balance-Tabelle, beispielhaft mal gezeigt.
Das sind fiktive Daten hier, aber man kann sehen,
dass meine fiktive Anomisierung hier es geschafft hat,
dass beide Gruppen doch sehr ähnlich sind.
Und das sind eben die messbaren Faktoren.
Und jetzt gibt es eben noch nicht messbare Faktoren,
wie zum Beispiel die Motivation der Lehrer oder der Teilnehmer unseres
Projekts oder den Zusammenhalt, die man schwer messen kann.
Aber wir können davon ausgehen, obwohl wir sie nicht messen können,
dass diese Randomisierung Es schafft auch diese Faktoren zu nivellieren.
Die sind niemals sichtbar, die können wir an keiner Stelle messen und auch nicht sehen.
Aber wir vertrauen der Anomisierung, dass sie es schafft, diese Faktoren auszugleichen.
Weil wenn wir alle messbaren Faktoren vergleichen und die sind alle gleich,
dann können wir auch davon ausgehen,
dass es die nicht messbaren Faktoren gleich sind.
Und das ist eben genau sehr wichtig, um die Gruppen vergleichbar zu machen.
Und das schaffen wir mit anderen Methoden nicht. Wie gesagt,
wir haben eine Kontrollgruppe und diese Treatment-Gruppe im Nachhinein sehen wir,
dass die Kontrollgruppe sich auch verbessert,
vielleicht um fünf Punkte
Das sind die externen Faktoren, die wirken auf beide Gruppen ein.
Das kann zum Beispiel sein, dass ein anderes Entwicklungsprojekt auch
noch in dieser Region aufgesetzt wurde. Das trägt dazu bei,
dass beide Gruppen sich um fünf Punkte steigern und der Impact,
oh, Entschuldigung, hier sind nochmal eine Darstellung,
dass eben externe Faktoren während der Projektlaufzeit auf diese Gruppen einwirken.
Also wir haben hier im Südwesten sehen wir,
da gibt es ein Problem mit Malaria, das sich verstärkt hat.
Im Südosten gibt es eine größere Dürre auf einmal und im Nordosten gab es ein Erdbeben,
aber da wir eben diese Anomisierung gemacht haben,
wirken diese externe Faktoren auf beide Gruppen im gleichen Maße ein
Und dann sehen wir eben am Ende, dass der Impact
eben nicht der Unterschied ist zwischen der Treatment-Gruppe vorher nachher.
Das wären die beiden Tees hier,
sondern der Impact ist der Unterschied der Treatment-Gruppe am Ende
der Studie im Vergleich zur Kontrollgruppe am Ende der Studie.
Ich will jetzt nicht zu sehr in die technischen Details eingehen,
aber im Prinzip braucht man gar keine Datenerhebung am Anfang.
Man könnte auch einfach eine Datenerhebung am Ende machen,
solange man sicher sein kann,
dass die Randomisierung stattgefunden hat,
Projektteilnehmer in Treatment und Control Group
Also wie gesagt, die Veränderung der Zielvariable zum späteren Zeitpunkt
im Vergleich zur Kontrollgruppe ist der Impact. Und im Idealfall,
und das schaffen wir nicht immer, oder auch in den seltensten Fällen,
ist der einzige Unterschied der beiden Gruppen eben, dass dieses Projekt aufgesetzt wurde.
Anhand aller anderen Faktoren kann man sagen, dass die beiden Gruppen gleich sind.
Und der Vorher-Nachher vergleicht, wie eben der Impact,
wer eine Mischung aus dem Impact und dem Einfluss anderer Faktoren.
Und wie ich schon gesagt habe, wäre das eine sehr schlechte Kontrollgruppe.
Diese Methode wird benutzt, um verschiedene Dinge zu machen.
Einerseits kann man damit den Impact-Messen des Projekts auf unsere Endvariable.
In diesem Fall werden es eben die Testergebnisse,
aber was jetzt auch vermehrt der Fall ist,
dass man versucht, verschiedene Glieder der Kausalkette zu untersuchen.
Also man sagt sich, weil eben dieser erste Fall
so schlecht funktioniert hat häufig, dass man gesagt hat,
wir setzen ein Bildungsprogramm auf und die Testergebnisse gehen nach oben.
Da hat man jetzt mehr und mehr herausgefunden,
dass dieser direkte Zusammenhang eher schlecht funktioniert in vielen Projekten.
Jetzt durchdenkt man mehr diese Kausalkette. Also wenn ich ein
Bildungsprojekt für Lehrer aufsetze, kommen diese Lehrer überhaupt dadurch häufiger zur Schule?
Und wenn sie häufiger zur Schule kommen, führt das dazu,
dass die Kinder häufiger zur Schule kommen.
Und nur wenn alle Punkte dieser Korsalkette abgearbeitet wurden,
sehen wir wirklich einen Impact am Ende. Und wenn ich ASCTs mit unseren Partner,
Regierung aufsetze, dann geht es häufig oft auch darum,
ganz am Anfang des Projekts einzusteigen und mit diesen Regierungen zu durchdenken,
was wollen sie überhaupt erreichen?
Weil oft diese Kausalkette gar nicht durchdacht wurde,
sondern es wird immer automatisch angenommen, ja,
wir machen ein gutes Projekt, dann werde am Ende schon was bei rauskommen.
Aber oft hilft es schon beim Aufbau so einer Studie,
sich zu überlegen, was sind diese Glieder der Kausalkette und was kann da schief gehen
was kann man verbessern? So kann man das Projekt schon,
bevor man überhaupt irgendwas gemacht hat, bevor man die Studie angefangen hat,
einfach dadurch, dass man die Kausalkette durchdenkt, schon ein besseres Projekt aufsetzen.
Wie gesagt, beides ist möglich und was viele jetzt auch machen,
ist, dass sie eben nicht nur die Endergebnisse messen,
sondern alle Zwischenschritte auch.
Dadurch kann man zwei verschiedene Dinge erreichen. Man kann eben gucken,
was sind diese sogenannten Mechanismen im Laufe der Kausalkette.
Die sind halt auch wichtig,
um daraus was zu lernen für andere Projekte und man kann evaluieren,
war das Projekt ein Erfolg,
ja oder nein,
wenn man sich
die Endergebnisse anschaut
Die Befürworter dieser Methode sind unheimlich begeistert davon. Sie sagen,
wie randomisierte Kontrollstudien, die Medizin im 20. Jahrhundert revolutioniert haben,
so haben sie die Möglichkeit, im 21. Jahrhundert Sozialpolitik zu revolutionieren.
Das kommt auch von Esther Düflow, die eventuell sogar den
Nobelpreis gewinnen wird für diesen Ansatz in den nächsten Jahren.
Das könnte gut sein. Andere Forscher sagen,
die empirische Mikroökonomie hat eine Glaubwürdigkeitsrevolution erlebt mit einem folgenden Anstieg
an Einfluss in der Politik und Wissenschaft.
Im Rahmen meiner Arbeit schreibe ich jetzt mittlerweile auch
viele Projektanträge für externe Gelder zu kommen für Studien
Und durch die Bank fordern die Geber mittlerweile diese sogenannte Identifikationsstrategie.
Was ist die Identifikationsstrategie? Wie versuchen Sie, die Impacts zu messen?
Und da wird der technische Anspruch auch immer höher.
Und man will auch wissen, seien es der Geber,
wie versucht man mit der Studie einen Impact zu haben auf
die Politik und auf die Entscheider.
Deshalb muss man alles mittlerweile mit einbauen.
Disziminationsstrategie, eine Kommunikationsstrategie und so weiter und so fort.
Das habe ich zum Teil schon erwähnt. Wie werden Sie durchgeführt?
Meistens machen wir so eine sogenannte Baseline-Datenerhebung. Das ist vor der Anomisierung vor dem Projektstart geht man in das Land und erhebt Daten,
das können Schulen sein, Schüler, Krankenhäuser, Patienten,
Haushalte, dann eben mit dieser Anomisierung durchgeführt,
dann wird das Projekt durchgeführt, das kann ein,
zwei, drei Jahre dauern, dann kommt die Endline-Datenerhebung,
wo nochmal die gleichen Daten erheben,
erhoben werden und dann folgt die Datenanalyse.
Mittlerweile wird das alles mit iPads gemacht oder Android-Tablets,
die dann auch GPS-Funktionen haben und es gibt auch oft in diesem Feld
Viele neue Trends, mittlerweile werden auch Satellitenbilder benutzt, die immer günstiger werden.
Damit kann man gut Migrationsbewegungen messen oder auch Entwaldung.
Dadurch, dass es immer günstiger wird, kann man dadurch
sehr gute Daten erheben, die auch sehr interessant sind.
Ein neuer Trend wird wahrscheinlich Sensorik sein, mittlerweile,
wenn es bei uns darum geht,
wie messen wir Patientenzahlen und so weiter,
dann sind wir oft darauf angewiesen, dass wir die sogenannte Self-Reported-Data benutzen.
Also wir fragen Leute, wie viele Patienten waren gestern da
und das ist oft sehr ungenau. Und ich kann mir vorstellen,
dass da günstige Sensoren, die sowas einfacher messen können,
in Zukunft auch eine wichtigere Rolle spielen werden.
Kurz wollte ich zwei Beispiele anreißen, an denen ich direkt gearbeitet habe.
Zwei Studien, sehr kurz anreißen. Eine Studie,
da waren wir in, haben wir 80 ländliche Kliniken beobachtet,
in sechsjährigerianischen Staaten. Da hat die nigeriaanische Regierung gesagt,
wir wollen die Qualität verbessern in diesen Kliniken.
Also es sind sehr, es sind keine richtigen Kliniken.
Das sind Blechhütten quasi, wo Leute medizinische Dienstleistungen anbieten.
Aber es ist Teil des, des, des,
des,
des nigeriaanischen Grundheitssystems
Und die haben gesagt, wir wollen die Qualität verbessern,
aber wir haben kein Geld, um diese Kliniken strukturell zu verbessern.
Dann haben sie eine internationale Firma in GO-Beauftragt, Safe-Care-Farm-Access,
die dort diese Qualitätsverbesserungsprogramme durchführen soll. Wir haben mit der Regierung gesprochen,
die Regierung hatte für diesen Pilot, hatte nur Geld für 24 Kliniken,
da haben wir gesagt, machen wir einen ACT.
Und was haben wir gemacht? Wir haben eben
diese 80 Kliniken genommen und sie in drei Gruppen randomisiert.
Einmal die Kontrollgruppe, Business as usual, das waren 32.
Dann gab es das Treat mit A,
Dort gab es dieses Quality Assessment, dieser Firma,
die ist gekommen für zwei Tage, hat sich die ganze Klinik angeguckt,
eine Strichliste gehabt und gesagt, das ist gut, das ist schlecht.
Das fehlt, hier fehlt ein Feuerlöscher, hier ist kein Wasser,
hier ist keine Seife, ihr habt keinen Behälter,
in dem alte Spritzen aufgehoben werden und so weiter.
Dann hat diese Organisation Verbesserungspläne aufgesetzt und denen diese mit den
Angestellten besprochen und auch ein kontinuierliches Mentoring durchgeführt und es ist
alle paar Wochen nochmal gekommen, um zu gucken,
wurden diese Verbesserungspläne umgesetzt,
wie hat sich
das entwickelt
Und dann gab es noch ein kleineres Programm, das Treatment B,
wo es eben nur diesen Quality Assessment gab, ganz am Anfang.
Also es war ein sehr langer Bericht,
wo auch drin stand, was alles mangelhaft ist.
Und der wurde dann den Angestellten übergeben. Wir haben hier
80 Kliniken, das ist nicht keine sehr große Grundgesamtheit.
Deswegen haben wir Daten in sieben Runden erhoben, monatlich,
um die statistische Power zu erhöhen und auch zu gucken,
was sich im Laufe der Zeit so entwickelt.
Und die letzte Runde war ein Jahr nach dem Ende des Projekts.
Also die ersten sechs Runden der Datenerhebung waren während des Projekts
und die letzte Runde war am Ende des Projekts.
Und was sehen wir
Wir haben keine Verbesserung gesehen bei diesem Treatment B, wo es nur diese Informationen gab.
Aber wir sehen große Verbesserungen beim Treatment A für sehr einfache Prozesse.
Also zum Beispiel die Bereitstellung von Seife im Behandlungsraum.
Die Sauberkeit des Gebäudes, die Organisation des Medikamentenschranks,
die ja für sich genommen vielleicht etwas trivial klingen,
aber in der Masse doch einen Einfluss haben kann auf das,
was uns am Ende interessiert, nämlich die Gesundheitsversorgung im Land.
Was wir natürlich nicht, was wir nicht gesehen haben,
aber auch gemessen haben, sind strukturelle Verbesserungen.
Viele dieser Kliniken haben keinen Anschluss an Stromnetz,
haben keine gute Wasserversorgung
Dieses Qualitätsprogramm konnte das nicht verbessern,
was wir eben auch erwartet haben. Unsere Schlussfolgerung war,
dass gerade dieses Mentoring-Programm Erfolge zu zeigen scheint,
aber es muss eben regelmäßig durchgeführt werden und fortlaufend.
In der letzten Datenerhebungsrunde sind eigentlich fast alle Effekte wieder verschwunden,
weil dieses Mentoring-Programm auch irgendwann zu Ende war.
Also hier sieht man ein großes Nachhaltigkeitsproblem,
wenn man dieses Projekt nur einmal kurz aufsetzt.
Kurze Frage. Ich bin mir sicher,
die runden Verbesserungen als beziehungsweise
Die Qualität, also letztendlich wird erzählt. Ja,
wir haben Fragebögen aufgesetzt, sehr lange Fragebögen und auch,
also ja, einfach geschaut. Wir haben geguckt,
was ist in dem Qualitätsprogramm drin, was wird vorgeschlagen?
Also zum Beispiel wird gesagt, es muss Wasser im Raum
sein, wo Geburten durchgeführt werden, sauberes Wasser.
Und dann haben wir einmal im Monat geguckt,
ist das Wasser da oder nicht? Oder ist ein Feuerlöscher
da, alle. Wir haben also sehr lange Fragebögen durchgeführt,
die einerseits eben mit dem Chef dieser Klinik durchgeführt werden,
aber auch Observationsmodul, wo dann auch bewertet wird,
wie sauber ist, sind die Toilettenräume.
Viele Toilettenräume sind überhaupt nicht zugänglich in diesen Kliniken.
Die werden einfach abgeschlossen, sind nur fürs Personal zugänglich.
Zum Beispiel solche Dinge haben wir alle abgefragt und dann geschaut,
welche Variablen haben sich positiv verbessert.
Also wie gesagt, das war nur ein sehr kurzer Abriss.
Wer sich dafür interessiert, wir können da zum späteren Zeitpunkt
auch noch ausführlicher drüber sprechen.
Die zweite Studie ist noch interessanter eigentlich.
Da geht es um, die Studie heißt Nollywood Nutch
Das ist schon ein bisschen älter. Da haben wir
mit 3.000 Kleinstunternehmern in Nigeria in Lagos zusammengearbeitet.
Und die in vier Gruppen randomisiert. Und das Treatment hier,
das Intervention, das Projekt war ein Nollywood-Film,
mit einer Message, also mit einem Bildungsinhalt.
Und dieser Film, The Story of Gold, da ging
es um zwei Schwestern. Die eine ist sehr spendabel,
gibt ihr ganzes Geld aus und der geht es auch super gut am Anfang.
Er hat viele Freunde, ist sehr beliebt.
Die andere Schwester ist so ein bisschen langweilig,
die spart ihr ganzes Geld
Und gibt nichts aus und legt es sehr sicher an. Und am Ende ist die spendable Schwester,
der jetzt dann sehr dreckig und kommt bei der anderen Schwester an
und fragt noch nach Obdach und es gibt dann noch ein Happy End,
aber dadurch wird dargestellt,
dass man gut sparen soll und sein Gutgeld anlegen soll,
sein Geld gut anlegen soll und so weiter und so fort.
Es gab vier Treatments, es gab diesen Film einmal,
das zweite war dann,
dass wir den Film gezeigt haben und gleich im Anschluss war
eine Mikrofinanzbank am Ausgang und man konnte gleich einen Bank,
so einen Bankaccount öffnen,
also ein Sparbuch aufmachen
Das dritte war ein sogenannter Placebo-Film,
da haben wir einfach irgendeinen Nollywood-Film gezeigt,
ohne Spar-Message und der vierte war eben dieser Placebo-Film und dann aber auch,
war die Mikrofinanzbank noch am Ende dabei.
Das war eine sehr kleine Studie, die war sehr günstig,
aber ja, sehr unterhaltsam für alle Beteiligten.
Was sehen wir hier? In der kurzen Frist ist das Vertrauen,
die positive Wahrnehmung für oder von Mikrofinanzbanken nach oben gegangen.
Das Sparverhalten hat sich kurzfristig verbessert,
leider eher bei denen,
die sowieso schon Bankkonten hatten
Es war fünf Prozentpunkte wahrscheinlicher, ein Sparbuch direkt nach dem Film zu eröffnen.
Im Placebo war es weniger als ein Prozent,
die Pläne gingen auch nach oben, sich Geld zu leihen für seine Unternehmung,
aber auch hier in der anhaltenden Frist sind wir leider keine Effekte.
Eine Schlussfolgerung hier ist, dass diese Edutainment-Programme in der kurzen Frist
sehr erfolgreich sein können. Das war nur ein kurzer Film,
also wir haben jetzt auch nicht zu große Effekte hier erwartet,
aber wenn Leute direkt danach handeln,
ist es vielleicht möglich, wenn man sogenannte Commitment-Produkte aufsetzt,
wo Leute dann sich verpflichten,
monatlich was zu sparen,
dass sie dann dabei bleiben
In unserem Fall war es eben ein einfaches Sparbuch,
was auch einfach nicht benutzt werden kann.
Und das ist eben auch eingetreten. Mittlerweile gibt es wesentlich mehr diese Edutainment-Projekte,
ein Kollege von mir arbeitet zum Beispiel an einer Serie,
die heißt Sugar, die wurde in Keni ausgestrahlt und kommt jetzt auch nach Nigeria.
Das ist so eine Art Netflix-Serie. Da hat auch
die Oscar-Preisträgerin Lupita und der Nachname entfällt mir gerade mitgemacht.
Also es ist eine sehr gute Produktion eigentlich, die auch sehr unterhaltsam ist.
Da geht es eben um sicheres Sexualverhalten und das Nutzen von Kondom
und so weiter
Da wird versucht, eben das an eine breite Masse an Jugendliche heranzutragen und deren Verhalten zu verbessern.
Das wird von meinem Kollegen auch gerade evaluiert und das kreiert
sehr viel Interesse, weil es eben ein spannendes Thema ist.
Ja, kurze Zusammenfassung, zusammenfassend zu den positiven Aspekten.
Man kann sagen, dass das, oder die Leute,
die das befürworten, sagen, das ist der Goldstandard der Evaluierung,
der quantitativen Sozialforschung in dem Bereich, zur Ermittlung kausaler Effekte.
Man kann die Methode nutzen, um gesamte Projekte zu evaluieren,
aber auch um Mechanismen zu evaluieren, Subkomponenten aber,
oder auch die Intensität eines, eines, einer Intervention.
Also man kann für so, wenn man,
gerade wenn man wenig Geld zur Verfügung hat,
kann man hiermit testen, wie viel eines Projekts muss ich abliefern.
Wenn es zum Beispiel um ein Trainingsprogramm für Lehrer geht,
kann ich das mit zwei Wochen machen,
vier Wochen oder sechs Wochen und dann zu gucken,
was ist hier am effektivsten oder am, ja,
genau, was ist am effektivsten.
Man kann damit Projekte evaluieren, die in der Vergangenheit stattgefunden haben oder das nicht.
Man muss schon von Anfang an dabei sein, wie ich gesagt habe,
mit der Basics Studie, aber man kann eben rückblickend schauen,
hat das Projekt War das erfolgreich oder nicht?
Und ein zweiter großer Anwendungsbereich ist es eben,
die Resultate zu benutzen, als Entscheidungshilfe für zukünftige Projekte.
Also dieses Evidence-Based Policy-Making, das sind die zwei großen Anwendungsbereiche,
würde ich sagen, von RCTs.
Das war der erste Teil. Jetzt kommen wir zu den Herausforderungen.
Gibt es zum ersten Teil erstmal Fragen, dann könnte ich
die jetzt gleich beantworten, sonst machen wir einfach weiter.
Okay. Es gibt zwei große Probleme mit diesen RCTs,
einmal die interne Validität. Das ist rückblickend,
wurde die Studie korrekt durchgeführt und sauber durchgeführt
Und dann gibt es Probleme der externen Validität, vorausschauend lassen sich
die Ergebnisse meiner Studie auf andere und zukünftige Kontexte anwenden.
Erstmal zur internen Validität. Es gibt viele, viele Probleme,
die auftreten können. Ich habe vorhin den Idealfall geschildert,
dass beide Gruppen genau gleich sind. In der Realität gibt es
viele Faktoren, die da einem einen Streich spielen können. Zum Beispiel,
wenn die Kontrollgruppe von dem Projekt erfährt,
kann es dazu führen, dass die Leute,
wenn es ein sehr oder vermeintlich gutes Projekt ist,
suchen in diesen Treatment-Bereich hineinzuziehen oder wenn sie wissen,
hier gibt es die guten Kliniken und hier gibt es die schlechteren,
dass sie sich dann nur noch bei den guten Kliniken behandeln lassen.
Das kann ein Problem sein. Dann gibt es den sogenannten Hawthorne-Effekt,
der Effekt besagt, dass die Treatment-Gruppe sich mehr Mühe gibt,
weil sie weiß, dass sie untersucht wird.
Und das Gegenstück dazu ist der sogenannte John-Henry-Effekt, dass die Kontrollgruppe,
sobald sie erfährt, dass sie auch untersucht wird,
sagt, die anderen werden untersucht und wir sind die Kontrollgruppe,
jetzt geben wir uns mehr Mühe hier.
Und sobald das der Fall ist, haben wir Probleme,
die Impacts, die wahren Impacts des Projekts
zu messen
Dann, das habe ich auch schon in der Praxis gesehen,
dass auf einmal Geber versuchen, andere Geberprojekte aufsetzen, die nur mit der Treatment-Gruppe gemacht werden.
Das würde natürlich auch unser Projekt stören und das ein bisschen kaputt machen.
Und dann, das ist auch schon passiert,
dass man Gespräche mit der Regierung führt, ein,
zwei Jahre und sagt, wir machen hier die Randomisierung so,
alle sind einverstanden und im letzten Moment sagen sie,
nee, wir machen es doch mit allen.
Und dann kann man eben nichts mehr herausfinden über das Projekt.
Das sind alles Probleme, die sich ergeben können
Dann gibt es Probleme der internen Validität, die zusammenhängen mit der Datenqualität und Messproblemen.
Das sind auch Probleme, die generell mit quantitativer Forschung zusammenhängen.
Nicht unbedingt nur mit ICTs. Ganz wichtig,
wenn man zum Beispiel Armut misst, ist zu definieren,
was ist eigentlich ein Haushalt. Das ist für uns klar,
aber in vielen Ländern ist eben die Definition eines Haushalts nicht so klar.
Im Norden Ghanas zum Beispiel gibt es viele Compounds und auch die Feel-Ehe,
dass ein Mann zwar mit bis zu vier Frauen verheiratet sind,
die jeweils ein Häuschen haben im Compound unterschiedlichen Armutsniveaus.
Das heißt, das eine Haus sieht besser aus als das andere.
Das Kochbesteck ist neuer als das andere. Das macht es
unheimlich schwer für solche quantitative Forschung eben zu sagen,
die Haushalte sind jetzt so reicher als die anderen, wenn es eben solche,
wenn die Konzepte nicht so eindeutig sind wie in westlichen Ländern.
Das Gleiche ist zum Beispiel, sieht man häufig mit Land und Besitz.
Als ich in Ghana war, 2011, war ich dabei,
wie wir Bauern interviewt haben und da haben wir gefragt,
wie viele Hühner besitzen sie?
Und da liefen überall Hühner rum. Und er sagte,
ja, eins oder zwei. Und da waren aber 30 Hühner,
haben wir gefragt, wem gehören denn die Hühner hier?
Dann sagt er, weiß ich auch nicht. Kann ich
mir nicht erklären. Wenn man eben nicht genau auf die
Daten achtet, das geht dann alles in die Statistiken ein.
Und das wird dann alles zusammengenommen. Und irgendwann taucht das
als die armen Statistik der Weltbank auf. Aber alle diese Daten kommen irgendwie von jemandem,
der mit einem iPad in den Dorf in Ghana versucht zu messen,
wie viel Hühner da rumlaufen und wem sie gehören.
Und da gibt es natürlich große Probleme,
weil die Leute, die interviewt werden, häufig denken,
sie müssen sich eher mal darstellen, als sie sind,
weil sie denken,
es könnte vielleicht noch ein schönes Projekt kommen,
wenn ich möglichst arm bin und so weiter
Dann Kollegen von mir, die mir im Agrarbereich arbeiten,
die sind sehr interessiert auch im Landbesitz, der auch häufig nicht klar geregelt ist.
Die haben sich dann überlegt, man könnte mal mit GPS,
man könnte den Bauanfragen, er soll mal sein Land ablaufen,
um zu messen, wie groß eigentlich sein Land ist.
Und dann haben sie festgestellt, dass da viele Bauern einfach das gleiche Land ablaufen.
Und das war dann auch für die Datenanalyse natürlich im Nachhinein sehr schwierig zu sagen, was sehen wir hier eigentlich? Letztlich ist auch Wahrnehmung von Zeitenproblemen,
Nicht alle haben Verständnis von Zeit wie wir und sagen von 9 bis 12 habe ich das gemacht und von 12 bis 3 habe ich das gemacht,
sondern da wird dann, ja,
muss man mit anderen Konzepten arbeiten, die mitunter die Datenqualität verschlechtern,
also wann ist die Sonne aufgegangen,
wann ist sie untergegangen, Geburtsjahre sind häufig schwierig,
da muss man sich orientieren an Naturkatastrophen oder sonstigen,
sonstigen Dingen, ist das kurz danach,
kurz davor passiert und so weiter und so fort.
Damit will ich nur sagen,
dass die Datenqualität sehr wichtig ist und es viele Faktoren gibt,
diese Datenqualität beeinträchtigen können
Dann gibt es gerade in Westafrika unheimlich viele Sprachen,
wir programmieren diese Fragebögen in Englisch und sind dann darauf angewiesen,
dass die im Feld übersetzt werden von den Leuten, mit denen wir zusammenarbeiten.
Wenn man aber 10, 12, 15 Sprachen hat,
die in einem Projektbereich sind,
dann kann man auch davon ausgehen,
dass es da Übersetzungsprobleme gibt oder Verständnisprobleme,
einige Konzepte existieren überhaupt nicht,
die wir uns in Washington ausdenken,
existieren überhaupt nicht im Feld und das geht auch alles dann
kreiert Probleme für die Datenqualität am Ende und die Vergleichbarkeit der Daten
Dann gibt es auch noch Regionen, die sehr unzugänglich sind,
zum Beispiel in der Regenzeit kann man da überhaupt nicht hinfahren und die Leute interviewen.
Das kann auch große Probleme machen, was eben die
interne Validität der Studie angeht. Das sind alles Probleme,
die zu tun haben mit der Qualität der Studie, der Datenqualität.
Noch spannenderes Thema und noch wichtiger eigentlich ist die sogenannte externe Validität.
Wir versuchen mit dieser Art der Forschung Vorhersagen zu treffen.
Wir versuchen Aussagen über die Zukunft zu treffen. Nutzen dafür
aber Daten der Vergangenheit. Das ist ein sehr altes Problem,
das sogenannte Induktionsproblem, formuliert auch von David Yoom und Karl Popper,
findet leider wenig Beachtung in dieser ACT-Forschung. Und wir sagen,
zum Beispiel in Metastudien, die es mittlerweile gibt,
da werden dann gesagt, wir nehmen alle Bildungsprojekte zusammen,
die mit ASCTs evaluiert werden und versuchen, ein Gesetz daraus abzuleiten,
was die Politiker nutzen können, wenn sie ihre Projekte gestalten.
Aber das Induktionsproblem eben sagt, besagt eben,
dass man nicht von Einzelfällen der Vergangenheit auf die zukünftige Entwicklung schließen kann.
Und diese Assoziation, die wir machen zwischen den Projekten,
wenn ich sage, hier in Kenia,
ist doch genauso wie das in Ghana, fünf Jahre früher,
dass diese Assoziationen sind eben menschlich und künstlich gemacht und diese Projekte müssen eigentlich de facto,
außer dass sie den gleichen Namen teilen, eigentlich nichts gemeinsam haben.
Das heißt, diese Metastudien oder wenn man versucht,
Studien zusammenzufassen, sind die in gewisser Weise ziemlich abiträr,
weil vielleicht wurde das eine Projekt von der NGO durchgeführt,
das andere von der Regierung,
das dritte von der Weltbank und Zeit und Kontext sind auch unheimlich wichtig,
wenn ich sie gefragt hätte, 2002,
wie hätten sie sich mit ihren Freunden verabredet oder wo kriegen sie ihre News her,
dann wären das ganz andere Antworten
als heutzutage
Daher muss man sich wirklich fragen, sind quantitative Studien aus der Vergangenheit?
Haben die überhaupt eine Aussagekraft für die Zukunft?
Gerade wenn es um das menschliche Zusammenleben geht,
um Gesellschaften, die sich doch sehr stark verändern können.
Und was gestern noch funktioniert, das funktioniert heute vielleicht nicht mehr.
Die Marktforschung hat damit auch große Probleme, die kommerzielle Marktforschung,
die ja eigentlich diese ASCTs noch viel häufiger benutzt,
als jetzt die EZ, wenn Opel ein neues Auto rausbringt,
dann wird das unheimlich getestet an verschiedene Varianten, verschiedene Farben,
verschiedene Designs.
Dann haben sie es rausgefunden, alle Studien sagen,
das muss rot sein und so groß und sportlich und dann
wird es auf den Markt gebracht und keiner kauft es
In den zwei Monaten dazwischen so viel passiert ist in der Gesellschaft,
dass sich die ganzen Studien von früher eigentlich, dass die eigentlich obsolet geworden sind.
Das will ich damit sagen. Zur Veranstaltung kurz noch,
dass die sogenannte Turkey-Falacy hier, der Trugschluss des Tutharns,
wenn man den Tutharn fragt, for thanksgiving,
das ist hier sein Happiness, seine Happiness-Kurve quasi,
geht immer nach oben und wenn man ihn jetzt kurz vor Thanksgiving fragt,
was meinst du, wie es weitergeht,
dann wird er wahrscheinlich sagen, das wird immer weitergehen,
mir geht es super,
ich kriege immer mehr zu essen,
bis dann eben der Tag X kommt und
alles ist vorbei sozusagen
Das ist eben immer die Gefahr, wenn man versucht,
genau, nur Daten aus der Vergangenheit zu nehmen,
um damit die Zukunft vorherzusagen, weil über Nacht kann sich alles ändern.
Und ich glaube, Herr Jakob hat mir zustimmen,
dass ja die, insbesondere die quantitative Sozialwissenschaft jetzt nicht besonders exzellent,
bisher die Zukunft voraussagen konnte.
Noch ein paar andere Punkte zu externen Validität,
diese RCTs können ja ein, zwei, drei,
vier Gruppen vergleichen, aber eben auch nicht mehr.
Das liegt immer an der Stichprobengröße,
je mehr Leute sie haben,
je mehr Einheiten,
desto mehr Fragen können sie auch beantworten
Aber die Methode ist nicht besonders gut, um jetzt auf heterogene Effekte einzugehen.
Das gleiche Problem haben sie auch in einer medizinischen Forschung,
wenn man ein Medikament testet, dann der Hauptvergleich ist,
die einen Leute bekommen das, die anderen bekommen Placebo,
aber wir wissen nicht innerhalb dieser Gruppen,
wie wirkt das Medikament auf die Leute oder in meinem Fall,
wie wirkt dieses EZ-Projekt auf die Menschen, die dort leben.
Das kann für den Durchschnitt ein Erfolg sein,
dann würden wir sagen, das ist erfolgreich,
wenn sich das Effekt, das Projekt im Durchschnitt bewährt,
aber es kann auch sein,
dass es für einige Leute katastrophale Folgen hat, genauso wie Medikamente.
Es kann sein, sie nehmen Herzmedikament,
was im Durchschnitt bahnbrechend ist,
aber für sie bedeutet das
das Ende
Das ist ein Problem aller dieser Studien, dass wenn man
da mehr Fragen stellen will, muss man die Stichproben wesentlich vergrößern.
Das vergrößert die Kosten und so weiter.
Dann ist das Timing der Datenerhebung, dieser Endline besonders wichtig.
Man geht implizit so ein bisschen davon aus, dass sich die Effekte linear fortsetzen.
Also ich starte mein Projekt und dann geht der Effekt,
setzt sich so weit fort oder ist gerade.
Aber wenn er sich in Wellen bewegt,
dann ist es natürlich unheimlich wichtig, wann messe ich eigentlich.
Das ist gerade in der arge Kultur sehr wichtig,
wo es Erntezeiten gibt und eine hohe Fluktuation. Und wenn ich ein Projekt aufsetze,
ja, im Sommer 2014 dann die Endline-Daten erhebt und dann ist gerade eine Dürre,
dann würde ich vielleicht sagen, das war total,
das Projekt war eine totale Katastrophe für,
aber dabei, dann regnet es zwei Wochen später,
alles geht nach oben und dann hätte ich zwei Wochen später gemessen,
wäre es ein phänomenaler Erfolg gewesen.
Und letztlich gibt es auch noch solche sogenannte General Equalibrium-Effekte.
Wenn ich zum Beispiel einen Arbeits, eine Arbeitsbeschaffungsmaßnahme mache oder ein Projekt,
was Jobs schaffen soll und das Projekt sagt,
in meiner Region hier im Süden sind unheimlich viele Jobs entstanden,
ja, wo sind die Jobs dann eigentlich hergekommen?
Sind die, wenn die ganzen Jobs dann im Norden fehlen,
dann habe ich zwar in meinem Projektbereich einen tollen Effekt,
aber in dem ganzen Land ist nicht geholfen,
weil sich die Jobs einfach nur verschoben haben vom Nord nach Süd,
aber ja, es wurde netto nichts erschaffen.
Und da wir nie Daten über das ganze Land erheben,
kann man da schwere Aussagen darüber treffen.
Was machen solche Studien und besonders erfolgreiche Projekte eigentlich mit so einem Equilibrium?
Dann gibt es noch das Problem der kleinen Fragen,
dass sich ACTs vorwerfen lassen müssen. Es können keine großen
Fragen gestellt werden. Man kann die Fiskalpolitik eines Landes,
die Verteidigungspolitik, die Steuerpolitik eines Landeslandes nicht in zwei Gruppen unterscheiden.
Daher sieht man auch eben viele ICTs in Bereichen,
die sich relativ leicht untersuchen lassen, im Bildungsbereich,
Gesundheitsbereich, wo mit Schülern, wo man mit Patienten arbeitet.
Angustiten sagt, man sucht die Schlüssel nur da,
wo das Licht am hellsten ist. Das ist natürlich ein Problem,
wenn man eben diese großen Fragen mit der,
wenn man einerseits sagt, diese Methode ist das ein und alles,
aber man kann eben diese ganz wichtigen Fragen eigentlich gar nicht damit untersuchen.
Da gab es in den letzten Monaten lustigen Austausch zwischen Bill Gates und dem Professor von der Yale-Universität Chris Bladman,
da hat Gates gesagt, die Lösung der viele Probleme wäre,
wenn wir mehr Hühner geben an die armen Bauern,
dann könnten die Eier verkaufen, Fleisch verkaufen und würden so bei Armutsfalle so entkommen können.
Und Chris Blatman hat gesagt, wieso machen wir nicht eigentlich,
wir brauchen nicht unbedingt Hühner geben, wir können einfach Geld geben,
also sogenannte Unconditional Cash Transfers. Und das ist eine Frage,
die man messen kann mit einem ACT, was ist erfolgreich,
um Armut zu bekämpfen, geben wir Geld,
geben wir Güter, in diesem Fall Hühner.
Und ein dritter Professor Land Bridget, der auch sehr kritisch ist,
hat gesagt, das ist eigentlich weder noch,
das ist eigentlich nicht die zentrale Frage.
Und der hat geschaut, der hat im Paper sich angeschaut,
Was sind die Einkommensunterschiede von Nigerianern in den USA und in Nigeria,
ohne Highschool-Abschluss, also ohne Abitur, ungelernte Arbeiter.
Und der hat herausgefunden, dass in den USA,
dass sie 16 mal mehr Geld verdienen mit der gleichen Ausbildung.
Und wenn man sich das anguckt, dann muss man natürlich sich fragen,
wie viel kann man eben mit solchen kleinen Fragen überhaupt erreichen,
wenn es da um marginale Beträge geht,
aber die großen Probleme eigentlich eine ganz andere sind.
Dass in Nigeria große Korruption herrscht, dass es da Ressourcenfallen gibt,
das juristische System nicht funktioniert und so weiter und so fort.
Das sind ganz andere Fragen, die was mit Governance zu tun haben,
die was mit dem politischen System zu tun haben.
Und allein deswegen schon, selbst wenn diese Methode sehr gut ist,
methodisch, kann sie eben nicht alle Probleme lösen,
weil die Probleme auf einer anderen Ebene liegen.
Dann kosten Evaluationen häufig sehr viel Geld. Das geht
bis in die Millionen. Ich habe an Studien gearbeitet,
die bis zu 1,5 Millionen kosten. Das Budget des D,
weil es war am Anfang, glaube ich,
fünf Millionen, damit kann man drei Studien durchführen.
Diese Art, wenn das sehr gute Studien,
sehr komplexe Studien sind, das sind natürlich ganz andere Dimensionen.
Da gibt es Geber, die sich dafür sehr interessieren und
auch dieses Geld bereitstellen. Aber man muss sich halt immer
fragen,
ist der Erkenntniswert gerechtfertigt
Einerseits ist Wissen, es fehlendes Wissen überhaupt das Schlüsselproblem.
Die Wissenschaft ist manchmal ein bisschen naiv und denkt,
dass Politiker in den Entwicklungsländern gewisse Projekte nicht aufsetzen,
weil sie nicht wissen, was richtig ist oder wie man es macht.
Dabei kann es an ganz anderen Gründen liegen,
dass die Politiker eben korrupt sind oder versuchen,
in einer gewissen ihrer Gruppe was zuzuspielen oder ganz andere Gründe.
Eine andere Kritik kommt von Angus Deton, der sagt,
der wirft diese Esther de Flo und der ganzen Szene so ein bisschen vor,
dass sie eben nur Fragen beantworten können, die eigentlich schon offensichtlich sind.
Er sagt, wir brauchen nicht untersuchen, ob man
einen Fallschirm braucht, wenn man aus dem Flugzeug springt.
Dafür braucht man kein ASCT durchführen, um sagen zu können,
dass das nützlich wäre, den zu benutzen.
Und dann dauern ASCTs eigentlich auch sehr lange, also schnelles Feedback,
wie das häufig versprochen wird, das ist selten möglich.
Also die Planungsphase dauert, bis zu ein Jahr,
dann wird das Projekt durchgeführt, das dauert ein bis zwei
Jahre und dann werden die Daten erhoben und analysiert,
das dauert auch noch mal lange. Oft arbeiten daran Wissenschaftler,
die auch publizieren wollen und die sitzen gerne sehr lange auf den Daten,
um alle möglichen Regressionsanalysen durchlaufen zu können und Quality-Checks zu machen und
ich sitze ein bisschen dazwischen und dann kommen auch manchmal E-Mails von der Regierung,
die sagen, ja, wann kommen denn endlich unsere Daten?
Und dann muss ich immer sagen, ja, unsere Wissenschaftler arbeiten noch dran,
weil die natürlich versuchen, ihre Artikel zu platzieren.
Und das ist manchmal, das Interesse ist so ein bisschen konträr,
wenn man sagt, man will hier schnelles Feedback an die Regierung geben.
Zum Beispiel interessant war in dem einen Projekt,
was ich vorhin besprochen habe, das Gesundheitsprojekt, ja,
in der Zwischenzeit hat die Regierung gewechselt. Das heißt,
die Lösung, die wir am Ende hatten, kam leider zu spät,
weil dann schon andere Regierungen an der Macht war,
präsident Buhari in Nigeria, der natürlich wieder eine ganz andere Agenda hatte,
der wollte auch nicht die Projekte fortführen,
ob sie funktionieren oder nicht, von der vorherigen Regierung,
der hat gesagt,
du musst alles neu machen
Und da haben wir natürlich jetzt gute Forschungsergebnisse,
aber ich sag mal, die Annahme davon ist so ein bisschen problematischer.
Letztlich gibt es natürlich ethische Fragen, die mit allen ASCTs zusammenhängen.
Die meisten dieser Studien müssen von dem sogenannten Institutional Reeview Board überprüft werden,
häufig im Land selbst und auch nochmal von der Universität.
Das ist besonders natürlich wichtig für ASCTs im Gesundheitsbereich,
wo man vermeintlich Interventionen aufsetzt, die sehr gute Effekte hat.
Das spielt auch wieder mit eine Rolle mit dieser Fallschirmproblematik.
Man muss wirklich gut begründen können, warum ein gewisser Test
gemacht werden soll
Und man anderen gute Gesundheitsleistungen vorenthält, dann muss der
das Erkenntnisinteresse schon sehr, sehr gut gerechtfertigt sein.
Andererseits können RCTs auch ethisch gut sein, wenn es eben um beschränkte Budgets geht.
Wir suchen häufig nach Fällen wohl eine Regierung oder eine Organisation nicht genügend Geld hat,
um, sage ich mal, alle in einem Bereich mit einem Projekt auszustatten,
dann versuchen wir zu argumentieren, dass es noch gut wäre,
eine Zufallsauswahl hier zu treffen.
Das ist eigentlich das fairste Prinzip, um zu sagen,
ihr bekommt das Projekt und ihr nicht
ACT oder die Leute, die sagen,
ACTs sind das Wahre, müssen sich natürlich auch vorwerfen lassen,
dass reiche Länder eigentlich ohne ACTs erfolgreich wurden.
Also ich glaube nicht, dass es in Deutschland je eine
ACT gab, was im Wesentlichen Politik beeinflusst hat.
In den USA gab es ein paar ACTs, die auch Einfluss hatten,
aber in der Masse eher nicht und auch Erfolgsgeschichten wie China,
Indien, da haben ACTs eigentlich eine relativ kleine Rolle gespielt.
Letztlich gibt es auch, was ich schon eben angesprochen habe,
eben diesen Konflikt Wissenschaft und Praktis RCTs werden häufig von eben Wissenschaftlern geleitet,
die auch ein hohes Interesse daran haben, interessante Studien zu veröffentlichen.
Oft sind diese Studien, aber nicht interessant für die Praktiker und umgekehrt.
Oder wir haben Fragen, die eine Regierung stellt,
die eigentlich für die Wissenschaft nicht interessant ist.
Da muss man immer ein bisschen verhandeln und einen Mittelweg finden.
Und dann letztlich gibt es auch das sogenannte P-Hacking und Publication Bias,
dass für ICTs eine Rolle spielt,
aber natürlich auch für alle quantitativen Studien,
dass eigentlich nur sich Dinge veröffentlichen lassen,
die einen positiven Effekt zeigen
In den Journals. Also wenn man Studien hat,
die keinen Effekt zeigen, woraus man auch sehr vielen lernen könnte,
die verschwinden häufig in der Schublade.
Dadurch ist eigentlich das, was man so liest in den Journals,
eigentlich keine gute Abbildung des Wissenstands allgemein. Also jeden Wissenschaftler,
den sie fragen, der hat wahrscheinlich noch einige Sachen in der Schublade,
die abgelehnt wurden, weil sie eben keine bahnbrechenden Erkenntnisse hervorgebracht haben.
Wenn man nur sagt, das funktioniert nicht oder ja,
so wie wir es immer gemacht haben,
ist eigentlich das Beste, dann kann man damit nicht veröffentlichen.
Und dann gibt es das sogenannte Peer-Hacking, was ziemlich verwerflich ist,
dass wie sie vielleicht wissen, ist ja diese,
es gibt ja diesen P-Wert von 0-5,
der wichtig ist, also als Signifikanzniveau.
Und wenn man sich mal, da hat auch jemand Untersuchungen gemacht und geguckt,
wo sind eigentlich alle AP-Werte? Eigentlich müssen sie nur normal verteilt sein,
aber da gab es eine überraschende Häufung von P,
wir hatten direkt über diesem Schwellenwert, was natürlich da,
ja, da kommt man ins Stocken und da liegt,
das liegt wahrscheinlich daran,
dass die Forscher einfach so viele Regressionen und Spezifikationen durchgelaufen haben,
dass es gerade signifikant wurde.
Gerade das hängt eben mit diesem Publik,
mit diesem Publication-Bias zusammen, weil Forscher eben,
wenn sie nur ehrlich sind und sagen,
das hat nicht funktioniert und meine Regression klappt nicht,
dann ist deren Karriere schnell vorbei
Gut, kommen wir zum Ende. Ich habe
schon viel geredet, zusammenfassend. ACTs haben es geschafft,
einen neuen Fokus auf dieses wichtige Thema der Kausalität zu setzen,
was eigentlich in den Dekaden davor kaum eine Rolle gespielt hat.
Das ist ein hoher Verdienst. ACTs sind nicht in allen Umständen
möglich oder sogar wünschenswert, aber sind ein gutes methodisches Werkzeug,
die mit der Anspruch der Methode, die Politik direkt zu beeinflussen,
ist meiner Meinung nach oft etwas zu groß.
Und es bleibt eigentlich dabei, dass einzelne Studien,
einzelne Wissenschaftler kaum einen Impact haben können,
aber eben die Menge macht den Unterschied.
Und es ist eben wichtig,
dass das mehr Studien gemacht werden und mehr gute Studien gemacht werden,
auch gerne mehr ACTs,
aber eben nur die Menge dieser Forschung kann eben einen Einfluss haben,
nicht unbedingt jede einzelne Studie.
Da ist der Anspruch der Wissenschaftler häufig größer.
Entscheidungen von Politikern sollten eben auf vielen Informationen fußen,
nicht ausschließlich auf ACTs, das ist die Befürworter dieser Methode sagen eben,
nur unsere Methode ist das einzig wahre,
das sehe ich anders
Oft haben wir das Problem, allerdings das Entscheider gar nicht so richtig,
diese Methoden verstehen können. Das wäre eben gut,
wenn Leute, die solche Dinge entscheiden und Politiken aufsetzen,
ein besseres Verständnis hätten, was sind gute Studien,
was sind schlechte Studien, was nehme ich mir raus,
was lasse ich lieber liegen,
da fehlt es noch so ein bisschen.
Ich hoffe, dass sich das auch noch ändert im Zuge
dieses Trends der Evident Space Policy.
Was auch gut wäre, um Architekties günstiger zu machen,
wäre mehr Zugang zu administrativen Daten, also regulären Daten.
Im Moment, zum Beispiel in unseren niegerianischen Kliniken,
da gibt es keine Daten, die wir verwerten können.
Es wäre eben gut, wenn wir da
reguläre Daten erheben könnten,
die automatisch erhoben werden
Als Teil des Monitorings, die man dann auch für die Forschung benutzen könnte,
dann muss man nicht jedes Mal eine Firma beauftragen,
die dort Leute mit Motorrädern hinschickt, die Daten erheben.
Wichtig ist eben, wie gesagt, schon diese Replikation,
dass man die Dinge wiederholt und versucht, Trends rauszufinden.
Leider ist das wissenschaftlich kaum attraktiv, architektiv zu wiederholen.
Und wie gesagt, man will immer was Neues machen. Dann würde ich auch sagen,
dass es wichtig ist, kleinere Ziele ins Auge zu fassen,
weil es eben sehr schwierig ist zu sagen,
Mein Projekt hat das End-Outcome beeinflusst,
also mein Lehrerbildungsprogramm hat hier die Matheergebnisse verbessert, aber es ist,
was wichtig wäre, einen Fokus zu haben auf Mechanismen.
Also wie schaffe ich es, Leute dazu zu bringen,
an mein Projekt teilzunehmen. Das ist immer ein riesiges Problem,
sogenannte Take-Up-Brades, dann kann das Projekt noch so gut sein,
die Leute haben keine Lust zu kommen.
Da gibt es verschiedene Wege,
das herauszufinden, die Elemente dieser Kausalkette zu analysieren,
um eventuell Gesetzmäßigkeiten herauszufinden und vielleicht nicht herausfinden,
aber denen näher zu kommen.
Wie funktionieren die Menschen,
da wissen wir noch relativ wenig
In den Bereich der Verhaltensökonomik, der zumindest in den USA
wahrscheinlich auch hier eher enorm an Popularität auch gewonnen hat.
Letztlich Projektleiter, da hatten Herr Hemmerling und ich auch schon drüber gesprochen.
Leider gibt es in der GZ nicht so viel Forschung,
wie ich mir das vorstellen würde.
Projektleiter sollten offen sein für Forschung und Forschungsergebnisse und jedes Mal,
wenn ein Projekt aufgesetzt wird, ist das eigentlich auch eine Möglichkeit,
da eine interessante Forschung dran anzusetzen.
Und man muss trennen, das ist auch ein wichtiger Faktor und
auch ein Problem in der Weltbank zwischen der Evaluation des Projektmechanismus und der Leistung des Projektleiters.
Oft wird das vermischt, das heißt, wenn ein Projekt
nicht funktioniert, wird gesagt, der Projektleiter war schlecht.
Dabei kann es einfach nur sein, dass der Mechanismus,
der benutzt wurde, nicht funktioniert.
Das heißt, man kann einen sehr guten Projektleiter haben,
aber dessen Projekte zeigen überhaupt keine Effekte. Das lag ja nicht daran,
dass der sein Projekt schlecht gemanagt hat, sondern dass alle Mechanismen,
die ausprobiert wurden, eben nicht funktionieren. Und das heißt,
ja, diese Organisation müssen es eben schaffen,
diese Trennung auch zu verstehen und zu sagen,
wenn wir einem Projektleiter sagen,
mach Lehrerausbildung in Ghana und es funktioniert alles nicht,
hat das nichts damit zu tun,
dass der Projektleiter schlecht ist,
sondern dass eben dieser Mechanismus nicht funktioniert
Das war's von mir. Weitere Informationen gerne direkt per E-Mail
an mich oder jetzt in der Diskussion. Ich habe meine Masterarbeit
auch als kleines Buch veröffentlicht, ein bisschen schamlose Selbstwerbung hier.
Das ist in der Bibliothek der Sozialwissenschaften hier im Pferdestall zu haben.
Da bespreche ich das alles, was ich heute gesagt habe, auch nochmal.
Das Papier, was Herr Jakob halt ansprach am Anfang,
es ist leider noch in der Schublade.
Das kommt vielleicht auch nochmal irgendwann ans Licht und da
sind dann auch noch mehr Informationen drin.
Ja, ich habe jetzt viel geredet, vielen Dank für
die Aufmerksamkeit.
Falls noch Fragen bestehen