Im Jahresgutachten 2024 der Expertenkommission Forschung und Innovation (EFI) haben wir uns in Kapitel A 2 kritisch mit der Praxis der Wirkungsmessung im Rahmen der Evaluierung von Maßnahmen der Forschungs- und Innovationspolitik (F&I-Politik) in Deutschland auseinandergesetzt. Dazu haben wir 81 veröffentlichte Evaluationsstudien aus den Zuständigkeitsbereichen des BMBF und des BMWK gesichtet. Unsere Auswertung ergab, dass die Mehrzahl dieser Studien zwar Aussagen über kausale Effekte der untersuchten Maßnahmen trifft, diese Aussagen aber nur in wenigen Fällen auf belastbaren kausalanalytischen Verfahren der Wirkungsmessung basieren. Es zeigte sich auch, dass alle Studien, in denen Aussagen über die Effekte der untersuchten Maßnahmen getroffen wurden, zu einer teilweise oder vollständig positiven Einschätzung der Effektivität gelangen.

Wir freuen uns, dass unsere Ausführungen zur Kausalanalyse von Maßnahmeneffekten der F&IPolitik auf erhebliche Aufmerksamkeit gestoßen sind. Dabei gehört es zu den guten Gepflogenheiten des wissenschaftlichen Austauschs, dass sich andere Wissenschaftlerinnen und Wissenschaftler kritisch mit unseren Überlegungen auseinandersetzen. Daher begrüßen wir, dass die Kolleginnen und Kollegen vom Fraunhofer-Institut für System- und Innovationsforschung (ISI) ihre Einschätzung zu unseren Ausführungen abgegeben haben.

Wie die Kolleginnen und Kollegen des ISI schreiben, sind wir uns in der Wahrnehmung der Evaluationspraxis in vielen Punkten einig, unter anderem darin, wie wichtig die Veröffentlichung von Evaluationsstudien für die Transparenz in der F&I-Politik ist, und darin, dass mehr und bessere Daten für Evaluationen zur Verfügung stehen sollten. Mit Schwierigkeiten beim Datenzugang haben wir ja auch selbst in unserer eigenen Forschungsarbeit häufig zu kämpfen. Zugleich gibt es einige Aspekte in der Einschätzung des ISI, die wir nicht vollständig teilen und die für uns auch auf Missverständnisse hindeuten. Um zur Klärung beizutragen, wollen wir im Folgenden einige spezifische Punkte der Einschätzung des ISI aufgreifen. Wir verbinden damit auch die Hoffnung, zur Verbesserung der Voraussetzungen für belastbare Wirkungsanalysen beizutragen.

Evaluation ist mehr als nur Wirkungsmessung
Die Kolleginnen und Kollegen des ISI betonen zu Recht, dass Evaluationen vielfältige Zielsetzungen verfolgen und dass Evaluation weit mehr bedeutet als nur Wirkungsmessung. Über die von uns diskutierten Wirkungsanalysen hinaus können Ex post-Evaluationen zweifellos weitere wertvolle Erkenntnisse generieren, etwa hinsichtlich förderlicher Anfangs- und Rahmenbedingungen. Wir sind uns mit den Kolleginnen und Kollegen des ISI ebenso darin einig, dass Ex-post-Evaluationen gerade bei einer missionsorientierten und transformativen F&I-Politik häufig durch begleitende Evaluationen ergänzt werden müssen. Evaluationen dieser Art ermöglichen Politiklernen durch die Generierung von Implementierungswissen, durch Erfahrungsaustausch oder auch durch die direkte Unterstützung von geförderten Akteuren und ihren Vorhaben. Solche anderen Formen und Ergebnisse von Evaluationen ergänzen die Wirkungsanalyse, die im Fokus unserer Betrachtung stand, können sie aber nicht ersetzen. Derartige Evaluationen alleine sind für das (Politik-)Lernen über die Effektivität von Maßnahmen jedoch nicht ausreichend.

Keine Wirkungsaussagen ohne belastbare Wirkungsmessung
Ebenfalls zu Recht weisen die Kolleginnen und Kollegen des ISI auch darauf hin, wie schwierig es in der Evaluationspraxis sein kann, eindeutige Ursache-Wirkungs-Zusammenhänge zu identifizieren – sei es z.B., weil die Effekte verschiedener Maßnahmen nicht isoliert werden können oder weil Maßnahmen zeitverzögert wirken. Die Kolleginnen und Kollegen des ISI sprechen sich angesichts dieser Schwierigkeiten, die auch wir im EFI-Gutachten benannt haben, dafür aus, von einer Attributionslogik (d.h. welchem Impuls ist eine Wirkung zuzuschreiben?) zu einer Kontributionslogik (d.h. welche Faktoren erhöhen die Wahrscheinlichkeit einer Wirkung?) überzugehen und damit letztlich vom Anspruch abzurücken, eindeutige Ursache-Wirkungs-Zusammenhänge zu identifizieren. Es sei an dieser Stelle die Frage erlaubt, wie es bei einer reinen Kontributionslogik gelingen kann, Faktoren zu identifizieren, die die Wirkungswahrscheinlichkeit einer Maßnahme beeinflussen, wenn man den Ursache-Wirkungs-Zusammenhang zwischen Maßnahme und Wirkung nicht empirisch belegt vor Augen hat. Davon abgesehen ist die Abkehr von Wirkungsanalysen ein gangbarer und wissenschaftlich legitimer Weg, und wie in der Stellungnahme des ISI gezeigt wird, wird er auch international häufig beschritten.

Aber: Wenn man den Anspruch aufgibt, kausale Effekte zu identifizieren, dann darf man unserer Auffassung nach auch keine Aussagen über kausale Effekte treffen. Dass diese Konsequenz in der Praxis häufig nicht gezogen wird, zeigt unsere Auswertung von Evaluationsstudien für das Jahresgutachten 2024. Dieser Befund erscheint uns problematisch. Denn wenn Maßnahmen ohne ausreichende empirische Basis Effektivität attestiert wird, gibt es für die Politik keinen Grund, diese
Maßnahmen weiterzuentwickeln oder ggf. auch aufzugeben. In diesem Fall unterbleibt genau die Form von Politiklernen, die im Zentrum unserer Überlegungen stand: das Lernen aus der kritischen Reflexion beobachteter und bemessener Maßnahmeneffekte.

Wirkungsmessung möglich machen
Die Schlussfolgerungen, die die Kolleginnen und Kollegen des ISI aus den praktischen Hürden bei der Identifizierung kausaler Effekte ziehen, scheinen uns darüber hinaus zu defensiv – nicht nur, weil bei der Kausalanalyse ein rapider Methodenfortschritt zu verzeichnen ist, sondern vielmehr auch, weil die Möglichkeiten der Wirkungsmessung häufig nicht naturgesetzlich vorgegeben sind, sondern durch die Art einer Maßnahme und deren konkrete Ausgestaltung beeinflusst werden. Die Bedingungen für aussagefähige Kausalanalysen müssen daher bereits bei der Maßnahmenplanung geschaffen werden. Wie wir im EFI-Gutachten ausführen, sehen wir in diesem Punkt erheblichen Handlungsbedarf, etwa hinsichtlich der Schaffung einer geeigneten Datengrundlage.

Im Einzelfall stehen Kausalanalysen häufig erheblichen Herausforderungen gegenüber. Möglicherweise ist eine Wirkungsmessung nicht für jede einzelne Maßnahme eines Maßnahmenbündels möglich und sinnvoll, etwa im Kontext der missionsorientierten F&I-Politik. Dies schließt aber nicht aus, etwa mittels eines internationalen Vergleichs auf aggregierter Ebene zu untersuchen, inwieweit die Missionsziele durch das Zusammenspiel der Maßnahmen erreicht werden. Dabei müssen die Maßnahmeneffekte, anders als die Kolleginnen und Kollegen des ISI vermuten, nicht zwingend ökonomischer Natur sein, um quantifizierbar zu sein. Eine weitere Herausforderung sind Langfristeffekte. Um diese Langfristeffekte zu identifizieren, bedarf es möglicherweise eines längeren Beobachtungszeitraums, als für einen konkreten Evaluationsauftrag zur Verfügung steht. Nichts spricht aber dagegen, Daten so zu erheben und vorzuhalten, dass sie für spätere Analysen weitergenutzt werden können. Auch wenn viele Herausforderungen durch geeignete Untersuchungsdesigns bewältigt werden können, wird eine belastbare Kausalanalyse sicherlich nicht in jedem Fall möglich sein. In solchen Fällen können ersatzweise weniger „harte“ Verfahren genutzt werden. Dies sollte aber – wie im EFI Gutachten angemahnt – durch die konkreten Umstände des Einzelfalls begründet und bei der Interpretation der Ergebnisse angemessen berücksichtigt werden.

Mehr Kausalanalyse wagen
Die Kolleginnen und Kollegen des ISI schließen ihre Stellungnahme mit der Sorge, ein Beharren auf belastbaren Kausalanalysen der Maßnahmeneffekte in der F&I-Politik könne dazu führen, dass nur noch kleinteilige Maßnahmen mit einfach messbaren Effekten umgesetzt würden. Diese Sorge halten wir für die aktuelle Praxis der deutschen F&I-Politik für eher unbegründet. Wir beobachten, dass das Potenzial experimenteller und quasi-experimenteller Untersuchungsdesigns, häufig verbunden mit einem umfassenden Zugang zu administrativen Daten auch auf disaggregierter Ebene, etwa in den USA und dem Vereinigten Königreich besser ausgenutzt wird als bei uns, unter anderem auch durch Randomisierungselemente bei der Maßnahmenteilnahme. Indem man die wirtschafts- und sozialwissenschaftliche Forschung in die Implementierung solcher Maßnahmen einbindet, kann zugleich auch deren Fokus auf die Details von Interventionen (also das, was Esther Duflo als die „Klempnerarbeit" der Wirtschaftsforschung bezeichnet hat) gestärkt werden, was die Entstehung von Umsetzungswissen fördert. Auch in Deutschland sollte es möglich sein, das Potenzial für belastbare Kausalanalysen von Maßnahmeneffekten der F&I-Politik besser zu nutzen. Hierfür kann sowohl auf die umfangreiche Expertise zurückgegriffen werden, die in den Ministerien bereits vorhanden ist, als auch auf das Wissen und die Erfahrung externer Expertinnen und Experten.

Die PDF-Version können Sie hier runterladen.