Year: 2020
Type: report
Abstract: Diese Studie geht der Frage nach, in welcher Form öffentliche Unterstützungsmaßnahmen getroffen werden können, um im Feld der FTI-Politik-Evaluierung in Österreich die Kapazitäten für die Entwicklung, Aneignung und Anwendung von avancierten Methoden zu erhöhen. Den Hintergrund dafür bilden zunehmend komplexe Konzepte und Interventionsformen in vielen FTI-Systemen. Daher drohen bestehende Routinen, Methoden, Indikatoren und Datensätze sowie Auftragsformen für Evaluierungen ihre Grenzen zu erreichen und die Konkurrenzfähigkeit von Akteuren jedenfalls auf internationalen Märkten einzuschränken. Der österreichische Markt für FTI-Evaluierungen ist sehr klein, von kleinstrukturierten Aufträgen ebenso geprägt wie von einer wachsenden Zahl von Anbieter*innen aus dem Inland und teils auch aus dem Ausland. Das Hauptprodukt sind Evaluierungen zu einzelnen FTI-Förderprogrammen. Seltener werden Arbeiten beauftragt, die auf Institutionen, größere thematische Felder oder das FTI-System insgesamt abzielen. Die Anbieter*innen kommen überwiegend aus dem Feld der privatwirtschaftlichen oder (halb-)öffentlichen außeruniversitären Sozialwissenschaften. Dieser Community ist es auch gelungen, einen USP zu erlangen und diesen teils auch in EU- und andere internationale Aufträge umzumünzen. Der akademische Sektor hingegen ist sehr schwach ausgeprägt und stellt weder für FTI-Politikgestaltung noch für ihre Evaluierung nennenswerte Kapazitäten bereit. Das erwähnte „Hauptprodukt“ Programmevaluierung steht auch deshalb sehr stark im Vordergrund, weil in der heimischen FTI-Politik das Instrument des abgegrenzten, lang fortgeführten Förderprogramms dominiert, das in der Ownership von einzelnen Ministerien und / oder Agenturen steht. An diesem Instrument wird gelernt und Legitimierung gesucht und es beeinflusst die gewählten Pfade und Methoden bei Evaluierungen. Die Legitimierung erfolgt überwiegend gegenüber den relevanten Mitspieler*innen im Policy-System und auf einer Datenbasis, die von schweren Restriktionen geprägt ist, soweit es sich um staatlich erhobene (Register- oder Mikro-)Daten handelt. Hier setzt auch die Analyse an: Was steht für die österreichischen Policy-Akteure im Vordergrund, wenn sie tätig sind, und welche Werkzeuge schaffen sie sich bzw. bekommen sie in die Hand gegeben? Studien und Evaluierungen (von der Systemevaluierung bis zum OECD Review) beobachten eine Vielfalt von Interventionsformen, freilich auf einer schmalen Bandbreite. Diese schmale Bandbreite und die zahlreichen kleineren Programme determinieren dann die Art und Methodenwahl der Evaluierungen. Daher scheint es auch keine bedeutende Diskrepanz zwischen Angebot und Nachfrage zu geben. Dem steht ein stärker werdender internationaler Trend gegenüber, der in Richtung Missionen, breiteren Instrumenten, stärkerer Datenorientierung und stärkerer gesellschaftlicher Legitimation geht. Das bedingt und ermöglicht andere Formen der Evaluierung, was sich auch in den untersuchten internationalen Beispielen zeigt: Andere Methoden, andere und umfangreichere Evaluierungen sind möglich, weil ein anderes Policy-Verständnis möglich ist, nämlich größere, zusammenhängende Probleme angehen zu wollen und dazu auch Sektor- und Organisationsgrenzen besser überwinden zu wollen. Dieser internationale Trend kommt in Österreich nur zögerlich und noch kaum auf der Instrumentenebene an. Für Österreich bietet nun die im Juli 2020 in Kraft gesetzte Forschungsfinanzierungsnovelle, namentlich das Forschungsfinanzierungsgesetz (FoFinaG) eine vielversprechende Möglichkeit, einen nächsten Schritt in Richtung Programmgestaltung und Evaluierung zu setzen. In den nächsten Monaten wird entlang der Stationen Strategie – FTI-Pakt – Finanzierungsvereinbarungen auch zu verhandeln sein, was passieren soll, mit welchen Instrumenten die Ziele erreicht werden sollen, ob die principal- oder die agent-Ebene die Programm-Ownership bzw. die über die Evaluierungen haben werden. Wie auch immer das Ergebnis im Einzelnen aussehen wird: Ein klarerer Interventions- und Evaluierungsrahmen kann auf verschiedene Weisen hergestellt werden; wichtig ist, dass er hergestellt wird. Die Evidenz für diese Studie wurde überwiegend durch Desktop-Recherche und gut 20 Interviews zusammengetragen. Die Interviews erfolgten hauptsächlich mit Vertreter*innen österreichischer Evaluierungsanbieter*innen und -nachfrager*innen, mit Datenexpert*innen sowie mit internationalen Auskunftspersonen. Die Gespräche mit den österreichischen Interviewpartner*innen erfolgten entlang semi-strukturierter Fragebögen, die auf Rahmenbedingungen, Methoden- und Datenfragen eingingen. Die Interviews zeigen die große Bedeutung eines besseren Datenzugangs ebenso auf wie die Notwendigkeit anderer Policy Zugänge, um methodische Innovationen zu ermöglichen bzw. zum Einsatz zu bringen. Innerhalb der dominanten Form der Einzelprogramm-Evaluierungen werden deskriptive Statistik und qualitative Methoden wie Interviews und Surveys als das Grundgerüst angesehen und auch für die nächsten Jahre erwartet. Das Potenzial neuerer Methoden etwa aus dem Bereich der Data Sciences ist für viele der Befragten hingegen noch nicht offensichtlich. Schließlich besteht eine weitgehende Skepsis bei den Befragten, was ein sehr spezifisches, maßgeschneidertes Methodenentwicklungsörderprogramm für die Community betrifft. Diese Studie liefert somit auch kein Programmdesign – insbesondere vor dem Hintergrund, dass (i) objektive Gründe (Marktgröße, Teilnehmer*innenzahl, Transferierbarkeit von Ergebnissen, langfristige Wirkungen, etc.) dagegen sprechen sowie (ii) die Bandbreite der Haltungen der Interviewpartner sehr groß und über weite Strecken eben von Skepsis geprägt ist.
Authors: WWTF, Michael Stampfer, Michael Strassnig
Language: German
Field: Decision Sciences
Domain: Social Sciences
Open Access status: gold
OpenAlex ID: W4205974196