11. Nutzung von Innovationsdaten für statistische Indikatoren und Analysen
Dieses Kapitel enthält Leitlinien zur Nutzung von Innovationsdaten für die Erstellung von Indikatoren sowie die Durchführung von statistischen und ökonometrischen Analysen. Es stellt ein Grundkonzept für die Erstellung von Innovationsindikatoren nach Themenbereichen vor, das auf den Empfehlungen der vorangegangenen Kapitel aufbaut. Die Leitlinien in diesem Kapitel richten sich in erster Linie an öffentliche Stellen und andere Nutzer von Innovationsdaten, wie z. B. Politikberater*innen und Wissenschaft-ler*innen. Sie sollen aber auch Produzenten von Innovationsdaten helfen, besser zu verstehen, wie ihre Daten genutzt werden oder genutzt werden könnten. Das Kapitel enthält außerdem Vorschläge für künftige experimentelle Ansätze und die Nutzung von Innovationsdaten in Politikanalysen und -evaluierungen. Ziel ist es letztlich, zu gewährleisten, dass Innovationsdaten, -indikatoren und -analysen Entscheidungsträger*innen im öffentlichen und privaten Sektor nützliche Informationen liefern und dabei Vertrauen und Vertraulichkeit gewahrt bleiben.
11.1. Innovationsdaten können verwendet werden, um Indikatoren zu erstellen und multivariate Analysen des Innovationsverhaltens und der Innovationsleistung vorzunehmen. Innovationsindikatoren liefern statistische Informationen zu Innovationsaktivitäten, Innovationen, den Umständen, unter denen Innovationen entstehen, und den Auswirkungen von Innovationen auf innovative Unternehmen und die Wirtschaft. Sie sind nützlich für die explorative Analyse von Innovationsaktivitäten, für die Erfassung der Innovationsleistung im Zeitverlauf und für den Vergleich der Innovationsleistung von Ländern, Regionen und Wirtschaftszweigen. Anhand von multivariaten Analysen lässt sich die Bedeutung verschiedener Faktoren ermitteln, die für Innovationsentscheidungen, -outputs und -ergebnisse maßgeblich sind. Da Indikatoren für die breite Öffentlichkeit und viele politische Entscheidungsträger*innen leichter zugänglich sind als multivariate Analysen, werden sie häufig in der Medienberichterstattung über Innovationsthemen verwendet. Dies kann die öffentliche und politische Debatte über Innovation beeinflussen und den Bedarf an zusätzlichen Informationen erhöhen.
11.2. Das vorliegende Kapitel befasst sich mit der Erstellung, dem Einsatz und den Grenzen von Innovationsindikatoren. Die Inhalte richten sich sowohl an öffentliche Stellen als auch an andere Nutzer von Innovationsdaten, wie z. B. Politikberater*innen und Wissenschaftler*innen, die Innovationsindikatoren besser verstehen oder selbst neue Indikatoren erstellen möchten. Die Ausführungen zu multivariaten Analysen richten sich an Forschende, die Zugang zu Mikrodaten über das Innovationsgeschehen haben, und an Politikberater*innen. Das Kapitel enthält zudem Vorschläge für künftige experimentelle Ansätze. Ziel ist es letztlich, zu gewährleisten, dass Innovationsdaten, -indikatoren und -analysen den Entscheidungsträger*innen im öffentlichen wie auch im privaten Sektor nützliche Informationen liefern, wie in Kapitel 1 und 2 erörtert wird.
11.3. Die Leitlinien und Vorschläge für Indikatoren und Analysen in diesem Kapitel beziehen sich hauptsächlich auf Daten, die im Rahmen von Innovationserhebungen erfasst werden (vgl. Kapitel 9), sind jedoch auch für Daten gültig, die aus anderen Quellen stammen. Letztere können Analysen in manchen Fällen erheblich verbessern, wie z. B. bei der Untersuchung der Auswirkungen von Innovationsaktivitäten auf die Ergebnisse (vgl. Kapitel 8) oder des Einflusses des externen Umfelds eines Unternehmens auf die Innovationstätigkeit (vgl. Kapitel 6 und 7).
11.4. In Abschnitt 11.2 werden die statistischen Daten und Indikatoren zu Innovationen im Unternehmenssektor konzeptualisiert sowie die erwünschten Merkmale und die wichtigsten verfügbaren Datenbestände erörtert. Abschnitt 11.3 befasst sich mit den Methoden zur Erstellung von Innovationsindikatoren und deren Aggregation anhand von Dashboards, Scoreboards und zusammengesetzten Indizes. Gestützt auf die Empfehlungen der vorangegangenen Kapitel wird in Abschnitt 11.4 ein Grundkonzept für die Erstellung von Innovationsindikatoren nach Themenbereichen vorgestellt. Abschnitt 11.5 setzt sich mit multivariaten Analysen von Innovationsdaten auseinander. Der Fokus liegt dabei auf der Analyse von Innovationsergebnissen und Politikevaluierungen.
11.2.1. Was sind Innovationsindikatoren und wozu dienen sie?
11.5. Ein Innovationsindikator ist eine statistische summarische Messgröße eines Innovationsphänomens (Aktivität, Output, Aufwendungen usw.), das in einer Grundgesamtheit oder einer Stichprobe daraus zu einem bestimmten Zeitpunkt oder an einem bestimmten Ort beobachtet wird. Indikatoren werden in der Regel bereinigt (oder standardisiert), um Vergleiche zwischen Einheiten zu ermöglichen, die sich in der Größenordnung oder anderen Merkmalen unterscheiden. Ein aggregierter Indikator für nationale Innovationsausgaben in Prozent des Bruttoinlandsprodukts (BIP) wird beispielsweise in Relation zur Größe der einzelnen Volkswirtschaften gesetzt (Eurostat, 2014; UNECE, 2000).
11.6. Amtliche Statistiken werden von Einrichtungen, die Teil eines nationalen statistischen Systems sind, oder von internationalen Organisationen erstellt. Ein nationales statistisches System liefert staatlichen Stellen amtliche Statistiken. Diese Statistiken werden in der Regel innerhalb eines Rechtsrahmens und im Einklang mit Grundprinzipien erstellt. Dadurch werden fachliche Mindeststandards, Unabhängigkeit und Objektivität gewährleistet. Die Einrichtungen eines nationalen statistischen Systems können auch nicht amtliche Statistiken veröffentlichen, wie z. B. die Ergebnisse von experimentellen Studien. Statistiken über Innovationen und verwandte Phänomene sind in vielen Ländern sukzessive zu einem Kernelement des nationalen statistischen Systems geworden, selbst wenn sie nicht von den nationalen Statistikämtern erstellt werden.
11.7. Innovationsindikatoren können aus einer Vielzahl von Datenquellen erstellt werden, darunter auch solche, die nicht explizit für die statistische Messung von Innovationen konzipiert worden sind. Relevante Quellen für die Erstellung von Innovationsindikatoren sind u. a. Innovations- und ähnliche Erhebungen, Verwaltungsdaten, Fachpublikationen, das Internet usw. (vgl. Kapitel 9). Die wachsende Menge an Daten, die online und in anderen digitalen Umgebungen generiert oder zur Verfügung gestellt werden, lässt vermuten, dass in Zukunft verstärkt multiple Datenquellen zur Erstellung von Innovationsindikatoren herangezogen werden. Die zunehmenden Automatisierungsmöglichkeiten im Bereich der Datenerfassung, -kodifizierung und -analyse sind ein weiterer wichtiger Faktor, der zur Ausweitung der Möglichkeiten der Datenbeschaffungsstrategien beiträgt.
11.8. Obwohl sie vermehrt in Unternehmen und für sonstige Zwecke eingesetzt werden, sind insbesondere aus amtlichen Quellen stammende Indikatoren für Innovationen im Unternehmenssektor in der Regel konzipiert, um Diskussionen in Politik und Gesellschaft zu bereichern. Sie können z. B. dazu dienen, Fortschritte bei der Verwirklichung eines Politikziels aufzuzeigen (National Research Council, 2014). Die Indikatoren selbst können zudem Einfluss auf Unternehmen haben, beispielsweise wie Manager*innen in Befragungen antworten. Eine Evaluierung mehrerer Innovationsindikatoren kann zusammen mit anderen Arten von Informationen Nutzern helfen, ein breites Spektrum an Innovationsphänomenen besser zu verstehen.
11.2.2. Erwünschte Merkmale von Innovationsindikatoren
11.9. Zu den erwünschten Merkmalen von Innovationsindikatoren zählen, wie in Tabelle 11.1 zusammengefasst, Relevanz, Genauigkeit, Zuverlässigkeit, Aktualität, Kohärenz und Zugänglichkeit. Die Auswahl der Kriterien für Innovationsindikatoren erfolgt in allen Phasen der Statistikerstellung, insbesondere bei der Konzeption und Durchführung von Innovationserhebungen, was die Datenqualität stark beeinflussen kann (vgl. Kapitel 9). Um sachdienlich zu sein, müssen Indikatoren mehrere Qualitätskriterien erfüllen (Gault [Hrsg], 2013). Beispielsweise sind exakte, verlässliche und zugängliche Indikatoren nur von begrenztem Nutzen, wenn sie nicht rechtzeitig zur Verfügung gestellt werden, um in Politikdiskussionen oder -entscheidungen berücksichtigt werden zu können.
11.2.3. Empfehlungen und Datenbestände für Innovationsindikatoren
Grundprinzipien
11.10. Gemäß den allgemeinen statistischen Grundprinzipien (UN, 2004) müssen Statistiken über Innovationen im Unternehmenssektor sachdienlich sein und auf unparteiischer Basis öffentlich zugänglich gemacht werden. Es wird empfohlen, dass die nationalen Statistikämter und andere Stellen, die Innovationsdaten sammeln, für die Präsentation ihrer aggregierten Ergebnisse ein einheitliches Format verwenden und mit Daten aus Innovationserhebungen ebenso verfahren. Die Daten sollten nach Wirtschaftszweig und Unternehmensgröße aufgeschlüsselt werden, sofern Vertraulichkeit und Qualitätsstandards gewahrt sind. Diese Daten sind die Grundbausteine für die Erstellung von Indikatoren.
Internationale Vergleiche
11.11. Das Nutzerinteresse an Vergleichsstudien macht international vergleichbare Statistiken erforderlich. Ihre Vergleichbarkeit kann weiter erhöht werden, wenn die Statistikämter die in diesem Handbuch enthaltenen Konzepte, Klassifikationen und Methoden anwenden. Durch ihre Teilnahme an regelmäßigen Datenerhebungen von internationalen Organisationen, wie Eurostat, die OECD und die Vereinten Nationen, tragen die Länder ebenfalls zur Gewinnung vergleichbarer Innovationsdaten bei.
11.12. Wie in Kapitel 9 dargelegt, kann die internationale Vergleichbarkeit von Innovationsindikatoren, die auf Erhebungsdaten basieren, durch Unterschiede im Erhebungsdesign und in der Erhebungsdurchführung beeinträchtigt werden (Wilhelmsen, 2012). Derartige Unterschiede bestehen u. a. zwischen verpflichtenden und freiwilligen Erhebungen sowie im Erhebungs- und Fragebogendesign, bei den Follow-up-Verfahren und der Länge des Beobachtungszeitraums. Innovationsindikatoren, denen andere Arten von Datenquellen zugrunde liegen, weisen möglicherweise ebenfalls Vergleichbarkeitsprobleme auf, beispielsweise im Erfassungsbereich oder bei den Anreizen zur Datenbereitstellung.
11.13. Ein weiterer Faktor, der die Vergleichbarkeit beeinträchtigt, ergibt sich aus nationalen Unterschieden bei den Innovationsmerkmalen hinsichtlich der durchschnittlichen Neuartigkeit von Innovationen und der Märkte, die von den Unternehmen überwiegend bedient werden. Angesichts dieser kontextuellen Unterschiede ist bei der Interpretation von Indikatordaten für verschiedene Länder ebenfalls Vorsicht geboten.
11.14. Einige der Probleme, die durch Unterschiede in der Methodik oder bei den Innovationsmerkmalen bedingt sind, können durch Datenanalysen behoben werden. So kann beispielsweise ein Land, in dem der Beobachtungszeitraum ein Jahr beträgt, Paneldaten (sofern verfügbar) verwenden, um Indikatoren für einen Dreijahreszeitraum zu schätzen. Aus anderen Forschungsarbeiten sind Profilindikatoren hervorgegangen (vgl. Unterabschnitt 3.6.2), die den Vergleich der nationalen Unterschiede bei der Neuartigkeit von Innovationen und Märkten durch Hauptindikatoren, wie z. B. dem Anteil innovativer Unternehmen, verbessern (Arundel und Hollanders, 2005).
11.15. Soweit es möglich und sachdienlich ist, wird empfohlen, Methoden zur Verbesserung der internationalen Vergleichbarkeit von Indikatoren zu erarbeiten, insbesondere von weithin genutzten Hauptindikatoren.
Internationale Ressourcen
11.16. Kasten 11.1 führt drei Quellen für international vergleichbare Innovationsindikatoren an, die sich ganz oder teilweise an den Leitlinien des Oslo-Handbuchs orientieren und zum Zeitpunkt der Veröffentlichung dieses Handbuchs verfügbar waren.
Indikatoren-Datenbank der Innovationserhebung der Gemeinschaft (CIS) von Eurostat
Innovationsindikatoren aus der CIS für ausgewählte Mitgliedsländer des Europäischen Statistischen Systems (ESS): http://ec.europa.eu/eurostat/web/science-technology-innovation/data/database.
Ibero-American/Inter-American Network of Science and Technology Indicators (RICYT)
Innovationsindikatoren für das Verarbeitende Gewerbe und die Dienstleistungsbranchen für ausgewählte iberoamerikanische Länder: www.ricyt.org/indicadores.
OECD Innovation Statistics Database
Innovationsindikatoren für ausgewählte Wirtschaftszweige in OECD-Mitgliedsländern und Partnervolkswirtschaften, einschließlich der im OECD Science, Technology and Industry Scoreboard aufgeführten Länder: http://oe.cd/inno-stats.
Innovationsdaten des UNESCO Institute for Statistics (UIS)
Globale Datenbank für Innovationsstatistiken mit Hauptaugenmerk auf dem Verarbeitenden Gewerbe: http://uis.unesco.org/en/topic/innovation-data.
Die Neue Partnerschaft für Afrikas Entwicklung (New Partnership for Africa’s Development – NEPAD) der Afrikanischen Union ist ebenfalls bemüht, die Nutzung vergleichbarer Indikatoren in Afrika zu fördern. Die Online-Fassung dieses Handbuchs enthält aktuelle Links zu internationalen und nationalen Quellen für statistische Innovationsdaten und -indikatoren.
11.3.1. Aggregation statistischer Indikatoren
11.17. Tabelle 11.2. bietet einen Kurzüberblick über die verschiedenen Arten von deskriptiven Statistiken und Methoden, die zur Erstellung von Indikatoren verwendet werden. Zu den relevanten statistischen Kennwerten zählen Maße der zentralen Tendenz, Streuungs- und Zusammenhangsmaße sowie Verfahren zur Dimensionsreduktion.
Mikro- und Makroindikatoren
11.18. Zur Erstellung von Indikatoren können Daten aus verschiedenen Quellen auf allen Aggregationsebenen entnommen werden. Diese liegen entweder über oder auf der Ebene der statistischen Einheit, für die die Daten erhoben wurden. Oftmals verlangen die Datenschutzbestimmungen für Erhebungsdaten und viele Arten von Verwaltungsdaten, dass die Indikatoren auf einer ausreichend hohen Aggregationsebene ausgewiesen werden, damit die Nutzer dieser Indikatoren nicht auf die Werte einzelner Einheiten schließen können. Indikatoren können auch auf der Basis zuvor aggregierter Daten konstruiert werden.
11.19. Gängige Merkmale für die Aggregation sind das Land und die Region des Unternehmensstandorts sowie Merkmale des Unternehmens selbst, wie der Wirtschaftszweig und die Unternehmensgröße (gemäß den Größenkategorien, z. B. 10–49 Beschäftigte). Die Aggregation der auf Unternehmensebene erhobenen Daten setzt ein gutes Verständnis der zugrunde liegenden statistischen Daten und die Fähigkeit voraus, ein Unternehmen eindeutig einer bestimmten Kategorie zuzuordnen. Bei regionalen Indikatoren müssen Unternehmen oder Teile davon bzw. ihre Aktivitäten ganz oder teilweise einer Region zugeordnet werden können. Die Daten für einen Betrieb lassen sich problemlos einer einzigen Region zuweisen. Da Unternehmen aber in mehreren Regionen tätig sein können, sind Verfahren der räumlichen Imputation erforderlich, um die Aktivitäten der jeweiligen Region zuzuordnen.
11.20. Indikatoren auf niedrigeren Aggregationsebenen können detaillierte Informationen für die Politikgestaltung oder das Verständnis einzelner Phänomene liefern, welche weitaus aufschlussreicher sind als aggregierte Indikatoren allein. Ein Indikator für den Anteil der Unternehmen mit einer Produktinnovation nach Wirtschaftszweig enthält z. B. nützlichere Informationen als ein Indikator für alle Wirtschaftszweige zusammengenommen.
Reduktion der Dimensionalität der Indikatoren
11.21. Dadurch, dass Erhebungen oft Informationen zu einer Vielzahl miteinander verbundener Faktoren (wie verschiedene Wissensquellen, Innovationsziele oder Arten von Innovationsaktivitäten) zusammentragen, ist das resultierende Datenmaterial oft komplex und lässt sich nur schwer interpretieren. Daher wird häufig die Anzahl der Variablen reduziert (Dimensionalitätsreduktion), der Informationsgehalt aber gewahrt. Mehrere statistische Verfahren stehen hierfür zur Verfügung. Sie reichen von der einfachen Addition bis hin zur Faktoranalyse.
11.22. Viele Indikatoren werden für eine Reihe von Variablen als Durchschnitte, Summen oder Maximalwerte berechnet (vgl. Tabelle 11.2.). Diese Methode ist hilfreich, um verwandte nominale, ordinale oder kategoriale Variablen zusammenzufassen, die in Innovationserhebungen üblicherweise vorkommen. Ein Unternehmen, das aus einer Liste von acht Innovationsarten (zwei Produkt- und sechs Prozessarten) mindestens eine Innovationsart aufweist, wird beispielsweise als innovatives Unternehmen definiert. Diese abgeleitete Variable kann dazu verwendet werden, um einen aggregierten Indikator für den durchschnittlichen Anteil innovativer Unternehmen je Wirtschaftszweig zu erstellen. In diesem Beispiel ist der Indikator positiv, sobald nur eine Variable unter vielen eine positive Ausprägung hat. Im Gegensatz dazu steht ein Indikator, der nur dann positiv ist, wenn das Unternehmen für alle relevanten Variablen eine positive Ausprägung angibt.
11.23. Zusammengesetzte Indikatoren sind eine weitere Methode zur Dimensionalitätsreduktion. Sie fassen auf der Basis eines konzeptionellen Modells mehrere Indikatoren zu einem einzigen Index zusammen (OECD/JRC, 2008). Zusammengesetzte Indikatoren können Indikatoren miteinander verbinden, die sich auf dieselbe Dimension (z. B. Gesamtaufwendungen für verschiedene Arten von Innovationsaktivitäten) oder auf mehrere Dimensionen beziehen (z. B. Indikatoren der Rahmenbedingungen, Innovationsinvestitionen, Innovationsaktivitäten und Innovationsauswirkungen)
11.24. Die Anzahl der Dimensionen lässt sich auch durch statistische Methoden wie Clusteranalysen und Hauptkomponentenanalysen reduzieren. In mehreren Studien wurden diese Verfahren auf Mikrodaten angewendet, um eine Typologie des Innovationsverhaltens zu definieren und zu untersuchen, inwieweit unterschiedliche Verhaltensweisen als Bestimmungsfaktoren für Innovationsergebnisse genutzt werden können (de Jong und Marsili, 2006; Frenz und Lambert, 2012; OECD, 2013).
11.3.2. Entwicklung und Darstellung von Indikatoren für internationale Vergleiche
11.25. Die Auswahl der Innovationsindikatoren spiegelt eine Priorisierung verschiedener Arten von Informationen über Innovationen wider. Indikatoren auf der Grundlage von Mikrodaten zu erstellen, eröffnet zwar neue Möglichkeiten, Voraussetzung dafür ist jedoch der Zugang von Expert*innen oder Organisationen zu diesen Mikrodaten. Dieser ist allerdings oft nicht gewährleistet. Alternativ können Indikatoren aus aggregierten Daten auf Ebene der Länder, der Wirtschaftszweige oder der Regionen erstellt werden.
11.26. Berichte, in denen mehrere Innovationsindikatoren für internationale Vergleiche verwendet werden, weisen in der Regel eine Reihe von Gemeinsamkeiten auf (Arundel und Hollanders, 2008; Hollanders und Janz, 2013):
Die Auswahl spezifischer Innovationsindikatoren auf Ebene der Länder, der Wirtschaftszweige oder der Regionen erfolgt in der Regel gemäß der Theorie der Innovationssysteme.
Die Auswahl ergibt sich teilweise auch aus Überlegungen zur konzeptionellen und inhaltlichen Validität, diese werden jedoch durch die Datenverfügbarkeit eingeschränkt.
Die Indikatoren werden nach Themenbereichen aufgeschlüsselt. Die Themen selbst sind hierarchisch strukturiert, z. B. Innovationsinputs, -kapazitäten und -outputs.
Diese Berichte liefern auf unterschiedlichen Ebenen kontextuelle und qualitative Informationen für die Politikgestaltung sowie Informationen zur Methodik.
11.27. Die Organisationen des nationalen statistischen Systems und die meisten internationalen Organisationen stellen Nutzern mit Bedarf an internationalen Vergleichen in der Regel Berichte oder Dashboards zur Verfügung, die auf amtlichen Statistiken beruhen und häufig Hauptindikatoren enthalten. Der Vorteil von Berichten und Dashboards liegt in einem weitgehend sachlichen und detaillierten Überblick über die verfügbaren Daten. Allerdings kann es durch die großen Datenmengen schwierig sein, die wesentlichen Themen zu identifizieren. Um die Grenzen einfacher Dashboards zu überwinden, wurden zusammengesetzte Innovationsindizes entwickelt und in Scoreboards dargestellt, die Länder oder Regionen nach ihren Innovationsleistungen reihen. Diese zusammengesetzten Indizes werden meist von Berater*innen, Forschungsinstituten, Thinktanks und politischen Institutionen erstellt, die keinen Zugang zu Mikrodaten haben und deshalb vorhandene Indikatoren aggregieren.
11.28. Im Vergleich zu einfachen Dashboard-Indikatoren erfordert die Erstellung zusammengesetzter Innovationsindizes zwei zusätzliche Schritte:
die Normalisierung mehrerer Indikatoren, gemessen in verschiedenen Skalen (Nominalwerte, Zähldaten, Prozentsätze, Aufwendungen usw.), in einer einzigen Skala. Dies kann beispielsweise anhand von Standardabweichungen, der Min/Max-Methode oder anderen Optionen erfolgen.
die Aggregation normalisierter Indikatoren zu einem oder mehreren zusammengesetzten Indizes. Dabei können alle normalisierten Indikatoren gleich oder unterschiedlich gewichtet werden. Die Gewichtung bestimmt dabei den relativen Beitrag des jeweiligen Indikators zum zusammengesetzten Index.
11.29. Im Vergleich zu einfachen Indikatoren bringen zusammengesetzte Indizes zahlreiche Vorteile, aber auch Herausforderungen mit sich (OECD/JRC, 2008). Ihre reduzierte Anzahl und Einfachheit sind zwei große Vorteile, die die Kommunikation mit einer breiteren Nutzerbasis (Politikverantwortliche, Medien und Bürger*innen) erleichtern. Zusammengesetzte Indizes weisen folgende Nachteile auf:
Bis auf wenige Ausnahmen ist die theoretische Grundlage für einen zusammengesetzten Index begrenzt. Dies kann zu problematischen Indikatorkombinationen führen, z. B. Indikatoren für Inputs und Outputs.
Wenn überhaupt, kann nur die aggregierte Kovarianzstruktur der zugrunde liegenden Indikatoren zur Bildung des zusammengesetzten Index verwendet werden.
Die relative Bedeutung bzw. die Gewichtung der verschiedenen Indikatoren ist oft von den subjektiven Ansichten derjenigen abhängig, die den zusammengesetzten Index erstellen. Faktoren, die nur einen geringen Innovationsbeitrag leisten, können dabei ebenso stark gewichtet werden wie wesentliche Faktoren.
Abgesehen von der Basisnormalisierung werden strukturelle Unterschiede zwischen Ländern bei der Berechnung zusammengesetzter Leistungsindizes nur selten berücksichtigt.
Die Aggregation führt zu einem Verlust an Detailgenauigkeit, was potenzielle Schwachstellen verbergen und die Ermittlung von Gegenmaßnahmen erschweren kann.
11.30. Aufgrund dieser Nachteile bedarf es für zusammengesetzte Indikatoren Interpretationshinweise. Ansonsten könnten sie Leser*innen nämlich in die Irre führen und dazu verleiten, bei komplexen Politikproblemen einfache Lösungen zu befürworten.
11.31. Die verschiedenen derzeit verfügbaren innovationsbezogenen Dashboards, Scoreboards und zusammengesetzten Indizes entwickeln sich ständig weiter. Kasten 11.2 enthält Beispiele für Innovationsanzeiger und -indizes, die regelmäßig veröffentlicht werden.
OECD Science, Technology and Innovation (STI) Scoreboard
Das STI Scoreboard (www.oecd.org/sti/scoreboard.htm) ist eine alle zwei Jahre erscheinende Flaggschiff-Publikation der OECD-Direktion Wissenschaft, Technologie und Innovation. Obwohl es Scoreboard heißt, handelt es sich eher um ein Dashboard. Es enthält zahlreiche Indikatoren, darunter Indikatoren, denen Daten aus Innovationserhebungen zugrunde liegen, aber keine Rankings, die auf zusammengesetzten Indizes für Innovationsthemen basieren. Zusammengesetzte Indikatoren werden nur für eng gefasste Konstrukte verwendet, wie wissenschaftliche Publikationen oder Patentqualität, wobei die Gewichtungen anhand von Hilfsdaten für das jeweilige Konstrukt vorgenommen werden.
European Innovation Scoreboard (EIS)
Der Europäische Innovationsanzeiger wird von der Europäischen Kommission veröffentlicht und von Berater*innen mit Beiträgen verschiedener Dienststellen der Europäischen Kommission erstellt. Es handelt sich um ein Scoreboard für die Innovationsleistung (http://ec.europa.eu/growth/industry/innovation/facts-figures/scoreboards_en). Der Europäische Innovationsanzeiger bietet einen hierarchisch zusammengesetzten Index (Summary Innovation Index), in dem die Länder je nach Abschneiden in vier Leistungskategorien unterteilt werden: Innovationsführer, starke Innovatoren, mäßige Innovatoren und aufstrebende Innovatoren. Der Index stützt sich auf verschiedene Datenquellen, darunter Indikatoren aus Innovationserhebungen. Die Europäische Kommission veröffentlicht auch ein Regional Innovation Scoreboard.
Global Innovation Index (GII)
Der Global Innovation Index (www.globalinnovationindex.org) wird von der Cornell University, der INSEAD und der Weltorganisation für geistiges Eigentum (WIPO) veröffentlicht. Es handelt sich um einen hierarchisch zusammengesetzten Index mit Input- und Output-Dimensionen, die sich auf verschiedene Innovationsaspekte beziehen. Der GII zielt darauf ab, möglichst viele Volkswirtschaften mit mittlerem und niedrigem Einkommen zu erfassen. Dazu werden Statistiken zu Forschung und experimenteller Entwicklung (FuE) und Bildung, Verwaltungsdaten wie Statistiken zu geistigem Eigentum (IP) sowie ausgewählte Indikatoren des Weltwirtschaftsforums herangezogen, die die subjektiven Expertenmeinungen zu Themen wie Innovationsverflechtungen zusammenfassen. In den GII fließen derzeit keine Indikatoren aus Innnovationserhebungen ein.
11.32. Aufgrund fehlender Innovationsdaten für viele Länder und Bedenken hinsichtlich der Vergleichbarkeit von Daten aus Innovationserhebungen basieren viele Innovationsrankings auf weithin verfügbaren Indikatoren, die lediglich einen Bruchteil der Innovationsaktivitäten erfassen, wie FuE-Aufwendungen oder Anmeldungen von Rechten des geistigen Eigentums, was zulasten anderer relevanter Dimensionen geht.
11.3.3. Innovationsrankings auf Unternehmensebene
11.33. Mehrere Forschungsinstitute und Beratungseinrichtungen erstellen Unternehmensrankings auf der Grundlage ausgewählter Innovationsaktivitäten, indem sie zusammengesetzte Indikatoren aus öffentlich zugänglichen Daten konstruieren, wie aus Jahresberichten der Unternehmen oder Verwaltungsdaten, die von Unternehmen mit besonderen Berichtspflichten veröffentlicht werden, z. B. von börsennotierten Unternehmen. Trotz der Bemühungen um Datenkuration sind diese Daten in der Regel weder vollständig noch uneingeschränkt zwischen den Unternehmen der Grundgesamtheit vergleichbar. Privatwirtschaftliche Unternehmen sind nicht verpflichtet, bestimmte Arten von Verwaltungsdaten auszuweisen. Generell werden kommerziell sensible Innovationsdaten selten in Jahresberichten veröffentlicht, es sei denn, die Offenlegung dient den strategischen Interessen oder Zielen der Öffentlichkeitsarbeit des Unternehmens (Hill, 2013). Folglich können öffentlich zugängliche Innovationsdaten für Unternehmen durch Selbstselektion stark verzerrt sein. Außerdem können die angegebenen Daten irreführend sein. Aktivitäten zur Entwicklung kreativer Medieninhalte und andere technologiebezogene Aktivitäten sind möglicherweise als FuE ausgewiesen, ohne dass sie der OECD-Definition von FuE entsprechen (OECD, 2015).
11.34. Trotz dieser Verzerrungen durch Selbstselektion (vgl. Kapitel 9) ermöglichen öffentlich zugängliche Unternehmensdaten aus Jahresberichten oder auf Websites die Erstellung neuer experimenteller Innovationsindikatoren, sofern die Daten die grundlegenden Qualitätskriterien für die Analysezwecke erfüllen.
11.35. Dieser Abschnitt enthält Leitlinien zu den Arten von Innovationsindikatoren, die von nationalen Statistikämtern und sonstigen Einrichtungen mit Zugang zu Mikrodaten über das Innovationsgeschehen erstellt werden können. Viele dieser Indikatoren sind weit verbreitet und basieren auf Daten, die entsprechend den Auflagen in früheren Ausgaben dieses Handbuchs erhoben wurden. Indikatoren werden auch für neue Arten von Daten vorgeschlagen (vgl. Kapitel 3–8). Andere Arten von Indikatoren können erstellt werden, um auf Änderungen der Nutzerbedürfnisse oder neu verfügbare Daten zu reagieren.
11.36. Die Produzenten von Innovationsindikatoren können sich an den Antworten auf folgende Fragen orientieren, um neue Indikatoren zu konzipieren und vorzustellen:
Was möchten die Nutzer wissen und warum? Welche Konzepte sind relevant?
Welche Indikatoren eignen sich am besten für ein relevantes Konzept?
Welche verfügbaren Daten sind für die Erstellung eines Indikators zweckmäßig?
Was müssen die Nutzer wissen, um einen Indikator zu interpretieren?
11.37. Die Relevanz eines bestimmten Indikatorensets hängt von den Nutzerbedürfnissen und den Einsatzmodalitäten der Indikatoren ab (OECD, 2010). Indikatoren sind nützlich, um Unterschiede herauszustellen, die es bei den Innovationsaktivitäten zwischen relevanten Kategorien, wie Wirtschaftszweig oder Unternehmensgröße gibt, oder um die Innovationsleistung im Zeitverlauf zu verfolgen. Ungeeignet sind Indikatoren dagegen, um Kausalzusammenhänge zu ermitteln, wie etwa die Faktoren, die die Innovationsleistung beeinflussen. Hierfür sind analytische Methoden erforderlich, wie in Abschnitt 11.5 beschrieben.
11.4.1. Wahl der Innovationsindikatoren
11.38. Kapitel 3–8 beschäftigen sich mit Themenbereichen, die für die Erstellung von Innovationsindikatoren maßgeblich sein können. Tabelle 11.3 bietet einen Überblick über die wichtigsten Themenbereiche, das entsprechende Kapitel in dieser Ausgabe, das das jeweilige Thema beleuchtet, und die Hauptdatenquellen für die Indikatorerstellung. Für viele der Themenbereiche können Indikatoren auch mithilfe des objektbasierten Ansatzes erstellt werden, wie in Kapitel 10 erörtert. Diese Indikatoren betreffen aber nur bestimmte Arten von Innovationen.
11.39. Tabelle 11.4 enthält eine Liste der vorgeschlagenen Indikatoren zur Innovationsmessung. Die meisten dieser Indikatoren können anhand von nominalskalierten Daten aus Innovationserhebungen erstellt werden, wie in Kapitel 3 erörtert. Sie beschreiben den Innovationsstatus von Unternehmen und die Merkmale ihrer Innovationen.
11.40. Tabelle 11.5 enthält eine Liste der vorgeschlagenen Indikatoren für wissensbasierte Aktivitäten, wie in Kapitel 4 erörtert. Bis auf wenige Ausnahmen können die meisten dieser Indikatoren für alle Unternehmen berechnet werden, unabhängig von ihrem Innovationsstatus (vgl. Kapitel 3).
11.41. Tabelle 11.6. führt mögliche Indikatoren für innovationsrelevante Unternehmenskapazitäten gemäß Kapitel 5 auf. Alle Indikatoren zu den Innovationskapazitäten sind für alle Unternehmen relevant, ungeachtet ihres Innovationsstatus. Die Mikrodaten können auch verwendet werden, um synthetische Indizes für die Innovationsneigung von Unternehmen zu erstellen.
11.42. Tabelle 11.7. enthält Indikatoren zu Wissensflüssen für Innovationen, die sich an den in Kapitel 6 aufgeführten Empfehlungen zu Inbound- und Outbound-Wissensflüssen orientieren. Bis auf wenige Ausnahmen sind die meisten dieser Indikatoren für alle Unternehmen relevant.
11.43. Tabelle 11.8 zeigt die Indikatoren zu externen Faktoren, die Innovationen potenziell beeinflussen können, wie in Kapitel 7 erörtert. Mit Ausnahme der Innovationstreiber lassen sich alle diese Indikatoren für alle Unternehmen berechnen.
11.44. Tabelle 11.9 enthält eine Liste einfacher Ergebnis- oder Zielindikatoren, denen nominale oder ordinale Erhebungsfragen zugrunde liegen, wie in Kapitel 8 vorgeschlagen. Die Ziele betreffen alle innovationsaktiven Unternehmen; die Fragen zu den Ergebnissen sind dagegen nur für innovative Unternehmen relevant.
11.4.2. Untergliederungen, Skalierung und Typologien
11.45. Indikatoren können je nach Nutzeranforderungen für verschiedene Untergliederungsmerkmale erstellt werden. Daten zu den einzelnen Merkmalen können durch eine Erhebung oder die Verknüpfung einer Erhebung mit anderen Quellen, wie Unternehmensregistern und Verwaltungsdaten, gemäß den in Kapitel 9 dargelegten Leitlinien gewonnen werden. Untergliederungsmerkmale von Interesse sind:
Größe des Unternehmens gemessen anhand der Beschäftigtenzahl oder an anderen Größenmerkmalen wie Umsatz oder Vermögenswerte.
Wirtschaftszweig der wirtschaftlichen Haupttätigkeit gemäß internationalen Standardklassifikationen (vgl. Kapitel 9). Kombinationen der zwei- und dreistelligen Kategorien der Internationalen Systematik der Wirtschaftszweige (ISIC) können Ergebnisse für politikrelevante Gruppen von Unternehmen (z. B. Unternehmen der IKT-Branche) liefern.
Konzernzugehörigkeit und Eigentumsverhältnisse, z. B. ob ein Unternehmen unabhängig ist oder einer inländischen Unternehmensgruppe oder einem multinationalen Unternehmen angehört. Für multinationale Unternehmen erstellte Untergliederungen sind bei Analysen der Globalisierung von Innovationsaktivitäten nützlich.
Alter des Unternehmens gemessen als der Zeitraum seit seiner Gründung. Eine Untergliederung nach Alter hilft, zwischen älteren und jüngeren Unternehmen zu unterscheiden. Dies ist bei Analysen der Unternehmensdynamik und von Unternehmensaktivitäten von Interesse (vgl. Kapitel 5).
FuE-Status, um festzustellen, ob das Unternehmen FuE intern durchführt, FuE finanziert, die von anderen Einheiten durchgeführt wird, oder keine FuE-Aktivitäten betreibt (vgl. Kapitel 4). Die Innovationsaktivitäten von Unternehmen sind je nach ihrem FuE-Status sehr unterschiedlich.
11.46. Die Aggregationsebene für diese verschiedenen Dimensionen hängt davon ab, was die Daten repräsentieren, wie sie erhoben werden und welchen Zweck sie erfüllen sollen. Die am tiefsten gegliederte Ebene, die angegeben werden kann, wird im Rahmen von Entscheidungen zum Schichtungsverfahren bei der Datenerhebung (vgl. Kapitel 9) bestimmt.
11.47. Um Skaleneffekte zu vermeiden, können viele Variablen für Innovationsinput, -output, -intensität und -aufwendungen anhand einer Messgröße des jeweiligen Unternehmens standardisiert werden, wie z. B. die Gesamtaufwendungen, die Gesamtinvestitionen, der Gesamtumsatz oder die Gesamtzahl der Beschäftigten.
11.48. Ein gängiger Indikator für die Intensität von Innovationsinput sind die Gesamtaufwendungen für Innovationen in Prozent des Gesamtumsatzes (Absatz). Alternative Indikatoren für die Inputintensität sind die Innovationsaufwendungen je Beschäftigten (Crespi und Zuñiga, 2010) und der Anteil des Personals (Kopfzahl), das für Innovationen eingesetzt wird, im Verhältnis zur Gesamtzahl der Beschäftigten.
11.49. Für Indikatoren zum Output wird häufig der Anteil von Produktinnovationen am Gesamtumsatz herangezogen. Grundsätzlich sollte diese Art von Indikator für einzelne Wirtschaftszweige spezifisch erstellt werden, da die Produktalterung in unterschiedlichem Tempo erfolgt. Nach Wirtschaftszweig aufgeschlüsselte Daten ermöglichen es, Wirtschaftszweige zu identifizieren, deren Produktinnovationsraten und Innovationseffizienz im Verhältnis zu ihren Innovationsinvestitionen niedrig sind.
11.50. Standardisierte Indikatoren für die Anzahl der angemeldeten oder eingetragenen Rechte des geistigen Eigentums oder Kennwerte für den wissenschaftlichen Output (Erfindungsmeldungen, wissenschaftliche Veröffentlichungen usw.) sollten ebenfalls auf der Ebene der einzelnen Wirtschaftszweige bereitgestellt werden, da diese Aktivitäten von ganz unterschiedlicher Relevanz sind. Indikatoren, die auf Rechten des geistigen Eigentums wie patentierte Erfindungen beruhen, können als Messgröße für Strategien der Wissensaneignung interpretiert werden (vgl. Kapitel 5). Ob sie genutzt werden, hängt von Faktoren wie dem Wirtschaftszweig und der Art des zu schützenden Wissens ab (OECD, 2009a). Messgrößen für den wissenschaftlichen Output des Unternehmenssektors, wie Publikationen, sind vor allem für wissenschaftsbasierte Wirtschaftszweige von Belang (OECD und SCImago Research Group, 2016). Außerdem kann es je nach Wirtschaftszweig und Strategie eines Unternehmens große Unterschiede zwischen seinem wissenschaftlichen und technologischen Output geben und dem, was es offenlegt.
11.51. Indikatoren für die Innovationsintensität (Summe aller Innovationsaufwendungen geteilt durch die gesamten Aufwendungen) können auf Ebene des Wirtschaftszweigs, der Region und des Landes berechnet werden. Eine Standardisierung anhand der Unternehmensgröße ist daher nicht erforderlich.
Typologie von innovativen/innovationsaktiven Unternehmen
11.52. Ein großer Nachteil vieler der oben dargestellten Indikatoren ist die fehlende Messgröße für die Intensität der Bemühungen um Produkt- oder Prozessinnovationen. Die Möglichkeit, Unternehmen anhand des Niveaus ihrer Anstrengungen oder Innovationskapazitäten zu erfassen, kann für die Analyse und Gestaltung der Innovationspolitik von großem Nutzen sein (Bloch und López-Bassols, 2009). Dies kann erreicht werden, indem ausgewählte nominale Indikatoren mit Messgrößen für die Innovationsaktivität (vgl. Tabelle 11.5.) und gegebenenfalls mit Messgrößen für die Innovationsergebnisse (vgl. Tabelle 11.9) kombiniert werden. In zahlreichen Studien wurden verschiedene Indikatoren kombiniert, um komplexe Indikatoren für unterschiedliche „Profile“, „Modi“ oder „Klassifikationen“ von Unternehmen entsprechend ihren Innovationsanstrengungen zu erstellen (vgl. Tether, 2001; Arundel und Hollanders, 2005; Frenz und Lambert, 2012).
11.53. Bei der Erstellung von Indikatoren für Innovationsanstrengungen oder -kapazitäten sind vorrangig Daten zu berücksichtigen, die Aufschluss über den Neuheitsgrad von Innovationen (für wen sie neu sind) geben, inwieweit das Unternehmen eigene Ressourcen zur Entwicklung der Konzepte eingesetzt hat, auf denen die Innovation beruht, und welche wirtschaftliche Bedeutung die Innovationen und Innovationsanstrengungen für das Unternehmen haben.
11.4.3. Wahl statistischer Daten für Innovationsindikatoren
11.54. Die Auswahl der Daten für die Erstellung von Innovationsindikatoren hängt zwangsläufig vom Zweck des Indikators und den Anforderungen an die Datenqualität ab.
Amtliche oder nicht amtliche Quellen
11.55. Bei der Indikatorerstellung sollten nach Möglichkeit Daten aus amtlichen Quellen verwendet werden, die die grundlegenden Qualitätsanforderungen erfüllen. Das betrifft sowohl Erhebungs- als auch Verwaltungsdaten. In beiden Fällen muss bestimmt werden, ob alle relevanten Arten von Unternehmen berücksichtigt sind, ob die Aufzeichnungen alle relevanten Daten erfassen und ob die erhobenen Datensätze in den verschiedenen Ländern konsistent sind (falls Vergleiche beabsichtigt sind). Für Indikatoren, die regelmäßig erstellt werden, sollten auch Informationen über etwaige Brüche in Zeitreihen verfügbar sein, damit (im Rahmen des Möglichen) Korrekturen vorgenommen werden können und so die Vergleichbarkeit im Zeitverlauf erhalten bleibt.
11.56. Dieselben Kriterien gelten für kommerzielle Daten oder Daten aus anderen Quellen wie einmaligen wissenschaftlichen Studien. Kommerzielle Datenquellen bieten oft keine vollständigen Angaben zur Stichprobenauswahl oder zu den Rücklaufquoten einer Erhebung. Der Mangel an ausreichenden Informationen zur Methodik bei kommerziellen und anderen Datenquellen sowie die für den Datenzugang anfallenden Lizenzgebühren schränken die Nutzung dieser Daten durch die Organisationen des nationalen statistischen Systems bislang ein. Die Nutzung kommerzieller Daten durch die Organisationen des nationalen statistischen Systems ist außerdem problematisch, wenn der Datenanbieter daraus einen kommerziellen Vorteil gegenüber seinen Konkurrenten ziehen kann.
Eignung der Daten aus Innovationserhebungen für die Erstellung statistischer Indikatoren
11.57. Da Umfragedaten auf Eigenangaben der Befragten beruhen, haben einige potenzielle Nutzer von Innovationsdaten Vorbehalte gegen Innovationserhebungen, weil sie der Ansicht sind, dass Eigenangaben zu subjektiven Ergebnissen führen. Bei dieser Kritik werden Eigenangaben und Subjektivität verwechselt. Antwortpersonen sind in der Lage, viele sachliche Fragen objektiv zu beantworten, wie beispielsweise, ob ihr Unternehmen eine Prozessinnovation implementiert hat oder ob es mit einer Hochschule in Kollaboration steht. Diese Fragen ähneln den Sachfragen, die in Personen- und Haushaltserhebungen zur Ermittlung der Arbeitslosenquoten gestellt werden. Subjektive Einschätzungen sind selten problematisch, wenn sie sich auf faktuelle Verhaltensweisen beziehen.
11.58. Ein berechtigter Grund zur Besorgnis für Nutzer von Innovationsdaten ist dagegen die variable Natur von Innovationen. Da eine Innovation aus der Sicht des Unternehmens definiert ist, gibt es zwischen einzelnen Innovationen enorme Unterschiede. Ein einfacher Indikator wie der Anteil innovativer Unternehmen innerhalb eines Landes hat daher nur eine sehr geringe Aussagekraft. Um dies zu ändern, sollten Innovationsindikatoren nicht pauschal abgelehnt werden, sondern vielmehr Indikatoren erstellt werden, die eine Differenzierung zwischen Unternehmen nach dem Niveau der Kapazitäten oder der Innovationsinvestitionen ermöglichen. Solche Indikatoren sollten für verschiedene Untergliederungen bereitgestellt werden, wie Wirtschaftszweige oder Unternehmensgrößenklassen. Mit derartigen Profilen ließen sich Aussagekraft und Erklärungsgehalt von Indikatoren erheblich verbessern.
11.59. Eine weitere häufig vorgebrachte Besorgnis ist oft die geringe Aussagekraft vieler nominaler oder ordinaler Variablen im Vergleich zu kontinuierlichen Variablen. Für letztere sind häufig keine Daten verfügbar, weil die Antwortpersonen nicht in der Lage sind, präzise Auskünfte zu geben. Unter diesen Bedingungen empfiehlt es sich, zu bestimmen, welche nicht kontinuierlichen Variablen für das analysierte Konstrukt relevant sind, und Informationen zu verschiedenen Variablen für die Schätzung des Konstrukts zu verwenden.
Veränderungen und aktuelle Kapazitäten
11.60. Die wichtigsten Indikatoren zur Verbreitung von Innovationen (vgl. Tabelle 11.4) erfassen Aktivitäten, die sich aus Veränderungen in einem Unternehmen ergeben oder Veränderungen in einem Unternehmen bewirken. Ein Unternehmen ist jedoch auf lange Sicht nicht unbedingt innovativer als ein anderes, wenn es in einem bestimmten Zeitraum eine Innovation eingeführt hat und das andere nicht. Letzteres könnte dieselbe Innovation bereits einige Jahre zuvor eingeführt haben und über ähnliche aktuelle Innovationskapazitäten verfügen. Indikatoren zu Kapazitäten, wie z. B. das Wissenskapital innerhalb eines Unternehmens, können anhand von administrativen Quellen oder Erhebungsdaten erstellt werden, die den Grad der Bereitschaft oder der Kompetenz eines Unternehmens in einem bestimmten Bereich erfassen (vgl. Tabelle 11.6.). Erkenntnisse über die wichtigsten Innovationen (vgl. Kapitel 10) können ebenfalls für die Messung der aktuellen Kapazitäten von Nutzen sein.
11.61. Umfassende Kenntnisse über die Faktoren, die sich auf die Leistungsfähigkeit eines Innovationssystems auswirken, können Politik- und Unternehmensentscheidungen verbessern. Innovationsindikatoren liefern nützliche Informationen über den aktuellen Zustand des Systems, beispielsweise über Engpässe, Defizite und Schwachstellen, und können dabei helfen, Veränderungen im Zeitverlauf zu verfolgen. Das reicht jedoch nicht aus: Die Entscheidungsträger*innen müssen auch die systeminternen Einflussbeziehungen kennen und die Mechanismen des Systems verstehen, die für Ergebnisse von Interesse sorgen. Besonders wichtig sind in dieser Hinsicht die Auswirkungen von Politikmaßnahmen.
11.62. In diesem Abschnitt wird untersucht, wie Innovationsdaten verwendet werden können, um die Zusammenhänge zwischen Innovationen, Aktivitäten zum Kapazitätsaufbau und Ergebnissen von Interesse zu evaluieren (Maiesse und Mohnen, 2010). Die zu diesem Zweck durchgeführten Forschungsarbeiten haben sich ausführlich mit Aspekten wie Produktivität (Hall, 2011; Harrison et al., 2014), Management (Bloom und Van Reenen, 2007), Beschäftigungseffekten (Griffith et al., 2006), Wissensbeschaffung (Laursen und Salter, 2006), Rentabilität (Geroski, Machin und Van Reenen, 1993), Marktanteil und Marktwert (Blundell, Griffith und Van Reenen, 1999), Wettbewerb (Aghion et al., 2005) und Politikwirkungen (Czarnitzki, Hanel und Rosa, 2011) befasst.
11.5.1. Modellierung von Abhängigkeiten und Zusammenhängen
11.63. Deskriptive und explorative Analysen ermöglichen es, bestehende Zusammenhänge zwischen den Komponenten eines Innovationssystems zu ermitteln. Die multivariate Regression ist ein nützliches Instrument zur Untersuchung der Kovarianz zweier Variablen (wie Innovationsoutputs und -inputs) in Abhängigkeit von anderen Merkmalen wie Unternehmensgröße, Alter und Wirtschaftszweig der wirtschaftlichen Haupttätigkeit. Expert*innen, die das Innovationsgeschehen analysieren, verwenden häufig das Instrument der Regression. Regressionsoutputs sind fester Bestandteil von Innovationsstudien.
11.64. Das geeignete multivariate Verfahren hängt von der Art der Daten ab, insbesondere bei abhängigen Variablen. Innovationserhebungen ergeben hauptsächlich nominale oder ordinale Variablen und nur wenige kontinuierliche Variablen. Geordnete Regressionsmodelle eignen sich für ordinale abhängige Variablen zum Neuheitsgrad oder zum Grad der Komplexität bei der Nutzung einer Technologie oder Geschäftspraxis (Galindo-Rueda und Millot, 2015). Multinominale Modelle sind angemessen, wenn Manager*innen zwischen mindestens drei sich gegenseitig ausschließenden Möglichkeiten wählen können, z. B. zwischen verschiedenen Wissensquellen oder Kollaborationspartnern.
11.65. Auch maschinelle Lernverfahren eröffnen neue Analysefelder in Bereichen, wie Klassifizierung, Mustererkennung und Regression. Ihr Einsatz in der Innovationsstatistik wird im Lauf der Zeit wahrscheinlich zunehmen.
11.5.2. Kausale Inferenz in der Innovationsanalyse
11.66. Eine statistische Assoziation zwischen zwei Variablen (z. B. einem Innovationsinput und einem Leistungsoutput) lässt nicht auf einen Kausalzusammenhang schließen, wenn keine zusätzliche Evidenz vorliegt, wie beispielsweise ein plausibler zeitlicher Abstand zwischen einem Input und einem Output, eine Replikation in mehreren Studien und die Möglichkeit der Kontrolle aller Störvariablen. Sofern diese Bedingungen nicht erfüllt sind (was in explorativen Analysen selten der Fall ist), sollte keine Studie die Hypothese eines Kausalzusammenhangs aufstellen.
11.67. Forschungsarbeiten zu Politikmaßnahmen müssen sich auch mit Selbstselektion und plausiblen kontrafaktischen Situationen befassen: Was wäre ohne die Politikmaßnahme geschehen? Die Wirkungen einer Politikmaßnahme sollten idealerweise anhand von experimentellen Methoden wie randomisierten Studien ermittelt werden. Allerdings sind die Einsatzmöglichkeiten für experimentelle Ansätze in der Innovationspolitik trotz einiger Fortschritte in den letzten Jahren nach wie vor begrenzt (Nesta, 2016). Daher kommen häufig alternative Methoden zum Einsatz.
Begriffsbestimmungen in Wirkungsanalysen und Evaluierungen
11.68. In der Fachliteratur zum Thema Innovation wird gemeinhin zwischen verschiedenen Phasen eines Innovationsprozesses unterschieden – Inputs (Ressourcen für eine Aktivität), Aktivitäten, Outputs (von Aktivitäten generiert) und Ergebnisse (Auswirkungen der Outputs). Im Politikkontext stellt ein Logikmodell eine vereinfachte, lineare Beziehung zwischen Ressourcen, Aktivitäten, Outputs und Ergebnissen her. Abbildung 11.1 zeigt ein allgemeines Logikmodell für den Innovationsprozess, das durch Rückkopplungsschleifen verfeinert werden kann.
11.69. Die Outputs beziehen sich auf verschiedene Arten von Innovationen, die Ergebnisse entsprechen dagegen den Auswirkungen von Innovationen auf einzelne Aspekte der Unternehmensleistung (Umsatz, Gewinn, Marktanteil usw.) bzw. den Auswirkungen von Innovationen auf unternehmensexterne Parameter (Umfeld, Marktstruktur usw.). Die Wirkung bezieht sich auf die Differenz zwischen den potenziellen Ergebnissen der beobachteten und der nicht beobachtbaren kontrafaktischen Situation. Ein Beispiel für ein kontrafaktisches Ergebnis wäre der Umsatz, den ein Unternehmen erzielt hätte, wenn die für die Innovation aufgewendeten Ressourcen für einen anderen Zweck verwendet worden wären, z. B. zur Finanzierung einer großen Werbekampagne. In Ermangelung experimenteller Daten lässt sich die Wirkung nicht direkt beobachten und muss auf andere Weise abgeleitet werden.
Quelle: Nach McLaughlin und Jordan (1999), „Logic models: a tool for telling your program’s performance story”.
11.70. Bei der Gestaltung von innovationspolitischen Maßnahmen dient das in Abbildung 11.1 beschriebene Logikmodell für Innovationen der Bestimmung der für die Erzielung der gewünschten Ergebnisse notwendigen Faktoren. Messungen ermöglichen es, Daten zu Ereignissen, Situationen und Verhaltensweisen zu erfassen, die dann als Hilfsindikatoren für potenzielle Inputs und Outputs des Innovationsprozesses verwendet werden können. Die Ergebnisse können direkt oder indirekt gemessen werden. Im Folgenden wird erörtert, wie innovationspolitische Maßnahmen anhand von Innovationsdaten evaluiert werden.
Direkte und indirekte Ergebnismessung
11.71. Bei der direkten Ergebnismessung wird nach einem möglichen Kausalzusammenhang zwischen einem Ereignis und einer oder mehreren Aktivitäten gefragt, selbst wenn dieser nur Teilaspekte betrifft. Beispielsweise können sie gebeten werden, anzugeben, ob Prozessinnovationen ihre Stückkosten gesenkt haben, und falls ja, die prozentuelle Reduzierung zu schätzen. Aus der direkten Messung ergeben sich erhebliche Validitätsprobleme. Bei „Ja“- oder „Nein“-Fragen können Befragte mit einem gewissen Grad an Genauigkeit angeben, ob Prozessinnovationen zu Kostensenkungen geführt haben. Angesichts der zahlreichen Einflussfaktoren auf Prozesskosten kann es für die Befragten jedoch sehr schwierig sein, den prozentualen Anteil der Reduzierung zu schätzen, der einer Innovation zuzuordnen ist (mit Ausnahme vielleicht der wichtigsten Prozessinnovation). Außerdem wird es den Befragten leichter fallen, Fakten zu ermitteln und anzugeben, als Hypothesen aufzustellen und Ergebnissen Ursachen zuzuordnen oder umgekehrt. Um Wirkungsfragen zu beantworten, die vom Konzept her eine kontrafaktische Situation erfordern, werden Unternehmensmanager*innen wahrscheinlich auf heuristische Methoden zurückgreifen.
11.72. Bei nicht experimentellen, indirekten Messungen werden Daten zu Inputs und Ergebnissen gesammelt. Die Korrelationen zwischen ihnen werden nach Kontrolle potenzieller Störvariablen mithilfe statistischer Analysen evaluiert. Die Verwendung indirekter Methoden zur Bewertung der Faktoren, die Innovationsergebnisse beeinflussen, bringt jedoch auch einige Herausforderungen mit sich.
Herausforderungen für die indirekte Ergebnismessung
11.73. Innovationsinputs, -outputs und -ergebnisse sind durch nicht lineare Transformations- und Entwicklungsprozesse miteinander verbunden. Ziel von statistischen Analysen ist die Identifikation geeigneter abhängiger und unabhängiger Variablen sowie potenzieller Störvariablen, die auf alternativen Wegen zum selben Ergebnis führen.
11.74. Bei einem zufälligen Messfehler der unabhängigen Variablen wird die Analyse der Beziehung zwischen den unabhängigen und abhängigen Variablen durch einen Attenuation- Bias beeinträchtigt, sodass die Beziehungen schwächer erscheinen, als sie tatsächlich sind. Ein großes Problem der Endogenität tritt auch bei fehlender Kontrolle der Störfaktoren oder in Fällen auf, in denen die abhängige Variable Einfluss auf eine oder mehrere unabhängige Variablen hat (umgekehrte Kausalität). Eine sorgfältige Analyse ist erforderlich, um beide möglichen Ursachen der Endogenität zu vermeiden.
11.75. Andere Situationen können die Feststellung der Kausalität erschweren. Bei der Erforschung von Wissensflüssen lässt sich der Einfluss bestimmter Wissensquellen auf die Ergebnisse in manchen Fällen nur schwer ermitteln. Zurückzuführen ist dies auf Verbindungen zwischen den Akteuren und das Ausmaß der beabsichtigten oder unbeabsichtigten Wissensdiffusion. Es kann relevante Kanäle geben, zu denen keine Daten vorliegen. Wie in Kapitel 6 dargelegt, würde die Analyse der Wissensflüsse durch eine grafische Darstellung des sozialen Netzwerks des Unternehmens erleichtert, die die wichtigsten Kanäle aufzeigt. Statistisch gesehen zeichnen sich stark vernetzte Innovationssysteme durch eine nicht unabhängige Verteilung der beobachteten Werte aus: Wettbewerb und Zusammenarbeit führen unter den Unternehmen zu Ergebnisabhängigkeiten, die sich auf die Schätzergebnisse auswirken.
11.76. Dynamische Effekte erfordern überdies Zeitreihendaten und ein Modell, das die Entwicklung der Beziehungen innerhalb eines Innovationssystems angemessen abbildet, z. B. zwischen den Inputs in einem bestimmten Zeitraum (t) und den Outputs in späteren Zeiträumen (t+1). In einigen Wirtschaftszweigen zahlen sich Innovationsinvestitionen erst nach mehreren Jahren wirtschaftlich aus. In einer dynamischen Analyse werden manchmal auch Daten zu Veränderungen in der Zusammensetzung der Beteiligten eines Innovationssystems verlangt, beispielsweise im Fall von Fusionen und Übernahmen. Unternehmensschließungen können zu einem starken Auswahleffekt führen, da nur überlebende Unternehmen für die Analyse zur Verfügung stehen.
Matching-Schätzer
11.77. Matching ist eine Methode, die die Regressionsanalyse ergänzt und zur Schätzung der durchschnittlichen Wirkung von Innovationsentscheidungen der Unternehmen sowie Politikmaßnahmen verwendet werden kann (vgl. Unterabschnitt 11.5.3). Das Matching schreibt keine funktionalen Spezifikationen für die Daten vor, sondern beruht auf der Annahme, dass es einen Katalog an beobachtbaren Merkmalen gibt, sodass die Förderung durch die Konditionierung auf die beobachtbaren Merkmale keinen Einfluss auf die Ergebnisse hat (Todd, 2010). Unter dieser Annahme kann die Wirkung einer Innovationsaktivität auf ein Ergebnis von Interesse anhand eines Vergleichs der Leistung von Innovatoren mit dem gewichteten Durchschnitt der Leistung von Nichtinnovatoren geschätzt werden. Die Gewichtungen müssen die beobachtbaren Merkmale der Innovatoren in der Stichprobe abbilden. Unter bestimmten Bedingungen können die Gewichtungen anhand vorhergesagter Innovationswahrscheinlichkeiten in einer diskreten Analyse geschätzt werden (Matching auf der Basis der Innovationsneigung).
11.78. In vielen Fällen kann es selbst unter Berücksichtigung der Konditionierung der beobachtbaren Variablen zwischen den Ergebnissen von geförderten und nicht geförderten Gruppen systematische Unterschiede geben. Das kann dazu führen, dass die für das Matching erforderliche identifizierende Annahme nicht erfüllt ist. Die Validität von Unabhängigkeitsannahmen kann bei Veränderungen der interessierenden Variablen im Zeitverlauf größer sein. Wenn Längsschnittdaten vorhanden sind, kann der „Differenz-von-Differenzen“-Ansatz verwendet werden. Ein Beispiel hierfür ist eine Analyse des Produktivitätswachstums, in der Unternehmen, die im Referenzzeitraum Innovationen eingeführt haben, mit Unternehmen verglichen werden, die dies nicht getan haben. Indem historische Daten über Innovationen und die Wirtschaftsleistung verwendet werden, können Verzerrungen weiter verringert werden.
11.79. Matching-Schätzer und die damit verbundene Regressionsanalyse sind besonders nützlich für die Analyse reduzierter Formen von Kausalitätsmodellen. Modelle in reduzierter Form haben geringere Anforderungen als strukturelle Modelle, sind zugleich aber auch weniger aussagekräftig bezüglich der Mechanismen, die Beziehungen zwischen verschiedenen Variablen zugrunde liegen.
Strukturelle Analyse von Innovationsdaten: das CDM-Modell
11.80. Das von Crépon, Duguet und Mairesse (1998) (daher die Bezeichnung CDM) entwickelte Modell baut auf dem Pfaddiagramm zur Wissensproduktionsfunktion von Griliches (1990) auf und wird in der empirischen Forschung zu Innovation und Produktivität weithin genutzt (Lööf, Mairesse und Mohnen, 2016). Der CDM-Rahmen eignet sich für Querschnittsdaten aus Innovationserhebungen, die gemäß den Empfehlungen dieses Handbuchs gewonnen wurden, darunter auch Daten, die ursprünglich nicht für den Zweck der Indikatorerstellung erhoben wurden. Das CDM-Konzept liefert ein Strukturmodell, das den Zusammenhang zwischen Innovationsoutput und Produktivität herstellt und die inhärente Selektivität und Endogenität von Erhebungsdaten berücksichtigt. Es umfasst Teilmodelle, die folgende Elemente betreffen (Criscuolo, 2009):
1. Innovationsneigung in allen Unternehmen: Zur Messung dieses entscheidenden Elements bedarf es qualitativ hochwertiger Informationen zu allen Unternehmen. Dies bedeutet, dass für alle Unternehmen Daten zu erheben sind, unabhängig von ihrem Innovationsstatus, wie in den Kapiteln 4 und 5 empfohlen.
2. Intensität der Innovationsanstrengungen in allen innovationsaktiven Unternehmen: Bei diesem Teilmodell wird unterstellt, dass es in jedem Unternehmen ein gewisses Maß an strukturellen Innovationsanstrengungen gibt, dieses aber nur in Unternehmen beobachtet wird, die Innovationsaktivitäten durchführen. Der selektive Charakter der Stichprobe ist somit berücksichtigt.
3. Umfang des Innovationsoutputs: Dieses Element wird nur für innovative Unternehmen beobachtet. Zugrunde gelegt werden das vorhergesagte Niveau der Innovationsanstrengungen, das in Modell 2 ermittelt wurde, und eine Kontrollvariable für den selbstselektiven Charakter der Stichprobe.
4. Beziehung zwischen Arbeitsproduktivität und Innovationsanstrengungen: Dieses Element wird unter Einbeziehung von Informationen zu den Bestimmungsfaktoren der Variablen für das Innovationsergebnis (auf der Grundlage des vorhergesagten Werts) und des selektiven Charakters der Stichprobe geschätzt.
11.81. Politikvariablen können in einem CDM-Modell berücksichtigt werden, sofern sie in der Stichprobe eine ausreichende Variabilität aufweisen und die für die Berücksichtigung erforderlichen Unabhängigkeitsannahmen (darunter keine Verzerrungen durch Selbstselektion) erfüllen.
11.82. Der CDM-Rahmen wurde weiterentwickelt, um mit wiederholt erhobenen Querschnitts- und Paneldaten arbeiten zu können, was den Wert konsistenter Längsschnittdaten auf Mikroebene erhöht. Bevor im Rahmen von CDM- oder ähnlichen Modellen gewisse Problematiken, wie die Konkurrenz zwischen FuE- und Nicht-FuE-Innovationsaktivitäten oder die relative Bedeutung oder Komplementarität von Innovationsaktivitäten im Vergleich zu allgemeinen Kompetenzen und Aktivitäten zum Kapazitätsaufbau behandelt werden können, müssen die Datenerfassungs- und Modellierungsmethoden ausgebaut werden. Eine bessere Datenqualität der Variablen zu Nicht-FuE-Aktivitäten und -Kapazitäten würde die Verwendung von erweiterten CDM-Modellen erleichtern.
11.5.3. Wirkungsanalyse der staatlichen Innovationspolitik
11.83. Innovationsstatistiken und -analysen werden hauptsächlich verwendet, um die Wirkung staatlicher Innovationspolitik zu verstehen. In diesem Abschnitt werden einige der grundlegenden Verfahren und Anforderungen beleuchtet, die es für Analyst*innen und Expert*innen zu berücksichtigen gilt.
Probleme bei der Politikevaluierung
11.84. Abbildung 11.2. veranschaulicht, welche Probleme bei der Ermittlung der kausalen Wirkung von Politikmaßnahmen entstehen, wenn kontrafaktische Daten fehlen. Im genannten Beispiel bestehen die öffentlichen Fördermaßnahmen in einer finanziellen Unterstützung von Innovationsaktivitäten in Form eines Zuschusses zur Entwicklung und Einführung eines neuen Produkts. Manche Unternehmen werden gefördert, andere hingegen nicht. Die tatsächliche Wirkung der Förderung ist wahrscheinlich in den einzelnen Unternehmen unterschiedlich. Sie lässt sich nur schwer evaluieren, da Informationen fehlen. Die Forschenden können die kontrafaktische Situation nicht beobachten, d. h. die Innovationsleistung von geförderten Unternehmen, wenn sie keine Förderung erhalten hätten. Das Gleiche trifft auf nicht geförderte Unternehmen zu. Die hellgrau unterlegten Felder in Abbildung 11.2 stellen dar, was nicht direkt durch Messungen beobachtbar ist. Die Pfeile kennzeichnen Vergleiche und zeigen ihre Rolle bei der Wirkungsmessung auf.
Quelle: Basierend auf Rubin (1974), „Estimating causal effects of treatments in randomized and nonrandomized studies”.
11.85. Die Hauptschwierigkeit bei der Herstellung valider kontrafaktischer Situationen besteht darin, dass die potenzielle Wirkung einer staatlichen Fördermaßnahme wahrscheinlich mit den Kriterien zusammenhängt, auf deren Grundlage die Förderungsentscheidung getroffen wurde. Beispielsweise ist es für manche Programmverwalter*innen von Interesse, Unternehmen auszuwählen, die auch ohne Förderung gute Ergebnisse erzielt hätten. Auch für die Unternehmen selbst ist es interessant, Fördermaßnahmen erst nach Abschätzung des potenziellen Kosten-Nutzen-Verhältnisses zu beantragen.
11.86. Der diagonale Pfeil in Abbildung 11.2. zeigt, welche empirischen Vergleiche möglich sind und veranschaulicht, dass Unterschiede zwischen den Ergebnissen geförderter und nicht geförderter Gruppen nicht zwangsläufig kausale Effekte oder Wirkungen sind (z. B. fehlende Kontrolle der Störvariablen).
Datenerfordernisse und Randomisierung
11.87. Um Innovationspolitik zu evaluieren, müssen Daten zur Innovationsleistung von Unternehmen mit Daten zur Inanspruchnahme öffentlicher Fördermaßnahmen verknüpft werden. Innovationserhebungen sammeln für diesen Zweck in der Regel nur unzureichend Informationen dazu, wie auf innovationspolitische Maßnahmen in Unternehmen reagiert wird. Eine Alternative (vgl. Kapitel 7) besteht darin, Daten aus Innovationserhebungen auf Unternehmensebene mit Verwaltungsdaten aus Datenbanken zur öffentlichen Auftragsvergabe und Regulierung oder auch mit Daten zu Unternehmen, die staatliche Förderungen weder beantragt noch erhalten haben, zu verknüpfen. Die gleiche Vorgehensweise gilt für Daten, die Auskunft darüber geben, ob Unternehmen einem bestimmten Regulierungssystem unterworfen waren. Die Qualität der so erhobenen Mikrodaten hängt von der Vollständigkeit der Daten zur Inanspruchnahme öffentlicher Fördermaßnahmen (sind z. B. nur Daten für bestimmte Arten staatlicher Förderung verfügbar und nicht für andere?) und der Genauigkeit der Matching-Methode ab.
11.88. Experimente, bei denen die Teilnehmenden nach dem Zufallsprinzip einer Förder- oder Kontrollgruppe zugeordnet werden, liefern die genauesten und zuverlässigsten Informationen zur Wirkung der staatlichen Innovationspolitik (Nesta, 2016). Die Förderwirkung wird anhand eines Vergleichs des Verhaltens und der Ergebnisse der beiden Gruppen geschätzt. Dabei werden Ergebnisdaten verwendet, die aus einer gesonderten Erhebung oder anderen Quellen stammen (Edovald und Firpo, 2016).
11.89. Durch die Randomisierung wird die Auswahlverzerrung eliminiert, sodass beide Gruppen vergleichbar sind und etwaige Unterschiede zwischen ihnen auf die Politikmaßnahme zurückzuführen sind. Randomisierte Studien werden manchmal als politisch nicht durchführbar betrachtet, weil potenziell Begünstigte zumindest vorübergehend von der Förderung ausgeschlossen sind. Dennoch wird die Randomisierung häufig wegen ihres großen Potenzials für Politikerkenntnisse in Situationen gerechtfertigt, in denen die Unsicherheit sehr groß ist. Außerdem ist ein Auswahlverfahren erforderlich, wenn aufgrund begrenzter Haushaltsmittel nicht alle Unternehmen von der Innovationsförderung profitieren können.
Politikevaluierung ohne Randomisierung
11.90. Bei Ex-ante- oder Ex-post-Evaluierungen ohne Randomisierung ist es wichtig, der Möglichkeit Rechnung zu tragen, dass beobachtete Korrelationen zwischen staatlicher Förderung und Innovationsleistung auf Störeffekte zurückzuführen sein könnten, die durch unbeobachtete Faktoren mit Einfluss auf beide Größen entstehen. Bei der Evaluierung diskretionärer Fördermaßnahmen kann dies ein ernstes Problem darstellen, da diese von Unternehmen beantragt werden müssen. In diesem Fall findet ein doppelter Auswahlprozess statt, in dem die Unternehmen zunächst selbst entscheiden, ob sie einen Antrag stellen, und die Verwalter*innen des Förderprogramms dann entscheiden, ob sie dem Antrag stattgeben. Da diese zweite Auswahl durch Kriterien zur Begünstigung der vielversprechendsten Kandidaten beeinflusst werden kann, besteht die Gefahr einer Verzerrung zugunsten bereits erfolgreicher Antragsteller. Beide Auswahlverfahren erschweren die genaue Ermittlung von Mitnahmeeffekten staatlicher Innovationsförderung. Um eine mögliche Selektion zu berücksichtigen, müssen Informationen über die potenzielle Förderfähigkeit folgender Gruppen gesammelt werden: Unternehmen, die Fördermittel beantragen, aber nicht erhalten, Unternehmen, die eine Förderung beantragen und sie erhalten, eine Kontrollgruppe von Nichtantragstellern.
11.91. Umfassende Daten zur untersuchten Politikmaßnahme und zu ihrer Umsetzung sind für die Evaluierung ebenfalls von Nutzen. Dazu gehören insbesondere Informationen über die Einstufung jedes Antrags, die genutzt werden können, um den Effekt zu evaluieren, den Unterschiede in der Antragsqualität auf die Ergebnisse haben. Beobachtete Änderungen bei den Förderkriterien im Zeitverlauf und in den einzelnen Unternehmen stellen einen potenziell nützlichen Fundus an exogenen Variationen dar.
11.92. Häufig ist es so, dass die staatlichen Stellen nur über Mikrodaten zu den Unternehmen verfügen, die an staatlichen Förderprogrammen teilgenommen haben. In diesem Fall muss eine Kontrollgruppe von Nichtantragstellern aus anderen Datenquellen erstellt werden. Daten aus Innovationserhebungen können ebenfalls dazu beitragen, kontrafaktische Situationen zu bilden. Anhand von Verwaltungsdaten können Unternehmen identifiziert werden, die verschiedene Arten staatlicher Förderung für Innovationen und andere Aktivitäten beantragen, in Anspruch nehmen und letztlich auch davon profitieren (vgl. Unterabschnitt 7.5.2). Alle oben erörterten Methoden – Regression, Matching und strukturelle Schätzung – können im Kontext dieser Politikanalyse und -evaluierung angewendet werden.
Verfahren
11.93. Von wenigen Ausnahmen abgesehen, haben nationale Statistikämter selten den Auftrag, Politikevaluierungen durchzuführen. Es herrscht jedoch Konsens darüber, dass ihre Infrastrukturen diese Aufgabe erheblich erleichtern können, solange sie nicht gegen die Verschwiegenheitspflicht gegenüber den Unternehmen verstoßen, die Daten für statistische Zwecke übermitteln. Mit Evaluierungen werden in der Regel Wissenschafts- und Forschungseinrichtungen sowie Beratungsunternehmen beauftragt, die über Erfahrung in der Kausalanalyse und die notwendige Unabhängigkeit verfügen, um öffentliche Politikmaßnahmen kritisch kommentieren zu können. Dies setzt voraus, Forschenden unter ausreichend sicheren Bedingungen Zugang zu Mikrodaten zu gewähren (vgl. Unterabschnitt 9.8.2). Bei der Sicherung des Zugangs zu Mikrodaten für Analysezwecke sind erhebliche Fortschritte erzielt worden, sodass der damit verbundene Aufwand auf ein Minimum reduziert werden konnte. Beachtenswert ist, dass internationale Organisationen wie die Interamerikanische Entwicklungsbank vergleichende Analysen mit ermöglicht haben, indem sie die Finanzierung von Innovationserhebungen (oder ähnlichen Erhebungen) an die Bereitstellung, angemessener und zugänglicher Mikrodaten geknüpft haben.
11.94. Staatliche Stellen, die Politikmaßnahmen anhand von Innovations- und anderen Erhebungsdaten evaluieren lassen, müssen über solide Grundkenntnisse in Evaluierungsmethoden verfügen, um die von den Auftragnehmenden oder Forschenden verwendete Methodik genau prüfen und bewerten, sowie die Ergebnisse interpretieren und kommunizieren zu können. Da Replizierbarkeit eine wichtige Voraussetzung für die Gewährleistung von Qualität ist, sollte der für die statistische Analyse verwendete Programmiercode nach der Evaluierung zur Verfügung gestellt werden. Verknüpfte Datenbanken, die für öffentlich finanzierte Evaluierungsstudien erstellt werden, sollten ebenfalls sicher aufbewahrt und anderen Forschenden nach einem angemessenen Zeitraum zur Verfügung gestellt werden, sofern sie keine vertraulichen Daten enthalten.
11.5.4. Koordinierte länderübergreifende Analyse von Mikrodaten zum Innovationsgeschehen
11.95. Wenn nicht diskretionäre Maßnahmen auf nationaler Ebene eingeführt werden, kann es sehr schwierig sein, geeignete Kontrollgruppen einzurichten, da alle Unternehmen eines Landes beispielsweise den gleichen Wettbewerbsbestimmungen unterliegen. Eine Lösung besteht darin, Innovationsdaten aus Ländern mit unterschiedlichen Politikumfeld heranzuziehen.
11.96. Die größte Einschränkung ist dabei der Zugang zu Mikrodaten aller in die Analyse einbezogenen Länder. Dieser ist jedoch unerlässlich, um eine große Anzahl von Unternehmens- und Kontextmerkmalen zu berücksichtigen und kontrafaktische Situationen zu untersuchen. Mikrodaten können mit Makrodaten kombiniert werden, um Unterschiede zwischen den Ländern zu neutralisieren.
Analyse mit „gepoolten“ Mikrodaten
11.97. Mikrodaten aus mehreren Ländern in einer einzigen Datenbank zusammenzutragen, ist die optimale Lösung. Dadurch werden die Unterschiede bei der Datenbearbeitung auf ein Mindestmaß reduziert und die Forschenden haben so Zugang zur gesamten Stichprobe. Dies ist für die Schätzung von Mehrebenenmodellen mit kombinierten Effekten auf Mikro- und Länderebene unabdingbar. Ein Beispiel hierfür ist ein Modell, in dem die Innovationsleistung in Abhängigkeit von Unternehmensmerkmalen und nationalen Politikmaßnahmen analysiert wird.
11.98. Die Erstellung einer einzigen Datenbank mit Mikrodaten aus mehreren Ländern wird durch Vorschriften zu Datenerfassung und Datenzugriff eingeschränkt. Nationale Datenschutzbestimmungen können Nichtstaatsangehörigen den Zugang zu Daten verbieten oder die Datennutzung im Ausland blockieren. Rechtskonforme Lösungen sind jedoch möglich, sobald ein Konsens hinsichtlich der Bedeutung koordinierter internationaler Analysen besteht. Ein Beispiel dafür sind die gesetzlichen Regelungen der Europäischen Kommission, die anerkannten Forschenden im Rahmen genehmigter Forschungsprojekte Zugang zu den CIS-Mikrodaten des Safe-Center von Eurostat gewähren. Diese Möglichkeit der gemeinsamen Datennutzung aus verschiedenen Ländern hat einen wesentlichen Beitrag zur internationalen vergleichenden Analyse geleistet, wenngleich derzeit eine Datenverknüpfung von CIS-Daten des Safe-Center mit anderen Daten nicht möglich ist.
Länderübergreifende dezentrale Mikrodatenanalyse
11.99. Wenn sich Mikrodaten aus Gründen der Vertraulichkeit oder aus anderen Gründen nicht per Fernzugriff abrufen oder in einer einzigen Datenbank kombinieren lassen, können andere Methoden eingesetzt werden, indem der Schwerpunkt auf nicht vertrauliche Outputs gelegt wird. Beim dezentralen Ansatz für die Mikrodatenanalyse wird zunächst ein gemeinsamer Programmiercode für die Datenanalyse konzipiert und eingeführt, der befugten Personen Zugang zu nationalen Mikrodaten gibt. Der Code ist so konzipiert, dass er nicht vertrauliche Outputs liefert, die in den verschiedenen Ländern so ähnlich wie möglich sind, wie deskriptive Indikatoren oder Koeffizienten aus multivariaten Analysen. Die Daten können dann von Projektmitarbeitenden oder von befugten Dritten verglichen und weiter ausgewertet werden.
11.100. Die ersten Innovationsanalysen auf der Grundlage des dezentralen Ansatzes wurden im Rahmen von Forschungsprojekten durchgeführt, an denen eine begrenzte Gruppe von Ländern beteiligt war (Griffith et al., 2006). Seither nutzen internationale Organisationen wie die OECD zunehmend den dezentralen Ansatz für vergleichende Analysen (OECD, 2009b). Außerdem können nationale Teams Schätzungen der Parameter vornehmen, die in weiterreichenden vergleichenden Analysen verwendet werden (Criscuolo, 2009), wobei sie ähnliche Instrumente einsetzen wie in quantitativen Metaanalysen.
11.101. Der dezentrale Ansatz der Mikrodatenanalyse ermöglicht u. a. die Einrichtung einer multinationalen Datenbank zu Mikromomenten (multi-country micro-moments database – MMD). Eine solche Datenbank vereint eine Reihe von statistischen Indikatoren, die auf der Basis nationaler Mikrodaten erstellt wurden, und erfasst die Attribute der gemeinsamen Verteilung der Variablen innerhalb der einzelnen Länder. Die Datenbank enthält eine Anzahl M von Mikromomenten, die verschiedenen multivariaten Statistiken entsprechen, wobei die Momente innerhalb jedes Landes für jede Kombination von Unternehmensgruppen g (z. B. nach Größe und Wirtschaftszweig) und für jeden Zeitraum t geschätzt wurden. Die gepoolte MMD-Datenbank für die Gruppe der Teilnehmerländer ermöglicht nicht nur die tabellarische Darstellung der Indikatoren, sondern auch die Analyse auf Meso- und Makroebene, die um zusätzliche Politik- und andere Variablen ergänzt werden kann. Die Machbarkeit einer MMD-Datenbank hängt von der Vergleichbarkeit der zugrunde liegenden Daten ab und setzt voraus, dass für die Konstruktion der nationalen MMD-Komponenten identische Protokolle verwendet werden (Bartelsman, Hagsten und Polder, 2017).
11.102. In diesem Kapitel werden zahlreiche Fragen im Zusammenhang mit der Nutzung von Innovationsdaten für die Erstellung von Indikatoren sowie für statistische und ökonometrische Analysen untersucht. Die Empfehlungen in diesem Kapitel richten sich nicht nur an diejenigen, die Indikatoren für die amtliche Statistik erstellen, sondern auch an andere interessierte Nutzer von Innovationsdaten. Das Kapitel soll eine Orientierungshilfe für die Arbeit all jener bieten, die an der Konzeption, Erstellung und Verwendung von Innovationsindikatoren beteiligt sind. Außerdem leistet es einen Beitrag dazu, Nutzerbedürfnisse anzusprechen, die durch die Indikatoren allein nicht gedeckt werden können. Daher wurden in diesem Kapitel Methoden zur Analyse von Innovationsdaten beschrieben. Der Schwerpunkt lag auf der Abschätzung der Innovationsauswirkungen und der empirischen Evaluierung staatlicher Innovationspolitik. Das Kapitel soll als Leitfaden für die Erfassung und Analyse vorhandener Daten dienen und künftige experimentelle Ansätze fördern, die die Qualität, Sichtbarkeit und Nützlichkeit der aus Innovationserhebungen gewonnenen Daten und Indikatoren verbessern, was ein Hauptziel dieses Handbuchs ist.
Literaturverzeichnis
Aghion, P. et al. (2005), „Competition and innovation: an inverted-U relationship”, The Quarterly Journal of Economics, Vol. 120/2, S. 701-728, https://doi.org/10.1093/qje/120.2.701.
Arundel, A. und H. Hollanders (2008), „Innovation scoreboards: Indicators and policy use” in C. Nauwelaers und R. Wintjes (Hrsg.), Innovation Policy in Europe: Measurement and Strategy, Edward Elgar, Cheltenham, S. 29-52.
Arundel, A. und H. Hollanders (2005), „EXIS: An Exploratory Approach to Innovation Scoreboards”, European Trend Chart on Innovation, Europäische Kommission, Brüssel, http://digitalarchive.maastrichtuniversity.nl/fedora/get/guid:25cbd28f-efcf-4850-a43c-ab25393fcca7/ASSET1 (Abruf: 9. August 2018).
Bartelsman, E. J., E. Hagsten und M. Polder (2017), „Micro Moments Database for cross-country analysis of ICT, innovation, and economic outcomes”, Tinbergen Institute Discussion Papers, No. 2017-003/VI, https://doi.org/10.2139/ssrn.2898860.
Bloch, C. und V. López-Bassols (2009), „Innovation indicators”, in OECD, Innovation in Firms: A Microeconomic Perspective, OECD Publishing, Paris, https://doi.org/10.1787/9789264056213-3-en .
Bloom, N. und J. Van Reenen (2007), „Measuring and explaining management practices across firms and countries”, The Quarterly Journal of Economics, Vol. 122/4, S. 1351-1408, https://doi.org/10.1162/qjec.2007.122.4.1351.
Blundell, R., R. Griffith und J. Van Reenen (1999), „Market Share, Market Value and Innovation in a Panel of British Manufacturing Firms”, The Review of Economic Studies, Vol. 66/3, S. 529-554, https://www.jstor.org/stable/2567013.
Bravo-Biosca, A. (2016), „Experimental innovation and growth policy: Why do we need it?”, Innovation Growth Lab, Nesta, London, https://media.nesta.org.uk/documents/experimental_innovation_and_growth_policy_why_do_we_need_it.pdf.
Crépon, B., E. Duguet und J. Mairesse (1998), „Research, innovation and productivity: An econometric analysis at the firm level”, Economics of Innovation and New Technology, Vol. 7/2, S. 115-158.
Crespi, G. und P. Zuñiga (2010), „Innovation and productivity: Evidence from six Latin American countries”, IDB Working Papers, No. IDB-WP-218, Interamerikanische Entwicklungsbank, Washington, D.C., https://publications.iadb.org/publications/english/document/Innovation-and-Productivity-Evidence-from-Six-Latin-American-Countries.pdf.
Criscuolo, C. (2009), „Innovation and Productivity: Estimating the Core Model across 18 Countries”, in OECD, Innovation in Firms: A Microeconomic Perspective, OECD Publishing, Paris, https://doi.org/10.1787/9789264056213-5-en.
Czarnitzki, D., P. Hanel und J. M. Rosa (2011), “Evaluating the impact of R&D tax credits on innovation: A microeconometric study on Canadian firms”, Research Policy, Vol. 40/2, S. 217-229, https://doi.org/10.1016/j.respol.2010.09.017.
de Jong, J. P. J. und O. Marsili (2006), „The fruit flies of innovations: A taxonomy of innovative small firms”, Research Policy, Vol.35/2, S. 213-229, https://doi.org/10.1016/j.respol.2005.09.007.
Edovald, T. und T. Firpo (2016), „Running randomised controlled trials in innovation, entrepreneurship and growth: An introductory guide”, Innovation Growth Lab, Nesta, London, https://media.nesta.org.uk/documents/a_guide_to_rcts_-_igl_09aKzWa.pdf.
Europäische Kommission (2010), Elements for the Setting-up of Headline Indicators for Innovation in Support of the Europe 2020 Strategy – Report of the High Level Panel on the Measurement of Innovation, GD Forschung und Innovation, Europäische Kommission, Brüssel, https://ec.europa.eu/research/innovation-union/pdf/elements-for-the-setting-up-of-headline-indicators2013.pdf. https://doi.org/10.2777/15087.
Eurostat (o.J.), Glossary of Statistical Terms, Eintrag “Statistical indicator”, http://ec.europa.eu/eurostat/statistics-explained/index.php/Glossary:Statistical_indicator (Abruf: 9. August 2018).
Frenz, M. und R. Lambert (2012), „Mixed modes of innovation: An empiric approach to capturing firms’ innovation behaviour”, OECD Science, Technology and Industry Working Papers, No. 2012/06, OECD Publishing, Paris, https://doi.org/10.1787/5k8x6l0bp3bp-en.
Galindo-Rueda, F. und V. Millot (2015), „Measuring design and its role in innovation”, OECD Science, Technology and Industry Working Papers, No. 2015/01, OECD Publishing, Paris, https://doi.org/10.1787/5js7p6lj6zq6-en.
Gault, F. (Hrsg.) (2013), Handbook of Innovation Indicators and Measurement, Edward Elgar, Cheltenham, https://doi.org/10.4337/9780857933652.
Geroski, P., S. Machin und J. Van Reenen (1993), „The profitability of innovating firms”, The RAND Journal of Economics, Vol. 24/2, S. 198-211, https://www.jstor.org/stable/2555757.
Griffith, R. et al. (2006), „Innovation and Productivity Across Four European Countries”, Oxford Review of Economic Policy, Vol. 22/4, S. 483-498, https://doi.org/10.1093/oxrep/grj028.
Griliches, Z. (1990), „Patent statistics as economic indicators: A survey”, Journal of Economic Literature, Vol. 28/4, S. 1661-1707, https://www.jstor.org/stable/2727442.
Hall, B. H. (2011), „Innovation and productivity”, NBER Working Papers, No. 17178, National Bureau of Economic Research (NBER), Cambridge, MA, www.nber.org/papers/w17178.
Harrison, R. et al. (2014), „Does innovation stimulate employment? A firm-level analysis using comparable micro-data from four European countries”, International Journal of Industrial Organization, Vol. 35, S. 29-43, https://doi.org/10.1016/j.ijindorg.2014.06.001.
Hill, C. T. (2013), „US innovation strategy and policy: An indicators perspective”, in F. Gault (Hrsg.), Handbook of Innovation Indicators and Measurement, Edward Elgar, Cheltenham, S. 333-346, https://doi.org/10.4337/9780857933652.00025.
Hollanders, H. und N. Janz (2013), „Scoreboards and indicator reports”, in F. Gault (Hrsg.), Handbook of Innovation Indicators and Measurement, Edward Elgar, Cheltenham, S. 279-297, https://doi.org/10.4337/9780857933652.00021.
Laursen, K, und A. Salter (2006), “Open for innovation: the role of openness in explaining innovation performance among UK manufacturing firms”, Strategic Management Journal, Vol. 27/2, S. 131-150, https://doi.org/10.1002/smj.507.
Lööf, H., J. Mairesse und P. Mohnen (2016), „CDM 20 years after”, CESIS Electronic Working Papers, No. 442, Centre of Excellence for Science and Innovation Studies (CESIS), KTH Royal Institute of Technology, Stockholm, https://static.sys.kth.se/itm/wp/cesis/cesiswp442.pdf.
Mairesse, J. und P. Mohnen (2010), „Using Innovation Surveys for Econometric analysis”, in B. H. Hall und N. Rosenberg (Hrsg.), Handbook of the Economics of Innovation, Vol. 2, Elsevier, https://doi.org/10.1016/S0169-7218(10)02010-1.
McLaughlin, J. A. und G. B. Jordan (1999), „Logic models: a tool for telling your program’s performance story”, Evaluation and Program Planning, Vol. 22/1, S. 65-72, https://doi.org/10.1016/S0149-7189(98)00042-1.
National Research Council (2014), Capturing Change in Science, Technology, and Innovation: Improving Indicators to Inform Policy, National Academies Press, Washington, D.C., https://doi.org/10.17226/18606.
OECD (2015), Frascati Manual 2015: Guidelines for Collecting and Reporting Data on Research and Experimental Development, The Measurement of Scientific, Technological and Innovation Activities, OECD Publishing, Paris, https://doi.org/10.1787/9789264239012-en; dt. Fassung: OECD (2018), Frascati-Handbuch 2015: Leitlinien für die Erhebung und Meldung von Daten über Forschung und experimentelle Entwicklung, Messung von wissenschaftlichen, technologischen und Innovationstätigkeiten, OECD Publishing, Paris, https://doi.org/10.1787/9789264291638-de.
OECD (2013), „Knowledge networks and markets”, OECD Science, Technology and Industry Policy Papers, No. 7, OECD Publishing, Paris, https://doi.org/10.1787/5k44wzw9q5zv-en.
OECD (2010), Measuring Innovation: A New Perspective, OECD Publishing, Paris, https://doi.org/10.1787/9789264059474-en.
OECD (2009a), OECD Patent Statistics Manual, OECD Publishing, Paris, https://doi.org/10.1787/9789264056442-en.
OECD (2009b), Innovation in Firms: A Microeconomic Perspective, OECD Publishing, Paris, https://doi.org/10.1787/9789264056213-en.
OECD/JRC (2008), Handbook on Constructing Composite Indicators – Methodology and User Guide, OECD, Paris, www.oecd.org/sdd/42495745.pdf.
OECD und SCImago Research Group (CSIC) (2016), Compendium of Bibliometric Science Indicators, OECD, Paris, www.oecd.org/sti/inno/Bibliometrics-Compendium.pdf.
Rubin, D. B. (1974), „Estimating causal effects of treatments in randomized and nonrandomized studies”, Journal of Educational Psychology, Vol. 66/5, S. 688-701, https://doi.org/10.1037/h0037350.
Tether, B. (2001), „Identifying innovation, innovators, and innovation behaviours: A critical assessment of the Community Innovation Survey (CIS)”, CRIC Discussion Papers, No. 48, Centre for Research on Innovation and Competition, University of Manchester, Manchester.
Todd, P. E. (2010), „Matching estimators”, in S. N. Durlauf und L. E. Blume (Hrsg.), Microeconometrics, The New Palgrave Economics Collection, Palgrave Macmillan, London, S. 108-121.
VN (2004), Implementation of the Fundamental Principles of Official Statistics; Report of the Secretary-General, E/CN.3/2004/21, UN Statistical Commission, New York, https://unstats.un.org/unsd/statcom/doc04/2004-21e.pdf.
VN (2000), „Terminology on statistical metadata”, Statistical Standards and Studies, No. 53, Conference of European Statisticians, UN Statistical Commission und UN Economic Commission for Europe, Genf, https://digitallibrary.un.org/record/442455.
Wilhelmsen, L. (2012), „A question of context: Assessing the impact of a separate innovation survey and of response rate on the measurement of innovation activity in Norway”, Documents, No. 51/2012, Statistics Norway, Oslo, www.ssb.no/a/english/publikasjoner/pdf/doc_201251_en/doc_201251_en.pdf.