Governance of Innovation Systems and Evaluation Practices

Transcripción

1 Governance of Innovation Systems and Evaluation Practices Cristóbal Undurraga V. Executive Director InnovaChile BNDES, WorldBank and OECD October 25,

2 GOVERNANCE OF SYSTEM Many people care about the success of our system

3 Governance of Systems What is our system? Institutional review Gobierno de Chile Corporación de Fomento de la Producción CORFO 3

4 Governance of Systems What is our system? Budget review More than 55 programs in 12 ministries for US$1.6 bn Gobierno de Chile Corporación de Fomento de la Producción CORFO 4

5 Governance of Systems What is our system? Citizen s review Transparency law (2008) Passive Corfo s policy on results and information Institutional repository of projects and documents Digitalization of reports Active Corfo s policy on data management Changes in grants contracts Common databases along different programs Datos.gob.cl initiative (similar to data.gov) Gobierno de Chile Corporación de Fomento de la Producción CORFO 5

6 Governance of Projects Challenge is to make it effective Smaller projects Phased approach Matching-funds to learn about true interest from companies Demanding commitment from higher management / higher ranks Tax credit is a simple way to align interests and gather data Larger projects Consortium model: Better cases share a clear roadmap and a cleargoal, i.e. achieve profitability or generate X number of new varieties. Centers of Excelence: All have an strong board + Request for CEOwith strong TT background Gobierno de Chile Corporación de Fomento de la Producción CORFO 6

7 EVALUATING OUR WORK You have to be willing to do something about it

8 Evaluating our work This presentation talks at Corfo level Gobierno de Chile Corporación de Fomento de la Producción CORFO 8

9 We evaluate to improve Three levels of our evaluation approach Gobierno de Chile Corporación de Fomento de la Producción CORFO 9

10 A. Program evaluation Program design process to define ex ante what to look for Gobierno de Chile Corporación de Fomento de la Producción CORFO 10

11 A. Program evaluation Measuring policy metrics Each new program is requiered to have a set of goals Each goal HAS to have at least one metric than can be tracked All variables have to be defined and programmed into our main database and online project management application for being fed by users, Corfo team and automatic feeds Nombre del ACTUAL instrumento o Gerencia o programa Subgerencia Gestión a la Innovación Innovación Empresarial Innovación Empresarial (incluye Innovación Innovación Empresarial de Empresarial Rápida Implementación) EX Gerencia o Subgerencia Innovación Empresarial Innovación Empresarial Estado Desde Enero de 2010 a la fecha Indicadores Status Largo indicador Duración Final plazo (1 ó R=En Inter Hipótesis Objetivo / Descripción máxima de del más años revision Estado Razón Tipo de indicador Descripción Fórmula Campos medi proyectos Proye de disponibilida o cto terminado d de el información % de las empresas beneficiadas (N de empresas beneficiadas directamente que generaron e 1. Rut de la empresa beneficiada 1. ID Desarrollar y/o fortalecer las GENERACIÓN DE directamente que generaron e instalaron procesos de innovación a Tf / N de empresas 2. Año en que culminó el beneficio (Tf) 2. ID capacidades de innovación en las INNOVACIONES instalaron procesos de innovación beneficiadas directamente)* La empresa generó e instaló procesos de innovación a Tf (Si/No) 3. E X E empresas nacionales, a través de la % de las empresas beneficiadas 1. Rut de la empresa beneficiada No existen buenas prácticas sistematización de las prácticas de directamente que posteriormente (N de empresas beneficiadas directamente que tiene una 2. Año en que culminó el beneficio (Tf) 1. ID GENERACIÓN DE tienen una cartera de proyectos de cartera de proyectos de innovación en su fase inicial en Tf / N 3. La empresa tiene una cartera de proyectos de innovación en su fase inicial a Tf 2. ID que faciliten el desarrollo I+D+i como rutinas permanentes del Concurso que se realiza periódicamente INNOVACIONES innovación en su fase inicial. de empresas beneficiadas directamente)*100 (Si/No) 3. E X E permanente de I+d+i en las negocio de las empresas (1 ó 2 veces al año) desde el Se 18 meses M* % de empresas apoyadas que 1. Rut de la empresa beneficiada empresas del país, lo que participantes, y del establecimiento, espera realizar uno con bases introdujeron innovación de producto, (N de empresas apoyadas que introdujeron innovación de 2. Año en que culminó el beneficio (Tf) 1. ID dificulta el desarrollo de al interior de dichas empresas, de modificadas a mediados de este año. GENERACIÓN DE proceso, gestión organizativa o producto, proceso, gestión organizativa o marketing a Tf+2 / N 3. La empresa introdujo innovación de producto, proceso, gestión organizativa o 2. ID Innovaciones. sistemas y equipos de trabajo que se INNOVACIONES marketing. empresas beneficiadas)*100 marketing a Tf+2 (Si/No) 3. E X E constituyan en referentes para otras 1. Rut de la empresa beneficiada [(Σ porcentaje de aumento en ventas que la empresa 2. Año en que culminó el beneficio (Tf) 1. ID empresas productivas a nivel Crecimiento de las ventas atribuidas a beneficiada i atribuye a la ejecución del proyecto en Tf+2)/(N 3. Porcentajes de cambio en las ventas que la empresa beneficiaria i le atribuye a la 2. ID nacional. AUMENTO DE VENTAS la ejecución del proyecto. de empresas beneficiadas)]*100 ejecución del proyecto en Tf+2 3. E E % de los proyectos dieron lugar a (N de proyectos beneficiados que dieron lugar a innovación de 1. Rut de la empresa beneficiada 1. ID GENERACIÓN DE innovación de productos, servicio o productos, servicio o proceso a Tf / N de proyectos 2. Año en que culminó el beneficio (Tf) 2. ID INNOVACIONES proceso. beneficiados)]* Proyecto dio lugar a innovación de productos, servicio o proceso a Tf (Si/No) 3. E X E Apoyar la creación de valor en las Con el objetivo de concentrar la oferta Dada la incertidumbre empresas nacionales, a través de la GENERACIÓN DE ALGÚN en un sólo instrumento que haga más existente en el desarrollo de transformación de ideas o TIPO DE PROPIEDAD % de los proyectos que generaron (N de proyectos beneficiados que generaron solicitudes de 1. Rut de la empresa beneficiada 1. ID simple la postulación de las empresas, se proyectos innovadores, y las conocimientos en nuevos o INDUSTRIAL O solicitudes de alguna propiedad alguna propiedad industrial o intelectual a Tf / N de proyectos 2. Año en que culminó el beneficio (Tf) 2. ID fusionarán los siguientes instrumentos: asimetrías de información significativamente mejorados INTELECTUAL industrial o intelectual. beneficiados)* Proyecto generó solicitudes de alguna propiedad industrial o intelectual a Tf (Si/No) 3. E X E Innovación Empresarial de Rápida 1. Rut de la empresa beneficiada existentes entre las empresas productos (bienes o servicios), Implementación, Innovación 2. Año en que culminó el beneficio (Tf) con ideas innovadoras y las procesos, métodos de 36 meses N* 3. Porcentaje de las ventas totales que la empresa beneficiaria i atribuye a la 1. ID Empresarial Individual, Protección de las instituciones financieras, el comercialización o métodos [(ΣPorcentaje de las ventas totales que la empresa beneficiaria i realización del proyecto a Tf 2. ID Innovaciones, Apoyo a Negocios mercado de financiamiento organizacionales, asimismo como ventas asociadas al proyecto en atribuye a la realización del proyecto a Tf y a Tf+3)/(N 4. Porcentaje de las ventas totales que la empresa beneficiaria i atribuye a la 3. E Tecnológicos, Apoyo a la Atracción de privado para el desarrollo de actividades de protección y VENTAS relación al total de la empresa. empresas beneficiarias)]*100 realización del proyecto a Tf+3 4. E X X E Profesionales y Técnicos. 1. Rut de la empresa beneficiada proyectos innovadores comercialización en las etapas Este nuevo instrumento se encuentra 2. Año en que culminó el beneficio (Tf) riesgosos es incompleto. tempranas de las innovaciones actualmente en Contraloría. 3. N de empleos generados a Tf que la beneficiaria i considera atribuibles a la(s) desarrolladas. innovación(es) generada(s) producto de su participación en el programa. 1. ID Σ empleo generado a Tf y Tf+3 por la empresa beneficiada i 4. N de empleos generados a Tf+3 que la beneficiaria i considera atribuibles a la(s) 2. ID GENERACIÓN DE Empleos generados atribuidos a la atribuibles a la(s) innovación(es) generada(s) producto de su innovación(es) generada(s) producto de su participación en el programa. 3. E EMPLEO generación de innovaciones participación en el programa. 4. E x X E Gobierno de Chile Corporación de Fomento de la Producción CORFO 11

12 A. Program evaluation Evaluating policies Make decision Once a year (at least) every program manager receives a report stating the results of the key metrics Action must be taken to improve or close Using this and similar approaches, almost all programs have had to been redefined. Some were closed or merged into others. Gobierno de Chile Corporación de Fomento de la Producción CORFO 12

13 B. Project level Recognizing that projects can and will fail Projects are the main feed for policy reviews At an individual level, their evaluation has to be quick and flexible with the changing nature of innovation projects Changes Projects have two groups of metrics: policy metrics and user based metrics A baseline has to be presented in every project New grant contracts determine that information has to be delivered to Corfo up to 5 years after the project s completion Grants related to R&D and start-ups have a new phased approach, to force a periodic in depth review and also to allow for quick Go/NoGo decision Gobierno de Chile Corporación de Fomento de la Producción CORFO 13

14 A-B. Program & Project level Long-term evaluations Measuring the isolated impact of a single program is a tough task given the macro changes, but also given the multiple policies that affect a company (project grant, human capital program, tax credit, technology transfer, seminars, loans, etc.) In the long-term there will be time series of data for internal and external reviewers and researchers We do not have a unique methodolgy yet and hope to learn from other economies Gobierno de Chile Corporación de Fomento de la Producción CORFO 14

15 C. Agency level Process based information to improve OUR job Corfo is recognized as an important institution, but slow We asked our users and our team what do we have to do and how should we do it? The answer is a new process with fixed times in each step and many feedback opportunities All variables are tracked by an online system The task educated the team and even before the whole sysem is deployed, delays have been reduced significantly Gobierno de Chile Corporación de Fomento de la Producción CORFO 15

16 C. Agency level User based information Users feedback has been a key input to the changes in our operation They are part of at least the following steps Policy design beta-testing Project user based metrics Application feedback (start, pre-committee, postcommitte) Satisfaction surveys at different steps Gobierno de Chile Corporación de Fomento de la Producción CORFO 16

17 C. Agency level Control Dashboard & Reports All metrics are tracked and each manager has online access to a complete dashboard Gobierno de Chile Corporación de Fomento de la Producción CORFO 17

18 We need to master all three And still have a very long way to go Gobierno de Chile Corporación de Fomento de la Producción CORFO 18

19 INNOVATION POLICIES & SOCIAL NETWORKS A new and rapid way of finding critical information

20 Social media as a tool for rapid prototyping The StartUp Chile case Quick program design, based on existing information and research Hipothesis: Attract talent to Chile and build global ecosystem Pilot Goal: 50 applications, all from California Results: Attracted talent from more than 10 countries and 100 applicants Problem: we had not weighted properly the social network effect New PR strategy based on social networks Results: 650 applications from 65 countries Gobierno de Chile Corporación de Fomento de la Producción CORFO 20

21 StartUp Chile 2nd application 2011 Gobierno de Chile Corporación de Fomento de la Producción CORFO 21

22 Social networks for evaluating projects Return Value Agenda (RVA) StartUp Chile poses challenges when it comes to tracking its impact How do you measure the contribution to an ecosystem? Traditional metrics: Surveys, IRS data, GEM, etc But they all have huge delays Return Value Agenda as a complement to traditional sources We want entrepreneurs to spread the word in our ecosystem through classes, mentoring, seminars, interviews, etc. RVA 1.0: We provide an amount of point to each entrepreneur and provide them with a reward table. Prices are initially set by Corfo. Butall transactions are public to the StartUp Chile community RVA 2.0: prices will be set by buyers and al data will be public The effect so far (RVA 1.0) is that there is a natural competition for being part of the cohort. It does not affect the naturally active, butdoes push the naturally less active Gobierno de Chile Corporación de Fomento de la Producción CORFO 22

23 Thank you