La evaluación de las políticas de ciencia y tecnología

Transcripción

1 La evaluación de las políticas de ciencia y tecnología Andrés López (CENIT) Simposio Internacional "Políticas tecnológicas y desarrollo en América Latina CEPAL, Santiago de Chile, 6-7 de diciembre de 2007.

2 La evaluación de políticas: por qué? Cumplimiento de objetivos Estimación de impactos Aprendizaje organizacional Redefinición de instrumentos-adopción de nuevas políticas Eficiencia en el uso de dineros públicos

3 Cómo evaluar? Aproximaciones incorrectas o insuficientes: Auditoría Se gastó el dinero? El dinero se gastó en los objetivos/clientela inicialmente previstos? Evaluación naif Estadísticas descriptivas/ causalidades aparentes (ejemplo, las empresas que recibieron subsidios para I&D aumentaron sus ventas más que las que no los recibieron) Costos del programa vs impuestos adicionales (cómo convencer a un Ministro de Hacienda)

4 Cómo evaluar? Metodologías cuantitativas Cuál hubiera sido el escenario contrafactual? esto es, qué hubiera pasado si la política no hubiera sido adoptada Ese escenario es inobservable. Por lo tanto, usualmente necesitamos un grupo de control que, suponemos, replica el comportamiento que hubiera tenido el grupo tratado (el beneficiado por la política) de no haber recibido los beneficios respectivos Encontrar este grupo de control no es fácil, ya que la performance del grupo de control podría ser sistemáticamente diferente de la del grupo tratado (sesgo de selección) Diseño del programa para facilitar evaluación posterior? ejemplo, otorgamiento de subsidios al azar, lo cual evita el sesgo de selección- Dado queusualmentelos hacedoresde política no ven con buenos ojos este tipo de metodología, se deben encontrar estrategias de estimación econométricas que permitan atenuar o minimizar el problema del sesgo de selección

5 Un ejemplo Evaluating a program of public funding of private innovation activities. An econometric study of FONTAR in Argentina (D. Chudnovsky, A. López, M. Rossi and D. Ubfal), OVE/BID, November 2006

6 Por qué subsidiar la innovación? Fallas de mercado: Apropiabilidad incompleta (externalidades) Restricciones financieras Diversas respuestas de política: Incentivos fiscales Subsidios directos (es el caso del programa ANR)

7 Qué resultados esperamos? Incremento gastos en I&D Adicionalidad vs crowding out Mejora resultados innovativos Mejora performance empresaria Externalidades Capital humano

8 El programa ANR del FONTAR El programa ANR financia hasta el 50% del costo de los proyectos tecnológicos innovativos. Los fondos se desembolsan cuando el FONTAR aprueba técnicamente la finalización de las etapas respetivas de los proyectos. Plazo máximo de los proyectos: 2 años Máximo aporte del FONTAR: USD 100 mil El programa de ANR financia proyectos de I&D, desarrollo de tecnologías a escala piloto, generación de conocimiento aplicado, mejoras en la gestión o la capacitación (cuando se relacionan con innovaciones de producto o proceso), etc.

9 Subsidios otorgados vía ANR Approved ANR projects by year (number and amounts) Year APPROVED FONTAR PROJECTS(*) TOTAL ANR WITH CONTRACT (in Arg $) ( $) Number $ per project TOTAL DISBURSED ANR ( $) ,127,999 15,662, ,722 1,675, ,239,407 1,015, ,151 9,918, ,457,592 8,804, ,776 3,092, ,537,760 37,084, ,591 7,082, ,044,577 20,380, ,682 16,271,700 TOTAL 394,407,335 82,947, ,782 38,040,349 * It includes all the projects approved by FONTAR under its different programs. Source: FONTAR.

10 El impacto del programa ANR Objetivo: estimar el efecto causal de los ANR sobre el gasto en innovación de las firmas. El efecto causal se define como: gasto en innovación dado que recibieron el ANR - gasto en innovación de las mismas firmas si no hubieran recibido el ANR (contrafáctico). Como el escenario contrafáctico no es observable, se estima utilizando los resultados de un grupo de firmas que no recibieron el subsidio. Para evitar sesgos, seleccionamos a las firmas más similares a las subsidiadas (Matching) y comparamos diferencias en el tiempo (evita que características no observables fijas en el tiempo que distinguen a las firmas subsidiadas de las no subsidiadas sesguen nuestros resultados).

11 Datos y resultados Muestra: 414 firmas, 4 años ( ). 136 firmas recibieron el ANR en alguno de los 4 años (con duración de 1 o más años). De las 278 que no lo recibieron, 62 aplicaron y fueron rechazadas, 216 no aplicaron. Resultados: NO HUBO CROWDING OUT: encontramos un efecto positivo de los ANR sobre el esfuerzo en innovación total de las firmas (gasto total en innovación/ventas totales). Este efecto es robusto a la inclusión de controles en la regresión (proporción de trabajadores cualificados, exportaciones sobre ventas, empleo total, etc.) Se mantiene también si comparamos sólo contra las firmas que aplicaron y no recibieron el subsidio.

12 Resultados (2) El resultado hallado implica que: en promedio, el subsidio permitió que las firmas que lo recibieron aumentaran su gasto en innovación total en comparación a lo que hubieran hecho de no haberlo recibido. Por ejemplo: si una firma con el subsidio gastó 100: 80 propios y 20 del subsidio, si no hubiera recibido el subsidio podemos afirmar que habría gastado menos que 100 (no hubo crowding out total). Sin embargo, no podemos afirmar que hubiera gastado menos que 80 sin el subsidio (es decir, que el subsidio haya generado una inversión adicional por parte de la firma) Para estudiar esa posibilidad utilizamos como nueva variable en nuestra regresión al ESFUERZO PRIVADO EN INNOVACIÓN (construido restando al gasto total en innovación de cada año la parte del subsidio recibido que atribuimos a ese año). El resultado nos lleva a la segunda conclusión: NO HUBO ADICIONALIDAD. El coeficiente no es significativamente distinto a cero, por lo que el subsidio no tuvo ningún efecto diferencial sobre el gasto privado en innovación para las firmas que lo recibieron (como máximo el gasto en innovación aumento en el monto del subsidio).

13 Resultados (3) Cuando distinguimos los efectos del programa por grupos de empresas los resultados cambian: Para las firmas que ya eran innovativas, hay efecto crowding out Para las firmas no innovativas hay adicionalidad El programa debería concentrarse prioritariamente en estas últimas

14 Resultados (4) Con procedimientos similares NO hallamos ningún efecto (de corto plazo) significativo de los subsidios sobre: Los resultados innovativos (utilizando las ventas de productos nuevos o mejorados desarrollados entre 2001 y 2004) de las firmas subsidiadas. El desempeño empresario (ventas, productividad, etc.) de las firmas con ANR. Esto puede deberse a: Fondos insuficientes Falta de suficiente tiempo desde que los proyectos terminaron No hemos captado otros efectos que pueden ser sustantivos por ejemplo, externalidades-

15 Este tipo de estudios necesita ser complementado con otros instrumentos y análisis Cúales son las causas de los resultados observados? si no las conocemos, no podemos saber cómo corregir lo que funciona mal Contextualizar los resultados Estudios de caso/entrevistas en profundidad Análisis de otros cambios en el comportamiento empresario (behavioural additionality OECD-) Realización de proyectos más ambiciosos en escala y alcance Colaboración en actividades de I&D Mejoras en management Cambios en estrategias empresarias

16 Todas las políticas pueden ser evaluadas en base a este marco? Ejemplo: Promoción de nuevos sectores intensivos en conocimiento La selección de ganadores es un proceso riesgoso, donde siempre habrá errores Preguntas: Qué objetivos se buscan? aumento de la productividad, generación de derrames, exportaciones, diversificación estructura productiva, etc. Cómo establecer el contrafactual? ejemplo, debate sobre milagro asiático Dificultad para evaluar políticas con impactos globales

17 Algunas reflexiones finales La evaluación es un proceso crucial, como control del uso de recursos, cumplimiento de objetivos y estimación de impactos, y fuente de aprendizaje institucional Las evaluaciones no pueden ser realizadas únicamente una vez que la política ya concluyó, sino que deben preverse etapas intermedias Deben emplearse diversos instrumentos para evaluar las políticas, ya que usualmente hay múltiples dimensiones de interés que no pueden ser captadas a través de un sólo tipo de evaluación Evaluar políticas de gran alcance/impacto es una tarea mucho más compleja y probablemente nunca pueda ser objeto de un análisis metodológicamente riguroso. Pero esto no significa que no podamos adoptarlas!