II Seminario Internacional de Seguimiento y Evaluación Construyendo una cultura de Seguimiento y Evaluación de la Gestión Estratégica

Transcripción

1 II Seminario Internacional de Seguimiento y Evaluación Construyendo una cultura de Seguimiento y Evaluación de la Gestión Estratégica En qué consiste el seguimiento de la política pública en los programas de apoyo a la internacionalización de la empresa? Joaquín María Núñez Varo ICEX-España, Exportación e Inversiones

2 II Seminario Internacional de Seguimiento y Evaluación Coorganizado por el CEPLAN y el Ministerio de Economía y Finanzas de Perú DEPARTAMENTO DE EVALUACIÓN

3 En qué consiste el monitoreo en los programas de apoyo a la internacionalización de la empresa? Lima, 11 de noviembre de 2014

4 «Nuestras ideas deben ser tan amplias como la naturaleza si aspiran a interpretarla»

5 El ICEX Ministerio de Economía y Competitividad Secretaría de Estado de Comercio ICEX 5

6 Plan estratégico del ICEX Transparencia Eficacia Eficiencia Valores Evaluación continua de la calidad y del impacto de los programas 6

7 ICEX Misión del ICEX España Exportación e Inversiones tiene como misión promover la internacionalización de las empresas españolas para contribuir a su competitividad y aportar valor a la economía en su conjunto, así como atraer inversiones exteriores a España. Tras una reflexión llegamos a la conclusión de que la misión del ICEX es en realidad ofrecer apoyo al proceso de internacionalización de la empresa española. Promover es iniciar o impulsar una cosa o un proceso, procurando su logro. 7

8 Diseño de evaluación Beneficiario Tratamiento Empresa con potencial de internacionalización Apoyo Resultado Proceso de internacionalización 8

9 Diseño de evaluación Beneficiario Tratamiento Producto Empresa con potencial de internacionalización Apoyo Resultado Impacto Proceso de internacionalización 9

10 Diseño de evaluación Beneficiario Tratamiento Producto Características de la empresa Instrumentos de apoyo del ICEX Servicio prestado o producto entregado (Cuestionario de calidad y satisfacción) Resultado Impacto Mejora de competitividad (mayor valor añadido de la oferta española) Exportación Inversión exterior Cuenta de pérdidas y ganancias Empleo de calidad Retorno de inversión pública vía impuestos 10

11 Beneficiarios Tipología de empresa (clusterización) Diferentes poblaciones por programa Matriz de transiciones Quiénes son? Capacidad de internacionalización (indicador sintético calculado de forma empírica) 11

12 Años Cifra Países Países Número Número 12 Beneficiarios: datos de experiencia en el mercado internacional de negocios con presencia comercial con implantación productiva de empleados de empleados dedicados a labores de I+D+i Certificados de calidad y de responsabilidad social de validez internacional (ISO, Global Compact, etc.) Marcas internacionales Índice de solvencia Índice de reputación corporativa Cuota de exportación Estructura corporativa

13 Beneficiarios: clusterización Tasas de respuesta Mínima: 35% Máxima: 60% Clasificación Muestra Tipologías coherentes con los logros mostrados (clústeres de aprovechamiento) 13

14 Beneficiarios: modelo de clasificación 14 Población objetivo: Participantes en Ferias de Pabellón Oficial Modelo de clasificación: Regresión logística Variable objetivo: Clúster de aprovechamiento Variables explicativas: Características de empresa Conjunto Estadístico Entrenamiento Test Validación N MISC ROC GINI GAIN LIFT KS AIC SBC

15 Beneficiarios: matriz de transición Población objetivo: Participantes en Ferias de Pabellón Oficial Matriz de transición P(clúster2014 clúster2013) Clúster FPO (2014) Clúster_FPO (2013) % 1.59% 0.00% 1.59% 3.17% % 96.58% 0.00% 0.85% 0.85% % 21.54% 29.23% 4.62% 24.62% % 11.59% 0.00% 34.78% 42.03% % 4.51% 2.26% 0.75% 88.72% 15 Matriz de probabilidades inversas P(clúster2013 clúster2014) Clúster FPO (2013) Clúster_FPO (2014) % 1.37% 8.90% 5.48% 3.42% % 79.02% 9.79% 5.59% 4.20% % 0.00% 86.36% 0.00% 13.64% % 3.23% 9.68% 77.42% 3.23% % 0.60% 9.52% 17.26% 70.24%

16 Tratamiento En qué consiste? Es un apoyo puntual o un acompañamiento continuado? Apoyo público a la Análisis secuencial internacionalización Cómo nos usan las empresas? Siguen alguna estrategia? 16

17 Tratamiento: efectividad Tendrá el mismo resultado acudir a un seminario sobre el calzado en Alemania que acudir 6 años seguidos a la feria más importante de calzado en Alemania? 17

18 Tratamiento: datos Beneficiarias Tipo de actividad Fecha de actividad País de actividad Posible Proceso contrafactual No elegibles (empresas que han solicitado apoyo pero no han recibido tratamiento) 18

19 19 Tratamiento: duración Datos: Participación en actividades de PGEN y PSEC entre 2003 y 2013 Técnica: Test de diferencias de medias Variable de estudio: Permanencia en Planes Variable de clase: Clústeres de aprovechamiento Clúster Planes PGEN PSEC General (1.98, 2.07) (3.05, 3.14) (3.12, 3.22) Clúster_aprovechamiento_PGEN PG (3.79, 4.71) (2.28, 2.87) (3.93, 5.10) PG (3.31, 4.21) (2.17, 2.71) (3.41, 4.68) PG (3.16, 4.22) (2.24, 3.08) (3.07, 4.66) PG (3.91, 4.94) (2.00, 2.63) (4.24, 5.55) PG (3.76, 4.6) (2.16, 2.67) (4.20, 5.27) Clúster Planes PGEN PSEC Clúster PSEC PS (6.05, 6.97) (2.44, 3.63) (5.82, 6.75) PS (2.94, 3.76) (1.66, 2.75) (2.71, 3.52) PS (4.07, 4.70) (2.06, 2.88) (4.03, 4.66) PS (5.63, 6.38) (2.23, 3.06) (5.53, 6.29) PS (5.18, 6.00) (2.19, 3.00) (5.12, 5.95) PS (2.42, 3.16) (1.57, 2.55) (2.20, 2.94) PS (2.71, 3.52) (1.41, 2.81) (2.62, 3.42) PS (2.88, 3.67) (1.32, 2.20) (2.76, 3.55) PS (6.53, 7.34) (2.75, 3.65) (6.32, 7.16) PS (5.92, 7.08) (2.04, 3.00) (5.84, 7.02)

20 Tratamiento: control PSEC 20 Curva de respuesta de la evolución de la probabilidad de mostrar un determinado grado de aprovechamiento con respecto al tiempo. Los valores marcados son para una permanencia de 7.12 años.

21 Tratamiento: control PGEN 21 Curva de respuesta de la evolución de la probabilidad de mostrar un determinado grado de aprovechamiento con respecto al tiempo. Los valores marcados son para una permanencia de 7.12 años.

22 Tratamiento: PSEC 22 Curva de respuesta de la evolución de la probabilidad de mostrar un determinado grado de aprovechamiento con respecto al tiempo. Los valores marcados son para una permanencia de 7.12 años.

23 Tratamiento: PGEN 23 Curva de respuesta de la evolución de la probabilidad de mostrar un determinado grado de aprovechamiento con respecto al tiempo. Los valores marcados son para una permanencia de 7.12 años.

24 Tratamiento: comparación para 7.12 años 24 Probabilidad de mostrar un determinado grado de aprovechamiento para una permanencia de 7.12 años según grupo de comparación.

25 Tratamiento: patrones genéricos Datos Participación en programas ICEX con apoyo económico entre 2003 y 2013 por NIF Tamaño del fichero registros Total de secuencias secuencias Técnica Análisis secuencial 25

26 Producto Asesoramiento Información Agenda de contactos Intermediación Servicio integral de logística Alerta temprana Apoyo económico Qué ofrecemos? Calidad y satisfacción (Certificación ISO) Valor añadido (cadena de valor pública) 26

27 Producto: calidad y satisfacción 27 Valoración clientes 2013 Instrumento Nº participaciones Valoración media CAUCE consultas 7,89 / 10 Aula Virtual altas 72,07% contenidos de interés Pasaporte al Exterior accesos 65,66% acorde a expectativas Seminarios sectoriales de mercados asistentes 8,30 / 10 CONECTA con el mercado 647 entrevistas contratadas 8,60 / 10 Servicios Personalizados servicios 7,84 / 10 Pabellones Oficiales expositores 88% valoración excelente/bien Ferias de Participación Agrupada expositores 85% valoración excelente/bien Misiones de inversores 49 8,4 / 10 Encuentros empresariales 64 8,1 / 10 Foros de inversión y cooperación empresarial 104 4,5 / 5 Partenariados 109 4,37 / 5

28 Producto: preferencias Preferencias de apoyo para superar barreras de mercado Qué nos necesitan? piden? Realmente piden lo que necesitan? 28

29 Producto: análisis de preferencias Programa Planes Sectoriales Técnica Escalamiento multidimensional Variables Preferencias de apoyo 29

30 Producto: análisis de necesidades Adicionalidad Entrada_mercados Nuevas_ideas Beneficios Efecto_perdidas_ganancias Entrada_mercados Clúster: PSEC 8 Descripción: Ocasionales, sobre todo industriales, con experiencia media, pero escasa proyección internacional (pocos países, cuota baja ). Baja facturación, en general estable, con ISO e I+D+i. Diagnóstico: Potencial de crecimiento, si asumen la exportación como su palanca de crecimiento. Conclusiones y recomendaciones: Las preferencias de clúster casan con el reconocimiento en adicionalidad, y resulta significativo que sea el único clúster que aparece en instrumentos de trading. La combinación de acciones presenciales clásicas con instrumentos nuevos de operativa comercial puede aportarles negocio y nuevas ideas. 30

31 Resultado Mejora de la competitividad Consolidación del proceso de internacionalización Exportación Valor añadido Mejor calidad en el empleo Cómo En qué lo incidimos? medimos? Problema de la atribución Necesidad de contrafactual 31

32 La Intervenciones Resultado puntuales y aisladas asistencia a un seminario sobre el mercado de Kazajistán es la única causa del incremento de la exportación en ese año o en el futuro en todo el mundo? Acompañamiento continuado La participación puntual en una feria en México es la causa única del total de la exportación de una empresa en ese mismo año o en algún año posterior? No parece que tomando cada participación en un instrumento de forma aislada permita inferir una relación causa-efecto entre la participación en dicha actividad y los resultados medidos. 32

33 Resultado: diseño de la evaluación Segmentación: Clusteres de empresa Fase del programa Tiempo transcurrido desde finalización Expectativas Servicios club Logros Resultados PIPE Programa de seguimiento Programa PIPE Impactos Valor añadido: Beneficios Adicionalidad 33

34 Resultado: diseño cuasiexperimental Programa: PIPE Contrafactual: Falso contrafactual (pregunta implícita) Técnica de evaluación del impacto: Regresión logística sobre variables de impacto y resultado 34 EMPRESA ANTES Expectativas PROGRAMA PIPE Valor añadido: Beneficios Adicionalidad EMPRESA DESPUÉS Logros Resultados Impactos NRAND O1 X X O2 O3 NRAND O1 X X O2 O3 NRAND O1 X X O2 O3 NRAND (NON-RANDOM): autoselección, asignación no aleatoria al grupo de estudio X: aplicación de tratamiento: programa PIPE O: observación de variables O1: expectativas antes de entrar en el programa O2: logros tras salir del programa O3: impactos, resultados y valor añadido del programa

35 Resultado: valor añadido 35 Programa: PIPE Técnica: Regresión logística Variables explicativas: Variables de impacto y resultado Variable objetivo: ADICIONALIDAD de la política pública Cambios de comportamiento Nuevas habilidades Operativa comercial Logros TODAS LAS EMPRESAS Clúster 1 Clúster 2 Por clúster Por fase Por año de cierre Por valoración de la utilidad del club PIPE Clúster 3 Clúster 4 Clúster 5 Introduccion_mejoras X Mayor_confianza X X X Gasto_I_D X X Dpto_Internacional Cambio_cultura X X X X X Nuevas_ideas Estrategia_marketing X X X X X X Habilidades_investigacion Intangibles Entrada_nuevos_mercados X X X X X X X Cartera_clientes X X X X Efecto_facturacion Efecto_personal Efecto_perdidas_ganancias Diagnostico_L Consultoria_L Colaborador_L X Promocion_L X X X X X X X X X ClubPIPE_L X X Instituciones_L X X X X X Adicionalidad: El apoyo prestado por ICEX le ha permitido lograr resultados que por sí solo no le hubiera sido posible conseguir? P. PIPE cerrado P. Seguimiento en curso P. Seguimiento finalizado Tres años después (2009) Dos años después (2010) Un año después (2011) No lo utilizaron En nada Escasamente De alguna manera Bastante En gran medida X Fue decisivo X

36 Resultado: valor añadido 36 Programa: PIPE Técnica: Regresión logística Variables explicativas: Variables de impacto y resultado Variable objetivo: BENEFICIOS de la política pública Cambios de comportamiento Nuevas habilidades Operativa comercial Logros TODAS LAS EMPRESAS Clúster 1 Clúster 2 Por clúster Por fase Por año de cierre Por valoración de la utilidad del club PIPE Clúster 3 Clúster 4 Clúster 5 Introduccion_mejoras X X X Mayor_confianza X X X Gasto_I_D X X Dpto_Internacional X X X Cambio_cultura X Nuevas_ideas X Estrategia_marketing Habilidades_investigacion Intangibles Entrada_nuevos_mercados X X X Cartera_clientes X X X X X X Efecto_facturacion X X X X X X Efecto_personal X X X Efecto_perdidas_ganancias X X X Diagnostico_L X X X X X X X X X X X X Consultoria_L X Colaborador_L X X Promocion_L X X X X X X X X X X X X X X ClubPIPE_L X Instituciones_L X X Beneficios: Valore si los beneficios que le ha supuesto la participación en el Programa PIPE son mayores al coste de su participación. P. PIPE cerrado P. Seguimiento en curso P. Seguimiento finalizado Tres años después (2009) Dos años después (2010) Un año después (2011) No lo utilizaron En nada Escasamente De alguna manera Bastante En gran medida Fue decisivos

37 Impacto El impacto debe medirse en los propios beneficiarios. Ver en qué hemos sido útiles para las empresas tres años después de realizada la intervención puede ser una primera apreciación del impacto de la política pública. Cadena Podemos valor y debemos pública Podemos refinar este enfoque? 37

38 Impacto a largo plazo Pensamos que el mejor indicador a largo plazo de las políticas públicas en apoyo de la internacionalización de la empresa es el retorno de la inversión pública vía impuestos asociado a aquellos impactos de nuestro apoyo atribuidos a las empresas mediante técnicas de evaluación. En una reunión en Viena el pasado enero, el UKTI británico expuso idéntica opinión. 38

39 Seguimiento y evaluación Fase de seguimiento Características de las empresas Actividades de promoción comercial (con o sin ICEX) Cuenta de pérdidas y ganancias detallada Exportación desglosada por TARIC y país Inversión directa por tipo y país Estructura corporativa Planeamiento estratégico Presupuesto por resultados Fase de evaluación 39

40 Más allá de la evaluación Tipología de empresa Datos de posicionamiento internacional Itinerarios de empresa Calidad y satisfacción explícitos (encuestas) Calidad y satisfacción implícitos (análisis de redes sociales) Sistema de Nos quedamos ahí? recomendación Modelos de aprovechamiento para cada empresa 40

41 Es 41 Más allá de la evaluación El posible el diseño e implementación de un sistema de recomendación que proponga de manera anticipada las actividades e instrumentos de apoyo (sean productos o servicios) que la Secretaría de Estado esté llevando a cabo o vaya a llevar a cabo y puedan ser de su interés. proyecto, todavía una mera propuesta en el ICEX, sería una aplicación natural al poder analizar con técnicas de minería de datos y de optimización matemática no lineal sujeta a análisis de costebeneficio el gran volumen de datos surgido de la monitorización sistemática de todas las variables expuestas.

42 Gracias por su atención! Joaquín María Núñez Varo Analista del ICEX España Exportación e Inversiones joaquin.m.nunez@icex.es

43 Medir para conocer