Propuesta de Diseño de Evaluación de Impacto

Transcripción

1 Propuesta de Diseño de Evaluación de Impacto ESTUDIO: ANÁLISIS DEL ESTADO DE IMPLEMENTACIÓN Y EL DISEÑO DE EVALUACIÓN DEL PROGRAMA BONO TRABAJADOR ACTIVO CENTRO DE POLITICAS PÚBLICAS PONTIFICIA UNIVERSIDAD CATOLICA DE CHILE 2012

2 Índice de Contenidos 1 Introducción Descripción del Programa Descripción general Descripción del proceso de capacitación Definición de estados de los beneficiarios del Programa Modificaciones al diseño del Programa Propuesta de estrategia de evaluación Resultados a medir Metodología Sesgo de selección Metodologías para estimar el efecto promedio del tratamiento en los tratados del BTA Estrategia empírica Estrategia empírica Prueba de robustez Extensiones del modelo Bases de datos Datos SENCE Datos Seguro de Cesantía Costo efectividad del Programa Restricciones presupuestarias y operativas Conclusión

3 1 Introducción El presente informe contiene el diseño de la evaluación de impacto para el Programa Bono Trabajador Activo (en adelante el Programa o BTA). El informe forma parte del estudio Análisis del estado de implementación y el diseño de evaluación de impacto del programa Bono Trabajador Activo. El informe ha sido realizado por un equipo de expertos y profesionales (en adelante Equipo Evaluador) del Centro Políticas Públicas de la Pontificia Universidad Católica de Chile (CPPUC). La estructura del documento es la siguiente: la sección 2 describe las principales características del BTA y el estado actual de implementación del programa, la sección 3 presenta una propuesta de evaluación de impacto, la sección 4 describe las bases de datos a utilizar y los resultados finales que podrán ser evaluados con dichos datos, la sección 5 discute las restricciones presupuestarias y operativas. Finalmente la sección 6 concluye. Este informe utiliza como insumo el primer informe del estudio, que contiene un Análisis del estado de Implementación, además del segundo informe, que analiza la factibilidad del diseño de la evaluación de impacto. 2 Descripción del Programa 2.1 Descripción general El BTA es ejecutado por el Servicio Nacional de Capacitación y Empleo (SENCE), y consiste en un beneficio que otorga el Estado con el cual una persona puede elegir dónde y en qué capacitarse. Su propósito es aumentar la empleabilidad laboral de los(as) trabajadores(as). Específicamente, a través de elevar y mejorar las competencias laborales, el Programa busca potenciar las posibilidades de movilidad en el mercado del trabajo de los (as) trabajadores (as), en busca de mejores remuneraciones y condiciones laborales. El Programa presenta un único componente, que dice relación con la entrega de un bono de capacitación al trabajador beneficiario. El monto del beneficio es de hasta $ (cuatrocientos mil pesos) por beneficiario. Excepcionalmente, en el caso de que el curso de capacitación supere ese valor, el SENCE, previa autorización por resolución fundada de su Director Nacional, puede aumentar el monto de dicho valor, sin ser nunca superior a $ El Bono de capacitación sólo puede ser utilizado en la parrilla de cursos dispuesta por el Programa, dónde además los cursos son exclusivos para beneficiarios del BTA. Dependiendo de la modalidad y cantidad de horas de la capacitación escogida, el Programa tiene una duración aproximada de 6 meses. Los cursos contemplan un pago por concepto de matrícula, por parte del trabajador. El costo de la matrícula o garantía corresponde al 20% del valor del curso seleccionado por el alumno. Esta garantía es devuelta al trabajador al término del curso, si egresa exitosamente, lo que ocurre sí el beneficiario cumple con el 75% de asistencia, aprueba la evaluación final del curso y responde la encuesta de satisfacción del Programa. 3

4 La población objetivo del Programa corresponde a trabajadores activos, entre 18 y 60 años (mujeres) y 18 y 65 años (hombres), que tengan un mínimo de 12 cotizaciones continuas o discontinuas a lo largo de su vida laboral, que cuenten con 6 cotizaciones pagadas continuas o discontinuas el último año y con una remuneración promedio imponible mensual de hasta $ Estas condiciones corresponden a los criterios de focalización del Programa. El proceso de selección de beneficiarios contempla la generación de un listado priorizado, que está constituido por el Índice de Empleabilidad, calculado con el siguiente algoritmo, el que prioriza a los trabajadores con menor índice: IE = ŜUF #Meses / Sin embargo, desde la puesta en marcha del Programa, el Índice de Empleabilidad no ha sido utilizado. Lo anterior implica que todos los trabajadores que han cumplido con los criterios de focalización y han postulado, han sido considerados como ganadores 2 del Bono, pudiendo con dicho estado, matricularse en un curso. 2.2 Descripción del proceso de capacitación En el siguiente diagrama se muestra una visión simplificada del proceso de Capacitación. A continuación de éste, se describen las etapas. 1 Dónde IE: Índice de Empleabilidad, Ŝ UF: Sueldo Promedio Mensual del período a considerar (12 meses), expresado en UF, y #Meses: cantidad de meses con empleo formal dentro del periodo a considerar (12 meses). 2 Los estados del beneficiario son descritos en la sección de Definición de estados de los Beneficiarios. 4

5 Proceso Capacitación Simplificado Diagrama Diagrama simplificado del proceso de capacitación SENCE BENEFICIARIO OTEC Inicio Postular al Bono No califica No Cumple con Criterios de focalización? Sí Llenar formulario Crea de listado priorizado para selección de beneficiarios No seleccionado No Seleccionado? Si Escoger Curso Endosar bono a OTEC Pagar monto de Garantía a OTEC Generar comprobante de recibo Firmar Declaración jurada Simple Asistir a Curso Completa el 75% de asistencia? No Alumno Deserta Sí Sí Responder Encuesta de Satisfacción Aprueba evaluación final? No Alumno Repueba Devolución de garantía Fin Fuente: Elaboración Propia en base a entrevistas y reuniones de trabajo 5

6 (1) Postulación y selección de beneficiarios del Bono El SENCE mantiene la postulación continua durante el año, con adjudicación de Bonos, en la medida que exista disponibilidad presupuestaria o hasta agotar stock. Con ello, durante el año 2011, postularon beneficiarios a lo largo de todo Chile. Para el trabajador, el proceso inicia con una postulación al Programa en la página web de SENCE. La postulación es verificada y validada por el Organismo Ejecutor Central, SENCE. La validación consiste en verificar que el postulante cumpla con los criterios de focalización del Programa, mencionados anteriormente, en: Registro Civil, Instituto de Previsión Social, Administradora de Fondos de Cesantía. Aquellos postulantes que cumplan con los requisitos, deben llenar el formulario de inscripción. Dicha postulación no incluye la selección de cursos, los que son seleccionados en la etapa de matrícula. Sin embargo, el trabajador postulante puede consultar la lista de cursos disponibles previo a la postulación, la que está publicada en el sitio web del SENCE. Esta lista contiene una descripción básica del curso, horas totales, valor de la matrícula, horarios, OTEC que imparte el curso y datos de contacto. Con los formularios llenados, se genera un listado de postulantes en un listado priorizado, como insumo a la selección de beneficiaros por parte de SENCE. Como se mencionó anteriormente, hasta la fecha de evaluación del Programa, el criterio de selección (a partir del Índice de Empleabilidad) no ha sido utilizado el. De esta manera, una vez que el beneficiario es seleccionado para participar en el Programa, se le comunica que es ganador del Bono de capacitación por correo electrónico, mensaje de texto o llamada telefónica. (2) Matrícula En esta etapa, los ganadores del Bono escogen el curso de capacitación y el OTEC que lo impartirá. El curso no debe haber comenzado o debe encontrarse antes del 20% de su ejecución. Este proceso contempla algunos elementos que han sido incorporados para facilitar la inscripción en el curso, como por ejemplo, la existencia de ferias de información, orientación y matrícula que SENCE organiza, así como instalaciones que deben proporcionar los OTEC y una feria virtual donde los beneficiados pueden ver los cursos disponibles, vacantes, dirección, fechas de inicio, horarios, entre otros. En ese momento, se inicia el proceso de pagos. Éste está caracterizado porque el bono de la capacitación se encuentra desde un inicio en manos del beneficiario, quien debe endosar el Bono al respectivo OTEC seleccionado. El Trabajador debe pagar directamente a la OTEC (a modo de garantía) una matrícula correspondiente al 20% del valor del curso y SENCE financia el resto del valor. Esta garantía es devuelta al trabajador al término del curso, si egresa exitosamente en términos de asistencia y evaluación, y sólo después de haber contestado la encuesta de satisfacción del curso. Un aspecto importante de la etapa de matrícula, es que sólo una proporción de los beneficiarios ganadores se matricula. En el año 2011 se matricularon beneficiarios (matrículas hasta marzo de 2012, imputadas al ejercicio presupuestario 2011), sobre los ganadores del Bono. (3) Ejecución de los cursos En esta etapa, se inician los cursos. Este proceso es relevante pues, una vez iniciados los cursos, el OTEC pudiera realizar un proceso de diagnóstico al beneficiario matriculado, sin embargo dicha evaluación no es obligatoria. En caso de determinar que éste no cuenta con las habilidades necesarias para tomar la capacitación ofrecida, el OTEC podrá aconsejar la transferencia a otro 6

7 curso afín a las necesidades y características del trabajador. De producirse la transferencia, el beneficiario matriculado podrá cambiarse de curso siempre que el primer curso seleccionado no haya alcanzado el 20% de ejecución o de iniciado. El beneficiario matriculado deberá solicitar la devolución del bono y re-endosarlo nuevamente al OTEC con quien realizará finalmente el curso de su elección 3. Durante el transcurso del curso, el Programa exige el registro de asistencia, el que al final será una de las condiciones de egreso. Para este fin, los alumnos deberán firmar el libro de clases u otro instrumento que determine el SENCE para estos efectos. El registro de asistencia es administrado por el OTEC y al final es traspasado al SENCE. (4) Certificación de aprobación y pago bonos (Egreso) La última etapa del Programa, dice relación con el proceso de egreso de los alumnos, y devolución de los montos de garantía involucrados en el proceso. Un beneficiario matriculado para egresar exitosamente de un curso debe cumplir las siguientes 3 condiciones: Haber asistido al menos al 75% del total de horas de capacitación del curso. Los alumnos que no cumplen con el 75% de asistencia, son considerados desertores. Haber aprobado el examen final que determine el curso, entendido como la obtención de una nota superior a 4. Los alumnos que no aprueban el examen final son considerados reprobados. Haber contestado la encuesta de satisfacción, consistente en un formulario que los beneficiarios deben responder al final del curso, en la página del SENCE, cuyo objetivo es medir el nivel de satisfacción de los egresados del Programa. De cumplir con las condiciones anteriores, el OTEC deberá entregar a los beneficiarios egresados los certificados correspondientes. Al completarse el egreso exitoso del curso, se inicia el proceso de pago a la OTEC 4. Sólo después del egreso, el OTEC devolverá el monto de la garantía al participante. De esta manera, y tras la firma de una declaración jurada, se considera terminada la intervención del Programa. En caso que el beneficiario deserte o sea reprobado, éste perderá el valor de la inscripción en garantía o matrícula. 3 En caso en que el beneficiario matriculado decidiera no optar por otro curso, el reglamento no especifica si se le devuelve el dinero, por lo tanto se desprende que queda a criterio de la OTEC. 4 En éste, las transferencias monetarias (así como su monto) a los OTEC están determinadas por el número de participantes que hayan cumplido con los porcentajes mínimos de asistencia a las acciones de capacitación a las que postularon y hayan aprobado la evaluación correspondiente. Para el cálculo de la transferencia, se consideran los siguientes tramos: (tramo 1) Participantes con asistencia menor a un 25% (equivalencia en modalidad e- learning de 1 control): El OTEC no recibirá transferencia alguna y tendrá derecho a retener el monto del valor de inscripción en garantía. (Tramo 2) Participantes con asistencia entre un 25% y menor a 75% (equivalencia en modalidad e- learning de 2 controles): Se transferirá proporcionalmente el valor del bono en razón de la asistencia del beneficiario, menos el valor de inscripción en garantía. El OTEC tendrá derecho a retener el monto del valor de la garantía en este caso, (tramo 3), participantes con porcentaje de asistencia mayor o igual al 75%, o su equivalencia en la modalidad e-learning, y con capacitación reprobada: Se transferirá el monto del bono menos el valor de la garantía. El OTEC tendrá derecho a retener el monto del valor de la garantía y (tramo 4) participantes con porcentaje de asistencia mayor o igual al 75%, o su equivalencia en la modalidad e-learning, y con capacitación aprobada: Se transferirá el 100% del bono. 7

8 2.3 Definición de estados de los beneficiarios del Programa A continuación se detallan los principales estados en los que es posible clasificar a los beneficiarios del Programa, desde que inician el proceso de postulación, hasta que egresan o bien, desertan del mismo. Estas definiciones han sido elaboradas como resultado de distintas reuniones con el SENCE. Es importante señalar que como beneficiario, se entenderá a un trabajador al que se le haya adjudicado el Bono, independiente del estado en el que se encuentre. Tabla Definición de estados de los beneficiarios del Programa Estado Descripción del estado Medio de Verificación Periodo considerado en la presente evaluación Trabajadores con intención de postular Trabajadores que postularon al Programa. No se registra. No se registra. Trabajadores postulados Trabajadores que postularon, cumplieron los criterios de focalización del Programa y finalizaron el proceso de postulación. No se registra. No se registra. Trabajadores seleccionados/ ganadores del Bono/ adjudicatarios (*) Trabajadores que además de cumplir con los criterios de focalización del Programa, fueron seleccionados para la obtención del Bono. Para la ejecución 2011, este número coincide con el universo de trabajadores postulados, puesto que no se utilizó el criterio de selección determinado en el diseño del Programa. Por tanto, todos aquellos trabajadores que postularon al bono, cumpliendo los criterios de focalización, fueron adjudicados con un bono de capacitación. Este estado no distingue si el ganador del Bono se matricula o no en un curso. Base Administrativa Programa BTA. SENCE, 2012 Mayo 2011 a Diciembre 2011 Trabajadores no seleccionados Trabajadores que habiendo cumplido los criterios de focalización del Programa, no fueron seleccionados como resultado del uso del Índice de Empleabilidad. En la ejecución 2011 del Programa, este segmento no fue considerado, por no utilizarse el Índice de Empleabilidad como criterio de selección. Trabajadores matriculados Trabajadores seleccionados/ganadores del Bono/adjudicatarios que formalizaron la matrícula ante el respectivo OTEC. Base Administrativa Programa BTA. SENCE, 2012 Agosto 2011 a Marzo 2012 Trabajadores que habiendo sido seleccionados/ganadores del Bono/ adjudicatarios: Trabajadores no matriculados (**) a) No formalizaron la matrícula ante el respectivo OTEC. b) No alcanzaron a matricularse en el respectivo OTEC, según los cupos existentes en cada región. c) Escogieron activamente no matricularse por no encontrarse disponible la capacitación u OTEC de su preferencia. Base Administrativa Programa BTA. SENCE, 2012 Mayo 2011 a Marzo 2012 Trabajadores renunciados (***) Trabajadores que habiendo sido seleccionados, activa y formalmente renunciaron al Bono que habían ganado. Base Administrativa Programa BTA. SENCE, 2012 Mayo 2011 a Marzo 2012 Trabajadores egresados Trabajadores que terminaron el curso en que se matricularon, cumpliendo con las condiciones establecidas para ello: (1) tener un 75% de asistencia de las clases Base Administrativa Egresados, SENCE 2012 Octubre 2011 a Diciembre

9 Estado Descripción del estado Medio de Verificación Periodo considerado en la presente evaluación efectivamente realizadas, (2) haber aprobado la evaluación final del curso y (3) haber contestado la encuesta de satisfacción de usuarios. Trabajadores desertores Trabajadores que habiendo sido matriculados en un curso, no contaron con la asistencia mínima del curso (75%) una vez terminado el curso. Al momento de la evaluación, SENCE se encontraba trabajando en este registro. No se registra. Trabajadores reprobados Trabajadores que habiendo sido matriculados en un curso, no egresaron del mismo: a) Trabajadores matriculados que completando la asistencia, no aprobaron la evaluación final del curso. b) Trabajadores matriculados que completando la asistencia, y aprobando la evaluación final, no completaron la encuesta de satisfacción. Al momento de la evaluación, SENCE se encontraba trabajando en este registro. No se registra. Fuente: Elaboración Propia en base a entrevistas y reuniones de trabajo (*) Incluye la categoría PO ( Postulado ) en la Base de Datos Administrativa SENCE 2012 (**) Corresponde a la categoría GA ( Ganadores ) en la Base Administrativa SENCE 2012 (***) Corresponde a la categoría RN ( Renunciados ) en la Base Administrativa SENCE 2012 De acuerdo a la tabla anterior, el siguiente diagrama describe la composición de los distintos estados en los que se puede clasificar a un beneficiario del Programa. Diagrama Estado de trabajadores beneficiados del Programa Postulados Seleccionados/ ganadores/ adjudicatarios Matriculados Desertores Egresados Con intención de postular No cumplen requisitos No seleccionados (No son seleccionados por el índice de empelabilidad) No matriculados Reprobados No completan el proceso de matrícula Renunciados 2.4 Modificaciones al diseño del Programa Fuente: Elaboración Propia en base a entrevistas y reuniones de trabajo Como se menciona en el primer informe del presente proyecto, el actual diseño del programa ha sido formalizado a través de un Reglamento (SENCE, Resolución Exenta 1560, 2012) y de las bases de licitación (DIPRES, Resolución Exenta N 140, 2012). Ambos documentos se han acomodado a la realidad actual del Programa. Es decir, más que un programa que se adecua a un diseño, es un 9

10 diseño que se ha adecuado a la ejecución de un programa. Según lo mencionado por SENCE, el Programa no debiese tener modificaciones importantes que comprometan la propuesta de evaluación que se presenta a continuación. 3 Propuesta de estrategia de evaluación Esta es la sección central de esta propuesta, en que se desarrollan los distintos aspectos del diseño de la evaluación de impacto, incluyendo los resultados a medir, la metodología que se propone utilizar, la estrategia empírica, las pruebas de robustez necesarias para validar el modelo propuesto, así como también las posibles extensiones al modelo. 3.1 Resultados a medir Antes de describir en detalle la metodología, es necesario definir qué es lo que se busca medir con la presente evaluación. Tal como se señaló anteriormente, el propósito del BTA es aumentar la empleabilidad laboral de los(as) trabajadores(as). Sin embargo, tal como se plantea en el primer informe, no existe una clara definición del concepto de empleabilidad laboral utilizado en el Propósito del Programa por parte del SENCE. Son diversas las definiciones que distintos autores dan al término de empleabilidad 5. Sin embargo, varios lo asocian a la probabilidad de estar empleado. De ser esta la definición en el objetivo general, medir sólo la probabilidad de estar empleado no pareció pertinente a juicio del Equipo Evaluador, considerando que el Programa está focalizado en trabajadores activos, esto es, trabajadores con un historial de empleo relativamente estable en los últimos 12 meses, con lo cual el objetivo general pareciera aportar marginalmente al cambio del problema que plantea el Programa, de empleos con mala o muy mala calidad. Ante ello, se propuso en el primer informe, definir el propósito del Programa tanto en términos de aumento en la empleabilidad laboral, expresada en el aumento de la probabilidad de estar empleado, como en términos de un aumento en las remuneraciones. Complementariamente, en un segundo nivel, se propuso mantener dentro de los resultados finales declarados por el Programa, el aumento de movilidad vertical y/u horizontal. La movilidad, en la mayoría de los casos, afectaría positivamente la calidad del empleo, entendiendo por movilidad vertical el cambio a un cargo jerárquicamente mayor, y movilidad horizontal como el cambio a una nueva empresa, el que generalmente está asociado a un incremento de remuneraciones. Por lo anterior, los objetivos a evaluar con el siguiente diseño son la probabilidad de estar empleado, las remuneraciones y la movilidad. Además, se considera la evaluación del Índice de Empleabilidad, criterio que el Programa incluye en su diseño para la focalización de los Beneficiarios. Este último se considera relevante, al ser un indicador que mezcla tanto la 5 La Organización Internacional del Trabajo (OIT, Conferencia Internacional del Trabajo en su 88.a reunión, 2000), plantea que la empleabilidad se define en términos generales. Abarca las calificaciones, los conocimientos y las competencias que aumentan la capacidad de los trabajadores para conseguir y conservar un empleo, mejorar su trabajo y adaptarse al cambio, elegir otro empleo cuando lo deseen o pierdan el que tenían e integrarse más fácilmente en el mercado de trabajo en diferentes períodos de su vida. Por otro lado, el Portal del formación profesional de España (Ministerio de Educación, Cultura y Deporte; España) postula que la empleabilidad se refiere a la capacidad potencial de incorporarse y permanecer en el mercado laboral, esto es, las posibilidades personales para encontrar empleo y adaptarse a un mercado de trabajo en continuo cambio. 10

11 probabilidad de estar empleado, como las remuneraciones del beneficiario. Todas estas variables se especifican en el capítulo 4 del presente informe. 3.2 Metodología A continuación se describe en detalle la metodología propuesta para evaluar el impacto causal del programa BTA. Uno de los problemas que surgen al intentar evaluar un programa de este tipo tiene relación con el sesgo de selección. Al ser el BTA un programa de participación voluntaria, para estimar el impacto del programa no basta con comparar a individuos tratados con individuos no tratados, pues los individuos que optan por capacitarse, generalmente difieren de aquellos que optan por no capacitarse. Por lo anterior, esta sección comienza describiendo en detalle el problema del sesgo de selección y los desafíos que existen para evaluar un programa de este tipo. Una vez explicado en detalle el problema, se analizan dos metodologías que existen para abordar el problema del sesgo de selección, matching y estimación por efectos fijos. Una vez analizadas ambas metodologías se concluye cuál será la estrategia propuesta para la evaluación del BTA Sesgo de selección 6 Para describir el problema de una forma más precisa, se puede pensar en el Tratamiento como una variable binaria, 0,1 que toma los valores 0 y 1, es decir algunos reciben el programa y otros no lo reciben. El resultado de interés se denota por. La pregunta de interés es si acaso la variable se ve afectada por el Programa. Para abordar esta pregunta, se puede imaginar qué hubiese sucedido con los trabajadores que recibieron el BTA si no hubiesen participado del Programa. Así, para cada individuo hay dos resultados posibles: 1 0 En otras palabras, es por ejemplo, el ingreso del trabajador si éste no se hubiese capacitado y es el ingreso del trabajador si efectivamente se capacita. Es de interés conocer la diferencia entre e, lo que representa el efecto causal del tratamiento para el individuo i. El resultado observado del individuo, puede ser escrito en términos del resultado potencial: (1) La notación es útil porque es el efecto causal para un individuo de participar del programa BTA. En general, habrá una distribución tanto de como de en la población, por lo que el efecto del tratamiento puede ser diferente para individuos diferentes, pero como nunca se verán los resultados potenciales con y sin tratamiento para un mismo individuo, se tendrán que buscar resultados comparando el resultado promedio de aquellos que recibieron el programa con el resultado promedio de aquellos que no recibieron el programa. 6 Angrist, Joshua D. and Jorn-Steffen Pischke. (2008). Mostly Harmless Econometrics: An Empiricist's Companion. Princeton, NJ: Princeton University Press. 11

12 Si se comparan los resultados promedio de aquello que se capacitaron con el BTA con el resultado promedio de aquellos que no recibieron el BTA, se obtiene algo de información respecto al impacto potencial del programa, pero no necesariamente se está obteniendo el impacto causal del programa. Tal como indica la ecuación (2): / 1 / 0 / 1 / 1 / 1 / 0 (2) Efecto medio del tratamiento en los tratados Sesgo de selección El primer término es el efecto causal del programa sobre aquellos que efectivamente recibieron el BTA. Ahora bien, al comparar los resultados promedios de quienes se capacitaron con los resultados promedio de quienes no se capacitaron, se está añadiendo un elemento adicional que es lo que se denomina sesgo de selección. El término es la diferencia promedio de entre aquellos que recibieron el BTA y aquellos que no lo recibieron. Si por ejemplo, individuos más hábiles o más responsables tuviesen una probabilidad más alta de participar del programa, entonces tendrían mayores, generando un sesgo de selección positivo en el ejemplo anterior. Es posible representar el problema anterior en términos de una regresión. Se puede suponer que el impacto del tratamiento es igual a una constante. Lo anterior permite reescribir la ecuación (1) como: (3) Donde es igual a, es y es. Evaluando la media condicional de esta ecuación: Por lo tanto, / 1 / 1 / 0 / 0 / 1 / 0 / 1 / 0 (4) Efecto del tratamiento Sesgo de selección Por ende, el sesgo de selección está dado por la correlación entre el término de error, y la variable independiente, ya que: / 1 / 0 / 1 / 0 (5) Esta correlación representa la diferencia que existe en el resultado potencial entre quienes optan por capacitarse y quienes optan por no capacitarse. Por ejemplo, que aquellos individuos que egresan del programa BTA hubiesen tenido mayores ingresos que quienes no reciben el Bono aunque no hubiesen recibido el programa. 12

13 El objetivo de este trabajo es desarrollar una metodología que permita eliminar el sesgo de selección para así poder estimar adecuadamente el impacto causal del programa sobre todos aquellos individuos que recibieron el BTA. A continuación se analizan dos metodologías alternativas para estimar el impacto medio del tratamiento en los tratados: matching y estimación con efectos fijos Metodologías para estimar el efecto promedio del tratamiento en los tratados del BTA Tal como indica la expresión (6), se puede suponer que la probabilidad de estar empleado, ingresos o movilidad laboral del individuo en el momento, depende de sus características observables, de si ha recibido o no el tratamiento, en este caso la capacitación, de características no observables del individuo que se mantienen fijas en el tiempo y del período t. /,,,, (6) Interesa conocer el impacto de la variable sobre la probabilidad de estar ocupado, ingresos o movilidad laboral de los trabajadores. Ahora bien, tal como se describe en la sección existe un sesgo de selección de los individuos que optan por capacitarse. Los individuos capacitados difieren tanto en sus características observables (edad, educación, situación laboral, entre otros) como en sus características no observables (habilidad, grado de responsabilidad, entre otras) de los individuos que optan por no capacitarse. Por lo anterior, no basta con comparar la probabilidad de estar ocupado, movilidad laboral o ingresos de individuos tratados y no tratados, pues esto puede llevar a resultados sesgados. Para abordar el sesgo de selección se analizan dos metodologías: (i) matching y (ii) estimación con efectos fijos. La metodología de matching corrige las diferencias observables entre el grupo de tratamiento y control, buscando para cada individuo de la muestra de tratamiento una unidad muestral no tratada que sea lo más similar posible en sus características observables. En términos de la ecuación (3), lo que se hace es controlar por las características observables de los individuos: (7) Tal como se explica en la sección el sesgo de selección está dado por la correlación entre el término de error y la variable independiente. En caso de que la probabilidad de recibir el tratamiento dependa únicamente de características observables de los individuos, entonces al controlar por ya no habrá correlación alguna entre y y por ende, no habrá un sesgo de selección y la ecuación debiese permitir obtener una medida insesgada del impacto del tratamiento. En caso de que no se controlara por, esto quedaría capturado en el término, si existe una correlación entre y, entonces al no controlar por habrá una correlación entre y y por ende un sesgo de selección. La principal ventaja de la metodología de matching es que potencialmente se puede realizar únicamente con datos transversales y no requiere necesariamente tener datos previos a la capacitación 7. Su principal desventaja es que supone que la probabilidad de recibir el tratamiento depende únicamente de características observables del individuo. Es decir, supone que una vez que se controla por, no existirá correlación alguna entre y. Si existen variables no 7 De igual manera se puede hacer un matching con datos de panel. 13

14 observables que afectan tanto la probabilidad de capacitarse como las variables de resultado, entonces esta metodología podría generar resultados sesgados. Por ejemplo, si individuos más hábiles tienen una mayor probabilidad de matricularse en el BTA y reciben a su vez mayores ingresos, entonces esta metodología tendería a sobreestimar los resultados. Una segunda metodología consiste en estimar los resultados utilizando efectos fijos por individuo. La clave de la metodología de efectos fijos es suponer que las características no observables son constantes en el tiempo en un modelo lineal /,,,.,,, (8) Donde es la variable de interés a estimar. La ecuación (8) implica que: Donde (9) (10) Utilizando datos de panel, es decir observaciones de los individuos a lo largo del tiempo, el impacto causal del programa BTA puede ser estimado tratando como un parámetro más a estimar. Los efectos fijos para cada período son también variables a estimar que capturan todas aquellas tendencias en empleabilidad y salario que son comunes para individuos tratados y no tratados (por ejemplo, cambios en la actividad económica). Los efectos fijos a nivel de individuo son coeficientes para variables dummy a nivel individual, mientras que los efectos fijos de tiempo son coeficientes para dummies de tiempo. Lo anterior implica que si la muestra incluye por ejemplo a de trabajadores observados durante 12 períodos, el modelo incorporará efectos fijos para cada individuo a estimar y 12 efectos fijos de tiempo a estimar. En la práctica, el hecho de tratar los efectos individuales como parámetros a estimar, es idéntico a estimar diferencias en el tiempo: Δ Δ Δ Δ Δ (11) Donde Δ denota el cambio entre dos períodos. Por ejemplo:. Esta metodología permite controlar por características observables, así como también por características no observables de los individuos. Así, el modelo supone que una vez que se controla por y por, no existirá correlación alguna entre y. La principal ventaja de una metodología de efectos fijos es que permite controlar por características no observables de los individuos, a diferencia de la metodología de matching. Su principal desventaja es que requiere poder observar a los individuos en dos momentos del tiempo, previo y posterior a la intervención y además que requiere de un número importante de observaciones para tener grados de libertad suficientes. Dado que existen datos suficientes para realizar una estimación por efectos fijos y que esta metodología permite controlar por características observables y no observables de los individuos, es que se propone una evaluación de impacto utilizando efectos fijos. 14

15 Los datos a utilizar corresponden a la base del Seguro de Cesantía que provee información mensual de empleos y salarios para la totalidad de los trabajadores asalariados del sector privado que realizan contribuciones al Seguro de Cesantía. La Base del Seguro de Cesantía puede ser unida con la base de datos del SENCE para identificar a todos aquellos individuos que se capacitaron en el programa BTA. Lo anterior permitirá observar a los individuos previo y posterior a la capacitación y estimar el impacto del Programa. El panel de datos que se puede construir con la Base del Seguro de Cesantía tiene la ventaja de ser una base prácticamente censal entre los trabajadores asalariados formales, quienes componen la población objetivo del Programa. De acuerdo a la Ley Nº , vigente desde el 1 de octubre de 2002 todos los trabajadores dependientes mayores de 18 años y regidos por el Código del Trabajo que iniciaron una relación laboral con fecha igual o posterior al 2 de Octubre de 2002 deben afiliarse al Seguro de Cesantía. Dentro de los requisitos para postular al BTA, que se detallan en la sección 1.1 están: ser mayor de 18 años, contar con al menos 12 cotizaciones a lo largo de su vida laboral y tener al menos 6 cotizaciones en los últimos 12 meses. Lo anterior implica que la Base del Seguro de Cesantía debería permitir tener información de empleo e ingresos previa y posterior a la capacitación para la gran mayoría de los individuos que se capacitaron con el BTA 8. Datos proporcionados por la Superintendencia de Pensiones 9 indican que un 86,5% del total de asalariados de 18 años o más cotizaba en el Seguro de Cesantía durante enero de Lo anterior equivale a un universo de trabajadores que están afiliados al Seguro de Cesantía. Estos datos sugieren que la Base del Seguro de Cesantía debiese permitir obtener información para la gran mayoría de los trabajadores capacitados y no capacitados. Ahora bien, es importante destacar que la Base del Seguro de Cesantía no permitirá obtener información para: empleados públicos, funcionarios de las fuerzas armadas y del orden, trabajadores independientes o por cuenta propia, trabajadores pensionados (excepto aquellos pensionados por invalidez parcial), trabajadores de casa particular y trabajadores con contrato de aprendizaje. Lo anterior se discute en mayor detalle en la sección Estrategia empírica Estrategia empírica Utilizando la Base del Seguro de Cesantía se construye un panel de datos trimestral para el total de individuos que cumplen con los requisitos para ser elegibles para el Programa en algún momento entre agosto de 2011 y el límite superior del período de la evaluación, que como se verá más adelante, puede ser diciembre de 2012, julio de 2013 o diciembre de Es decir, todos los individuos que en algún momento entre las fechas señaladas anteriormente: (i) tenían entre 18 y 60 años (mujeres) y 18 y 65 años (hombres), (ii) tenían un mínimo de 12 cotizaciones continuas o discontinuas a lo largo de su vida laboral, (iii) contaban con 6 cotizaciones pagadas continuas o discontinuas y (iv) tenían una remuneración promedio imponible mensual de hasta $ Cabe destacar, que se incluyen todos los trabajadores que en algún momento cumplían con los criterios de elegibilidad. Esto implica que si después de la capacitación su salario sobrepasa los 8 Una primera revisión de los datos indica que de un subconjunto de individuos egresados hasta el 31 de diciembre del 2011 (y que cumplen con los criterios de egreso del programa), aproximadamente se encuentran en la Base del Seguro de Cesantía. Es decir que la Base del Seguro de Cesantía debiese permitir obtener información para aproximadamente un 96% de los beneficiados con el Programa. 9 Informe Mensual Seguro de Cesantía Mayo

16 $ , de todas formas serán parte de la evaluación pues en algún período cumplían los requisitos para recibir el beneficio. La ecuación (12) presenta el modelo propuesto para estimar el impacto del programa BTA por mínimos cuadrados ordinarios: (12) Donde puede ser la probabilidad de estar empleado en t 10, el logaritmo del ingreso (se utiliza el logaritmo para así tener una medida del cambio porcentual en el ingreso producto del tratamiento), movilidad o el Índice de Empleabilidad definido para la selección de beneficiarios (la sección 2.3 describe más en detalle cada una de estas variables). La variable incluye dummies para cada período de tiempo 11, y la variable incluye dummies para cada individuo. La variable es una dummy que toma el valor de uno si, tomando como referencia el período t, el individuo i alguna vez egresó del BTA (esto implica que se considerarán como no capacitados aquellos individuos que aún no han egresado del programa) y cero en caso contrario. Las variables incluyen la edad del individuo, la edad al cuadrado, la educación del individuo y su estado civil. En caso de que estas variables no se encuentren actualizadas para los distintos periodos, no será posible incluirlas en la ecuación. No se incluyen controles por otras variables como sexo, pues el efecto fijo a nivel de individuo no varía en el tiempo y por ende no es posible distinguir el impacto del efecto fijo del impacto de otras variables que se mantienen constantes en el tiempo. Tampoco es posible controlar por otras variables que sí varían en el tiempo como el número de hijos, pues no existe información al respecto. Lo anterior podría eventualmente sesgar los resultados en el caso de que existiera alguna correlación entre dichas variables (capturadas en el término de error ) y la probabilidad de recibir el tratamiento. Para comprobar que lo anterior no sea un problema, la sección propone algunas pruebas de robustez. Los primeros datos indican que durante 2011 hubo al menos individuos que cumplieron con los criterios de egreso del Programa. Estos comenzaron su proceso de matrícula en agosto de 2011 y egresaron a partir de octubre de Para realizar una adecuada evaluación de impacto interesa conocer el efecto del Programa en el corto (seis meses), mediano (un año) y largo plazo (un año y medio o dos años). Para ello se sugiere realizar una evaluación de impacto en marzo de 2013 (estimación son 12 períodos 12 ), para observar el impacto del programa a un año de egresados los primeros participantes y posteriormente en octubre 2013 (estimación con 14 períodos 13 ) y marzo 2014 (estimación con 16 períodos 14 ), para observar los resultados a un año y medio y a dos años de egresados los primeros participantes 15. No existe un criterio definido que determine cada cuánto tiempo se debiese evaluar un programa de este tipo 16, sin embargo, parece razonable estimar el impacto a seis meses, un año y un año y medio de egresados los primeros participantes. Cabe destacar que en la evaluación aparecerán como capacitados todos aquellos individuos que se hayan capacitado en 2011, 2012 ó Dummy que toma el valor de uno si el individuo estuvo al menos un mes con empleo en dicho trimestre y cero en caso contrario. 11 Dummies por trimestre. Estas dummies siguen el tiempo cronológico y son idénticas para todos los individuos. 12 Incluir observaciones desde enero de 2010 hasta diciembre de 2012, 12 trimestres. 13 Incluir observaciones desde enero de 2010 hasta julio de 2013, 14 trimestres. 14 Incluir observaciones desde enero de 2010 hasta diciembre de 2013, 16 trimestres. 15 Las fechas consideran que la base del seguro de Cesantía tarda 3 meses en actualizar los datos. 16 No obstante, en general, la literatura existente sobre evaluaciones de impacto de programas de capacitación considera adecuado, entre la fecha de egreso y la medición de impacto, plazos similares a los de este análisis. 16

17 En cada uno de estos casos, la ecuación se debe estimar para el total de individuos que cumplían con los requisitos para ser elegibles para el programa BTA en algún minuto del período de evaluación. El grupo de tratados estará compuesto por todos aquellos individuos que cumplen con los criterios de egreso del BTA y el grupo de control estará compuesto por todos los individuos que cumplían con los criterios para ser elegibles al menos en algún minuto del período considerado y que no recibieron el tratamiento. Aquellos individuos que reciben el programa BTA pero que aún no han egresado estarán considerados en el grupo de control, en el minuto en que egresen pasarán a ser parte del grupo de tratados. El supuesto clave del modelo anterior es que si bien los niveles de empleo o salario pueden diferir entre controles y tratados, ambos grupos debiesen seguir tendencias relativamente similares de empleo y salario en el tiempo. Dicho de otra forma, el modelo supone que una vez que se controla por y, no debiese existir correlación alguna entre y. La sección propone una prueba de robustez para validar el supuesto anterior 17. La variable de interés a identificar es. Para cada individuo, los efectos fijos por individuo controlan por todas aquellas características que pueden diferir entre aquellos trabajadores que optan por capacitarse y aquellos que no (por ejemplo, habilidad). Los efectos fijos para cada período de tiempo, controlan por todas aquellas tendencias en probabilidad de estar ocupado y salario que son comunes para individuos tratados y no tratados (por ejemplo, cambios en la actividad económica). El supuesto clave de identificación en el modelo es que en la ausencia del programa, el cambio en ingresos, en la probabilidad de estar empleado, movilidad o en el Índice de Empleabilidad no habría sido sistemáticamente diferente entre individuos tratados y no tratados. La siguiente sección propone una prueba de robustez para corroborar que el supuesto anterior sea válido y que la ecuación permita estimar adecuadamente Prueba de robustez Si bien el modelo anterior permite controlar por variables observables y no observables de los individuos, existen una serie de variables que no están siendo incorporadas en el modelo anterior, que varían en el tiempo y que podrían incidir en la probabilidad de que un individuo se encuentre empleado, en sus ingresos, movilidad o Índice de Empleabilidad, por ejemplo, el número de hijos que tiene la persona o su participación en algún otro programa. Al no existir suficiente información, no es posible controlar por las variables anteriores. En el caso de que alguna de estas variables estuviese correlacionada con la probabilidad de recibir el BTA y tuviese además un impacto sobre la variable dependiente, entonces el modelo anterior podría generar resultados sesgados. Ello, porque estas variables estarán capturadas en el término de error, en el caso de que estas variables estén correlacionadas con, esto es, existirá una correlación entre y, tal como se explica en la sección 3.2.1, generando un sesgo en los resultados estimados. Para corroborar que esto no está ocurriendo y que los supuestos del modelo efectivamente se cumplen, se propone realizar dos pruebas de robustez. Una primera prueba consiste en estimar la ecuación (12) para individuos tratados y no tratados en el período previo a la capacitación, 17 No fue posible realizar una prueba de robustez al momento del diseño de la evaluación, pues se contaba únicamente con información de egresados del programa. 17

18 utilizando datos desde enero de 2009 hasta enero de 2010 (8 períodos). La ecuación a estimar sería: (13) Donde puede ser la probabilidad de estar empleado en t, ingreso, movilidad horizontal o el Índice de Empleabilidad definido para la selección de beneficiarios. Las variables incluyen la edad del individuo, la edad al cuadrado y la educación del individuo, la variable incluye dummies para cada período de tiempo, y la variable incluye dummies para cada individuo. La variable es una dummy que toma el valor de uno si el individuo se capacitó y egresó alguna vez con el BTA entre agosto de 2011 y diciembre de Esta variable es igual a cero en los períodos de 2009 y toma el valor de 1 para los individuos tratados en los períodos de El objetivo de la ecuación anterior es comprobar que no existen diferencias sistemáticas en la probabilidad de estar empleado, en el ingreso, en la movilidad o en el Índice de Empleabilidad entre individuos capacitados y no capacitados. Si el supuesto anterior se cumple, entonces la variable no debiese ser significativamente distinta de cero. Es decir, no se debiesen observar diferencias en tendencia entre individuos tratados y no tratados en períodos previos a la capacitación. Una segunda prueba de robustez consiste en demostrar que no existe correlación entre y. Es decir que no existe correlación entre y las variables no observables que varían en el tiempo, y que por ende, no están siendo incorporadas en el modelo. Dado que estas variables no son observables, no es posible estimar si existe o no una correlación entre y por ejemplo el número de hijos que tiene una persona. Sin embargo, una alternativa consiste en demostrar que no predice cambios en características observables de los individuos, que están directamente relacionados con el nivel de ingresos, probabilidad de estar empleados, movilidad o Índice de Empleabilidad, pero que no tienen relación con el Programa, como por ejemplo el nivel educacional o el estado civil. Si bien lo anterior no garantiza que no exista una correlación entre y, permite realizar una prueba mínima de robustez. Si por ejemplo, predijera cambios significativos en el estado civil o educación de los individuos en la ecuación (14), entonces sería más difícil argumentar que esta variable no está correlacionadas con otras variables no observables que varían en el tiempo como el número de hijos. Para corroborar este punto se estima la siguiente ecuación: (14) El objetivo de la ecuación anterior es comprobar que participar del BTA no predice cambios en el nivel educacional o el estado civil de los participantes. Si el supuesto anterior se cumple, entonces la variable no debiese ser significativamente distinta de cero. Es decir, no se debiesen observar diferencias en tendencia en el nivel educacional o estado civil entre individuos tratados y no tratados. Es importante destacar que sólo será posible realizar esta segunda prueba de robustez en el caso de que los datos de educación y estado civil se encuentren actualizados en la Base del Seguro de Cesantía para los periodos considerados en el panel. En caso de que los supuestos de identificación no se cumpliesen. Es decir, que existan diferencias en la tendencia en el nivel educacional o estado civil entre individuos tratados y no tratados; o 18

19 bien que existan diferencias en tendencia en la probabilidad de estar ocupado, ingreso, movilidad horizontal o Índice de Empleabilidad entre individuos tratados y no tratados en períodos previos a la capacitación, se pueden añadir controles adicionales a la ecuación (12). Se sugiere incluir una tendencia lineal para cada individuo (una dummy por individuo multiplicada por una variable tendencia). La ecuación a estimar sería: (15) El modelo anterior permite controlar por diferencias paulatinas en la tendencia en empleo o ingreso que pueden seguir distintos individuos. Para corroborar lo anterior, y demostrar que esta variable logra controlar adecuadamente por las diferencias en tendencia entre tratados y no tratados, es necesario realizar una nueva prueba de robustez. Para ello, se debe estimar la ecuación (13), utilizando datos desde enero de 2009 hasta enero de 2010 (8 períodos) e incluyendo la tendencia lineal por individuo. La ecuación a estimar sería: (16) Adicionalmente, se debe estimar la ecuación (14) incluyendo una tendencia lineal por individuo. La ecuación a estimar sería: (17) Al igual que en la ecuación (14) es necesario destacar que sólo será posible estimar la ecuación (17), en el caso de que los datos de educación y estado civil de la Base del Seguro de Cesantía estén actualizados para los periodos considerados en el panel. Cabe destacar, que tanto el modelo descrito en la ecuación (12), como el modelo descrito en la ecuación (15), estiman el impacto promedio del Programa sobre los tratados. Para evaluar si el impacto del Programa difiere dependiendo del tiempo que ha transcurrido desde el egreso de la capacitación o si el impacto difiere dependiendo del nivel educacional del beneficiario, de su sexo, estado civil o edad, la siguiente sección propone algunas extensiones al modelo Extensiones del modelo El modelo inicial propuesto en la ecuación (12) y (15) estiman el impacto promedio del Programa. Para testear si existen heterogeneidades en el impacto del Programa es decir, si por ejemplo, el impacto difiere a los 6 ó 12 meses de haber egresado del Programa, se propone extender el modelo. Para ello es necesario interactuar la variable con una variable que detalle el tiempo que ha transcurrido desde que el individuo egresó del programa. El modelo a estimar sería: (18) Donde es una dummy que toma el valor de uno si el individuo egresó de su capacitación hace 6 meses o menos y cero en caso contrario, es una dummy que toma el valor de uno si el individuo egresó de su capacitación hace más de seis meses y menos de un año y cero en el caso contrario y es una dummy que toma el valor de uno si el individuo egresó de su capacitación hace más de un año y cero en el caso contrario. Si es significativamente distinta de y de implica que el impacto del Programa no es constante en el tiempo. El modelo anterior permite estimar si el impacto aumenta o disminuye a medida que pasa más tiempo desde el momento de egreso. Este es simplemente un modelo de referencia. Se pueden probar distintas dummies 19

20 asociadas para, y con el fin de estudiar si existen heterogeneidades en el impacto del Programa. El modelo se puede extender aún más, para determinar si el impacto del Programa difiere dependiendo del sexo, edad, estado civil, nivel educacional, tipo de capacitación realizada o período en el cuál se realiza la capacitación (por ejemplo si se capacitó durante 2011 o 2012). Para ello, se incluye una variable que podría ser el sexo 18, edad 19, estado civil 20, nivel educacional 21, tipo de capacitación 22 o año en el cual se realiza la capacitación que se interactúa con la variable 23. Nuevamente, se pueden probar distintos cortes para la variable educación o edad con el fin de determinar si existen heterogeneidades en el impacto del Programa. El modelo a estimar sería: (19) Lo anterior será posible en la medida de que los datos del Seguro de Cesantía permitan obtener información actualizada para los distintos periodos sobre las variables anteriores. En caso de no ser así no será posible extender el modelo anterior. Una vez definido el modelo y sus extensiones, se debe proceder a estimar la ecuación. La siguiente sección detalla las Bases de Datos que se requieren para la evaluación y cómo se pueden obtener aproximaciones de las variables a evaluar con los datos existentes. 4 Bases de datos A continuación se detallan los datos que se requieren para realizar la evaluación de impacto. 4.1 Datos SENCE La Base de Datos de SENCE mantiene un registro de todos los individuos que cumplen con los criterios de egreso 24 del programa BTA, la fecha en la cual cumplieron dichos criterios y la capacitación que realizaron. Estos datos permiten identificar adecuadamente la variable 18 Dummy que toma el valor de uno si el individuo es mujer y cero en caso contrario 19 Dummy que toma el valor de uno si el individuo tiene más de 23 años y cero en caso contrario. Se sugiere hacer el corte en 23 años pues normalmente se define como jóvenes a todos aquellos individuos menores de 23 años. 20 Dummy que toma el valor de uno si el individuo está casado y cero en caso contrario. 21 Dummy que toma el valor de uno si el individuo tiene educación media completa o un nivel educacional más alto y cero en caso contrario. 22 Dummy que varía dependiendo, por ejemplo, del área del curso realizado. 23 Se pueden probar distintas interacciones para ver si el efecto del programa es mayor o menor sobre ciertos grupos de interés. 24 Los criterios de egreso son: (1) Haber asistido al menos al 75% del total de horas de capacitación del curso, (2) haber aprobado el examen final que determine el curso y (3) haber contestado la encuesta de satisfacción, consistente en un formulario que los beneficiarios deben responder al final del curso, en la página del SENCE, cuyo objetivo es medir el nivel de satisfacción de los beneficiarios. 20