INDICADORES DE EVALUACIÓN (ENERO-SEPTIEMBRE 2010)

Transcripción

1 MODELO DE EVALUACIÓN INSTITUCIONAL INDICADORES DE EVALUACIÓN (ENERO-SEPTIEMBRE 2010) DIRECCIÓN DE PLANEACIÓN, ADMINISTRACIÓN, EVALUACIÓN Y DIFUSIÓN Subdirección de Evaluación Institucional NOVIEMBRE

2 Modelo de Evaluación Institucional MEI Indicadores de Evaluación por Entidad Enero Septiembre 2010 Pág. Informe ejecutivo 3 Presentación de la Evaluación 7 Fórmulas de aplicación de los 9 indicadores Valores para la evaluación por 12 categorías Procedimiento de evaluación 13 Resultados 33 Desempeño por entidad Geográficamente 34

3 Bajo la presente administración gubernamental, la evaluación se ha convertido en un tema recurrente, sobre todo bajo el precepto de que mediante ésta se llevaría a cabo la asignación presupuestal con base en los resultados que cada programa dentro de la administración pública reporte. Mediante la evaluación se busca construir una serie de argumentos para analizar si la administración de los recursos públicos otorgados a los programas se están ejerciendo adecuadamente, así como si los efectos que los programas sociales, en los que se invierten dichos recursos, tienen en bienestar para el país. De acuerdo a lo anterior, al interior del INEA se realiza una revisión sistemática de los proyectos operados a nivel nacional en los Institutos Estatales y Delegaciones, y su impacto en el logro del objetivo institucional. Se analizan las metas y los logros de cada proyecto a través de una serie de indicadores de eficiencia, eficacia, operación y calidad. Con el análisis de dichos indicadores se mide el desempeño institucional y los resultados se presentan en el presente documento, con el fin de que todas las áreas administrativas y operativas de los distintos proyectos institucionales los conozcan y los resultados sirvan como base para la toma de decisiones. Sin embargo, los resultados cuantitativos obtenidos, se deben justificar con una serie de actividades desempeñadas al interior de los Institutos Estatales y Delegaciones, las cuales expresan la justificación de los logros alcanzados, teniendo de esta forma una evaluación cuantitativa del programa, los proyectos y las estrategias operados. La idea de lo anterior es que de ser necesario, los estados fortalezcan o replanteen sus acciones o áreas de oportunidad con el fin de obtener mejores resultados en sus indicadores. En este contexto la Subdirección de Evaluación Institucional continua con la labor de dar seguimiento cualitativo y cuantitativo a los resultados que en materia programático presupuestal se generan a nivel nacional en los Institutos Estatales y Delegaciones, a través del presente Modelo de Evaluación Institucional (MEI). En lo que respecta al MEI, éste ha sufrido una serie de readecuaciones y mejoras, con el fin de generar correspondencia entre la información generada de manera institucional y aquella que refleja la realidad operativa con que se ofertan los servicios en materia de educación de adultos.

4 Tal es el caso de la introducción de dos nuevos indicadores, en el segundo trimestre de este año, en el aparatado de eficacia correspondientes a Meta-Logro Atención y Meta-Logro UCN s y a la sustitución del indicador Porcentaje de UCN s obtenidos con examen final por el Índice de Productividad en el apartado de calidad. Bajo el contexto de que la Administración Pública debe ir dirigida a incrementar la eficiencia en la producción de los servicios colectivos (salud, educación, vivienda, etc.), trasladando la atención del proceso al producto final logrado, es decir, al beneficio social; existen una serie de factores internos y externos que inciden en el logro de los objetivos de cualquier institución pública y que son objeto de evaluación, sobre todo porque mediante estos se puede medir dicha productividad. La intención de la inserción de un Indicador de Productividad en el Modelo de Evaluación Institucional (MEI), es comparar los logros obtenidos en materia educativa de los Institutos Estatales y Delegaciones con varios factores de contexto que favorecen o dificultan la consecución de metas, de tal forma que se muestre una visión acorde a las condiciones bajo las cuales operan los servicios educativos en cada estado, siendo más justos con la evaluación de cada uno. Para la formación de dicho indicador se utilizan los Usuarios que Concluyeron Nivel ponderados, es decir, los UCN s medidos de acuerdo a la dificultad que cada nivel educativo tiene para ser concluido. Por lo que para alfabetización se multiplican los UCN s por 3 (al ser éste el nivel educativo más difícil de concluir), los de primaria por 2 y los de secundaria por 1, con el fin de ponderar por nivel de dificultad los logros por estado. Una vez ponderados, los UCN s se comparan con una serie de Variables de Contexto normalizadas, cabe aclarar que la normalización se realiza para estandarizar una serie de datos que no son similares entre si directamente, en este caso y debido a que los UCN s no se podrían comparar con estas variables fue necesario normalizarlas. Para normalizarlas se dividieron los datos de cada variable entre el valor máximo registrado para obtener una escala entre 0 y 1. Posteriormente se obtuvieron diferencias entre estos valores normalizados, lo que permitió cruzar las variables.

5 Variables consideradas: Rezago educativo Localidades atendidas Logros de conclusión de nivel Productividad promedio por técnico docente Presupuesto Índice de Desarrollo Humano (IDH) Costo por UCN Plantilla de técnicos docentes Exámenes presentados y acreditados Al tener los datos listos para ser comparables, se resta cada valor de las variables consideradas al valor de los UCN s de todos los niveles educativos y se obtienen tanto valores negativos como positivos, mismos que se suman y promedian, obteniéndose así el Índice de Productividad de cada estado. Como se puede observar todas las variables que se comparan con los UCN s dependen directamente de la operación de los Institutos Estatales y Delegaciones, excepto la del Índice de Desarrollo Humano (IDH), el cual es un indicador social estadístico compuesto por 3 parámetros: 1. Vida larga y saludable (esperanza de vida al nacer). 2. Educación (tasa de alfabetización de adultos) Nivel de vida digno (PIB per cápita). Este índice se usa para clasificar a los países o a sus estados considerando otras variables distintas a las usadas tradicionalmente en economía, además permite ingresar elementos de análisis para explicar como estos factores de contexto inciden en los resultados obtenidos.

6 Bajo este contexto se utilizó el IDH para compararlo con lo UCN s, con el fin de considerar aquellas variables de contexto que si bien no estaban directamente relacionadas con la operación de los servicios educativos en los IEEA s y Delegaciones, si inciden en los resultados obtenidos de los esfuerzos realizados para abatir al rezago educativo que existe en cada estado. Tratamiento del Indicador en los Informes de Autoevaluación Trimestral Para explicar y justificar los resultados obtenidos en el Indicador de Productividad dentro de los IAT s, es necesario hacer un análisis del comportamiento de las variables que inciden directamente en el comportamiento de este indicador, procurando que éstas impacten de manera positiva en el propio indicador, y que están en el ámbito de competencia de los IEEA s y Delegaciones, tales como: 1.UCN s por nivel educativo. 2.Exámenes acreditados. Por lo que las acciones de mejora, áreas de oportunidad y compromisos deben de establecerse en función del comportamiento de estas variables a nivel estatal. Es decir. los resultados de los indicadores por cada Instituto Estatal o Delegación deben ir coordinados con las acciones que realizaron para mejorar sus resultados, áreas de oportunidad identificadas y compromisos para el trimestre inmediato.

7 La evaluación de desempeño se define con cuatro categorías e indicadores de eficacia, eficiencia, operación y calidad. Con este nuevo enfoque se pretende dar mejora continua y darle un valor agregado a la evaluación en cada una de las entidades federativas. El procedimiento considera las variables siguientes: Meta-Logro de Atención y UCN s Logros de atención y registro. Logros de UCN`S y exámenes acreditados. Educandos activos, dados de baja y sin módulo. Número de técnicos docentes. Presupuesto ejercido y costo del material didáctico.

8 Se definen como categorías e indicadores de evaluación: a. Eficacia: I. Índice de conclusión II. Meta-Logro de atención III. Meta-Logro de UCN s b. Eficiencia: I. Costo por UCN c. Operación: I. Promedio de educandos por técnico docente II. UCN S por técnico docente d. Calidad: I. Índice de retención de adultos II. Exámenes acreditados por adulto III. Porcentaje de adulto sin módulos IV. Índice de Productividad

9 a) Eficacia Índice de Conclusión = Logros de UCN Educandos Registrados Meta-Logro Atención = Logros de Atención Meta de Atención * 100 Meta-Logro UCN s = Logros de UCN s Meta de UCN s * 100

10 b) Eficiencia Costo por UCN = Presupuesto Ramo 33 + Convenios y Ampliaciones + Material didáctico + Inversión + Ofic. Centrales Logros de UCN c) Operación Promedio de Educandos Por Técnico Docente = Educandos en Atención Número de Técnicos Docentes UCN por Técnico Docente = Logros de UCN Número de Técnicos Docentes

11 d) Calidad Índice de Retención = _ 1 Inactivos - Reincorporados+ Bajas Educandos Registrados + Inactivos Exámenes Acreditados por Adulto = Exámenes Acreditados Educandos Registrados Educandos sin Módulo Porcentaje de Adultos sin Módulo = Educandos Activos * 100 Índice de productividad = UNC s vs Rezago educativo, Localidades atendidas, Logros de conclusión de nivel, Productividad promedio por técnico docente, Presupuesto, Índice de Desarrollo Humano (IDH), Costo por UCN, Plantilla de técnicos docentes y Exámenes presentados y acreditados. 6

12 Valor máximo Eficacia 38 puntos Eficiencia 12 puntos Operación 12 puntos Calidad 38 puntos Total 100 puntos

13 Por cada indicador las entidades se ordenan de menor a mayor de acuerdo con su valor. El promedio nacional de cada indicador divide el escenario total de las entidades en dos secciones: Por abajo o igual a la media o promedio nacional. Por arriba de la media o promedio nacional. A su vez, cada sección se divide en dos rangos a partir de la media o promedio de cada una de ellas, con lo que se obtiene un total de cuatro rangos de valores. Rango A valores altos Rango D valores bajos Rango C valores medios bajos Rango B valores medios altos 0 promedio promedio mínimo promedio máximo 8

14 Rango D valores altos Rango C valores medios altos Rango B valores medios bajos Rango A valores bajos 0 promedio promedio máximo promedio mínimo

15 Se asigna a cada entidad una puntuación de acuerdo con encuentre, como se verá en los cuadros siguientes. el rango en el que se Finalmente, las puntuaciones obtenidas en cada categoría se suman para obtener así una puntuación final. Se realiza entonces el mismo procedimiento descrito anteriormente para los indicadores en la obtención de cuatro rangos de entidades de acuerdo a la puntuación final obtenida. PUNTUACIÓN Rangos Indicador creciente Índice de conclusión Meta-Logro Atención Meta-Logro UCN s A B C D Valores Altos Valores medios Altos Valores medios Bajos Valores Bajos TOTAL Nota: A mayor índice de conclusión corresponde una puntuación mas alta y aun mayor logro respecto a la meta programada puntuación más alta.

16 Durango Coahuila Tabasco Sonora Tamaulipas Nuevo León Chihuahua Zacatecas Quintana Roo Tlaxcala Hidalgo Jalisco San Luis Potosí México Querétaro Sinaloa Campeche Distrito Federal Michoacán Morelos Nayarit Yucatán Veracruz Aguascalientes Colima Guanajuato Guerrero Baja California Puebla Baja California Sur Chiapas Oaxaca Nacional Entidades Federativas

17 Guerrero Jalisco Tabasco Sinaloa Hidalgo Sonora Coahuila Michoacán Oaxaca México Veracruz Baja California Sur San Luis Potosí Colima Guanajuato Puebla Chihuahua Morelos Chiapas Campeche Nayarit Yucatán Querétaro Quintana Roo Nuevo León Zacatecas Baja California Distrito Federal Tamaulipas Tlaxcala Durango Aguascalientes Nacional Entidades Federativas

18 Guerrero Tabasco Zacatecas Michoacán Veracruz Coahuila Sinaloa Chiapas Nayarit Hidalgo Oaxaca Durango San Luis Potosí Chihuahua Jalisco México Yucatán Baja California Sur Puebla Colima Campeche Nuevo León Querétaro Baja California Sonora Tamaulipas Distrito Federal Tlaxcala Morelos Guanajuato Quintana Roo Aguascalientes Nacional Entidades Federativas

19 PUNTUACIÓN Rangos Indicador Decreciente A B C D Valores Bajos Valores medios Bajos Valores medios Altos Valores Altos Costo de UCN TOTAL Nota: A menor costo de UCN corresponde una puntuación alta.

20 Jalisco Tabasco Coahuila México Tamaulipas Sonora San Luis Potosí Chihuahua Zacatecas Nuevo León Durango Hidalgo Sinaloa Distrito Federal Querétaro Michoacán Oaxaca Quintana Roo Guanajuato Chiapas Puebla Veracruz Yucatán Baja California Guerrero Tlaxcala Campeche Morelos Nayarit Aguascalientes Colima Baja California Sur 3,095 3,221 3,705 3,801 3,947 4,026 4,183 4,258 4,426 4,877 4,885 5,218 5,552 5,620 5,820 6,212 6,219 6,611 6,694 6,832 6,962 6,994 7,148 7,240 7,308 7,318 7,586 7,817 8,362 8,667 10,332 14,998 Nacional 5,215 18,000 16,000 14,000 12,000 10,000 8,000 6,000 4,000 2,000 0 Entidades Federativas

21 PUNTUACIÓN Indicador creciente Rangos A B C D Valores Altos Medios Altos Medios Bajos Bajos Educandos atendidos por técnico docente UCN s por técnico docente TOTAL

22 Jalisco Sinaloa México Aguascalientes San Luis Potosí Chiapas Puebla Distrito Federal Oaxaca Baja California Chihuahua Guerrero Veracruz Hidalgo Sonora Michoacán Zacatecas Querétaro Yucatán Morelos Campeche Quintana Roo Tamaulipas Tabasco Colima Guanajuato Nuevo León Nayarit Baja California Sur Coahuila Durango Tlaxcala Nacional Entidades federativas

23 Sonora Tabasco Chihuahua Jalisco Coahuila San Luis Potosí Sinaloa México Aguascalientes Tamaulipas Durango Hidalgo Distrito Federal Zacatecas Nuevo León Querétaro Michoacán Campeche Veracruz Baja California Quintana Roo Puebla Guerrero Morelos Yucatán Guanajuato Nayarit Colima Chiapas Oaxaca Baja California Sur Tlaxcala Nacional Entidades federativas

24 Puntuación Indicador creciente Rangos A B C D Valores Altos Medios Altos Medios Bajos Bajos Índice de retención de adultos Exámenes acreditados por adulto

25 Puntuación Indicador decreciente Rangos A B C D Valores Bajos Medios Bajos Medios Altos Altos Porcentaje de adultos sin módulos Indicador Creciente Altos A Medios Altos B Medios Bajos C Bajos D Índice de Productividad TOTAL

26 Oaxaca Zacatecas Tabasco Hidalgo Colima Yucatán Nayarit San Luis Potosí Campeche Chiapas Durango Coahuila Querétaro Sonora Tamaulipas Aguascalientes Sinaloa Veracruz Guanajuato Jalisco Tlaxcala Chihuahua Michoacán Nuevo León Guerrero Quintana Roo Distrito Federal Morelos Baja California México Puebla Baja California Sur Nacional

27 Tabasco Tamaulipas Sinaloa Sonora Durango Coahuila Yucatán Hidalgo Nuevo León San Luis Potosí Zacatecas Campeche Chihuahua Nayarit Veracruz Quintana Roo Jalisco Michoacán Chiapas Guanajuato Querétaro Guerrero Colima México Morelos Tlaxcala Distrito Federal Aguascalientes Puebla Baja California Sur Oaxaca Baja California Nacional Entidades federativas

28 Yucatán Sonora Tamaulipas Coahuila Tabasco Aguascalientes Guerrero Baja California Sur Querétaro Puebla Guanajuato Zacatecas Nayarit Chihuahua Colima Campeche Baja California San Luis Potosí Sinaloa Distrito Federal Morelos Chiapas Michoacán Durango Jalisco Quintana Roo Tlaxcala Nuevo León Oaxaca México Veracruz Hidalgo Nacional

29 Jalisco Tabasco Coahuila México Sonora San Luis Potosí Chiapas Hidalgo Oaxaca Chihuahua Tamaulipas Puebla Sinaloa Zacatecas Guerrero Distrito Federal Durango Michoacán Querétaro Nuevo León Veracruz Baja California Guanajuato Morelos Quintana Roo Yucatán Aguascalientes Campeche Colima Nayarit Tlaxcala Baja California Sur Nacional Entidades Federativas

30 Tabasco Coahuila Sonora Jalisco San Luis Potosí Chihuahua Zacatecas Hidalgo Tamaulipas Durango Sinaloa México Guerrero Michoacán Nuevo León Oaxaca Yucatán Chiapas Veracruz Nayarit Querétaro Campeche Colima Puebla Distrito Federal Quintana Roo Aguascalientes Guanajuato Baja California Baja California Sur Morelos Tlaxcala Nacional Entidades Federativas

31 Con esta reorientación en la evaluación institucional, se da un peso igual a los indicadores de Eficacia y Calidad, debido a la importancia que por una parte tiene el cumplimiento de las metas propuestas de Atención y UCN s, y por otra la calidad que deben tener los servicios educativos que se prestan los Institutos Estales y Delegaciones. De igual manera, la relación de variables a nivel nacional para obtener los indicadores de cada categoría de evaluación, permite distinguir regionalmente el desempeño de cada entidad en el país.

32 Tabasco Coahuila Sonora Jalisco San Luis Potosí Chihuahua Zacatecas Hidalgo Tamaulipas Durango Sinaloa México Guerrero Michoacán Nuevo León Oaxaca Yucatán Chiapas Veracruz Nayarit Querétaro Campeche Colima Puebla Distrito Federal Quintana Roo Aguascalientes Guanajuato Baja California Baja California Sur Morelos Tlaxcala Calidad Operación Eficiencia Eficacia

33 La información que se expone a continuación, contiene un panorama general sobre la evaluación de desempeño de las entidades federativas del país, correspondiente al período del ejercicio Enero Septiembre de 2010, del Modelo de Evaluación Institucional MEI. De un total de 32 estados, 5 que representan el (16 %) están en el rango Óptimo; con el siguiente puntaje: Tabasco 98.0, Coahuila 9, Sonora 81.5, Jalisco 80.0 y San Luis Potosí de las entidades que representan el (28%), obtuvieron una calificación en el rango Bueno:, Chihuahua 75.0, Zacatecas 75.0, Hidalgo 74.5, Tamaulipas 71.0,Durango 70.5, Sinaloa 69.0, México 68.0, Guerrero 61.0 y Michoacán de las entidades que representan el (25%), obtuvieron una calificación en el rango Regular: Nuevo León 60.0, Oaxaca 59.5, Yucatán 59.0, Chiapas 58.0, Veracruz 57.0, Nayarit 56.0, Querétaro 54.0 y Campeche de las entidades restantes (31%), obtuvieron una calificación en el rango Deficiente: Colima 48.0, Puebla 48.0, Distrito Federal 45.0, Quintana Roo 44.5, Aguascalientes 44.0, Guanajuato 4, Baja California 42.0, Baja california Sur 37.5, Morelos 37.0 y tlaxcala 37.0.

34 Desempeño por Entidad Geográficamente Sonora Chihuahua Coahuila Nuevo León Durango Ags. Jalisco Gto. Hgo. Yucatán Colima Guerrero D.F. Mor. Tlax. Pue. Tab. Camp. Q. Roo Entidades con óptimo desempeño Oaxaca Chiapas Entidades con buen desempeño Entidades con regular desempeño Entidades con deficiente desempeño