MODELO DE EVALUACIÓN INSTITUCIONAL INDICADORES DE EVALUACIÓN (ENERO-JUNIO 2010) DIRECCIÓN DE PLANEACIÓN, ADMINISTRACIÓN, EVALUACIÓN Y DIFUSIÓN Subdirección de Evaluación Institucional www.inea.gob.mx www.conevyt.gob.mx Agosto 2010
Modelo de Evaluación Institucional MEI Indicadores de Evaluación por Entidad Enero Junio 2010 Pág. Informe ejecutivo 3 Presentación de la Evaluación 6 Resultados 32 Desempeño por Entidad 33 Geográficamente
Dentro del cambio en los procesos de gestión dentro de la Administración Pública, la evaluación busca construir una serie de argumentos para analizar si la administración de los recursos públicos otorgados a los programas se están ejerciendo adecuadamente. Además es una herramienta de diagnóstico importante, mediante la cual se conocen los efectos que los programas sociales tienen en el país, convirtiéndose de esta forma en el principio fundamental de la gestión interna institucional. Mediante el proceso de evaluación instrumentado al interior del Instituto, se realiza una revisión sistemática de los proyectos operados en los estados, señalando los impactos que se tienen a nivel nacional a través de la operación realizada por los Institutos Estatales y Delegaciones, con lo que es posible medir el grado de congruencia con que se está operando para alcanzar los objetivos propuestos. Este proceso incluye sistemáticamente objetivos, metas, logros e indicadores de: eficiencia, eficacia, operación y calidad. Dichos indicadores permiten tener un panorama cuantitativo acerca del desempeño que tiene la Institución y por medio de este documento se hacen de conocimiento de todas las áreas administrativas y operativas de los distintos proyectos institucionales, con la finalidad de difundir los resultados obtenidos. Lo anterior se complementa con la visión sistémica, integral y multidisciplinaria de las distintas áreas de los Institutos Estatales y Delegaciones, las cuales expresan la justificación de los logros alcanzados, teniendo de esta forma una evaluación cuantitativa del programa, los proyectos y las estrategias operados. La idea de esto es que los estados fortalezcan o replanteen sus acciones o áreas de oportunidad con el fin de obtener mejores resultados en sus indicadores. En este contexto la Subdirección de Evaluación Institucional realiza un seguimiento cualitativo y cuantitativo a los resultados que en materia programático presupuestal se generan a nivel nacional en los Institutos Estatales y Delegaciones, a través del presente Modelo de Evaluación Institucional (MEI), que opera desde hace seis años.
Sin embargo, como parte de los procesos de mejora continua gestados al interior del Instituto, dicho modelo de evaluación continua en un proceso de readecuación y mejoramiento, con el fin de generar una correspondencia entre la información generada de manera institucional y aquella que refleja la realidad operativa con que se ofertan los servicios en materia de educación de adultos. Las adecuaciones obedecen a la propia iniciativa del área que conforme el Modelo, pero también a la participación activa de los responsables del proceso de evaluación en los estados, recopilándose las opiniones que estos tienen del propio Modelo y las mejoras continuas que han propuesto al mismo, generando una reestructuración de esta herramienta de evaluación. Considerando que los resultados de los próximos cambios son parte de un proceso constante de análisis y de reflexión dirigido al mejoramiento de la Institución, es necesario comprender que la evaluación, si bien debe realizarse en función de las metas y objetivos institucionales, debe responder sobre todo a un conjunto de criterios y estándares definidos que constantemente se estén retroalimentando y fortaleciendo. Con el fin de que los instrumentos de evaluación sean herramienta de consulta directa para todas las áreas, bajo esquemas de información puntuales que se socialicen y sean útiles para la toma de decisiones, al interior de los Institutos Estatales, las Delegaciones y oficinas centrales.
INDICADORES DE EVALUACIÓN Anteriormente el MEI operaba con el seguimiento de una serie de indicadores de eficiencia, eficacia, operación y calidad, sin embargo, dentro de la mejora continua que se ha establecido en este instrumento, se realizó una modificación dentro de los indicadores de eficacia, incluyendo dos adicionales al que anteriormente se consideraba, concerniente a la Meta-Logro de Atención y Meta-Logro de UCN s. La intención de la presente modificación es dar un valor de cumplimiento directo a estas variables y no indirectamente como anteriormente se hacía al relacionarlas con otros indicadores. Bajo el precepto que es a través del establecimiento de estas metas que se negocia el presupuesto que se asigna a cada entidad. Además, se sustituyó el indicador de calidad: Porcentaje de UCN s obtenidos con examen final por el Índice de Productividad, la cual se obtiene al relacionar los UCN s con cada una de las variables por estado: Índice de Desarrollo Humano, Presupuesto de operación, Costos, Rezago educativo, Educandos atendidos, entre otras, y se suman los valores de las diferencias positivas y se restan los valores de las diferencias negativas. Asimismo cabe señalar que debido a los cambios anteriormente señalados se modificaron los valores para la evaluación por categorías, considerando la importancia que cada categoría asume con esta restructuración de las variables que la metodología contempla actualmente y que se establecen en el siguiente apartado. Como se planteó en el MEI anterior, el establecimiento de un instrumento de evaluación pertinente y objetivo, ha dado lugar al desarrollo de matrices y cuadros resumen que tienen la finalidad de dar un seguimiento trimestral a los indicadores de evaluación.de esta forma, los resultados de los indicadores por cada Instituto Estatal o Delegación van coordinados con las acciones que realizaron para mejorar sus resultados, áreas de oportunidad identificadas y compromisos para el trimestre inmediato. Finalmente es importante resaltar que es a través de la evaluación y sus diferentes instrumentos que se pueden conocer los resultados reales de las estrategias operadas en cualquier organización, pero sobre todo que ésta permite una toma de decisiones objetiva.
La evaluación de desempeño se define con cuatro categorías e indicadores de eficacia, eficiencia, operación y calidad. Con este nuevo enfoque se pretende dar mejora continua y darle un valor agregado a la evaluación en cada una de las entidades federativas. El procedimiento considera las variables siguientes: Meta-Logro de Atención y UCN s Logros de atención y registro. Logros de UCN`S y exámenes acreditados. Educandos activos, dados de baja y sin módulo. Número de técnicos docentes. Presupuesto ejercido y costo del material didáctico.
Se definen como categorías e indicadores de evaluación: a. Eficacia: I. Índice de conclusión II. Meta-Logro de atención III. Meta-Logro de UCN s b. Eficiencia: I. Costo por UCN c. Operación: I. Promedio de educandos por técnico docente II. UCN S por técnico docente d. Calidad: I. Índice de retención de adultos II. Exámenes acreditados por adulto III. Porcentaje de adulto sin módulos IV. Índice de Productividad
a) Eficacia Índice de Conclusión = Logros de UCN Educandos Registrados Meta-Logro Atención = Logros de Atención Meta de Atención * 100 Meta-Logro UCN s = Logros de UCN s Meta de UCN s * 100
b) Eficiencia Costo por UCN = Presupuesto Ramo 33 + Convenios y Ampliaciones + Material didáctico + Inversión + Ofic. Centrales Logros de UCN c) Operación Promedio de Educandos Por Técnico Docente = Educandos en Atención Número de Técnicos Docentes UCN por Técnico Docente = Logros de UCN Número de Técnicos Docentes
d) Calidad Índice de Retención = _ 1 Inactivos - Reincorporados+ Bajas Educandos Registrados + Inactivos Exámenes Acreditados por Adulto = Exámenes Acreditados Educandos Registrados Educandos sin Módulo Porcentaje de Adultos sin Módulo = Educandos Activos * 100 Índice de productividad = UNC s vs Índice de Desarrollo Humano, Presupuesto de operación, Costos, Rezago educativo, Educandos atendidos, etc. 6
Valor máximo Eficacia 38 puntos Eficiencia 12 puntos Operación 12 puntos Calidad 38 puntos Total 100 puntos
Por cada indicador las entidades se ordenan de menor a mayor de acuerdo con su valor. El promedio nacional de cada indicador divide el escenario total de las entidades en dos secciones: Por abajo o igual a la media o promedio nacional. Por arriba de la media o promedio nacional. A su vez, cada sección se divide en dos rangos a partir de la media o promedio de cada una de ellas, con lo que se obtiene un total de cuatro rangos de valores. Rango A valores altos Rango D valores bajos Rango C valores medios bajos Rango B valores medios altos 0 promedio promedio mínimo promedio máximo 8
Rango D valores altos Rango C valores medios altos Rango B valores medios bajos Rango A valores bajos 0 promedio promedio máximo promedio mínimo
Se asigna a cada entidad una puntuación de acuerdo con encuentre, como se verá en los cuadros siguientes. el rango en el que se Finalmente, las puntuaciones obtenidas en cada categoría se suman para obtener así una puntuación final. Se realiza entonces el mismo procedimiento descrito anteriormente para los indicadores en la obtención de cuatro rangos de entidades de acuerdo a la puntuación final obtenida. PUNTUACIÓN Rangos Indicador creciente Índice de conclusión Meta-Logro Atención Meta-Logro UCN s A B C D Valores Altos Valores medios Altos Valores medios Bajos Valores Bajos 16 12 8 4 6 4.5 3 1.5 16 12 8 4 TOTAL 38 28.5 19 9.5 Nota: A mayor índice de conclusión corresponde una puntuación mas alta y aun mayor logro respecto a la meta programada puntuación más alta.
Coahuila Durango Tabasco Tamaulipas Sonora Nuevo León Chihuahua Zacatecas Hidalgo Quintana Roo Tlaxcala Campeche Querétaro San Luis Potosí Distrito Federal Jalisco Michoacán Nayarit Yucatán Aguascalientes Guanajuato México Morelos Sinaloa Veracruz Colima Guerrero Baja California Baja California Sur Puebla Chiapas Oaxaca 0.11 0.11 0.24 0.23 0.21 0.20 0.20 0.20 0.19 0.19 0.19 0.18 0.18 0.18 0.18 0.18 0.17 0.17 0.17 0.17 0.17 0.17 0.16 0.16 0.15 0.14 0.14 0.28 0.32 0.31 0.38 0.37 0.50 0.45 0.40 Nacional 0.19 0.35 0.30 0.25 0.20 0.15 0.10 0.05 0.00 Entidades Federativas
Tabasco Guerrero Sonora Jalisco Sinaloa Michoacán Coahuila México Oaxaca Hidalgo Baja California Sur Guanajuato Veracruz Puebla San Luis Potosí Chiapas Morelos Distrito Federal Colima Chihuahua Nuevo León Quintana Roo Yucatán Campeche Nayarit Baja California Durango Querétaro Zacatecas Tamaulipas Tlaxcala Aguascalientes 0.53 1.25 1.17 1.13 1.12 1.11 1.09 1.08 1.07 1.05 1.03 1.02 1.00 1.00 0.99 0.97 0.95 0.94 0.92 0.92 0.91 0.91 0.90 0.90 0.90 0.88 0.82 0.77 1.42 1.39 1.82 1.96 2.50 2.00 Nacional 1.0 1.50 1.00 0.50 0.00 Entidades Federativas
Guerrero Zacatecas Chiapas Tabasco Coahuila Veracruz Michoacán Jalisco Durango Oaxaca Puebla Hidalgo Nayarit Sinaloa Yucatán Chihuahua México San Luis Potosí Baja California Baja California Sur Tamaulipas Nuevo León Querétaro Morelos Colima Guanajuato Campeche Sonora Tlaxcala Distrito Federal Quintana Roo Aguascalientes 0.53 1.13 1.12 1.10 1.07 1.04 1.02 1.01 0.99 0.98 0.98 0.98 0.97 0.96 0.96 0.93 0.87 0.87 0.86 0.85 0.83 0.81 0.80 0.76 0.74 0.74 0.70 0.67 0.64 1.30 1.25 1.41 2.00 Nacional 1.0 1.50 1.00 0.50 0.00 Entidades Federativas
PUNTUACIÓN Rangos Indicador Decreciente A B C D Valores Bajos Valores medios Bajos Valores medios Altos Valores Altos Costo de UCN 12 9 6 3 TOTAL 12 9 6 3 Nota: A menor costo de UCN corresponde una puntuación alta.
Jalisco Tamaulipas Tabasco Coahuila México Nuevo León Chihuahua San Luis Potosí Sonora Durango Zacatecas Distrito Federal Hidalgo Oaxaca Chiapas Sinaloa Guanajuato Yucatán Querétaro Puebla Michoacán Guerrero Veracruz Quintana Roo Baja California Tlaxcala Campeche Morelos Aguascalientes Nayarit Colima Baja California Sur 2,951 3,309 3,418 3,450 3,645 3,947 4,091 4,109 4,206 4,289 4,428 4,972 5,286 5,815 6,133 6,164 6,242 6,438 6,487 6,507 6,602 6,740 7,003 7,085 7,244 7,647 8,157 8,317 8,741 8,969 11,058 15,867 18,000 16,000 Nacional 5,078 14,000 12,000 10,000 8,000 6,000 4,000 2,000 0 Entidades Federativas
PUNTUACIÓN Indicador creciente Rangos A B C D Valores Altos Medios Altos Medios Bajos Bajos Educandos atendidos por técnico docente 4 3 2 1 UCN s por técnico docente 8 6 4 2 TOTAL 12 9 6 3
Jalisco México Sinaloa Aguascalientes San Luis Potosí Chiapas Puebla Baja California Distrito Federal Oaxaca Chihuahua Guerrero Michoacán Veracruz Hidalgo Sonora Zacatecas Querétaro Morelos Yucatán Campeche Tamaulipas Quintana Roo Nuevo León Guanajuato Tabasco Nayarit Colima Baja California Sur Durango Coahuila Tlaxcala 97 124 118 144 140 204 202 199 192 184 184 173 249 245 240 238 235 226 225 220 247 291 291 289 280 317 314 313 313 355 342 332 Nacional 251 450 400 350 300 250 200 150 100 50 0 Entidades federativas
Sonora Coahuila Chihuahua Tabasco San Luis Potosí Tamaulipas Jalisco México Sinaloa Durango Hidalgo Aguascalientes Distrito Federal Nuevo León Zacatecas Baja California Querétaro Veracruz Michoacán Campeche Puebla Yucatán Quintana Roo Guerrero Morelos Guanajuato Nayarit Chiapas Oaxaca Colima Tlaxcala Baja California Sur 27 25 24 39 37 36 36 43 53 53 52 50 49 48 48 47 46 64 62 62 62 60 71 69 68 76 79 79 85 84 82 99 120 100 Nacional 57 80 60 40 20 0 Entidades federativas
Puntuación Indicador creciente Rangos A B C D Valores Altos Medios Altos Medios Bajos Bajos Índice de retención de adultos Exámenes acreditados por adulto 8 6 4 2 8 6 4 2
Puntuación Indicador decreciente Rangos A B C D Valores Bajos Medios Bajos Medios Altos Altos Porcentaje de adultos sin módulos Indicador Creciente 8 6 4 2 Altos A Medios Altos B Medios Bajos C Bajos D Índice de Productividad 14 10.5 7 3.5 TOTAL 38 28.5 19 9.5
Oaxaca San Luis Potosí Zacatecas Tabasco Yucatán Colima Hidalgo Chiapas Nayarit Sinaloa Campeche Coahuila Jalisco Querétaro Tamaulipas Sonora Veracruz Durango Puebla Guanajuato Guerrero México Chihuahua Morelos Tlaxcala Aguascalientes Baja California Nuevo León Michoacán Quintana Roo Baja California Sur Distrito Federal 0.9 0.9 0.86 0.86 0.85 0.85 0.84 0.84 0.84 0.83 0.82 0.82 0.82 0.82 0.8 0.8 0.79 0.79 0.78 0.78 0.78 0.77 0.77 0.77 0.76 0.75 0.75 0.74 0.74 0.73 0.73 0.93 Nacional 0.82 1 0.8 0.6 0.4 0.2 0
Tabasco Tamaulipas Durango Coahuila Sonora Sinaloa Yucatán Hidalgo Nuevo León Campeche Zacatecas San Luis Potosí Chihuahua Nayarit Veracruz Quintana Roo Michoacán Guanajuato Querétaro Jalisco Guerrero Colima Tlaxcala Chiapas Morelos Aguascalientes Distrito Federal México Puebla Baja California Sur Baja California Oaxaca 0.91 0.90 0.86 0.80 1.81 1.79 1.70 1.62 1.58 1.56 1.52 1.48 1.42 1.40 1.34 1.29 1.28 1.22 1.15 1.11 1.11 1.10 1.08 1.07 1.07 1.06 2.22 2.19 2.13 2.09 2.49 2.76 Nacional 1.40 3.00 2.50 2.00 1.50 1.00 0.50 0.00 Entidades federativas
Coahuila Tamaulipas Sonora Aguascalientes Sinaloa Tabasco Zacatecas San Luis Potosí Guerrero Nayarit Campeche Guanajuato Colima Baja California Sur Puebla Querétaro Quintana Roo Morelos Distrito Federal Durango Baja California Tlaxcala Yucatán Chiapas Jalisco Michoacán Chihuahua México Veracruz Hidalgo Oaxaca Nuevo León 8.0 13.2 15.9 16.4 18.4 20.3 21.2 21.8 22.1 22.2 23.1 24.3 25.5 26.2 27.4 28.2 28.5 29.3 30.1 30.8 31.7 33.1 33.1 33.4 35.3 38.9 39.4 41.5 42.2 45.6 47.7 54.0 Nacional 32.0 60 50 40 30 20 10 0
Jalisco Tabasco Coahuila México Chiapas Oaxaca Sonora Tamaulipas Chihuahua San Luis Potosí Puebla Hidalgo Durango Guerrero Zacatecas Sinaloa Nuevo León Distrito Federal Michoacán Veracruz Querétaro Guanajuato Yucatán Baja California Quintana Roo Morelos Aguascalientes Campeche Nayarit Colima Tlaxcala Baja California Sur -0.007-0.030-0.054-0.057-0.065-0.066-0.067-0.107-0.109-0.117-0.120-0.150-0.164-0.166-0.168-0.190-0.207-0.213-0.225 0.113 0.103 0.102 0.077 0.065 0.034 0.023 0.003 0.161 0.158 0.242 0.312 0.400 0.500 0.400 Nacional 0.003 0.300 0.200 0.100 d 0.000-0.100-0.200-0.300-0.400 Entidades Federativas
Tabasco Coahuila San Luis Potosí Jalisco Tamaulipas Durango Sonora Zacatecas Chihuahua Sinaloa Hidalgo México Chiapas Oaxaca Guerrero Yucatán Querétaro Michoacán Veracruz Nuevo León Puebla Nayarit Distrito Federal Campeche Morelos Colima Guanajuato Quintana Roo Aguascalientes Baja California Tlaxcala Baja California Sur 39.0 37.5 48.5 48.0 48.0 47.0 44.0 44.0 65.0 63.0 62.0 61.5 59.5 59.0 58.0 57.5 57.5 54.0 53.5 53.0 82.5 82.0 81.5 81.0 79.0 77.0 73.0 71.0 70.5 70.0 97.0 95.0 100 Nacional 62.0 90 80 70 60 50 40 30 20 10 0 Entidades Federativas
Con esta reorientación en la evaluación institucional, se da un peso igual a los indicadores de Eficacia y Calidad, debido a la importancia que por una parte tiene el cumplimiento de las metas propuestas de Atención y UCN s, y por otra la calidad que deben tener los servicios educativos que se prestan los Institutos Estales y Delegaciones. De igual manera, la relación de variables a nivel nacional para obtener los indicadores de cada categoría de evaluación, permite distinguir regionalmente el desempeño de cada entidad en el país.
La información que se expone a continuación, contiene un panorama general sobre la evaluación de desempeño de las entidades federativas del país, correspondiente al período del ejercicio Enero Junio de 2010, del Modelo de Evaluación Institucional MEI. De un total de 32 estados, 7 que representan el (22 %) están en el rango Optimo; con el siguiente puntaje: Tabasco 97.0, Coahuila 95.0, San Luis Potosí 82.5, Jalisco 82.0, Tamaulipas 81.5, Durango 81.0 y Sonora 79.0. 6 de las entidades que representan el (19%), obtuvieron una calificación en el rango bueno: Zacatecas 77.0, Chihuahua 73.0, Sinaloa 71.0, Hidalgo 70.5, México 70.0 y Chipas 65.0. 11 de las entidades que representan el (34%), obtuvieron una calificación en el rango regular: Oaxaca 63.0, Guerrero 62.0, Yucatán 61.5, Querétaro 59.5, Michoacán 59.0, Veracruz 58.0, Nuevo León 57.5, Puebla 57.5, Nayarit 54.0, Distrito Federal 53.5 y Campeche 53.0. 8 de las entidades restantes (25%), obtuvieron una calificación en el rango deficiente: Morelos 48.5, Colima 48.0, Guanajuato 48.0, Quintana Roo 47.0, Aguascalientes 44.0, Baja California 44.0, Tlaxcala 39.0 y Baja california Sur 37.5.
Desempeño por Entidad Geográficamente Sonora Chihuahua Coahuila Durango Nuevo León Ags. Jalisco Gto. Hgo. Yucatán Colima D.F. Mor. Tlax. Pue. Camp. Q. Roo Guerrero Tab. Entidades con óptimo desempeño Oaxaca Chiapas Entidades con buen desempeño Entidades con regular desempeño Entidades con deficiente desempeño