ANEXO VI. PLANES DE MEJORA

Transcripción

1 ANEXO VI. PLANES DE MEJORA Este anexo presenta una serie de planes de mejora. Cada Plan de Mejora contiene lo siguiente: 1. Introducción 2. Resultados de la aplicación de la HECRA 3. Análisis de problemas e identificación de acciones correctivas y preventivas 4. Identificación de problemas y acciones estructurales/organizacionales Anexos Para fines de ser menos repetitivos en este reporte se presentan los apartados 1 de introducción y los anexos en el inicio, ya que son iguales para todos los planes presentados. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 1

2 1. Introducción El reporte preliminar de evaluación resulta de la aplicación de la Herramienta para la Evaluación de la Calidad de Registros Administrativos (RRAA) a ser usados con fines estadísticos, fue aplicada de manera conjunta por personal del Instituto de Planeación, Estadística y Geografía (IPLANEG), Instituto Nacional de Estadística y Geografía y consultores del Banco Mundial, a los responsables de la gestión de los registros administrativos y al usuarios interno de la información que generan estos registros. Los RRAA evaluados tienen un uso estadístico, ya que se encuentran asociados al cálculo de indicadores de desempeño, por lo que la información estadística que generan resulta estratégica para la gestión pública. La aplicación del cuestionario permitió evaluar a la fuente de datos administrativa, los Metadatos, la calidad de los Datos y el Producto estadístico final, a partir de indicadores de calidad. El análisis de los indicadores y de la información recogida en las entrevistas, permitió identificar oportunidades de mejora para mejorar la calidad de los productos estadísticos. Este documento integra los principales resultados para que las dependencias y entidades los revisen y retroalimenten, y en colaboración con el IPLANEG, documentar las acciones correctivas y preventivas propuestas. La gestión de los planes de mejora tendrá un mecanismo de seguimiento a partir del formato Plan de Acciones Correctivas y Preventivas (Seguimiento). El documento se compone de este, tres apartados más y dos anexos. En el apartado Resultados de la aplicación de la HECRA se muestran las gráficas que resumen la situación de cada uno de los componentes que evalúa la herramienta. Posteriormente se muestra el análisis de problemas y se identifican las acciones correctivas y preventivas que se proponen, y finalmente se presenta un apartado donde se presentan problemas y acciones estructurales / organizacionales. Al final se presentan los anexos que servirán para documentar las acciones preventivas y correctivas, así como el seguimiento del plan de mejora. Primera fase del proyecto: lo que se ha hecho. La aplicación de la HECRA se realizó a registros administrativos asociados a indicadores del desempeño, con el objeto de mejorar la calidad de la información asociada a la toma de decisiones, la rendición de cuentas y la transparencia. Para llegar a esta fase de elaboración de planes de mejora, se han realizado las siguientes actividades: - Identificación de registros administrativos. - Caracterización del registro administrativo. - Aplicación de la HECRA. La herramienta se aplicó en una entrevista de un día, y participaron el equipo evaluador y los dos actores clave en la gestión de la información: la fuente de datos administrativos o fuente administrativa que es la unidad de organización responsable de implementar una regulación administrativa (o grupo de regulaciones), cuyo registro correspondiente de unidades y transacciones se ven como fuente de datos estadísticos (OCDE) y el Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 2

3 usuario primario, que es quien en la institución tiene por objetivo producir indicadores sobre un fenómeno en particular, es decir, quien explota el registro con fines estadísticos. La interacción entre los dos agentes clave en la gestión de la información permitió que la aplicación de la herramienta generase información sobre las condiciones institucionales de la gestión, y permitió incluso, identificar áreas de oportunidad para mejorar la gestión de la información y aprovechar el potencial de la información de los registros. Las preguntas del cuestionario que implican una respuesta cuantitativa derivan en el cálculo de los indicadores de la calidad, los valores de los indicadores permiten identificar los casos en donde no se alcanza el mínimo de calidad aceptable, a aquellos indicadores que, si bien son aceptables, todavía se pueden mejorar y los valores que logran un nivel de calidad de muy bueno a excelente. Las debilidades identificadas en la evaluación derivan en propuestas de acciones correctivas y preventivas, que una vez revisadas y validadas los resultados, deberán ser registrados en la "Ficha de identificación y control de acciones correctivas y preventivas" (ver Anexo). A partir del análisis de las posibles causas de los problemas, se presenta el informe con la identificación de problemas y de acciones correctivas y preventivas, con el objetivo de resolver directamente las causas que afectan la calidad de la información del registro administrativo. Segunda fase: lo que sigue. Se espera que las instituciones revisen detenidamente la propuesta, y en conjunto con el IPLANEG, avancen en las siguientes actividades: - Las dependencias y entidades revisan la propuesta. - Se realiza una reunión de retroalimentación con el IPLANEG. - Se acuerda el cronograma de ejecución para las acciones correctivas y preventivas. - Las dependencias y entidades integran las fichas de Ficha de identificación y control de acciones correctivas y preventivas (ver en anexo). - El IPLANEG integra el mecanismo de seguimiento. El enfoque de la HECRA permite evaluar de manera integral la calidad de la información ya que además del análisis de los datos del registro administrativo, involucra aspectos asociados el entorno institucional, a los procesos, la documentación de procedimientos y metadatos, la satisfacción de los usuarios, entre otros aspectos La herramienta está estructurada para evaluar cuatro aspectos u orientaciones relevantes: 1) Fuente de datos administrativa, 2) Metadatos; 3) Datos y 4) Producto estadístico final. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 3

4 Esta estructura se muestra en el siguiente diagrama. Panel de Evaluación Global de la Calidad Orientación I: Fuente Administrativa Orientación II: Metadatos Orientación III: Datos Orientación IV: Producto Estadístico Final Atributos de la calidad asociada a la Fuente Administrativa, según fuente Atributos de la calidad asociada a los Metadatos, según su uso previsto Atributos de la calidad asociada a los Datos del registro, según fuente administrativa y uso previsto Atributos de la calidad asociada al Producto Estadístico, según su uso previsto A partir del cálculo de los indicadores para cuada una de las cuatro orientaciones de la calidad, se generan los indicadores agregados de cada orientación de los registros administrativos. El cálculo de indicadores de calidad, mencionados en el apartado anterior, permiten la elaboración de gráficos que ayudan a visualizar más fácilmente los puntos críticos de la calidad y detectar oportunidades de mejora. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 4

5 ANEXO A. Estructura del Plan de mejora: Ficha de identificación y control de acciones correctivas y preventivas (se deberá acordar en una fecha posterior) Área/Dependencia: Registro Administrativo: Fecha de la Evaluación: / / Especificación del indicador de la calidad afectado: Nº de Acción: Descripción del problema: Nombre y firma de quien registra el problema: Fecha: / / Investigación de la causa del problema: Responsable de seguimiento y cierre: Fecha de cierre comprometida: / / Fecha en que se verifica el cierre: / / Corrección: Acción correctiva (C) o preventiva (P): Descripción de la acción: Responsable de seguimiento y cierre: Fecha: / / Verificación de la eficacia de la acción correctiva o preventiva: Verificado por: Fecha de verificación: / / Estado: (Cerrada, Abierta, Seguimiento) Nota: utilizar este formato para cada problema detectado durante la auto-evaluación Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 5

6 ANEXO B. Estructura del Plan de mejora: Plan de Acciones Correctivas y Preventivas (Seguimiento) No. Acción Asignada a Tipo de Acción C: Correctiva P: Preventiva Fecha de Asignación Fecha estimada de Implementación Fecha de última revisión Avance a la fecha (%) Estado A: Abierta C: Cerrada V: Verificada Eficacia Fecha real de Implementación Observaciones Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 6

7 ISAPEG REPORTE DE EVALUACIÓN Dependencia: INSTITUTO DE SALUD PÚBLICA DEL ESTADO DE GUANAJUATO Registro administrativo: SISTEMA DE ADMINISTRACIÓN DEL PADRÓN DE BENEFICIARIOS DEL SISTEMA DE PROTECCIÓN SOCIAL EN SALUD Indicador MIR: PORCENTAJE DE PERSONAS AFILIADAS AL SEGURO POPULAR QUE RECIBIERON SU CONSULTA SEGURA 1. Introducción Ver el inicio de este documento anexo. 2. Resultados de la aplicación de la HECRA Los principales resultados de la evaluación se sintetizan en el pantel de evaluación de la calidad global de los Registros Administrativos aprovechados con fines estadísticos (tabla 1) Tabla 1. Panel de evaluación de la calidad global de los Registros Administrativos aprovechados con fines estadísticos. Elemento Indicador de la Sin información Calidad Global (1) Alertas (2) Resultado: 4.3 No aceptable Fuente de Datos Metadatos Índice de la Calidad Global: Datos (1) a los efectos de la calificación final, el RRAA será calificado como "no aceptable" en los casos que se responda a alguna pregunta con la opción 0 - "no sabe..." o "se desconoce ". (2) a los efectos de la calificación final, el RRAA será calificado como "no aceptable" en los casos que se obtengan Referencia: más de 3 respuestas correspondientes a la opción 1. 0 No aceptable 1 No aceptable 2 No aceptable 3 Aceptable 4 Muy bueno 5 Excelente En las siguientes gráficas se identifican los puntos críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar la calidad de la información estadística que sirve de base al seguimiento del desempeño. a. Reporte de la calidad asociada a la Fuente de datos administrativa. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 7

8 Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos, llevados a cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de productos estadísticos. Calidad asociada con la fuente de datos administrativa I.2. Seguridad de la Información y limitaciones en el uso de la información I.1. Relevancia I.5. Tratamiento de los datos I.3. Entrega de los datos I.4. Procedimientos b. Reporte de la calidad asociada a los Metadatos. Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico. II.2. Completitud y claridad II.1. Documentación de Calidad asociada metadatos a los Metadatos II.4. Comparabilidad II.3. Uso de claves únicas c. Reporte de la calidad asociada a los Datos. Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones estadísticas. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 8

9 Calidad asociada a los datos III.2. Cobertura III.3. Unión de registros (informáticos) de los III.1. Controles técnicos 5 4 III.12. Otros controles 3 2 III.11. Registros múltiples 1 0 III.4. Completitud III.10. Actualidad de los datos III.9. Uso de códigos y III.5. Medición clasificadores estándar III.6. Claves de identificación 3. Análisis de problemas e identificación de acciones correctivas y preventivas El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de integrar el plan de mejora. El análisis se basa en aquellos casos donde se hayan logrado las menores valoraciones dado que es donde se requiere realizar acciones que integren las buenas prácticas identificadas, y permitirían en el corto plazo solventarlas. También se identificaron oportunidades de mejora al atender de manera integral los indicadores que son aceptables pero tienen posibilidades de mejorar, lo que permitiría una mejor gestión en ámbitos asociados por ejemplo, a las técnicas de unión de registros (informáticos) de los archivos de datos o los controles técnicos de los datos A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo, así como la propuesta de acciones de mejora para cada uno de ellos. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 9

10 Análisis de problemas Acciones de mejora Problema detectado o potencial No se cuenta con información documentada acerca de la satisfacción del usuario primario (quien produce la información estadística basada en el RRAA), o del cumplimiento de sus demandas/requisitos de información. Causas del problema No. Corrección Acción correctiva Observaciones No se realiza, como buena práctica, la evaluación de la satisfacción de los clientes internos (usuarios primarios). No existe la cultura de evaluar cómo son entregados los servicios/información de un área a otra dentro de la institución (proveedor-cliente). 1 Documentar la demanda de información del usuario primario y su nivel de satisfacción por medio de una encuesta de satisfacción o al menos un documento que especifique el grado de cumplimiento de sus requerimientos. Implementar mecanismos de evaluación y mejora de procesos con el apoyo de consultores/entidades. Capacitar y sensibilizar a la institución sobre gestión de la información, gestión documental, mejora de procesos. Se busca formalizar y documentar mecanismos que aseguren la calidad de la información (establecimiento de minutas, acuerdos). No se cuenta con un acuerdo firmado de confidencialidad. Existe la posibilidad que se divulgue información confidencial por no estar documentado quién puede acceder a qué información, o qué información puede ser entregada a terceros. En el caso que se divulgue información confidencial o reservada, podría ocurrir que no se entregue ninguna información en el futuro, limitando la producción estadística basada en el RRAA. Poniendo en riesgo la publicación de los indicadores en el futuro. No se ha sensibilizado sobre la importancia de la información, resguardar los activos de información, y en particular sobre preservar la confidencialidad. No existe una política de información. 2 Generar un acuerdo de confidencialidad (alcanza con una resolución interna firmada por los funcionarios, o agregar en los contratos de trabajo una cláusula sobre confidencialidad) Implementar una política de información en la institución. Capacitar y sensibilizar a la institución sobre gestión de la información (activos de información), información, gestión documental. No se han formalizado (a través de algún tipo de documento) los términos de entrega de los datos, que aseguren el acceso a la información de manera Redactar un oficio, Implementar una política resolución interna de Falta de cultura de o acuerdo que información en la documentación de 3 establezca la institución. Capacitar y procesos y actividades. periodicidad del sensibilizar a la acceso a la institución sobre gestión información, de la información Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 10

11 segura en el momento que se necesita. medio de acceso, transferencia segura, formato de archivos, etc. (activos de información), información, gestión documental. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 11

12 Problema detectado o potencial Si bien existe una buena práctica como información, No se cuenta con políticas ni procedimientos documentados acerca de la información, donde se establezca cómo se preserva la confidencialidad, integridad y disponibilidad de la información, cómo se protegen los activos de información, etc. Causas del problema No. Corrección Acción correctiva Observaciones No se ha sensibilizado sobre la importancia de la información, resguardar los activos de información. No se ha implementado una política de información. 4 Redactar e implantar una política de información al interior de la dependencia Implementar una política de información en la institución. Capacitar y sensibilizar a la institución sobre gestión de la información (activos de información), seguridad de la información, gestión documental. No se tienen dimensionados los costos que implica el proceso de entrega de datos (procesamiento y preparación de los datos para su entrega en los formatos acordados). Presupuestar estos costos asegura que el proceso pueda continuar en el futuro. No se tienen formalizadas las métricas del proceso (calidad, tiempo, volumen y costo) de procesamiento y entrega de datos del RA. Falta de cultura en gestión de la calidad, mejora de procesos, documentación de las actividades realizadas. 5 Estimar el costo del proceso de procesamiento y entrega de datos del RA. Realizar un análisis de procesos que establezca las métricas sobre calidad, tiempo, volumen y costo. Implementar sistema de gestión de la calidad y mejora de procesos con el apoyo de consultores/entidades. Capacitar y sensibilizar a la institución sobre gestión de la gestión de la calidad, gestión documental y mejora de procesos. En caso de pérdida de información del RA o por no estar disponible el archivo del RA, no se ha documentado el procedimiento para recurrir a medios alternos para recuperar la información y poder calcular los indicadores/ estadísticas. No se ha sensibilizado sobre la importancia de la información, resguardar los activos de información. No existe una política de información, ni plan de continuidad del proceso (actividades). 6 Redactar un plan de continuidad del proceso (actividades), donde se establezca el procedimiento para subsanar la falta de información y continuar con la generación de los indicadores o estadísticas. Implementar una política de información en la institución. Capacitar y sensibilizar a la institución sobre gestión de la información (activos de información), seguridad de la información, gestión documental. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 12

13 Problema detectado o potencial Si no se realiza un adecuado control de los cambios (procedimientos, variables del cuestionario, normas, documentos, etc.) se corre el riesgo que no se pueda explicar el motivo, fecha o responsable de este cambio. Facilita la transparencia, trazabilidad, memoria institucional. Causas del problema No se ha implementado un sistema de mejora continua de procesos y calidad. Falta de cultura en gestión de la calidad, mejora de procesos, documentación de las actividades realizadas. No. Corrección Acción correctiva Observaciones 7 Redactar e implementar un procedimiento de control de cambios. Implementar sistema de gestión de la calidad y mejora de procesos con el apoyo de consultores/entidades. Capacitar y sensibilizar a la institución sobre gestión de la gestión de la calidad, gestión documental y mejora de procesos. El control de cambios tendrá que ser un proceso documentado para garantizar que a pesar de los procedimientos federales, el estado tenga mecanismos para asegurar la trazabilidad de la información. No se ha implementado un mecanismo sistemático de mejora continua de los procesos. Si se realizan consultas sistemáticas entre la fuente administrativa y el usuario primario esto facilitaría la mejora continua del RRAA. No se ha implementado un sistema de mejora continua de procesos y calidad. 8 Programar actividades periódicas de consulta entre la fuente administrativa y el usuario primario. Registrar el resultado de estas consultas. Implementar sistema de gestión de la calidad y mejora de procesos con el apoyo de consultores/entidades. Capacitar y sensibilizar a la institución sobre gestión de la gestión de la calidad, gestión documental y mejora de procesos. Propiciar (institucionalizar) ámbitos de comunicación y consulta entre las diferentes áreas. No hay autonomía estatal para llevar a cabo un proceso de mejora de la gestión de la información. Esto puede ocasionar que no se garantice su calidad con los requerimientos propios del estado. Es un sistema a nivel federal y no hay mecanismos paralelos para su control estatal. Establecer estrategias alternativas de control del registro para asegurar que la información que necesita el estado tenga la calidad que se requiere. Consolidar un sistema alterno el registro administrativo con control estatal para garantizar la mejora continua del registro con los estándares apropiados para la entidad/formalizar con la federación las gestiones que garanticen la calidad de la información que necesita el estado para el máximo aprovechamiento. En el Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 13

14 grupo de calidad tendrá que establecerse un mecanismo de mejora del uso de la información así como de los mecanismos de gestión con la federación Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 14

15 Problema detectado o potencial No se cuenta con documentación de metadatos que explique las características de los datos, sus restricciones, metodología, métodos y controles de consistencia, captura de datos, etc. No hay autonomía estatal para la documentación de los microdatos de la información estatal. Por tanto, está en riesgo la continuidad en el análisis estatal de la información Causas del problema No se tiene la cultura de documentación y/o se desconoce el estándar de metadatos DDI. Es un sistema a nivel federal y no hay mecanismos paralelos para su control estatal. No. Corrección Acción correctiva Observaciones 9 Establecer estrategias estatales para documentar los microdatos de la información estatal a fin de garantizar la continuidad en la explotación de esta información. Documentar los metadatos del RA de acuerdo al estándar DDI Consolidar un sistema alterno el registro administrativo con control estatal para garantizar la mejora continua del registro con los estándares apropiados para la entidad/formalizar con la federación las gestiones que garanticen la calidad de la información que necesita el estado para el máximo aprovechamiento. Capacitación sobre estándar para documentar metadatos y aplicación del estándar DDI. Capacitar y sensibilizar a la institución sobre gestión de la información, gestión documental, mejora de procesos. Si bien se cuenta con los lineamientos federales propios del sistema, que incluye la definición de variables y la manera de alimentar el sistema, entre otros; no se tiene una documentación de microdatos propia del estado que garantice la comparabilidad en el uso de la información para análisis estadísticos locales. El hecho de utilizar un estándar internacional de documentación de metadatos (DDI), permite uniformizar la forma de documentar los metadatos, facilita el intercambio de datos y metadatos, facilita la búsqueda de información por parte de los usuarios, entre otros. No hay validación estandarizada de los datos generados Falta de controles en los procesos de producción estadística. Falta de cultura en gestión de la calidad, mejora de procesos. 10 Diseño, documentación e implementación de un esquema general de análisis y validación de la información generada Identificar las relaciones analíticas involucradas entre las variables. Documentar un esquema de análisis. Capacitar en el análisis de datos estadísticos. 4. Identificación de problemas y acciones estructurales/organizacionales En este apartado se identifican elementos que afectan la calidad de la información de los RRAA, y que representan aspectos generales o de alcance organizacional, que requieren atención. La identificación e implementación de estrategias y acciones generales permitirán mejorar el ambiente de gestión de la información institucional. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 15

16 a. Identificación de problemas estructurales/generales que afectan la calidad estadística de los registros administrativos Problemas asociados a la organización No existe una cultura de documentación estandarizada de los procesos y procedimientos. No existen prácticas para vincular la gestión del programa con la gestión de la información, por lo que no se aprovecha estadísticamente en todo su potencial la información de los RRAA. Problemas asociados a la gestión del programa No se cuenta con retroalimentación sobre la satisfacción del usuario de la información entregada. Falta de documentación de metadatos en formato estándar DDI. Falta de autonomía en el diseño, acceso y modificación del sistema para la explotación y uso de la información para fines estadísticos. No tienen sistemas o procesos de acceso a la información. No se cuentan con políticas documentadas para evaluar y retroalimentar los servicios brindados por la federación. b. Recomendaciones generales para mejorar la calidad del registro administrativo Coordinar esfuerzos para solicitar acceso a la explotación de la información del registro sin restricciones. Coordinar esfuerzos con las áreas involucradas para mejorar el proceso. Capacitación en métodos de documentación de procesos. Generación de política de calidad. Establecer procesos de control y auditorías internas de procesos. Conformar un grupo de trabajo para coordinar las acciones de mejora. Establecer las métricas del proceso (calidad, tiempo, volumen y costo) sobre todo en la documentación de procesos. Capacitación en documentación de metadatos DDI. Conformar un grupo de trabajo para coordinar las acciones de mejora. Organizar grupos de análisis para vincular la información del registro administrativo, la producción de información estadística y la gestión del desempeño. Promover grupos de trabajo para identificar vínculos potenciales entre registros administrativos y la oferta potencial de información estadística de los registros. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 16

17 REPORTE DE EVALUACIÓN Dependencia: INSTITUTO DE SALUD PÚBLICA DEL ESTADO DE GUANAJUATO Registro administrativo: 1. CENSO NOMINAL DE VACUNACIÓN PARA EL REGISTRO DE ESQUEMAS DE VACUNACIÓN / 2. REGISTRO DE APLICACIÓN DE BIOLÓGICOS Indicador MIR: PORCENTAJE DE POBLACIÓN CON ESQUEMAS DE VACUNACIÓN COMPLETOS POR GRUPOS DE EDAD. 1. Introducción Ver el inicio de este documento anexo. 2. Resultados de la aplicación de la HECRA Los principales resultados de la evaluación se sintetizan en el pantel de evaluación de la calidad global de los Registros Administrativos aprovechados con fines estadísticos (tabla 1) Tabla 1. Panel de evaluación de la calidad global de los Registros Administrativos aprovechados con fines estadísticos. Elemento Indicador de la Calidad Global Sin información (1) Alertas (2) Resultado: 3.33 No aceptable Fuente de Datos Metadatos Índice de la Calidad Global: Datos (1) a los efectos de la calificación final, el RRAA será calificado como "no aceptable" en los casos que se responda a alguna pregunta con la opción 0 - "no sabe..." o "se desconoce ". Referencia: 0 No aceptable 1 No aceptable 2 No aceptable 3 Aceptable 4 Muy bueno 5 Excelente (2) a los efectos de la calificación final, el RRAA será calificado como "no aceptable" en los casos que se obtengan más de 3 respuestas correspondientes a la opción 1. Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar la calidad de la información estadística que sirve de base al seguimiento del desempeño. a. Reporte de la calidad asociada a la Fuente de datos administrativa. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 17

18 Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos llevados a cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de productos estadísticos. Calidad asociada con la fuente de datos administrativa I.2. Seguridad de la Información y limitaciones en el uso de la información I.1. Relevancia I.5. Tratamiento de los datos I.3. Entrega de los datos I.4. Procedimientos b. Reporte de la calidad asociada a los Metadatos. Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico. II.2. Completitud y claridad II.1. Documentación de Calidad asociada metadatos a los Metadatos II.4. Comparabilidad II.3. Uso de claves únicas c. Reporte de la calidad asociada a los Datos. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 18

19 Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones estadísticas. III.4. Completitud III.2. Cobertura Calidad III.1. Controles asociada a técnicos los datos III.12. Otros controles III.11. Registros múltiples III.5. Medición III.10. Actualidad de los datos III.6. Claves de identificación III.7. Procesamiento III.9. Uso de códigos y clasificadores estándar (nacional o internacional) 3. Análisis de problemas e identificación de acciones correctivas y preventivas. El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de integrar el plan de mejora. El análisis se enfatiza en aquellos casos donde se hayan logrado las menores valoraciones dado que es donde se requiere realizar acciones que integren las buenas prácticas identificadas, y permitirían en el corto plazo solventarlas. También se identificaron oportunidades de mejora al atender de manera integral los indicadores que son aceptables pero tienen posibilidades de mejorar, lo que permitiría una mejor gestión en ámbitos asociados por ejemplo, a las técnicas de unión de registros (informáticos) de los archivos de datos o los controles técnicos de los datos A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo, así como la propuesta de acciones de mejora para cada uno de ellos. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 19

20 Análisis de problemas Acciones de mejora Problema detectado o potencial No se cuenta con información documentada acerca de la satisfacción del usuario primario (quien produce la información estadística basada en el RRAA), o del cumplimiento de sus demandas/requisitos de información. No se cuenta con un acuerdo firmado de confidencialidad. Existe la posibilidad que se divulgue información confidencial por no estar documentado quién puede acceder a qué información, o qué información puede ser entregada a terceros. En el caso que se divulgue información confidencial o reservada, podría ocurrir que no se entregue ninguna información en el futuro, limitando la producción estadística basada en el RRAA. Poniendo en riesgo la publicación de los indicadores en el futuro. No se han formalizado (a través de algún tipo de documento) los términos de entrega de los datos, que aseguren el acceso a la información de manera segura en el momento Causas del problema No. Corrección Acción correctiva Observaciones No se realiza, como buena práctica, la evaluación de la satisfacción de los clientes internos (usuarios primarios). No existe la cultura de evaluar cómo son entregados los servicios/información de un área a otra dentro de la institución (proveedor-cliente). No se ha sensibilizado sobre la importancia de la información, resguardar los activos de información, y en particular sobre preservar la confidencialidad. No existe una política de información. Falta de cultura de documentación de procesos y actividades Documentar la demanda de información del usuario primario y su nivel de satisfacción por medio de una encuesta de satisfacción o al menos un documento que especifique el grado de cumplimiento de sus requerimientos. Generar un acuerdo de confidencialidad (alcanza con una resolución interna firmada por los funcionarios, o agregar en los contratos de trabajo una cláusula sobre confidencialidad) Redactar un oficio, resolución interna o acuerdo que establezca la periodicidad del acceso a la información, medio de acceso, Implementar mecanismos de evaluación y mejora de procesos con el apoyo de consultores/entidades. Capacitar y sensibilizar a la institución sobre gestión de la información, gestión documental, mejora de procesos. Implementar una política de seguridad de la información en la institución. Capacitar y sensibilizar a la institución sobre gestión de la información (activos de información), información, gestión documental. Implementar una política de seguridad de la información en la institución. Capacitar y sensibilizar a la institución sobre gestión de la información (activos de información), Se busca formalizar y documentar mecanismos que aseguren la calidad de la información (establecimiento de minutas, acuerdos). Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 20

21 que se necesita. transferencia segura, formato de archivos, etc. información, gestión documental. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 21

22 Problema detectado o potencial En caso de contingencia no existen mecanismos que aseguren el acceso a la información que ha sido capturada. No se tienen dimensionados los costos que implica el proceso de entrega de datos (procesamiento y preparación de los datos para su entrega en los formatos acordados). Presupuestar estos costos asegura que el proceso pueda continuar en el futuro. Si no se realiza un adecuado control de los cambios (procedimientos, variables del cuestionario, normas, documentos, etc.) se corre el riesgo que no se pueda explicar el motivo, fecha o responsable de este cambio. Facilita la transparencia, trazabilidad, memoria institucional. Se desconoce el funcionamiento informatico del sistema. Causas del problema No hay una política de respaldo porque todo se controla a nivel federal. No se tienen formalizadas las métricas del proceso (calidad, tiempo, volumen y costo) de procesamiento y entrega de datos del RA. Falta de cultura en gestión de la calidad, mejora de procesos, documentación de las actividades realizadas. No se ha implementado un sistema de mejora continua de procesos y calidad. Falta de cultura en gestión de la calidad, mejora de procesos, documentación de las actividades realizadas. El diseño y control de los sistema es federal. No. Corrección Acción correctiva Observaciones Establecer estrategias alternativas para asegurar el acceso a la información. Estimar el costo del proceso de procesamiento y entrega de datos del RA. Redactar e implementar un procedimiento de control de cambios. Establecer estrategias alternativas para ael control de la información estatal Consolidar un sistema alterno de respaldo de la información para garantizar el acceso a la información de interés estatal. Realizar un análisis de procesos que establezca las métricas sobre calidad, tiempo, volumen y costo. Implementar sistema de gestión de la calidad y mejora de procesos con el apoyo de consultores/entidades. Capacitar y sensibilizar a la institución sobre gestión de la gestión de la calidad, gestión documental y mejora de procesos. Implementar sistema de gestión de la calidad y mejora de procesos con el apoyo de consultores/entidades. Capacitar y sensibilizar a la institución sobre gestión de la gestión de la calidad, gestión documental y mejora de procesos. Consolidar un sistema alterno de la base de datos de la información estatal. Consolidación de un sistema de captura alterno.establecer un marco convenio con la federación para tener acceso a la información de interés estatal. El control de cambios tendra que ser un proceso documentado para garantizar que a pesar de los procedimientos federales el estado tenga mecanismos para asegurar la trazabilidad de la información. Se liga a la acción correctiva 2. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 22

23 Problema detectado o potencial No se cuenta con documentación de metadatos que explique las características de los datos, sus restricciones, metodología, métodos y controles de consistencia, captura de datos, etc. El hecho de utilizar un estándar internacional de documentación de metadatos, permite uniformizar la forma de documentar los metadatos, facilita el intercambio de datos y metadatos, facilita la búsqueda de información por parte de los usuarios, entre otros. No hay autonomía estatal para la documentación de los microdatos de la información estatal. Por tanto, está en riesgo la continuidad en el análisis estatal de la información No detección de posibles duplicaciones de unidades de estudio. No es posible la compatibilidad entre distintas bases de datos Bajo aprovechamiento de estadístico de la información que ya de por si se produce en los procesos administrativos Causas del problema No. Corrección Acción correctiva Observaciones No se tiene la cultura de documentación y/o se desconoce el estándar de metadatos DDI. Es un sistema a nivel federal y no hay mecanismos paralelos para su control estatal. Los lineamientos federales no los solicitan y no hay conocimiento de la importancia de las claves únicos para la explotación estadística de la información. no hay conocimiento de las posibilidades de aprovechamiento estadístico de la información que se genera para la administración de los servicios Establecer estrategias estatales para documentar los microdatos de la información estatal a fin de garantizar la continuidad en la explotación de esta información. Documentar los metadatos del RA de acuerdo al estándar DDI Incluir claves únicas para identificar a las unidades de estudio. Establecer y documentar procesos para preveer la unión de diversos registros Consolidar un sistema alterno el registro administrativo con control estatal para garantizar la mejora continua del registro con los estándares apropiados para la entidad/formalizar con la federación las gestiones que garanticen la calidad de la información que necesita el estado para el máximo aprovechamiento. Capacitación sobre estándar para documentar metadatos y aplicación del estándar DDI. Capacitar y sensibilizar a la institución sobre gestión de la información, gestión documental, mejora de procesos. Considerar en el sistema alterno de captura la inclusión de claves únicas/ Gestionar con la federación la inclusión de estas claves a fin de potenciar la utilidad estadística de los registros administrativos Preveer un método de unión de registros, para ello, se prevee: -Sensibilizar a los diversos usuarios de información de las posibilidades usuarios de los RRAA de la institución. -Reestructurar los Si bien se cuenta con los lineamientos federales propios del sistema, que incluye la definición de variables y la manera de alimentar el sistema, entre otros; no se tiene una documentación de microdatos propia del estado que garantice la comparabilidad en el uso de la información para análisis estadísticos locales. No se ha previsto el aprovechamiento estadístico de la integración de diferentes registros administrativos. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 23

24 distintos RRAA de la institución para incluir claves únicas. -Establecer y documentar un método de unión de registros No hay validación estandarizada de los datos generados Falta de controles en los procesos de producción estadística. Falta de cultura en gestión de la calidad, mejora de procesos. 11 Diseño, documentación e implementación de un esquema general de análisis y validación de la información generada Identificar las relaciones analíticas involucradas entre las variables. Documentar un esquema de análisis. Capacitar en el análisis de datos estadísticos. 4. Identificación de problemas y acciones estructurales/organizacionales En este apartado se identifican elementos que afectan la calidad de la información de los registros administrativos, y que representan aspectos generales o de alcance organizacional, que requieren atención. La identificación e implementación de estrategias y acciones generales permitirán mejorar el ambiente de gestión de la información institucional. a. Identificación de problemas estructurales/generales que afectan la calidad estadística de los registros administrativos Problemas asociados a la organización No existe una cultura de documentación estandarizada de los procesos y procedimientos. No existen acuerdos firmados sobre la entrega de los datos. Problemas asociados a la gestión del programa No se cuenta con retroalimentación sobre la satisfacción del usuario de la información entregada. Falta de documentación de metadatos en formato estándar DDI. Falta de autonomía en el diseño, acceso y modificación del sistema para la explotación y uso de la información para fines estadísticos. Generación de políticas de calidad y seguridad interno de la información. b. Recomendaciones generales para mejorar la calidad del registro administrativo - Coordinar esfuerzos para solicitar el acceso a la explotación de la información sin restricciones. - Capacitación en métodos de documentación de información y su difusión. - No se cuentan con procedimientos para evaluar y retroalimentar los servicios brindados por la federación. - Capacitación en métodos de documentación de procesos. - Capacitación en producción de estadísticas basadas en registros administrativos (metadatos DDI). Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 24

25 - Establecer procesos de control y auditorías internas de procesos. - Conformar un grupo de trabajo para coordinar las acciones de mejora. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 25

26 REPORTE DE EVALUACIÓN Dependencia: INSTITUTO DE SALUD PÚBLICA DEL ESTADO DE GUANAJUATO Registro administrativo: FORMATO NOTIFICACIÓN INMEDIATA DE MUERTE MATERNA. Indicador MIR: N/A 1. Introducción Ver el inicio de este documento anexo. 2. Resultados de la aplicación de la HECRA Los principales resultados de la evaluación se sintetizan en el panel de evaluación de la calidad global de los Registros Administrativos aprovechados con fines estadísticos (tabla 1) Tabla 1. Panel de evaluación de la calidad global de los Registros Administrativos aprovechados con fines estadísticos Elemento Indicador de la Calidad Global Sin información (1) Alertas (2) Resultado: 4.3 Fuente de Datos No aceptable 3. Metadatos Índice de la Calidad Global: Datos Referencia: 0 No aceptable 1 No aceptable 2 No aceptable 3 Aceptable 4 Muy bueno 5 Excelente (1) a los efectos de la calificación final, el RRAA será calificado como "no aceptable" en los casos que se responda a alguna pregunta con la opción 0 - "no sabe..." o "se desconoce ". (2) a los efectos de la calificación final, el RRAA será calificado como "no aceptable" en los casos que se obtengan más de 3 respuestas correspondientes a la opción 1. Los principales resultados de la evaluación se sintetizan en las siguientes gráficas, donde se identifican los puntos críticos o áreas donde es factible mejorar la gestión, incorporar procedimientos o técnicas, y por tanto, mejorar la calidad de la información estadística que sirve de base al seguimiento del desempeño. a. Reporte de la calidad asociada a la Fuente de datos administrativa. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 26

27 Evalúa la calidad del registro administrativo de acuerdo al entorno institucional y procedimientos llevados a cabo por la fuente administrativa, para mantener y gestionar el registro, y que son clave para la elaboración de productos estadísticos. Calidad asociada con la fuente de datos administrativa Calidad asociada con la fuente de datos administrativa I.5. Tratamiento de los datos I.1. Relevancia I.2. Seguridad de la Información y limitaciones en el uso de la información I.4. Procedimientos I.3. Entrega de los datos b. Reporte de la calidad asociada a los Metadatos. Evalúa la calidad de las características de los metadatos que son relevantes para el producto estadístico. Calidad asociada a los Metadatos II.4. Comparabilidad II.1. Documentación de metadatos Calidad asociada a los Metadatos II.2. Completitud y claridad II.3. Uso de claves únicas c. Reporte de la calidad asociada a los Datos. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 27

28 Evalúa la calidad de los datos propiamente dichos, según la fuente administrativa y su uso previsto en operaciones estadísticas. Calidad asociada a los datos Calidad III.1. Controles asociada a técnicos los datos 5 III.12. Otros controles III.2. Cobertura 4 III.11. Registros múltiples III.10. Actualidad de los datos III.4. Completitud III.9. Uso de códigos y clasificadores estándar III.7. Procesamiento III.6. Claves de identificación III.5. Medición Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 28

29 3. Análisis de problemas e identificación de acciones correctivas y preventivas. El análisis de los resultados obtenidos para cada indicador de la calidad, permitió identificar posibles causas de los problemas. Este aspecto debe ser revisado, retroalimentado y validado por las instituciones, con el objeto de integrar el plan de mejora. El análisis se enfatiza en aquellos casos donde se hayan logrado las menores valoraciones dado que es donde se requiere realizar acciones que integren las buenas prácticas identificadas, y permitirían en el corto plazo solventarlas. También se identificaron oportunidades de mejora al atender de manera integral los indicadores que son aceptables pero tienen posibilidades de mejorar, lo que permitiría una mejor gestión en ámbitos asociados por ejemplo, a las técnicas de unión de registros (informáticos) de los archivos de datos o los controles técnicos de los datos A continuación se presenta el listado de problemas detectados durante la evaluación del registro administrativo, así como la propuesta de acciones de mejora para cada uno de ellos. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 29

30 Análisis de problemas Problema detectado o potencial No se han formalizado las demandas de información No aclarar los protocolos de información incrementa el riesgo de circular o publicar información reservada No se conocen las métricas del proceso (tiempo, calidad, volumen y costo) No establecer los parámetros para la producción de la información incrementa el riesgo de no producir la información de manera oportuna Acciones de mejora Causas del problema No. Corrección Acción correctiva Observaciones No se ha incorporado la cultura de documentación y registro de procesos, y no existe un uso programado de la información para fines locales. Los usos de la información no están institucionalizados. La institución no ha generado una política para la gestión de la información, a la vez que la gestión de la información se realiza en ambientes informales. La cultura institucional no involucra el análisis y mejora de los procesos Débil cultura de documentación y registro de procesos, y no existe un uso estructurado de la información para fines locales Documento en donde se establezcan las demandas de información Documento con protocolo de intercambio de información y sobre la confidencialidad. Determinar las métricas del proceso Establecer los terminos de entrega e intercambio de información Implementar un sistema de gestión de la información asociado al uso de la información, previendo su aprovechamiento para el seguimiento mediante indicadores. Implementar un sistema de gestión de la información, con hincapié en la información Implementar un sistema de gestión de la información W28 con hincapié en el análisis y la mejora de procesos Implementar un sistema de gestión de la información con hincapié en el análisis y la mejora de procesos, donde se establezcan los términos de intercambio de la información Documentación de procedimiento, mejora de procesos, seguridad de información. El documento es resultado de la aplicación del sistema de gestión (inicio del ciclo de la gestión de la información). Los términos de intercambio deben formalizarse e incluir: Frecuencia, métodos alternos para solventar la falta de información, el medio de entrega de los datos, el formato de archivos y la selección de los datos relevantes. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 30

31 Problema detectado o potencial No documentar formalmente los controles de cambios incrementa el riesgo en la interpretación de los datos y la trasabilidad de las series de datos No contar con la documentación de metadatos Incrementa el riesgo de dar un uso e interpretación inadecuada de los datos, pone en riesgo la continuidad de la serie de información, disminuye la memoria institucional La existencia de casos con registros múltiples compromete la calidad de la información estadística. Causas del problema No. Corrección Acción correctiva Observaciones No existe cultura de documentación y registro de procesos, y no existe un uso estructurado de la información para fines locales No existe cultura de documentación y registro de procesos, y no existe un uso estructurado de la información No se ha incorporado la gestión de la calidad a la gestión de la información estadística Establecer el mecanismo para el control de cambios Documentar los metadatos Esta acción preventiva requiere la creación de un documento con los mecanismos de verificación para de las variables únicas y de los registros. Implementar un sistema de gestión de la información con hincapié en el control y gestión de los procesos Establecer un sistema de gestión que determine el mecanismo para mantener actualizada la documentación Diseño, documentación e implementación de un esquema general de análisis y validación de la información estadística Esta actividad incluye: Capacitación en el estándar Iniciativa de documentación de Datos (DDI) Documentar un esquema de control y validación de los datos generados. Capacitar en el análisis de datos estadísticos. 4. Identificación de problemas y acciones estructurales/organizacionales En este apartado se identifican elementos que afectan la calidad de la información de los registros administrativos, y que representan aspectos generales o de alcance organizacional, que requieren atención. La identificación e implementación de estrategias y acciones generales permitirán mejorar el ambiente de gestión de la información institucional. a. Identificación de problemas estructurales/generales que afectan la calidad estadística de los registros administrativos Problemas asociados a la organización No existe una cultura de documentación estandarizada de los procesos y procedimientos. No existen acuerdos firmados sobre la entrega de los datos. Problemas asociados a la gestión del programa No se identifica la demanda de la información para el uso estatal, y esta no se vincula a la gestión de indicadores. Banco Mundial: EVALUACIÓN DE LA CALIDAD DE REGISTROS ADMINISTRATIVOS. Estado de Guanajuato, México. 31