Mariano González Izquierdo (mariano_gonzalez@eustat.es) Mª Carmen San Vicente Barcenilla (mc_sanvicente@eustat.es) Instituto Vasco de Estadística-Eustat Resumen: Se presentan una serie de indicadores que permiten conocer tanto la calidad con la que se desarrolla la recogida de información, como del resulto final de la misma. Dichos indicadores son comunes para todas las operaciones estadísticas y permiten realizar una evaluación de dicha actividad, detectando los aspectos susceptibles de mejora. Así pues, los indicadores que aquí se definen han de ser obtenidos en su conjunto al final de la realización de la recogida de campo, sin perjuicio de que alguno de los indicadores incluidos sea objeto de seguimiento a lo largo de la misma. Los indicadores definidos son comunes para todas las operaciones, tanto las que se realicen a personas como a establecimientos; para ello se ha adaptado la propuesta de categorización de ISER destinada a encuestas a viviendas a las dirigidas a empresas. Estos indicadores presentan las características de ser: - Pertinentes. - Generales, sintetizando más de un atributo de la calidad - Aportan información sobre el funcionamiento global - Relativa facilidad de obtención - Básicos para construir sobre ellos otros de mayor especificidad en etapas posteriores. Con el fin de informar sobre los distintos aspectos de la recogida de información los indicadores elaborados se han agrupado en dos tipos: o o De Proceso: Son aquellos que tienen que ver con la calidad del proceso de producción de los datos y con la forma de proceder. De Resultado: Son aquellos que están más ligados al producto final resultante. Palabras clave: Indicadores, calidad, proceso, resultado Indicadores de calidad de la recogida de información Introducción Eustat lleva trabajando desde hace varios años diferentes aspectos de la calidad de la producción estadística, pero desde la Dirección de EUSTAT se ha apostado por desarrollar un modelo de calidad total y excelencia para la organización que se evaluará con el modelo europeo EFQM (European Foundation for Quality Management), avalado por la Comisión Europea.
De igual manera, Eustat está alineado con la consecución de una producción estadística de calidad, siguiendo el Código de Buenas Prácticas establecido en el ámbito de la Unión Europea. Fruto de esta política y más concretamente de la realización del mapa de procesos de la organización, se detectó un área de mejora dentro del proceso de Operación Estadística, consistente en evaluar la actividad de la Recogida de Datos para cada una de las operaciones estadística en las que se realice dicha actividad. Para llevar a cabo esta acción, la Dirección de Eustat estableció la necesidad de definir un informe estandarizado que permitiera la evaluación de dicha Recogida de forma homogénea a todas las operaciones de EUSTAT. Esta tarea fue encargada al proceso de Gestión del Conocimiento, proceso que se ocupa de lo relativo a la estandarización metodológica en EUSTAT. Objetivo El presente informe trata de definir una serie de indicadores, que permitan conocer tanto la calidad con la que se desarrolla la recogida de información, como del resulto final de la misma. Dichos indicadores serán comunes para todas las operaciones estadísticas y permitirán realizar una evaluación de dicha actividad, detectando los aspectos susceptibles de mejora. Así pues, los indicadores que aquí se definen habrán de ser obtenidos para su conjunto al final de la realización de la Recogida de Campo, sin perjuicio de que alguno de los indicadores incluidos, sea objeto de seguimiento a lo largo de la misma. Los indicadores definidos serán comunes para todas las operaciones, tanto las que se realicen a personas como a establecimientos, para ello se ha adaptado la propuesta de categorización de ISER destinada a encuestas a viviendas a las dirigidas a empresas. Para ello se constituyo un grupo de trabajo cuyo propósito ha sido elaborar un manual que defina los indicadores que permitan establecer comparaciones y fundamentalmente controlen la calidad de la recogida de información. La primera tarea que realizó el Grupo fue una extensa revisión bibliográfica y que tuvo como resultado el hallazgo de un escaso número de referencias en la vertiente de calidad de proceso y en particular de la recogida de información, que motivó todo el proceso de elaboración de indicadores. Después de un análisis, se comenzó el pilotaje con aquellos indicadores que tienen las siguientes características: - Pertinentes. - Generales, sintetizando más de un atributo de la calidad - Aportan información sobre el funcionamiento global. - Aparente facilidad para su obtención. - Básicos para construir sobre ellos otros de mayor especificidad en etapas posteriores. La Calidad de un producto o servicio siempre es compleja de evaluar. La razón es simple, la medida de la calidad puede abordarse desde muy diferentes perspectivas y tiene multitud de posibles soluciones. Por esta razón, para hablar de calidad de la forma más objetiva posible, debemos: - definir qué podemos entender por calidad, es decir identificar los objetivos que se persiguen en materia de calidad (CRITERIOS DE CALIDAD) - especificar cómo vamos a evaluar esa calidad, es decir establecer una forma para conocer si alcanzamos dichos objetivos, normalmente en forma de un índice numérico que nos informa por dónde vamos (INDICADOR) 2
- dejar claro qué nivel de calidad deseamos, es decir estableciendo un rango dentro del cual el nivel de calidad es el aceptable y en el que debemos movernos (ESTÁNDAR DE CALIDAD). Se ha argumentado que para trabajar en Calidad una condición indispensable es evaluar, es decir poder medir. Se necesitan datos no impresiones. Pues bien, habrá que saber qué, cómo, quién, cuándo, por qué, y para qué, se mide. Aquí es donde entran en juego criterios, indicadores y estándares de calidad que van íntimamente ligados. Los criterios de calidad se definen como aquella condición que debe cumplir una determinada actividad, actuación o proceso para ser considerada de calidad. Es decir qué perseguimos, cuál es el objetivo, qué pretendemos teniendo en cuenta aquellas características que mejor representan (siempre que pueden medirse) lo que deseamos lograr. Un buen criterio debe reunir los siguientes requisitos: - Ser explícito, es decir debe dejar muy claro y sin lugar a dudas a qué se refiere, qué se pretende. Debe estar expresado con claridad y objetividad. - Aceptado por los diferentes interesados - Elaborado en forma participativa. - Comprensible, todos deben entender sin lugar a dudas lo mismo. - Fácilmente cuantificable. - Debe ser flexible, capaz de adaptarse a cambios difícilmente previsibles. Un indicador de calidad es una medida cuantitativa que puede usarse como guía para controlar y valorar la calidad de las diferentes actividades. Es decir, la forma particular (normalmente numérica) en la que se mide o evalúa cada uno de los criterios. Los indicadores de calidad se construyen a partir de la experiencia, del conocimiento sobre el sector en el que trabajemos y, como es natural, respetando ciertas recomendaciones: - Deben ser siempre fáciles de capturar. - Deben enunciarse con objetividad y de la forma más sencilla posible. - Deben resultar relevantes para la toma de decisiones. - No deben implicar un elevado grado de dificultad en su interpretación. - Deben abarcar un amplio número de posibilidades. Hay que recordar aquí que cuando ponemos en práctica un indicador observamos, en la práctica, que éste mejorará pero que otros aspectos no recogidos por los indicadores podrían empeorar. - Normalmente debe construirse un cuadro de mando que permita monitorizar el indicador de forma sencilla y, siempre que podamos, automatizada. - Los términos usados en el indicador que puedan inducir a dudas, o sean susceptibles de diferentes interpretaciones, deben ser definidos para que todos entiendan y midan lo mismo y de idéntica forma. Una vez elaborado un indicador es recomendable identificar los factores que pueden explicar las posibles variaciones en el mismo. Hay que tener presente que pueden existir factores ajenos al proceso de trabajo que afecten negativamente al indicador. Para que la información que proporciona un indicador sea útil es necesario, además, que cumpla con algunas condiciones como: validez, fiabilidad, facilidad de obtención, etc. No hay que olvidar, por tanto, que una vez enunciado un indicador hay que determinar: - la fuente que proporcionará el dato - la periodicidad con que se recogerá - el método de análisis o recogida - una valoración de cada cuanto tiempo habrá que evaluar la utilidad del mismo lo que determinará su vigencia (vida media). 3
Tengamos en cuenta que lo importante no es tener indicadores sino que estos cumplan la función de informarnos si vamos conforme a lo que considerábamos era lo apropiado (criterio de calidad). Los indicadores no pueden ser, por tanto, un fin en sí mismos y, desde luego, no pueden resultar tan costosos de recoger que en la práctica sean más altos los costes derivados de los indicadores que los costes de toma de datos. Al hablar de indicadores es habitual referirse a los cuadros de mando y a la monitorización. En realidad los indicadores son útiles siempre y cuando se vigilen a lo largo del tiempo para comprobar y analizar su evolución. A este proceso se le denomina monitorización. Baste recordar que el modelo EFQM sugiere analizar la evolución de los indicadores clave durante un período de cinco años. Una forma sencilla de monitorizar un indicador es mediante los denominados cuadros de mando". Un cuadro de mando consiste habitualmente en un gráfico donde se describen los datos del indicador, se ubica el criterio de calidad para determinar si se cumple, y las posibles incidencias. Un estándar de calidad se define como el grado de cumplimiento exigible a un criterio de calidad. Dicho en otros términos, define el rango en el que resulta aceptable el nivel de calidad que se alcanza en un determinado proceso. Los estándares de calidad determinan el nivel mínimo y máximo aceptable para un indicador. Si el valor del indicador se encuentra dentro del rango significa que estamos cumpliendo con el criterio de calidad que habíamos definido y que las cosas transcurren conforme a lo previsto. Estamos cumpliendo con nuestro objetivo de calidad. Si, por el contrario, estamos por debajo del rango significa que no cumplimos nuestro compromiso de calidad y deberemos actuar en consecuencia (o bien la apuesta fue demasiado optimista para los medios disponibles). Por el contrario, si estamos por encima, o bien tendremos que redefinir el criterio o, desde luego, estamos gastando (en términos de esfuerzo) más de lo que pensábamos que era necesario (o fuimos pesimistas para fijar el rango o pecamos de inexpertos). El estándar, por consiguiente, determina el mínimo nivel que comprometería la calidad de ese proceso. Por debajo del estándar la práctica (producto o servicio) no reúne calidad suficiente. Una observación que no debe olvidarse es que los estándares no deben ser nunca del 100% en razón de que siempre sucederán imprevistos que impedirán tal cumplimiento. Con el fin de informar sobre los distintos aspectos de la recogida de información los indicadores elaborados se han agrupado en dos tipos: o o De Proceso: Son aquellos que tienen que ver con la calidad del proceso de producción de los datos y con la forma de proceder. De Resultado: Son aquellos que están más ligados al producto final resultante. Indicadores de proceso 1) Nº de contactos por Hoja Ruta (HR en adelante) Descripción: Mide la cantidad media de contactos necesarios para realizar una HR, durante o al finalizar la recogida de información a través a través de cualquier medio (teléfono, visita, web, etc.), incluye todo tipo de llamadas o contactos a los encuestados. Permite conocer el número de llamadas que se hacen para obtener una HR Formula: Nº de contactos (HR) / Hojas de ruta contactadas (continuo) Nº de contactos (HR) / Tamaño de la muestra (final) 2) Nº de contactos por encuesta 4
Descripción: Mide la cantidad media de contactos necesarios para realizar una encuesta, durante o al finalizar la recogida de información a través de cualquier medio (teléfono, visita, web, etc.), incluye todo tipo de llamadas o contactos a los encuestados. Permite conocer el número de llamadas que se hacen para obtener una encuesta Formula Nº de contactos (HR+CUES) / Encuestas contactadas (continuo) Nº de contactos (HR+CUES) / Tamaño de la muestra (final) 3) % de HR realizadas Descripción: Mide el porcentaje de Hojas de ruta realizadas (resuelta, otra actividad, excluida) durante o al finalizar la recogida de información. Formula: (Nº de Hojas de ruta realizadas / Tamaño de la muestra)* 100 4) % de encuestas realizadas Descripción: Mide el porcentaje de encuestas realizadas (Sin validar, Resuelta, Divide, Incompletas), durante o al finalizar la recogida de información. Formula: (Nº de encuestas realizadas / Tamaño de la muestra)* 100 5) Nº de incidencias recibidas Descripción: Numero de quejas (tanto de referente a los datos, como el personal de la recogida de información y al funcionamiento de las aplicaciones) recibidas en el tiempo que dura la recogida de información. Formula: Nº de quejas Obtención: Web (quejas y sugerencias) y servicios de atención encuestas web, cartas, teléfono 6) % de unidades inelegibles Descripción: Mide el porcentaje de encuestas que con incidencia (Inactiva, Cerrada, Ilocalizable, etc.) en la localización resultan no encuestables, durante o al finalizar la recogida de información. Formula:(Nº de encuestas no encuestables / Nº de encuestas contactadas)* 100 (continuo) (Nº de encuestas no encuestables / Tamaño de la muestra)* 100 (final) 7) % de rechazo Descripción: Mide el porcentaje de encuestas que son rechazadas por el entrevistado (Negativas) durante o al finalizar la recogida de información. Formula (Nº de encuestas rechazadas / Nº de encuestas contactadas)* 100 (continuo) (Nº de encuestas rechazadas / Tamaño de la muestra)* 100 (final) 8) % de Encuestas sin recoger 5
Descripción: Mide el porcentaje de encuestas que no están recogidas durante o al finalizar la recogida de información Formula: (Nº de encuestas sin recoger / Nº de encuestas contactadas)* 100 (continuo) (Nº de encuestas sin recoger/ Tamaño de la muestra)* 100 (final) 9) % de encuestas supervisadas Descripción: Mide el porcentaje de encuestas que son supervisadas por el responsable de la encuesta o el Inspector durante o al finalizar la recogida de información. Formula: (Nº de encuestas supervisadas / Nº de encuestas contactadas)* 100 (continuo) (Nº de encuestas supervisadas / Tamaño de la muestra )* 100 (final) 10) Método de recogida de información de los encuestados Descripción: Mide el porcentaje de encuestas realizadas según el método (Visita, teléfono, web, correo, otro) utilizado para obtener la información en su primer contacto. Formula: (Nº de Método / Nº de encuestas realizadas)* 100 Indicadores de producto 1) Tasa de contacto Descripción: Mide la proporción de todos los casos en los que ha existido contacto por el encuestador, aunque después se hayan negado a responder o no hayan podido dar ningún tipo de información.se calcula dividiendo la suma de todas las entrevistas completas y parciales, mas las negativas, otro tipo de no respuesta y las unidades contactadas de elegibilidad dudosa entre la suma de todas las completas y parciales, mas las negativas, no contactos, otro tipo de no respuesta y las unidades de elegibilidad dudosa. Formula: Numerador= Contactados Denominador= Elegibles 2) Tasa de cooperación Descripción: Indica la proporción del número de entrevistas realizadas de aquellos casos que han sido contactados durante el periodo de trabajo de campo. Se calcula dividiendo la suma de todas las entrevistas completas y parciales, entre la suma de todas las completas y parciales, mas las negativas, otro tipo de no respuesta y las unidades contactadas de elegibilidad dudosa. Formula: Numerador= Entrevistas realizadas Denominador= Contactados 6
3) Tasa de respuesta Descripción: Indica la proporción de entrevistas realizadas de todos los casos elegibles. Se calcula dividiendo la suma de todas las entrevistas completas y parciales entre la suma de todas las completas y parciales, mas las negativas, no contactos, otro tipo de respuesta y elegibilidad dudosa. Formula: Numerador = Entrevistas realizadas Denominador= Elegibles 4) Tasa de rechazo Descripción: Indica la proporción de todos los casos elegibles estimados que se niegan a contestar. Se calcula dividiendo las negativas entre la suma de todas las completas y parciales, mas las negativas, no contactos, otro tipo de respuesta y elegibilidad dudosa. Formula: Numerador= Se niegan a contestar Denominador= Elegibles 5) Tasa de elegibilidad Descripción: Se define como el número de casos elegibles entre el total de casos. Formula: Numerador= Hogares elegibles Denominador= Elegibles + No elegibles) Obtención Explotación de la hoja de ruta 6) Coste por encuesta Descripción: Mide el coste medio por encuesta, teniendo encuesta los gastos de personal y desplazamiento de los encuestadores e inspectores durante la recogida de información Formula: Gasto total en desplazamiento de Encuestadores e Inspectores + Gasto en sueldo de los encuestadores e Inspectores / Muestra de la encuesta y gestión del trabajo de campo 7) Desvió horas planificadas 7
Descripción: Mide el desvió entre las horas utilizadas para la realización del recogida de información y las planificadas, teniendo en cuenta el pago de vacaciones, la prorroga del contrato y la reducción de jornada. Formula: Suma de horas contratadas por los encuestadores e inspectores + Suma de horas por pago de vacaciones + Suma de horas por prorroga de contrato - Horas planificadas Horas de reducción de jornada. y gestión del trabajo de campo 8) % de horas con incidencia laboral Descripción: Mide el porcentaje de horas con incidencia laboral (Ausencia justificada, Baja, etc.) con respecto a las horas trabajadas (jornadas contratadas horas de reducción de jornada + horas de vacaciones paradas pagadas+ horas por prorroga de contrato) durante o al finalizar la recogida de información. Formula: (Nº de horas con incidencia / Nº de horas trabajadas)* 100 y gestión del trabajo de campo 9) Puntuación media de los encuestadores e inspectores Descripción: Mide la puntuación media que los encuestadores e inspectores dan sobre algunos aspectos que influyen en la recogida de información, como la formación, gestión, trabajo, aplicación cuestionario una vez finalizada la recogida de información. Formula: Suma de la puntuación media (escala de 1 a 10) de cada uno de los 16 Ítems)/16 Obtención: Encuesta a Encuestadores e Inspectores 8
Notación ISER utilizada Una vez codificadas las incidencias con la codificación ISER, se aplican las siguientes definiciones estándar que serán utilizadas para el cálculo de las tasas. CON = Tasa de Contacto COOP = Tasa de Cooperación RR = Tasa de Respuesta REF = Tasa de rechazo ELIG = Tasa de elegibilidad Hogares Establecimientos I = Entrevista completa Completa Resuelta, Completa sin validar, Divide P = Entrevista parcial Parcial Incompleta NC = No contacto Ausencia Contacto en blanco R = Negativa Negativa Negativa O = Otro tipo de no respuesta Vacaciones Sin recoger Ya encuestadas UC = Elegibilidad dudosa, contacto 641 Inactiva 651 Cerradas, 661 Abiertas con fecha de cese Parte de 67 UN = Elegibilidad dudosa, no contacto Ilocalizable No localizada Inaccesible NE = No elegible Local colectivo Duplicada Local Alojamiento Vivienda ruinosa Omitir Otra actividad No encuestable Vivienda en construcción Vivienda vacía Vivienda en reforma Vivienda de temporada Otros fines No encuestable Ec = Proporción de los casos contactados de elegibilidad dudosa que son elegibles= 1 En=Proporción de los casos no contactados de elegibilidad dudosa que son elegibles=1 9
CONTRATACIÓN- ADMINISTRACION 1.- Consideras que la anticipación con la que se te ofreció el contrato anticipación, posibilidad de elección si la hubiera habido, etc. - ha sido: Nada 1 2 3 4 5 6 7 8 9 10 Adecuada 2.- La información recibida concerniente a los diferentes aspectos de tu contrato tal como, duración, vacaciones, retribución etc. ha sido: Nada 1 2 3 4 5 6 7 8 9 10 Completa CURSILLO - FORMACIÓN 3.- En relación al cursillo sobre la operación, su contenido se ha adecuado a la realidad de la encuesta: Nada 1 2 3 4 5 6 7 8 9 10 Completamente 4.- Como agente encuestador o inspector consideras que, para esta operación en concreto, es preciso alguna formación adicional (de diferente contenido a la del cursillo). Nada 1 2 3 4 5 6 7 8 9 10 Mucho 5.- Los medios y recursos materiales (mesas, sillas, carpetas, bolígrafos etc.) dispuestos han sido: MEDIOS Insuficientes 1 2 3 4 5 6 7 8 9 10 Suficientes 6.- Los medios técnicos (ordenadores, teléfonos, fax ) de que has dispuesto para realizar tu trabajo han sido: Insuficientes 1 2 3 4 5 6 7 8 9 10 Suficientes TRABAJO 7.- En relación a los responsables, los objetivos de la operación y los procedimientos para conseguirlos se han determinado: Imprecisamente 1 2 3 4 5 6 7 8 9 10 Precisamente 8.- En base a tu experiencia recogiendo información para esta operación, consideras que el cuestionario- en lo que se refiere a diseño, tipo de preguntas formuladas, extensión, dificultad o facilidad de compresión, etc- ha funcionado: Incorrectamente 1 2 3 4 5 6 7 8 9 10 Correctamente 10
UC Inactiva 0 0 0 0 0 0 0 0 0 0 0 UC Cerrada 0 0 0 0 0 0 0 0 0 0 0 NE Omitir 0 0 0 0 0 0 0 0 0 0 0 UN No localizada 0 0 0 0 0 0 0 0 0 0 0 NE Duplicada 0 0 0 0 0 0 0 0 0 0 0 Indicadores Resultado de la Hoja de de calidad Ruta de la recogida de información Incompleta 0 0 0 0 0 0 0 0 0 0 0 Resuelta 0 0 0 0 0 0 0 0 0 0 0 NE Otra actividad 0 0 0 0 0 0 0 0 0 0 0 Excluida 0 0 0 0 0 0 0 0 0 0 0 Resultado del cuestionario O Sin recoger 0 0 0 0 0 0 0 0 0 0 0 P Incompleta 0 0 0 0 0 0 0 0 0 0 0 I Completa sin validar 0 0 0 0 0 0 0 0 0 0 0 I Resuelta 0 0 0 0 0 0 0 0 0 0 0 R Negativa 0 0 0 0 0 0 0 0 0 0 0 I Operación Estadística: Divide 0 0 INDICADORES 0 0 0 0 0 0 0 0 0 No encuestable Parte 1 Parte 2 Parte3 0Parte4 Parte 0 5 Parte 60 Parte 7 Parte 0 8 Parte 90 Parte10 Final 0 0 2005 0 2006 02007 20080 20090 1- Indicadores de proceso Numero 1.1- Nº de de contactos contactos por HR 1.2- Hoja Nº de de contactos Ruta por Encuesta 0 0 0 0 0 0 0 0 0 0 0 1.3- % de HR realizadas Cuestionario 0 0 0 0 0 0 0 0 0 0 0 1.4- % de encuestas realizadas Tipo 1.5- del Nº primer de incidencias contacto recibidas del cuestionario 1.6- % de unidades inelegibles 1.7- % de rechazo 1.8- % Encuestas sin recoger 1.9- % de encuestas supervisadas 1.10-Metodo de recogida de infomación Visita Telefono Web Correo Otro Visita 0 0 0 0 0 0 0 0 0 0 0 Telefono 0 0 0 0 0 0 0 0 0 0 0 Web 0 0 0 0 0 0 0 0 0 0 0 Correo 0 0 0 0 0 0 0 0 0 0 0 Otro 0 0 0 0 0 0 0 0 0 0 0 2- Encuestas Indicadores supervisadas de producto 0 0 0 0 0 0 0 0 0 0 0 2.1- Tasa de contacto 2.2- Tasa de cooperación Nº de 2.3- Quejas Tasa de respuesta recibidas 0 0 0 0 0 0 0 0 0 0 0 2.4- Tasa de rechazo 2.5- Tasa de elegibilidad Gastos 2.6- Coste de desplazamientos por encuesta 0 0 0 0 0 0 0 0 0 0 0 2.7- Desvio horas planificadas 2.8- % de horas con incidencia laboral Gasto 2.9 Puntuación de sueldos media de los encuestadores e inspectores 0 0 0 0 0 0 0 0 0 0 0 Horas Previstas 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Contratadas 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Reducción de jornada 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Prorrogadas 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Pagadas 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Baja 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 Ausencia justificada 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 11