Informe final de la Evaluación Externa del Programa Vivienda Rural Anexo metodológico de trabajo de campo

Transcripción

1 Informe final de la Evaluación Externa del Programa Vivienda Anexo metodológico de trabajo de campo El Colegio Mexiquense, AC 19 de marzo de 2007

2 Introducción El trabajo de campo se realizó en tres etapas: la primera se realizó durante septiembre y la primera semana de octubre de 2006 para elaborar el Informe preliminar de trabajo de campo en cumplimiento de los TR-PVR-06 pero aún no concluía el proceso de captura y validación de las solicitudes. Las entidades visitadas fueron: Baja California, Campeche, Hidalgo, Guanajuato, Guerrero, Querétaro y Veracruz. La segunda etapa se realizó en diciembre para tener posibilidades de observar obras terminadas, pero nuevamente quedó pendiente esta actividad porque aún no se habían entregado los apoyos. Las entidades visitadas en esta etapa fueron: Aguascalientes y Zacatecas. Finalmente, en enero de 2007 se visitó nuevamente Guerrero y se realizó el trabajo de campo en el Estado de México, pero sólo en este último se tuvo oportunidad de entrevistar beneficiarios y ver obras concluidas pues en el primero apenas se estaban entregando los materiales. El presente documento describe las actividades de gabinete previas y trabajo de campo realizadas como parte de la metodología de la evaluación. Los anexos contienen los instrumentos y la bitácora del trabajo de campo. 1. Actividades de gabinete preparatorias Previo al trabajo de campo se realizaron las siguientes actividades: a) Elaboración de cuestionarios (cédulas) De acuerdo con lo solicitado en los TR-PVR-06 era necesaria la obtención de información primaria que recogiera la percepción de los actores clave y que, al mismo tiempo, coadyuvara a tener una visión concreta y real de sus operadores y beneficiarios. Para proceder a la obtención de esta información es fundamental la selección idónea de las personas a entrevistar. Se elaboraron diferentes tipos de cédula para obtener la información de los actores principales que son los responsables de las acciones y los beneficiarios. 1 Estos cuestionarios contienen preguntas sobre diversos aspectos del programa fundamentalmente en lo que se refiere a su operación, percepción y beneficios así como la prospectiva que ellos prevén en un futuro inmediato y las recomendaciones que los participantes realicen. 1 Aunque los TR-PVR-06 no solicitaban entrevistas a beneficiarios, con posterioridad a la entrega de la metodología se elaboró una cédula para este tipo de actor. AM-11

3 Estos cuestionarios están contenidos en un instrumento llamado cédula, la cual se caracteriza por tres aspectos fundamentales: Confiabilidad Una pregunta es confiable si significa lo mismo para todos los que la van a responder. Se puede confiar en una escala cuando produce constantemente los mismos resultados al aplicarla a sujetos similares. La confiabilidad implica consistencia. Validez Una pregunta es válida si estimula información exacta y relevante. La selección y la redacción influyen en la validez de la pregunta. Algunas preguntas que son válidas para un grupo de personas, pueden no serlo para otro grupo. Diseño del cuestionario Sobre todo se verifica que cada opción o respuesta en la cédula que se presente sea excluyente. La cédula es el principal instrumento de captación de la información a beneficiarios y se centra principalmente en el método de escalamiento tipo Likert 2 que consiste en un conjunto de ítems presentados en forma de afirmaciones o juicios antes los cuales se pide la reacción de los sujetos; las respuestas califican al objeto de actitud que se está midiendo y deben expresar sólo una reacción lógica; en la cédula se acorta o se incrementa el número de categorías dependiendo tanto de la capacidad de discriminación como del tema en cuestión. b) Capacitación a encuestadores Aunque los integrantes del equipo evaluador cuentan con experiencia previa en levantamiento de encuestas y entrevistas para este tipo de evaluaciones, se efectúa una capacitación previa al trabajo de campo para repasar los conceptos básicos de muestreo, ubicar el levantamiento en el proceso de generación de resultados y resolver las dudas específicas de los cuestionarios que se aplicarán. El instrumento utilizado es una presentación en Power Point que se adjunta en esta entrega como anexo electrónico. 3 2 Likert, Séller y Hough, Criterios técnicos de la encuesta, Editorial Mc Graw Hill, Véase el archivo Capacitación operador de campo v1.ppt AM-12

4 Asimismo, se realiza otra capacitación con base en el código de ética del encuestador. c) Percepción de los actores clave El análisis de la opinión de los actores con respecto al Programa se realiza a partir de la información proporcionada directamente por los propios sujetos mediante técnicas cualitativas. De acuerdo con lo anterior, en las entrevistas se procura que la aplicación de los cuestionarios se realice en condiciones que permitan que los beneficiarios revelen su percepción acerca del funcionamiento y beneficios del programa sin ningún tipo de presión externa. El equipo evaluador está consciente de que la subjetividad inherente a la recopilación de estos datos puede generar poca confiabilidad; sin embargo, esto se reduce parcialmente con preguntas adicionales que confirman o invalidan algunas respuestas. Asimismo, la observación del entorno y el registro sistemático de las características de los beneficiarios se convierten en elementos indispensables para neutralizar dicha subjetividad. Se elaboraron cuatro instrumentos para la captación de información: CEPVR 1: Guía de entrevista a profundidad (aplicable a funcionarios del nivel central) CEPVR 2: Cédula para funcionarios en las delegaciones estatales de la Sedesol. CEPVR 3: Cédula para funcionarios de los Institutos Estatales de Vivienda, Autoridades municipales y Dirigentes de OSC. 4 CEPVR 4: Cédula para beneficiarios El objetivo de los cuestionarios fue detectar la percepción de los actores clave en la operación del PVR en cuanto a los siguientes aspectos: Acceso al programa y atención recibida Conocimiento e identificación del Fonhapo. Entendimiento de la forma en que opera el PVR. 4 Para conocer la problemática de la instrumentación de programa desde el punto de vista de otros actores clave. AM-13

5 Opinión sobre la accesibilidad al PVR desde el punto de vista de difusión, cercanía, solicitud de información y realización de trámites, horarios de atención, entre otros. Planteamiento de problemas o quejas. Oportunidad de respuesta del PVR a los trámites de solicitud de apoyo y a las quejas. Apoyos obtenidos Opinión sobre la calidad, suficiencia de los apoyos. Opinión sobre el cumplimiento de los objetivos del PVR. Transparencia y rendición de cuentas Percepción sobre la transparencia en operación y ejecución del PVR. Percepción de actores clave sobre la rendición de cuentas y sobre el uso y manejo de los recursos del PVR. La aplicación de los instrumentos se realizó en diez entidades del país con la finalidad de conocer el desempeño del programa en los tópicos anteriormente señalados así como el grado en que persisten los retos señalados en evaluaciones anteriores, analizando además si las medidas correctivas propuestas fueron adecuadas. 5 d) Control de calidad Dado que una parte del análisis proviene de los resultados obtenidos de la encuesta, se efectúa un control de calidad 6 para evitar dos tipo de errores: de no respuesta y de medición. El error de no respuesta se controla sustituyendo beneficiarios o bien aplicando la cédula a beneficiarios indirectos cuando es imposible obtener la información del beneficiario directo. 7 Los errores de medición se generan cuando el encuestado responde de forma imprecisa, inexacta o cuando las respuestas de los encuestados no pueden ser comparadas útilmente de forma alguna. Para evitarlo al máximo, se discute minuciosamente, el cuestionario y se capacita a los entrevistadores. 5 En cada una de las aseveraciones que se realicen acerca del funcionamiento del PVR se indicará la fuente de información utilizada (análisis de gabinete, trabajo cualitativo, encuesta representativa u otra fuente de información). 6 El control de calidad usualmente pretende evitar cuatro tipo de errores: muestral, de no respuesta, de cobertura y de medición. 7 Edad, enfermedad o ausencia. AM-14

6 2. Trabajo de campo Los cuestionarios fueron sometidos a algunas pruebas de validación y aplicados in situ en los estados visitados. La visita se realizó por una o dos personas, mismas que están plenamente capacitadas y cuentan con experiencia en este tipo de investigación. Esta es la parte central del estudio para responder el apartado de Percepción de los actores clave por lo que se le da especial atención por parte del equipo de trabajo. Por ser un elemento clave en la construcción de recomendaciones se registran notas de campo que complementan la información cuantitativa obtenida por los cuestionarios. El operativo de campo comprende las siguientes etapas: a. Levantamiento de entrevistas. b. Crítica, codificación de la información y control de calidad del proceso. Además, se realizan las siguientes actividades: o o o Establecimiento del calendario definitivo de visitas a las localidades. Elaboración, discusión y reproducción de los cuestionarios. Contacto con la Sedesol y el Fonhapo para programar las visitas y establecer los requerimientos logísticos. 3. Instrumentos de trabajo de campo A continuación se presentan los instrumentos definitivos utilizados en el operativo de campo. AM-15