IV. ANÁLISIS DE PRECISIÓN Y ROBUSTEZ DE LOS RESULTADOS

Transcripción

1 IV. ANÁLISIS DE PRECISIÓN Y ROBUSTEZ DE LOS RESULTADOS Con la finalidad de verificar y garantizar la robustez de las estimaciones del gasto y de los resultados de pobreza se hicieron dos tipos de validación: validación interna y validación externa. Se denominó validación interna a los análisis de sensibilidad que se hicieron para evaluar la capacidad predictiva del gasto de los modelos; y validación externa a la comparación de resultados de las estimaciones del pobreza con otras encuestas realizadas por el INEI y a la confrontación de estos mismos resultados con los registros administrativos a nivel distrital proporcionados por los gestores de los programas sociales Validación Interna: Robustez del modelo predictivo del gasto El análisis de sensibilidad consistió en testear la robustez de los modelos con la finalidad de verificar su capacidad predictiva dentro y fuera de la muestra de hogares de la ENAHO, para ello se hicieron tres tipos de pruebas: la primera consistió en evaluar los indicadores de bondad de ajuste de los modelos del gasto para diferentes cortes geográficos; la segunda en evaluar la capacidad predictiva de los modelo en una submuestras de la ENAHO; y la tercera prueba consistió en comprobar la sensibilidad de los resultados de los modelos departamentales comparándolos con los resultados obtenidos en la ENAHO a distintos niveles geográficos Sensibilidad de los modelos a distintos cortes geográficos Se procesaron los modelos de predicción en la ENAHO, a nivel departamental, por dominios geográficos (Costa Centro, Costa Norte, Costa Sur, Lima Metropolitana, Selva Alta, Selva Baja, Sierra Centro, Sierra Norte, Sierra Sur), regiones naturales (Costa, sierra y selva) y se examinaron los R2 ajustados, el error cuadrático medio y el ratio de varianza (indicadores de bondad de ajuste); para determinar la calidad de los modelos obtenidos. En los modelos estimados se incluyeron interacciones entre las diferentes variables predictivas y la variable indicativa del área urbana o rural, así como la inclusión de variables externas a nivel de conglomerado o distrital. Departamento Variables internas + Variables externas agregadas a nivel de conglomerado Variables internas + Variables externas agregadas a nivel distrital Dominio - Área Variables internas + Variables externas agregadas a nivel de conglomerado Variables internas + Variables externas agregadas a nivel distrital Región - Área Variables internas + Variables externas agregadas a nivel de conglomerado Variables internas + Variables externas agregadas a nivel distrital Mapa de Pobreza Provincial y Distrital

2 EnEn el Gráfico N 4.1 y 4.2, se analiza los coeficientes de determinación (R²-ajustado), son mejores en los modelos a nivel departamental que por dominios o regiones; 0,63 0,542 y 0,551 respectivamente en los modelos cuyas variables externas están a nivel de conglomerado; y 0,606 0,516 y 0,525 en los modelos con variables externas a nivel distrital. Así mismo, el error cuadrático medio y el ratio de varianza (indicadores que dan cuenta de la varianza del estimador y de su sesgo), son más bajos en los modelos departamentales. Cuando comparamos los modelos cuyas variables externas explican el entorno a nivel de los conglomerados con aquellas que lo explican a niveles de distrito se puede observar que los modelos asociados a variables externas a nivel de conglomerado logran los mejores resultados. GRÁFICO N 4.1 PERÚ: COEFICIENTES DE AJUSTE, SEGÚN CORTE GEOGRAFICO (NIVEL CONGLOMERADO) GRÁFICO N 4.2 PERÚ: COEFICIENTES DE AJUSTE, SEGÚN CORTE GEOGRAFICO (NIVEL DISTRITO) Coeficientes de ajuste, según cortes geográficos (Conglomerado) Coficientes de ajuste, según cortes geográficos (Distritos) 0,63 0,542 0,551 0,606 0,516 0,525 0,373 0,39 0,395 0,384 0,401 0,407 0,025 0,015 0,045 0,012 0,026 0,021 R2 ajustado Error cuadrático medio Rateo de varianza Departamento Dominio-area Region area R2 ajustado Error cuadrático medio Rateo de varianza Departamento Dominio-area Region area Sensibilidad de los modelos en una sub muestra de la ENAHO En esta etapa, se evaluó la capacidad predictiva del modelo dentro y fuera de la muestra de hogares de la ENAHO. En la medida que la selección de las variables del modelo predictivo del gasto por el método de stepwise conduce muchas veces a maximizar los R², garantizando de esa forma que las variables seleccionadas sean significativas y no redundantes, esto es válido solo para la muestra analiza, esto no garantiza que para otro conjunto de datos o muestra el modelo (conjunto de variables predictivas) sea el óptimo. Para garantizar la robustez del modelo en distintos escenarios de datos se efectuó el ejercicio siguiente: Se dividió la muestra de la ENAHO en dos partes iguales. Se estimaron los coeficientes de regresión con la primera mitad de la muestra. Se imputaron los gastos en la otra mitad de la muestra (ver esquema). Los estimados de gasto predichos se compararon con los gastos observados. 38 Instituto Nacional de Estadística e Informática

3 GRÁFICO Nº 4.3 PERÚ: GASTO ESTIMADO DE LA SUB MUESTRA Y GASTO OBSERVADO EN ENAHO 1050,0 950,0 850,0 750,0 650,0 550,0 450,0 INTERVALOS DEL GASTO ESTIMADO INTERVALOS DEL GASTO OBSERVADO VALIDACIÓN DE LOS MODELOS DE REGRESIÓN CON SUBMUESTRAS Dividir la muestra en 2 partes (50% cada una) Hallar modelo regresión con Base 1 Base 1 (Modelamiento) Base 2 (Testeo) Evaluar el modelo obtenido con la Base 2 350,0 Amazonas Ancash Apurimac Arequipa Ayacucho Cajamarca Cusco Huancavelica Huanuco Ica Junin La Libertad Lambayeque Lima Metropolitana 1/ Lima Provincias 2/ Loreto Madre de Dios Moquegua Pasco Piura Puno San Martin Tacna Tumbes Ucayali Se concluyó que los gastos estimados por los modelos predictivos obtenidos de las submuestra de la ENAHO y los observados son estadísticamente similares a nivel del departamento Sensibilidad de los resultados de los modelos departamentales a distintas desagregaciones geográficas La tercera prueba de validación interna consistió en comparar los estimados puntuales del gasto per cápita promedio por departamento y dominios geográficos estimados por el modelo en el SISFOH con los gastos promedio departamentales observados en la muestra de ENAHO, como resultado de la comparación se observó que no existen diferencias estadísticamente significativas en los gastos. Asimismo, se compararon las incidencias de pobreza observadas con los imputados a los hogares presentes en el SISFOH, agregándose a nivel de departamentos.. GRÁFICO N 4.4 PERÚ: INCIDENCIA DE LA POBREZA TOTAL ESTIMADA EN EL CENSO Y LA INCIDENCIA OBSERVADA DE LA ENAHO 2013 POR DEPARTAMENTOS GRÁFICO N 4.5 PERÚ: INCIDENCIA DE LA POBREZA TOTAL ESTIMADA EN EL CENSO Y LA INCIDENCIA OBSERVADA DE LA ENAHO 2013 POR DOMINIOS 60,0 55,0 50,0 45,0 40,0 35,0 30,0 25,0 ENAHO - Intervalos de confianza ENAHO - Intervalo de confianza MAPA Intervalo de confianza 20,0 15,0 Mapa Intervalos de confianza ENAHO - Intervalo de confianza MAPA Intervalo de confianza 10,0 5,0 0,0 Cajamarca Ayacucho Huancavelica Amazonas Apurímac Pasco Huánuco Loreto Piura Puno La Libertad San Martín Ancash Lambayeque Junín Cusco Lima Provincias 2/ Lima Metropolitana 1/ Tacna Ucayali Tumbes Arequipa Moquegua Ica Madre de Dios Sierra Norte Sierra Centro Selva Sierra Sur Costa Norte Lima Metropolitana 1/ Costa Sur Costa Centro Como resultado de la estimación de los gastos a nivel de dominios geográficos (Costa Norte, Costa Centro, Costa Sur, Sierra Norte, Sierra Centro, Sierra Sur, Selva y Lima Metropolitana), se obtuvo que la incidencia de pobreza estimada en el SISFOH mantienen la misma tendencia y niveles semejantes a los que se observa en la ENAHO. Mapa de Pobreza Provincial y Distrital

4 Se concluye que los estimados de pobreza a diferentes niveles geográficos son semejantes al observado para los niveles de inferencia de la muestra de la ENAHO Validación Externa Al no existir en el SISFOH información sobre gastos, era necesario contar con información externa que permitiera validar los resultados de incidencia de pobreza obtenidos mediante el método ELL del Mapa de Pobreza Provincial y Distrital Para ello se implementaron tres tipos de validación externa, confrontando los resultados con estimaciones a partir de otras fuentes. Las dos primeras consistieron en la confrontación de los resultados obtenidos por imputación de gastos a los hogares censados por el SISFOH con los resultados de una Encuesta a Hogares Rurales y el de la Encuesta de Percepción sobre Pobreza Distrital. El tercer enfoque de validación externa se centró en la consulta a los Gestores de los Programas Sociales Encuesta Provincial a Hogares Rurales Los resultados del Mapa de Pobreza se compararon a los obtenidos por la Encuesta Provincial a Hogares Rurales. La Encuesta Provincial a Hogares Rurales se desarrolló en los meses de marzo a mayo de 2014, teniendo inferencia provincial rural llegando a calzar en 193 provincias rurales, el total de hogares encuestas de la muestra es de mil hogares. Dicha encuesta presentaba la ventaja de haber sido realizada en un periodo bastante cercano al periodo del Mapa de Pobreza Provincial y Distrital 2013, tener un módulo de gasto con el que se podía estimar incidencias de pobreza y el tener un nivel de inferencia provincial rural (es decir allí donde se concentra la mayoría de los hogares más pobres). Antes de poder proceder a las comparaciones entre ambas fuentes (Mapa de Pobreza 2013 y Encuesta Provincial Rural 2014), tuvimos que efectuar ajustes en la Encuesta Provincial Rural. En primer lugar, siguiendo la práctica de la ENAHO, se eliminaron hogares que no tienen gastos (4,302 hogares) y en segundo lugar se ajustaron los factores de expansión con los hogares efectivos a las proyecciones de junio Al final se trabajó con una muestra de hogares efectivos. En la medida que la Encuesta Provincial a Hogares Rurales tiene objetivos diferentes respecto a la ENAHO (que se centra en la medición de las condiciones de vida y la pobreza monetaria en particular), el módulo de gasto implementado en la provincial recoge la información de los gastos agrupados mientas que la ENAHO lo hace de manera bastante desagregada. Ello implica una subestimación del gasto en la encuesta provincial rural respecto a la ENAHO. La comparación con los resultados de mapa se hizo en dos etapas. En la primera se confrontaron los estimados de gasto y de pobreza obtenidos a partir de la encuesta provincial rural con los obtenidos por la ENAHO. En la segunda etapa se compararon los resultados del mapa agregado a nivel provincial rural con los resultados de la encuesta provincial rural. La primera fase de la comparación se justifica por la necesidad de calibrar los resultados del agregado del gasto obtenido por la Encuesta Provincial Rural con aquellos resultantes de la ENAHO. Para ello por un lado se desagregaron en la ENAHO los gastos a nivel departamental rural mientras que se agregaron a dicho nivel en la Encuesta Provincial Rural. Habiéndose constatado que a pesar de los enfoques distintos la correlación de niveles de pobreza y de los rankings individuales eran bastante elevados, 81,7% y 74,6% respectivamente, se procedió a comparar los rankings de pobreza provincial rural del Mapa de Pobreza (agregado a dicho nivel) y los resultados de la Encuesta Provincial a Hogares Rurales. 40 Instituto Nacional de Estadística e Informática

5 GRÁFICO N 4.6: ANÁLISIS DE DISPERSIÓN DE LA ENCUESTA PROVINCIAL A HOGARES RURALES Y LA ENCUESTA NACIONAL DE HOGARES 100 Provincias Rurales del Perú Provincias Rurales del Perú Incidencia del Enproru Incidencia del Sisfoh 38,60 Incidencia del Enproru Decil Los resultados obtenidos muestran que la correlación de incidencias de pobreza entre SISFOH (Mapa de Pobreza 2013) y la Encuesta Provincial Rural es alta y positiva, tanto en los niveles de pobreza como en ranking individuales y ranking robustos de las provincias. Es decir, un poco más del 60% de la varianza de las tasas de pobreza provincial rural observados son explicados por las tasas de pobreza estimadas por el Mapa de Pobreza Provincial y Distrital Otra manera de evidenciar la correspondencia entre las tasas estimadas por el mapa y las tasas estimadas en la Encuesta Provincial Rural es ordenando las tasas de pobreza de las provincias por deciles según cada fuente y luego contabilizar que porcentaje de provincias se encuentra en el mismo decil. Se encontró que la incidencia de pobreza en casi la mitad (44%) de las provincias (85) según el mapa se encuentra en el mismo decil o en el decil vecino que el estimado por la encuesta provincial rural. Ello una vez más corrobora el ordenamiento de tasas de pobreza obtenido por los métodos de imputación del gasto del mapa de pobreza. Sin embargo, la validación efectuada presenta dos limitaciones importantes. En primer lugar, solo se refiere a las áreas rurales de las provincias, dejando de lado a las áreas urbanas. En segundo lugar, la validación es únicamente posible a nivel provincial rural. Se requiere validar los resultados a nivel distrital. Debido a estas limitaciones se buscó implementar un segundo método de validación externa Encuesta de Percepción sobre la Pobreza Distrital El segundo método de validación externa se basó en la confrontación de los resultados distritales del Mapa de Pobreza Provincial y Distrital 2013 con los resultados de la Encuesta de Percepción Sobre la Pobreza Distrital, esta investigación tiene por objetivo conocer la percepción de la situación de la pobreza que tienen las principales autoridades locales a nivel distrital en el Perú. Dicha encuesta fue administrada a autoridades e informantes calificados, personas notables del distrito, (Alcalde, Gerente Municipal, Encargado de la Unidad Formuladora, Ejecutora y Programación e Inversiones). Entre las personas elegibles como informantes se tiene los siguientes: Párroco del Distrito, Comisario, Director del Colegio, Docente del Colegio, Presidente de la Comunidad, Presidente de Club de Madre, Comedor Popular u otra organización social. El número promedio de informantes por distrito es 10, se cuenta con información para 1,830 distritos sobre un total de distritos. Mapa de Pobreza Provincial y Distrital

6 Se examinaron los perfiles de los informantes según sexo, grupos de edades, niveles de educación, cargo en el distrito, profesión, antigüedad de residencia en relación con el grado de sobrestimación/subestimación de los niveles distritales de pobreza monetaria. El análisis de regresión no arrojó ningún resultado tendiente a detectar la presencia de sesgos sistemáticos. La capacidad de acierto fue mayor en el caso de ciudades de 50,000 a 100,000 habitantes y los Tenientes Alcaldes, estos fueron los únicos factores relacionados al grado de acierto. Después en el 62% de los distritos (1 136 distritos), la percepción de nivel de pobreza distrital de al menos un informante calificado está dentro de los rangos de pobreza estimado por el mapa de pobreza Reuniones de consulta con usuarios del Mapa de Pobreza Provincial y Distrital Por recomendaciones de la Comisión Consultiva de Pobreza se tuvo reuniones con representantes del Ministerio de Desarrollo e Inclusión Social (MIDIS) y del Ministerio de Economía y Finanza con el objetivo de presentar la metodología de estimación del Mapa de Pobreza Provincial y Distrital y solicitar sus apreciaciones sobre los resultados de indicadores de pobreza a niveles distritales y sub distritales obtenidos en particular en aquellos distritos que tuvieron fuertes variaciones en la incidencia de pobreza respecto al mapa del Se buscó además, recabar información complementaria proveniente de los registros administrativos de los programas sociales que pudieran contribuir a entender mejor los cambios ocurridos. Se llevaron a cabo 2 reuniones con los usuarios del mapa de pobreza: 1. El 23 de julio: Reunión de Trabajo con los Gestores de Programas Sociales del MIDIS (JUNTOS, PENSIÓN 65, QALI WARMA, CUNA MÁS Y FONCODES). 2. El 6 de agosto: Reunión de Trabajo con el Equipo de la Dirección General de Gestión de Usuarios del MIDIS y representantes del MEF. Se elaboraron fichas de información que fueron llenadas por los gestores de programas sociales con información a nivel distrital (apoyo con gestores descentralizados), las cuales contienen información sobre el número de beneficiarios, presupuesto ejecutado y apreciaciones sobre la situación de la pobreza en los distritos en los años 2009, 2013 y En conclusión, la mayoría de información sirvió como referencia para entender los cambios ocurridos en la pobreza en aquellos distritos con mayor discrepancia de pobreza. 42 Instituto Nacional de Estadística e Informática