1. VALORES FALTANTES 2. MECANISMOS DE PÉRDIDA

Transcripción

1 1. VALORES FALTANTES Los valores faltantes son observaciones que en un se tenía la intención de hacerlas, pero por distintas razones no se obtuvieron. Puede ser que no se encuentre a un encuestado, entonces se pierde a toda una unidad, o puede que un individuo no responda todas las preguntas, o que en un estudio longitudinal un individuo no llegue hasta al final. Hacer el análisis estadístico y hacer como si no faltaran observaciones lleva a errores en la inferencia. Al realizar el muestreo resultarán dos cosas, la selección de las unidades y un mecanismo de pérdida de las observaciones. Para hacer una inferencia válida tendremos que tomar en cuenta el mecanismo de pérdida de las observaciones. El proceso de muestreo se conoce, pero el mecanismo de pérdida de observaciones es desconocido. La pérdida de información puede afectar las propiedades de los estimadores (sesgos), así como la potencia de pruebas y longitudes de los intervalos de confianza. Algo que va a determinar la gravedad de los efectos en la inferencia es la forma en que probabilidad de que la observación sea faltante dependa de otras variables (observadas o no) y en el valor mismo de la observación. Se necesitará hacer suposiciones adicionales que permitan inferir con la información observada (incompleta), estas suposiciones son en términos de la relación de la selección de valores faltantes y los valores que hubieran tomado y del comportamiento de los datos no-observados.el determinar si estas suposiciones son plausibles, no puede hacerse en función de los datos que se tienen. (contraejemplo: En regresión si se puede checar la homoscedasticidad a partir de los residuales). Es muy conveniente hacer un análisis de sensibilidad para explorar que pasa si se cambian las suposiciones. 2. MECANISMOS DE PÉRDIDA Notación Denotando a Y como la información con intención de ser recoletada. Y = {Y o, Y m }. Donde Y o es la información observada y Y m la información perdida. El indicador de información perdida R se define como { 1 si Yij no se observa M = [M ij ] = 0 si Y ij sí se observa M está en relación a Y. La validez del análisis dependerá del mecanismo de pérdida, que a su vez está definido por P (M y o, y m ) 1

2 2.1. Observaciones Perdidas Completamente al Azar (MCAR) Cuando la probabilidad de perdida no depende de lo observado ni de lo no observado P (M y o, y m ) = P r(m) En este caso puede hacerse la inferencia como si no hubiese faltantes. Ejemplo una muestra de laboratorio accidentalmente se cae y rompe. Algunas pareden MCAR pero analizándolas bien podrían no serlo. En un estudio longitudinal alguien no prosigue pues tiene un accidente de çaida bajo el autobús, si el estudio fuera de avance en aprendizaje de un idioma parece que no continuar en el estudio no tiene nada que ver con la variable de aprendizaje, pero si se trata de un estudio psiquiátrico sobre depresión, podría ser que el sujeto no esté respondiendo al tratamiento, entonces la no respuesta (accidente) si tiene que ver con la variable respuesta. Un cuestionario no es respondido pues es robado en la oficina de correos, esto No es aleatorio, pues probablemente esté relacionado con la variable zona donde la oficina está localizada Observaciones Perdidas al Azar (MAR) En este caso el mecanismo de pérdida no depende de la información perdida. P (M y o, y m ) = P (M y o ). Ejemplo Se tiene la presión arterial de todos los individuos y se registra el peso sólamente a aquelos que tienen presión alta. Por ejemplo: variables unidad ? 3.5?? Las unidades 1 y 2 tienen los mismos valores observados, dados estos valores observados, bajo MAR, las variables 3,5 y 6 de 2 tienen la misma distribución que las variables 3,5 y 6 de la unidad 1. Un caso especial de MAR, es la respuesta uniforme dentro de clases. Por ejemplo si en un estudio se buscan datos de ingreso y categoría de pago de impuestos. Es común que los que ganen más se nieguen a revelar su ingreso. Promediar los datos completos nos llevaría a subestimar el ingreso. Ahora que si se registra la categoría de pago de impuestos de todos los individuos, la no respuesta acerca del ingreso es aleatoria dentro de cada categoría, así que el mecanismo de pérdida depende 2

3 de la categoría de pago de impuestos, y la pérdida del dato de ingreso NO depende de valor del ingreso mismo. En este caso, para estimar convendría primero calcular el promedio por categoría de impuestos, dado que dentro de cada categoría la pérdida es aleatoria, el promedio es un estimador válido y luego para estimar el ingreso medio de toda la población, se combinan estos estimadores en un promedio ponderando de manera proporcional al tamaño de las categorías de impuestos Observaciones NO Perdidas al Azar (MNAR) Se dice que el mecanismo de pérdida NO es ignorable si los valores perdidos dependen de los valores no observados. P (M y o, y m ) = P r(m y m ). Ejemplo Se tiene la presión arterial de todos los individuos y se registra el peso sólamente a aquellos que sobrepeso. Y para hacer inferencia válida debe hacerse usando Y y modelar de algún modo a M. 3. Reporte de valores faltantes Porcentaje de valores faltantes por renglón Porcentaje de valores faltantes por columna Porcentaje de valores faltantes total Hacer comparaciones a través de tablas, por ejemplo si el porcentaje de faltantes es el mismo en hombres que en mujeres, es el mismo por grupos de edad o por estrato socioeconómico, etc. Hay algún patrón sistemático en los casos completos y los casos incompletos Este tipo de reportes ayuda en ocasiones a detectar si existen ciertas razones que ayuden a predecir si habrá o no un faltante. Por ejemplo los que pertenecen a un programa de ayuda del gobierno tienden a no contestar acerca de su ingreso por temor a que los saquen del programa. 4. Tratamiento de valores faltantes 1. Delete cases Deshacerse de los casos con algún valor faltante. Si no se trata de un MCAR este método causa sesgo. Causa también pérdida de potencia de las pruebas. A veces se tira demasiada información. 2. Imputar 3

4 5. Métodos de imputación Sencilla media El valor faltante se rellena con la media de los casos completos. (Genera sesgo en cualquiera de los tres tipos de valores faltantes) hot deck El valor faltante se rellena con los valores de otro caso similar, pero que no pertenece a la muestra, por lo que se debe tener un montoncito de información reservado por si acaso hay valores faltantes en la muestra. (Genera sesgo en cualquiera de los tres tipos de valores faltantes) modelo predicción Se rellena con la predicción de algún modelo por ejemplo uno de regresión lineal, que toma en cuenta las variables observadas. (resulta insesgada bajo MCAR y MAR, pero potencialmente sesgada bajo NMAR) 1. Se rellena con la predicción de la media de un modelo de regresión, por ejemplo ingreso i = ˆα + ˆβ i edad i 2. Se rellena con la predicción de una observación cualquiera del modelo de regresión, por ejemplo ingreso i = ˆα + ˆβ i edad i + e i, con e i es una observación de una normal N(0, σ). 3. En los casos NMAR se puede modelar la función de distribución conjunta de M y Y F MY (M ij, Y ij ). Este modelo no es tan sencillo y se utiliza el método iterativo de Esperanza y Maximización EM. O se puede usar un modelo de patrones: se clasifican a los casos según sus valores faltantes u sus valores observados y se hace un modelo en cada grupo para hacer el rellenado grupo por grupo. (Método EM:Suponiendo que los datos Y, tienen por ejemplo una distribución NMV (µ, Σ), con la información completa estimo µ y Σ, uso el modelo de predicción para rellenar los datos, mismos que se utilizan para re-estimar a µ y Σ, y de nuevo cambio el rellenado con las estimaciones nuevas y así sucesivamente.) Ver artículo Schafer y Graham Missing Data: Our View of the State of the Art, en Psycological Methods vol 7, 2, Imputación Múltiple En este caso se generan varios conjuntos de datos rellenados, usando algún método de imputación simple, digamos que se tienen ahora D conjuntos. Para cada conjunto se estima el parámetro de interés digamos γ, se tienen entonces ˆγ 1,..., ˆγ D, cada uno con error estándar U i con i = 1,..., D. Y el estimador que se usa es γ = γ i /D 4

5 cuya incertidumbre o varianza es T D = ŪD + (1 + 1/D)B D con y B D = Ū D = U i /D (Promedio de varianzas) (ˆγ i γ) 2 /(D 1) (Varianza entre imputaciones) 5