UN NUEVO TEST DE BONDAD DE AJUSTE PARA NORMALIDAD Y MUESTRAS CON CENSURA BASADO EN EL COEFICIENTE DE CORRELACION

Transcripción

1 UN NUEVO TEST DE BONDAD DE AJUSTE PARA NORMALIDAD Y MUESTRAS CON CENSURA BASADO EN EL COEFICIENTE DE CORRELACION CLAUDIA CASTRO-KURISS 1, 1 ccastro@itba.edu.ar, Departamento de Matemáticas, Instituto Tecnológico de Buenos Aires (ITBA), Buenos Aires, Argentina. RESUMEN En este trabajo se propone una nueva prueba de bondad de ajuste a una distribución normal con datos censurados de tipo II. Dicha prueba está basada en un estadístico del tipo de correlación-regresión en base al cual se construye un gráfico empleando las medianas de los estadísticos de orden normales. El test se propone para el caso en que la hipótesis nula especifica una distribución normal con parámetros desconocidos, pero podría ser definido y estudiado también para una distribución completamente especificada y extendido a otras distribuciones de locación y escala. En este trabajo se calculan los cuantiles de la distribución del estadístico bajo la hipótesis nula mediante simulaciones de Monte Carlo. También mediante simulaciones, y para diferentes porcentajes de censura, se calcula la potencia de la prueba basada en el estadístico propuesto usando una distribución normal en la hipótesis nula y diversas distribuciones conocidas, incluyendo distribuciones normales contaminadas, en la hipótesis alternativa. Mediante un extenso estudio de simulación, se compara la potencia del test con las de otros estadísticos de tipo cuadrático empleados también para probar normalidad con datos censurados. La prueba propuesta resulta ser más potente que las otras en la mayoría de los casos considerados. Finalmente, el test propuesto es ilustrado a través de un ejemplo con datos reales provenientes del área de confiabilidad. Palabras clave: medianas de estadísticos de orden, coeficiente de correlación. 1

2 1. INTRODUCCIÓN Tests basados en regresión y correlación han sido empleados con éxito en el caso de muestras completas, tanto para testear normalidad como para testear otras distribuciones de locación y escala. En particular el test propuesto por Shapiro y Wilk (1965, 1968) basado en el estadístico W es en esencia el cociente, al cuadrado, entre el mejor estimador lineal del parámetro de escala de la distribución normal y el desvío estándar muestral. Este test fue posteriormente modificado por Shapiro y Francia (1972) para muestras grandes, quienes propusieron pesar las observaciones ordenadas por el valor esperado de los estadísticos de orden normales, obteniendo así el estadístico W. Tanto W como su modificación W son estadísticos del tipo de correlación-regresión. En efecto, W es igual al cuadrado de la correlación entre los estadísticos de orden de la muestra y los valores esperados de los estadísticos de orden normales (ver D Agostino y Stephens (1986)). El test de Shapiro-Wilk resultó ser el más potente para el caso de normalidad (ver Tiku (1974)). Dicho test fue extendido para el caso de la distribución exponencial pero resultó no consistente para detectar ciertas alternativas. Los gráficos son elementos muy útiles para establecer la bondad de ajuste de una determinada distribución a los datos. Varios autores propusieron estadísticos basados en gráficos de probabilidad, como el de probabilidad-probabilidad (PP-plot). Entre ellos, Gan y Kohler (1990) propusieron un test de bondad de ajuste basado en dicho gráfico para las siguientes distribuciones bajo Ho: normal, Gumbel y exponencial en muestras completas. Tests para la exponencial, Weibull y Gumbel pero basados en el gráfico de probabilidad estabilizada o SPplot definido por Michael (1983), fueron propuestos por Kimber (1985). Otro de los autores que empleó técnicas gráficas fue Filiben (1975), quien basó su propuesta en el coeficiente de correlación que surge del gráfico de probabilidad normal y lo empleó para testear normalidad en muestras completas. El test que proponemos en el presente artículo resulta una extensión y modificación del propuesto por Filiben (1975) para muestras con censura. Las muestras con censura aparecen en la práctica cuando no es posible relevar toda la información de las unidades muestreadas. Muestras con censura son aquellas donde las observaciones incompletas están identificadas y se conoce su número. Aparecen con gran frecuencia en aplicaciones prácticas en distintos aéreas de la ciencia como se ejemplifica a continuación. 2

3 1. En medicina y ciencias de la salud: es frecuente que se estudie el tiempo hasta el desarrollo de una enfermedad o la muerte, o el tiempo que tarda una herida en curar o cerrarse. En este tipo de estudios en muchos pacientes no ocurre el evento de interés antes de finalizado el estudio por lo que son censurados (por derecha). 2. En sicología y ciencias afines: una de las aplicaciones suele verse cuando se desea estudiar el tiempo hasta que un niño adquiere una determinada habilidad. En este tipo de estudio, algunos niños ingresan al estudio con la habilidad ya desarrollada mientras que otros no la desarrollan en todo el período de estudio. Estos casos resultan por lo tanto censurados (por izquierda y por derecha). 3. En ciencias ambientales y en quimiometría: cuando el nivel de cierto compuesto químico en una muestra de materiales es menor que un límite de cuantificación o del límite de detección de un instrumento (censura a izquierda). Generalmente, los valores censurados se reportan como inferiores al límite de detección especificado. También pueden ser mayores al límite superior de detección como es el caso de mediciones en ciencias espaciales (censura por derecha). 4. En ingeniería: una de las ramas de mayor aplicación es la de confiabilidad cuando, por ejemplo, en los estudios para determinar la resistencia a la ruptura no todas las unidades fallan en el tiempo de estudio, o algunas piezas fallan y otras continúan funcionando al finalizar el experimento. Cabe mencionar aquí que existen distintos modos y tipos de censura. En medicina es más frecuente encontrar datos censurados por derecha, es decir mayores que un determinado valor. En el presente trabajo se considerará el caso de muestras con censura por derecha (como es posible convertir los datos con censura por izquierda a censura por derecha, entonces también el caso de censura por izquierda está incluido) y es posible extender el test propuesto a censura doble o por intervalo. Se considerará además que el tipo de censura es de tipo II, que quiere decir que no está fijo el tiempo de duración del estudio sino el número de unidades que experimentan el evento. En todos los ejemplos cuando aparecen muestras con censura, es fundamental tener este hecho en cuenta para hacer las estimaciones respectivas. Para más detalles sobre modos y tipos de censura, ver Lawless (2003). También surge de manera natural el problema de determinar de cual distribución poblacional proviene la muestra censurada. En este planteo se presentan dos posibilidades: considerar o no una distribución completamente especificada bajo Ho. El caso más frecuente de aplicación consiste en considerar que la distribución especificada en Ho pertenece a una familia de 3

4 locación y escala. En este último caso es necesario estimar los parámetros de la distribución especificada en la hipótesis nula, que en nuestro trabajo consideramos normal. Estudiar la bondad del ajuste en esta última propuesta resulta más complejo ya que la distribución de los estadísticos puede depender de los estimadores de los parámetros, del método de estimación, del tamaño muestral como también de la distribución considerada en la hipótesis nula. Si los parámetros son estimados con métodos adecuados entonces la distribución de los estadísticos de los tests no dependen de los valores verdaderos de los parámetros (ver D Agostino y Stephens (1986)). Mientras que en el pasado la estimación por máxima verosimilitud de muestras normales y censuradas no se empleaba debido a que no es posible encontrar soluciones analíticas, en la actualidad este problema se ha superado gracias al empleo de la computadora que permite obtener las estimaciones con métodos iterativos de manera rápida. Anteriormente se empleaban las estimaciones lineales de los parámetros en muestras con censura propuestas por Gupta (1952) que son fáciles de obtener y asintóticamente eficientes (ver Ali y Chan (1964)). Uno de los test de bondad de ajuste más conocido es el de Kolmogorov-Smirnov (KS) que compara la función de distribución empírica (FDE) con la función de distribución acumulada (FDA) teórica establecida en la hipótesis nula. El estadístico de este test ha sido notado como D y se basa en la distancia del supremo entre la FDE y la FDA. También son muy conocidos los estadísticos denominados de tipo cuadrático, que se basan en otras distancias entre la FDE y la FDA. Los estadísticos de estos tests se denotan W 2 (Cramer-von Mises), A 2 (Anderson- Darling) y U 2 (Watson). Los tests basados en los estadísticos cuadráticos fueron modificados para testear normalidad con parámetros desconocidos estimados con el método de Gupta, en el caso de muestras censuradas. Para más detalles ver Pettitt (1976), Pettitt y Stephens (1976) y D Agostino y Stephens (1986). Entre todos los tests propuestos cuya potencia se ha estudiado podemos concluir que no es posible encontrar uno que sea el mejor para todas las alternativas consideradas. Puig and Stephens (2000) calcularon cuantiles de la distribución de los estadísticos W 2, A 2 y D para el caso de que la distribución bajo Ho fuera Laplace con parámetros de locación y escala desconocidos y muestras completas. Tests de bondad de ajuste para muestras normales censuradas y con parámetros desconocidos estimados por máxima verosimilitud basados en el estadístico de Michael, denominado DSP, fueron propuestos por Castro Kuriss et al. (2010). También Castro-Kuriss (2011) propuso una extensión del mencionado test para una 4

5 distribución cualquiera dentro de la familia de locación y escala con parámetros desconocidos, y lo estudió particularmente cuando la distribución bajo Ho era exponencial. El objetivo del presente trabajo es proponer un nuevo test de bondad de ajuste para muestras con censura proveniente de una población normal que resulte fácil de implementar computacionalmente, que sea potente frente a diversas alternativas y tenga a su vez la posibilidad de asociarse con un gráfico de probabilidad. 2. METODOLOGÍA El estadístico del test está basado en el coeficiente de correlación entre las medianas de los estadísticos de orden normales y los estadísticos de orden muestrales censurados, por lo que el test propuesto puede asociarse a un gráfico del tipo cuantil-cuantil normal con censura. Puede aplicarse también en aquellos casos donde mediante transformaciones es posible obtener una muestra proveniente de la distribución normal, por ejemplo, se puede testear si la distribución subyacente en los datos censurados es log-normal. Bajo Ho, la distribución se consideró perteneciente a la familia normal y los parámetros fueron estimados mediante máxima verosimilitud. Se empleó el método de Monte Carlo para calcular los cuantiles de la distribución del estadístico propuesto bajo Ho para distintos radios de censura y tamaños muestrales. Se estudiaron algunas propiedades del mencionado estadístico a partir de su definición. También mediante simulaciones de Monte Carlo se estudió la potencia comparativa del test considerando 17 distribuciones en la hipótesis alternativa. Estas alternativas abarcaron distribuciones asimétricas, distribuciones simétricas con colas cortas, distribuciones simétricas con colas pesadas y distribuciones normales contaminadas con distintas elecciones de contaminación. La comparación de la potencia se realizó con la de los tres mencionados tests basados en estadísticos del tipo cuadrático. 3. RESULTADOS El gráfico de probabilidad, la estimación de los parámetros por el método de máxima verosimilitud, el cálculo del estadístico del test para una muestra dada y cotas para el p-valor asociado con la decisión se han implementado mediante programas en lenguaje R y resultan de muy rápida y fácil ejecución. Mediante el empleo del programa respectivo, el test se puede aplicar a cualquier tamaño muestral y radio de observaciones censuradas. La potencia comparada con los estadísticos de tipo cuadrático W 2, A 2 y U 2 muestra que el test resulta más potente para la mayoría de las alternativas consideradas o es competitivo con el más potente de los cuadráticos. Como ejemplo de aplicación se muestra un conjunto de 100 datos reales, donde 8 resultaron censurados por derecha, que consisten en datos de fatiga de 5

6 una urdimbre de fibras de viscosa-poliéster sometida a una tensión cíclica fija para determinar la duración del tejido. Mediante la aplicación del test propuesto es posible establecer que la distribución log-normal produce un buen ajuste a los datos obtenidos (0.5<valor-P <0.75). 4. REFERENCIAS Ali, M., Chan, L.K., On Gupta estimates of the parameters of the normal distribution. Biometrika, 51, Castro-Kuriss, C., Kelmansky, D., Leiva, V., Martinez, E., On a goodness-of-fit test for normality with unknown parameters and type-ii censored data. Journal of Applied Statistics, 37, Castro-Kuriss, C., On a goodness-of-fit test for censored data from a location-scale distribution with applications. Chilean Journal of Statistics Vol. 2, No. 1, D'Agostino, R. B., Stephens, M. A. (1986) Goodness of Fit Techniques. Marcel Dekker, New York. Filiben, J. J. (1975) The probability plot correlation coeficient test for normality. Technometrics, 17, Gan, F.F., Koehler, K.J., Goodness-of-fit tests based on PP-probability plots. Technometrics, 17, Gupta, A.K., Estimation of the mean and standard deviation of a normal population from a censored sample. Biometrika, 39, Kimber, A.C., Tests for the exponential, Weibull and Gumbel distributions based on the stabilized probability plot. Biometrika, 72, Lawless, J.F., Statistical Models and Methods for Lifetime Data. Second Edition.Wiley, New York. Michael, J. R. (1983) The stabilized probability plot. Biometrika, 70, Pettitt, A.N., Cramer-von Mises statistics for testing normality with censored samples. Biometrika, 63, Pettitt, A.N., Stephens, M.A., Modified Cramer-von-Mises statistics for censored data. Biometrika, 63, Puig, P., Stephens, M.A., Tests of fit for the Laplace distribution, with applications. Technometrics, 42, Shapiro, S., Francia R. (1972). An approximation analysis of variance test for normality. Journal of the American Statistical Association, 67, Shapiro, S. S., Wilk M. B. (1965). An analysis of variance test for normality (complete samples). Biometrika, 52, Shapiro, S., Wilk M. B. (1968). Approximation for the null distribution of the W statistic, Technometrics, 10, Tiku, M. L. (1974) Testing normality and exponentiality in multi-sample situations. Communications Statistics, 3(8),