Curso de Estadística no-paramétrica

Transcripción

1 Curso de Estadística no-paramétrica Sesión 1: Introducción Inferencia no Paramétrica David Conesa Grup d Estadística espacial i Temporal Departament d Estadística en Epidemiologia i Medi Ambient i Investigació Operativa Universitat de València Junio 2013 Inferencia Estadística Estadística: recopilación, presentación, análisis y uso de los datos con el objetivo de tomar decisiones y resolver problemas. Necesaria? Los procesos de la vida real presentan variabilidad. el número de empresas que cierran por año es diferente, la cantidad de lluvia recogida en un dia en una determinada zona varía, el precio de una acción varía continuamente, etc. La Probabilidad juega un papel destacado en el razonamiento científico: El azar está presente en gran parte de los procesos cotidianos. Los resultados experimentales presentan variabilidad atribuible a factores no controlados por el experimentador. La selección de las unidades experimentales se basa en mecanismos aleatorios. Las conclusiones de un análisis estadístico se formulan en términos probabilísticos, ya que los modelos probabilísticos fundamentan la justificación teórica de la Inferencia Estadística. 2 / 36

2 Inferencia estadística (2) Distinguir entre Estadística Descriptiva: métodos para resumir y organizar datos Inferencia Estadística: métodos para obtener conclusiones válidas para toda una población a partir de los datos que nos aportan una parte de dicha población. El esquema básico: Selección aleatoria Población muestra Estadística Descriptiva Inferencia Estadística Representatividad Conclusiones en la Población 3 / 36 Inferencia Paramétrica Población: conjunto de individuos objeto de estudio; de dicha población estudiamos una variable de interés: X. Población: conjunto de valores de la variable observacional que obtendríamos si se repitiera indefinidamente el proceso de obtención de los datos. La variable de interés X tiene una distribución de probabilidad asociada, la distribución poblacional (lo que habitualmente entendemos por población). Tipos de variables aleatorias: Categóricas (nominal u ordinal) y Cuantitativas (discreta o continua). Habitualmente (en problemas reales), la distribución poblacional de la variable de interés es desconocida o al menos no es completamente conocida. En la mayoría de los casos, lo que se conoce es la familia (o el tipo) a la cual pertenece la distribución (exponencial, normal, etc.) pero lo que no se conocen son sus parámetros. Los parámetros son las características de interés de la población (media, varianza, proporción poblacional, etc.). En los casos en los que no conocemos la distribución (Estadística no paramétrica) no tiene sentido preguntarse por los parámetros. 4 / 36

3 Ejemplos: poblaciones e inferencia 1 Siete empresas familiares voluntarias participaron en un estudio para determinar si una campaña publicitaria podría elevar las ventas anuales de la empresa. Se midieron las ventas dos veces, una antes de la campaña y otra después. Los resultados de las ventas (en miles de euros) aparecen en la siguiente tabla: EMPRESAS Antes Después Diferencia Cual es la población? Muestra? Variable de interés? Tamaño muestral? Qué inferencia tiene sentido aquí? 2 Once empresas fueron analizadas por un inspector de hacienda. Tres de ellas estaban en regla, y el resto no: Población? Muestra? Parámetro de interés? Qué inferencia tiene sentido aquí? 5 / 36 Cómo hacemos inferencia paramétrica? Muestreo aleatorio: muestra, tamaño muestral, representatividad. Una muestra aleatoria de observaciones de una variable X de tamaño muestral n es un conjunto de variables aleatorias X1, X2,..., Xn independientes e idénticamente distribuidas con la misma distribución de la variable X. Estadísticos. Distribución en el muestreo. Utilizar esta información para extrapolar los resultados obtenidos a una población más grande (Inferencia Estadística): 1 Estimación: la estimación trata de utilizar la información muestral para aproximar el valor de los parámetros desconocidos del modelo Puntual. Por Intervalos de Confianza. 2 Contraste de Hipótesis: a partir de las observaciones podemos obtener evidencia a favor o en contra de hipótesis referidas a los parámetros desconocidos del modelo. Qué pasa si no conocemos la distribución de la variable? 6 / 36

4 Estimación paramétrica Muestreo Población muestra X Modelo(θ) X = (X1,..., Xn ) θ Parámetro(s) desconocido(s) t(x) función de los datos Estimación y/o Contraste de Hipótesis Utilizamos t(x) para explicar θ 7 / 36 Estimación paramétrica Ω, Espacio Paramétrico: conjunto de valores posibles de los parámetros. S, Espacio Muestral: conjunto de todos los valores posibles que pueden tomar las muestras X = (X1,..., Xn ). Estimador es cualquier función del espacio muestral en el espacio paramétrico, t(x): T : S Ω X t(x) Es decir, cualquier estadístico es un estimador y tiene asociado una distribución muestral Estimación es cualquier realización del estimador. No todos los estimadores que se pueden obtener son igual de buenos. Buscamos pues métodos de obtención de estimadores y criterios para su evaluación: Que la distribución del estimador esté centrada en el parámetro, que tenga poca dispersión. Qué pasa si no conocemos la distribución de la variable? 8 / 36

5 Contraste de Hipótesis paramétricos En general una hipótesis estadística tiene la forma: θ Θ0 Θ. Por el propio objetivo de un contraste, este siempre tendrá dos hipótesis: Hipótesis nula que denotaremos H0 y que representa la afirmación que se quiere contrastar θ Θ0 Hipótesis alternativa que denotaremos H1 ó HA y que contiene los otros valores posibles del parámetro θ Θ1 Se suele denotar como: H0 : HA : θ Θ0 θ Θ1 El tratamiento no es simétrico, aceptaremos H0 mientras no demostremos que es falsa. Por eso, habitualmente, indicaremos en HA lo que es más relevante y en H0 lo que consideraremos como cierto mientras no se demuestre lo contrario. Qué pasa si no conocemos la distribución de la variable? 9 / 36 Contraste de Hipótesis paramétricos Contrastar una hipótesis es realizar un experimento relacionado con el(los) valor(es) desconocido(s) de un parámetro y, a partir del resultado de esta información, decidir sobre el rechazo o aceptación de la hipótesis contrastada. Un test de hipótesis es una regla de decisión que asigna uno de los dos posibles resultados (Aceptar H0 y Rechazar H0 ) para cada posible valor del experimento X S. Los valores para los cuales se rechaza H0 se denominan Región Crítica. Los tests de hipótesis se describen en términos de un estadístico T (X) que se denomina estadístico de contraste o test estadístico o estadístico del test. Y si queremos hacer no paramétrica? 10 / 36

6 Ejemplo contrastes 1 2 En el ejemplo de las empresas que hacen un estudio para valorar el funcionamiento de la mejora de una campaña publicitaria, identificar sus elementos básicos como un problema de contraste de hipótesis: Hipótesis Hipótesis estadísticas Población Estadística Parámetro Experimento Espacio Muestral Estadístico del contraste Test de hipótesis Región crítica Análogamente con el ejemplo de las empresas investigadas por un inspector. 11 / 36 Concepto de p-valor Los contrastes de hipótesis se pueden resolver como reglas de decisión sobre rechazar o no la hipótesis nula. Una alternativa muy popular se basa en la medición de la credibilidad de la hipótesis nula a la luz de los datos obtenidos. Esta información sobre la concordancia de los datos y la H0 se mide con probabilidades. Sea X1,..., Xn una m.a. de una distribución de probabilidad (modelo) conocida. H0 : θ Θ0 Sea una hipótesis que se desea contrastar y sea T un estadístico H1 : θ Θ1 para el que los datos toman el valor T = t0 del que sabemos su distribución. El p-valor correspondiente al valor observado t0 es la probabilidad (bajo H0 ) de obtener dicho valor t0 o valores más extremos (en la dirección o direcciones de HA ). La forma habitual de resolver el contraste es fijar un nivel de significatividad (error de tipo I máximo que queremos cometer) y rechazar si el p-valor es menor que dicho nivel. Los pasos finales incluyen decidir que conclusión es la que vamos a tomar, interpretar los resultados obtenidos y reportar las conclusiones. 12 / 36

7 Concepto de p-valor (2) Contrastes unilaterales A menudo está claro que la desviación de la mediana solo puede darse en un sentido o solamente nos interesa demostrar que esa desviación se da en un único sentido. En estos casos utilizaremos una hipótesis alternativa direccional para indicar que rechazaremos la hipótesis nula si la diferencia entre muestra y población es significativa en la dirección que propone la hipótesis alternativa. En este caso sólo tenemos que cambiar la forma de calcular el P-valor: 1 En primer lugar debemos comprobar que los datos están en la misma dirección que la hipótesis alternativa. Si no es así no es posible rechazar la hipótesis nula. 2 Si los datos están en la misma dirección que la hipótesis alternativa debemos dividir por dos el P-valor obtenido (solo queremos el área de una cola). 13 / 36 Inferencia no paramétrica En el campo de las ciencias sociales y del comportamiento nos encontramos con dos características que hacen de la inferencia no paramétrica una herramienta muy importante: Muchos datos están clasificados en forma nominal u ordinal. Cuando tenemos datos continuos, no tenemos garantizada la normalidad. La mayoría de los tests paramétricos (test t para comparar medias, ANOVA, etc.) se basan en una serie de suposiciones (datos normales, independencia de las observaciones, poblaciones con varianzas aproximadamente iguales, etc.) que no siempre se cumplen, por lo que se necesitan tests alternativos para llevar a cabo la inferencia. A veces es posible evitar estos problemas, transformando los datos, o eliminarndo observaciones extremas (outliers) que no dan sentido al modelo. Cuando los datos analizados cumplen las asunciones para la aplicación de los tests paramétricos es preferible usarlos SIEMPRE, ya que los paramétricos son más potentes (en el sentido que tienen mayor capacidad para rechazar la hipótesis nula cuando ésta es falsa). La inferencia no paramétrica fundamentalmente se realiza mediante contrastes de hipótesis (aunque es posible ampliar la información que da un test mediante la estimación por intervalos de confianza). 14 / 36

8 Inferencia no paramétrica (2) Un test no paramétrico es un test basado en un modelo que no necesita la especificación de ninguna condición sobre los parámetros de la población de la que se ha extraido la muestra. Ni siquiera sobre la propia población. Observar pues que no necesitan suposiciones (datos normales, independencia de las observaciones, poblaciones con varianzas aproximadamente iguales, etc.) tan fuertes como las de los paramétricos. Además existen mucho para datos nominales y ordinales: tests binomiales, bondad de ajuste, tablas de contingencia, medidas de correlación entre variables categóricas, etc. Los tests no paramétricos para datos continuos se focalizan en conteos y rankings u ordenaciones. Los datos se convierten de puntuaciones a rangos o signos. Así, por ejemplo, un test que compara medias (test t) se basa en la diferencia media, mientras que un test no paramétrico se focaliza en la diferencia entre las medianas. 15 / 36 Inferencia no paramétrica (3) Hay diferentes tests no paramétricos dependiendo del tipo de datos que analizamos y del número de variables analizadas. Variables continuas: 1 muestra: tests de localización, tests para valorar la forma de una distribución, tests de aleatoriedad. Comparación 2 muestras independientes Comparación 2 muestras relacionadas Comparación K muestras independientes Comparación K muestras relacionadas Regresión y correlación Variables categóricas: Bondad de ajuste Homogeneidad e Independencia Medidas de Asociación Contrastes de Aleatoriedad 16 / 36

9 Conteos y rangos Dos de las herramientas más básicas en las que se basan muchos de estos tests son: 1 Conteos: varios tests no paramétricos requieren el conteo (o frecuencia) de las observaciones. Basta contar el número de veces que una observación se repite. Tiene mucho sentido en variables categóricas y en localización por encima de la mediana. Ejemplo: se observa el capital social de 15 empresas y se quiere ver si el valor central es superior a euros. Se construye un test basado en el número de observaciones que superan dicho valor. 2 Rangos (o transformaciones de rangos): La clave es ordenar los datos y ver cada valor en qué posición queda. Hay que tener en cuenta los empates. Tiene mucho sentido en variables continuas para ver si los grupos son diferentes. Ejemplo: se observa el capital social de 5 empresas valencianas y se quiere ver si el valor central es superior al de 5 empresas catalanas. Se construye un test basado en el orden que ocupan las empresas tras ordenarlas conjuntamente. 17 / 36 Introducción a SPSS SPSS SPSS (Statistical Package for the Social Sciences) es un programa estadístico informático muy usado en las ciencias sociales y en el ámbito sanitario. Sistema amigable de menús y ventanas también nos permite programar utilizando sintaxis Fácil análisis de datos y generación de gráficos poco flexible Desventaja: Software privado alternativas como R (R-Commander) o PSPP 18 / 36

10 Interfaces de SPSS Editor de datos Vista de datos Esta página es visible al abrir por primera vez el Editor de datos y contiene el banco de datos. 19 / 36 Interfaces de SPSS Editor de datos Vista de variables Descripción de las variables que tenemos en el banco de datos 20 / 36

11 Interfaces de SPSS Visor Visor Ventana donde aparecen los resultados 21 / 36 Interfaces de SPSS Editor de sintaxis Editor de sintaxis Para programar en SPSS 22 / 36

12 Importación de datos Introducción de datos Importar datos SPSS nos permite importar datos en diferentes formatos.xls,.txt,.dat,.sav, etc... Archivo/Abrir/Datos / 36 Importación de datos Introducción de datos: Importar datos txt Importar datos txt 24 / 36

13 Importación de datos Introducción de datos: Importar datos xls Importar datos xls 25 / 36 Importación de datos Introducción de datos: Directa (1) Introducción directa de datos Archivo/Nuevo/Datos / 36

14 Análisis de una muestra de una variable continua Cuando analizamos una muestra de una población, lo primero que (siempre) debemos hacer es concretar cual es nuestro objetivo: Comparar unos datos observados con unos esperados: Datos categóricos (sesión 3): test binomial (datos binarios) y test chi-cuadrado (variables categóricas en general) Datos continuos: test de Kolmogorov-Smirnov (utilizado habitualmente para contrastar normalidad) Comprobar la aleatoriedad de una muestra: test de rachas Comprobar la localización de una muestra respecto a un valor prefijado: test de Wilcoxon 27 / 36 Test de Kolmogorov-Smirnov Cuando queremos comprobar si unos datos siguen una determinada distribución utilizamos el test de Kolmogorov-Smirnov. Este procedimiento comprueba si la función de distribución muestral de una muestra se parece a la función de distribución de la distribución uniforme, normal, Poisson, o exponencial. Definición de distribución muestral de una muestra: distribución discreta que asigna la probabilidad 1/n a cada valor obtenido Xj. Si la variable de la población es discreta con posibles valores x1, x2,..., xm eso significa asignar probabilidad fj /n para cada valor x1, x2,..., xm (donde fj es la frecuencia de ocurrencia del valor xj en la muestra). Ejemplo: si en una Universidad con 5000 estudiantes realizamos una muestra de 50 estudiantes con los siguientes resultados: Curso Frec. Abs La distribución muestral es: Curso Frec. Rel / 36

15 Test de Kolmogorov-Smirnov (2) En nuestro caso, como es continua utilizamos la función de distribución de la distribución muestral. Definición: es la función de distribución que aumenta 1/n a cada valor, es decir: ](observaciones x ) Fn (x ) = n Observar que si el valor aparece k veces, tiene probabilidad k/n y la f.d.m. sube a k/n en ese valor (teóricamente, si la variable es continua los valores no pueden repetirse, pero por redondeo a veces ocurre en la práctica). Observar que esta función f.d.m. es una versión empírica de la función de distribución poblacional y en principio debería parecerse (por la ley de los grandes números, Fn (x ) converge a F (x )). 29 / 36 Análisis de una muestra de una variable continua Comparar unos datos observados con unos esperados (1) Test de Kolmogorov-Smirnov Analizar/Tests no paramétricos/1 muestra / 36

16 Análisis de una muestra de una variable continua Comparar unos datos observados con unos esperados (2) Test de Kolmogorov-Smirnov Analizar/Tests no paramétricos/1 muestra / 36 Análisis de una muestra de una variable continua Comparar unos datos observados con unos esperados (3) Test de Kolmogorov-Smirnov Analizar/Tests no paramétricos/1 muestra / 36

17 Test de Wilcoxon Cuando el objetivo es comprobar la localización de una muestra respecto a un valor, analizamos su mediana y vemos si vale el valor que estamos cuestionando. En concreto, el test de rangos de Wilcoxon comprueba si la mediana muestral de una muestra difiere significativamente de un hipotético valor (que es que queremos contrastar). Por ejemplo si queremos comprobar si el capital social de 5 empresas es superior a euros. También podríamos plantearnos si es diferente. 33 / 36 Análisis de una muestra de una variable continua Localización de una muestra (1) Test de Wilcoxon Analizar/Tests no paramétricos/1 muestra / 36

18 Análisis de una muestra de una variable continua Localización de una muestra (2) Test de Wilcoxon Analizar/Tests no paramétricos/1 muestra / 36 Ejemplos Ejemplos 1 Existe información sobre el porcentaje de la población (p.e. Anon, 1991) con edad superior a 60 años en más de 200 países. La siguiente muestra aleatoria se ha obtenido de 12 de esos países: Utilizar el test de Wilcoxon par comprobar si la mediana es 12 o diferente. 2 Comprobar la normalidad de los datos anteriores. Comprobar también si pueden venir de una distribución uniforme. 3 El valor de las reclamaciones por siniestros de automóvil en un seguro durante un año ha sido de 1000 euros. Para comprobar que las del año siguiente no son diferentes realizan una muestra de 8 reclamaciones, cuyos resultados son: Están los datos de acuerdo con la suposión de la empresa? 36 / 36