FCEN-UBA. 3. MEDIDAS RESUMEN: Numéricas y Gráficas. 3.1 Introducción

Transcripción

1 18 3. MEDIDAS RESUMEN: Numéricas y Gráficas. 3.1 Introducción Ejemplo. Admítelo una salchicha no es una zanahoria. Así decía la revista El Consumidor en un comentario sobre la baja calidad nutricional de las salchichas. Hay tres tipos de salchichas: i. carne vacuna, ii. mezcla (carne porcina, vacuna y de pollo) iii. pollo. Existe alguna diferencia sistemática entre estos tres tipos de salchichas, en estas dos variables? Calorías y sodio en salchichas por tipo Vacuno Mezcla Pollo Calorías Sodio Calorías Sodio Calorías Sodio Nos interesa resumir las características más importantes del conjunto de datos en una pequeña cantidad de números que sean fácilmente interpretables. La distribución de la cantidad de sodio en las salchichas de pollo muestra dos grupos distintivos. Este tipo de distribuciones no estará bien representada por las medidas resumen.

2 19 Los resúmenes pueden ser muy útiles pero no son los detalles. Generalmente los detalles agregan poco, pero es importante estar preparados para las ocasiones en que sí agregan mucho. 3.2 Centro y dispersión. Los conjuntos de datos provenientes de una población homogénea poseen, en general, dos propiedades importantes: un valor central y la dispersión alrededor de ese valor. Vemos esta idea en los siguientes histogramas hipotéticos:

3 20 Veremos medidas de la posición del centro, la dispersión y otras medidas de posición. 3.3 Media y varianza muestrales Las medidas resumen clásicas utilizan solamente operaciones aritméticas simples (+, *, raíz cuadrada) para resumir un conjunto de datos de n observaciones, x 1, x 2,..., x n. La media muestral x, como medida de la posición del centro de los datos, x x + n + x n = 1, la varianza muestral, s 2 = 1 n 1 n i= 1 ( x i x) 2 ó el desvió estándar s =DS = 1 n 1 n i= 1 ( x x) i 2 como medida de variabilidad o dispersión. El desvío estándar es la medida clásica de variabilidad. Observación: el desvío estándar (DS) tiene las mismas unidades que las observaciones. Desviación respecto de la media x i x desviación i-ésima respecto de la media. Los datos menores que la media tienen un desvío negativo. Los datos mayores que la media tienen un desvío positivo.

4 21 Si todas las diferencias son pequeñas en valor absoluto: las observaciones x i están cerca de x los datos presentan poca variabilidad, algún x x i es grande en valor absoluto se tiene mayor variabilidad. 0. Es fácil ver que ( xi x) = La varianza muestral mide la desviación cuadrática de los datos respecto de su media 2 Es más fácil realizar cálculos con desvíos cuadráticos, (xi x), que con desvíos absolutos, xi x. 3.3 Media y varianza poblacionales, para poblaciones finitas Si datos son poblacionales tendremos: como medida de posición, la media poblacional μ que se calcula como N x i μ = = 1 N como medida de dispersión, la varianza poblacional σ 2 σ N = ( x μ N i ) i= 1 ó la raíz cuadrada de σ 2, σ, que llamaremos desvío estándar.. Población ocupada, República Argentina, Octubre de Síntesis 3, INDEC, 1995 Aglomerado Urbano Pobl. Ocup. Aglomerado Urbano Pobl. Ocup. Gran Buenos Aires Gran Tucumán y Tafí Viejo Gran Córdoba Neuquén Gran Mendoza Paraná Gran Rosario Santa Rosa - Toay La cantidad media de ocupados por aglomerado urbano (n=8) es y su desvío estándar es Si excluimos Gran Buenos Aires (n=7) tendremos media = y desvío estándar = Una sola observación ha modificado fuertemente los resultados. Las medidas resumen deberían ser resistentes (varíen poco en presencia de un cambio arbitrario de una pequeña parte del lote). i

5 22 Un único dato aberrante puede producir un importante efecto adverso tanto en la media muestral como la varianza muestral 3.4 Medidas resistentes a datos extremos o aberrantes. Las medidas resistentes utilizan los datos ordenados. Ordenamos los datos, x 1, x 2,..., x n, en orden ascendente y obtenemos la muestra ordenada: x (1) x (2)... x (n) ; Podemos contar desde el más pequeño hacia el más grande, rango ascendente, ó desde el más grande hacia el más pequeño, rango descendente. Definición: La profundidad de un dato en la muestra es el menor de los rangos ascendente y descendente Mediana Definición: La mediana, M es el valor que deja la misma cantidad de los datos ordenados de cada lado. La mediana es una medida resistente de posición del centro de los datos. La profundidad de la mediana es p M = n La mediana se calcula como el valor central si n es impar y promedio de los dos valores centrales si n es par Ejemplo (continuación): La mediana es el dato con profundidad = 30. M = PROF. # hojas TALLO HOJAS : : : : : : : : : : : : : : : 147 La media, , es cercana a la mediana. Este hecho es coherente con la simetría que presentan los datos alrededor de la mediana. Una profundidad identifica dos valores de los datos, uno por debajo y otro por encima de la mediana.

6 : : 02 Comparación de media y mediana para distintos tipos de distribuciones mediante histogramas suavizados. Asimétrica a izquierda Simétrica Asimétrica a derecha Media podada Ordene los datos, descarte las 100α% de las observaciones menores y el 100α% de las observaciones mayores; calcule el promedio de los datos restantes. Se recomienda tomar α entre 0.1 y 0.2: x α = x [ n α ] + 1 n + + x 2[ n α ] n [ n α ], Otras medidas de posición A la mediana y los extremos les agregamos otro par de valores resumen, los cuartiles, que dejan un cuarto y tres cuartos de las observaciones a cada lado. profundidad del cuartil = En el ejemplo, la profundidad del cuartil es = 15 4 Por lo tanto: Cuartil inferior=63.36 Cuartil superior= Otras medidas de dispersión de los datos. distancia intercuartil (d Q ), o rango intercuartil, d Q = Cuartil superior - Cuartil inferior n + 1 4

7 24 rango, la diferencia entre los valores extremos, también refleja la dispersión pero valores sueltos afectan tanto el rango que su resistencia es despreciable. MAD: Desvio absoluto respecto de la Mediana: Es una versión resistente del desvío estándar basada en la mediana. Cómo calculamos la MAD? MAD = mediana i Ordenamos los datos de menor a mayor. Calculamos la mediana, valor en la posición (n+1)/2. ( x M ) Calculamos los desvíos absolutos de cada dato respecto de la mediana (la distancia de cada dato a la mediana, sin signo). Ordenamos los desvíos absolutos de menor a mayor. Calculamos la mediana de los desvíos. Observación: Si deseamos comparar la distancia intercuartil y la MAD con el desvío estándar es conveniente dividirlas por constantes adecuadas. En ese caso se compara el DS con d Q MAD Ejemplo: continuamos con los puntos de fusión de ceras naturales DESCRIPTIVE STATISTICS CERA MEAN SD MINIMUM ST QUARTI RD QUARTI MAXIMUM MAD d Q = Cuartil superior - Cuartil inferior = = 0.48 MAD = 0.23 / =

8 25 d Q 1.35 = 0.48 / 1.35 = SD = Las correcciones han acercado las estimaciones de la variabilidad de la MAD y la distancia intercuartil al valor obtenido para el desvío estándar. Veremos más adelante qué características deben presentar los datos para que las tres medidas de dispersión sean similares, como ocurre en el ejemplo Más medidas de posición: Percentiles La mediana de un conjunto de datos ordenados es el valor que los divide en dos partes iguales, tiene profundidad (n+1)*0.5. Es el percentil del 50% (100*0.5%). El cuartil inferior, que deja a su izquierda al 25% de los datos y se encuentra en la posición (n+1)*0.25, es el percentil del 25% (100*0.25%). El cuartil superior, tiene la posición (n+1)*0.75. Así, el valor que deja un 95% de los datos por debajo y un 5% por encima es el percentil del 95%. Gráfico de un percentil en un histograma suavizado. El percentil del 100*α%, P α, de un conjunto de datos ordenados, es el valor que deja un 100*α% de los datos por debajo y un 100*(1-α)% por encima se encuentra en la posición (n+1)* α. Cuando este valor no es entero se interpola. Percentiles de la altura (cm) de mujeres y varones de 18 años (Crecimiento y Desarrollo. Sociedad Arg. de Pediatría. 1986) Percentil 3% 10% 25% 50% 75% 90% 97% Varón Mujer

9 26 En distribuciones perfectamente simétricas los percentiles del 100*α% y del 100*(1-α)% equidistan de la mediana. La distribución de las alturas de mujeres y varones es aproximadamente simétrica, pero la de los pesos no lo es.

10 27 4. Box Plots o Gráficos Caja El boxplot es la representación gráfica de la mediana, los cuartiles, y el máximo y mínimo siempre que no haya valores atípicos (outliers). En este caso el máximo y el mínimo se reemplazan por los valores adyacentes superior e inferior respectivamente y los valores atípicos se grafican por separado. Se trata de los valores externos que pueden clasificarse como moderados o severos. Permite extraer los siguientes aspectos del lote: Posición del centro - Dispersión - Asimetría - Longitud de la cola Puntos que yacen fuera del conjunto. 4.1 Identificación de valores atípicos. Utilizamos una medida de dispersión que sea insensible a los valores atípicos, la distancia intercuartil y definimos puntos de corte para detectar outliers: Valla Interna Inferior = QI -1.5 d Valla Interna Superior = QS +1.5 d Valla Externa Inferior = QI - 3 dq Valla Externa Superior = Q + 3 d S Q Q Q VALOR ADYACENTE valor más cercano, mayor o igual, INFERIOR (VAI) =. a la valla interna inferior VALOR ADYACENTE valor más cercano, menor o igual, SUPERIOR (VAS) = a la valla interna superior.

11 28 Si no hay valores atípicos: VAI = mínimo VAI = máximo 4.2 Construcción del Box Plot Construiremos un boxplot para las 15 concentraciones siguientes: de CO2 (miligramos/m 2 *minuto ) medidas en diferentes puntos de un depósito de residuos patológicos El boxplot se construye dibujando: i) una caja cuyos extremos son los cuartiles (Q I =14.17) y (Q S =206.43) y con una barra vertical en la mediana (M= 41.28), ii) una línea de cada extremo de la caja hasta el corresp. valor adyacente (VAI = VAS = ), iii) los valores que caen fuera de las vallas internas pero dentro de las externas son outliers moderados, iv) los valores que caen fuera de las vallas externas son outliers severos. OJO! no confundir la valla con el valor adyacente! Cálculos parciales La mediana (M= 41.28) se encuentra en la posición (15+1)/2 = 8 El cuartil inferior (Q I =14.17) en la posición (15+1)/ 4 = 4 El cuartil superior (Q S =206.43) en la posición (15+1)*3/4 = 12 distrancia intercuartil (d Q ) = Q S - Q I = = * d Q = 1.5 * = * d Q = 3 * = Q I - 1.5* d Q = Q I - 3* d Q = Q S + 1.5* d Q = Q S + 3* d Q =

12 29 Resistencia del Boxplot Un gráfico similar podría construirse en base a la media y el desvío muestrales. Tal gráfico carecería de resistencia. Porqué es esto importante? 4.3 Comparación de lotes Boxplots del contenido calórico de tres tipos de salchichas

13 30 Diagramas-tallo hoja de los datos de calorías en diferentes clases de salchichas. Vacuno Mezcla Pollo Tallo Hojas Tallo Hojas Tallo Hojas De los Box-Plots: Las salchichas de pollo, como grupo, contienen menos calorías que las de carne o las de mezcla: la mediana del contenido calórico de las de pollo está por debajo del cuartil inferior de las otras distribuciones. Todos los tipos muestran una gran dispersión entre marcas; las salchichas de pollo no garantizan una comida de bajas calorías. De los diagramas Tallo-Hoja: Para los datos de mezcla vemos que se distinguen claramente dos grupos de marcas, la distribución tiene dos picos y un outlier en la cola inferior. Los cuartiles, Ci= y Cs=179.75, están aproximadamente en el centro de cada uno de los grupos, de manera que gran parte de la distancia intercuartil (d c ) está dada por la distancia entre los grupos. Por esta razón el 1.5* d c que se utiliza para graficar el box-plot no distinguió al outlier. Aunque en el diagrama correspondiente a las salchichas de pollo no se observan dos grupos separados, como en vacuno y mezcla, pueden verse claramente dos picos. Retomemos el ejemplo de la cantidad de sodio en las salchichas de pollo, cuyo diagrama tallo hoja tenemos a continuación Esta distribución bimodal también sugiere la presencia de dos grupos en los datos.

14 31 Los valores ordenados de la cantidad de sodio en salchichas de pollo son: La media (449,66) se encuentra en una zona donde no hay datos y la mediana (426) cerca del borde de uno de los dos grupos. El intervalo ( x s, x + s ) no es una buena representación de los datos y el gráfico caja tampoco. Ni la media ni la mediana ni el boxplot dan una buena información sobre este tipo de datos porque no está presente en ellos un centro claro. 4.4 Ejemplos con Valores atípicos Ejemplo 1: En 1985 los científicos británicos anunciaron un agujero en la capa de ozono de la atmósfera terrestre sobre el polo sur. El reporte de los británicos fue descartado al comienzo pues estaba basado en instrumentos terrestres enfocados hacia arriba. Observaciones más completas, obtenidas por instrumentos satelitales mirando hacia abajo, no habían mostrado nada inusual. Luego, un análisis más exhaustivo de las mediciones satelitales, reveló que las lecturas de

15 32 ozono en el polo sur eran tan bajas que el programa de computadora que las analizaba las había suprimido automáticamente como outliers en forma equivocada. Se reanalizaron las lecturas desde Éstas mostraron un agujero de tamaño creciente en la capa de ozono que no tenía explicación. Ejemplo 2: Mediciones obtenidas por Newcomb entre Julio y Septiembre de qué variable ha sido medida? Newcomb midió cuánto tardó la luz en llegar, desde su laboratorio sobre el río Potomac a la base del monumento a Washington y volver, una distancia total de 7400 metros. es necesario tener la descripción del instrumento juzgar si la variable medida es la adecuada (conocimiento experto) sobre el campo particular en estudio. Por ejemplo Newcomb construyó aparatos nuevos y complicados para medir el tiempo en que pasaba la luz. Nosotros aceptamos el juicio de los físicos sobre que este instrumento es adecuado para su propósito y más preciso que instrumentos anteriores. Codificación: La primera medición del tiempo de paso de la luz era segundos. Corremos al punto decimal nueve lugares a la derecha, obteniendo y luego registramos únicamente el desvío respecto de Luego 28 es la versión corta de y -2 se corresponde con Variación Los aparatos cambian levemente con la temperatura, la densidad de la atmósfera cambia día a día y así siguiendo. Incluso los mejores experimentos producen resultados variables. Esta es la razón porque Newcomb tomó muchas mediciones en vez de una. En general, el promedio de varias observaciones es menos variable que el de una única observación. Poniéndonos en lugar de Newcomb, estamos tentados de calcular el promedio de los tiempos de pasaje de la luz, convertir este tiempo en una estimación nueva y mejor de la velocidad de la luz y correr, para hacernos una reputación, a publicar el resultado.!!peligro!!

16 33 Histograma de las 66 mediciones de Simon Newcomb Un dato atípico en la brillantez vista por un satélite de vigilancia puede representar el lanzamiento de un misil. Un dato atípico de las mediciones de actividad eléctrica en un detector utilizado en física de altas energías puede ser evidencia de una nueva partícula elemental. En tales casos la distribución general simplemente provee un patrón de referencia sobre el cual sobresalen los eventos extraordinarios. Cuando los datos atípicos son inesperados e indeseados se debería hallar una causa clara para cada outlier, como la falla del equipo durante el experimento o un error en la transcripción de los datos, en esos casos, se puede corregir o eliminar el dato. Cuando no se encuentra ninguna causa es muy difícil tomar una decisión. Newcomb finalmente eliminó el peor outlier (-44) pero retuvo el otro. La media de todas las 66 observaciones es 26.21; la media de las 65 observaciones retenidas es El gran efecto del único valor -44 sobre la media es la razón para eliminarlo.

17 34 Este gráfico sugiere levemente que la variabilidad (dispersión vertical) es decreciente con el tiempo. Quizás, a medida que ganó experiencia, Newcomb se volvió más experto en el uso de su equipo. Los efectos de aprendizaje como el que muestran los datos de Newcomb son muy frecuentes y deben ser tenidos en consideración. Si dejamos las primeras 20 observaciones de Newcomb para el aprendizaje, la media de las 46 restantes resulta Las mejores mediciones modernas sugieren que el verdadero valor para el tiempo de paso de la luz del experimento de Newcomb es Eliminar los outliers ó fijar un período de aprendizaje, acercan los resultados al verdadero valor. Pero si es posible, siempre, hay que hallar la razón de un outlier. RESUMEN Una medida resistente no se ve afectada por cambios en los valores numéricos de una pequeña proporción de la cantidad total de observaciones, sin importar cuánto cambien estos valores. El centro de una distribución es medido por la media, la media α podada ó la mediana. La media es el promedio aritmético de todos los datos. La media α podada es el promedio aritmético de los datos excluidos el 100*α% de los valores mayores y el 100*α% de los valores menores. La mediana es el punto medio de los datos ordenados. La distancia intercuartil provee una medida resistente de la dispersión o variabilidad de la distribución. Los cinco números resumen, dados por la mediana, los cuartiles, el máximo y el mínimo proveen una descripción rápida de la forma global de una distribución. Los Boxplots, basados en los cinco números resumen, son útiles para comparar varias distribuciones. Las vallas internas y externas son útiles para identificar potenciales valores atípicos (outliers).

18 35 La varianza muestral s 2 y especialmente su raíz cuadrada, el desvío estándar DS, son medidas muy usuales, pero no resistentes, de la dispersión de los datos alrededor de la media. 5. Curvas de densidad Existe alguna manera de describir una distribución completa mediante una única expresión? un diagrama tallo-hoja no es práctico pues se trata de demasiados datos un histograma elimina los detalles y depende de la elección de las clases la mediana y los percentiles registran algunos aspectos específicos de los datos. Si queremos tener una descripción de la forma global de la distribución, omitiendo valores atípicos y otras desviaciones del patrón general, la respuesta es sí. Histograma del puntaje de vocabulario y la aproximación por una curva gaussiana. Aproximamos al histograma por una curva suave que muestre la forma de la distribución sin las irregularidades del histograma. En este ejemplo se trata de la curva gaussiana que describiremos en las próximas secciones. Observe que la escala de frecuencias relativas (Frecuencias/ 947; ) coincide en este caso con la escala de densidad porque la longitud de los intervalos de clase del histograma es Superposición de una curva normal a un histograma a mano

19 36 1 grafique una curva simétrica de altura = y puntos de inflexión en x DS DS 2π ±. la escala en el eje vertical es la frecuencia relativa, siempre que la longitud de la base de los rectángulos de clase sea 1. En cualquier otro caso, en el eje vertical se grafica (la frecuencia relativa de cada clase) / (longitud de la clase) de manera que el área de un rectángulo = (longitud de la base)*(altura del rectángulo)= frecuencia relativa Verifiquemos este procedimiento para la superposición que muestra la figura sabiendo que la media del puntaje es , el desvío es , la longitud del intervalo de clase es 1 y 1 DS 2π = Propiedades de una curva de densidad Como la frecuencia relativa de todas las observaciones es 1, requerimos que el área total bajo la curva sea 1. El área bajo la curva y sobre un intervalo, correspondiente a cualquier rango de valores de la variable, es la proporción de observaciones que caen en ese rango. La curva describe la forma de la distribución y el área bajo la curva = frecuencia relativa. Es llamada curva de densidad de la distribución. El eje vertical mide la frecuencia relativa/(longitud del intervalo de clase). Una curva de densidad con la forma apropiada suele ser una descripción adecuada del patrón global de una distribución. Los datos atípicos, que son desviaciones del patrón global, no están descriptos por la curva.

20 37 Media y mediana en una curva de densidad simétrica Media y mediana en una curva de densidad asimétrica a derecha Las medidas de posición y dispersión también se aplican al caso de curvas de densidad. El p-ésimo percentil, x p, en una curva de densidad es el punto que deja a su izquierda un p % del área bajo la curva y el (100 - p) % restante, a la derecha. p % del área (100 - p) % del área x p En particular la mediana es el punto de áreas iguales, es decir, el punto que deja áreas iguales de cada lado. Si pensamos a las observaciones como pesos en una vara delgada la media es el punto en que la vara quedaría equilibrada al poner un fiel justo debajo de él. Esta interpretación se extiende a la curva de densidad.

21 38. La media es un punto de equilibrio de una curva de densidad. Las curvas de densidad simétricas son perfectamente simétricas a pesar que los datos reales rara vez mostrarán simetría perfecta. Debemos distinguir los parámetros poblacionales, la media = μ y el desvío = σ, de una curva de densidad de los números x y DS calculados a partir de las observaciones. 5.3 Distribuciones Normales o Gaussianas. Todas las distribuciones gaussianas tienen la misma forma. Vemos dos curvas normales con μ= 1 y μ=5 y σ=1. Dos curvas normales con diferente σ.

22 39 Podemos localizar σ a ojo en una curva normal. A medida que nos movemos en ambas direcciones desde el centro μ de la curva, ésta aumenta su pendiente hasta un punto (punto de inflexión) en que la pendiente empieza a disminuir Los dos puntos en los cuales ocurre este cambio de curvatura están localizados a una distancia σ a cada lado del centro μ. Recuerde que μ y σ sólos no determinan la forma de una distribución en general. Éstas son propiedades de las distribuciones gaussianas. Existen otras distribuciones no gaussianas con forma de campana. Las curvas de densidad normal están descriptas por la siguiente ecuación x μ 2 1 ( ) y = e σ (2) σ 2π Observación: la ecuación (2) de la curva queda completamente especificada cuando se conocen los valores de μ y σ.

23 40 Las distribuciones normales proveen buenos modelos para puntajes de pruebas tomadas en poblaciones grandes (pruebas habilidades escolares y muchas pruebas psicológicas), mediciones cuidadosamente replicadas y de la misma calidad (datos de Newcomb tabla 2.1 sin outliers), características de una población biológicamente homogénea (longitudes de las cucarachas, rendimiento de la soja y pérdida de humedad en carne de pollo envasada). Las distribuciones de las siguientes variables, en cambio, son generalmente asimétricas: variables económicas (ingreso personal, ventas en firmas comerciales), tiempos de sobrevida (de pacientes de cáncer luego de realizado un tratamiento), tiempo de vida (de componentes mecánicos o electrónicas). A pesar que la experiencia puede sugerir si un modelo gaussiano es o no factible en un caso particular, es muy riesgoso suponer la normalidad de los datos sin inspeccionarlos. Observaciones El desvío estándar no significa nada si los datos no son Normales o aproximadamente Normales La media no describe el centro si los datos no son simétricos La mediana y la distancia intercuartil pueden fallar si los datos forman grupos El significado de las medidas resumen está atado a la forma de la distribución de los datos. 5.4 Propiedades de la distribución Normal o gaussiana Sabemos que una transformación lineal no modifica la forma global de una distribución. a) Cualquier variable, X*, obtenida de una variable X que se distribuye de acuerdo con la curva Normal con media μ y desvío σ (X ~ N(μ,σ 2 ) ) mediante una transformación lineal, sigue siendo teniendo distribución Normal (es decir gaussiana). b) Si los valores, x, de la variable X se transforman por la variable transformada, X*, tendrá media x * = a + bx con b > 0 a + bμ y desvío b σ. c) Si una variable X tiene distribución normal con media μ y desvío σ entonces la variable estandarizada

24 41 Z = X μ σ tiene una distribución normal con media 0 y desvío 1 (N(0,1)). Esta es llamada distribución normal estándar. Cuando la distribución de los valores de una variable es aproximadamente normal, las observaciones son frecuentemente estandarizadas restándole la media y dividiéndolas por el desvío. La estandarización de una observación indica a cuantos desvíos se encuentra de la media y para qué lado. Ejemplo. Las alturas de las mujeres jóvenes argentinas están distribuídas (aprox.) normalmente con μ = 160 cm σ = 4 cm. La altura estandarizada sigue una distribución normal estándar. Z altura -160 = 4 Una mujer que mide 170 cm tiene una altura estandarizada Z = = 4 es decir 2.5 desvíos estándar por encima de la media. Análogamente una mujer que mide 155 cm tiene una altura estandarizada Z = = 4 es decir 1.25 desvíos estándar por debajo de la media Qué proporción de mujeres miden menos de 155 cm? Esta frecuencia relativa es el área bajo la curva N(160, 4 2 ) a la izquierda del punto 155. Como la altura estandarizada es -1.25, esta área es la misma que el área bajo la curva normal estándar por debajo de

25 42 El área bajo la curva y sobre el punto 155 es cero, por lo tanto la frecuencia relativa de los valores de la variable que son estrictamente menores que él (X < 155) es igual a la frecuencia relativa de los valores de la variable que son menores ó iguales que él (X 155). Esto no es verdad en conjunto de datos reales, que pueden contener la altura 155 cm. 5.5 Función de distribución acumulada. Si Z es una variable cuya función de densidad está dada por la curva normal estándar, el área bajo dicha curva para valores menores o iguales que z es la frecuencia relativa de los valores de Z que son menores o iguales que z se representa por φ(z) se denomina Función de Distribución Acumulada de la variable Z se calcula mediante la siguiente integral, que está tabulada para diferentes valores de z y también es calculada por los programas estadísticos usuales, Φ( z x 1 z) = e 2 2π 2

26 Gráfico de probabilidad normal. Gráfico cuantil-cuantil. Un histograma o un diagrama tallo-hoja pueden revelar aspectos no normales en los datos como los outliers (Histograma de los datos de Newcomb ) o mostrar una pronunciada asimetría (ejemplo de gastos, tallo-hoja) Una medida más sensible para determinar si el modelo normal es adecuado para un conjunto de datos está provista por un gráfico cuantil-cuantil. Cuantil es la denominación alternativa a percentil cuando hablamos de proporciones en vez de porcentajes. La idea general de un gráfico cuantil-cuantil es comparar dos distribuciones graficando sus cuantiles (ó sus percentiles) uno versus el otro. Si las distribuciones son aproximadamente iguales sus cuantiles serán también aproximadamente iguales. El gráfico cuantil-cuantil estará cerca de la recta y = x. Si nó, las desviaciones de esta recta mostrarán cómo difieren las distribuciones. Estamos interesados en una aplicación de esta idea general: la comparación de la distribución observada de la variable, con la distribución normal. La idea de un gráfico cuantil-normal para un conjunto de observaciones es considerar a cada observación como el cuantil de la distribución observada y graficarlo contra el cuantil de la distribución normal estándar. La menor de 20 observaciones, es el cuantil 0.05 de los datos, porque 1/20 ó 0.05 de las observaciones son menores o iguales que ella. Graficamos cada observación contra el valor de la normal que deja la misma proporción de la distribución por debajo.

27 44 Gráfico cuantil-normal para los datos del tiempo de paso de la luz de Newcomb. La mayoría de los puntos están cerca de una recta, indicando que un modelo gaussiano ajustaría bien. Los dos valores atípicos se desvían de la recta y muestra cómo responde el gráfico a colas pesadas a izquierda ó a outliers bajos. En una distribución asimétrica a izquierda las observaciones menores yacen notoriamente por debajo de la recta trazada por cuerpo principal de las observaciones mayores. El gráfico correspondiente a los datos del contenido calórico en salchichas de mezcla de carnes, muestra claramente dos grupos (clusters) y el outlier bajo. Es visible la asimetría a derecha del grupo de los valores más bajos por la curvatura de dichos puntos. Al trazar una recta por los primeros 4 puntos del grupo los otros cuatro quedan por encima de dicha recta. El diagrama tallo-hoja muestra muy claramente la distribución de este pequeño conjunto de datos, que es definitivamente no gaussiano. Comparar el diagrama tallo-hoja con el gráfico cuantil normal nos permite ver claramente como es el comportamiento de un gráfico cuantilnormal.

28 45 Gráfico cuantil-normal para los datos del gasto de los clientes en un almacén. La marcada asimetría a derecha de esta distribución se destaca al trazar una recta por los puntos que se encuentran más abajo, que corresponden a las observaciones menores. Las observaciones mayores están sistemáticamente por encima de esta recta, indicando asimetría a derecha. No se observan outliers individuales. Gráfico cuantil-normal para los datos del tiempo de paso de la luz de Newcomb con los outliers

29 46 omitidos. Las únicas desviaciones importantes de la normalidad son los numerosos grupitos horizontales de datos. Estos representan observaciones con el mismo valor, debidas a la limitación en la precisión y no traen problemas al adoptar el modelo normal Los datos reales, casi siempre, mostrarán algún apartamiento del modelo gaussiano teórico. Es importante al examinar un gráfico cuantil-normal buscar formas que muestren un claro apartamiento de la normalidad. RESUMEN Una curva de densidad frecuentemente permite describir en forma compacta el patrón general de una distribución. El área por debajo de una curva de densidad es una frecuencia relativa. El área total es 1. La media μ (punto de equilibrio), la mediana (punto de áreas iguales) y otros percentiles pueden ser localizados bajo una curva normal. El desvío estándar σ no puede localizarse a ojo en la mayoría de las curvas de densidad. La media y la mediana coinciden para curvas de densidad simétricas, pero la media de una curva asimétrica a derecha está localizada más lejos hacia la cola larga que la mediana. Las distribuciones normales, ó gaussianas, están representadas por curvas simétricas con forma de campana. La media μ y el desvío estándar σ especifican completamente la distribución N(μ,σ 2 ). La media es el centro de simetría y σ es la distancia desde μ hasta los puntos de inflexión de la curva. Todas las curvas normales coinciden cuando las mediciones están realizadas en unidades de σ alrededor de la media. Estas son llamadas mediciones estandarizadas. Si X tiene distribución N(μ,σ 2 ) luego la variable estandarizada Z = (X-μ)/σ tiene distribución normal estándar N(0,1). Las frecuencias relativas de cualquier distribución normal pueden calcularse a partir de la distribución N(0,1).