Son las dispersiones diferentes?

Transcripción

1 ESTADÍSTICA BÁSICA II Prueba de significancia 2: F-test Análisis de Varianza (ANOVA) Identificación de valores anómalos (outliers) - Cochran y Grubbs test Taller 3 Leonardo Merino Science Department Swedish National Food Agency Santiago de Chile, Julio 2013 Son las dispersiones diferentes? Dispersión Es la diferencia de las dispersiones debido a errores aleatorios? La prueba-t es usada para comparar medias aritméticas, y asi, detectar errores sistemáticos. Sin embargo, en algunos casos se puede necesitar comparar sus dispersión (i.e. sus desviación estándar) para determinar si los dos grupos de datos provienen de una misma población, es decir, la diferencia de las dispersiones observadas es debido solamente a variaciones aleatorias. 1

2 Son las dispersiones diferentes? Dispersión o la diferencia es debido a los dos grupos de datos provienen de dos poblaciones diferentes? En un sentido práctico usamos la prueba-f si queremos saber si el método A es más preciso que el método B (prueba de una-cola) o si deseamos saber si las precisiones de los métodos A y B son diferentes (prueba de dos-colas). Prueba de significación 2: F-Test F-Test (detectar diferencias de precisión entre dos métodos) Calcular el F obs : comparar las dispersiones expresadas como varianzas: F obs = S 1 2 /S 2 2 El número de grados de libertad del numerador y denominador son n 1-1 and n 2-1 respectivamente. Debido a que la distribución-f no es simétrica. La aplicación del F-Test exige tomar en cuenta ciertas criterios diferentes al seguidos en el t-test para obtener el número de colas del valor crítico. 2

3 Reglas para el F-Test F = S 2 mayor /S 2 menor Es la varianza 1 mayor que la 2? Una-cola F crit = F ( ) Colas? = 0.05 (95%) Son las varianzas diferentes? Dos-colas F crit = F (/ ) No Significante No F obs >F crit? Sí Significante Observe que si S 12 < S 2 2 no hay necesidad de realizar el F-Test Buscando el valor crítico F Crit Cálcular los grados de libertad () 1 = n = n 2 1 Usar las tablas estándar de valores F Significancia: F obs > F Crit Statistically significant is not the same as scientifically important 3

4 Valores críticos del F-test (dos-colas a 95 %) (tambien usado para una-cola a 97.5% nivel de confianza) Grados de libertad Denominador Numerador Grados de libertad Valores críticos del F-test (una-cola a 95 %) (tambien usado para dos-colas a 90% nivel de confianza) Denominador Numerador

5 Cálculo del valor crítico (F crit ) en Excel FINV (probability, df numerador, df denominador) Uso del F-Test en Excel FINV (probabilidad; grados de libertad 1; grados de libertad 2) Probabilidad es la probabilidad asociada con la distribución-f Grados de libertad 1 son los grados de libertad del numerador Grados de libertad 2 son los grados de libertad del denominador Nota: La funcion F-Test en Excel da p-values ( de una-cola, si se quiere dos-colas usar la probabilidad Alpha = 1. F-Test en EXCEL (Versión )

6 Análisis de Varianza (ANOVA) Porqué ANOVA? 105 Analito conc A B C D Analista E Media s t ANOVA nos responde la pregunta: hay una diferencia significante entre las medias (o analistas), considerando que ellas son calculadas a partir de un número repetido de mediciones? El Análisis de Varianza expande la aplicación de las pruebas de significancia (t-test), al comparar varias medias y varianzas al mismo tiempo. p(p-1)/2 nos da el número de t-test que serian necesarios (p= número de medias) 6

7 Análisis de Varianza (ANOVA) Es un método de comprobar la igualdad de tres o mas medias poblacionales evaluando sus varianzas. La idea central en ANOVA esta en que nos permite separar las diferentes fuentes de variación que contribuyen a la variación total (las variaciones de las mediciones de las eventuales variaciones de la muestra); compararlas y determinar si ellas son significativamente diferentes. La más simple forma de ANOVA es la de un solo factor (one-way). Un factor es una propiedad o característica, que permite distinguir una población de otra, (un analista, un método, una misma temperatura, etc.). Cuando son considerados simultanemente dos factores (ej. temperatura y tiempo) se usa el ANOVA de dos factores (two-ways). Calculando ANOVA (1) Conceptos y parámetros estadísticos usados en ANOVA Fuentes de Suma de Cuadrados Grados de Cuadrado Medio variación (SS) libertad () (MS) Entre-grupos, SS e SS e = SS t - SS d e = p -1 MS e = SS e / e Dentro-grupos, SS d SS d = i S i ² d = p (n-1) MS d = SS d / d Total SS t SS t = t S t ² t = p n-1 - Fuentes de variación Hay dos fuentes de variación independientes: 1. Variación entre-grupos y 2. Variación dentro-grupos La variación total incluye la variación entre-grupos y dentro-grupos. 7

8 Suma de cuadrados Calculando ANOVA (2) Estadístico que mide las variaciones dentro y entre-grupos. Las sumas de cuadrados equivalen a sumas de varianzas. 2 Suma de Cuadrados (SS) SS e = SS t - SS d SS d = i s² i SS t = t s ² t Donde: SS e = Suma de cuadrados entre-grupos SS d = Suma de cuadrados dentro-grupos SS t = Suma de cuadrados total s 2 i = Varianza de los resultados dentro-grupos s 2 t = Varianza del total de resultados = Grados de libertad La suma de cuadrados dentro-grupos representa la variación debida al error aleatorio de la medición (repetibilidad), mientras que la suma de cuadrados entre-grupos representa la variación debido a las diferencias de las medias (muestras). Calculando ANOVA (3) Número de grados de libertad () Es el número de valores independientes incluídos en el cálculo del estadístico Se representa por el simbolo o df Grados de libertad () e = p -1 d = p (n-1) t = p n-1 Donde: p = número de grupos n = número de mediciones en cada grupo 8

9 Cuadrado medio Calculando ANOVA (4) El cuadrado medio puede ser considerado como un tipo de promedio de la suma de cuadrados. Cuadrado Medio (MS) MS e = SS e / e MS d = - SS d / d Donde: MS e = Cuadrado Medio entre-grupos MS d = Cuadrado Medio dentro-grupos = número de grados de libertad Calculando ANOVA (5) F-Test Los cuadrados medios son comparados usando el F-Test F obs = MS e (entre-grupos) / MS d (dentro-grupos) Si F obs > F crit la variación entre-grupos es significativa comparada con la variación dentro-grupos En ANOVA de un solo factor la hipótesis que se prueba es si: El cuadrado medio entre-grupos, MS e es mayor que el cuadrado medio dentrogrupos, MS d. Por lo tanto, el F crit usado es tomado de las Tablas de una-cola. 9

10 Calculando ANOVA (6) Expresión de los resultados de ANOVA en Excel Ejemplo: Hay diferencia significativa entre los resultados de las titulaciones de los 5 analistas? Tabla I. Resultados experimentales mg /L Grupos I II III IV V VI VII VIII IX X Test Test Test Test 4 Test 5 x s s i ² i i s i ²

11 1. Calcular la suma de cuadrados Total SS t = t S t ² Total SS t = 14*(0.36) 2 = 1.82 Grados de libertad total: t = pn-1 (p = 5, n = 3) Dentro-grupos SS d = i S i ² Dentro-grupos SS d = (2* )+(2* )+(2* )+(2* )+(2* ) = = 0.97 Entre-grupos SS e = Total SS t dentro-grupos SS d Entre-grupos SS e = = Calcular los cuadrados medios Cuadrado Medio entre-grupos MS e =SS e / e = 0.85 / 4 = 0.21 Grados de libertad entre-grupos: e = p-1 (p = 5 grupos) Cuadrado Medio dentro-grupos MS d =SS d / d = 0.97 / 10 = 0.10 Grados de libertad dentro-grupos: d = p(n i 1)(n = 3 repeticiones) d = 5 (3 1) = 10 11

12 3. El F-test El F obs es calculado por la ecuación: F obs = MS e / MS d = 0.21 / 0.10 = 2.18 F crit a un nivel de confianza de 95% con 4 y 10 grados de libertad es El F obs es menor que el F crit, por lo tanto, no hay evidencia de diferencia significativa en los resultados de los diferentes analistas. ANOVA en EXCEL (Versión ) 1. Un factor, diferentes analístas

13 x x ANOVA en una hoja de aplicación-excel Identificación de valores anómalos (outliers) Cochran test Identifica resultados que muestran significativa variabilidad entre repeticiones (varianzas) Grubbs test Identifica valores medios anómalos en una población 13

14 Cochran test i) Calcular la diferencias de cada par de resultados duplicados y elevarlos al cuadrado (D i2 ) ii) Sumar los cuadrados de estas diferencias ( D i2 ) iii) Calcular una relación dividiendo la mayor de estas diferencias cuadradas por la suma de todas las diferencias cuadradas, y multiplicar por 100. (Si n>2 se comparan varianzas en lugar de diferencias) 2 Dimax Cochran Di iv) Comparar la relación calculada con los valores crítico tomado de las tablas. Si la relación es mayor que el C crít obtenido de las tablas, el resultado puede ser considerado anómalo. Simple Grubbs test 1. Calcular la desviación estándar de todos las medias (SD) Simple Grubbs 2. Eliminar la media más alta y calcular la SD de las restantes (SD H ). 3. Eliminar la media más baja y calcular la SD de las restantes (SD L ). 4. Calcular la disminución (%) de las SD (G L o G H ) segun las ecuaciones: SD SD L H G L G H SD SD 5. El mayor de estos resultados es el estadístico Grubbs (G L og H ). 6. Si el G L o G H calculado es mayor que el G crítico (tomado de las tablas), indica la presencia de un valor anómalo. 14

15 Doble Grubbs Doble Grubbs test 6. Eliminar las dos medias mas altas y calcular la SD de las restantes (SD 2H ) 7. Eliminar los dos medias mas bajas y calcular la SD de las restantes (SD 2L ) 8. Eliminar la media mas alta y la media mas baja y calcular la SD de las restantes (SD HL ) 9. Calcular la disminución (%) de los SD (estadístico Grubbs), usando el menor de los SD obtenidos y tomando la siguiente fórmula como ejemplo: G 100 HL 1 (Los otros valores Grubbs alternativos son calculados subtituyendo SD HL por SD 2H, o SD 2L ) 10. Comparar el valor Grubbs con el valor crítico de las tablas. El resultado es considerado un valor anómalo si el Grubbs observado es mayor que el Grubbs crítico encontrado en las tablas. SD SD HL Ejemplo: Exclusion de outliers Cochran test 2 max 2 a b Cochran a b Cochran % max No a b (a-b) Sum Cochran % 82.8 Cochran crítico = 88.6% Cochran crítico > Cochran calculado = El análisis 1 es un valor anómalo 15

16 G SD H 100 SD H 1 1. Calcular G obs : Eliminar medias y calcular SD segun procedimiento Buscar valores críticos Simple (H,L) = 57.0% Doble (2H,2L) = 73.1% Doble (LH) = 76.2% 3. Es G obs > G cri? Ejemplo: Grubbs test G H % 1.02 No mg/kg H L 2H 2L LH SD x Grubbs (G X ) Secuencia para la eliminación de anómalos Eliminar no-válidos Calcular precisión Cochran? No Simple Grubbs? No Doble Grubbs? Si Si Si Eliminar laboratorio (no deben exceder 2/9) Eliminar laboratorio ( no deben exceder 2/9) Eliminar laboratorios (no deben exceder 2/9) Si Algún valor eliminado? No Fin Collaborative Study Guidelines Journal Of AOAC International Vol. 78. No

17 Valores críticos: Cochran test, 2.5 % (1-cola) y Grubbs test a 2.5 % (2-colas), 1.25% (1-cola) No de resultados (muestras o laboratorios Cochran Valor critico r = 2 Simple Grubb's 1 alto o 1 bajo Doble Grubb's 2 bajos o 2 altos Doble Grubb's 1 alto y 1 bajo Collaborative Study Guidelines Journal Of AOAC International Vol. 78. No Taller 3 Usando las fórmulas dadas en el curso: Comparar la precisión de dos métodos a un nivel de confianza de 95% Calcular la suma de cuadrados, grados de libertad y cuadrados medios Efectuar los cálculos de ANOVA e interpretar los resultados. Referencias Wilson A.L. The chemical Analysis of Water. The Royal Society of Chemistry. 2nd ed Method Validation Course LGC limited. London Statistic for Analytical Chemist. Training Course. LGC London. Miller. J.N. & Miller. J.C. Estadística y Quimiometría para Química Analítica. Prentice Hall. 4ta Ed