Identificación de Valores Atípicos

Transcripción

1 STATGRAPHICS Rev. 4/5/007 Idetfcacó de Valores Atípcos Resume El procedmeto Idetfcacó de Valores Atípcos está dseñado para ayudar a determar s ua muestra de observacoes umércas cotee o o valores atípcos. Por valor atípco (outler), queremos decr ua observacó que o provee de la msma dstrbucó que el resto de la muestra. Se cluye ambos métodos: gráfcos y pruebas estadístcas formales. El procedmeto també salva ua columa e la hoja de datos detfcado el valor atípco e ua forma que pueda ser usado e campo Seleccó e otra caja de dálogo de greso de datos. StatFolo de Ejemplo: outler.sgp Datos de Ejemplo: El archvo bodytemp.sf3 cotee los datos que descrbe la temperatura corporal de ua muestra de = 30 persoas. Se obtuvo del Joural of Statstcal Educato Data Archve ( y orgalmete aparecó e el Joural of the Amerca Medcal Assocato. A cotuacó se muestra las prmeras 0 flas del archvo. Temperature (temperatura) Geder (géero) Heart Rate (rtmo cardaco) 98.4 Male Male Female Female 7 98 Male Male 7 99 Female Male Female Male Male Male Male Female Female Male Male Female Male Male por StatPot, Ic. Idetfcacó de Valores Atípcos -

2 STATGRAPHICS Rev. 4/5/007 Igreso de Datos Los datos a aalzar cosste de ua sola columa umérca co = o más observacoes. Datos: columa umérca que cotee los datos a resumr. Seleccó: seleccó de u subgrupo de datos. Gráfca de Aberrates U bue lugar para comezar cuado se cosdera la posbldad de que ua muestra de observacoes cotee uo o más valores atípcos es el Gráfco de Aberrates. 03 Gráfca de Aberrates co Límtes Sgma Meda de la muestra = 98.49, desvacó estd. = Temperature Número de fla Este gráfco muestra cada valor de los datos juto co líeas horzotales e la meda muestral más y meos,, 3, y 4 desvacoes estádar. Putos más allá de 3 sgma, de los cuales hay uo e el gráfco ateror, se cosdera que so valores atípcos potecales y dgos de vestgacó adcoal. 006 por StatPot, Ic. Idetfcacó de Valores Atípcos -

3 STATGRAPHICS Rev. 4/5/007 Resume del Aálss El Resume del Aálss preseta u úmero de estadístcas dseñadas para ser resstetes a valores atípcos, así como el resultado de varas pruebas formales para valores atípcos. A cotuacó se muestra la seccó de arrba de la salda: Idetfcacó de Valores Atípcos - Temperature Datos/Varable: Temperature (degrees) 30 valores co rago desde 96.3 a 00.8 Número de valores actualmete ecludos: 0 Estmados de Localzacó Meda muestral Medaa muestral 98.3 Meda recortada Meda Wsorzada 98.5 Recorte: 5.0% Estmados de Escala Desvacó estd. muestral DAM/ Sb Sgma wsorzada Itervalos de cofaza del 95.0% para la meda Límte Iferor Límte Superor Estádar Wsorzada Estmados de Localzacó Se proporcoa cuatro estadístcas que estma el cetro o localzacó de la poblacó de la cual fuero muestreados los datos, cluyedo:. Meda muestral la meda artmétca de la muestra.. Medaa muestral el cetro o valor medo de la muestra. 3. Meda recortada el valor promedo después de elmar u porcetaje específco de las observacoes meores y mayores. 4. Meda Wsorzada el valor promedo después de susttur u porcetaje específco de las observacoes meores y mayores co los valores más etremos o cludos detro de ese porcetaje. S los datos provee de ua dstrbucó ormal, cada ua de las cuatro estadístcas estma la meda poblacoal μ. S embargo, las 3 últmas estadístcas so meos sesbles a la posble preseca de valores atípcos que la meda muestral ordara. E el presete ejemplo, hay muy poca dfereca etre las estmacoes. Auque o sempre es ése el caso. Estmados de Escala També hay cuatro estmados de la dspersó de los datos, cada uo de los cuales estma la desvacó estádar σ sempre que los datos provega de ua dstrbucó:. Desvacó estádar muestral la desvacó estádar usual. 006 por StatPot, Ic. Idetfcacó de Valores Atípcos - 3

4 STATGRAPHICS Rev. 4/5/007. DAM/ ua estmacó basada e la desvacó absoluta medaa (la medaa de la dfereca absoluta etre cada valor de los datos y la medaa muestral). 3. Sb ua estmacó basada e ua suma poderada de cuadrados alrededor de la medaa muestral, dode los pesos dsmuye co la dstaca a partr de la medaa. 4. Sgma Wsorzada ua estmacó basada e las desvacoes al cuadrado alrededor de la meda Wsorzada. Los últmos 3 estmadores está dseñados para ser resstetes a valores atípcos. Para los presetes datos, las estmacoes so muy smlares. Itervalos de Cofaza Se preseta tervalos de cofaza para la meda μ basados e las usuales meda y desvacó estádar muestrales y també usado las estadístcas Wsorzadas. El hecho de que los tervalos sea ta prómos mplca que los valores atípcos o so u gra problema e estos datos. Valores Etremos La seccó meda de la tabla muestra las 5 observacoes mayores y las 5 meores e los datos: Valores Ordeados Valores Estudetzados Valores Estudetzados Modfcados Fla Valor S Supresó Co Supresó Valor-Z MAD Las tres columas de la derecha muestra valores estadarzados o Putajes Z que puede ayudar a detfcar valores atípcos. Cada estadístca mde a cuátas desvacoes estádar está los valores de los datos del cetro de los datos. Valores Estudetzados S Supresó usado la meda y la desvacó estádar muestrales, cada valor de los datos es estadarzado por t = () s Estos valores mde el úmero de desvacoes estádar a las que cada valor se ecuetra de la meda muestral y correspode a la escala del eje de la derecha del gráfco de valores atípcos. La prueba de Grubbs, descrta más adelate, está basada e el valor Estudetzado más etremo, que e este caso es gual a por StatPot, Ic. Idetfcacó de Valores Atípcos - 4

5 STATGRAPHICS Rev. 4/5/007 Valores Estudetzados Co Supresó cada valor de los datos es removdo de la muestra u a la vez y la meda [] y la desvacó estádar s [] se calcula usado los - valores de los datos restates. Cada valor de los datos se estadarza etoces co t [ ] = () s [ ] Estos valores mde el úmero de desvacoes estádar a las que cada valor se ecuetra de la meda muestral cuado ese valor de los datos o se cluye e la muestra. Esto es smlar al cálculo de los resduos Estudetzados co supresó empleados e los procedmetos de regresó. La mportaca de elmar cada observacó ates de estadarzarla es que u fuerte valor atípco, partcularmete e ua muestra pequeña, puede teer u mpacto ta grade e la meda y desvacó estádar muestrales que o parezca ser usual (atípco). Valor Z MAD Modfcado - cada valor de los datos es estadarzado por M ( ~ ) = (3) MAD Estos valores usa la estmacó de sgma basada e la desvacó absoluta medaa (MAD). Iglewcz ad Hoagl (993) sugere que cualquer valor de los datos para el cual M sea mayor que 3.5 se etquete como u valor atípco, que es el crtero empleado por StatAdvsor al terpretar los resultados. Prueba de Grubbs La seccó fal de la salda muestra los resultados de ua o más pruebas formales para valores atípcos: Prueba de Grubbs' (asume ormaldad) Estadístco de prueba = Valor-P = La prmera prueba se debe a Grubbs y se calcula s 3. També llamada Prueba de la Desvacó Estudetzada Etrema (ESD), se basa e el mayor valor Estudetzado (s elmacó) t ma. El estadístco de prueba T se calcula de acuerdo co T ( ) t = (4) ( ) t ma ma Se obtee u valor apromado de P de dos colas calculado la probabldad de eceder T basada e ua dstrbucó t de Studet co - grados de lbertad y multplcado el resultado por. U pequeño valor de P lleva a la coclusó de que ese puto más etremo es de hecho u valor atípco. Para pequeñas muestras, uo puede e cambo remtrse a Iglewcz y Hoagl (993) quees da valores al 5% y % para t ma e el Apédce A de su moografía, así como para ua prueba geeralzada que volucre r > valores atípcos potecales. 006 por StatPot, Ic. Idetfcacó de Valores Atípcos - 5

6 STATGRAPHICS Rev. 4/5/007 E los msmos datos, la fla 5 es el puto más etremo, co u valor Estudetzado gual a cas 3.5. Ya que el valor de P es meor que 0.05, ese puto puede ser declarado como valor atípco estadístcamete sgfcatvo a u vel de cofaza del 5%. Esta coclusó se hace sujeta al supuesto de la prueba de Grubbs de que todas los demás valores de los datos provee de ua dstrbucó ormal. Prueba de Do Para muestras pequeñas co 4 30, també se realza la prueba de Do. Esta prueba comeza ordeado los valores de los datos de meor a mayor. Sea (j) el j-ésmo valor más pequeño de los datos, las estadístcas se calcula etoces para probar 5 stuacoes potecales: Stuacó : valor atípco a la derecha. Calcule: r = ( ) ( ) ( ) () (5) Stuacó : valor aberrate a la zquerda. Calcule: r = () ( ) () () (6) Stuacó 3: valores aberrates a la derecha. Calcule: r = ( ) ( ) ( ) () (7) Stuacó 4: valores aberrates a la zquerda. Calcule: r = (3) ( ) () () (8) Stuacó 5: valor aberrate e cualquera de los dos lados. Calcule: ( r = ma ) ( ) ( ) (), () ( ) () () (9) El estadístco calculado r se compara etoces co valores crítcos e tablas tales como el Apédce A.3 de Iglewcz y Hoagl (993). Para cada prueba, STATGRAPHICS dca s el resultado es o o estadístcamete sgfcatvo a los veles de 5% y %. U resultado sgfcatvo dca la preseca de la stuacó hpotétca. Por ejemplo, elgedo arbtraramete las prmeras 30 flas del archvo de datos, se muestra la sguete tabla: 006 por StatPot, Ic. Idetfcacó de Valores Atípcos - 6

7 STATGRAPHICS Rev. 4/5/007 Prueba de Do (asume ormaldad) Estadístco Prueba al 5% Prueba al % aberrate por derecha Sgfcatvo No sg. aberrate por zquerda 0.0 No sg. No sg. aberrates por derecha Sgfcatvo Sgfcatvo aberrates por zquerda No sg. No sg. aberrate e cada lado Sgfcatvo No sg. Se obtee resultados sgfcatvos al vel de sgfcaca del 5% para la hpótess de que este valor aberrate grade a la derecha, que este valores aberrates grades a la derecha, y que este valor aberrate grade e cualquera de los lados. Cuado se use esta prueba, debe seleccoar la hpótess de terés ates de buscar e los resultados. Opcoes del Aálss Nvel de Cofaza: vel empleado para calcular los tervalos de cofaza. Recortado: el porcetaje de datos recortados de cada lado cuado se calcula la meda recortada y las estadístcas Wsorzadas. Mostrar e Cada Lado: el úmero de valores pequeños y grades más etremos a clur e la tabla. Eclusó de Aberrates Los valores de los datos que se determa que so aberrates puede ser ecludos gráfcamete hacedo clc, co el rató, sobre los putos e el Gráfco de Aberrates y luego clc e el botó Eclur/Iclr e la barra de herrametas del aálss. 006 por StatPot, Ic. Idetfcacó de Valores Atípcos - 7

8 STATGRAPHICS Rev. 4/5/ Gráfca de Aberrates co Límtes Sgma Meda de la muestra = 98.95, desvacó estd. = Temperature Número de fla Los putos ecludos se marcará co ua X y todas las estadístcas a todo lo largo del procedmeto se recalculará s esos datos. Por ejemplo, la Prueba de Grubbs muestra ahora u Valor de P muy sgfcate para los valores más etremos e los datos restates: Prueba de Grubbs' (asume ormaldad) Estadístco de prueba = Valor-P = Resume Estadístco La vetaa del Resume Estadístco calcula u úmero de dferetes estadístcas que comúmete se usa para resumr ua muestra de observacoes: Resume Estadístco para Temperature Recueto 30 Promedo Desvacó estádar Coef. de varacó % Mímo 96.3 Mámo 00.8 Rago 4.5 Rago ercuartílco 0.9 Curtoss estadarzada.864 Las estadístcas cludas por omsó e la tabla se cotrola por las defcoes de cofguracó e la vetaa Estadístcas de la caja de dálogo Preferecas. Detro del procedmeto, se puede cambar la seleccó usado la Vetaa de Opcoes. De partcular terés aquí so el sesgo y la curtoss estadarzados. Ambas estadístcas debe estar etre y + s los datos provee de ua dstrbucó ormal. Ya que este es u supuesto de la prueba para valores atípcos, debería revsar estos valores después de eclur los valores atípcos. 006 por StatPot, Ic. Idetfcacó de Valores Atípcos - 8

9 Opcoes de Vetaa STATGRAPHICS Rev. 4/5/007 Seleccoe las estadístcas a presetar. El sgfcado de cada estadístca se descrbe e la documetacó para el procedmeto Aálss de Ua Varable. Gráfco de Caja y Bgotes Esta vetaa preseta le gráfco de caja y bgotes. Gráfca de Caja y Bgotes Temperature Este gráfco se costruye de la sguete forma: Se dbuja ua caja que se eteda desde el cuartl feror de la muestra hasta el cuartl superor. Este es el tervalo cuberto por el 50% cetral de los valores de los datos cuado se ordea de meor a mayor. Se dbuja ua líea vertcal e la medaa (el valor de e medo). S se solcta, u sgo de más se coloca e el lugar de la meda muestral. Los bgotes se dbuja desde los etremos de la caja hasta los valores mímo y mámo de los datos, a meos que haya valores usualmete muy alejados de la caja (a los cuales Tukey llama putos etremos). Los putos etremos, que so putos a 006 por StatPot, Ic. Idetfcacó de Valores Atípcos - 9

10 STATGRAPHICS Rev. 4/5/007 más de.5 veces el rago tercuartílco (acho de la caja) por arrba o por debajo de la caja, se dca por símbolos de señalameto. Cualesquera putos a más de 3 veces el rago tercuartílco por arrba o por debajo de la caja se les llama putos etremos lejaos, y se dca por símbolos de señalameto co sgos de más superpuestos por arrba de ellos. S hay presetes putos aberrates (etremos o etremos lejaos), los bgotes se dbuja a los valores mámo y mímo que o sea putos aberrates. El gráfco ateror para los datos de temperatura corporal es muy smétrco. El sgo de más para la meda se ecuetra muy cerca de la líea para la medaa, metras que los bgotes so apromadamete de gual logtud. Hay 3 putos etremos. Cuado se muestrea 30 observacoes de ua dstrbucó ormal, se puede esperar que se presete putos etremos ta solo por azar como la mtad de las veces, pero geeralmete sólo uo o dos. Putos etremos lejaos, de los cuales o hay, se preseta de maera etremadamete rara. Vetaa de Opcoes Dreccó: la oretacó del gráfco, correspodete a la dreccó de los bgotes. Muesca de Medaa: s se seleccoa, se agregará ua muesca al gráfco que muestra u tervalo de cofaza de apromadamete 00(-α)% para la medaa al vel de cofaza por omsó del sstema (establecdo e la pestaña Geeral de la caja de dálogo de las Preferecas e el meú Edtar). Símbolos de Datos Aberrates: s se seleccoa, dca la localzacó de los putos etremos o atípcos. Marcador de Meda: s se seleccoa, muestra la localzacó de la meda muestral así como la medaa. 006 por StatPot, Ic. Idetfcacó de Valores Atípcos - 0

11 STATGRAPHICS Rev. 4/5/007 Pruebas de Normaldad E la vetaa Pruebas de Normaldad se realza varas pruebas formales para ormaldad y se preseta los resultados. Pruebas de Normaldad Prueba Estadístco Valor-P Ch-Cuadrado Estadístco W de Shapro-Wlk Putuacó Z para asmetría Putuacó Z para curtoss Cada ua de las pruebas se basa e el sguete par de hpótess: H 0 : los datos provee de ua dstrbucó ormal H A : los datos o provee de ua dstrbucó ormal Pequeños valores de P (por debajo de 0.05 s se trabaja al vel de sgfcaca del 5%) coduce al rechazo de la hpótess de ormaldad. Las cuatro pruebas, cuyos detalles de da e la documetacó de Ajuste de Dstrbucoes (Datos No Cesurados), so las sguetes: Prueba Ch-Cuadrada - dvde los datos e clases o traslapadas y calcula u estadístco basado e la dfereca etre las frecuecas observadas e cada clase y las frecuecas esperadas s los datos provera de ua dstrbucó ormal. Esta prueba o debe usarse s los datos está severamete redodeados, como e el presete ejemplo, ya que la aturaleza dscreta de los datos puede fáclmete dstorsoar los resultados. W de Shapro-Wlks dspoble cuado 000, esta prueba compara el ajuste de mímos cuadrados de la líea de regresó co los datos e el gráfco de probabldad ormal. Valor Z para el Sesgo realza ua prueba basada e el sesgo estmado e los datos. Valor Z para la Curtoss realza ua prueba basada e la curtoss estmada e los datos. Ecepto por la prueba de ch-cuadrada, cuyo comportameto puede ser eplcado por el hecho de que los datos se redodearo a la décma de grado más cercaa, o hay evdeca para rechazar la hpótess de que las temperaturas corporales sgue ua dstrbucó ormal. Opcoes de Vetaa 006 por StatPot, Ic. Idetfcacó de Valores Atípcos -

12 STATGRAPHICS Rev. 4/5/007 Iclur: seleccoa ua o más pruebas para que se lleve a cabo. Gráfca de Probabldad Normal La Gráfca de Probabldad Normal muestra los datos de meor a mayor de maera que es posble juzgar s los datos provee o o de ua dstrbucó ormal. Gráfca de Probabldad Normal para Temperature porcetaje Temperature El eje vertcal se escala de tal maera que, s los datos provee de ua dstrbucó ormal, los putos deberá caer apromadamete a lo largo de ua líea recta. Para costrur el gráfco, los putos se grafca e las coordeadas ( ) Φ j j, (0) dode Φ ( u) represeta la dstrbucó ormal estádar versa evaluada e u. Las etquetas a lo largo del eje vertcal so guales a 00u%, para valores de u que va de 0.00 a Para ayudar a determar que ta cercaamete los putos correspode a ua líea recta, se puede superpoer ua líea de refereca e el gráfco que correspoda a ua dstrbucó ormal co meda μ y desvacó estádar σ. Hay dos opcoes para ajustar la líea:. Usado la medaa y los cuartles muestrales: 006 por StatPot, Ic. Idetfcacó de Valores Atípcos -

13 STATGRAPHICS Rev. 4/5/007 μˆ = meda muestral () σˆ = rago tercuartílco /.35 (). Ajustado ua regresó por mímos cuadrados de los cuatles ormales de los valores de los datos ordeados. μˆ = - tercepto / pedete (3) σˆ = / pedete (4) El prmer método es más robusto a desvacoes de la ormaldad e las colas de la dstrbucó, ya que esecalmete se apoya solo e la mtad cetral. Valores atípcos o colas largas tedrá ua mayor flueca al usar el método de mímos cuadrados. Nota: establezca el método por omsó para ajustar líeas e el gráfco de probabldad ormal usado la vetaa AED e la caja de dálogo de las Preferecas, del meú Edtar. Opcoes de Vetaa Dreccó: la oretacó del gráfco. S es Vertcal, el Porcetaje se preseta e el eje vertcal. S es Horzotal, el Porcetaje se preseta e el eje horzotal. Líea Ajustada: el método usado para ajustar la líea de refereca a los datos. S es Usado Cuartles, la líea pasa por la medaa cuado el Porcetaje es de 50 co ua pedete determada a partr del rago tercuartílco. S es Usado Mímos Cuadrados, la líea se ajusta co la regresó por mímos cuadrados de los cuatles ormales de las estadístcas de orde. El prmer método basado e los cuartles da más peso a la forma de los datos cerca del cetro y frecuetemete permte mostrar desvacoes de la ormaldad e las colas que o sería evdetes usado el método de mímos cuadrados. 006 por StatPot, Ic. Idetfcacó de Valores Atípcos - 3

14 STATGRAPHICS Rev. 4/5/007 Salvar Resultados El botó Salvar Resultados e la barra de herrametas permte que se pueda salvar los sguetes resultados e la hoja de datos:. Datos Wsorzados los datos después de la wsorzacó. El porcetaje especfcado de los valores meores y mayores habrá sdo reemplazado co los valores más etremos o recortados.. Badertas de seleccó ua columa que cotee u 0 para los valores que haya ecludo del aálss maualmete usado la característca Eclur e el Gráfca de Aberrates, y u para todos los demás valores. E otros procedmetos, grese el ombre de esta columa e el campo Seleccó para eclur del aálss automátcamete los msmos valores. 3. Valores Estudetzados (s supresó) los valores estadarzados de los datos basados e estadístcas muestrales para todos las observacoes. 4. Valores Estudetzados (co supresó) los datos estadarzados basados e la meda y la desvacó estádar calculadas después de elmar la observacó. 5. Putajes Z Modfcados los datos estadarzados basados e la medaa muestral y la estmacó MAD de sgma. 006 por StatPot, Ic. Idetfcacó de Valores Atípcos - 4

15 Cálculos STATGRAPHICS Rev. 4/5/007 Desvacó Absoluta Medaa DAM = medaa { ~ } (5) Meda Recortada e 00α% ( ) r + + = T ( α ) k ( r+ ) ( r ) ( ) ( α ) (6) = r+ dode r = α y k = ( α r ). Meda Wsorzada e 00α% T W = r = r+ ( ) + r [ + ] ( r+ ) ( r) (7) Sb S b = ( ~ ) ( u ) = ( u )( 5u ) = 4 (8) dode u ~ = 9DAM (9) Sgma Wsorzada [ ] ( T ) + r ( T ) + ( T ) r ( ) W ( r+ ) W ( r ) W = r+ S = W (0) ( r)( r ) Itervalo de cofaza Wsorzado T SW ± t r, α / () W 006 por StatPot, Ic. Idetfcacó de Valores Atípcos - 5