Ajustando Distribuciones a los Datos.

Transcripción

1 Ajustado Distribucioes a los Datos. Prof. Mariela J. Curiel H. Eero, 2009 (por icluir la bibliografía) Técicas para ajustar ua distribució teórica Establecer ua Hipótesis acerca de la Distribució. Aálisis Exploratorio de los Datos Calcular el(los) parámetros: Maximulikelihood estimators (MLE) Determiar cuá represetativa es la distribució escogida: Métodos Gráficos: qqplots, p-pplots, Otro tests: chi-cuadrado, kolmogorov-smirov, Aderso-Darlig.

2 Distribucioes Empíricas read read read write write write write write write seek P(read)= 0.3 P(write)= 0.6 P(seek)=0. F(read)=0.3 F(write) = 0.9 F(seek) = Simulació F(x) D = R(0,) If D <= 0.3 the read If D <= 0.9 the write Else seek 3/4 2/4 /4 X() X(2) X(3) X(4) X(5) Técicas para ajustar ua distribució teórica: Hipótesis Ver qué feómeos modela usualmete ua distribució: Ejm. Tiempos etre llegadas, tiempo para que falle la pieza de u equipo, tiempos de servicio e el CPU (expoecial). Errores de varios tipos (Normal), etc. Valores posibles de lo que se modela, ejm. Tiempos de servicio o so egativos, por lo tato o se puede usar ua distribució ormal. Histogramas 2

3 Distribucioes Teóricas: Hipótesis quatile Depth Sample value(s) Midpoit Media i = (+)/2 X i X i Quartiles j = ( i + )/2 X j X (-j+) (X j + X (-j+) )/2 Octiles k= ( j + )/2 X k X (-k+) (X k + X (-k+) )/2 Extremes X X (X + X )/2 -Si la distribució es simétrica los 4 putos medios debería ser aproximadamete iguales. -Si la distribució es sesgada a la derecha (izquierda) los 4 putos medios (de arriba hacia abajo) debería ir creciedo (decreciedo) Otros Estadísticos de Iterés CV: cv = (o cercao a ) sugiere ua distribució expoecial. Para las distribucioes Gamma o Weibull, cv es mayor, igual o meor que uo, si el parámetro shape es meor, igual o mayor que, respectivamete. Skewess (v): es ua medida de la simetría de la distribució. Para distribucioes simétricas como la ormal, v=0, si v>0, la distribució es sesgada a la derecha (v=2 para la distribució expoecial). Si v < 0 la distribució es sesgada a la izquierda. 3

4 Determiar la distribució de los datos Cómo se puede saber si los datos se ajusta a ua distribució teórica coocida? HISTOGRAMAS U histograma es ua estimació gráfica de la fució de desidad que correspode a u cojuto de datos: X, X 2,...X. Es ua distribució empírica de los datos Para hacer u histograma se divide los datos e itervalos disjutos, los cuales debería teer el mismo acho. 4

5 Determiar la distribució de los datos Después se compara el histograma co fucioes de desidad coocidas a fi de determiar qué fucioes se asemeja al histograma costruido [,2) [2,3)... [2,3) La altura cueta las uidades e cada clase. Número de Clases Regla empírica: etre 5 y 5 Regla de Sturges k =+ log2 5

6 Determiar la distribució de los datos Si el tamaño del itervalo es, el histograma sugiere ua fució que crece y decrece (ormal, beta, etc). Si el tamaño del itervalo es 5 [,5), [5, 0), [0, 5). El histograma sugiere ua fució decreciete (expoecial) Determiar la distribució de los datos Variado el tamaño del itervalo [,5) [5,9) [9,3) 6

7 Histogramas e R totall <- sca("tlecturas9.txt") Lee u archivo de datos co ua sola hist(totall) Columa. hist(totall, mai= Histograma de los datos ) Hace el histograma 7

8 Estimació de los Parámetros Existe varios métodos para la estimació de los parámetros de ua distribució, etre ellos: Momet matchig method. Método de máxima verosimilitud 8

9 Estimador de Máxima Verosimilitud La idea detrás de este método, es ecotrar aquellos parámetros de la distribució subyacete (la que se platea e la hipótesis) que da a los valores de la muestra la probabilidad más alta. A cotiuació se da la explicació del método para u solo parámetro. Estimador de Máxima Verosimilitud Sea X ua variable aleatoria cotiua o discreta, cuya fució de desidad f(x) depede de u úico parámetro θ. Supogamos que se observa la variable veces (se efectúa el experimeto veces) y se obtiee ua muestra de úmeros x,..x. La fució de verosimilitud es la probabilidad de observar ciertos valores e la muestra X, X2,.X, dado que estas variables viee de ua misma distribució. Queremos la probabilidad cojuta de que X = x, X 2 =x 2, X =x. A esta fució la llamaremos L. L tiee u parámetro descoocido θ. 9

10 Estimador de Máxima Verosimilitud Se puede escribir de la siguiete forma:, X 2, K, X ; θ ) = f ( X i ; ) i= L( X θ Supoiedo que las variables so idepedietes. Deseamos ecotrar la máxima probabilidad, es decir, el máximo valor de la Fució. Queremos ecotrar el valor de theta, para el que el valor de L sea lo mas grade posible. La verosimilitud de u cojuto de datos, es la probabilidad de obteer esos datos, dado que se ha elegido u determiado modelo de probabilidades teórico. Si L es ua fució derivable e theta, etoces la codició ecesaria para que tega u máximo, es que la primera derivada co respecto a theta sea 0. Estimador de Máxima Verosimilitud Se puede escribir de la siguiete forma:, X 2, K, X ; θ ) = f ( X i ; ) i= L( X θ Supoiedo que las variables so idepedietes. Si f(x) es o-egativa u máximo de L será positivo. Como el logaritmo atural es ua fució mootoicamete creciete, tedrá máximos e los putos e los que L tega máximo. Es más fácil usar logaritmos porque las sumas se covierte e productos. 0

11 Estimador de Máxima Verosimilitud Pasos a seguir: Dada ua fució de distribució f, calcule la fució de máxima verosimilitud L. Tome logaritmos de esta expresió. Derive co respecto a theta. Iguale el resultado a cero. Despeje theta Verifique que es u máximo, obteiedo la seguda derivada y chequeado que el valor es egativo. Estimador de Máxima Verosimilitud Ejemplo para la distribució Expoecial: L ( X l( L ( X, X l( 2,, L X X 2 ) θ, L X ; θ ) = X i θ i = = l( X i θ i = ) θ i = i = e θ ; θ )]) = l( θ e θ X i θ X i ) = Difereciamos co respecto a theta e igualamos a 0 l( L) = + θ θ θ X 2 i i= θ = i = X i

12 X θ = i U estimador del parámetro de la distribució es el promedio. Estimador de Máxima Verosimilitud Obteemos que theta es el promedio de las muestras. Nota: la metodología o siempre puede aplicarse. No tiee ua forma cerrada o la derivada o se puede obteer usado álgebra sio métodos uméricos. Las distribucioes Gamma, Weibull y Beta so ejemplos de estos casos. 2

13 Estimador de Máxima Verosimilitud Cómo lo hacemos e R? Teemos dos formas: ) mle(), icluido e el paquete stats4 2) fitdistr() icluido e el paquete MASS > library(mass) fitdistr(lecturas, "log-ormal") mealog sdlog ( ) ( ) fitdistr(cometarioss[[2]], "gamma") shape rate ( ) ( ) > fitdistr(cometarioss[[2]], "weibull") shape scale ( ) (0.4835) Warig messages: : NaNs produced i: dweibull(x, shape, scale, log) 2: NaNs produced i: dweibull(x, shape, scale, log) Distribució Teórica: Cuá bueo es el ajuste? - Procedimietos Gráficos: QQplots- PPplots, etc. 2.- Tests para revisar la bodad del ajuste: Jicuadrado, Kolmogorov Smirov, Aderso- Darlig, etc. 3

14 Cómo se hace los qq-plots e R? > fitdistr(lecturass, "log-ormal") mealog sdlog ( ) ( ) > l2 <- rlorm(=298, mealog=-2.37, sdlog=0.2) > qqplot(l2, lecturass) 4

15 Distribució Teórica: Cuá bueo es el ajuste? Q-Qplot Cosiste e graficar (to plot) los cuatiles teóricos (y i ) versus los cuatiles observados (x i ). Si las observacioes sigue la distribució teórica, el qqplot debería ser lieal. 5

16 QQPlot Supoga que y i es el i-ésimo cuatil observado. Si se quiere el iésimo cuatil teórico x i se ecesita ivertir la fució de distribució acumulada. Por ejemplo, si F(x) es la CDF para la distribució supuesta: q i = F(x i ) y x i = F - (q i ) Fialmete, se coloca u puto e la posició (x i, y i ) del plot. Ejemplo Para las distribucioes que tiee ua fució iversa, es fácil determiar los cuatiles teóricos. Para otras distribucioes uo puede usar tablas e iterpolar valores si es ecesario. 6

17 Otros gráficos P-P plots: e lugar de graficar los X s uo grafica las probabilidades o cuatiles. El Q-Qplot amplifica las diferecias e las colas y el P-Pplot (válido para variables cotiuas y discretas) las diferecias e el cuerpo de la distribució. Plot de diferecias de las fucioes de distribució: ^ F qi = F(xi) ( x) F ( x) Test de Kolmogorov-Smirov El test de Kolmogorov-Smirov es u test de ajuste que compara ua fució de distribució empírica co la fució de distribució que supoemos tiee los datos F 0.. La Hipótesis Nula H 0 es: Los datos sigue F 0 Hipótesis Alterativa: Los datos o sigue la distribució especificada. 7

18 Test de Kolmogorov-Smirov La idea es la siguiete: si la hipótesis es correcta, etoces la fució de distribució empírica de la muestra debe parecerse a la fució. La fució de distribució empírica es la fució que va de e, y que toma los valores:. es la proporció de elemetos de la muestra que so meores o iguales a x. 3/4 /2 D+ D- F 0 (x4) (X(3)) /4 X() X(2) X(3) X(4) 8

19 Test de Kolmogorov-Smirov Para calcularla basta evaluar la diferecia etre y e los putos. D i = max F0 ( Xi), F0 ( X i D + i i ) D - Caso : todos los parámetros so coocidos Caso 2: Distribució Normal Caso 3: Distribucio Expoecial Caso 4: Weibull Test de Kolmogorov-Smirov Caso 3: se rechaza Ho si: D > c " α > ks.test(cometarioss[[2]], "pgamma", shape=.00, rate=0.24) Oe-sample Kolmogorov-Smirov test data: cometarioss[[2]] D = , p-value = alterative hypothesis: two-sided 9

20 Test de Kolmogorov-Smirov > ks.test(cometarioss[[2]], "plorm", mealog=0.83, sdlog=.27) Oe-sample Kolmogorov-Smirov test data: cometarioss[[2]] D = 0.07, p-value = alterative hypothesis: two-sided H o se acepta si el p-valor es mayor que u ivel de sigificacia de al meos el 5% (0.05) Otras fucioes a revisar: goodfit (library vcd), ad.test (test de Aderso Darlig Librería ortest) Test de Kolmogorov-Smirov Alguas desvetajas: La forma origial del test sólo podía aplicarse si se coocía los parámetros de la distribució, i.e. los parámetros o podía ser estimados de los datos. Más recietemete, sí se permite la estimació de los parámetros para alguas distribucioes como la logormal, lormal, expoecial, Weibull y log-logistic. Da el mismo peso a todas las diferecias si importar si es el cuerpo o e la cola de la distribució y e alguos casos las pricipales diferecias está e las colas. 20

21 Test de Kolmogorov-Smirov Alguas desvetajas: Dado que la distribució tiee que estar completamete especificada y por darle igual peso a todas las diferecias, muchas veces se prefiere el Test Aderso-Darlig. Sólo se puede aplicar a determiadas distribucioes: ormal, log-ormal, expoecial, weibull. R S Datos Reales ExpertFit: shape=.2, scale= 6.35 (es el tercer mejor modelo, el primero es Beta) Datos Sitéticos ExpertFit: shape=0.96, scale=5.9 (es el segudo mejor modelo) 2

22 Otras Formas de Ajustar Distribucioes a los Datos ExpertFit EasyFit No se trata de software libre, o resuelve distribucioes mixtas, puede estar limitado respecto al úmero de datos que maeja. Bibliografía Daiel Meascé. Virgilio Almeida. Larry W. Dowdy. Capacity Plaig ad Performace Modelig. Pretice Hall, 994. Raj Jai. The Art of Computer Systems Performace Aalysis, Wiley, 99. Averill M. Law y David Kelto. Simulatio Modellig ad Aalysis. Mc. Graw Hill.2000 Aputes del curso aálisis de datos II de la Prof. Ma. Eglee Pérez. Material o-lie del libro: Evaluació y Modelado del Redimieto de Sistemas Iformáticos. Juiz, Molero, Rodeño 22