HOMOGENEIDAD DE POBLACIONES ESTADISTICAS. EL PROBLEMA DE LA MIXTURA DE COMPONENTES

Transcripción

1 HOMOGENEIDAD DE POBLACIONES ESTADISTICAS. EL PROBLEMA DE LA MIXTURA DE COMPONENTES Mguel Ángel Fajardo Caldera - fajardo@unex.es Jesús Perez Mayo - jperez@unex.es Lyda Andrades Caldto andrades@unex.es Unversdad de Extremadura Reservados todos los derechos. Este documento ha sdo extraído del CD Rom Anales de Economía Aplcada. XIV Reunón ASEPELT-España. Ovedo, 22 y 23 de Juno de ISBN:

2 HOMOGENEIDAD DE POBLACIONES ESTADISTICAS. EL PROBLEMA DE LA MIXTURA DE COMPONENTES. AUTORES: Fajardo Caldera, M.A. Perez Mayo, Jesús Andrades Caldto, Lyda. Dptº. de Economía Aplcada y Org. de Empresas. Unversdad de Extremadura. RESUMEN: En este artículo, los autores analzan el problema de la homogenedad de poblacones. Este consste en dvdr una poblacón en subpoblacones y estudar s la dstrbucón de probabldad es la msma en ellas. S esto es afrmatvo, entonces podremos trabajar con datos agregados, en caso contraro sería convenente trabajar con las subpoblacones. El gnorar la heterogenedad conduce a conclusones equvocadas (paradoja de Smpson). Exsten un consderable conjunto de técncas estadístcas para analzar s una poblacón es homogénea respecto a alguna o varas característcas cuando estas son observables (Anova, Manova, Regresón multvarante, etc.); el problema surge cuando no conocemos a pror estas característcas, es decr, son no observables. La aplcacón que trataremos en este artculo, será analzar s la varable ngresos totales netos de los hogares españoles en el año 1994 es una dstrbucón homogénea, a través de la técnca estadístca conocda con el nombre de análss de mxtura de componentes y su resolucón por el algortmo EM.

3 INTRODUCCIÓN.- El análss de homogenedad de poblacones consste en dvdr una poblacón en subpoblacones y estudar s la dstrbucón de una o varas varables aleatoras es la msma en todas ellas. En este caso, se podrá trabajar con los datos agregados. En caso contraro, será convenente trabajar con las subpoblacones exstentes, Peña y Romo (1). El gnorar la heterogenedad debda a la presenca de subpoblacones puede conducr a conclusones equvocadas en el análss, ya que no tenemos una representacón clara de la varable, no mejoramos la comprensón del fenómeno en estudo y podemos ncurrr en la famosa Paradoja de Smpson (2), quen demostró que al mezclar datos que provenen de dstntas poblacones y, por tanto, son heterogéneos, podemos llegar a conclusones opuestas a las obtendas tenendo en cuenta las subpoblacones. La Cenca Estadístca ha proporconado un consderable número de herramentas para poder analzar la homogenedad de poblacones cuando la varable grupo y las varables a analzar son observables. Los modelos más conocdos son el Anova (para el estudo de una únca varable) y el Manova (para el estudo de un conjunto fnto de varables), sempre que se conozca a pror la asgnacón de las observacones a los grupos, analzándose posterormente medante un contraste de gualdad de medas, supuestas que las poblacones son normales y homocedástcas. En el caso de que se acepte la hpótess nula de gualdad de medas, entonces dremos que las poblacones son homogeneas.

4 El problema surge cuando no dsponemos de nformacón a pror que nos ndque s exste una dvsón de la poblacón en subpoblacones, es decr, cuando la varable grupo es no observable. Este es el problema que trataremos en este artículo, en el que la varable contnua observable vene defnda por los ngresos totales netos de los hogares españoles en el año 1994 (Panel de Hogares de la U.E.), y la varable grupo (dscreta) es no observable, problema que es conocdo, en el campo de la estadístca, con el nombre de análss de mxtura de componentes. Su resolucón se basa en el conocdo algortmo EM y en el contraste de hpótess de homogenedad a través de los modelos mxtos de varables contnuas y dscretas, ntroducdos por Laurtzen y Wermuth en 1989 (3) y su extensón por Edwards en 1990 (4 ) a los modelos de nteraccón jerárquca y más tarde construdos por combnacón de los modelos log-lneales para varables dscretas con los Modelos Gaussanos Gráfcos (MGG) para varables contnuas por Whttaker (1990) ( 5 ) y Edwards (1995) (6). ANALISIS DE MIXTURA DE DISTRIBUCIONES ESTADÍSTICAS.- El análss de las dstrbucones mxtas para datos agrupados consste matemátcamente en el estudo de una funcón de densdad de probabldad mxta, la cual es una suma ponderada de k funcones de densdad componentes, donde k es asumdo a pror para ser conocdo, es decr, f(x /µ,σ) = p 1 f(x /µ 1,σ 1 ) + p 2 f(x /µ 2,σ 2 ) p k f(x /µ k,σ k ) [1]

5 Las densdades componentes pueden ser normales, lognormal, gamma, exponencal o Webull. Los parámetros son las proporcones de la mxtura, las medas y las desvacones estándar de las dstrbucones componentes. Dversas restrccones pueden ser mpuestas a los parámetros. El caso que vamos a desarrollar es el de una muestra aleatora, x 1, x 2, x 3,..., x n, extraída de una poblacón con funcón de densdad dada en [1], con las dstrbucones componentes normales y homocedástcas. Dada la muestra, y fjado un k a pror, estmaremos los parámetros y posterormente contrastaremos la gualdad de medas de las dstrbucones componentes, es decr, s los datos están descrtos adecuadamente por una componente. La dstrbucón a posteror de que un elemento con respuesta x, pertenezca a la clase j=1,2,...,k, vene dada por : h(j/x) = p j f(x/j)/ f(x) j=1,2,...k [ 2 ] donde las f(x/j) son normales N(µ j, σ ), para todo j = 1,2,...k. El logartmo de la funcón de verosmltud vene dada por: l = log Π f(x ) = log f(x ) = log [p 1 f(x /µ 1,σ 1 ) + p 2 f(x /µ 2,σ 2 ) +... [ 3 ] + p k f(x /µ k,σ k ) ]

6 Dado que la suma de las proporcones han de ser gual a 1, es decr, p = 1, tendremos que maxmzar la funcón : φ = log [p 1 f(x /µ 1,σ 1 ) +..+ p k f(x /µ k,σ k ) ] + θ ( p -1) [ 4 ] Para la obtencón de los estmadores maxmoverosmles, resolvemos las ecuacones: φ / p j = f(x /j ) / f(x) + θ = 0 [ 5 ] φ / µ j = p j f(x /j) / f(x) = 0 [ 6 ] φ / σ 2 = / σ 2 [ log [p 1 f(x /µ 1,σ 1 ) ++ p k f(x /µ k,σ k ) ] /f(x ) = 0 [7] De las ecuacones anterores se deducen los sguentes estmadores en funcón de las probabldades a posteror f(j /x): p j = f(j/ x ) / n j= 1,2,...,k [ 8 ] µ j = x f(j/ x ) / f(j/ x ). j= 1,2,...k [ 9 ]

7 σ 2 = [ (x - µ j ) 2 f(j/ x )] / n. [ 10 ] j Sn embargo, s f(j / x ) fuese conocda, sería muy fácl resolver las ecuacones [8], [9] y [10] para obtener las estmacones de los parámetros, pero ésta es bastante complcada de calcularla, ya que su defncón vene dada por: h(j/x) = p j f(x/j) / f(x)= p j (2π σ 2 ) -1/2 exp -1/2{ (x- µ j ) 2 /σ 2 }/ [p 1 f(x /µ 1,σ 1 ) + p 2 f(x/µ 2,σ 2 ) p k f(x /µ k,σ k )]. [11] Para ello, es más útl aplcar el EM algortmo, el cual tene la ventaja de consegur estmacones de los parámetros de la sguente forma : 1) Elegmos un conjunto de valores ncales para las probabldades a posteror {f(j/x)}. 2) Utlzando las ecuacones [8], [9] y [10] obtenemos las prmeras aproxmacones de los estmadores de p j, µ j y de σ 2. 3) Susttumos estos valores estmados de nuevo en [ 11 ], para obtener mejores estmacones de {f(j/x)}. 4) Volvendo al paso 2), obtenemos segundas aproxmacones para los parámetros y contnuamos el cclo hasta alcanzar la convergenca. Para la asgnacón de las observacones a las clases o grupos, s la poblacón no es homogénea, podemos proceder calculando las probabldades a posteror y establecendo la sguente regla de clasfcacón:

8 h(j/x) = p j f(x/j) / f(x) > h(h/x) = p h f(x/h) / f(x) [12] de donde, p j f(x/j) / p h f(x/h) >1 tomando logartmos tenemos: log p j - log p h + log [f(x/j) - f(x/jh)] > 0 [13] S al susttur los estmadores en la ecuacón anteror [13], obtenemos un valor mayor que cero, entonces la observacón x se le asgnará a la clase j; en caso contraro a la clase h. APLICACIÓN PRACTICA.- Sea la poblacón unvarante de los ngresos netos totales de los hogares españoles en 1994, de la cual hemos obtendo una muestra aleatora de tamaño 6435, cuyas característcas prncpales son: y x = S 2 = El contraste de la normaldad de la poblacón a través de la muestra nos ndca un coefcente de verosmltud (-2logL= ) lo que nos permte aceptar la hpótess de normaldad.

9 La estmacón de los parámetros de la funcón de f(x) dada en [1], a través del algortmo EM nos da los sguentes resultados: p 1 = p 2 =1 - p 1 =0 496 A=1 µ 1 = σ 2 = A=2 µ 2 = Estas estmacones nos ndcan que exsten dos subpoblacones, repartdas aproxmadamente al 50% y con gual varanza. Medante el algortmo EM podemos realzar una asgnacón de los elementos de la muestra a las clases, a través de la regla de Bayes de la dstrbucón a posteror, obtenéndose una clasfcacón en dos clases con las sguentes característcas muestrales: A=1 meda= varanza = n=1.156 A=2 meda= varanza= m=5.279 Realzando un contraste de hpótess entre el modelo de homogenedad e guales medas contra el modelo de homogenedad y dstntas medas, se acepta la hpótess del segundo modelo. CONCLUSIONES: Del trabajo se obtenen las sguentes conclusones: a) Que el análss de mxtura de dstrbucones nos permte dscernr s una poblacón es homogénea o heterogénea.

10 b) Que el algortmo EM es una herramenta efcaz para la estmacón de los parámetros de la dstrbucón de una mxtura de dstrbucones. c) Que la asgnacón bayesana de asgnacón de clases nos permte realzar y comparar las dstntas subpoblacones exstentes y no cometer errores de nterpretacón de la varable en estudo. d) Que los ngresos netos de los hogares españoles en 1994 están dstrbudos en dos subpoblacones, perfectamente dferencadas. BIBLIOGRAFIA (1).- Peña, Danel y Romo, Juan(1997). Introduccón a la Estadístca para las Cencas Socales. McGraw-Hll. (2).- Smpson, C.H. (1951). The nterpretaton of nteracton n contngency tables, J.R.Stat. Soc. B 13: (3).- Laurtzen,S.L. and Vermuth, N. (1989). Graphcal models for assocatons between varables, some of whch are qualtatve and some quanttatve. Ann. Stat: 17: (4).- Edwards, D. (1990). Herarchcal nteracton models (wth dscusson). J.R. Stat. Soc. B 52:3-20. (5).- Whttaker, J. (1990). Graphcal Models n appled Multvarate Statstcs, Wley. (6).- Edwards, D. (1995). Graphcal modellng. In Krzanowsk, W.J. (ed) Recent Advances n Descrptve Multvarate Analyss. Oxford Unversty Press, Oxford,

11