TEMA 4. Modelos para Datos Censurados y de Seleccón Muestral. Profesor: Pedro Albarrán Pérez Unversdad de Alcante. Curso 2010/2011.
Contendo 1 Introduccón 2 Modelo Tobt Introduccón Estmacón por Máxma Verosmltud Dferencas con una smple Regresón Lneal Predccones. Efectos Margnales Lmtacones del Modelo Tobt 3 Modelos en Dos Partes 4 Modelos de Seleccón Muestral El Problema de Seleccón Muestral para la Inferenca Causal Modelo de Truncamento Incdental
Varables Censuradas y Truncadas En ocasones sólo se observan los verdaderos valores de una varable de nterés para una parte de la muestra dsponble Los modelos de seleccón muestral consttuyen una especalmente mportante generalzacón de estos modelos. Varables Censuradas: para algunas observacones, sólo se sabe que la varable es mayor (o menor) que un valor censura por la derecha (o superor) { Y, s Y < U Y = U, s Y U censura por la zquerda (o nferor) { Y, s Y > L Y = L, s Y L La censura puede producrse por dversos motvos: resulta del proceso de recogda de datos se puede nterpretar como solucón de esquna en una decsón económca
Varables Truncadas: la muestra excluye observacones censuradas. en el caso de censura por la derecha (o superor) Y = Y s Y < U en el caso de censura por la zquerda (o nferor) Y = Y s Y > L La censura/truncamento puede consderarse como una stuacón en que falta nformacón (completa) sobre la varable dependente comparada con observar plenamente Y En algunos casos el valor de censura es desconocdo o dferente para cada ndvduo. Formalmente, la varable observada Y resulta de una mxtura de un proceso latente contnuo Y un mecansmo de seleccón (censura o truncamento), modelzado en forma bnara Y = D + L (1 D) Y { D = 1, s Y U 0, s Y < U
Introduccón Modelo Tobt: especcacón Varable latente Y Y = β 0 + β 1 X 1 + + β k X k + U (1) U X 1,..., X k N ( 0, σ 2) (2) Varable observada Y (censurada nferomente en cero) Y = max {0, Y } = max {0, β 0 + β 1 X 1 + + β k X k + U } la generalzacón a censura superor y/o a que el punto de censura sea dstnto de cero son trvales
Introduccón Alternatvamente, se puede representar como { Y, s Y = β 0 + β 1 X 1 + + β k X k + U > 0 Y = 0, en caso contraro Otra formulacón Y = { Y, s D = 1 0, s D = 0 (3) donde D toma valor 1 s Y > 0 y cero en caso contraro { 1, s β 0 + β 1 X 1 + + β k X k + U > 0 D = 0, en caso contraro (4)
Estmacón por Máxma Verosmltud Exsten dos tpos de observacones: las no censuradas (que concden con la varable latente) las censuradas (con un únco valor). La funcón de densdad debe denrse por partes: { ( ) f y f (y x ) = x, s D = 1 Pr (Y = 0 x ), s D = 0 o tambén f (y x ) = [f (y x )] D [Pr (Y = 0 x )] 1 D Por smplcdad Y = X β + U Por el supuesto de normaldad del termno de error f (y x ) = 1 2πσ 2 exp [ 1 2σ 2 ( y X β ) 2 ] = φ ( X S D = 0, la varable latente debe ser menor o gual que cero: β σ ( X Pr (Y = 0 x ) = Pr (Y 0) = Pr (U X β) = Φ β ) σ ( X = 1 Φ β ) σ )
Estmacón por Máxma Verosmltud La contrbucón a la verosmltud de una observacón cualquera (censurada o no) [ ( X f (y x ) = φ β )] D [ ( X 1 Φ β )] 1 D σ σ La funcón de log-verosmltud será log L ( β, σ 2) = ( log L y1,..., y n; β 0, β 1, σ 2) n n = log f (y ) = log f (y ) =1 =1 n [ ( X D log φ =1 β σ ) ( ( X + (1 D ) log 1 Φ Los valores que maxmcen esta funcón serán nuestra estmacón de los parámetros la optmzacón no tene fórmula analítca cerrada Nota: en el modelo Tobt, a dferenca del modelo probt, sí se puede dentcar la varanza del error σ 2 β σ ))] con datos bnaros, no exste sucente varabldad en la varable dependente
Dferencas con una smple Regresón Lneal Un modelo de regresón lneal gnorando que hay observacones censuradas ofrece una estmacón sesgada porque consdera los valores censurados como observacones guales al resto
Dferencas con una smple Regresón Lneal ¾Se pueden gnorar los valores censurados para estmar? E [Y X ] = E [Y X, Y > 0] Pr (Y > 0) donde E [Y X, Y > 0] = X β + σλ ( X ) β /σ = X β + σ φ ( X ) β/σ Φ ( X ) β /σ Pr (Y > 0) = Φ ( X ) β /σ Utlzar sólo observacones no censuradas tambén ofrece, en general, estmacones sesgadas Además, se omte λ ( X β /σ) que estará correlaconado con las X 1 se perden observacones con nformacón relevante a menor tamaño muestral, mayores errores estándar de las estmacones 2 en ocasones no se observa el punto de censura El problema con varables censuradas NO está en la falta de observabldad, sno en una ncorrecta especcacón Suponer que E [Y X ] es lneal resulta nadecuado cuando la varable latente Y es lneal
Predccones Predecr una varable censurada supone predecr s la varable dependente está censurada o no predecr su valor, s no está censurada Para un modelo Tobt se necesta smplemente predecr el índce lneal ω = X β = β 0 + β 1 X 1 + + β k X k El valor de la varable dependente observada en la parte no censurada es: Ŷ = Ŷ = ω = β 0 + β 1 X 1 + + β k X k, s ω > 0 La probabldad de la censura: Pr (Y 0) = Φ ( β0 + β 1 X 1 + + β ) k X k = Φ ( ω )
Efectos Margnales Para los modelos censurados, exsten varos efectos margnales de nterés El efecto margnal sobre la varable latente: ( δe Y ) X 1,..., X k = β k δx k no muy relevante porque se observa Y El efecto margnal sobre la probabldad de censura: δ Pr (Y = 0 X 1,..., X k ) δx k = δ Pr (D = 0 X 1,..., X k ) δx k = β k φ (ω ) donde ω = β 0 + β 1 X 1 + + β k X k es el índce lneal. El efecto margnal sobre la varable truncada (sólo sobre observacones no censuradas) δe (Y X 1,..., X k, Y > 0) [ = 1 ω λ (ω ) λ (ω ) 2] β k δx k donde λ (ω ) = φ (ω ) /Φ (ω ) es la nversa del rato de Mlls. El efecto margnal sobre la varable censurada (sobre observacones censuradas y no censuradas): δe (Y X 1,..., X k ) = Φ (ω ) β k δx k
Efectos Margnales Según las cuestones relevantes, estaremos nteresado en todos o sólo en algunos de esos efectos margnales Los efectos margnales pueden calcularse de varas formas evaluado en algún valor relevante de las varables explcatvas evaluado en la meda de las varables explcatvas obtenendo la dstrbucón de efectos margnales evaluados en sus valores observados de cada ndvduo
Lmtacones del Modelo Tobt Generalzacones trvales del modelo Tobt Se pueden consderar más de un punto de censura (censura superor e nferor smultáneas) Se puede modelzar el índce lneal con varables explcatvas transformamadas no lnealmente log X 2, β 1 X 1 + β 2 X 2 1, β 1X 1 + β 2 X 1 X 2, etc. La varable dependente puede haber sdo transformada Y no será normal y se necesta conocer su dstrbucón (para escrbr la verosmltud, calcular la probabldad de censura, etc. ) el modelo Tobt para datos log-normales: Y = exp (β 0 + β 1 X 1 + + β k X k + U ) U X N ( 0, σ 2) Y = { Y s ln Y γ 0, en caso contraro, donde γ es el punto de censura. Nota: se dce que Y sgue una dstrbucón log-normal, s su logartmo ln Y sgue una dstrbucón normal.
Lmtacones del Modelo Tobt Problemas del modelo Tobt El modelo Tobt depende crucalmente de los supuestos de normaldad y homocedastcdad del térmno de error en el modelo de regresón lneal, ndependentemente de esos supuestos el estmador de MCO es consstente y se pueden calcular errores estándar robustos en el modelo Tobt, la estmacón e nferenca es nválda s alguno de los dos supuestos es ncorrecto Además mpone el msmo mecansmo para determnar la probabldad de censura y el valor de las observacones no censuradas Los determnantes de la decsón de comprar pueden ser dstntos de los que explcan su valor (ej., tener un contrato ndendo en la compra de una casa) La msma varable puede tener dferentes mpactos sobre cada una de ellas (ej. la edad en la adquscón de seguro de vda)
Especcacón de un Modelo en Dos Partes Modelo en dos partes Se dene un ndcador de censura: { 1, s Y > 0 D = 0, s Y = 0 1 La prmera parte es un modelo probt o logt: { 1, s γ 0 + γ 1 W 1 + + γ q W q + ɛ > 0 D = 0, en caso contraro (5) donde ɛ sgue una dstrbucón normal (probt) o logístca (logt) 2 La segunda parte especca la esperanza condconal de la varable NO censurada Y = exp (β 0 + β 1 X 1, + + β k X k, + U ) s D = 1 (6) Notad que la expresón (6) equvale a E (U X 1,..., X k ) = 0 (7) ln Y = β 0 + β 1 X 1, + + β k X k, + U s D = 1 Las ecuacones (6) (7) mplcan ) E (Y D = 1, X ) = exp (β 0 + β 1 X1, + + β k Xk, + σ2 2 (8)
Dferencas con el modelo Tobt El modelo en dos partes 1 No está dendo en funcón de nnguna varable latente todas las ecuacones del modelo se reeren drectamente a varables observables. 2 No mpone que las msmas varables y con el msmo coecente determnen tanto Y como la censura D 3 Tampoco mpone el msmo térmno de error para ambas ecuacones U y ɛ pueden ser dstntos y con dstrbucones dferentes serán, en general ndependentes entre sí 4 Sólo se supone que U en (7) es ndependente en meda de las varables explcatvas no se supone toda la dstrbucón con el Tobt
Dferencas con el modelo Tobt El modelo en dos partes es más exble, tanto en sus supuestos como en el número de parámetros S las restrccones del modelo Tobt son correctas, resulta más ecente estmarlo pero no sempre pueden compararse ambos modelos Un modelo en dos partes con el supuesto adconal de normaldad sí es una generalzacón del modelo Tobt para datos log-normales este modelo en dos partes una formulacón más general dentro de la msma clase de modelos como ambos modelos están andados, se puede contrastar s el resto de restrccones del modelo Tobt son correctas Se tene que realzar un contraste de rato de verosmltudes entre ambos modelos se comprueba s las msmas varables y con el msmo coecente están en la ecuacón de censura y en la de valores no censurados
Estmacón, Predccones y Efectos Margnales La estmacón pude hacerse por separado (cada parte con sus propas varables y supuestos dstrbuconales) o conjuntamente (en general, suponendo elementos en común) los modelos en dos partes pretenden evtar la complejdad de la estmacón conjunta, pero ésta faclta algunos constrastes de hpótess: relacones entre los coecentes de la prmera y de la segunda parte del modelo Exsten tres magntudes que se pueden querer predecr. 1 La probabldad de censura, cuya predccón puede obtenerse drectamente de la estmacón de la prmera parte del modelo 2 El valor predcho de las observacones no censuradas se obtene drectamente de la estmacón de la segunda parte del modelo 3 El valor predcho de las observacones (censuradas o no), E (Y X, W ), ncorpora ambas expresones prevas. Asmsmo, nos nteresan los tres efectos margnales relaconados con estas magntudes Notad que aquí no exste nnguna varable latente que predecr, n para la cual estmar efecto margnal.
Lmtacones Una de las prncpales ventajas del modelo en dos partes resde en que puede estmarse cada parte por separado. El supuesto clave para esto es la ndependenca entre los térmnos de error de cada ecuacón ɛ y U. Sn embargo, exsten stuacones en que este supuesto no es realsta Relajar este supuesto nos lleva a una nueva clase de modelos, que tene gran mportanca en Economía.
El Problema de Seleccón Muestral para la Inferenca Causal Problemas de Seleccón Muestral Los problemas de Seleccón de Muestral son habtuales con datos observaconales Seleccón Muestral NO Aleatora Dseño nadecuado de la encuesta (recogda de datos) Falta de respuesta selectva de los ndvduos Truncamento ncdental: no se observa una varable Y debdo al resultado de otra varable Ej.: oferta salaral en funcón de educacón, etc... sólo para los que trabajan Atrton en datos de panel: ndvduos no observados en perodos posterores por razones relaconadas con el estudo Ej.: programa de formacón
El Problema de Seleccón Muestral para la Inferenca Causal Seleccón Muestral Exógena vs. Endógena Seleccón Muestral Exógena o basada en las varables ndependentes (explcatvas): seleccón basada en factores ndependentes del térmno de error = MCO consstente y = β 0 + β 1 x + u, E (u x ) = E (u x ) = 0 D = 1 s se observa (y, x ) D y = β 0 + β 1 D x + D u E (D x u ) = 0 sólo s D es una funcón de x E (D x u ) = E [E (D x u x )] = E [D x E (u x )] Seleccón Muestral Endógena o basada en la varable dependente: Ej.: Tobt, MCO sesgado
Modelo de Truncamento Incdental Modelo de Truncamento Incdental Una varable latente de nterés (smlar a Tobt) Y Sólo se observa Y = Y s otra varable latente (dferente) supera un umbral D > 0 ECUACIÓN DE SELECCIÓN { 1, s D > 0 D = 0, s D 0 Y ECUACIÓN DE RESULTADOS (varable de nterés) Y = { Y, s D = 1, s D = 0 es una varable truncada: no toma nngún valor (con sentdo) s D = 1 (estrctamente, veremos que está selecconada endógenamente)
Modelo de Truncamento Incdental Truncamento Incdental (2) Supuestos Modelo Lneal (con errores adtvos) para varables latentes D = γ 0 + γ 1 W 1 + + γ q W q + U 1 Y = β 0 + β 1 X 1 + + β k X k + U 2 errores posblemente correlaconados modelo Tobt: un caso especal cuando D = Y (sólo una ecuacón) Normaldad conjunta y Homocedastcdad de los errores correlaconados [ U1 U 2 ] [( 0 W, X N 0 ) ( 1 σ12, σ 12 σ 2 2 )] la varanza σ 2 1 = 1 está normalzada a 1, como en el probt: sólo se observa el sgno de D
Sesgo de MCO. Estmacón en Dos Etapas Estmacón por MCO La esperanza condconal de la varable de nterés (observada, truncada): E (Y X, W, D = 1) = β 0 +β 1 X 1 + +β k X k +E (U 2 X, W, D = 1) Aunque E (U 2 X, W ) = 0 porque U 2 es ndependente de X y W, el últmo térmno no es gual a cero porque U 2 con D a través de su correlacón con U 1 Se puede comprobar que: SÍ está relaconado E (U 2 X, W, D = 1) = ρλ (ω 1 ) donde ω 1 = γ 0 + γ 1 W 1 + + γ q W q λ (z) = φ(z) /Φ(z) ρ = σ12 / σ 2 2
Sesgo de MCO. Estmacón en Dos Etapas Sesgo en MCO Sabemos que la esperanza condconal es E (Y X, W, D = 1) = β 0 + β 1 X 1 + + β k X k + ρλ ( γ 0 + γ 1 W 1 + + γ q W q ) ¾Qué sucede s estmamos por mínmos cuadrados ordnaros la ecuacón Y en funcón de las varables X? Y = π 0 + π 1 X 1 + + π k X k + ɛ π j?? β j S ρ 0, la seleccón muestral es mportante y el estmador MCO estará sesgado por la omsón de una varable relevante λ (ω 1 ) correlaconada con las varables explcatvas X Tampoco se puede nclur drectamente λ (ω 1 ) porque los parámetros γ en ω 1 NO son conocdos
Sesgo de MCO. Estmacón en Dos Etapas Estmacón en Dos Etapas El procedmento de Estmacón en Dos Etapas para la correccón de sesgo por Seleccón Muestral es: 1 Estmar ncalmente sólo la ecuacón de seleccón (Probt) para toda la muestra Pr (D = 1 W ) = Pr (D > 0 W ) = Φ ( γ 0 + γ 1 W 1 + + γ q W q ) se puede predecr para cada ndvduo el valor del índce lneal ω 1 = γ 0 + γ 1 W 1 + + γ q W q y calcular una varable con el valor para cada ndvduo del rato de Mlls predcho λ = λ ( ω 1 ) 2 Estmar por MCO la ecuacón de resultados para la varable Y en la muestra selecconada ncluyendo como varables explcatvas X y λ Y = δ 0 + δ 1 X 1 + + δ k X k + δ k+1 λ + ε
Sesgo de MCO. Estmacón en Dos Etapas Estmacón en Dos Etapas (2) La estmacón por MCO sí es consstente δj β j, j = 1,..., k δk+1 ρ Se puede contrastar fáclmente s exste seleccón muestral H 0 : ρ = 0 Sn embargo, la estmacón en dos etapas NO es ecente: estmando conjuntamente las dos ecuacones la varanza de los parámetros estmados es menor Además, los errores estándar de MCO no están adecuadamente calculados: necestan una correccón (dstnta y más compleja que calcular errores estándar robustos) para controlar que se utlza una varable predcha λ en lugar de una realmente observada
Estmacón Conjunta por Máxma Verosmltud Estmacón Conjunta (Máxma Verosmltud) Para un ndvduo, debemos calcular la probabldad de observar conjuntamente tanto la varable de seleccón D como la varable de resultado Y { Pr (D = 0 W ), s D = 0 f (y, d W, X ) = Pr (D = 1 W ) f (y X, D = 1), s D = 1 La funcón de verosmltud para todos los parámetros es: L ( β, γ, σ 12, σ2) 2 = n [ [Pr (D = 0 W ; γ)] 1 D Pr (D = 1 W ; γ) f ( y X, D = 1; β, σ 12, σ2)] 2 D =1 La estmacón conjunta del modelo de truncamento ncdental explota el supuesto de normaldad conjunta de los errores Esto permte escrbr la forma concreta de la funcón de (log-)verosmltud
Identcacón del Modelo Lmtacones del Modelo de Truncamento Incdental Supuestos crucales para la estmacón del modelo: normaldad conjunta y homocedastcdad S estos supuestos no son certos, las estmacones no son consstentes Incluso en la estmacón en dos etapas: Y = δ 0 + δ 1 X 1 + + δ k X k + δ k+1 λ + ε el térmno de correccón por seleccón muestral adtvo λ = λ (γ 0 + γ 1 W 1 + + γ q W q ) depende, en su expresón-forma funconal, del supuesto de normaldad λ (z) = φ (z) Φ (z)
Identcacón del Modelo Lmtacones (2) Sn normaldad, se tendrá (en muchas ocasones) que E (Y X, W, D = 1) = β 0 + β 1 X 1 + + β k X k + g ( γ 0 + γ 1 W 1 + + γ q W q ) la funcón g ( ) no está restrngda a ser la nversa del rato de Mlls Pero esta formulacón no es completamente general: el térmno de correccón por seleccón muestral aparece adtvamente g ( ) está restrngda a depender del índce lneal de la ecuacón de seleccón Problema: no se conoce la forma concreta de g ( ), a menos que hagamos otro supuesto sobre la dstrbucón conjunta de los errores
Identcacón del Modelo Identcacón Cuando W = X, exsten problemas de adecuada dentcacón general del modelo Aunque g ( ) sea una funcón no lneal, se puede aproxmar lnealmente y/o g (γ 0 + γ 1 W 1 + + γ q W q ) estará correlaconado con las X (o alguna de ellas) Esto supone un problema porque puede exstr multcolnealdad entre la correccón g (ω 1 ) y las varables explcatvas X no está claro s g (ω 1 ) realmente recoge el efecto de seleccón muestral o un térmno polnomal (omtdo) de las varables X Una forma concreta de g ( ) sólo es creíble cuando X = W s tambén aceptamos el supuesto dstrbuconal que genera dcha forma funconal concreta.
Identcacón del Modelo Identcacón (2) La adecuada dentcacón del modelo requere que las varables X sean un subconjunto de las varables W 1 Todas las varables X se ncluyen en la ecuacón de seleccón (Probt) 2 Restrccones de exclusón: algunas varables W (nstrumentos) no se ncluyen en la ecuacón de resultados para Y (Lneal) Las restrccones de exclusón permten una varacón adconal en g (ω 1 ), dstnta de la varacón de las X evta confundr g (ω 1 ) con las varables X o funcones de ésta el modelo de seleccón es más creíble ncluso s no se acepta el supuesto dstrbuconal: g ( ) será una buena aproxmacón a al verdadera forma funconal de la correccón PERO las restrccones de exclusón no son contrastables: se decden a pror y s no son certas el modelo estmado estará sesgado. La teoría económca (o algún razonamento) debería guar qué varables pueden afectar la seleccón, pero no el resultado
Predccones y Efectos Margnales Predccones y Efectos Margnales En esenca, no exsten dferenca con lo que ya sabemos para otros modelos. Según nuestro nterés, se puede querer predecr: la probabldad de seleccón (ecuacón probt) el valor de la varable de nterés truncada (ecuacón con correccón) el valor de la varable latente de nterés alguna combnacón de las anterores Tambén según el caso, puede nteresarnos los efectos margnales asocados a cada una de las expresones anterores En todos los casos, se necesta una adecuada estmacón (consstente, no sesgada) de los parámetros relevantes.