Técnicas de Análisis de Datos de Elección n Discreta

Transcripción

1 Técncas de Análss de Datos de Eleccón n Dscreta Sub-Gerenca de Investgacón GPR Vernes, 07 de abrl de 0006 Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 1

2 Contendo Introduccón Modelos de varable dependente bnara Probt Logt Modelos de varable dependente de eleccón múltple Probt ordenado Logt multnomal Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL).

3 Las estmacones lneales cláscas se usan para dentfcar asocacones estadístcas entre varables (dependente vs. exógenas): y = xβ + e Estas estmacones funconan correctamente cuando se hacen sobre varables dependentes contínuas: Ingreso del hogar Gasto en telefonía Mnutos consumdos Para esto se asumen supuestos sobre la forma del error (homocedastcdad, normaldad) Introduccón n (1) Grupo 1 : Almentos-Gasto Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 3

4 Introduccón n () Sn embargo, puede ser necesaro trabajar con varables dependente dscretas: Acceso a telefonía fja / móvl Calfcacón sobre el servco de las empresas (bueno, regular, etc.) Plan tarfaro escogdo Estratega de telecomuncacón del hogar (fjo, móvl, ambos) En estos casos, los modelos lneales cláscos presentan problemas: x ˆ β [ 0,1] En y = xβ + e, tendría una dstrbucón no normal. Heterocedastcdade en el error, producto de la forma de su varanza Var[ e ] = E y E y = E y x β = = = [ ( )] [ ] [ ( )( ) ( ) ] E y y xβ + xβ, como xβ ( xβ ) + ( xβ ) ( x β )( 1 x β ) y = y Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 4

5 0.5 1 Modelos de varable dependente bnara x S S G( xβ ) G( xβ ) y Reg. lneal Normal Logstca Por este motvo se recurre a funcones que permten caracterzar mejor la dstrbucón de la varable dependente. En el caso de varables dependentes dcotómcas una forma de caracterzar a la varable dependente es: P( y = 1x) = G( xβ ) p( x) Este tpo de modelos, debdo a que x no afecta drectamente a P(y=1), sno a través del índce xß, son conocdos como modelos de índces, donde xβ = β + β x β se defne como la funcón de dst. normal acum.: PROBIT. se defne como la funcón de dst. logístca acum.: LOGIT. 1 k x k Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 5

6 Modelos de varable dependente bnara () Las varables dscretas dcotómcas tambén pueden ser modeladas como realzacones dependentes de otra varable no observable (latente). En este caso, se asume que la varable no observada debe traspasar un umbral para que la varable dependente tome el valor de 1: Pr y = 1x = Pr y* > 0 = [ ] [ ] Pr [ x' β + u > 0] S se asume que el error está dstrbudo smétrcamente alrededor de cero, entonces podrá replantearse la últma expresón como: Pr [ x ' β + u > 0] = Pr[ u < x' β ] = F( x' β ) Donde nuevamente, dependendo de la forma de la dstrbucón que se le asgne al error, se tratará de un modelo LOGIT o PROBIT. Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 6

7 Modelos de varable dependente bnara (3) Fnalmente, tambén es posble modelar las varables dscretas como resultado de modelos de utldad aleatora, donde se asume que el valor observado de la varable dscreta representa que dcha alternatva es la que mayor utldad ofrece al agente. En este caso, se podrían modelas las alternatvas como: U 0 = V0 + ε 0 y U1 = V1 + ε1 donde los V representan componentes determnístcos y los ε representan componentes estocástcos (shocks dosncráscos). En este caso: Pr y = 1 = Pr U > U = Pr V + ε > V + ε [ ] [ 1 0] [ ] = Pr[ ε 0 ε1 < V1 V0 ] = F( V V ) 1 Dependendo de la forma funconal que se asuma para la dferenca de los errores se puede llegar a los conocdos modelos probt y logt: S se asume que los errores son normales, su dferenca es normal, y se estaría en el modelo probt. S se asume que los errores son ndependentes con dstrbucón valor extremo tpo 1, entonces la dferenca tendría una dstrbucón logístca (logt). 0 Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 7

8 Modelo probt (1) En cualquera de las especfcacones planteadas, el modelo probt x' β representa: p = Φ x' β = φ z dz ( ) ( ) donde Φ( ) es la dstrbucón acumulada normal estándar. Los efectos margnales, a dferenca de las regresones lneales, no son los parámetros, sno una funcón de los msmos: p = φ ( x' β ) β j x j Las estmacones se realzan usando la metodología de máxma verosmltud, y son fáclmente manejables usando dstntos paquetes econométrcos (Stata, EVIews, SPSS, etc.) Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 8

9 Modelo probt: : estmacón n en Stata. probt movl meperho ngre anho_est uso_cab j_hombre j_anho_est p_gas_elec Iteraton 0: log lkelhood = Iteraton 4: log lkelhood = Probt regresson Number of obs = 1968 LR ch(7) = Prob > ch = Log lkelhood = Pseudo R = movl Coef. Std. Err. z P> z [95% Conf. Interval] meperho ngre e anho_est uso_cab j_hombre j_anho_est p_gas_elec _cons Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 9

10 Modelo probt: : estmacón n en Stata (). dprobt movl meperho ngre anho_est uso_cab j_hombre j_anho_est p_gas_elec Probt regresson, reportng margnal effects Number of obs = 1968 LR ch(7) = Prob > ch = Log lkelhood = Pseudo R = movl df/dx Std. Err. z P> z x-bar [ 95% C.I. ] meperho ngre 9.59e e e anho_est uso_cab j_hombre* j_anho~t p_gas_~c* obs. P pred. P (at x-bar) (*) df/dx s for dscrete change of dummy varable from 0 to 1 z and P> z correspond to the test of the underlyng coeffcent beng 0 Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 10

11 Modelo probt: : estmacón n en Stata (3) Probt model for movl True Classfed D ~D Total Total Classfed + f predcted Pr(D) >=.5 True D defned as movl!= Senstvty Pr( + D) 33.06% Specfcty Pr( - ~D) 90.35% Postve predctve value Pr( D +) 60.66% Negatve predctve value Pr(~D -) 74.98% False + rate for true ~D Pr( + ~D) 9.65% False - rate for true D Pr( - D) 66.94% False + rate for classfed + Pr(~D +) 39.34% False - rate for classfed - Pr( D -) 5.0% Correctly classfed 7.56% Los valores predchos pueden ser una medda de bondad del modelo, pero en varables concentradas en un valor, es mejor no consderarlos. Los porcentajes corresponden a los porcentajes vertcales y horzontales del cuadro. Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 11

12 Modelo probt: : estmacón n en Stata (4) Senstvty/Specfcty Senstvty Probablty cutoff Specfcty Area under ROC curve = Senstvty Specfcty Una mejor medda del ajuste es la curva ROC (recever operatng characterstcs): Fraccón de y=1 predchos correctamente (senstvty) contra la fraccón de y=0 valorados ncorrectamente (1 - specfcty), para cada valor de corte. Idealmente, en el prmer gráfco el cruce de las curvas debería estar en un parte alta del cuadro. En el segundo gráfco, el área bajo la curva ROC debería acercarse lo más posble a 1. Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 1

13 Modelo logt (1) Igualmente, en cualquera de las especfcacones planteadas, el modelo logt representa: x' β e 1 p = Λ( x' β ) = = x' β x' β 1+ e 1+ e donde Λ () es la dstrbucón acumulada logístca. Los efectos margnales tenen la sguente forma: p = Λ( x' β )[ 1 Λ( x' β )] β j x j Las estmacones se realzan tambén usando la metodología de máxma verosmltud, y al gual que los modelos probt son fáclmente manejables usando programas como Stata, EVIews o SPSS Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 13

14 Modelo logt: : estmacón n en Stata (1). logt movl meperho ngre anho_est uso_cab j_hombre j_anho_est p_gas_elec Iteraton 0: log lkelhood = Iteraton 4: log lkelhood = Logstc regresson Number of obs = 1968 LR ch(7) = Prob > ch = Log lkelhood = Pseudo R = movl Coef. Std. Err. z P> z [95% Conf. Interval] meperho ngre anho_est uso_cab j_hombre j_anho_est p_gas_elec _cons Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 14

15 Modelo logt: : estmacón n en Stata (). dlogt movl meperho ngre anho_est uso_cab j_hombre j_anho_est p_gas_elec Margnal effects from logt Number of obs = 1968 ch(7) = Prob > ch = Log Lkelhood = Pseudo R = movl Coef. Std. Err. z P> z [95% Conf. Interval] meperho ngre e e anho_est uso_cab j_hombre j_anho_est p_gas_elec _cons Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 15

16 Modelo logt: : estmacón n en Stata (3). estat class Logstc model for movl True Classfed D ~D Total Total Classfed + f predcted Pr(D) >=.5 True D defned as movl!= Senstvty Pr( + D) 34.1% Specfcty Pr( - ~D) 90.13% Postve predctve value Pr( D +) 60.93% Negatve predctve value Pr(~D -) 75.6% False + rate for true ~D Pr( + ~D) 9.87% False - rate for true D Pr( - D) 65.79% False + rate for classfed + Pr(~D +) 39.07% False - rate for classfed - Pr( D -) 4.74% Correctly classfed 7.76% Senstvty/Specfcty Senstvty Probablty cutoff Specfcty Area under ROC curve = Senstvty Specfcty Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 16

17 Probt vs. Logt Pequeñas dferencas en probabldades predchas (mayores en las colas de la dstrbucón). Parámetros estmados dferen, como consecuenca de las dstntas dstrbucones que se asumen. Se puede asumr certa correspondenca: ˆ β ˆ β ˆ β Logt Probt Logt 4 ˆ β.5 ˆ β 1.6 ˆ β Es posble hacer comparacones basadas en el logartmo del rato de verosmltud, sempre que ambos modelos tengan la msma cantdad de parámetros. Sn embargo, por lo general, los valores de los logartmos de los ratos suelen ser muy cercanos, lo que mplca poca gananca al pasar de un modelo a otro. MCO MCO Probt Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 17

18 Modelos de varable dependente de eleccón n múltplem Cuando se trabaja con varables dependentes con más de dos categorías, los modelo bnaros resultan nsufcentes. En estos casos, debe dferencarse s la varable dependente corresponde a: un ordenamento natural (p.ej. bueno, regular, malo) respuestas no ordenadas (p.ej. plan tarfaro escogdo). En el caso de ordenamentos naturales, la forma más común de abordarlos son los modelos probt ordenados. Para el caso de respuestas no ordenadas, se suele trabajar con modelos logt multnomales. Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 18

19 Pr Pr Pr Modelos probt ordenados Los modelos probt suponen varables dscretas que toman valores de acuerdo a la sguente especfcacón: y = 0 s y < γ y y = 1 = s s γ En este caso, los parámetros del modelo son los β y γ. Los γ representan los umbrales que determnan el valor de y para el valor alcanzado por y *. Por tanto, la probabldad de cada alternatva es: Las tres probabldades se ntegran en una únca expresón que se estma por el método de Máxma Verosmltud γ 1 [ y = 0] = Pr[ y < γ 1] = Pr[ X β + u < γ 1] = Φ( γ 1 X β ) [ y = 1] = Pr[ γ 1 y < γ ] = Pr[ γ 1 < X β + u < γ ] = Φ( γ X β ) Φ( γ 1 X β ) [ y = ] = Pr[ y γ ] = Pr[ X β + u γ ] = Φ( X β γ ) < y y 1 < γ Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 19

20 Probt ordenado: estmacón n en Stata (1) Ordered probt regresson Number of obs = LR ch(8) = Prob > ch = Log lkelhood = Pseudo R = percep_hogar Coef. Std. Err. z P> z [95% Conf. Interval] ngre 9.93e e e anho_est tup uso_cab pared_lad j_edad j_hombre transf_nac /cut /cut /cut Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 0

21 Probt ordenado: estmacón n en Stata (). mfx, predct(p outcome(1)) Margnal effects after oprobt y = Pr(percep_hogar==1) (predct, p outcome(1)) = varable dy/dx Std. Err. z P> z [ 95% C.I. ] X ngre -1.99e e-06 3.e anho_est tup* uso_cab (*) dy/dx s for dscrete change of dummy varable from 0 to 1. mfx, predct(p outcome()) Margnal effects after oprobt y = Pr(percep_hogar==) (predct, p outcome()) = varable dy/dx Std. Err. z P> z [ 95% C.I. ] X ngre.85e e e anho_est tup* uso_cab (*) dy/dx s for dscrete change of dummy varable from 0 to 1 Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 1

22 Modelos logt multnomales (1) A dferenca de los modelos ordenados, en que la eleccón depende una únca funcón índce, en los modelos de respuesta no ordenada, este supuesto carece de sentdo. El enfoque más smple utlzado es el del modelo logt multnomal. Este modelo, que se plantea para J+1 opcones posbles corresponde a la sguente especfcacón: Pr Pr [ y = 0] = 1+ j= 1 exp j ( X β ) l exp [ ] ( X β ) y = 0 = J j 1+ exp( X β ) J j= 1 1 para l = 1, K, J. En esta especfcacón, exste un conjunto de parámetros dferente para cada una de las alternatvas posbles. Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL).

23 Modelos logt multnomales () Una propedad mportante de los modelos logt multnomal es: Pr Pr [ y = l] [ y = j] = exp exp l ( X β ) j ( X β ) l ( X ( β β j ) Esta propedad permte reducr a un modelo logt bnomal la eleccón entre dos categorías específcas, condconado a que la eleccón fue realzada entre dchas varables En Stata, la estmacón del logt multnomal se realza por el método de máxma verosmltud, y se estman los dferencales de los parámetros. = exp Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 3

24 Logt multnomal: : estmacón n en Stata (1). mlogt var1 meperho ngre tup f domno==8 Multnomal logstc regresson Number of obs = 08 LR ch(9) = Prob > ch = Log lkelhood = Pseudo R = var1 Coef. Std. Err. z P> z [95% Conf. Interval] meperho ngre tup _cons meperho ngre tup _cons meperho ngre tup _cons (var1==0 s the base outcome) Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 4

25 Logt multnomal: : estmacón n en Stata (). mfx compute, predct(outcome(1)) Margnal effects after mlogt y = Pr(var1==1) (predct, outcome(1)) = varable dy/dx Std. Err. z P> z [ 95% C.I. ] X meperho ngre tup* (*) dy/dx s for dscrete change of dummy varable from 0 to 1. mfx compute, predct(outcome()) Margnal effects after mlogt y = Pr(var1==) (predct, outcome()) = varable dy/dx Std. Err. z P> z [ 95% C.I. ] X meperho ngre -3.19e e tup* (*) dy/dx s for dscrete change of dummy varable from 0 to 1 Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 5

26 Técncas de Análss de Datos de Eleccón n Dscreta Sub-Gerenca de Investgacón GPR Vernes, 07 de abrl de 0006 Gerenca de Polítcas Regulatoras - GPR Organsmo Supervsor de Inversón Prvada en Telecomuncacones (OSIPTEL). 6