Modelos de elección discreta

Transcripción

1 Econometría II Grado en Economía Universidad de Granada Econometría II 1 / 37 Contenidos Econometría II 2 / 37

2 Econometría II 3 / 37 Hasta el momento se ha trabajado con variables cualitativas incluyéndolas dentro del grupo de variables independientes, pero puede la variable dependiente ser de naturaleza cualitativa? qué ocurre en tal caso? sigue siendo válido el modelo lineal y su estimación por Mínimos Cuadrados? En ocasiones, analizamos datos donde la variable dependiente de interés toma valores discretos: Variables dependientes s (ej: comprar o no comprar, conceder o no un préstamo, tener o no una enfermedad). Variables s sin ordenación (ej: tren, autobús...). Variables s con orden (ej: calificación o rating financiero). Un modelo de regresión lineal puede no ser lo más adecuado en estos casos porque: los resultados son difíciles de interpretar: no se puede hablar de cambio continuo. la variable dependiente sólo admite valores discretos, y puede que sólo nonegativos. podemos estar interesados en estimar la probabilidad de la ocurrencia de los distintos valores de la variable dependiente y no tanto en el valor esperado predicho. A continuación analizaremos con algo más de profundidad los problemas que surgen al considerar un modelo de regresión lineal clásico en el que la variable dependiente es cualitativa (más concretamente, ) y se plantearán las dos principales alternativas que se tienen en este caso: losmodeloslogityprobit. Econometría II 4 / 37

3 Econometría II 5 / 37 De los ejemplos considerados anteriormente, este capítulo se centra fundamentalmente en el caso en el que la variable dependdiente es una variable (dicotómica). Es decir, supondremos que la variable dependiente Y solo puede tomar dos valores: { 1, con probabilidad p Y = 0, con probabilidad 1 p, (1) donde el valor 1 denota que el individuo ha tomado alguna acción. La variable Y, por tanto, sigue una distribución de Bernoulli: Pr(Y = y) = p y (1 p) 1 y, (2) E(Y) = p, Var(Y) = p(1 p). En tal caso, se estará interesado en analizar cuál es la probabilidad de que el individuo i, dadas sus características (es decir, valores de las variables independientes, X i ), tome una acción (es decir, Y i = 1). Econometría II 6 / 37

4 : ejemplo A lo largo del presente capítulo desarrollaremos el siguiente ejemplo: En numerosas ocasiones los docentes nos hemos preguntado por los factores que influyen en que un estudiante apruebe o no las asignaturas que impartimos. Estacuestiónesaúnmásinteresantedesdeelpuntodevistadelalumno.Portanto, sería deseable poder proporcionar a los mismos una orientación sobre factores que les puedan ayudar a obtener un mayor desempeño en la asignatura. Para analizar qué factores influyen(positiva o negativamente) en el desempeño (rendimiento) académico de los alumnos se propone realizar una regresión logística donde la variable dependiente es codificada como 1 para aquellos alumnos con una calificaciónfinalde5osuperiorycomo0encasocontrario.esdecir,eldesempeño se mide como una variable que considera los valores de aprobado(éxito) o suspenso(fracaso). Por tanto, el modelo econométrico planteado estima la probabilidad que tiene un alumno de superar la asignatura. Como variables independientes se consideran la realización de ejercicios en pizarra, EP, en ordenador, EO, y exámenestipotest, TT,sobrecadatema. Econometría II 7 / 37 Inconvenientes Econometría II 8 / 37

5 Inconvenientes El consiste simplemente en considerar un modelo de regresión lineal en el que la variable dependiente es, es decir: Y i = β 1 +β 2 X 2i + +β k X ki +u i, i = 1,...,n, (3) con u N(0,σ 2 ) e Y i de la forma dada en (1). En este caso, dados los valores x 2,...,x k de las variables independientes, se verifica que: E(Y i X = x) = Pr(Y i = 1 X = x) 1+Pr(Y i = 0 X = x) 0 = Pr(Y i = 1 X = x), E(Y i X = x) = E(β 0 +β 1 X 2i + +β k X ki +u i X = x) = β 1 +β 2 x 2i + +β k x ki. Es decir, la parte derecha de la ecuación (3) debe ser interpretada como la probabilidad de que la variable dependiente sea igual a la unidad: p i = Pr(Y i = 1 X = x) = β 1 +β 2 x 2i + +β k x ki. (4) Y, por tanto, β i es la variación de la probabilidad de que Y i = 1 asociada con una variación unitaria en X i, manteniendo constantes las otras variables explicativas (con i = 1,...,k). Todo lo que conocido sobre el modelo de regresión lineal se puede aplicar directamente: estimación, contraste de, interpretación de los parámetros, etc. Solo debemos recordar que la esperanza condicional es, en este caso, una probabilidad, por lo que 0 E(Y i X = x) 1. Econometría II 9 / 37 Inconvenientes del Inconvenientes La distribución de la muestra en este tipo de modelos se caracteriza por una nube de puntos de tal manera que las observaciones muestrales se dividen en dos subgrupos: uno formado por las observaciones en las que ocurrió el acontecimiento objeto de estudio (Y i = 1), y otro, por los puntos muestrales en los que no ocurrió (Y i = 0) Y = X Y con respecto a X (con ajuste mínimo cuadrático) Y X Por tanto, el coeficiente de determinación R 2 no es particularmente útil porque no es posible que todos los datos se encuentren exactamente en la recta de regresión (R 2 = 1). Econometría II 10 / 37

6 Inconvenientes del Inconvenientes Otros inconvenientes importantes son: Puesto que la variable dependiente solo toma valores 0 ó 1, el supuesto de normalidad de las perturbaciones no se cumple ya que siguen la distribución de Bernoulli: e i = Y i Ŷ i Y i = 1 1 ˆβ 1 ˆβ 2 X 2i ˆβ k X ki p Y i = 0 ˆβ 1 ˆβ 2 X 2i ˆβ k X ki 1 p Perturbaciones heteroscedásticas (incumplimiento de la de homocedasticidad) ya que su varianza depende de las variables independientes: Var(e i ) = E(e i E(e i )) 2 = E(e i ) 2 = (1 ˆβ 1 ˆβ 2 X 2i ˆβ k X ki ) 2 p + ( ˆβ 1 ˆβ 2 X 2i ˆβ k X ki ) 2 (1 p). Las predicciones de la variable dependiente pueden estar fuera del rango [0, 1]. El modelo lineal de probabilidad implica que el efecto marginal de cada una de las variables explicativas es constante. Este supuesto no es muy razonable ya que es esperable que las variaciones en la probabilidad sean distintos en los valores centrales de las variables dependientes a las producidas en sus extremos. Econometría II 11 / 37 Modelo Logit Modelo Probit Comparación modelos Logit y Probit Econometría II 12 / 37

7 Modelo Logit Modelo Probit Comparación modelos Logit y Probit Como se ha puesto de relevancia, el modelo lineal de probabilidad presenta importantes inconvenientes que desaconsejan su uso ante variables dependientes s y crea la necesidad de recurrir a otros tipos de modelos. Las regresiones Probit y Logit son modelos de regresión no lineales diseñados específicamente para variables dependientes s. Se trata de adoptar una formulación no lineal que obligue a que los valores estimados estén entre 0 y 1 ya que, como hemos visto, la regresión con una variable dependiente Y modeliza la probabilidad de que Y = 1. La regresión Logit utiliza una función de distribución logística, mientras que la regresión Probit utiliza una función de distribución normal estándar. Ambas funciones de distribución de probabilidad dan lugar a probabilidades ente 0 y 1, y presentan un crecimiento no lineal (con mayores incrementos en la parte central). De esta forma se resuelven dos de los problemas anteriormente señalados Figura 1: Representación gráfica de la función logística (izquierda) y de la probabilidad acumulada de una normal (derecha) Econometría II 13 / 37 Modelo Logit Modelo Logit Modelo Probit Comparación modelos Logit y Probit El modelo de regresión Logit se basa en la función logística: f(z) = la cual está acotada entre 0 y 1 ya que: 1 1+e z = e z = ez 1+e z, lím f(z) = 0, lím z f(z) = 1, z y, como se muestra en la Figura 1, presenta una forma de S que se ajusta al crecimiento no lineal deseado (leves incrementos en los extremos y mayores en la parte central). El modelo de regresión Logit será de la forma: Y i = f(z i )+u i,ı = 1,...,n, (5) donde Z i = β 1 +β 2 X 2i + +β k X ki y, dados los valores de las variables independientesx 2,...,x k, las probabilidades de que la variable dependiente tome los valores 1 y 0 son: Pr(Y = 1 x 2,...,x k ) = E(Y i X = x) = ez i 1+e z i, Pr(Y = 0 x 2,...,x k ) = 1 ez i 1+e z i = 1 1+e z i, con z i = β 1 +β 2 x 2i + +β k x ki. Econometría II 14 / 37

8 Modelo Probit Modelo Logit Modelo Probit Comparación modelos Logit y Probit El modelo de regresión Probit se basa en la distribución de probabilidad acumulada de una normal tipificada: Φ(z) = Pr(Z z) = 1 2π z e s2 2 ds, donde Z N(0,1) y es tal que, dados los valores x 2,...,x k de las variables independientes, se verifica que: Pr(Y = 1 x 2,...,x k ) = Φ(z i ), con z i = β 1 +β 2 x 2i + +β k x ki tal que: { 1 si zi > 0 Y = 0 si z i < 0. Econometría II 15 / 37 Comparación modelos Logit y Probit Modelo Logit Modelo Probit Comparación modelos Logit y Probit Los modelos logit y probit comparten practicamente las mismas carecterísticas: son modelos no lineales que son estimados por los métodos estudiados en el tema anterior (mínimos cuadrados no lineales o máxima verosimilitud), donde la interpretación de los no es tan inmediata como en el modelo lineal de probabilidad. Además, en ambos casos hay que buscar una medida alternativa al coeficiente de determinación para medir la bondad del ajuste realizado. La única diferencia entre ambos modelos es que la función logística (curva azul) tiene colas más anchas, por lo que la probabilidad de éxito será mayor en los extremos cuando se use el modelo logit Econometría II 16 / 37

9 Método de MV Econometría II 17 / 37 Método de Máxima Verosimilitud Método de MV Como la relación entre la variable dependiente y las explicativas es no lineal no se puede aplicar el método de MCO. Si se usa el método de máxima verosimilitud, a partir de (2) y (4) se obtiene la función de densidad conjunta: L = n p y i i (1 p i) 1 y i, la cual, al considerar logaritmos neperianos queda: n ( lnl = y i ln(p i )+(1 y i )ln(1 p i ) = = n n ( ) y i ln(p i ) y i ln(1 p i )+ln(1 p i ) ( ) pi y i ln + 1 p i n ) ln(1 p i ) = n y i z i n ln(1+e z i ), donde se ha llamado z i = ln ( p i 1 p i ). Econometría II 18 / 37

10 Método de Máxima Verosimilitud Método de MV Teniendo en cuenta que p i = β 1 +β 2 x 2i + +β k x ki, derivar la expresión anterior con respecto a cada coeficiente conduce a: n n ( e z i lnl β 1 = lnl β j = n y i y i x ji n 1+e z i ( e z i ), 1+e z i ) x ji, j = 2,...,k. Al igualar a cero las derivadas anteriores se obtiene el siguiente sistema de ecuaciones normales no lineal que tendrá que ser resuelto mediante un algoritmo de optimización: n n ( e z i ) y i 1+e z = 0. i n y i x ji n ( e z i 1+e z i ) x ji = 0, j = 2,...,k. Bajo supuestos generales, los estimadores así obtenidos son consistentes, asintóticamente eficientes y con distribución asintótica normal. Además, aplicando este método de estimación se solventa el problema de heteroscedasticidad anteriormente comentado. Econometría II 19 / 37 Efecto marginal Oddratio Econometría II 20/ 37

11 Efecto marginal Efecto marginal Oddratio En los modelos lineales(como el modelo lineal de probabilidad) la derivada parcial de la variable dependiente, Y, con respecto a cada una de las variables explicativas, X j, j = 1,...,p,eslaconstante β j,yseinterpretacomoelcambioproducidoen Y cuando X j aumenta una unidad. Puesto que los modelos logit y probit son no lineales, esta interpretación no es correcta. En el modelo Logit, partiendo de(5), la derivada parcial anterior es: mientras que en el probit Y i X ji = e Z i (1+e Z i) 2 β j, j = 1,...,k, Y i X ji = φ(z i )β j, j = 1,...,k, siendo φ la función de densidad de la distrbución normal tipificada. Por tanto, el efecto marginal en ambos modelos depende de los valores que toman las variables explicativas(ya no es constante: uno de los objetivos perseguidos por estos modelos). Pueden, por tanto, calcularse los efectos marginales para cada observación de la muestra (alternativamente, los efectos marginales pueden evaluarse para el valor medio de las variables explicativas). Puesto que la exponencial y la función de densidad φ son siempre positivas, queda claro que el signo de los indica la dirección del efecto marginal. Es decir, un signo positivo indicará una relación directa, mientras que uno negativo inversa. Econometría II 21/ 37 Efecto marginal: ejemplo Efecto marginal Oddratio Para el ejemplo planteado, considerando un modelo de regresión logística de la formadadaen(5)con Z i = β 1 + β 2 EP t + β 3 EO t + β 4 TT t,seobtienelasiguiente estimación: β 1 = , β2 = , β3 = , β4 = Puesto que todas las estimaciones de los de las variables independientes tienen signo positivo, se tiene que el efecto marginal de estas variables será positivo. Es decir, incrementos en estas variables significarán(siempre que se rechaze la nula en los contrastes de significación individual) un aumento en la probabilidad de aprobar. Cuanto aumenta la probabilidad de aprobar si, para la misma calificación en los ejercicios en la pizarra y mismo porcentaje de preguntas correctas en los tipo test, sepasadeobtenerunacalificaciónde3enelexamendeordenadora4? Considerando,porejemplo,fijoslosvalores EP = 5yTT = 0.6,setieneque: Pr(Y = 1 EP = 5,EO = 3,TT = 0.6) = , Pr(Y = 1 EP = 5,EO = 4,TT = 0.6) = , es decir, el incremento de la probabilidad es Es este incremento constante? Econometría II 22/ 37

12 Efecto marginal: ejemplo Efecto marginal Oddratio EP EO TT Pr(Y = 1) Incremento Tal y como se observa en la tabla, para los valores constantes de calificación en pizarrade5ydeun60%depreguntascorrectasenlosexámenestipotest,elcambio enlaprobabilidaddeaprobaramedidaquecambialacalificaciónenelexamende ordenador no es constante. Cada una de las probabilidades anteriores se obtiene sustituyendo el correspondientevalorde EP, EOy TT enlasiguienteexpresión: eẑi 1+e Ẑ i, donde Ẑ i = β1 + β2 EP t + β3 EO t + β4 TT t. Econometría II 23/ 37 Efecto marginal: ejemplo Efecto marginal Oddratio Si se hubiese considerado un modelo Probit, las probabilidades de éxito anteriores se hubiesen obtenido a partir de la siguiente expresión: Pr(Y = 1 EP = ep,eo = eo,tt = tt) = Φ(ẑ i ) = Pr(Z ẑ i ), donde ẑ i = β1 + β2 ep+ β3 eo+ β4 ttyz N(0,1). Enelejemploquenosocupa: Pr(Y = 1 EP = 5,EO = 3,TT = 0.6) = Pr(Z ) , Pr(Y = 1 EP = 5,EO = 4,TT = 0.6) = Pr(Z ) , y entonces el incremento de la probabilidad es de Econometría II 24/ 37

13 Odd ratio Efecto marginal Oddratio Enlapráctica,enelmodelologit,loquesesuelehacerescalcularlarazónentre ambas probabilidades, cociente denominado odd-ratio, es decir: p i 1 p i = con z i = β 1 +β 2 x 2i + +β k x ki. e z i 1+e z i 1 1+e z i = e z i, Portanto,eloddratioeselnúmerodevecesqueesmásprobablequeocurrael fenómenoosucesofrenteaquenoocurra. Elodd-ratioasociadoauncambiode x jh a x jl, h l, h,l = 1,...,nenlavariable X j, j = 1,...,k,supuestoqueelrestodevariablespermanecenconstantes, viene dado por: Entalcaso: e z h e z l = e β j(x jh x jl ). Sinoexisterelaciónentrelavariabledependienteylavariableenestudioeloddratiotomaelvaloruno. Si la variable dependiente incrementa la probabilidad sobre la variable explicada el odd-ratio será superior a uno tanto mayor cuanto más elevada sea esta relación. Si la variable dependiente disminuye la probabilidad de la variable explicada el odd-ratio será menor que uno. Econometría II 25/ 37 Odd ratio: ejemplo Efecto marginal Oddratio Los odd-ratios asociados a un cambio unitario en las variables del ejemplo considerado se recogen en la siguiente tabla: Variables EP EO TT Odd-ratio Adviértase que dichos valores se han obtenido a partir de la expresión e β j, con j = 2,3,4.Losodd-ratiosasociadosauncambiode5unidadesencadaunadelas variablesseríaobtenidoapartirde e 5 β j. Así, por ejemplo, para un alumno que tiene una calificación en ordenador un puntosuperioraotroes1.2878vecesmásprobablequeapruebe.unalumnoque tiene una calificación 5 veces superior a otro es veces más probable que apruebe. Econometría II 26/ 37

14 Coeficiente de McFadden y proporción de aciertos Econometría II 27/ 37 Coeficiente de McFadden y proporción de aciertos Coeficiente de McFadden y proporción de aciertos Enlosmodeloslogityprobit,debidoaqueelmétododeestimaciónnoeseldeMCO sino el de MV, no podemos utilizar el coeficiente de determinación clásico para medir labondaddelajuste.recordemosqueesteeraunodelosproblemasquesurgíanen elmodelolinealdeprobabilidad.ensulugar,seutilizaelpseudo R 2 demcfadden: R 2 = 1 lnl lnl r, donde lnlesellogaritmoneperianodelafuncióndeverosimilituddelmodelosin restricciones (el modelo con todas las variables explicativas) y lnl r es el logaritmo neperiano de la función de verosimilitud del modelo restringido(solo incluye el término independiente del modelo). Otra opción para analizar la bondad del modelo es contabilizar el porcentaje de aciertos del modelo teniendo en cuenta que, por ejemplo, las probabilidades predichasporencimade0.5contabilizancomoy i = 1ymenoresque0.5estimanY i = 0: Ŷ i = 1 Ŷ i = 0 Y i = 1 A B Y i = 0 C D En los casos A y D se habra predicho correctamente el valor de Y, por tanto, la proporcióndeaciertosvendrádadaporelcociente A+D n. Sisedeseaserexigenteconelmodelo(lorecomendado),enlugardeusarel umbraldel0.5sedebeusarlaproporcióndeéxitos(deunos)quehayenlavariable dependiente. Econometría II 28/ 37

15 Proporción de aciertos: ejemplo Coeficiente de McFadden y proporción de aciertos Observados- Predichos Suspensos Aprobados Total Porcentaje Suspensos % Aprobados % Total % En la tabla anterior se cruzan las observaciones disponibles sobre el número de suspensos y aprobados con las predicciones realizadas por el modelo. Recordemos que el modelo logístico proporciona la probabilidad de aprobar, por tanto, es necesario establecer un umbral para clasificar dicha probabilidad como aprobada o suspensa.enestecaso,puestoqueenlamuestrasetieneun84%deaprobadosseha decidido que una probabilidad por debajo de 0.84 sea clasificada como suspenso y porencimacomoaprobado(sepuedeapreciarportantoquesehaestablecidoun umbral bastante exigente). Conestapremisasetienequedelos20suspensosclasificabiena14(un70%), mientras que de los 105 aprobados clasifica correctamente a 83(un 79.04%). Finalmente,elmodeloajustadoclasificaadecuadamenteun77.6%delosdatos(97de 125), una cifra más que aceptable si se tiene en cuenta las exigencias establecidas. Econometría II 29/ 37 Significación individual de los Significación conjunta de los Econometría II 30/ 37

16 Significación individual de los Significación individual de los Significación conjunta de los Para realizar contrastes de significación individual sobre los : } H 0 : β j = 0, H 1 : β j 0 nos basaremos en que los estimadores siguen uns distribución normal: ˆβ j N(β j,var(β j )). Por tanto, para tomar una decisión en el contraste utilizamos la siguiente regla de decisión: Serechaza H 0 si ˆβ j Var(ˆβ j ) Z 1 α/2, donde P[Z < Z 1 α/2 ] = 1 α/2con Z N(0,1). Adviértase que la obtención de la matriz de varianzas-covarianzas de los, β j,noesunatareafácil.porsuertetodoslosprogramasinformáticoslorealizan automáticamente, por lo que se puede realizar inferencia en la forma habitual. Econometría II 31/ 37 Significación conjunta de los Significación individual de los Significación conjunta de los Para realizar contrastes de significación conjunta sobre todos los (o un subconjunto), se puede utilizar el contraste de la razón de verosimilitudes: } H 0 : β 2 = β 3 =... = β k = 0. H 1 : encasocontrario El estadístico de contraste es: 2ln L(ˆβ r ) L(ˆβ) χ2 q, donde L(ˆβ r ) es la verosimilitud delmodelo restringido, es decir, del modelo en el queseimponela H 0, L(ˆβ)eslaverosimilituddelmodelosinrestriccionesyqesel número de restricciones. Econometría II 32/ 37

17 Modelosde alternativas Ejemplo Econometría II 33/ 37 Los modelos de alternativas o multinomiales generalizan a los estudiados hasta el momento para problemas donde la variable dependiente es nominal, es decir, cuando existen más de dos posibles resultados discretos. Algunos ejemplos pueden ser: Elección de la universidad en la que estudiar basándose en las calificaciones del estudiante, sus gustos, medios económicos, etc. Qué candidato recibirá el voto de una persona a partir de características demográficas o socio-culturales. Posibles ocupaciones profesionales de una persona en función de los trabajos de los padres, nivel de educación, etc. Modelosde alternativas Ejemplo Econometría II 34/ 37

18 : ejemplo Modelosde alternativas Ejemplo Supongamos que disponemos de información sobre la demanda de un determinado productofabricadoportresmarcas: A,By C.Queremosestudiarelefectoquetiene lavariableedaddecadaindividuo(x i )sobrelaeleccióndecadamarca.lavariable dependiente y ij mide la elección (y ij = 1) o no (y ij = 0) de la marca j-ésima realizada por el individuo i: El modelo quedaría: y ia = y ib = y ic = { 1 marca A, 0 otra marca { 1 marca B, 0 otra marca { 1 marca C, 0 otra marca y ij = β 1 +β 2 x i +ǫ ij, i = 1,...,n; j = A,B,C. La probabilidad de que cada individuo elija una determinada marca es: p ia = β 11 +β 21 x i, p ib = β 12 +β 22 x i, p ic = β 13 +β 23 x i, dondesehadecumplirquelasumadelasprobabilidadesesigualalaunidad. Econometría II 35/ 37 : ejemplo Modelosde alternativas Ejemplo En el caso del modelo logit multinomial, la probabilidad de escoger una de las alternativas es: p ij = e β 1j+β 2j x i 3 j=1 eβ 1j+β 2j x i, i = 1,...,n; j = A,B,C. Una de las alternativas es la de referencia: yelresto: p i1 = e β 11+β 21 x i 3 j=1 eβ 1j+β 2j x i = p ij = e β 1j+β 2j x i j=2 eβ 1j+β 2j x i 1+ 3 j=2 eβ 1j+β 2j x i, j = B,C. Los odds ratio se obtienen como el cociente entre probabilidades: p ij p i1 = e β 1j+β 2j x i, j = B,C, yellogaritmodeloddratio: ln ( pij ) = β 1j +β 2j x i, j = B,C. p i1 Econometría II 36/ 37

19 : ejemplo Modelosde alternativas Ejemplo También se pueden comparar entre las alternativas 2 y 3: p i2 p i3 = β 12 +β 22 x i β 13 +β 23 x i = e β 12 β 13 +(β 22 β 23 )x i. Para estimar los parámetros, utilizaremos el método de máxima verosimilitud. En este ejemplo, la función de verosimilitud es: L = n n n j=2 eβ 1j+β 2j x i e β 12+β 22 x i 1+ 3 j=2 eβ 1j+β 2j x i e β 13+β 23 x i 1+ 3 j=2 eβ 1j+β 2j x i. Econometría II 37/ 37