Proceso de análisis de regresión múltiple

Transcripción

1 Proceso de análisis de regresión múltiple Recolección de datos Chequeo de la calidad de los datos Diagnóstico de relaciones o interacciones fuertes entre las variables Xs Aplicación de medidas remediales Si Se requieren medidas remediales? No Selección y ajuste del modelo Uso de otra técnica No Validación del modelo Si Interpretación y uso del modelo

2 Supuestos del modelo de regresión lineal múltiple El análisis de regresión multivariante está basado en los siguientes supuestos (Neter et al., 1996): Las variables independientes o explicativas deben ser linealmente independientes. Es decir, no debe ser posible que una variable ibl independiente di sea explicada por una combinación lineal de las otras. Los términos de error deben distribuirse normalmente, con media cero, varianza constante y ser independientes entre sí.

3 Análisis de residuales o errores No satisfactorio No satisfactorio No satisfactorio

4 Análisis de residuales Se realiza para validar los supuestos del MRL que puede presentar los siguientes problemas: Los errores no tienen varianza constante. Los errores no son independientes. Los errores no están distribuidos ib id normalmente. Una o varias variables de regresión X s no han sido consideradas en el MRL.

5 Recomendaciones Varianza no constante: transformar o elegir otros modelos como las redes neuronales. Errores correlacionados: transformar las variables independientes o excluir algunas de ellas. Errores no normales: si hay serias diferencias con la distribución normal, entonces utilizar modelos no paramétricos como las redes neuronales o otros.

6 Modelos no lineales que pueden ser transformados en lineales Una alternativa para aumentar el R 2 consiste en usar modelos no lineales que pueden ser convertidos en lineales, a través de transformaciones tanto de la variable independiente como dependiente. Nombre del modelo Ecuación del Modelo Transformación Modelo Linealizado Exponencial Y=αe βx Z=Ln Y X=X Z=Ln α +βx Logarítmico Y= α +βlog X Y=Y W=Log X Y= α +βw Doblemente Logarítmico Y=αX β Z=Log Y W=Log X Z= Log α +βw Hiperbólico Y= α +β/x Y=Y W=1/X Y= α +βw Inverso Y=1/(α +βx) Z=1/Y X=X Z=α +βx Para predecir el valor de Y usando el modelo linearizado hay que aplicar la inversa de la transformación correspondiente. 6 Claudia Jiménez R 6

7 Ejemplo de linearización Dada la función exponencial : y = βe mx aplicando logaritmos neperianos se tiene que: ln(y) = ln(βe mx ) ln(y) = ln(β) + mx(ln(e)) ln(y) = ln(β) + mx De esta forma, si la variable x es dibujada en escala lineal y el valor y en escala logarítmica, se obtiene una línea recta con pendiente m e intercepto ln(β). 7 Claudia Jiménez R

8 Los siguientes datos representan como ha cambiado la población en Puerto Rico desde 1930 hasta Ejemplo Solución: Año Población Población=αe βaño Ln(Población) = año R 2 = 98.9% Se desea establecer un modelo para predecirp la poblaciónp de Puerto Rico en el año Ln( Población ) = * 2000 = = 15.2 Población = e 15.2 = 3,992,787 8 Claudia Jiménez R

9 Regresión con variables explicativas cualitativas Una variable categórica (nominal) con k estados o categorías puede ser convertida a números mediante k-1 variables binarias o dicotómicas. Utilizar una variable indicadora por cada clase de la variable cualitativa conlleva a dificultades computacionales y a redundancias innecesarias. Las variables indicadoras también son conocidas como variables dummy ovariablesflags. Las variables indicadoras sólo toman el valor 0 o el 1. 9 Claudia Jiménez R

10 , Ejemplo de un análisis de regresión con variables explicativas cualitativas Se desea construir un modelo de regresión lineal para estimar la relación existente entre las millas por galón, el rendimiento de ciertos automóviles, con respecto al peso y lugar de origen del mismo que puede ser América, Europa o Japón. Como el lugar de origen es una variable de tipo cualitativa y que en este caso tiene tres clases, la representaremos mediante dos (k-1) variables indicadoras, por lo que el modelo de regresión quedaría de la siguiente manera Yi = β 0 + β 1 X i 1 + β 2 X i 2 + β 3 X i 3 X i1 es el peso del vehículo y X i 2 y X i3 son las variables indicadoras: d 1 América X 1 Japón i2 X 3 0 Otro i 0 Otro X X = 0 i 2 i 3 3 i Europa 10 Claudia Jiménez R

11 , Ejemplo (continuación) 1 América X 1 Japón i2 X X X = 0 Europa Otro i3 0 0 Otro i2 i3 Yˆ Yˆ = Japón i β 0 + β 1X i 1 + β 2(0) + β 3(1 ) i = ( β + β ) + β X i1 De manera similar: Yˆ Yˆ i = ( β 0 + β 2 ) + β 1X i 1 = β + β Europa i 0 1X i 1 América 11 Claudia Jiménez R

12 Coeficien i Coeficiente i de Desviación ió R 2 0,6933 te de Regresión Regresión Estimado Estándar Estimada β 45,8037 0,8959 β 0 1 β 2 β 3-0,0073 0,0003-0,6104 0,6351 0,7446 0,

13 Conversión: Booleanos a Numéricos Atributos binarios o con dos categorías: Ejemplo Género = Masculino, Femenino (F, M) Convertir a valores 0, 1 Género= M código numérico= 0 Género = F código numérico = 1 13 Claudia Jiménez R

14 Regresión por pasos Puede ser: Hacia adelante, iniciando con una sola variable X, e ir agregando otras. Hacia atrás, empezando con un modelo con todas las variables e ir eliminando otras 14 Claudia Jiménez R

15 Conversión: Booleanos a Numéricos La notas cualitativas, por ejemplo, pueden convertirse a números, conservando el orden natural: Aprobado Bueno 3.8 Regular 3.3 En peligro 3.0 Numerización ió 1 a 1 Técnico 4 Bachiller 3 Primaria 2 Sin estudios 1 15 Claudia Jiménez R

16 LA REGRESIÓN LOGISTICA

17 Utilidad de la regresión logística Clase 1 REGRESION LOGISTICA Clase 2 Clasificación y análisis del riesgo 17 Claudia Jiménez R

18 Características del análisis logit o regresión logística Variable de respuesta binaria: Identifica el grado de pertenencia del objeto a cada uno de los grupos analizados: Se identifica con un 1 al objeto que pertenece al grupo cuya probabilidad de pertenencia estimará el modelo. Se identifica con un 0 al objeto que no pertenece al grupo objeto de análisis. Variables explicativas: Son las variables que sirven para discriminar entre los grupos y que determinan la pertenencia de un elemento a un grupo u otro. Pueden ser: - Variables cuantitativas. -Variables cualitativas. Resultado del análisis: El resultado es un valor numérico que indica la probabilidaddepertenenciadeunelementoalgrupoqueseleasignóelvalor1, es decir, el grupo gupoobjetoo de análisis. 18 Claudia Jiménez R

19 Ejemplo Dosis de un veneno versus El número de ratones que muere ilidad predicha Probab 1.0 Dosis.8 (mlgr) Muere 8 No (0) Si (1) Total Dosis de veneno Total Claudia Jiménez R

20 Problemas típicos: de tipo binomial La variable dependiente sólo toma dos valores, es dicotómica, y sus valores son habitualmente nominales como: Enfermo - no enfermo. Muere No muere. Compra No compra. Falla No falla. 20 Claudia Jiménez R

21 Modelo matemático p = 1 + e 1 ( β 0 + β1x i + β1x i β5x m ) Donde: X : variable independiente p =P(Y): Probabilidad de que ocurra el suceso de interés. q = Q(Y): Probabilidad de que no ocurra el suceso. e representa la base de los logaritmos neperianos. (su valor es = 2, ) β o, β 1,...ββ i :coeficientesderegresión del modelo. 21 Claudia Jiménez R

22 Estimación de los coeficientes Los estimadores de los coeficientes se calculan mediante el método de la función de máxima verosimilitud donde: Se emplean métodos numéricos, éi hasta quela diferenciai conel valor de la función sea menor que un valor predeterminado, habitualmente 0,01. El número de iteraciones es fijo, y también ajustable por el investigador. Si la función no converge en el número de iteraciones predeterminado, se dice que no tiene solución. 22 Claudia Jiménez R

23 Regresión logística Y = Variable dependiente 1 (ocurrencia de evento)...muere, enfermo, compra, falla 0 (grupo control)...no muere,sano,no compra, falla.. Variable independiente X = { Variables discriminantes, como la dosis del tóxico Problemas de interés p = P[ Y = 1/ X = xi ] q = P Y p + q = 1 [ = 0 / X = x ] 23 Claudia Jiménez R i

24 Los coeficientes de la regresión logística Si los coeficientes de las variables son positivos, eso significa que aumentan la probabilidad del evento que estamos estudiando. Si éste fuera una enfermedad, el factor o la variable considerada cuyo coeficiente es positivo aumentaría la probabilidad de padecer la enfermedad y, por lo tanto, dicho factor sería un factor de riesgo. Si el coeficiente es negativo, el factor cuyo coeficiente es negativo disminuye la probabilidad del evento que estamos estudiando; en caso de que dicho suceso fuera una enfermedad, estaríamos ante un factor de protección. 24 Claudia Jiménez R

25 SIGNIFICADO DE LOS COEFICIENTES p p p 1 = ( β + β X + β 1+ e 0 1 i 2 X j 1 = ( β0 + β1* Edad + β2* Dejar. de. fumar) 1+ e = 1+ e ) 1 ( * Edad 2.348* Dejar. de. fumar) Signo positivo, por tanto la edad es un factor de riesgo Signo negativo, por tanto el dejar de fumar es un factor de protección 25 Claudia Jiménez R

26 Ejemplo en Matlab peso = [ ]; bajo_rend = [ ]; total_autos = [ ]; 26 Claudia Jiménez R

27 Ajuste en Matlab b= glmfit(peso,[bajo_rend],'binomial ); x = 2100:100:4500; y = glmval(b,x,'logit'); plot(peso, bajo_rend/total_autos, 'x', x, y, 'r-') 27 Claudia Jiménez R