Métodos de la Minería de Datos

Transcripción

1 This is page i Priter: Opaque this Métodos de la Miería de Datos Dr Oldemar Rodríguez Rojas 6 de mayo de 2008

2 ii

3 This is page iii Priter: Opaque this Cotets Elemetos básicos de aálisis de datos exploratorio V Tipos de variables v 2 Descripció de ua variable cuatitativa v 3 Descripció de ua variable cualitativa viii 4 Relació etre dos variables cuatitativas xi 4 La regresió lieal (simple) xi 42 La ecuació de aálisis de la variaza xiv 43 Iterpretació geométrica del coeficiete de correlacióxvii 5 Regresió múltiple xviii 5 Iterpretació e el espacio de los idividuos xx 52 Iterpretació e el espacio de las variables xx

4 iv

5 This is page v Priter: Opaque this Elemetos básicos de aálisis de datos exploratorio Tipos de variables Defiició Ua variable describe ua característica para el cojuto de idividuos que fue defiida Defiició 2 El cojuto de idividuos es la població e estudio, por ejemplo, el cojuto de todos los costarriceses o las provicias de Costa Rica Observació Existe dos tipos de variables: Las cuatitativas y las cualitativas Las variables cuatitativas describe ua catidad (u úmero real), por ejemplo, el peso de u idividuos, el salario o la altura Las variables cualitativas describe ua cualidad, por ejemplo el color de los ojos, el diploma que posee la persoa Ua variable cualitativa siempre tiee asociada modalidades Por ejemplo para la variable Y color de ojos las modalidades podría ser: egro, azul, café, otro 2 Descripció de ua variable cuatitativa Ua variable cuatitativa está descrita por los valores que toma e el cojuto de idividuos para los cuales fue defiida Ejemplo idividuo tamaño Para sitetizar la iformació coteida e ua variable cuatitativa los ídices más comues so: El promedio, deotado por X, que se defie por: X x i

6 vi Elemetos básicos de aálisis de datos exploratorio El promedio es u idicador de tedecia cetral La variaza, deotada por var(x), defiida por: var(x) (x i X) 2 La variaza es ua medida de dispersió que refleja la magitud de la fluctuació de los datos La desviació estádar, dootada por σ x, se defie por: σ x var(x) Teorema Si a, b R y X es ua variable cuatitativa, etoces: ax + b ax + b 2 var(ax + b) a 2 var(x) Prueba 2 ax + b ( var(ax + b) (ax i + b) a ) x i ax + b ax + b + b [ ] 2 (ax i + b) (ax + b) (ax i + b ax b) 2 (ax i ax) 2 a2 (x i x) 2 a 2 var(x)

7 Elemetos básicos de aálisis de datos exploratorio vii Defiició 3 Ua variable X cuatitativa se dice cetrada y reducida si se cumple: X 0 2 var(x) Teorema 2 Sea variable X cuatitativa y Z la variable cuatitativa defiida por: z i : x i X σ x, etoces la variable Z está cetrada y reducida Prueba Se debe probar que la media de Z es cero y que la variaza de Z es uo Z z i x i X σ x (x i X) σ x ( ) x i X σ x ( ) x i X σ x ( ) X X σ x 0

8 viii Elemetos básicos de aálisis de datos exploratorio 2 var(z) (z i Z) 2 ( xi X 0 σ x ( ) 2 xi X σ 2 x σ 2 x ( σ x (x i X) 2 ) 2 ) (x i X) 2 var(x) var(x) Observació 2 Usualmete cada variable de ua tabla de datos se cetra y se reduce, de modo que todas las variables tiee la misma media y la misma variaza, evitádose así los efectos de las diferetes escalas 3 Descripció de ua variable cualitativa Ua variable cualitativa tambié está descrita por los valores que toma e el cojuto de idividuos para los cuales fue defiida Ejemplo 2 idividuo color de ojos azul 2 verde 3 egro 4 verde 5 azul 6 azul La variable color de ojos del ejemplo aterior tiee e este caso 3 modalidades: azul, verde y egro Para cada modalidad se defie la frecuecia absoluta F, como el úmero o catidad de idividuos que toma dicha modalidad Por ejemplo, e

9 Elemetos básicos de aálisis de datos exploratorio ix la tabla aterior se tiee que: F (azul) 3, F (verde) 2 y que F (egro) Tambié para cada modalidad se defie la frecuecia relativa F r, que es el cociete etre frecuecia absoluta y el úmero total de idividuos, es decir: F r F Por ejemplo, e la tabla aterior se tiee que: F r (azul) 3 6, F r(verde) 2 6 y que F r(egro) 6 Para facilitar los cálculos e u computador las variables cualitativas se represeta usualmete por ua matriz X, llamada el código disyutivo completo, que se defie como sigue: Sea X ua variable cualitativa co p modalidades defiida e u cojuto de idividuos, etoces la matriz X tedrá tamaño p y su etrada (i, j) es: { si el idividuo i tomó la modalidad j X ij 0 e caso cotrario Ejemplo 3 Para la variable color de ojos del ejemplo 2 el código disyutivo completo asociado es: X Las columas de X se llama idicatrices E el ejemplo aterior la columa es la idicatriz de la modalidad azul, la columa 2 es la idicatriz de la modalidad verde y la columa 3 es la idicatriz de la modalidad egro Es importate otar que e ua fila de la matriz X uca habrá más de u Esto garatiza los siguietes dos teoremas Teorema 3 La suma de las columas de la matriz X es el siguiete vector de tamaño :

10 x Elemetos básicos de aálisis de datos exploratorio Otra propiedad muy útil de X se expresa e el siguiete teorema Teorema 4 X t X es ua matriz p p diagoal tal que e cada etrada de la diagoal está la frecuecia absoluta de la modalidad respectiva Prueba La etrada X ij se obtiee efectuado el producto de la fila i de X t (columa i de X) por la columa j de X Si i j, dado que uca existe 2 uos e ua fila, el producto de dos columas columas diferetes es 0 Si i j, lo que hace el producto de la columa j por si misma, que es u coteo de cuátos idividuos tomaro la modalidad j, es decir la frecuecia absoluta de la modalidad j Ejemplo 4 Para la variable color de ojos del ejemplo 2 se tiee que: X t X Alguas veces ua variable cualitativa se covierte e variable cuatitativa asigado u código umérico a cada modalidad, por ejemplo color azul, color verde 2 y color egro 3 Así la variable color de ojos del ejemplo 2 se puede represetar por el vector columa: color de ojos 2 3 2, ótese que: Se debe teer cuidado co este tipo de codificació ya que las operacioes algebraicas podría o teer igú setido

11 Elemetos básicos de aálisis de datos exploratorio xi y i ax i + b Y y ax + b e i x i X FIGURE Recta de regresió 4 Relació etre dos variables cuatitativas 4 La regresió lieal (simple) Ejemplo 5 Etre las variables peso y altura usualmete existe ua relació, los idividuos más pesados e geeral so los más altos Esto puede ser cierto, pero o siempre, pues puede haber ua persoa más pesada que otra y si embargo su estatura podría ser meor Sea X y Y dos variables cualitatativas, la idea es determiar si existe ua relació (aproximada) lieal etre X y Y como se muestra e la Figura El problema matemático es ecotrar a, b R tal que: y i ax i + b + e i para i, 2,, de modo que los e i sea los más pequeños posibles Cocretamete se usa el criterio de los míimos cuadrados, es decir, se quiere que la suma sea míima e 2 i

12 xii Elemetos básicos de aálisis de datos exploratorio Teorema 5 La recta de regresió de míimos cuadrados etre dos variables cuatitativas X y Y (ie que miimiza e 2 i ) se calcula como sigue: Además: a (x i X)(y i Y ) b Y ax var(x) e i 0 Prueba Sea a, b R tal que y i míima Probaremos primero que ax i + b + e i y la suma e i 0 Para esto supogamos por cotradicció que Note que esto es equivalete a e i c e 2 i sea e i c co c 0 Nótese que y i ax i + b + e i ax i + (b + c) + (e i c) Pero: (e i c) 2 < (e 2 i 2e i c + c 2 ) e 2 i 2c e i + c 2 e 2 i 2cc + c 2 e 2 i 2c 2 + c 2 ( e 2 i e 2 i ) c 2

13 Esto implica que ya que Elemetos básicos de aálisis de datos exploratorio xiii e 2 i (e i c) 2 < es míimo Por lo tato c 0 lo que implica que e 2 i, lo cual es ua cotradicció e i 0 Probaremos que: b Y ax Note que e e i 0 0 lo que implica que: de dode b Y ax Probaremos que: a Y ax + b + e ax + b + e ax + b, (x i X)(y i Y ) var(x) Como y i ax i + b + e i etoces: e i y i ax i b y i ax i Y + ax (y i Y ) a(x i X) () Esto implica que miimizar e 2 i es equivalete a miimizar [ (yi Y ) a(x i X) ] 2 Para calcular este míimo se debe derivar [ (yi Y ) a(x i X) ] 2 respecto al úico parámetro a e igualar a 0 ( d [ (yi Y ) a(x i X) ] ) 2 2 [ (y i Y ) a(x i X) ] [ (x i X)] da [ 2(yi Y )(x i X) + 2a(x i X) 2] 2 (y i Y )(x i X) + 2a (x i X) 2

14 xiv Elemetos básicos de aálisis de datos exploratorio Así: d da es equivalete a: ( [ (yi Y ) a(x i X) ] ) 2 0 de dode: es decir: 2 (y i Y )(x i X) + 2a (x i X) 2 0, a a (x i X)(y i Y ), (x i X) 2 (x i X)(y i Y ) var(x) Defiició 4 Se defie la covariaza etre dos variables cualitativas X y Y como sigue: cov(x, Y ) : (x i X)(y i Y ) Teorema 6 La pediete de la recta de regresió se puede calcular como sigue: a cov(x, Y ) var(x) Prueba Es claro de la defiició 4 42 La ecuació de aálisis de la variaza Teorema 7 E el modelo y i ax i + b + e i se tiee que: dode: var(y ) var(ax + b) + var(e) var(y) es la variaza de Y var(ax + b) es la variaza explicada por las variacioes de X

15 Elemetos básicos de aálisis de datos exploratorio xv var(e) es la variaza de los residuos Prueba De () se sabe que e i (y i Y ) a(x i X), de dode: y i Y a(x i X) + e i Esto implica que: var(y ) (y i Y ) 2 [a(x i X) + e i ] 2 ( a 2 (x i X) 2 + 2a (x i X)e i + e 2 i ) Se sabe que: var(ax + b) a 2 var(x) a2 (x i X) 2, además se sabe que: e 2 i var(e) Basta probar que: (x i X)e i 0 Vamos esto:

16 xvi Elemetos básicos de aálisis de datos exploratorio (x i X)e i cov(x, e) cov(x, Y ax b) (x i X)(y i ax i b Y + ax + b) (x i X)(y i Y a(x i X)) [ ] (x i X)(y i Y ) a (x i X) 2 (x i X)(y i Y ) a (x i X) 2 ( cov(x, Y ) avar(x) pues a cov(x, Y ) ) var(x) cov(x, Y ) cov(x, Y ) 0 Defiició 5 El coeficiete de determiació se defie por: R 2 var(ax + b) var(y ) variaza explicada por la recta variaza total Teorema 8 R cov(x, Y ) σ X σ Y

17 Elemetos básicos de aálisis de datos exploratorio xvii Prueba R 2 (X, Y ) var(ax + b) var(y ) a2 var(x) var(y ) cov2 (X, Y )var(x) var 2 (X)var(Y ) cov 2 (X, Y ) var(x)var(y ) cov2 (X, Y ) σ 2 X σ2 Y ( ) 2 cov(x, Y ) σ X σ Y Defiició 6 R se llama el coeficiete de correlació 43 Iterpretació geométrica del coeficiete de correlació Ua variable X que toma valores puede ser represetada como u vector de R (E adelate R se deomiará espacio vectorial de las variables) E R el producto escalar (producto itero) usual es: Si X (x, x 2,, x ) y Y (y, y 2,, y ) etoces: X, Y x i y i E aálisis de datos se usa el siguiete producto itero: X, Y x i y i Co este producto itero se tiee la iterpretació del coeficiete de correlació que se expoe e el siguiete teorema Teorema 9 E el espacio vectorial de las variables R el coseo del águlo etre 2 variables cetradas y reducidas es igual al coeficiete de correlació etre esas 2 variables Corolario X σ X

18 xviii Elemetos básicos de aálisis de datos exploratorio 5 Regresió múltiple PROBLEMA: Se trata de explicar (predecir) ua variable cuatitativa Y, observada e idividuos, utilizado m variables cuatitativas liealmete idepedietes X j co j, 2,, m Estas variables tambié ha sido observadas e los mismos idividuos Ejemplo 6 Cosideremos que los pricipales factores que icide e el redimieto del cultivo del trigo so: a) Potasio y fósforo (kg/ha), b) Nitrógeo (kg/ha), c) Agua de lluvia promedio (cm 3 ), d) Acidez del suelo (ph) y e) Temperatura promedio ( ) Y que las respectivas variables explicativas se deotará como: X : Catidad de potasio y fósforo (mezcla) por hectárea X 2 : Catidad de itrógeo por hectárea X 3 : Acidez del suelo (ph) X 4 : Catidad promedio de lluvia caída (cm 3 ) X 5 : Temperatura promedio Y : Redimieto medido e quitales/ha (variable depediete a explicar) X X 2 X 3 X 4 X 5 Y Pot Nit Alluv PH tem red TABLE Redimieto de trigo, Y, e 0 parcelas segú los factores X i Nuestro objetivo es medir de algua forma la icidecia e la variable Y de los factores explicativos Asumimos que el efecto de cada factor sobre el redimieto es aditivo de maera que Y se expresa e térmios de los factores explicativos como: Y a 0 + a X + a 2 X a 5 X 5 + e (2) Al coocer los valores de los a i de este modelo, se explica el poder de icidecia de cada factor X i e la variable Y, lo que permite estimar el

19 Elemetos básicos de aálisis de datos exploratorio xix redimieto del cultivo de trigo Y, para diferetes valores de los factores explicativos X i (variables idepedietes), etre otros objetivos A fi de dispoer de los datos ecesarios para estimar los valores a 0,, a 5 se realizó el siguiete experimeto: cultivar trigo e 0 campos diferetes sometido a distitos tratamietos de las variables explicativas Las medicioes resultates de las 6 variables, e cada caso, se resume e la tabla Es ua geeralizació de la regresió lieal, es decir: dode: y i a 0 + a x i + a 2 x i2 + + a m x im + e i (3) y i es la observació i ésima de la variable y (es decir, e el idividuo i) x ij es la observació i ésima de la variable x j (es decir, e el idividuo i) Los coeficietes a j para j, 2,, m so las icogitas y será calculados usado el criterio de míimos cuadrados, es decir de modo tal que sea míimo e 2 i Aálogamete al caso lieal se puede probar que ē 0, e i 0 (tarea) ȳ a 0 + a x + a 2 x a m x m + e i, ȳ a 0 + a x + a 2 x a m x m (4) Restado (3) (4) se tiee que: y i ȳ a (x i x ) + a 2 (x i2 x 2 ) + + a m (x im x m ) + e i (5) Si deotamos por Y i y X j las variables cetradas: Y i y i ȳ y X ij x ij x j para i, 2,, ; j, 2,, m,

20 xx Elemetos básicos de aálisis de datos exploratorio etoces (5) se escribe como: Y i a X i + a 2 X i2 + + a m X im + e i, (6) para i, 2,, ; j, 2,, m Luego matricialmete (5) se escribe como: dode: Y Xa + e, (7) X X j X m Y Y 2 X X i X ij X im, Y, X X j X m Y a e a 2 e 2 a, e a m e 5 Iterpretació e el espacio de los idividuos El espacio de los idividuos es el espacio filas de la matriz por bloques [X Y ], es decir se tiee putos e R m+ Miimizar e 2 i correspode a ecotrar u hiperplao: Y i a X + a 2 X a m X m e R m+ de tal maera que pase lo más cerca posible de los putos (idividuos) 52 Iterpretació e el espacio de las variables E espacio de las variables R está las columas de X, deotadas por X, X 2,, X m Tambié está e este espacio los vectores Y y e La iterpretació está dada por el siguiete Teorema:

21 Elemetos básicos de aálisis de datos exploratorio xxi Teorema 0 Ecotrar los parámetros a, a 2,, a m de tal maera que la sea míima es equivalete a proyectar ortogoalmete el vector Y e 2 i sobre el espacio geerado por X, X 2,, X m B {X, X 2,, X m } {v, v 2,, v m } ortoormal Y Xa Y, v v + Y, v 2 v Y, v m v m Xa X(X t X) X t y Corolario 2 El vector que miimiza la suma del cuadrado de los residuos es: a (X t X) X t y Observació 3 Para proosticar ua variable Y, a partir de ua tabla de datos cetrada X, se utiliza: Y Ỹ Xa, (8) Observació 4 Para proosticar ua variable Y, a partir de ua tabla de datos NO cetrada X, se utiliza: dode: a 0 ȳ m a j x j y j Y Ỹ Xa + a 0, (9)