Estadística Aplicada. Análisis Multivariante.

Transcripción

1 Estadística Aplicada. Análisis Multivariante. Jorge Luis Ojeda Cabrera. Indice Índice 1. Introducción 1 1. Introducción Introducción El problema de la Clasificación Supervisada : DATOS: (x 1, y 1 )..., (x n, y n ) siendo x i R d las coordenadas de cada dato (punto). y i { 1, 1} clasificación de cada dato (punto), color. Se trata de obtener un clasificador C(x) { 1, 1}, de forma que dado x indique si x pertenece a la clase de +1 (C(x) = 1) o a la del -1 (C(x) = 1). PROBLEMA: Dados dos clasificadores C 1 (x), C 2 (x) { 1, 1} Cuál funciona mejor? Notemos es primer lugar que dado un clasificador C: REALIDAD: x puede pertenecer a la clase del +1 o a la del -1. CLASIFICADOR: C(x) puede valer +1 o -1. C puede predecir que x pertenece a la clase del +1 o a la del 1. Algunos clasificadores calculan una Puntuación P C (x) R para clasificar: C(x) = 1 si P C (x) > a, C(x) = 1 si P C (x) < a a R es el umbral de clasificación... Introducción Notar que dado (x, y) el Clasificador puede cometer dos tipos de errores (C(x) y): Falso Postivo: C(x) = +1 e y = 1. Falso Negativo: C(x) = 1 e y = +1. La situación se resumen en la tabla siguiente: CLASIF. / REAL. y = +1 y = 1 C(x) = +1 Ok. Falso Pos. C(x) = 1 Falso Neg. Ok. 1

2 Curva R.O.C. Una forma de representar la bondad de un clasificador C en base a una muestra (x 1, y 1 )..., (x n, y n ) es dibujar la Proporción de Verdaderos Positivos (P V P, sensitivity) frente a la de Falso Negativos (P F N, 1-specificity). La situación se resumen en la tabla siguiente: OBSERVACIONES: CLASIF. x i / REAL. y i = +1 y i = 1 Num. Pos. (NP ) Num. Ver. Pos. (NV P ) Num. Fal. Pos. (NF P ) Num. Neg. (NN) Num. Fal. Neg. (NF N) Num. Ver. Neg. (NV N) Obviamente: P V P = NV P NP, y P F N = NF N NN El cálculo asume que existe una puntuación P C (x) para el clasificador C. De hecho, la curva R.O.C. es el gráfico: (P(P C (x) > δ y = 1), P(P C (x) > δ y = +1)) δ (0, 1) Se mide la bondad en téminos del Area Bajo la Curva (AUC), que varía entre 0 y 1 (cuanto mayor mejor). La curva ROC de un clasificador perfecto tiene la forma Γ....todos los psoitivos son verdaderos y no hay falsos negativos. Ejemplos Ejemplo Simulado Ejemplo con datos Simulados Consideremos los datos generados por la siguiente función: > ej1 <- function(n) { + d <- data.frame(x1 = rnorm(n), x2 = rnorm(n)) + d$y <- 2 * (d$x2 > 0) d$y <- as.factor(d$y) + d + } > d <- ej1(100) Veamos cómo calcular la curva ROC para un clasificador SVM, utilizaremos la librería proc: > library('e1071') > library('proc') > dsvm <- svm(y ~ x1 + x2, d) > dsvmroc <- roc(d$y~dsvm$decision.values) Si utilizamos un discriminador lineal: utilizaremos la librería proc: > library('mass') > dlda <- lda(y ~ x1 + x2, d) > dldaroc <- roc(d$y~predict(dlda)$x) El gráfico de la curva ROC para cada clasificador: > plot(dsvmroc) 2

3 roc.formula(formula = d$y ~ dsvm$decision.values) Data: dsvm$decision.values in 46 controls (d$y -1) > 54 cases (d$y 1). Area under the curve: > plot(dldaroc) roc.formula(formula = d$y ~ predict(dlda)$x) Data: predict(dlda)$x in 46 controls (d$y -1) < 54 cases (d$y 1). Area under the curve: Para obtener el conjunto: > plot(dsvmroc) roc.formula(formula = d$y ~ dsvm$decision.values) Data: dsvm$decision.values in 46 controls (d$y -1) > 54 cases (d$y 1). Area under the curve: > lines(dldaroc,col="red") Ejemplo Tortugas Ejemplo con datos Tortugas Consideremos los datos del ejemplo de las tortugas: > tort <- read.table("tortuga.dat", header = T) Veamos cómo calcular la curva ROC para un clasificador SVM, utilizaremos la librería proc: > library('e1071') > library('proc') > tortsvm <- svm(sexo ~., tort) > tortsvmroc <- roc(tort$sexo~tortsvm$decision.values) > tortsvmroc 3

4 Si utilizamos un discriminador lineal: utilizaremos la librería proc: > library('mass') > tortlda <- lda(sexo ~., tort) > tortldaroc <- roc(tort$sexo~predict(tortlda)$x) > tortldaroc roc.formula(formula = tort$sexo ~ predict(tortlda)$x) Data: predict(tortlda)$x in 24 controls (tort$sexo h) < 24 cases (tort$sexo m). Area under the curve: El gráfico de la curva ROC para cada clasificador: > plot(tortsvmroc) > plot(tortldaroc) roc.formula(formula = tort$sexo ~ predict(tortlda)$x) Data: predict(tortlda)$x in 24 controls (tort$sexo h) < 24 cases (tort$sexo m). Area under the curve: Para obtener el conjunto: > plot(tortsvmroc) > lines(tortldaroc,col="red") 4

5 5