Aprendizaje Automático para el Análisis de Datos GRADO EN ESTADÍSTICA Y EMPRESA. Ricardo Aler Mur

Transcripción

1 Aprendizaje Automático para el Análisis de Datos GRADO EN ESTADÍSTICA Y EMPRESA Ricardo Aler Mur

2 TIPOS DE TAREAS, MODELOS Y ALGORITMOS

3 ? Datos Entrenamiento Algoritmo Modelo Galaxia espiral

4 TAREAS / MODELOS / ALGORITMOS Qué se puede hacer en aprendizaje automático? Tareas: Aprendizaje supervisado: clasificación, predicción (regresión), Aprendizaje no supervisado: asociación, agrupamiento (clustering), Aprendizaje semi-supervisado Aprendizaje por refuerzo Qué tipo de modelos se pueden aprender mediante aprendizaje automático? Modelos: Lineales / no lineales (árboles de decisión, redes de neuronas, SVMs, ) Discriminantes / Generativos Atributo-valor / Relacionales Cómo se pueden aprender los modelos? Algoritmos: regresión lineal, backpropagation, C4.5, IB1,

5 TAREAS Tareas: Aprendizaje inductivo (a partir de ejemplos) Aprendizaje supervisado: Clasificación: Discrete Ranking, scoring, probability estimation Predicción (regresión) Ordinal regression (ranking) Aprendizaje semi-supervisado Aprendizaje no supervisado: Agrupamiento o clustering Asociación Aprendizaje por refuerzo

6 UN EJEMPLO DE PROBLEMA DE CLASIFICACIÓN: T = Conjunto de entrenamiento o instancias Años Euros Salario Casa propia Cuentas morosas Crédito Algoritmo Instancia de test Años Euros Salario Casa propia Cuentas morosas Crédito ?? Modelo IF CM >0 THEN NO IF CM =0 Y S>2500 THEN SI x (o atributos de entrada) y (clase, o atributo de salida) Crédito = 20

7 UN EJEMPLO DE PROBLEMA DE CLASIFICACIÓN: Concesión de créditos bancarios Un banco por Internet desea obtener reglas para predecir qué personas de las que solicitan un crédito no van a devolverlo. La entidad bancaria cuenta con una gran base de datos correspondientes a los créditos concedidos (o no) a otros clientes con anterioridad. Instancias (de la base de datos del banco): Atributos de entrada: años del crédito, cuantía del crédito, tiene cuentas morosas, tiene casa propia Clase: si/no Modelo que se podría aprender: SI (cuentas-morosas > 0) ENTONCES Devuelve-crédito = no SI (cuentas-morosas = 0) Y ((salario > 2500) O (años > 10)) ENTONCES devuelve-crédito = si

8 APRENDIZAJE SUPERVISADO. CLASIFICACIÓN CON CLASES DISCRETAS Sea un conjunto de datos de entrenamiento o aprendizaje T = {(x 1, y 1 ), (x 2, y 2 ),, (x n, y n ))} A los (x i,y) (X,Y) se les llama ejemplos o instancias. X = R d es el espacio de entrada o espacio de instancias. d es la dimensionalidad Y = {c 1, c 2,, c k } son las clases o etiquetas. k=2, problema de clasificación binaria K>2, problema de clasificación multiclase El objetivo de la clasificación discreta es encontrar una función g G, g : X Y, de tal manera que a cada x X, se le asigne su clase o etiqueta correcta y=g(x)

9 X = R 2 Y = {amarillo, azul} g : X Y CLASIFICACIÓN COMO DISCRIMINACIÓN

10 DISCRIMINATIVO VS. GENERATIVO Aprender la función separadora g:x Y se le denomina aproximación discriminativa y es la más común Otra manera de afrontar el problema de la clasificación es el generativo, en el que se aprende la distribución de probabilidad conjunta de todas las variables del problema: P(x,y) A partir de aquí podemos computar P(y=1 x) para clasificar un ejemplo x Pero se puede utilizar P para computar cualquier otra cosa como P(x1=1,x2>3 y=1) el objetivo es clasificar, es mas sencilla la aproximación discriminativa. se quiere ir mas allá (como generar nuevos datos (x,y)), entonces se pueden usar técnicas generativas

11 GENERALIZACIÓN EN CLASIFICACIÓN Importante: La función g : X Y se aprende a partir de un conjunto finito de entrenamiento T = {(x 1, y 1 ), (x 2, y 2 ),, (x n, y n ))} Pero la función g debería ser válida para todo x X En concreto, g debería acertar con instancias no vistas x T A pasar de lo concreto a lo general se le denomina generalización o inducción La inducción es en general, imposible, puesto que un número finito de puntos pueden ser separados por un número infinito de funciones. A esto se lo denomina problema de la inducción. Pero se puede obtener una buena aproximación de g: el número de datos de entrenamiento es suficientemente grande como para representar el concepto subyacente se hacen ciertas suposiciones sobre la familia de funciones G a las que puede pertenecer g, g G Por ejemplo, se puede suponer que g es simple (Navaja de Ockham)

12 INSTANCIAS Instancia (o ejemplo, o dato): (x i,y) (X,Y) = (R d,y) x se describe con una lista de parejas de atributos y valores (tupla) Por tanto, una instancia es: (x,y) = (v 1, v 2,, v d, y) Años=10, euros=10000, salario=2500, casa=no, cuentas=3; clase=si Tipos de atributos. Hemos dicho que en general son reales, pero pueden ser: minales: verde, rojo, amarillo Ordinales: frío, templado, caliente Reales: 0, 1, 2 1.3, 7.9, , La presencia de atributos nominales hace que no se pueda visualizar la clasificación como separación de datos en un espacio

13 TAREAS Tareas: Aprendizaje inductivo (a partir de ejemplos) Aprendizaje supervisado: Clasificación: Discrete Ranking, scoring, probability estimation Predicción (regresión) Ordinal regression (ranking) Aprendizaje semi-supervisado Aprendizaje no supervisado: Agrupamiento o clustering Asociación Aprendizaje por refuerzo

14 RANKERS, SCORERS, ESTIMACIÓN DE PROBABILIDADES Ranking: en ocasiones necesitamos que la función g nos ordene las instancias x (ejemplo: ordenación de páginas de google por relevancia) En ese caso, en el caso de clasificación binaria, g : X [0, 1] Scoring: en caso de que la función g nos devuelva una medida de pertenencia de una instancia a una clase: g : X R (en caso de clasificación binaria) Por ejemplo, g(x) = distancia de x a la frontera de separación Estimación de probabilidades: Un score no es una probabilidad (no cumple las leyes de las probabilidades) g(x) = p(y x)

15 RANKERS, SCORERS, ESTIMACIÓN DE PROBABILIDADES Es fácil transformar un ranker, scorer o estimador de probabilidades en un clasificador binario, sin mas que poner un threshold: g(x) <= t entonces clase 0 g(x) > t entonces clase 1

16 APRENDIZAJE MULTI-INSTANCIA EJEMPLO DE LAS DROGAS Una droga es una molécula que se puede enlazar / encajar en una proteina (encimas, receptores de superficies celulares, ), como si fuera una llave en una cerradura Una molécula de una droga puede existir en diferentes configuraciones de baja energía. Sólo una de las configuraciones es capaz de encajar con la proteína. Pero no se puede saber cual. Sólo se sabe si la molécula, en alguna de sus configuraciones, encaja con la proteína Se trata de predecir que moléculas (drogas) son capaces de encajar en la proteína

17 APRENDIZAJE MULTI-INSTANCIA EJEMPLO DE LAS DROGAS Se podría considerar una molécula positiva si alguna de sus configuraciones encaja con la proteína y negativa si ninguna lo hace. Entonces, usar clasificación supervisada típica Problema: una molécula puede tener cientos de configuraciones negativas y sólo unas pocas positivas Eso implica mucho ruido

18 APRENDIZAJE MULTI-INSTANCIA Las instancias son bolsos (bags), cada uno contiene varias instancias Un bag es positivo si contiene al menos una instancia positiva. En caso contrario, es negativo Sólo se conocen las clases de los bags de entrenamiento, pero no las de las instancias de cada bag.

19 TAREAS Tareas: Aprendizaje inductivo (a partir de ejemplos) Aprendizaje supervisado: Clasificación: Discrete Ranking, scoring, probability estimation Predicción (regresión): la clase es contínua Ordinal regression (ranking) Aprendizaje semi-supervisado Aprendizaje no supervisado: Agrupamiento o clustering Asociación Aprendizaje por refuerzo

20 PREDICCIÓN (REGRESIÓN) la clase a predecir es continua el problema es de predicción (o regresión) Los modelos que se aprenden son funciones matemáticas y=g(x) Lineal: y = ax+b lineal: y = a*x 2 +bx+c / y = log(sin(x))

21 TAREAS Tareas: Aprendizaje inductivo (a partir de ejemplos) Aprendizaje supervisado: Clasificación: Discrete Ranking, scoring, probability estimation Predicción (regresión) Ordinal regression (ranking) Aprendizaje semi-supervisado Aprendizaje no supervisado: Agrupamiento o clustering Asociación Aprendizaje por refuerzo

22 TAREAS Tareas: Aprendizaje inductivo (a partir de ejemplos) Aprendizaje supervisado: Clasificación Predicción (regresión) Aprendizaje semi-supervisado Aprendizaje no supervisado: Agrupamiento o clustering Asociación Aprendizaje por refuerzo

23 APRENDIZAJE SEMISUPERVISADO Se dispone de algunas instancias de entrenamiento etiquetadas y de otras muchas sin etiquetar (sólo los atributos de entrada) Justificación: etiquetar datos puede resultar costoso (ej: hacer una biopsia para saber si una persona tiene cáncer)

24 TAREAS Tareas: Aprendizaje inductivo (a partir de ejemplos) Aprendizaje supervisado: Clasificación Predicción (regresión) Aprendizaje semi-supervisado Aprendizaje no supervisado: Agrupamiento o clustering Asociación Aprendizaje por refuerzo

25 IDEA GENERAL DE AGRUPACIÓN Y: Long. media frases Detectar agrupaciones naturales en los datos Agrupación (o clustering ) = aprendizaje no supervisado: se parte de una tabla, como en clasificación, pero sin la clase Ejemplo: clustering de libros. 2 grupos: * Palabras y frases largas (? filosofía ) * Palabras y frases cortas (? novela ) 39 X: Longitud media de palabras

26 REPRESENTACIÓN DE CLUSTERS ( k-medias Por sus centroides (ej: algoritmo La pertenencia a un cluster puede ser ( EM probabilística (ej: algoritmo K-MEDIAS / K-MEANS: 40

27 CLUSTERING n embargo, la tarea de clustering no es fácil de definir: basada en cercanía o en conectividad?

28 REPRESENTACIÓN DE CLUSTERS ( cobweb Jerárquica (ej: algoritmo ta: las etiquetas filosofía, clásico, etc. aparecen sólo a título indicativo. El sistema simplemente detectaría distintos grupos a distintos niveles Libros Filosofía Teatro vela Analítica Existencialista Historica Historica Clasico 42 Moderno

29 AGRUPACIÓN DE EMPLEADOS ( CLUSTERING ) El departamento de RRHH de una empresa desea categorizar a sus empleados en distintos grupos con el objetivo de entender mejor su comportamiento y tratarlos de manera adecuada 43

30 44 EJEMPLO 4. DATOS H 6 1 Prop M 7 15 Alq H 10 5 Prop M 3 3 Alq H 15 7 Alq Sexo Antigüe dad Bajas ndicado Alq/Prop Hijos Coche Casado Sueldo Id

31 45 DATOS H 6 1 Prop M 7 15 Alq H 10 5 Prop M 3 3 Alq H 15 7 Alq Sexo Antigüe dad Bajas ndicado Alq/Prop Hijos Coche Casado Sueldo Id

32 MODELO GRUPO 1 GRUPO 2 GRUPO 3 Sueldo %/22% ( / ) Casado 98%/2% 0%/100% Coche 82%/18% 1%/99% 5%/95% Hijos Alq/Prop 99%/1% 75%/25% 17%/83% ndicado 80%/20% 0%/100% 67%/33% Bajas Antigüedad %/39% ( H/M ) Sexo 25%/75% 83%/17% 46

33 MODELO Grupo 1: sin hijos y con vivienda de alquiler. Poco sindicados. Muchas bajas Grupo 2: sin hijos y con coche. Muy sindicados. Pocas bajas. rmalmente son mujeres y viven en alquiler Grupo 3: con hijos, casados y con coche. Mayoritariamente hombres propietarios. Poco sindicados. 47

34 TAREAS Tareas: Aprendizaje inductivo (a partir de ejemplos) Aprendizaje supervisado: Clasificación Predicción (regresión) Aprendizaje semi-supervisado Aprendizaje no supervisado: Agrupamiento o clustering Asociación Aprendizaje por refuerzo

35 ANÁLISIS DE LA CESTA DE LA ( ASOCIACIÓN ) COMPRA Un supermercado quiere obtener información sobre el comportamiento de compra de sus clientes. compra este producto también compra este otro producto Se piensa que de esta manera se puede mejorar el servicio, colocando ciertos productos juntos, etc. 49

36 50 INSTANCIAS DE LAS CESTAS Lechugas Salmón Manteq uilla Leche Vino Pañales Aceite Huevos Id

37 MODELO Reglas At 1 =a y At 2 =b y Entonces At n =c ( 37% (100%, leche=si pañales=si, entonces Las reglas también pueden ser: At 1 =a y At 2 =b Entonces At n =c, At 4 =D ( cobertura (a,b) = (precisión, Precisión ( confidence ): veces que la regla es correcta Cobertura ( support ): frecuencia de ocurrencia de la regla en los datos 51

38 ( CONFIDENCE ) PRECISIÓN Sea la regla: At 1 =a y At 2 =b Entonces At n =c Precisión: Número de veces que At n =c supuesto que At 1 =a y At 2 =b Ejemplo: huevos=si, entonces aceite=si Número de veces que huevos=si y aceite=si: 2 Número de veces que huevos=si: 4 Precisión (aciertos) de la regla: 2/4 = 50% 52

39 ( SUPPORT ) COBERTURA Una regla puede ser muy precisa (100%), pero ocurrir muy poco y ser poco relevante Ejemplo: huevos=si y aceite=si y pañales=si entonces salmón=si Precisión: 1/1 = 100% Pero sólo ocurre para un cliente (el octavo): 1/8 = 12% Sea la regla: At 1 =a y At 2 =b Entonces At n =c Cobertura: número de datos que cumplen las dos condiciones At 1 =a, At 2 =b, dividido por número total de datos Representa el porcentaje de veces que ocurre la regla, lo útil que es 53

40 ASOCIACIÓN: OTROS EJEMPLOS Amazon

41 TAREAS Tareas: Aprendizaje inductivo (a partir de ejemplos) Aprendizaje supervisado: Clasificación Predicción (regresión) Aprendizaje semi-supervisado Aprendizaje no supervisado: Agrupamiento o clustering Asociación Aprendizaje por refuerzo

42 APRENDIZAJE POR REFUERZO El agente tiene que aprender la política π para saber que acción tomar en cada situación s

43 Aprender π para encontrar la máquina de café El robot prueba todas las posibilidades y se le da refuerzo cuando llega a la máquina de café. Ejemplo de política correcta: Π(1) = izquierda Π(2)= sigue recto Π(3)= derecha Π(4) = detenerse

44 TAREAS Tareas: Aprendizaje inductivo (a partir de ejemplos) Aprendizaje atributo-valor Aprendizaje supervisado: Aprendizaje semi-supervisado Aprendizaje no supervisado: Aprendizaje relacional

45 Aprendizaje relacional se usan reglas o árboles, todo lo que se puede hacer es comparar un atributo con un valor constante: IF CuentasMorosas =0 Y Salario>2500 THEN SI devolverá el crédito Salario > 2500 (atributo > constante) En ocasiones podemos querer que las reglas dependan de la relación entre dos valores: IF Juan es-padre-de María THEN María es-hija-de Juan

46 Aprendizaje relacional: ILP (inductive logic programming

47 ILP permite la recursividad

48 MODELOS: CLASIFICACIÓN LINEAL VS. NO LINEAL