VivaMéxico sin PRI. Quiero que mi país sea de todos. Dr. Ivo H. Pineda Torres. Otoño 2013

Transcripción

1 VivaMéxico sin PRI Quiero que mi país sea de todos. Dr. Ivo H. Pineda Torres Facultad de Ciencias de la Computación Benemérita Universidad Autónoma de Puebla Otoño 2013

2 IMAGENESpemexmorena Adquisición de Conceptos Características Generales Aprendizaje inductivo Aprender aspectos generales a partir de ejemplos con datos particulares Se trata de un aprendizaje supervisado Aprendizaje inductivo simbólico Utiliza una representación simbólica (redes semánticas, reglas, programación lógica,...) Aprendizaje inductivo subsimbólico Utiliza una representación subsimbólica (redes neuronales, conjuntos difusos) Se desarrolla por medio de algoritmos de ajuste paramétrico Con la ayuda de Universidad de Oviedo y el centro de Inteligencia Artificial 2 of 34

3 IMAGENESpemexmorena Formas Generales: de aprendizaje inductivo simbólico Si los ejemplos reflejan situaciones con múltiples objetos y relaciones entonces : Adquisición de conceptos Si los ejemplos se refieren a conjuntos atributo-valor :Clasificación supervisada Si se pretende adquirir un modelo lógico :Programación Lógica Inductiva 3 of 34

4 IMAGENESpemexmorena Definición útiles en el Aprendizaje Automático Inducción: generalizar a partir de observaciones para sintetizar conocimiento de más alto nivel Aprendizaje Inductivo: razonamiento hipotético de casos particulares a casos generales Aprendizaje: es la identificación de patrones, de regularidades, existentes en la evidencia es la predicción de observaciones futuras con plausibilidad es eliminación de redundancia = compresión de información 4 of 34

5 IMAGENESpemexmorena Una posoble definción de aprendizaje de acuerod a Mitchell(97) Un programa de ordenador APRENDE a partir de una experiencia E a realizar una tarea T (de acuerdo con una medida de rendimiento P), si su rendimiento al realizar T, medido con P, mejora gracias a la experiencia E 5 of 34

6 IMAGENESpemexmorena Que esperamos de aprender de manera automática Producir programas capaces de mejorar su rendimiento a través de la experiencia Mejorar al realizar una tarea T Respecto a una medida de rendimiento P Gracias a la utilización de la experiencia E. Construir sistemas capaces de adquirir el conocimiento necesario para realizar tareas, usando la experiencia acumulada Proporcionar a los expertos de un dominio conocimiento explícito de cómo se resuelve un determinado problema 6 of 34

7 IMAGENESpemexmorena Pero que no es Aprendizaje Automático Aprender a ordenar una lista de números Podemos hacerlo más rápido sin necesidad de la experiencia, conocemos el concepto de orden y sabemos aplicarlo 7 of 34

8 IMAGENESpemexmorena Pero que no es Aprendizaje Automático Aprender a ordenar una lista de números Podemos hacerlo más rápido sin necesidad de la experiencia, conocemos el concepto de orden y sabemos aplicarlo Aprender la velocidad a la que cae un objeto desde una cierta altura Conocemos el modelo físico que sigue ese proceso, podemos calcularlo precisa y eficientemente 7 of 34

9 IMAGENESpemexmorena Pero que no es Aprendizaje Automático Aprender a ordenar una lista de números Podemos hacerlo más rápido sin necesidad de la experiencia, conocemos el concepto de orden y sabemos aplicarlo Aprender la velocidad a la que cae un objeto desde una cierta altura Conocemos el modelo físico que sigue ese proceso, podemos calcularlo precisa y eficientemente APRENDIZAJE AUTOIMATICO: resuelve problemas que no se pueden modelar,pero de los que tenemos (o podemos adquirir) experiencias sobre su resolución 7 of 34

10 IMAGENESpemexmorena Etapas de diseño para un sistema de aprendizaje automático 1 Elegir la experiencia que usaremos para entrenar el sistema de aprendizaje 2 Definir el tipo de función objetivo que pretendemos aprender 3 Determinar la representación que utilizaremos para la función objetivo 4 Seleccionar el algoritmo de AA a utilizar y aplicarlo para aprender la función objetivo 5 Evaluar el sistema Tom Mitchell Machine Learning.pdf texto 8 of 34

11 IMAGENESpemexmorena Ejemplo donde aplica el Aprendizaje Automático Organizador de correo Electrónico variables a considerar: T= ordenar el correo electrónico entrante de acuerdo a su importancia para el usuario P= concordancia entre el orden propuesto y el orden de lectura del usuario E= gestión diaria del correo por parte del usuario Habrá que considerar: Cómo representamos las características de un correo electrónico? Usar el título, el remitente, el contenido,... Qué tipo de conocimiento es el adecuado para ordenar los correos de acuerdo a su importancia? El sistema se presta a valorar numéricamente cada correo, o a determinar si uno es más importante que otro. Cómo medir la utilidad y el rendimiento del sistema? 9 of 34

12 IMAGENESpemexmorena Otro ejemplo: tipos de Clientes de una empresa T = descubrir distintos grupos de clientes P = eficacia de la campaña de publicidad posterior E = hábitos de consumo de los clientes Habrá que considerar: Cómo representamos las características de un cliente? Selección de las características que sean más útiles para diferenciarlos Qué tipo de conocimiento necesitamos generar? En este caso pretendemos agruparlos sin disponer previamente de otros clientes que han sido agrupados No hay clases predefinidas ni valores numéricos que asignar 10 of 34

13 IMAGENESpemexmorena Técnicas de aprendizaje Aprendizaje no supervisado: el conjunto de observaciones no tienen clases asociadas Se emplea para la Descripción Objetivo: detectar regularidades en los datos Agrupaciones (clustering), contornos, asociaciones, valores anómalos Aprendizaje supervisado: cada observación incluye un valor de la clase a la que corresponde Se emplea para la Predicción Se aprende un clasificador Sirven para explicar las causas que llevan a tomar una decisión Aprendizaje por refuerzo: el sistema recibe recompensas en función de las decisiones que toma 11 of 34

14 IMAGENESpemexmorena Análisis por etapas:elegir la experiencia de entrenamiento(a) Clave en el proceso de aprendizaje: es a partir de lo que generalizamos. Si es mala, incompleta,..., saldrá seguro mal! Hay problemas en los que nos vendrá dada: Diagnóstico de enfermedades: la experiencia procederá de los datos médicos de pacientes junto al diagnóstico que los médicos hicieron Es representativa del problema? Hasta que punto estamos modelando bien el problema con la experiencia utilizada? Podemos usar maestros como modelos o no: A veces los tenemos: diagnóstico de enfermedades, calidad carne A veces procede de una variable medible: producción de leche A veces no lo necesitamos para la tarea: agrupar clientes A veces necesitaremos procesos para capturarla: gestor de correo 12 of 34

15 IMAGENESpemexmorena Análisis por etapas:elegir la experiencia de entrenamiento(b) Para los siguientes casos pueden ser: Diagnóstico de enfermedades:< variablesmdicas >< SI NO > Producción lechera:< descripcingenticadeunavaca >< Produccinanualenlitros > Organizador de correo electrónico: < remitente, ttulo, tamao >< Valoracindelusuario > < palabras[ennoen]elcorreo >< Ordendelectura > < estecorreo > loley antesque < estecorreo > Dependiendo de la representación de la experiencia elegida, estaremos enfocando el problema hacia un tipo de aprendizaje Se recomienda ver los ejemplos del la referencia detom Mitchell 13 of 34

16 IMAGENESpemexmorena Análisis por etapas:definir el tipo de función objetivo que pretendemos aprender diagnóstico de enfermedades f : paciente {SI, NO} Producción de Leche f : vaca R 14 of 34

17 IMAGENESpemexmorena Datos de entrenamiento, a) La experiencia a utilizar y el tipo de función objetivo se plasma en la definición de los datos que se emplearán para aprender El proceso de aprendizaje también se denomina entrenamiento Los datos usados durante el aprendizaje (entrenamiento) se denomina conjunto de entrenamiento Atributos Atri-1... Atr-n Clase(opcional) ejemplo 1 clase ej ejemplio m clase ej-m 15 of 34

18 IMAGENESpemexmorena Datos de entrenamiento, b) Atributos: describen los ejemplos Numéricos: no reales o enteros Simbólicos o Nominales: etiquetas sin relación de orden Clase: según su tipo estaremos ante distintos tipos de aprendizaje Aprendizaje supervisado: disponemos de una clase asociada a cada ejemplo Conjunto finito de clases simbólicas: clasificación (Ej: diagnóstico enfer) Conjunto finito de clases simbólicas con una relación de orden entre ellas o valores enteros: regresión ordinal (Ej: calidad carne) Numérica (real): regresión (Ej: producción de leche) Aprendizaje no-supervisado: sin clase No tenemos o nos interesa (Ej: tipos de clientes) 16 of 34

19 IMAGENESpemexmorena Tipos de datos de entrenamiento 17 of 34

20 IMAGENESpemexmorena Problemas con los datos de entrenamiento Mal de la dimensionalidad: muchos sistemas de Aprendizaje Automático sufren (se ralentizan) con la dimensión (no de atributos) del conjunto de entrenamiento Ruido: ejemplos con la clase mal etiquetada, o atributos con valores con ruido Sensores poco fiables, captura manual de datos, manipulación de datos, etc Atributos mal elegidos: Atributos irrelevantes para el problema: no influyen en el conocimiento que trata de inducirse Atributos redundantes (mal de la dimensionalidad) Missing values: puede ocurrir que para algunos ejemplos desconozcamos el valor de alguno de sus atributos Relación entre el número de atributos y el número de ejemplos disponibles. 18 of 34

21 IMAGENESpemexmorena Problemas con los datos de entrenamiento, cont. Muchos atributos y pocos ejemplos: el conocimiento inducido puede ser poco fiable 19 of 34

22 IMAGENESpemexmorena Aprendizaje Inductivo No Supervisado 20 of 34

23 IMAGENESpemexmorena Tipos de aprendizaje: Es claro la forma de agrupar 21 of 34

24 IMAGENESpemexmorena Aprendizaje Inductivo Supervisado 22 of 34

25 IMAGENESpemexmorena Tipos de Aprendizaje Supervisado Dependiendo del número y tipo de clases: clase discreta: se conoce como clasificación Ejemplos: determinar la variedad de una especie de flores estimar el partido al que voto de una persona Si sólo hay dos clases (V y F) se conoce como aprendizaje de conceptos determinar si una persona tiene cáncer clase continua o discreta ordenada: se denomina regresión (o estimación) y regresión ordinal Ejemplos: estimar la pureza en la producción de zinc clasificar productos agroalimentarios en escalas discretas 23 of 34

26 IMAGENESpemexmorena Hipótesis del Aprendizaje Inductivo Si una hipótesis aproxima bien la función objetivo sobre un conjunto de entrenamiento suficientemente grande, también aproximará bien la función objetivo sobre los ejemplos no observados 24 of 34

27 IMAGENESpemexmorena Taxonomía del Aprendizaje 25 of 34

28 IMAGENESpemexmorena Etapa 3: Representación que utilizaremos para la función objetivo Existen diferentes tipos de funciones dependiendo de la clase de problema que estemos tratando: clasificación, regresión, agrupación,... Diferentes modelos: Simbólicos (reglas, árboles de decisión, PLI,...) Subsimbólicos (redes neuronales, svm,...) La elección depende del uso que vaya a tener Predicción: puede ser simbólico o subsimbólico Explicación: debe ser simbólico 26 of 34

29 IMAGENESpemexmorena Por ejemplo Diagnóstico de enfermedades Necesitamos conocimiento simbólico, si queremos ofrecer explicaciones. Podemos usar reglas o árboles de decisión Producción de leche Es un problema de regresión, podemos optar por representarla mediante una red neuronal Calidad de la carne Podemos usar métodos bayesianos para determinar la probabilidad de que pertenezca a cada una de las clases en función del valor de los atributos Organizador de Correo Podemos usar una solución basada en máquina de vectores soporte que nos permita ordenar los correos de acuerdo a su importancia 27 of 34

30 IMAGENESpemexmorena Etapa 3: Representación que utilizaremos para la función objetivo(cont) Al fijar la representación, estamos definiendo un espacio de búsqueda para la función h (hipótesis) con la que pretendemos aproximar la función objetivo f A este espacio se le denomina textbfespacio de hipótesis El espacio de hipótesis puede no contener a la función objetivo: por lo tanto pueden haber errores Cuanto más complejo sea el espacio de hipótesis: Más difícil será aprender la función h Más ejemplos de entrenamiento serán necesarios Pero más capacidad tendrá para aproximar la función objetivo f En muchas ocasiones, cuando no se tiene muy claro que tipo de representación es más adecuada, se prueban varias y se evalúa la calidad de las soluciones alcanzadas (evaluación) 28 of 34

31 IMAGENESpemexmorena Etapa 4: seleccionar el algortimo de Aprendizaje Automático Meta:Aplicarlo para el aprendizaje de la función objetivo 29 of 34

32 IMAGENESpemexmorena Etapa 4: seleccionar el algortimo de Aprendizaje Automático Meta:Aplicarlo para el aprendizaje de la función objetivo Para cada tipo de función objetivo, o espacio de hipótesis o tipo de conocimiento tendremos distintos algoritmos que pueden aplicarse Ej: si queremos obtener un separador lineal, podríamos usar: una red neuronal, una máquina de vectores soporte, el algoritmo OC1, y otros muchos... Es posible utilizar varios algoritmos distintos o diferentes implementaciones y comparar posteriormente su rendimiento Ej: hay muchas implementaciones diferentes de máquinas de vectores soporte con distintos sistemas de optimización A veces se selecciona el algoritmo o la implementación en función de la plataforma o de otras herramientas con las que deba utilizarse 29 of 34

33 IMAGENESpemexmorena Etapa 4: seleccionar el algortimo de Aprendizaje Automático (cont) Parámetros: todos los sistemas tienen algún tipo de parámetro Básicamente sirven para evitar dos factores: El ruido de los datos de entrenamiento El grado de ajuste a los datos Es habitual ejecutar el algoritmo de Aprendizaje Automático con distintos parámetros para evaluar y comparar su rendimiento A veces se utilizan algoritmos genéticos para ajustar los parámetros de un Aprendizaje Automático 30 of 34

34 IMAGENESpemexmorena Tecnicas utilizadas:caso No Supervisado Técnicas de clustering: Clustering jerárquicos k-means Mapas auto-organizados (SOM) [Kohonen, 95] EM [Dempster et al. 77] Cobweb [Fisher, 87] Análisis exploratorios: Estudios de correlaciones Detección datos anómalos Asociaciones y dependencias Análisis de dispersión 31 of 34

35 IMAGENESpemexmorena Tecnicas utilizadas:caso Supervisado Árboles de Decisión: Sistemas basados en reglas: Aprendizaje basado en instancias Híbridos: Redes de Neuronas Artificiales (ANN): Clasificadores Estadísticos Basados en kernels: 32 of 34

36 IMAGENESpemexmorena 5ta. Etapa: Evaluación del sistema El sistema funciona bien en la práctica? Generaliza bien en situaciones no vistas durante el entrenamiento? Tratamos de analizar si las regularidades observadas en la muestra (finita) usada en el entrenamiento se mantiene en la distribución que representa Aprendizaje supervisado: Normalmente se separan algunos ejemplos, no se utilizan para entrenar, y con ellos se evalúa la calidad de la hipótesis inducida Hay distintas técnicas de evaluación: Entrenamiento-test: dos conjuntos separados Hold-out: 66 % ejemplos para entrenar, 33 % para test Cross-Validation: se generan distintos cjtos de entrenamiento- test Leave-one-out: se entrenan con todos los ejemplos menos uno y luego se evalúa sobre ese ejemplo 33 of 34

37 IMAGENESpemexmorena Hipótesis Dada la hipótesis h obtenida a partir un sistema de aprendizaje, nos gustaría conocer varias cosas: Cuál es el mejor estimador que podemos utilizar para medir la precisión de h sobre ejemplos futuros, generados con la misma distribución D? Cuál es el error probable de ese estimador? Dado que el conjunto de datos disponible siempre será limitado, cuál es el mejor método para aprender la hipótesis y evaluar su precisión? Si empleamos dos sistemas de aprendizaje diferentes, que generan hipótesis distintas, cuál de ellas se comportará mejor? Surge una necesidad evidente de disponer de estimadores que midan la calidad de las hipótesis sintetizadas por los sistemas de aprendizaje 34 of 34

38 IMAGENESpemexmorena Error de una hipótesis: verdadero Es la probabilidad de que una hipótesis h clasifique mal un ejemplo cualquiera generado a partir de la distribución D del espacio de instancias X 35 of 34

39 IMAGENESpemexmorena Error de una hipótesis: una muestra No podemos calcular el error verdadero, pero podemos medir el error en una muestra S: error s (h) = 1 S (f (x) h(x)) x S Cómo de bueno es el error en una muestra como estimador del error verdadero? Dependemos de algún factor para hacer estimaciones del error verdadero a partir del error en una muestra? Podemos acotar el error verdadero de una hipótesis h, conocido su error en una muestra? La estadística nos ayuda a responder a estas preguntas 36 of 34

40 IMAGENESpemexmorena Evaluar la hipótesis Una opción es estimar el error verdadero La evaluación se puede realizar: Durante el aprendizaje, para seleccionar una hipótesis adecuada Al final del aprendizaje, para indicar el nivel de confianza de la hipótesis elegida Usar el error sobre los ejemplos del conjunto de entrenamiento (error de reescritura) para seleccionar la hipótesis es peligroso El sistema de aprendizaje tenderá a ajustarse en exceso a los datos de entrenamiento 37 of 34

41 IMAGENESpemexmorena Problemas con el ajuste:en exceso overfitting Una hipótesis h 1 H se sobre-ajusta a una muestra S de datos si existe una hipótesis alternativa h 2 H tal que: error s (h 1 ) < error s (h 2 ) y error D (h 1 ) > error D (h 2 ) 38 of 34

42 IMAGENESpemexmorena Sub ajuste(underfitting) Una hipótesis h 1 H se sub-ajusta a una muestra S de datos si existe una hipótesis alternativa h 2 H tal que: error s (h 1 ) > error s (h 2 ) y error D (h 1 ) > error D (h 2 ) 39 of 34

43 IMAGENESpemexmorena Evaluar la hipótesis Si disponemos de muchísimos ejemplos, no hay problema en usar sólo una parte de los ejemplos para entrenar y el resto como conjunto de test para estimar el error Hold-out (23 para entrenar, 13 para test) Lamentablemente, lo normal es disponer de un conjunto de datos con pocos ejemplos No podemos lastrar el proceso de aprendizaje usando pocos ejemplos Que podemos hacer Una opción intermedia es separar parte de los ejemplos (conjunto de validación) y utilizarlos para optimizar parámetros o tomar decisiones a la hora de seleccionar la hipótesis más adecuada Usar métodos de resampling para generar distintos conjuntos de entrenamientotest 40 of 34

44 IMAGENESpemexmorena Entrenamiento, validación, test La manera más adecuada de aprender, seleccionar hipótesis y obtener una estimación adecuada del error verdadero es: Separar los ejemplos disponibles en 3 conjuntos: Conjunto de entrenamiento: para aprender hipótesis Conjunto de validación: seleccionar hipótesis, ajustar parámetros,... Conjunto de test: obtener un estimador no sesgado y con poca varianza del error verdadero Los conjuntos de validación y test deben cumplir las condiciones que indicamos antes para poder aproximar sus estimaciones mediante una distribución normal Tendremos estimadores no sesgados y con poca varianza 41 of 34

45 IMAGENESpemexmorena Método K-fold Validación Cruzada(CV) Es una manera de obtener conjuntos de entrenamiento (validación) y test cuando tenemos pocos ejemplos. Evita perder muchos ejemplos para entrenar y además podemos obtener un buen estimador del error. K-fold CV es Divide los n ejemplos en k conjuntos disjuntos (folds) Para i=1 hasta k Entrenar usando todos los folds menos i Emplear el fold i para estimar el error Devolver la media de los errores de los k folds Fin Es habitual usar k=10 y repetir el proceso para obtener un estimador aún mejor 42 of 34