Análisis de Datos. Introducción al aprendizaje supervisado. Profesor: Dr. Wilfrido Gómez Flores

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Análisis de Datos. Introducción al aprendizaje supervisado. Profesor: Dr. Wilfrido Gómez Flores"

Víctor Juan Luis Espinoza Romero
hace 5 años
Vistas:

1 Análisis de Datos Introducción al aprendizaje supervisado Profesor: Dr. Wilfrido Gómez Flores 1

2 Conceptos básicos Desde la antigüedad, el problema de buscar patrones en datos es fundamental en diversas disciplinas. Según C. Bishop en su libro Pattern Recognition and Machine Learning se tienen las siguiente definiciones: Reconocimiento de patrones: trata del descubrimiento automático de regularidades en los datos mediante algoritmos computacionales y su uso en acciones como la clasificación de datos en diferentes categorías. Aprendizaje de máquina * : trata del desarrollo de algoritmos para la construcción de modelos a partir de datos de ejemplo (i.e., entrenamiento) para hacer predicciones o tomar decisiones. *También se le conoce como aprendizaje automático. 2

El objetivo es crear una máquina cuya entrada sea el vector x y cuya salida sea la identidad del dígito 0,,9, lo cual puede expresarse como una

3 Conceptos básicos Ejemplos de dígitos escritos a mano. Cada dígito corresponde a una imagen de píxeles, que puede representarse por un vector x que contiene 784 números reales. El objetivo es crear una máquina cuya entrada sea el vector x y cuya salida sea la identidad del dígito 0,,9, lo cual puede expresarse como una función y(x). La función y(x) se determina en una fase de aprendizaje (también conocida como entrenamiento) sobre la base de datos de entrenamiento. Una vez entrenado el modelo, se puede obtener la identidad de nuevos dígitos definidos en un conjunto de prueba. 3

4 Conceptos básicos De manera general, a los objetos físicos se les conoce con el término genérico de patrones. Un patrón se representa por un conjunto de medidas conocidas como características, las cuales describen a un objeto físico de manera única. En el caso más general, D características x i (con i=1,2,,d) forman un vector de características D-dimensional denotado como x = [x 1,x 2,,x D ] T (1) donde T denota transposición. Una clase de patrones es un conjunto de objetos que poseen características similares, es decir, son de un mismo tipo o categoría. 4

5 Sistema de reconocimiento de patrones Mundo real Sensor termómetro, micrófono, cámara digital Extracción de características Clasificación Decisión convierte medidas en características un patrón está representado por un vector de características características invariantes y discriminantes aprende a partir de datos de entrenamiento responde preguntas como: Qué patrones se parecen? o Qué grupos se forman a partir del conjunto de patrones? 5

6 Ciclo de diseño Inicio Recolección de datos Selección de características Qué se está midiendo? Cuántos datos se necesitan? Qué características proveen la mejor separabilidad entre clases? Diseño del clasificador Qué clasificador tiene el mejor desempeño? Evaluación del sistema Cómo debe ser medido el desempeño? Fin 6

7 Ciclo de diseño: selección de características Recolección de datos: generalmente se aplican técnicas de preprocesamiento y normalización: Ventajas: producir mejores características, rápido aprendizaje, mejora la generalización. Métodos: remoción de valores atípicos, normalización y escalamiento, análisis de componente principales. Selección de características: encontrar un subconjunto de características que maximicen el desempeño del clasificador. Mejorar la separabilidad, el valor numérico de una característica debe ser diferente para objetos de clases distintas. Minimización de la redundancia y maximización de la relevancia. Métodos: medidas de separabilidad de clases, medidas de dependencia, pruebas de hipótesis, etc. 7

8 Ciclo de diseño: clasificador Diferentes taxonomías de las metodologías de clasificación. Taxonomía por método de aprendizaje: Aprendizaje supervisado: - Las clases de los datos de entrenamiento se conocen. - Mapear el espacio de características a un espacio de clases con el mínimo error. - Riesgo de perder capacidad de generalización por sobreentrenamiento. Aprendizaje no supervisado: - Las clases de los datos de entrenamiento no se conocen. - Agrupar patrones con miníma diferencia intra-grupo y máxima diferencia inter-grupo. - El número de grupos puede ser conocido o desconocido. 8

decisión Característica 1 Modelo no supervisado: agrupamiento Grupo A Datos sin etiquetar Dominio del problema

9 Ciclo de diseño: clasificador Modelo supervisado: clasificación Clase A Clase B Dominio del problema Patrón Maestro Sistema de aprendizaje Señal de error Salida deseada Respuesta + Σ Característica 2 Frontera de decisión Característica 1 Modelo no supervisado: agrupamiento Grupo A Datos sin etiquetar Dominio del problema Patrón Sistema de aprendizaje Señal de error Regla de adaptación Respuesta Característica 2 Grupo B Característica 1 9

10 Ciclo de diseño: clasificador En el paradigma de aprendizaje supervisado, el objetivo es inferir una función f : x! y a partir de un conjunto de patrones de entrenamiento Z compuesto de N pares de puntos: Z = ((x 1,y 1 ),,(x N,y N )) (2) Típicamente x 2 R D, y 2 R e y es discreto, de modo que para C clases y 2 {1, 2...,C} y para problemas de clasificación binaria y 2 { 1, +1}. 10

Ciclo de diseño: clasificador Taxonomía metodológica: Estadística (o

Geométrica: - Las clases en el espacio de características son

- Análisis lineal discriminante, máquinas de vectores de soporte, etc.

espacio de características al espacio de clases.

11 Ciclo de diseño: clasificador Taxonomía metodológica: Estadística (o Bayesiana): - Las características son variables aleatorias con propiedades estadísticas. - Reconocimiento basado en máxima probabilidad. Geométrica: - Las clases en el espacio de características son divididas mediante hiperplanos o hipersuperficies. - Análisis lineal discriminante, máquinas de vectores de soporte, etc. Red neuronal artificial: - Métodos de caja negra que transforman el espacio de características al espacio de clases. - Perceptrón multicapa, función de base radial, etc. Basado en modelos: - Las clases se representan por patrones de referencia. - Reconocimiento basado en encontrar la referencia más cercana. 11

12 Ciclo de diseño: evaluación En la práctica, se tiene conjuntos de datos finitos, de modo que para evaluar el sistema de clasificación se deben generar conjuntos de entrenamiento y prueba. A mayor número de patrones de entrenamiento, mejor generalización. A mayor número de patrones de prueba, mejor estimación de la probabilidad del error de clasificación. Métodos de remuestreo: Resubstitución, hold-out, validación cruzada (VC), VC dejando uno fuera, bootstraps, etc. Métodos de evaluación: matriz de confusión, análisis ROC, coeficiente de correlación de Matthews, etc. 12

Ejemplo: Regresión polinomial Supóngase una entrada xxxxxx 2 R a partir de la cual se desea predecir el valor de una variable objetivo (target) t 2 R.

13 Ejemplo: Regresión polinomial Supóngase una entrada xxxxxx 2 R a partir de la cual se desea predecir el valor de una variable objetivo (target) t 2 R. Supóngase un conjunto de entrenamiento con N observaciones de x, escrito como xxxxxxxxxxxxxxxxx (x 1,...,x N ) T, junto con sus respectivos valores de t, denotado como t (t 1,...,t N ) T. Considérese un conjunto x que está compuesto por N=10 observaciones tomadas aleatoriamente de una distribución uniforme en el rango [0,1], y que las variables objetivo t corresponden a la función sin(2πx) contaminada con ruido aleatorio tomado de una distribución Gaussiana N (0, 3). t Conjunto de entrenamiento con N=10 puntos, mostrados con círculos negros, y la curva roja muestra la función sin(2πx) usada para generar los datos. x 13

14 Ejemplo: Regresión polinomial El objetivo es explotar el conjunto de entrenamiento para hacer predicciones de el valor de la variable objetivo t ˆt para nuevos valores de x. ˆx Se debe descubrir la función subyacente sin(2πx) aún cuando se tiene datos contaminados con ruido. Se puede ajustar los datos usando una función polinomial de la forma: MX y(x, w) =w 0 + w 1 x + w 2 x w M x M = w j x j (3) donde M es el orden del polinomio. Los valores de los coeficientes w se determinan minimizando la suma de los cuadrados de los errores entre las predicciones xxxxxx y los correspondientes valores xx: E(w) = 1 2 NX n=1 t n j=0 y(x n, w) {y(x n, w) t n } 2 (4) 14

El problema ahora es seleccionar el orden del polinomio tal que se tenga un ajuste lo más

15 Ejemplo: Regresión polinomial El polinomio resultante está dado por la función y(x xxxxxxx, n, w ) donde xx w denota una única solución que minimizó la función en (4). El problema ahora es seleccionar el orden del polinomio tal que se tenga un ajuste lo más parecido a la función sin(2πx). M =0 M =1 Gráficas de polinomios de diferente orden M mostradas por las curvas verdes. M =3 M =9 15

Estrategias para evitar el sobreajuste: 1.

16 Ejemplo: Regresión polinomial El sobreajuste (o sobreentrenamiento) cuando M=9 es debido a la falta de muestras de entrenamiento. Los coeficientes se ajustan finamente tal que la función polinomial coincide exactamente con cada punto del conjunto de datos. Estrategias para evitar el sobreajuste: 1. Aumentar el número de muestras de entrenamiento: Polinomios de orden M=9 para diferentes tamaños de datos de entrenamiento. N = 15 N = Estrategias de regularización que penalicen la función de error para evitar que los coeficientes adquieran valores muy grandes: E(w) = 1 2 NX {y(x n, w) t n } 2 + λ 2 w 2 (5) n=1 16

Conclusión En este curso se estudiarán técnicas de aprendizaje supervisado para la generación de modelos de clasificación y regresión con alta

17 Conclusión En este curso se estudiarán técnicas de aprendizaje supervisado para la generación de modelos de clasificación y regresión con alta capacidad de generalización. Distintos Datos de entrenamiento Aprendizaje de máquina Datos nuevos (prueba) Modelo Salida con alta generalización 17

Documentos relacionados

Análisis de Datos. Introducción al aprendizaje supervisado. Profesor: Dr. Wilfrido Gómez Flores

Análisis de Datos. Introducción al aprendizaje supervisado. Profesor: Dr. Wilfrido Gómez Flores Análisis de Datos Introducción al aprendizaje supervisado Profesor: Dr. Wilfrido Gómez Flores 1 Conceptos básicos Reconocimiento de patrones (RP): clasificar objetos en un número de categorías o clases.