Aprendizaje Automático para el Análisis de Datos GRADO EN ESTADÍSTICA Y EMPRESA. Ricardo Aler Mur

Transcripción

1 Aprendizaje Automático para el Análisis de Datos GRADO EN ESTADÍSTICA Y EMPRESA Ricardo Aler Mur

2 Regresión simbólica, búsqueda genética y algoritmos de estimación de distribuciones

3 Regresión lineal Regresión: encontrar la dependencia funcional de una variable respecto de otra u otras: y=f(x) En estadística se hace regresión lineal Hay que encontrar los parámetros Beta. Existe una fórmula para ello Y la regresión no lineal? 21/09/08

4 Regresión no lineal A partir de ciertos datos, encontrar la función f(x) que mejor los describa f(x 1, x 2,, x 5 )= + 3 * x 1 x 5 f(x) f()=3+x1*x5 21/09/08

5 Regresión, error y fitness Cómo medir el grado de parecido entre una función f() y los datos? Dato i = (entrada i, salida i ) = (x i1, x i2,, x i5, s i ) Errores e i = salida(dato i )-f(entrada(dato i )) Se suele utilizar el error cuadrático medio: es la media de los errores al cuadrado, entre la función y los datos 21/09/08

6 Dados: Regresión simbólica Un conjunto de funciones cualesquiera (ej: +, -, *, /, sin, log, ) Un conjunto de terminales (variables de entrada x 1,, x 5, constantes, ) Encontrar una función f(x 1, x 2, ) que describa bien los datos, minimizando por ejemplo el error cuadrático medio f()= + 3 * x 1 x 5

7 Idea de optimización por gradiente (valores continuos) Información para la búsqueda: el gradiente

8 Problemas de Optimización de estructuras cualesquiera Ejemplo: diseño de puentes, de alas de avión, regresión simbólica (funciones) Manera genérica de hacerlo: generar y probar (generate and test)

9 BÚSQUEDA GENÉTICA Simula la Teoría de la Evolución de Darwin en el ordenador El Origen de las Especies Darwin (1859) Idea: si la evolución natural ha sido capaz de producir animales adaptados a su entorno, la evolución simulada podría ser capaz de resolver problemas computacionales

10 TEORÍA DE LA EVOLUCIÓN Evolución: proceso de descendencia con cambios, y posiblemente diversificación Componentes: Población: de individuos Selección: Los individuos más adaptados sobreviven y se reproducen mejor (los que tienen mayor fitness) Variación: no todos los individuos son iguales, unos son más capaces y otros lo son menos Ocurre porque distintos individuos tienen distinto código genético (DNA) Se produce por mutaciones, recombinación sexual, errores de copia del DNA, etc Herencia: Transmisión de características de padres a hijos La evolución es incremental y acumulativa

11 El código genético Síntesis neodarwinista = teoría de la evolución + genética

12 Mutación de la tolerancia a la lactosa

13 Darwin contra Lamarck

14 Ejemplo: diseño de puentes s t w h1 h2 n s s h1 t h2 w n

15 Consideraciones Coste del puente (a mayor grosor, más caro) Coste=s*10+t*100+h1*w*10+h2*100 euros Resistencia del puente (pilones suficientemente gruesos para aguantarlo, número suficiente, etc.) Resistencia=50*n*w+100*s-30*(s/(n*w)) A optimizar f(puente) = 10*resistencia-coste s t w h1 h2 n

16 Ejemplo de puente s t w h1 h2 n Primera aproximación: generar y probar (calcular la f del puente)

17 Codificación binaria En muchas ocasiones, los valores se codifican en binario y no como valores reales Valores posibles para s,t,w,h1,h2= minimo (00), bajo (01), alto (10), máximo (11) Valores posibles para n=2 (00),3 (01),4 (10),5 (11) Cromosoma de un puente (ejemplo de algoritmos genéticos): s t w h1 h2 n

18 Generación de varios puentes al azar F(puente) Pregunta: Sabiendo esto, qué puente deberíamos generar a continuación?

19 Algoritmos de estimación de distribuciones (EDAs)

20 EDAs Poblaci ón Selección de los mejores Nueva población MODELO PROBABILÍSTICO APRENDIDO DE LOS MEJORES INDIVIDUOS

21 Usar vector de probabilidad (PBIL) Qué modelo utilizar?. El más simple es un vector de probabilidad, que indica la probabilidad de que cada bit esté a uno. Asume independencia entre los bits.

22 Population Based Incremental Learning PBIL [Baluja, 94] Probability model (0.1, 0.9, 0.5, 0.8) Population Update model with best individuals p i = p i.(1-lr) + LR.x i * 0.4

23 Population Based Incremental Learning [Baluja, 94] Aprende explícitamente un modelo probabilístico de las zonas interesantes del espacio de búsqueda Modelo probabilístico: Vector p=(p 1, p 2,..., p n ) p i indica la probabilidad de generar un 1 en la posición i del cromosoma x=(x 1, x 2,..., x n ) Inicialmente p=(0.5, 0.5,..., 0.5)

24 Population Based Incremental Learning [Baluja, 94] Se genera una población de x, se calcula su fitness y se actualiza p con los mejores M individuos Actualización: p i = p i.(1-lr) + LR.x i * Al final, p debería converger a una solución: p=(0.99, 0.001,..., 0.99)

25 Estimation of Distribution Algorithms (EDA s) 1. Generar población inicial 2. Seleccionar un número de los mejores individuos 3. Estimar la distribución 4. Generar una nueva población a partir de la distribución (en ocasiones, se mezcla la población original con la nueva) 5. Si no se termina, volver a 2

26 Probabilistic Incremental Program Evolution (PIPE) Aplicación de algoritmos EDAs para la evolución de programas PIPE [Salustowicz, Schmidhuber, 97] Evolución de árboles (parse trees) Búsqueda en el espacio de distribuciones de probabilidad de árboles Busca encontrar una distribución que genere buenos árboles

27 Probabilistic Incremental Program Evolution (PIPE) Los programas tienen: Funciones: F = {F 1,..., F k } Terminales: T = {T 1,..., T l } La Generic Random Constant (GRC): Cuando se la utiliza en la creación de programas, o bien toma un valor real aleatorio, o bien toma el valor fijo almacenado Hay que respetar el cierre (closure): Un ejemplo de división protegida es: %(a,b) = si (b<> 0) entonces (a/b) sino real-grande Un ejemplo de raíz cuadrada protegida es: Sqrt%(x) = si(x>=0) entonces (sqrt(x)) sino 0.0

28 Probabilistic Prototype Tree (PPT)

29 Inicialmente: Nodo inicial del PPT

30 Creación de la población inicial Se recorre el PPT de arriba abajo (comenzando en la raíz) y de izquierda a derecha) Se selecciona un símbolo del nodo según su probabilidad Si se selecciona R (la GRC), entonces: Si la prob(r) > threshold, entonces R Si no, generar aleatoriamente un valor para R

31 Tamaño del PPT Inicialmente, el PPT contiene sólo el nodo raíz Los nodos se van creando cuando son necesarios (cuando en un nodo hoja del PPT se selecciona una función, es necesario crear sus argumentos)

32 Crecimiento del PPT

33 Poda del PPT En caso de que en un nodo, uno de los símbolos tenga una probabilidad muy grande Variable x Sólo 1 argumento

34 Algoritmo PIPE 1. Población inicial 2. Evaluación de la población 3. Aprendizaje (adaptación del PPT): 1. Incrementar la prob. de que PPT genere el mejor programa 4. Poda del PPT (ramas con prob. muy baja)

35 Recordatorio PBIL

36 Adaptación del PPT Al igual que en PBIL, se trata de incrementar las probabilidades que aparecen en el mejor individuo

37 Detalles A partir de aquí vienen los detalles reales del algoritmo, pero no son importantes

38 Algoritmo PIPE Utiliza dos formas de aprendizaje: Generation based learning (GBL): actualiza el PPT en dirección al mejor programa encontrado en esa generación Elitist learning (EL): actualiza el PPT en dirección al mejor programa encontrado hasta el momento

39 Algoritmo PIPE 1. Población inicial 2. Evaluación de la población 3. Aprendizaje (adaptación del PPT): con probabilidad P el 1. Incrementar la prob. de que PPT genere el mejor programa de la generación actual 2. Incrementar la prob. De que PPT genere el mejor programa encontrado hasta el momento 4. Mutación del PPT (exploración alrededor del mejor) 5. Poda del PPT (ramas con prob. muy baja)

40 Adaptación del PPT 1. Sea PROG b el programa hacia el que se quiere adaptar el PPT (el mejor) 2. Se calcula probabilidad de generar PROG b con el PPT actual

41 Adaptación del PPT 3. Se calcula la probabilidad objetivo (la prob. con la que el nuevo PPT debería generar PROG b lr es la learning rate (cuanto más alta, más cambia el PPT) El cociente controla la magnitud del cambio (recordar que se minimiza) Si épsilon, grande, el aprendizaje es independiente de la fitness (el cociente vale 1)

42 Adaptación del PPT 4. Se iteran los cambios en el PPT, hasta que P(PROG b )=P TARGET (las probabilidades se actualizan en paralelo). c lr (0.1) controla la precisión final (valor pequeño) y la rapidez (grande)

43 Adaptación del PPT 5. Renormalización del PPT (se disminuyen las probabilidades de las instrucciones que no están en PROG b, proporcionalmente a su valor actual)

44 Adaptación del PPT 6. Se copian las constantes R de PROG b al PPT

45 Mutación del PPT Para explorar los programas alrededor de PROG b Se mutan las probabilidades Pj(Ij(PROG b )) (las instrucciones presentes en PROG b ) P Mp = probabilidad de mutación z = número de posibles instrucciones Dividir por PROG b evita que se mute más los árboles más grandes (aunque la raíz cuadrada da mayor número de mutaciones a dichos árboles. Justificación empírica)

46 Mutación del PPT Mutación: Después hay que normalizar: