Regresión simbólica con slp s.

Transcripción

1 Regresión simbólica con slp s. Cruz Enrique Borges Hernández y José Luis Montaña 1 2 Departamento de Matemáticas, Estadística y Computación Universidad de Cantabria 7 de abril de 2011 This work is licensed under the Creative Commons Attribution-NonCommercial-ShareAlike 3.0 License. 1 Departamento de Matemáticas Estadística y Computación, Universidad de Cantabria, Santander, España. {borgesce,montanjl}@unican.es 2 Investigación financiada por los proyectos MTM , MTM , TIN C02-02 y becas FPU del Gobierno de España

2 Índice General. 1 Ajuste de Curvas: Problemas de Regresión. 2

3 Ajuste de una Curva a una Muestra. y f (x) x

4 Ajuste de una Curva a una Muestra. y f (x) x 0 x 1 x 10 x 9 x 4 x 5 x 8 x 2 x x 7 3 x6 x

5 Ajuste de una Curva a una Muestra. y g(x) x

6 3 de dimensión finita Si conoces el espacio de búsqueda y es un espacio vectorial 3 Muestra sin errores = Interpolación. Muestra con errores = Mínimos Cuadrados.... y NO es un espacio vectorial Muestra sin errores = Interpolación no lineal. Muestra con errores = Descenso de Gradiente.

7 3 de dimensión finita Si conoces el espacio de búsqueda y es un espacio vectorial 3 Muestra sin errores = Interpolación. Muestra con errores = Mínimos Cuadrados.... y NO es un espacio vectorial Muestra sin errores = Interpolación no lineal. Muestra con errores = Descenso de Gradiente.

8 3 de dimensión finita Si conoces el espacio de búsqueda y es un espacio vectorial 3 Muestra sin errores = Interpolación. Muestra con errores = Mínimos Cuadrados.... y NO es un espacio vectorial Muestra sin errores = Interpolación no lineal. Muestra con errores = Descenso de Gradiente.

9 3 de dimensión finita Si conoces el espacio de búsqueda y es un espacio vectorial 3 Muestra sin errores = Interpolación. Muestra con errores = Mínimos Cuadrados.... y NO es un espacio vectorial Muestra sin errores = Interpolación no lineal. Muestra con errores = Descenso de Gradiente.

10 Si NO conoces el espacio de búsqueda...? La fuerza bruta no es una opción en un espacio de funciones. Explorar el espacio de funciones: Regresión Simbólica. Programación Genética.

11 Si NO conoces el espacio de búsqueda...? La fuerza bruta no es una opción en un espacio de funciones. Explorar el espacio de funciones: Regresión Simbólica. Programación Genética.

12 Si NO conoces el espacio de búsqueda...? La fuerza bruta no es una opción en un espacio de funciones. Explorar el espacio de funciones: Regresión Simbólica. Programación Genética.

13 Si NO conoces el espacio de búsqueda...? La fuerza bruta no es una opción en un espacio de funciones. Explorar el espacio de funciones: Regresión Simbólica. Programación Genética.

14 Regresión Simbólica mediante Programación Genética I. Idea General Emular los procesos de selección natural para explorar el espacio de funciones en busca de un óptimo. Población de Individuos. Mecanismos de Evolución. Mecanismo de Calificación Sólo sobreviven los mejor calificados. El Teorema de los Esquemas garantiza la convergencia hacia un óptimo local.

15 Regresión Simbólica mediante Programación Genética I. Idea General Emular los procesos de selección natural para explorar el espacio de funciones en busca de un óptimo. Población de Individuos. Mecanismos de Evolución. Mecanismo de Calificación Sólo sobreviven los mejor calificados. El Teorema de los Esquemas garantiza la convergencia hacia un óptimo local.

16 Regresión Simbólica mediante Programación Genética I. Idea General Emular los procesos de selección natural para explorar el espacio de funciones en busca de un óptimo. Población de Individuos. Mecanismos de Evolución. Mecanismo de Calificación Sólo sobreviven los mejor calificados. El Teorema de los Esquemas garantiza la convergencia hacia un óptimo local.

17 Regresión Simbólica mediante Programación Genética I. Idea General Emular los procesos de selección natural para explorar el espacio de funciones en busca de un óptimo. Población de Individuos. Mecanismos de Evolución. Mecanismo de Calificación Sólo sobreviven los mejor calificados. El Teorema de los Esquemas garantiza la convergencia hacia un óptimo local.

18 Regresión Simbólica mediante Programación Genética I. Idea General Emular los procesos de selección natural para explorar el espacio de funciones en busca de un óptimo. Población de Individuos. Mecanismos de Evolución. Mecanismo de Calificación Sólo sobreviven los mejor calificados. El Teorema de los Esquemas garantiza la convergencia hacia un óptimo local.

19 Regresión Simbólica mediante Programación Genética I. Idea General Emular los procesos de selección natural para explorar el espacio de funciones en busca de un óptimo. Población de Individuos. Mecanismos de Evolución. Mecanismo de Calificación Sólo sobreviven los mejor calificados. El Teorema de los Esquemas garantiza la convergencia hacia un óptimo local.

20 Regresión Simbólica mediante Programación Genética II. No Paralelizable Poco interés en Paralelizar Paralelizable Crear Poblacion Inicial Calificar Poblacion Inicial generaciones Mientras no Fin Calificar Nueva Población Operadores Genéticos Validar Resultado

21 SLP: un Software para Regresión Simbólica. Población de slp. Mecanismos evolutivos: Cruce y Mutación adaptados. Múltiples mecanismos de calificación: Error Cuadrático Medio y VC dimension.

22 SLP: un Software para Regresión Simbólica. Población de slp. Mecanismos evolutivos: Cruce y Mutación adaptados. Múltiples mecanismos de calificación: Error Cuadrático Medio y VC dimension.

23 SLP: un Software para Regresión Simbólica. Población de slp. Mecanismos evolutivos: Cruce y Mutación adaptados. Múltiples mecanismos de calificación: Error Cuadrático Medio y VC dimension.

24 La estructura de datos slp I. Propiedades Grafo Acíclico Dirigido que codifica una aplicación. Reutiliza cálculos ya hechos. Equivalentes a Máquina de Turing. Fáciles de Evaluar.

25 La estructura de datos slp I. Propiedades Grafo Acíclico Dirigido que codifica una aplicación. Reutiliza cálculos ya hechos. Equivalentes a Máquina de Turing. Fáciles de Evaluar.

26 La estructura de datos slp I. Propiedades Grafo Acíclico Dirigido que codifica una aplicación. Reutiliza cálculos ya hechos. Equivalentes a Máquina de Turing. Fáciles de Evaluar.

27 La estructura de datos slp I. Propiedades Grafo Acíclico Dirigido que codifica una aplicación. Reutiliza cálculos ya hechos. Equivalentes a Máquina de Turing. Fáciles de Evaluar.

28 La estructura de datos slp II: representación gráfica. Figura: f 1 como árbol. Figura: f 1 como slp. f 1 + f x + x + +

29 La estructura de datos slp III: codificación. Figura: f 1 como árbol. u 1 := x x u 2 := x x u 3 := u 1 u 2 u 4 := x x f 1 u 5 := u 4 x u 6 := x x u 7 := u 6 + x u 8 := u 5 + u 3 u 9 := u 8 u 7 Figura: f 1 como slp. u 1 := x x u 2 := u 1 u 1 u f 1 3 := u 1 x u 4 := u 3 + x u 5 := u 4 + u 1 u 6 := u 5 + u 4

30 Mecanismos evolutivos adaptados a slp s I: cruce. Codificación Figura: Padre 1 u 1 := x + y u 2 := u 1 u 1 Γ 1 u 3 := u 1 x u 4 := u 3 + u 2 u 5 := u 3 u 2 Figura: Padre 2 u 1 := x x u 2 := u 1 + y Γ 2 u 3 := u 1 + x u 4 := u 2 x u 5 := u 1 + u 4 Figura: Hijo 1 u 1 := x + y u 2 := u 1 u 1 Γ s 1 u 3 := x x u 4 := u 3 + y u 5 := u 4 x Figura: Hijo 2 u 1 := x x u 2 := x + y Γ s 2 u 3 := u 2 x u 4 := u 2 x u 5 := u 1 + u 4

31 Mecanismos evolutivos adaptados a slp s II: cruce. Representación gráfica. Figura: Padre 1 Figura: Padre 2 Γ 1 Γ x y x y Figura: Hijo 1 Figura: Hijo 2 Γ s 1 Γ s x + y x y

32 Mecanismos de calificación adaptados a slp s. Muestra sin ruido = Error Cuadrático Medio (mse). Muestra con ruido = Dimensión Vapnik-Chervonenkis (VC). mse = m (Γ(x i ) y i ) 2. i=1

33 Mecanismos de calificación adaptados a slp s. Muestra sin ruido = Error Cuadrático Medio (mse). Muestra con ruido = Dimensión Vapnik-Chervonenkis (VC). [ VC = mse 1 h 1 ln m ( )] h m + ln m 2m 1

34 Ajuste de Curvas: Problemas de Regresión. Comparativa calificación mse contra VC I en muestras con ruido. Calificación media obtenida en 100 ejecuciones. Función AIC BIC SRM f E E E-07 f E E E+00 f E E E+00 f E E E-01 f E E E-01 g E E E-02 g E E E-01 g E E E-01

35 Ajuste de Curvas: Problemas de Regresión. Comparativa calificación mse contra VC II en muestras con ruido. Mejor calificación obtenida en 100 ejecuciones. Función AIC BIC SRM f E E E-07 f E E E-02 f E E E-01 f E E E-01 f E E E-02 g E E E-02 g E E E-01 g E E E-02

36 slp s paramétricos: ajuste de constantes. slp s con constantes paramétricas. Ajustar los valores de dichos parámetros para minimizar el error: Algoritmo Evolutivo y Co-evolución cooperativa heterogénea. Descenso de Gradiente.

37 slp s paramétricos: ajuste de constantes. slp s con constantes paramétricas. Ajustar los valores de dichos parámetros para minimizar el error: Algoritmo Evolutivo y Co-evolución cooperativa heterogénea. Descenso de Gradiente.

38 slp s paramétricos: ajuste de constantes. slp s con constantes paramétricas. Ajustar los valores de dichos parámetros para minimizar el error: Algoritmo Evolutivo y Co-evolución cooperativa heterogénea. Descenso de Gradiente.

39 slp s paramétricos: ajuste de constantes. slp s con constantes paramétricas. Ajustar los valores de dichos parámetros para minimizar el error: Algoritmo Evolutivo y Co-evolución cooperativa heterogénea. Descenso de Gradiente.

40 Comparativa evolución contra co-evolución.