Aprendizaje Computacional y Extracción de Información

Transcripción

1 Aprendizaje Computacional y Extracción de Información Inferencia Gramatical Jose Oncina oncina@dlsi.ua.es Dep. Lenguajes y Sistemas Informáticos Universidad de Alicante 26 de septiembre de 2007 J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

2 Índice 1 Introducción 2 Identificación en el límite 3 Inferencia Gramatical 4 Conjuntos aprendibles Presentación completa Presentación textual 5 Aprendizaje eficiente J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

3 Inferencia Inductiva Definición El término Inferencia inductiva denota el proceso de hipotetizar una regla general a partir de algunos ejemplos. Ejemplo: Dadas las cadenas: 011, , 00111, 0001, 0011,... Se puede conjeturar que la regla es: cualquier número de ceros seguido de cualquier número de unos. J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

4 Ciencia experimentales Gran parte de las ciencias experimentales están basadas en la inducción: La Física La Química Parte de la Biología.... J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

5 Algunas cuestiones Como podemos evaluar lo métodos de inferencia? Que criterios utilizar para comparar hipótesis? Pueden ser útiles los métodos de inferencia teóricos? J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

6 Ramas en Inferencia Inductiva Existen dos ramas básicas en las en inferencia inductiva: Estudio de las propiedades teóricas de los métodos de inferencia Búsqueda de métodos de inferencia prácticos J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

7 Otro ejemplo Ejemplo: Sea la secuencia: 3, 5, 7 Cual es el siguiente número de la secuencia? Una respuesta razonable: 9 Otra: 11 (siguiente número primo) Hay infinitas! Porque preferir unas respecto a otras? (es la respuesta mas sencilla) J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

8 Un juego Imaginad un juego en el que nos van presentando los números de una secuencia y debemos adivinar cual es el siguiente. 1 Imprime: 2 2 Decimos que el 3 es el siguiente 3 Imprime: SI, 2,3 4 Decimos que 4 es el siguiente 5 Imprime: NO, 2,3,5 6 Decimos que 7 es el siguiente 7 Imprime: SI, 2,3,5,7 8 Decimos que 9 es el siguiente 9 Imprime: NO, 2,3,5,7,11 10 Decimos que 13 es el siguiente 11 Imprime: SI, 2,3,5,7,11, J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

9 Criterio de éxito Cuando ganamos? Cuando hayamos encontrado la regla correcta Probema: Normalmente esto no se puede saber Pero... que es lo que queremos evaluar? La estrategia que seguimos para construir las reglas Una alternativa Ganamos si podemos demostrar que siguiendo nuestra estrategia siempre llegará un punto en el que ya no cometamos mas errores J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

10 Problemas admisibles Podremos encontrar la estrategia adecuada? No si el dominio no es conocido No si las reglas no son computables No si los ejemplos no poseen suficiente información... J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

11 Identificación de secuencias polinómicas Restricción Supongamos que el término que aparece en la posición n se puede expresar como el resultado de evaluar un polinomio de coeficientes enteros en el punto n. Ejemplo: Por ejemplo la secuencia que corresponde al polinomio n será: 4, 7, 12, 19, 28, 39, J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

12 Podemos diseñar una estrategia ganadora? La respuesta es si, ya vamos a ver dos métodos: 1 Un método enumerativo 2 Un método directo Atención: Queremos identificar las secuencias y no los polinomios J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

13 Método enumerativo El método: Se basa en ir enumerando todos los polinomios de coeficientes enteros y quedarse con el primero que es compatible con los datos Ejemplo de enumeración: 1 Para d = 0, 1, 2, se construyen todas las (d+1)-tuplas con elementos variando en [ d, d] 2 Cada elemento t i de la tupla se usa como coeficiente del término n i del polinomio La secuencia de polinomios que se genera es: 0, 1 + n, 1, 1 n, 0, n, 1 + n, 1, 1 n, 2 + 2n + 2n 2,... J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

14 Convergencia Todo polinomio de coeficientes enteros aparecerá en la enumeración Supongamos que el primer polinomio que genera la secuencia que buscamos esta en la posición n Para todos los polinomios anteriores existirá un valor que lo diferenciará del buscado Cuando aparezcan todos estos valores, el primer polinomio compatible con los datos será el buscado A partir de este momento no habrá fallos J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

15 Características 1 Consigue identificar cualquier secuencia polinómica 2 El método es muy flexible 3 INCONVENIENTE: Necesita recorrer un mínimo de d d polinomios para llegar a un polinomio de grado d J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

16 Método de Interpolación El método 1 Dada la subsecuencia y 1,, y t, utilizar cualquier método de interpolación para encontrar el polinomio de menor grado que pase por los puntos {(n, y n )} 2 Utilizar este polinomio para predecir el siguiente valor Esta estrategia consigue identificar cualquier secuencia producida por polinomios de coeficiente enteros J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

17 Características 1 Consigue identificar cualquier secuencia 2 Puede implementarse mediante un algoritmo de complejidad polinómica 3 INCONVENIENTE: El método es poco flexible Como lo extendemos para que admita términos de la forma 2 n o 3 n + 5 n? J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

18 Nota Nótese que con ninguno de los dos métodos sabemos en que momento se ha producido la identificación después de la secuencia 0, 0, 0, 0, 0 podemos concluir que la secuencia será siempre 0? O está generada por el polinomio: q(n) = (n 1)(n 2)(n 3)(n 4)(n 5)? J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

19 Dos conceptos clave Con estos ejemplos hemos introducido dos conceptos clave para el desarrollo teórico de la inferencia inductiva [Gold,67]: Identificación en el límite Identificación por enumeración J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

20 Especificación de un problema Para definir un problema de inferencia inductiva ha de especificarse: 1 El dominio: la clase de objetos a identificar 2 El espacio de hipótesis: las representaciones de los objetos 3 Entorno de aprendizaje: que se va a utilizar para aprender 4 La clase de métodos de inferencia: que tipos de algoritmos o técnicas se van a usar 5 El criterio de convergencia: como se sabe si el método es satisfactorio J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

21 En el ejemplo El domino eran las secuencias de polinomios de coeficientes enteros El espacio de hipótesis son los polinomios de coeficiente enteros El entorno de aprendizaje: una serie de números p(1), p(2),... La clase de métodos de inferencia puede ser la clase de los métodos representables por un programa de ordenador El criterio de identificación es que para todo polinomio p( ) exista un entero m tal que para todo n > m M(p(1), p(2),, p(n)) = p(n + 1) J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

22 Identificación en el límite Definición (Gold,67) Un método M es capaz de identificar un objeto desconocido en el límite si para cualquier secuencia h 1, h 2,... de hipótesis (representaciones) generadas por M usando colecciones crecientes de datos sobre el objeto, existe un número m para el que: h m es una descripción correcta del objeto y h m = h m+1 = h m+2 =... Obsérvese que M no puede determinar si ha convergido a una hipótesis correcta o no. J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

23 Identificación por enumeración Definición Supongamos que el espacio de las hipótesis es enumerable de forma que para cada regla del dominio aparece por lo menos una descripción en la enumeración. El método de enumeración consiste en recorrer la lista hasta que se encuentre con la primera descripción que sea compatible con todos los ejemplos. J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

24 Condiciones a cumplir Identificación 1 Cualquier hipótesis correcta debe de ser compatible con todos los ejemplos dados 2 Cualquier hipótesis incorrecta debe de ser incompatible con cualquier conjunto de ejemplos suficientemente grande Computabilidad 1 La enumeración de las representaciones ha de ser computable 2 Debe ser posible computar si cualquier representación y cualquier conjunto de ejemplos son compatibles J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

25 Inferencia gramatical En inferencia gramatical El dominio suele ser una clase de lenguajes formales (Lenguajes Regulares, Incontextuales,... ) El espacio de hipótesis una clase de gramáticas, autómatas, expresiones algebraicas,... J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

26 Entornos de aprendizaje Presentaciones Los ejemplos aparecen en un orden particular Los ejemplos aparecen en un orden arbitrario Los ejemplos aparecen de acuerdo a una distribución de probabilidad Ejemplos Solo positivos (texto) Positivos y negativos (completa) Oráculos Pertenencia Equivalencia J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

27 Conjuntos aprendibles Supongamos que disponemos de una presentación completa que condiciones ha de cumplir el dominio para que sea aprendible? Usando una técnica de enumeración 1 El espacio de hipótesis ha de ser enumerable 2 El saber si un objeto cumple o no una hipótesis debe ser computable J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

28 Presentación completa Teorema (Gold,67) Cualquier clase de lenguajes L recursivamente enumerable es identificable en el límite a partir de presentación completa. Algunos ejemplos Lenguajes regulares Lenguajes incontextuales Lenguajes sensibles al contexto... J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

29 No aprendibilidad Definición Una clase de lenguajes es superfinita si contiene todos los lenguajes finitos y al menos uno infinito J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

30 No aprendibilidad Teorema (Gold,67) Ninguna clase de Lenguajes superfinita es identificable en el límite Demostración Supongamos que existe un algoritmo. Sea σ una secuencia que identifica a uno de los lenguajes infinitos (L). Esto quiere decir que, el algoritmo, con cualquier secuencia que empiece por σ y a continuación, solo tenga cadenas de L, dará como salida L. Pero σ es un lenguaje finito (L ) que está incluido en L El algoritmo no podrá identificar L con una presentación de L que empiece por σ J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

31 Clases no Aprendible Corolario La clase de los lenguajes regulares no es identificable a partir de información positiva Quiere decir esto que la identificación a partir de texto está descartada? J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

32 Aprendizaje a partir de texto Condiciones No estén todos los lenguajes finitos No se permitan todas las presentaciones J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

33 Caracterización de las clases aprendibles Teorema (Angluin,80) La clase L es identificable a partir de texto si y solo si L L, existe un subconjunto finito D L tal que L L, si D L entonces L L J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

34 Aprendizaje eficiente Cuando podemos decir que aprendemos de forma eficiente? 1 Identifica en el límite 2 Cuando el tiempo y la cantidad de datos necesaria para aprender un concepto esta acotado polinómicamete con el tamaño del objeto a aprender Atención Los resultados pueden depender de la representación que se use Problema: Que pasa si hay una presentación que nos de un número exponencial de veces la misma cadena y solo luego empiezan a salir las demas? J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

35 Apendizaje eficiente Actualización polinómica El algoritmo de aprendizaje es eficiente si: Identifica en el límite Produce su salida en un tiempo polinómico Problema Podemos modificar el algoritmo de enumeración para que cumpla esta definición: Ejecutar el algoritmo de enumeración un tiempo prefijado que dependerá (polinómicamente) de la cantidad de datos disponibles Si transcurrido ese tiempo tenemos una solución, darla como salida Si no, dar una salida de compromiso J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

36 Aprendizaje eficiente Definición (Pitt, 86 & Yokomori, 91) 1 Actualización polinómica 2 Número polinómico de cambios de hipótesis 3 Consistencia (Yokomori) Definición (de la Higuera, 97) Un algoritmo aprende en un tiempo y con un tamaño de datos polinómicos si: 1 Actualización polinómica 2 Existe un conjunto característico de tamaño polinómico Un conjunto es característico si su presencia en los datos asegura la identificación J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44

37 Algunos resultados Positivos: A partir de texto: algunos subconjuntos de lenguajes regulares (k-explorables representados como conjunto de ventanas) Con presentación completa: Los lenguajes regulares representados como autómatas deterministas (Oncina & García, 91) Los lenguajes lineales deterministas representados como gramáticas lineales deterministas (de la Higuera & Oncina, 02) Negativos: Los lenguajes regulares (de la Higuera,97) representados como automatas no deterministas La cadena mas pequeña que acepta un autómata no determinista puede ser exponencialmente larga. J. Oncina (Universidad de Alicante) ACEI 26 de septiembre de / 44