Análisis Sintáctico. Esquema general de un analizador sintáctico. Texto. Árbol de Análisis Sintáctico o FALLO. + Analizador Sintáctico Gramática

Transcripción

1 Análisis Sintáctico

2 Análisis Sintáctico INPUT Texto + Analizador Sintáctico Gramática OUTPUT Árbol de Análisis Sintáctico o FALLO Esquema general de un analizador sintáctico

3 Métodos de análisis sintáctico Dos grandes clases de análisis sintáctico Descendentes (top-down) Para una secuencia de palabras, construye un árbol de análisis sintáctico desde la raíz a las hojas Ascendentes (bottom-up) Para una secuencia de palabras, construye un árbol de análisis sintáctico desde las hojas a la raíz Existen combinaciones

4 Espacio de estados de parsers Top-down Formas sentenciales que se obtienen realizando todas las derivaciones posibles a partir de S. El objetivo es llegar a la oración de entrada. Bottom-up Formas sentenciales que se obtienen empezando por la oración de entrada y utlizando las reglas el revés. El objetivo es llegar al símbolo inicial S.

5 Ejemplo: top-down paso 1 O paso 2 O O GV GN GV paso 3 O O O O O O O GV GV GV GN GV GN GV GN GV GN GV V V GN V GN GP Det Nom Det Nom Adj NomProp Analizar: tomo un examen

6 Ejemplo: top-down paso 4 O O O O O O GV GV GV GV GV GV V V V GN V GN V GN GP V GN GP tomo vuelo tomo vuelo tomo vuelo Analizar: tomo un examen

7 Ejemplo: top-down paso 4 O O O O O O GV GV GV GV GV GV V V V GN V GN V GN GP V GN GP tomo vuelo tomo vuelo tomo vuelo Analizar: tomo un examen

8 Ejemplo: bottom-up tomo Nom Det Nom un examen V Det Nom tomo un examen tomo un examen GV GN V Det Nom V Det Nom tomo un examen tomo un examen GV GN Analizar: tomo un examen V Det Nom tomo un examen

9 Ejemplo: bottom-up S GV GN V Det Nom tomo un examen Analizar: tomo un examen

10 Comparando ambos parsers simples Top-Down: Sólo genera árboles que comienzan en S. Pierde tiempo con árboles que no son consistentes con la entrada. Bottom-up: Explora árboles que no llegarán a S. Nunca sugieren árboles que no sean al menos localmente consistentes con la entrada.

11 Parsing con programación dinámica Los subárboles de los constituyentes se almacenan en tablas No hay análisis duplicados Ambigüedad: todas las posibilidades son analizadas Tres métodos clásicos: Cocke-Kasami-Younger (CKY, 1965) Earley (1968) Chart Parsing (Key, 1967; Kaplan, 1973)

12 Cocke-Kasami-Younger La gramática debe estar escrita acorde a la Forma Normal de Chomsky (FNC): Todas las producciones son de la forma: X Y 1 Y 2 X w (X, Y 1, Y 2 variables) (X variable, w terminal) Algoritmo para llevar a FNC (G no tiene producciones ε): eliminación de reglas que mezclan terminales y no terminales (se agregan variables y reglas) eliminación de reglas unitarias (se modifican reglas) eliminación de reglas de largo mayor a dos en el lado derecho (se agregan variables y reglas)

13 Gramática ejemplo llevada a FNC O tomo vuelo V GN V Aux1 GN GV GN Det Nom Det Aux2 París Montevideo GN GP GN Aux3 GV tomo vuelo V GN V Aux1 GP Prep GN Aux1 GN GP Aux2 Nom Adj Aux3 GP GP Det Nom un tomo examen vuelo NomProp París Montevideo Prep V Adj a de tomo vuelo directo

14 CKY: idea del algoritmo Técnica bottom-up. A partir de un par de categorías (lado derecho de una regla) generamos el lado izquierdo. Como la gramática está en FNC, las combinaciones posibles son binarias. Se puede utilizar una matriz bidimensional para representar un árbol de análisis sintáctico. Ejemplos: usar CKY para analizar: tomo un examen, tomo un vuelo a París

15 CKY: algoritmo Dados : una tira de largo n, p(i), i=1,,n una gramática G en FNC para j de 1 a n tabla(j-1,j) { A A p(j) está en G } para i de j-2 a 0, descendente para k de i+1 a j-1 tabla(i,j) tabla(i,j) U {A A B C está en G, B está en tabla(i,k) C está en tabla(k,j)}

16 CKY: problemas El algoritmo presentado es un reconocedor. Para obtener los análisis se debe asociar a cada variable punteros a las entradas de las cuales se derivó. Para obtener todos los análisis se debe registrar la misma variable varias veces si se deduce de más de un modo.

17 CKY: problemas Los árboles que retorna no son los planeados orginalmente. Igual capacidad generativa débil pero no hay equivalencia en capacidad generativa fuerte. Es posible re-transformar el análisis.

18 Earley No requiere gramáticas en FNC. Enfoque Top-Down. Llena un arreglo (chart) en una sola recorrida sobre las N palabras a reconocer: el largo del arreglo es N+1 las entradas en el arreglo representan: constituyentes completos y sus posiciones constituyentes en reconocimiento constituyentes predecidos.

19 Earley: entradas en el arreglo En cada entrada del arreglo hay una lista de estados. Cada estado contiene información de 3 tipos: un subárbol (regla) el progreso de aplicación de la regla para completar el subárbol (punto ) posición del subárbol en relación a la entrada ([ i, j ])

20 Earley: entradas en el arreglo Los estados se representan por medio de reglas con punto (dotted rules) y un par de posiciones. Tres casos posibles: O GV, [0, 0] GN Det Nom, [1, 2] GV V GN, [0, 3]

21 Earley: entradas en el arreglo O GV, [0, 0] un GV es predecido a partir de la pos. 0 (1ª palabra) GN Det Nom, [1, 2] un GN está siendo reconocido a partir de la pos. 1 (2ª palabra), el Det ya fue reconocido y se predice un Nom a partir de la pos. 2 GV V GN, [0, 3] un GV fue encontrado entre las pos. 0 y 3

22 Earley: idea del algoritmo Recorre el arreglo de izquierda a derecha. En cada celda, procesa cada estado de la lista de estados de la celda. El procesamiento de un estado consiste en la aplicación de uno de los tres operadores disponibles (ver más adelante). El procesamiento de un estado genera la incorporación de estados nuevos (si estos no existen) al final de la lista de estados de la celda actual o de la celda siguiente. El algoritmo siempre avanza agregando estados, nunca se eliminan estados ni se retrocede a una celda anterior.

23 Earley: operadores Operadores disponibles: Predecir (predictor) Crea estados nuevos que representan las expectativas top-down. Buscar (scanner) Matchea las predicciones de palabras (reglas con una palabra luego del punto) con las palabras de la entrada. Completar (completer) Cuando un estado está completo, busca cuáles reglas estaban esperando el constituyente que fue completado.

24 Earley: operador Predecir Operador Predecir Se aplica a todo estado que tenga un no-terminal, que no sea una categoría léxica, inmediatamente a la derecha de su. Se crea un nuevo estado para cada expansión posible de ese no-terminal. Los nuevos estados se agregan al final de la lista de estados de la celda actual. Los nuevos estados comienzan y terminan en la pos. en la que termina el estado que los generó.

25 Earley: operador Predecir Operador Predecir Ejemplo (basado en gramática de la transp. 16) para el estado: se agregan: O GV, [0, 0] GV V, [0, 0] GV V GN, [0, 0] GV V GN GP, [0, 0] en la misma celda del arreglo

26 Earley: operador Buscar Operador Buscar Se aplica a todo estado que tenga una categoría léxica inmediatamente a la derecha de su. Se crea un nuevo estado a partir del estado actual moviendo el sobre la categoría predicha. El nuevo estado se agrega al final de la lista de estados de la celda siguiente. El nuevo estado comienza en donde termina el estado que lo generó y termina una pos. después.

27 Earley: operador Buscar Operador Buscar Ejemplo para el estado: GV V GN, [0, 0] y la entrada: tomo un examen (en la pos. 0 hay un V) se agrega: V tomo, [0, 1] en la celda siguiente del arreglo

28 Earley: operador Completar Operador Completar Se aplica a todo estado que tenga el al final de la regla (estado completo). Se crean estado nuevos en base a todos los estados creados previamente que esperaban la categoría reconocida por el estado actual en la misma pos. de la entrada. Los nuevos estados se crean avanzando los de los estados previos. Los nuevos estados se agregan a la lista de estados de la celda actual. Los nuevos estados comienzan en la misma pos. que los estados previos y terminan en donde termina el estado que los generó.

29 Earley: operador Completar Operador Completar Ejemplo para el estado: GN Det Nom, [1, 3] a partir de los estados (generados previamente): GV V GN, [0, 1] GV V GN GP, [0, 1] se agregan: GV V GN, [0, 3] GV V GN GP, [0, 3] en la misma celda del arreglo

30 Earley: detalles del algoritmo Para iniciar el proceso se agrega a la primera celda del arreglo un estado comodín : γ -> S, [0,0] (S símbolo inicial) Cuando se termina de procesar la lista de estados de la última celda del arreglo, si en esa celda tenemos un estado S -> α, [0,N] entonces la entrada fue reconocida.

31 Ejemplo O GV GN Det Nom GN GP GN GP GP GV V V GN V GN GP GP Prep GN Det Nom Prep V un tomo examen vuelo a de tomo Analizar con Earley: tomo un examen

32 Earley: problemas Reconocedor o parser? Si bien reduce el costo de reconocer a un tiempo polinomial, calcular todos los árboles (agregando información sobre los estados que fueron generando cada nuevo estado) puede llevar un tiempo exponencial. No tiene problemas con la recursión por la izquierda.

33 Chart Parsing Generalización de Earley Representamos la oración como un grafo V (vértices), de 0 a n, espacios entre palabras E (aristas), etiquetadas con reglas con punto Mantenemos una agenda con ítems (estados). Se puede trabajar top down, bottom up o con combinaciones.

34 Chart Parsing El paso fundamental es la combinación de un ítem activo y uno inactivo, dando lugar a un nuevo ítem. Consideremos: { S GN GV, [0,2] GV V GN GP, [2,3] GN Det Nom, [3,5] GP Prep GN, [5,7] } Aplicando esta combinación 3 veces llegamos a completar un análisis.

35 Chart Parsing Regla fundamental (completar) Si el grafo contiene aristas A α B β, [i,j] B γ, [j,k] siendo A y B variables y α, β, γ secuencias (eventualmente vacías) de variables y terminales Agregar la arista A α B β, [i,k] al grafo

36 Chart Parsing La regla fundamental no indica si la arista agregada es activa o inactiva (β=ε) Sólo se agregan arcos al grafo, no se elimina una arista activa luego de usarse ( por qué?) Además de la regla fundamental, necesitamos Inicialización Estrategia de invocación de reglas de la gramática Estrategia de búsqueda

37 Chart Parsing Inicialización Para aplicar la regla fundamental necesitamos aristas. Como mínimo, una arista activa y una inactiva. Inicialización = generación de algunas aristas inactivas. Ejemplo: tomo un examen

38 Chart Parsing Inicialización Ejemplo: tomo un examen N -> tomo V -> tomo Det -> un N -> examen tomo un examen

39 Chart Parsing Invocación de reglas (predicción) Luego de inicializar se van a agregar aristas al grafo. Tenemos variantes Invocación bottom-up Invocación top-down Combinación de estrategias

40 Chart Parsing Invocación de reglas Invocación bottom-up Si se agrega la arista: C γ, [i,j] al grafo, para toda regla en la gramática de la forma A C β, agregar también un arco: A C β, [i,i]

41 Chart Parsing Invocación de reglas Invocación bottom-up 3 2 N -> tomo 4 1 V -> tomo Det -> un N -> examen tomo un examen 1: GV -> V 4: GN -> Det N 2: GV -> V GN 3: GV -> V GN GP

42 Chart Parsing Invocación de reglas Invocación top-down 1. En la inicialización, para cada regla S α, con S símbolo inicial, agregar al grafo: S α, [0,0] 2. Si se agrega la arista C γ B α, [i,j] al grafo, para toda regla en la gramática de la forma B β, agregar también un arco: B β, [j,j]

43 Chart Parsing Invocación de reglas Invocación top-down paso 1 O -> GV N -> tomo V -> tomo Det -> un N -> examen tomo un examen

44 Chart Parsing Invocación de reglas Invocación top-down paso 2 O -> GV N -> tomo V -> tomo Det -> un N -> examen tomo un examen : GV -> V - 2: GV -> V GN - 3: GV -> V GN GP

45 Chart Parsing Invocación de reglas Combinación de estrategias Podríamos tener top-down y hacer bottom-up sólo para algún tipo de regla. - Es fundamental considerar la completitud : todos los análisis deben ser recuperados

46 Chart Parsing Estrategia de búsqueda La interacción entre la invocación de reglas y la regla fundamental es determinada por la tercera componente de chart parsing: la estrategia de búsqueda.

47 Chart Parsing Estrategia de búsqueda - Cada arista activa es una hipótesis a ser explorada. - Si tiene éxito (parcial) generará nuevas hipótesis. - Opciones en cuanto al orden en que exploramos las hipótesis - En profundidad - En extensión - Combinaciones

48 Chart Parsing Estrategia de búsqueda - La estrategia de búsqueda se refleja en una agenda. - Cada nueva hipótesis generada se almacena en una agenda. - Según la política de la agenda - LIFO búsqueda en profundidad - FIFO búsqueda en extensión

49 Chart Parsing Aplicación de la regla fundamental al ejemplo GV -> V O -> GV N -> tomo V -> tomo Det -> un N -> examen tomo un examen : GV -> V - 2: GV -> V GN - 3: GV -> V GN GP

50 Chart Parsing Aplicación de la regla fundamental al ejemplo GV -> V GN GV -> V O -> GV N -> tomo V -> tomo Det -> un N -> examen tomo un examen : GV -> V - 2: GV -> V GN - 3: GV -> V GN GP cómo seguimos?

51 Refinamientos Chart Parsing - Filtrado Parsing top-down con filtrado bottom-up - Invocación de reglas por el núcleo o por un indicador.

52 Chart Parsing Empaquetamiento de ambigüedad Puso el cubo en la caja sobre la mesa para que no se rompiera. La ambigüedad del fragmento azul queda registrada pero no obliga a duplicar el análisis del resto.

53 Chart Parsing Derivación Describimos una derivación como una secuencia de pasos de generación de ítems. Para cada paso anotamos la regla que se usa y los ítems que intervienen en la deducción

54 Chart Parsing Derivación ejemplo 1- O GN GV 2- GN Det Nom 3- GV V 4- Det el 5- Nom niño 6- V llora

55 Chart Parsing Derivación top down ejemplo i1 : Det el, [0,1] -Inic, regla 4 i2 : Nom niño, [1,2] -Inic, regla 5 i3 : V llora, [2,3 ] -Inic, regla 6 i4 : O GN GV, [0,0] -InvTD-inic, regla 1 i5 : GN Det Nom, [0,0] -InvTD, i4 y regla 2 i6 : GN Det Nom, [0,1] -RF, i1, i5 i7 : GN Det Nom, [0,2] -RF, i2, i6 i8 : O GN GV, [0,2] -RF, i7, i4 i9 : GV V, [2,2] -InvTD, i8 y regla 3 i10 : GV V, [2,3] -RF, i9, i3 i11 : O GN GV, [0,3] -RF, i8, i10 RF: regla fundamental, InvTD: invoc. top-down

56 Chart Parsing Una estrategia de tipo bottom-up: - Recorrer la tira de izquierda a derecha. - Invocar las reglas por el último símbolo del lado derecho (right-corner). - Tiene la ventaja de que las categorías necesarias para satisfacer una regla, si existen, aparecen en el chart al momento de necesitarlas. - Se utilizó para un formalismo desarrollado en el grupo PLN, Reglas Contextuales. - Veremos brevemente una definición de reglas contextuales, su uso, ejemplos y un esquema del intérprete de reglas.

57 Reglas contextuales Poder expresivo : se toma en cuenta el contexto recursividad descripción parcial de regiones de texto Lenguajes sensibles el contexto No estamos interesados en la perspectiva de generación sino que lo usamos como un analizador para extraer alguna información del texto, difícilmente el análisis completo.

58 Reglas contextuales A Cizq \ Cuerpo / CDer Cizq, Cuerpo y CDer son secuencias de: Categorías Zonas de exclusión Zona de exclusión especificamos una región de texto por medio de : Conjunto de categorías que no pueden aparecer Tamaño máximo

59 Reglas contextuales Ejemplo: Tenemos una oración subordinada si aparecen los siguientes elementos en secuencia: conjunción de subordinación una región de texto en la que no aparecen ni verbos ni conjunciones de subordinación una forma verbal conjugada una región de texto en la que no aparecen ni verbos ni conjunciones de subordinación (ni puntuación) y a continuación (afuera de la subordinada) un verbo conj. propsub --> \ ConjSub *(S,40) Verbo *(S,80) / Verbo S={ConjSub,Verbo, Punto}

60 Reglas contextuales El libro propsub que es 3 yo 4 Verbo 7 8 ayer he 6 5 leído 9 interesante 10. El ibro que yo he leído ayer es interesante

61 Chart Parsing para reglas contextuales Se disparan las reglas por el último símbolo del lado derecho. Invocación bottom-up - Right corner : último símbolo del lado derecho. - Una regla es ingresada al grafo ni bien su right corner se deduce (aparece como un arco inactivo). - De este modo sabemos que las categorías excluídas por las zonas, si no están en el momento en que se dispara una regla, ya no van a aparecer (aunque hay una condición adicional).