Introducción (1) Introducción (2) El papel del analizador sintáctico (1)

Transcripción

1 Introducción (1) odo lenguaje de programación tiene reglas que prescriben la estructura sintáctica de programas bien formados. El uso de gramáticas para describir dicha estructura ofrecen ventajas significativas: Dan una especificación sintáctica precisa y fácil de entender de un lenguaje de programación. partir de ellas se puede construir automáticamente un analizador sintáctico eficiente que determine si un programa fuente está sintácticamente bien formado. demás, durante ese proceso es posible detectar ambigüedades sintácticas y otras construcciones difíciles de analizar que de otro modo podrían pasar desapercibidas. La estructura que imponen es útil para la traducción de programas fuente a código objeto correcto y para la detección de errores. Las nuevas construcciones fruto de la evolución del lenguaje se pueden añadir fácilmente cuando existe una aplicación basada en una descripción gramatical del lenguaje. PL. nálisis sintáctico 2 Introducción (2) Conviene tener claros los siguientes conceptos: Gramática independiente del contexto. ímbolo terminal y no terminal y axioma. ímbolo anulable, no alcanzable y no terminable. Producción épsilon, no generativa, recursiva a izquierda o derecha. Derivación, forma sentencial, frase o sentencia y lenguaje generado por una gramática. Derivación más a la izda/dcha y árbol de análisis sintáctico. mbigüedad PL. nálisis sintáctico 3 El papel del analizador sintáctico (1) De momento se asume que la salida del analizador sintáctico es una representación del árbol de análisis sintáctico para la cadena de componentes léxicos producida por el analizador léxico. Existen tres tipos generales de analizadores sintácticos para gramáticas Los métodos universales de análisis sintáctico ej. algoritmo de Cocke-Younger-Kasami on demasiados ineficientes Los métodos descendentes nálisis recursivo descendente Los métodos ascendentes nálisis sintáctico por precedencia de operadores. nálisis sintáctico LR PL. nálisis sintáctico 4

2 El papel del analizador sintáctico (2) expresiones regulares nalizador léxico componente léxico obtén sig. comp. lex. abla de símbolos errores nalizador sintáctico Árbol de análisis sintáctico Resto etapa inicial usa gramáticas para determinar la estructura sintáctica de la secuencia de componentes léxicos. produce un árbol de análisis sintáctico. detecta y se recupera de errores sintácticos. reconoce las secuencias sintácticamente correctas. informa de los errores. Representación intermedia técnicamente parte del análisis sintáctico incluye la recolección de información adicional para los componentes léxicos, la comprobación de tipos y el análisis semántico nálisis descendente La idea es generar una forma sentencial a partir del axioma, reconstruyendo una derivación más a la izquierda en orden directo. l* w engo dos elementos de juicio: La porción de entrada por leer. En general se consideran los k primeros caracteres por leer. El no terminal más a la izquierda de la forma sentencial. Es como construir el árbol sintáctico empezando por la raíz (análisis LL(k) o top-down). w PL. nálisis sintáctico 5 PL. nálisis sintáctico 6 nálisis ascendente La idea es generar una forma sentencial a partir del axioma, reconstruyendo una derivación más a la derecha en orden inverso. r* w engo dos elementos de juicio: La porción de entrada por leer. En general se consideran los k primeros caracteres por leer. El asidero de la forma sentencial. Es como si se construyera el árbol sintáctico w empezando por las hojas (análisis LR(k) o botton-up). PL. nálisis sintáctico 7 Manejo de errores sintácticos (1) i un compilador tuviera que procesar sólo programas correctos su diseño se simplificaría mucho. e sabe que los programas pueden tener errores de muy diversos tipos: Léxicos, como escribir mal un identificador, palabra clave u operador. intácticos, como una expresión aritmética con paréntesis no equilibrados emánticos, como un operador aplicado a un operando incompatible o el acceso a una posición de un array más allá de su límite Lógicos, como una llamada infinitamente recursiva o un bucle cuya condición de terminación nunca se cumple y además no hay instrucciones de salida del mismo. PL. nálisis sintáctico 8

3 Manejo de errores sintácticos (2) La mayor parte de los errores se detecta en el análisis sintáctico: Es el que se da cuenta de errores arrastrados del análisis léxico. La detección de errores semánticos y lógicos en el momento de la compilación es muy difícil. El manejador de errores en un analizador sintáctico debe: Informar de la presencia de errores con claridad y exactitud. Recuperarse de cada error con la suficiente rapidez como para detectar errores posteriores No debe aumentar el tiempo de procesamiento de los programas correctos. PL. nálisis sintáctico 9 Estrategias de recuperación de errores (1) Recuperación en modo pánico e desechan símbolos hasta que encuentra un símbolo de sincronización (ej. delimitadores) Omite una cantidad importante de entrada sin comprobar la presencia de errores pero es sencillo, no entra en bucles infinitos y puede ser utilizado con la mayoría de métodos de análisis sintáctico. Recuperación a nivel de frase e realizan correcciones locales de la entrada restante (ej. sustituir el prefijo de la entrada por una cadena que permita continuar el análisis) Puede haber bucles infinitos si la inserción es por delante de la entrada y es problemática si el error se ha producido antes del punto de detección. PL. nálisis sintáctico 10 Estrategias de recuperación de errores (2) Producciones de error i se tiene idea de los errores comunes se puede aumentar la gramática con producciones que generen construcciones erróneas. i se usa una producción de error se emite un mensaje informando de la construcción errónea. Corrección global e intenta determinar el mínimo número de cambios para hacer un programa correcto. Demasiado costosa, la corrección realizada puede modificar la intención del programador. Expr. regulares, o gramáticas independientes del contexto Por qué utilizar expresiones regulares para definir la sintaxis lexicográfica de un lenguaje? Las reglas lexicográficas de un lenguaje a menudo son bastante sencillas, y para describirlas no se necesita una notación tan poderosa como las gramáticas. Las e. r. por lo general proporcionan una notación más concisa y fácil de entender para los componentes léxicos que una gramática. e pueden construir automáticamente analizadores léxicos más eficientes a partir de e. r. que a partir de gramáticas. eparar la estructura sintáctica de un lenguaje en partes léxicas y no léxicas proporciona una forma conveniente de modularizar la etapa inicial de un compilador en dos componentes de tamaño razonable. PL. nálisis sintáctico 11 PL. nálisis sintáctico 12

4 Eliminación de recurs. izda. 1 Una gramática G es recursiva a izquierdas si existe un no terminal para el cual + α. Recursividad directa β α β α ε β α α β α α i hay más de dos producciones Estratificación: α 1 α 2... α m β 1 β 2... β n Reescritura: β 1 β 2... β n α 1 α 2... α m ε ε Eliminación de recurs. izda. 2 Recursividad indirecta La recursividad se alcanza a través de varias producciones. Bα α B Cβ β C γ γ G=(Σ,N,P,) sin producciones ε y sin ciclos G =(Σ,N,P,) no recursiva con L(G)=L(G ) 1Indexar los no terminales: 1, 2,..., n 2for i:=1 to n do for j:=1 to i-1 do a sustituir cada producción de la forma i j γ por las producciones i δ 1 γ δ 2 γ... δ k γ donde j δ 1 δ 2... δ k son todas las producciones actuales de j b eliminar la recursividad directa por la izquierda de i PL. nálisis sintáctico 13 PL. nálisis sintáctico 14 Factorización por la izquierda Idea: cuando no esta claro cuál de dos producciones alternativas utilizar para ampliar un no terminal, se pueden reescribir las producciones de para retrasar la decisión hasta haber visto suficiente entrada. G=(Σ,N,P,) G =(Σ,N,P,) factorizada con L(G)=L(G ) 1Para cada no terminal, encontrar el prefijo α más largo común a dos o más de sus alternativas 2i α ε (es decir, existe un prefijo) transformar αβ 1 αβ 2 αβ n γ (γ: alternativas que no comienzan por α) en α γ β 1 β 2 β n PL. nálisis sintáctico 15 Construcción de lenguajes no independientes del contexto Unas cuantas construcciones sintácticas de muchos lenguajes de programación no se pueden especificar utilizando tan sólo gramáticas. declaración de identificadores antes de su uso, que tiene una estructura similar a la del lenguaje: L 1 ={wcw: w está en (a b)*} comprobación de que el número de parámetros actuales en un uso de un procedimiento coincide con el número de parámetros formales en la declaración de ese procedimiento, que tiene una estructura similar a: L 2 ={a n b m c n d m : n 1 y m 1 } En un compilador para lenguajes de este tipo la fase de análisis semántico comprobará la información almacenada en la tabla de símbolos. PL. nálisis sintáctico 16

5 nálisis sintáctico por descenso recursivo Es una forma general de análisis sintáctico descendente que puede incluir retrocesos (es decir varios exámenes de la entrada). Ejemplo: cd, ab a, w=cad cad cad c c a b d Este tipo de análisis no es adecuado para gramáticas recursivas a izquierdas. d cad cad c c d a b Problema: retroceso a d l regresar a se restablece el valor del apuntador de la entrada cad c a d PL. nálisis sintáctico 17 nalizadores sintácticos predictivos En muchos casos, diseñando con cuidado la gramática, eliminando su recursión por la izquierda y factorizando por la izquierda la gramática resultante, se puede obtener una gramática analizable con un analizador recursivo descendente que no necesita retroceso. Uno analizador de este tipo, dado un símbolo a de la entrada y el no terminal a expandir debe poder determinar cuál de las alternativas de producción α 1 α 2... α n es la única alternativa que da lugar a la cadena que empiece por a. PL. nálisis sintáctico 18 Diagramas de transición para analizadores sintácticos predictivos (1) e caracterizan por lo siguiente: Existe un diagrama para cada no terminal. Las etiquetas de las aristas son componentes léxicos y no terminales: Una transición con un componente léxico supone que se debe tomar dicha transición si ese componente léxico es el siguiente de la entrada. Una transición etiquetada con un no terminal se traduce como una llamada al procedimiento para. Para construirlos a partir de una gramática: a) Eliminar la recursión a izquierdas b) Factorizar c) Para cada no terminal 1. Estado inicial y estado final de retorno 2. Para cada producción X 1 X 2... X n camino del estado inicial al final con aristas etiquetada con X 1, X 2,..., X n. PL. nálisis sintáctico 19 Diagramas de transición para analizadores sintácticos predictivos (2) Ejemplo E E' E' + E' E: E ' E ' E ': : F ' ' * F ' F ' * F ' ' : ( E ) F: id F ( E ) id Comportamiento: i s a t y entrada a entonces cambia delantero y el estado a t i : s r t u entonces cambiar estado a r si llega a u vuelve a t ( leído) PL. nálisis sintáctico 20

6 Diagramas de transición para analizadores sintácticos predictivos (3) implificación + E ': E ': E: E: 0 3 E ' E ' 6 E ': E: PL. nálisis sintáctico 21 nálisis sintáctico predictivo no recursivo e puede construir un analizador sintáctico predictivo no recursivo explícitamente manteniendo una pila, en lugar de hacerlo implícitamente mediante llamadas recursivas. El problema clave durante el análisis sintáctico predictivo es determinar la producción que debe aplicarse a un no terminal. El analizador sintáctico no recursivo busca la producción que debe aplicarse en una tabla de análisis sintáctico predictivo P. ímbolo de pila vacía Pila erminales y no terminales de la gramática X Y Z a + b Programa para análisis sintáctico predictivo abla de análisis sintáctico predictivo M[a,] entrada (cadena + finalizador) Output PD cciones que deben llevarse a cabo en función del tope de pila y el siguiente símbolo de entrada PL. nálisis sintáctico 22 Uso de la P Las acciones del PD en función de la entrada y de la pila son: i X=a=, cadena reconocida y se finaliza el análisis. i X=a, hacemos un pop en la pila y llamamos al analizador léxico para obtener un nuevo token. i X a, se ha producido un error, llamar a la rutina de recuperación de errores y emitir un mensaje del tipo se esperaba un X pero se encontró un a En cualquier otro caso se consulta la entrada de la tabla M[a, X] debe aparecer una producción de la forma X Y 1 Y 2... Y n. e hace un pop de X y se reemplaza por Y 1 Y 2... Y n con Y 1 en el tope de la pila. i la entrada de tabla esta vacía llamar a la rutina de recuperación de error y emitir un mensaje como X no puede comenzar por a PL. nálisis sintáctico 23 Conjuntos FIR y FOLLOW Para construir la P es necesario el cálculo de los conjuntos FIR y FOLLOW FIR k : (Σ N) * Σ i k los primeros k símbolos de una casi forma sentencial FIR k (w)={x:w * xy, xyσ * (si xy k y=ε sino x =k} FOLLOW k : N Σ i k símbolos que siguen a en las diferentes formas sentenciales FOLLOW k ()={x: * wy xfir k (y)} FIR 1 (α): conjunto de terminales que inician las cadenas derivadas de α. FOLLOW 1 (): conjunto de terminales a que pueden aparecer inmediatamente a la derecha del no terminal en alguna forma sentencial, es decir, el conjunto de terminales a tal que haya una derivación de la forma *αaβ para algún α y β. PL. nálisis sintáctico 24

7 Propiedades del FIR y el FOLLOW FIR k (aw) = a FIR k-1 (w) aσ w(σ N ) * FIR k (ε) = {ε} FIR k (xy)=fir k (FIR k (x)fir k (y)) =FIR k (x FIR k (y)) x,y(σ N ) * =FIR k (FIR k (x) y) i tengo una regla de producción w FIR k (w) FIR k () i tengo una regla xxy XN x,y(σ N ) * FIR k (y FOLLOW k ()) FOLLOW k (X) eoremas del FIR y el FOLLOW 1 ea G:(Σ,N,P,), una CFG, G es LL(k) sii wx,wσ *, u, v se cumple que FIR k (ux) FIR k (vx)= 2 ea G:(Σ,N,P,) una CFG sin ε-reglas, G es LL(k) sii u, v se cumple que FIR k (u) FIR k (v)= 3 ea G:(Σ,N,P,) una CFG cualquiera, G es LL(1) sii u, v se cumple que FIR 1 (u FOLLOW 1 ()) FIR 1 (v FOLLOW 1 ())= PL. nálisis sintáctico 25 PL. nálisis sintáctico 26 Cálculo del FIR 1i X es un terminal FIR(X)={X} 2i X ε es una producción εfir(x) 3i X Y 1 Y 2...Y n es una producción afir(y 1 ) FIR(X) bi εfir(y k ) k<i FIR(Y i ) FIR(X) ci εfir(y k ) i n εfir(x) Cálculo del FOLLOW 1i es el axioma FOLLOW() 2i αbβ es una producción FIR(β)-{ε} FOLLOW(B) 3i hay una producción αb o αbβ con εfir(β) FOLLOW() FOLLOW(B) PL. nálisis sintáctico 27 PL. nálisis sintáctico 28

8 Construcción de la P la vista del tope de pila y del símbolo nos dice que acción llevar a cabo. Esta compuesta por entradas de la forma M[a, X]=(X w) afir(wfollow(x)) N Σ Σ σ 1. a. σ t N 1... X... N n σ 1...a... σ t P... error P : pop R n P... R n : regla n error P X w PL. nálisis sintáctico 29 lgoritmo de análisis sintáctico predictivo no recursivo apuntar ae al primer símbolo de w; repeat sea X el símbolo de la cima de la pila y a el símbolo apuntado por ae if X es un terminal o then if X=a then extraer (pop) X de la pila y avanzar ae else error() else /* X es un no terminal */ if M[X,a] = X Y 1 Y 2 Y k then begin extraer X de la pila; meter (push) Y k, Y k-1,, Y 1 emitir la producción X Y 1 Y 2 Y k end else error() until X= /* la pila está vacía */ en la pila, con Y 1 en la cima; Puntero a la entrada e puede también ejecutar código que dependa de la producción utilizada PL. nálisis sintáctico 30 ea la gramática: E E E + E E ε F * F ε F (E) F id Ejemplo 1 FIR E E F id + id * id ( ε ( ε ( -{ε} -{ε} FOLLOW E E F + + * ) ) + ) ) ) NO ERMINL E E' ' F Ejemplo 2 P ÍMBOLO DE ENRD id + * ( ) E E' E E' E' +E' E' ε E' ε F' F' ' ε ' *F' ' ε ' ε F id F (E) PL. nálisis sintáctico 31 PL. nálisis sintáctico 32

9 E E E F E id E E E + E E F E id E E F* E F E id E E Ejemplo 3 PIL ENRD LID id + id * id id + id * id id + id * id id + id * id + id * id + id * id + id * id id * id id * id id * id * id * id id id E E F F id ε E +E F F id *F F id ε E ε PL. nálisis sintáctico 33 Gramáticas LL(1) La construcción de la P se puede aplicar a cualquier gramática, pero para algunas puede tener entradas con definiciones múltiples (ej. recursivas a izda, ambiguas). Una gramática cuya P no tiene entradas es LL(1). Propiedades de las gramáticas LL(1) 1.i G es LL(1), G no es ambigua. 2.i G es LL(1), G no tiene recursividad a izquierda. 3.i G es LL(1), para cada par de producciones α y β de un no terminal a.para ningún a, α y β derivan cadenas que empiecen por a. b. lo sumo una de α y β derivan la cadena vacía. c.i β *ε, α no deriva ninguna cadena que comience por FOLLOW(). PL. nálisis sintáctico 34 Recuperación de errores en el análisis sintáctico predictivo Durante este tipo de análisis se detecta un error: cuando el terminal de la cima de pila no concuerda con el siguiente símbolo de la entrada, cuando el no terminal esta en la cima de pila, a es el siguiente símbolo de entrada y M[a, ] es vacía. En cuanto a la recuperación de errores se integran muy bien con este tipo de análisis La recuperación en modo pánico La recuperación a nivel de frase PL. nálisis sintáctico 35 Recuperación en modo pánico e aumenta la P con acciones que pretenden realinear o sincronizar la secuencia de componentes léxicos con la entrada esperada. lgunas técnicas heurísticas de sincronización: 1. ímbolos en el FOLLOW(), para descartar el no terminal y continuar el análisis. 2. Para los no terminales de las construcciones de menor jerarquía los símbolos que inician las construcciones de mayor jerarquía (begin/end, while/do, repeat/until, function). 3. ímbolos del FIR() para continuar el análisis según. 4. i el no terminal es anulable usar ε como alternativa por omisión. e pospone la detección del error. 5. i el terminal de la cima de pila no concuerda con la entrada se descarta (conjunto de sincronización formado por todos los otros terminales de la gramática). PL. nálisis sintáctico 36

10 Recuperación a nivel de frase e llenan las entradas vacías de la P con apuntadores a rutinas de error, que pueden: cambiar, insertar o eliminar símbolos en la entrada. emitir mensajes de error modificar, insertar o eliminar no terminales del tope de pila En cualquier caso, se debe estar seguro de que no puede haber un lazo infinito y que las derivaciones obtenidas se correspondan con palabras del lenguaje. Puede usarse en conjunto con la recuperación en modo de pánica para hacer un tratamiento más exhaustivo de la detección de errores. NO ERMINL E E' ' F Ejemplo 4 P ÍMBOLO DE ENRD id + * ( ) E E' E E' sinc sinc E' +E' E' ε E' ε F' sinc F' sinc sinc ' ε ' *F' ' ε ' ε F id sinc F (E) sinc sinc descartar el no terminal del tope de pila saltar el símbolo de entrada PL. nálisis sintáctico 37 PL. nálisis sintáctico 38 Ejemplo 5 PIL ENRD LID E E E E F E id E E F* E F E E E + E E F E id E E + id * + id id * + id id * + id id * + id id * + id * + id * + id + id + id + id + id id id id error, saltar + id está en FIR(E) error, M[F,+]=sinc F ha sido extraido de la pila PL. nálisis sintáctico 39 PL. nálisis sintáctico 40