Compiladores: Análisis Léxico. Pontificia Universidad Javeriana Cali Ingeniería de Sistemas y Computación Prof. Gloria Inés Alvarez V.

Transcripción

1 Compiladores: Análisis Léxico Pontificia Universidad Javeriana Cali Ingeniería de Sistemas y Computación Prof. Gloria Inés Alvarez V.

2 Análisis Léxico Programa Lenguaje Fuente Análisis Léxico (Token, Lexema) Mensajes de Error Lee los caracteres del programa fuente de izquierda a derecha, y los agrupa en tokens

3 Funciones del Analizador Léxico Convierte el programa fuente en una cadena de tokens Para reconocer el token usa un patrón, una regla que describe como se forman las cadenas que corresponden a un token. Salta comentarios y espacios en blanco (tabuladores, saltos de línea...) Tener el registro de la línea del archivo fuente que está siendo analizada Genera mensajes de error léxico, y se recupera del error Convierte los valores literales al tipo que corresponda Si la entrada debe obedecer a un formato, verifica el formato Ej. Fortran, Cobol

4 Tokens y Lexemas Token: Elemento básico del lenguaje Unidad léxica indivisible Identifica una entidad lógica dentro del lenguaje Incluyen: Palabras Reservadas, Constantes, Operadores, Signos de Puntuación e Identificadores Lexema: La cadena original que se identifica como token No hay correspondencia 1-1 entre token-lexema

5 Tokens y Lexemas: Ejemplos Token If parentesisizq Identificador opsuma puntocoma Menor menorigual Token # Lexema if ( valor + ; < <=

6 Construcción de Generadores Automáticos de Scanners Construir un NFA para cada una de las expresiones regulares a reconocer Aplicar una unión a todas las expresiones (unirlas con un mismo estado de inicio -usando transiciones Є-), pero sin unirlas en un solo estado final (se requiere un estado de aceptación para cada token de tal forma que se pueda identificar el token reconocido) Generar el DFA Hacer el programa de recorrido de DFA teniendo en cuenta que un lexema puede pasar por varios estados de aceptación (crear una lista de los estados de aceptación por los que pasó) Pontificia U. Javeriana Cali - Ingenieria de Sistemas y Computación Compiladores Prof. Ma. Constanza Pabón

7 Atributos para tokens El analizador recopila información sobre los tokens a medida que los reconoce. Por ejemplo: token num, pero... qué lexema? Cuando la cadena de entrada permite reconocer más de un token, esta información puede ayudar a desambiguar.

8 Estrategias de Recuperación de Errores Léxicos Modo Pánico: obvia los siguientes caracteres de la entrada hasta encontrar un token bien formado Tratar de Arreglar la entrada: Borrar el carácter extraño Insertar el carácter perdido Reemplazar un carácter incorrecto por uno correcto Encontrar que cambio genera el menor numero de errores sintácticos, y aplicarlo

9 Palabras Reservadas Identificador es una palabra que inicia con una letra, y es seguida por letras o dígitos Las palabras clave cumplen con este mismo patron de construcción Se hace necesario un mecanismo que permita decidir cuando una cadena es una palabra clave o un identificador Solución sencilla: Palabras Reservadas (que no pueden ser usadas como identificadores)

10 Manejo de Buffers Cuando se implementa el scanner es necesario manejar un buffer de entrada para hacer mas eficiente la lectura de la cadena de entrada Generalmente se define un buffer del tamaño de un bloque de disco Se maneja un apuntador que marca el inicio del lexema que se está analizando, y un apuntador que marca el carácter que está siendo analizado... w h i l e a > b \n... Begin Forward Pontificia U. Javeriana Cali - Ingenieria de Sistemas y Computación Compiladores Prof. Ma. Constanza Pabón

11 Manejo de Buffers Posibilidades: Un buffer... w h i l e a > Final de Buffer Par de Buffers Begin Forward i... w h i l e a > = Begin Forward Sentinelas: marcar el final del buffer con EOF. Entonces EOF significa: Llegó al final del 1er. buffer : debe cargar el segundo Llegó al final del 2o. Buffer: debe cargar el primero Llegó al final del archivo Pontificia U. Javeriana Cali - Ingenieria de Sistemas y Computación Compiladores Prof. Ma. Constanza Pabón

12 Porque se divide el Análisis Léxico del Sintáctico? Simplifica y modulariza el diseño del compilador, se hace mas claro, facilita la implementación Mejora la eficiencia del compilador: El parser trabaja con Tokens, no con caracteres Uso de técnicas de buffers La mayor parte del tiempo de compilación se usa en el análisis léxico (excluyendo la optimización) Mayor portabilidad: Aísla las peculiaridades en el alfabeto de entrada Ej. El conjunto de caracteres, representación de símbolos