ANÁLISIS LÉXICO Ing. Ronald Rentería Ayquipa

Transcripción

1 ANÁLISIS LÉXICO Ing. Ronald Rentería Ayquipa

2 ANALIZADOR LÉXICO (AL) El Analizador léxico (scanner), lee la secuencia de caracteres del programa fuente, caracter a caracter, y los agrupa para formar unidades con significado propio, los componentes léxicos (tokens en inglés). El analizador léxico representa una interfaz entre el programa fuente y el analizador sintáctico o parser. Secuencia de caracteres Programa fuente ANALIZADOR LÉXICO Componentes léxicos Tokens

3 Programa fuente Funciones del Analizador Léxico Función principal: El analizador léxico opera bajo petición del analizador sintáctico devolviendo un componente léxico conforme el analizador sintáctico lo va necesitando para avanzar en la gramática. Los componentes léxicos son los símbolos terminales de la gramática. El AL Suele implementarse como una subrutina del analizador sintáctico. Cuando recibe la orden obtén el siguiente componente léxico, el analizador léxico lee los caracteres de entrada hasta identificar el siguiente componente léxico, el cual devuelve al sintáctico según el formato convenido. ANALIZADOR LÉXICO Componente léxico Obtén el siguiente componente léxico ANALIZADOR SINTÁCTICO Árbol de análisis sintáctico

4 Funciones del Analizador Léxico Otras funciones secundarias: Eliminar: comentarios, espacios en blanco, tabuladores, retorno de carro, etc, y en general, todo aquello que carezca de significado según la sintaxis del lenguaje. Reconocer los identificadores de usuario, números, palabras reservadas del lenguaje, etc., y tratarlos correctamente con respecto a la tabla de símbolos (solo en los casos en que este analizador deba tratar con dicha estructura). Llevar la cuenta del número de línea por la que va leyendo, por si se produce algún error, dar información acerca de dónde se ha producido. Avisar de errores léxicos. Por ejemplo, si el no pertenece al lenguaje, se debe emitir un error. También puede hacer funciones de preprocesador.

5 Patrón Representa la regla para que una secuencia de caracteres sea considerada dentro de cierto componente léxico. Regla que describe cómo se forma un token. Cómo se especifican los tokens (patrones)? Mediante expresiones regulares Ejemplo: El patrón para un identificador de Pascal es: Una letra seguida por letras, dígitos o subguiones (_)

6 Token Es la categoría léxica asociada a un patrón. Cada token se convierte en un número o código identificador único. En algunos casos, cada número tiene asociada información adicional necesaria para las fases posteriores de la etapa de análisis.

7 Token Los componentes léxicos o tokens más importantes son: Palabras reservadas: if, while, do,... Identificadores: asociados a variables, nombres de funciones, tipos definidos por el usuario, etiquetas,... Por ejemplo: posicion, velocidad, tiempo,... Operadores: = * + - / == > < &! =... Símbolos especiales: ; ( ) [ ] { }... Constantes numéricas: literales que representan valores enteros, en coma flotante, etc, 982, 0xF678, -83.2E+2,... Constantes de caracteres: literales que representan cadenas concretas de caracteres, \hola mundo",...

8 Lexema Instancia particular de un token: Secuencia de caracteres en el programa fuente que se corresponden con un patrón. Ejemplos: Este_es_1_ejemplo es el lexema que satisface el patrón de un identificador 8", 23" y 50" son algunos lexemas que encajan con el patrón ( 0' 1' 2'... 9') +, de números enteros. Un componente léxico puede tener uno o infinitos lexemas. Por ejemplo: palabras reservadas tienen un único lexema. Los números y los identificadores tienen infinitos lexemas. En el patrón W H I L E sólo encaja el lexema WHILE.

9 Ejemplos token, lexema y patrón Componente léxico (Token) Lexema Patrón identificador indice, a, temp, pi, cuenta, d2 Letra seguida de letras o dígitos num_entero 1456, 4, 1, 2 Dígito seguido de más dígitos If if Letra i seguida de letra f do do Letra d seguida de letra o op_div / Caracter / op_asig = Caracter = num_real 4.78, , 0.65 Uno o más dígitos seguido de un punto seguido de uno o más dígitos (0... 9) +. (0... 9) +

10 Ejemplos de Análisis Léxico posicion := inicial + velocidad * 60 Componentes léxicos: 1. El identificador posicion 2. El símbolo de asignación := 3. El identificador inicial 4. El signo de suma: + 5. El identificador velocidad 6. El signo de multiplicación:* 7. El número 60

11 while (y < z) { int x = a + b; y += x; } Componentes léxicos o tokens T_While T_ParentesisIzquierdo T_Identificador y T_Menos T_Identificador z T_ParentesisDerecho T_LlaveApertura T_Int T_Identificador x T_Asignacion T_Identificador a T_Mas T_Identificador b T_PuntoyComa T_Identificador y T_MasAsignacion T_Identificador x T_PuntoyComa T_LlaveCierre

12 Implementación de un AL Para crear un AL hay que: Especificar todos los tokens del lenguaje Puede haber varios tokens que correspondan a una misma expresión regular En este caso el algoritmo asociado a la expresión regular deberá diferenciar a partir del lexema el token.

13 Implementación de un AL Métodos para la construcción de un Analizador Léxico: Implementación manual del AL Generador automático de AL

14 Implementación manual de AL Este mecanismo consiste en construir los patrones necesarios para cada categoría léxica (tokens), construir sus autómatas finitos individuales, fusionarlos por opcionalidad y, finalmente, implementar los autómatas resultantes. Aunque la construcción de analizadores mediante este método es sistemática y no propensa a errores, cualquier actualización de los patrones reconocedores implica la modificación del código que los implementa, por lo que el mantenimiento se hace muy costoso.

15 Implementación manual de AL Las ER se convierten a AFD Un AL se implementa con un AFD + acciones semánticas. Un AFD se representa: Diagrama transiciones Matriz de estados Las acciones semánticas ejecutan una serie de acciones.

16 Generador automático de AL En este caso, se utiliza un programa especial que tiene como entrada pares de la forma (expresión regular, acción). El metacompilador genera todos los autómatas finitos, los convierte a autómata finito determinista, y lo implementa en C. El programa C así generado se compila y se genera un ejecutable que es el análizador léxico de nuestro lenguaje. Por supuesto, existen metacompiladores que generan código Java, Pascal, etc. en lugar de C.

17 Generador automático de AL Flex (Fast Lexical Analyzer Generator) es un generador automático de analizadores léxicos en lenguaje C. Es software de GNU. Entrada: un fichero texto con la especificación de los componentes léxicos, las expresiones regulares que los definen. Salida: un programa en C que implementa dicho analizador, preparado para ser compilado y utilizado. Existen muchas herramientas para la generación automática de AL. Las más conocidas: Lex Flex Jflex PClex Coco