Compiladores e intérpretes Análisis Léxico I. Análisis Léxico I

Transcripción

1 Análisis Léxico I Profesor: Eridan Otto Análisis Léxico I Introducción Funciones Tokens,Patrones y Lexemas Reconocimiento de tokens Implementación de un AL 1

2 Análisis léxico: Introducción En esta unidad se estudiará la primera fase de un compilador, es decir su análisis lexicográfico. Las técnicas utilizadas para construir analizadores léxicos, también se pueden aplicar a otras áreas: Lenguajes de consulta a bases de datos Sistemas de recuperación de la información Editores El problema de fondo es especificar y diseñar un programa que ejecute ciertas acciones dado que ha identificado una cadena como parte de una expresón regular o patron. Diagrama: Componente léxico Programa Fuente Analizador léxico Obtener otro Componente léxico Analizador sintáctico Interacción entre los analizadores léxico y sintáctico Tabla de Símbolos Análisis léxico: Funciones Leer los caracteres de entrada Generar una secuencia de componentes léxicos o TOKENS, entregando éstos al analizador sintáctico o PARSER Eliminar comentarios, delimitadores :si el leguaje es de formato libre (espacios, símbolos de puntuación, fin de línea), en general, todo aquello que carezca de significado para la sintaxis del lenguaje. Lenguajes de formato libre:pascal,c No libre:fotran,cobol Relacionar los mensajes de error con las líneas del programa fuente. (Llevar la cuenta de la línea en la que se está haciendo el análisis). En general manejar el archivo fuente. Introducir identificadores en la tabla de símbolos 2

3 Análisis léxico: Funciones Manejar errores léxicos. Por ejemplo identificador que comience con dígito en PASCAL Puede hacer funciones de preprocesador Puede manejar un buffer en memoria para mejorar la eficiencia. Análisis léxico: necesidad del módulo de AL Por qué se separa el análisis léxico del sintáctico?. Si la gramática es una por que no existe sólo un parser? Diseño más sencillo: Los símbolos que trata el scanner se describen con una gramática (regular) más simple que la del parser. Esta división permite el diseño de un lenguaje de manera más limpia. A la vez simplifica las funciones del parser. Ej: eliminar comentarios no es parte del proceso natural de análisis gramatical. Mejorar la eficiencia del compilador: Gran parte del tiempo de compilacón se consume en la lectura y exploración de caracteres. Módulo especializado. 3

4 Análisis léxico: necesidad del módulo de AL Mejora la portabilidad: Se pueden tener varias versiones del scanner para distintos códigos, dependiendo de la plataforma (ASCII,EBCDIC), con el mismo parser. Tambien permite aislar la representación de símbolos especiales o no estándares, ^ en PASCAL. Descarga el análisis sintáctico: Hay tareas de reconocimiento de componentes básicos complejos. Ej: FORTRAN DO 5 I = > corresponde a asignar DO5I=1.25 DO 5 I = 1, > corresponde ciclo No se sabe si el identificador es DO5I o 5Ihasta despúes del 1 Análisis léxico: tokens,patrones y lexemas Un token es un símbolo de la gramática del analizador sintáctico Varias cadenas distintas pueden ser representadas por el mismo token Un token se define mediente un petrón (regla de formación o gramátiga regular) Un lexema es un conjunto de caracteres que concuerda con el patrón de un token En la mayoría de los lenguajes son tokens: Palabras reservadas,identificadores,operadores, constantes,cadenas literales, signos especiales de puntuación del lenguaje. 4

5 Análisis léxico: tokens,patrones y lexemas Un token es un símbolo de la gramática del analizador sintáctico Varias cadenas distintas pueden ser representadas por el mismo token Un token se define mediente un patrón (regla de formación o gramátiga regular) Un lexema es un conjunto de caracteres que concuerda con el patrón de un token En la mayoría de los lenguajes son tokens: Palabras reservadas,identificadores,operadores, constantes,cadenas literales, signos especiales de puntuación del lenguaje. Análisis léxico: tokens,patrones y lexemas Ejemplo TOKEN Lexemas Ejemplo Descripción del patrón Const const const If if if Relacion <,>,=,<=,>=,<> < > = <= >= <> Identificador Pi, contador,d2 [a-za-z]([a-za-z] [0-9])* Numero , 0 [0-9]+.[0-9]+ Literal valor: cualquier carácter entre exepto 5

6 Análisis léxico: tokens,patrones y lexemas Atributos Un token puede o no tener atributos, que es información adicional a la categoría sintáctica detectada. Por ejemplo para la sentencia if var1>5 then a:= b + var1; El analizador léxico genera pares <token,atributo>: Las palabras reservadas generalmente no tienen atributos Los identificadores apuntan a la tabla de símbolos donde se almacenan los atributos Otros casos, por ejemplo número entero puede ir directamente en el campo atributo o en otra tabla Análisis léxico: tokens,patrones y lexemas Por ejemplo para la sentencia if var1>5 then a:= b + var1; Lexema <token,atributo> If Var1 > <relacion,>> 5 <numero, entero 5> Then <then,> <if,> <identificador,puntero a tabla de símbolos para Var1> a <identificador,puntero a tabla de símbolos para a> := <asign,> b <identificador,puntero a tabla de símbolos para b> + <op,+> 6

7 Análisis léxico: reconocimiento de tokens Por ejemplo la expresión regular [a-za-z]([a -za -Z] [0-9])* Se puede reconocer por medio de un autómata finito con la siguiente función de transición: q0 * a z A... Z Gramática regular equivalente: S::= ar...zr AR... ZR R::= ar...zr AR... ZR 0R... 9R e Análisis léxico: reconocimiento de tokens Representación en forma de FDD, ejemplo, reconocimiento del token relacion, o rel 0 < 1 = 2 > = 3 otro Return(rel,<=) Return(rel,<>) > 5 Return(rel,=) 4 Return(rel,<) 6 = 7 Return(rel,>=) otro 8 Return(rel,>) 7

8 Utilizando un lenguaje de alto nivel Programación Tabla Compacta Hashing Autómata programado Utilizando ensamblador Más eficiente Más difícil Utilizando un generador de Analizadores Léxicos (LEX) Más simple, puede ser menos eficiente que los dos anteriores Consejo: ordenar las reglas/transiciones de acuerdo a la frecuencia de utilización. Utilizando un lenguaje de alto nivel Programación Tabla Compacta Hashing Autómata programado Utilizando ensamblador Más eficiente Más difícil Utilizando un generador de Analizadores Léxicos (LEX) Más simple, puede ser menos eficiente que los dos anteriores Consejo: ordenar las reglas/transiciones de acuerdo a la frecuencia de utilización. 8

9 Se deben llevar dos punteros de lectura Puntero actual (PA, current pointer ): el último carácter aceptado Puntero de búsqueda (PB, lookahead pointer ): el último carácter leído Funciones de lectura: Getchar(); mueve PB adelante y devuelve siguiente caracter Fail(): mueve PB a la posición donde está PA Retract(): mueve PB un carácter atrás Accept(): mueve PA donde está PB Funciones de chequeo: IsLetter(x): x pertenece a [a..za..z] IsDigit(x): x pertenece a [0..9] IsDelimiter(x): x pertenece a [, : ; <newline><eof>] Acciones: InstallName(id...):introduce un identificador en la tabla de símbolos Ejemplo: Identificador Id::=letra(letra digito)* Pseudocódigo: c :=GetChar(); if IsLetter(c) then identificador := repeat identificador := identificador + c c :=GetChar() until not(isletter(c) or IsDigit(c)) Retract() token:=(id,installname(identificador)) Accept() Return(token) else fail() Qué ocurre con x1,temp,102?? 9

10 Ejemplo: constante entera entero::=digito+ Pseudocódigo: c :=GetChar(); if IsDigit(c) then valor := convertir( c) c :=GetChar() while IsDigit(c ) do valor := valor*10+ convertir(c) c :=GetChar() endwile Retract() token:=(entero,valor) Accept() Return(token) else fail() Qué ocurre con x1,102,10.3?? Estructura de soporte: Buffer Programa Fuente buffer i f x 1 PA PB GetChar() Fail(),Retract(),Accept() Analizador léxico 10