Analizador De léxico. V A R i : I N T E G E R ; \n...

Transcripción

1 UNIDAD III Analisis de Lexico 3.1 Analizador de Lexico La tarea del análisis de léxico es reconocer símbolos en un flujo de caracteres y presentarlos en una representación mas util para el análisis sintáctico. Un analizador de lexico lee el programa fuente carácter por carácter y lo descompone en símbolos basicos llamados TOKENS. El analizador de lexico trata por ejemplo de detectar si los caracteres leidos corresponden a una palabra reservada o un identificador, o si es una constante numerica o literal, o si se trata de algun operador, etc. Programa fuente como un flujo de caracteres Analizador De léxico Flujo de símbolos (tokens) Analizador Sintáctico Por ejemplo, un programa fuente como el siguiente: VAR i:integer; BEGIN i :=0; END En realidad es leido como un flujo de caracteres V A R i : I N T E G E R ; \n... Al leer el programa fuente carácter por carácter Cómo reconocer cada componente del lenguaje?, Cómo saber cuándo es una palabra reservada o un identificador o una cantidad numerica?

2 Para diseñar un analizador de léxico se requiere de: 1) Un método para describir los tokens ( expresiones regulares ) 2) Un mecanismo para reconocer los tokens ( autómatas ) 3) Un mecanismo para realizar acciones sobre los tokens reconocidos, por ejemplo generar una salida, poner su valor en tablas, etc. Los analizadores léxicos deben reconocer componentes léxicos (tokens) y estos componentes forman parte de un lenguaje regular. Definiciones Token o componente léxico: Esos son símbolos que se tratan como símbolos terminales de la gramática del lenguaje fuente. Se consideran componentes léxicos: palabras reservadas, operadores, identificadores, constantes numericas, cadenas literales y signos de puntuación como paréntesis y punto y coma. Lexema: Es una secuencia de caracteres en el programa fuente con la que concuerda el patrón para un componente léxico. Patrón: Es una regla que describe el conjunto de lexemas que puede representar a un determinado componente léxico en los programas fuentes. Componente léxico Lexemas de ejemplo Descripción de los lexemas (Token) ( Patrón ) Const Const Const If If If Oprel <,<=,=,>,=> < ó <= ó = ó > ó => Id PI, cuenta, d2, num1 Letra seguida de letras y dígitos Num 0, 64, 1234 Cualquier constante numérica entera. num.num 0.234, , Cualquier constante numerica real. Literal hola muchachas Cualquier carácter entre comillas, excepto 3.2 Introduccion a los Autómatas Finitos y Expresiones Regulares Expresiones Regulares Para describir con precisión los patrones de componentes léxicos complejos tal como identificadores, palabras reservadas, constantes numericas o literales, etc. se usa la notación de expresiones regulares. Las expresiones regulares son una forma compacta de representar un lenguaje regular producido por una gramatica regular o gramatica tipo 3. Tip: Las gramaticas Tipo 2 ( o libres de contexto ) son adecuadas para denotar la secuencia correcta de tokens de una frase o sentencia. En cambio las gramáticas Tipo 3 ( o regulares ) son adecuadas para denotar la estructura de cada token. Una expresión regular se construye a partir de expresiones regulares más simples. Cada expresión regular r representa un token.

3 Una expresión regular hace uso generalmente de tres operadores: a) concatenación: representado por. o nada. b) disyunción: o + c) cerradura transitiva o simplemente cerradura: ( )* o { } Definición de cerradura: Sea A un alfabeto, si utilizamos AA=A 2 para designar todas las cadenas de longitud 2 sobre el alfabeto A. AAA = A 2 A =A 3 para designar las cadenas de longitud 3 en A y en general: A. A. A A = A n-1 A para designar todas las cadenas de longitud n sobre el alfabeto A, entonces la cerradura positiva de A denota A +, se define como: A + = AUA 2 UA 3 U UA n = UA i Para complementar, la cadena vacía se combina con A + para formar la cerradura transitiva de A, denotada por A* y definida como: i=1 A* = U A 1 UA 2 UA 3 UA n = e U A + Ejemplo de cerradura: Considere el conjunto de cadenas A* que puede ser generadas del alfabeto A={x,y}, algunos subconjuntos de A* serian: A 2 = { xx, xy, yx, yy } A 3 = { xxx, xyx, xxy, xyy, yxx, yxy, yyx, yyy } Reglas para expresiones regulares sobre un alfabeto Expresión Regular Lenguaje regular que denota { } Conjunto que contiene solo a la cadena vacía donde V T { α } Conjunto de un solo símbolo: (e 1 ) (e 2 ) siendo e 1 y e 2 son ER L 1 U L 2 (e 1 ) (e 2 ) siendo e 1 y e 2 son ER L 1 L 2 (e 1 )* o {e 1 } L 1 * Ejemplo: Considere el alfabeto = { 0, 1 } Expresión Regular Lenguaje que denota Ejemplos de símbolos 1) 110 L{110} 110 no más 2) 0 1 L{0,1} 0, 1 3) (1)* ó 1* L{1 i i=0,1,2,..}, 1,11,111, ) (0 1)(0 1) o bien L{00,01,10,11} 00,01,10,11 5) (0 1)* L{ x x {0,1}* }, 011, 00, 11, 000, 111, 01, 10, ) (0)* (1)* L{ 0 m 1 n m,n>=0}, 01, 0011, 000, 111.infinito

4 Definiciones regulares Si es un alfabeto de símbolos básicos, entonces una definición regular es una secuencia de definiciones de la forma: d 1 r 1 d 2 r 2 d n r n donde: d i es un nombre distintivo, r i es una expresión regular sobre símbolos de U { d i, d 2,,d n } Ejemplo: Definición regular para denotar a los identificadores Letra -> a b c d z A B Z Digito -> Id -> letra ( letra digito )* La definición regular anterior es mas compacta que utilizar la gramática regular equivalente siguiente: I -> L I -> LA A -> LA A -> DA A -> L A -> D L -> a b c A B C Z D -> Autómatas (Reconocedores) Autómata o reconocedor, también llamado frecuentemente maquina lógica: 1.- Es un modelo formal. 2.- Puede utilizar una notación grafica en forma de diagrama de estados. 3.- Se utilizan para reconocer cadenas o símbolos de un lenguaje. Cadena Reconocedor Si pertenece al lenguaje (Lenguaje Regular) No pertenece al lenguaje Tipos de autómatas: 1. Maquina de Turing: Es el reconocedor de lenguaje producido por una gramática tipo Autómata lineal restringido: Es el reconocedor del lenguaje producido por una gramática tipo Autómata de pila (Push Down Autómata): Es el reconocedor del lenguaje producido por una gramática tipo 2.

5 4. Autómata finito: Es el reconocedor del lenguaje producido por una gramática tipo 3. Automata finito Un autómata finito consiste de un conjunto finito de estados y un conjunto de transiciones de estado a estado, que ocurren bajo una entrada de símbolos seleccionados de un alfabeto, para cada símbolo de entrada hay una transición a otro estado o posiblemente al mismo. Definición formal: M = < Q,, γ, q 0, F > donde: Q = Conjunto finito no vació de estados = Conjunto de símbolos de entrada (alfabeto) γ = Función de transición q 0 Q = Estado inicial F incluido en Q = Conjunto de estados finales El autómata finito lee los símbolos secuencialmente de izquierda a derecha. Inicialmente se parte de q 0. Una cadena se dice que es aceptada por M si existe alguna (q 0,W) = P para P F. El conjunto de cadenas aceptadas por M denotada por L (M) es: L (M)= {W γ ( q, w) F y W * } Cualquier conjunto de cadenas aceptadas por un autómata finito se dice que es regular. Ejemplo de un Autómata Finito: Sea M = < Q,, γ, q o, F> donde: Q = { q 0, q 1, q 2, q 3 } = {0,1} Funciones: γ (q 0,0)=q 2 γ (q 1,0)=q 3 γ (q 2,0)=q 0 γ (q 3,0)=q 1 γ (q 0,1)=q 1 γ (q 1,1)=q 0 γ (q 2,1)=q 3 γ (q 3,1)=q 2 F = {q 0 } El lenguaje regular reconocido por el automata finito M denotador por L(M) es : L(M)={ ( 0 1 )* el numero de 0 s y 1 s es par }

6 Ejemplo: Verificar si la cadena pertenece al lenguaje regular reconocido por el automata M anterior. Entrada Estado actual del reconocedor q 0 γ (q 0,1)=q 1 q 1 γ (q 1,1)=q 0 q 0 γ (q 0,0)=q 2 q 2 γ (q 2,1)=q 3 q 3 γ (q 3,0)=q 1 q 1 γ (q 1,1)=q 0 q 0 Estado final por lo tanto la cadena es valida Autómata finito grafico (Diagramas de transición) Para representar el comportamiento de un analizador lexicografico podemos hacerlo mediante un diagrama que se construye bajo las siguientes reglas: 1.- Cada miembro de Q se representa por un círculo etiquetado con el estado en cuestión, por ejemplo: q Cada uno de las funciones de movimiento se representa con una flecha que va del estado izquierdo al estado derecho de la función y la flecha es etiquetada con el símbolo de entrada por ejemplo: (q 3, a ) = q 1 a q 3 q Los estados finales se marcan generalmente con doble círculo. 4.-Al estado inicial se le distingue con una flecha que no sale de ningún otro círculo. q 0 Ejemplo: Trazar el diagrama de transiciones para las siguientes funciones de transición: γ (q 0,a)=q 3 γ (q 3,b)=q 4 γ (q 4,a)=q 0

7 a q 0 q 3 a b q 4 Diagramas de transición de expresiones regulares primitivas Expresión Regular Diagrama a b a 0 0 a 1 a 0 1 b a b a b a* 0 a Ejemplo: Sea la expresión regular ( a b )* abb que representa a las cadenas formadas por a i y b j donde i, j => 0 y estan terminadas en abb si la descomponemos en las sub-expresiones regulares R 1 y R 2 tal que R 1 = ( a b )* R 2 = abb

8 Para R 1 para R 2 Concatenandolos 0 a a a b a a b b b b Cadenas generadas: 1) abb 2) aaabb 3) bbbabb 4) ababababb etc Tipos de autómatas finitos = Autómata Finito No-Deterministico (AFN) = Autómata Finito Deterministico ( AFD ) Autómata Finito No Deterministico: 1. Un AFN tiene transiciones etiquetadas con cadena vacía ( ) o con un simbolo de entrada. 2. Un mismo carácter puede etiquetar dos o mas transiciones. 3. Tiene un estado inicial y puede tener uno o mas estados finales. 4. No es facil de simular con software debido a la ambigüedad presentada por la situación de que de un estado pueden salir dos o mas transiciones originadas por el mismo símbolo de entrada. Autómata Finito Deterministico: 1. Un AFD no tiene transiciones vacías. 2. Para cada estado S y un símbolo de entrada α existe a lo mas una flecha etiquetada con α de la siguiente manera: S α NOTA: Se puede convertir un AFN a un AFD mediante un algoritmo de transformación.

9 Ejemplo de implementación de un analizador de lexico para identificadores El automata finito grafico que define a los identificadores es: Letra o digito 0 Letra 1 Delimitador 2 Se pueden construir rutinas que ejecuten funciones utiles: Getchar ( ) Letra ( C ) Digito ( C ) Delimitador ( C ) Retroceder ( C ) Fallo ( ) Insertar ( ) Return ( ) Lee un carácter y avanza un carácter en el buffer. True si C una letra. Trae si C es digito. True si es delimitador. Regresa el apuntador a un carácter (el correspondiente al delimitador ya que este no forma parte del identificador ). Regresa el apuntador e inicia el siguiente autómata. Mete el identificador a la tabla de símbolos y regresa la posición dentro de la tabla. Regresa id que es el token para un identificador y el apuntador a la tabla de símbolos. El pseudocodigo para cada estado del automata finito grafico anterior seria: Estado 0: c := Getchar ( ); IF Letra ( c ) THEN GOTO ESTADO 1 ELSE FALLO ( ); Estado 1: c := Getchar (); If Letra ( c ) OR Digito ( c ) THEN GOTO ESTADO 1 ELSE IF Delimitador ( c) THEN GOTO ESTADO 2 ELSE FALLO (); Estado 2: RETROCEDER (); RETURN ( id, insertar ( ) )

10 Otro ejemplo: Considerar la sentencia IF-THEN-ELSE soportada en muchos lenguajes de programacion IF <expr> oprel <expr> THEN BEGIN <acción> END ELSE BEGIN <acción> END Las expresiones regulares para los tokens de esta sentencia son: PalabraReservada = BEGIN END IF THEN ELSE Identificador = Letra ( Letra Digito )* NumEntero = Digito + Oprel = > < = >= <= <> Letra = a b c A B C.. Z Digito = Los autómatas graficos individuales serian: B E G I N RETURN ( BEGIN ) E N D RETURN ( END ) I F RETURN ( IF ) 14 T 15 H E N RETURN ( THEN ) 19 E 20 L Letra S E Letra o Digito RETURN ( ELSE ) RETURN ( id, insertar ( ) ) Digit Digito RETURN ( num, insertar () ) < = 30 < RETURN ( oprel ) RETURN ( oprel ) = < 38 > 36 > = 40 > RETURN ( oprel ) RETURN ( oprel ) RETURN ( oprel ) RETURN ( oprel ) Este analizador de lexico estaria formado por el codigo que implementa cada uno de los autómatas anteriores. Cuando un flujo de caracteres de entrada empata con uno de los autómatas entonces se devuelve su Token correspondiente.

11 Si ocurre que los caracteres de entrada no empatan con ningun automata significa un error de lexico, es decir, el carácter de entrada es desconocido para el lenguaje. 3.3 Manejo de localidades temporales de memoria ( buffers ) Buffers de Entrada Buffer del programa fuente Analizador De léxico Buffer de tokens Buffer de lexemas Analizador Sintáctico 1. El buffer del programa fuente se implementa como una simple cadena o String. 2. El procesamiento de buffer del programa es carácter por carácter. 3. Los buffers de tokens y lexemas sirven como buffers de entrada al análisis sintáctico, en la practica se implementan como un solo buffer. NOTA: Generalmente el termino Buffer de Entrada se refiere al buffer que entra al analizador sintactico. 4. Tres datos que puede mantener cada localidad del Buffer de Entrada serian: 1. Token 2. Lexema 3. Entrada o apuntador a la tabla de símbolos Esquematicamente: Complex Lexema Entrada Begin Begin 0 id Num1 1 num S 2 Oparit + 0 literal hola 3 End End 0 If If 0 Else Else 0 5. El Buffer de Entrada se implementa mediante una estructura de datos u objetos, con las siguientes operaciones básicas: 1. Inicializar ( ) elimina toda la información del buffer y pone el puntero del buffer en la localidad inicial. 2. Insertar ( t, l, e ) inserta una nueva línea en el buffer con token t, lexema l y un apuntador a la tabla de símbolos e. 3. Siguiente ( ) avanza el puntero del buffer una localidad. 4. Obt_elemento ( x ) devuelve el elemento ubicado en la localidad x. 5. reestablecer ( ) mueve el puntero del buffer a la primera localidad.

12 Modelo de clases para una implementacion de Buffer de Entrada TBufferEnt - arrbuffer [ MAXBE ] :TLinea_BE + preanalisis :TLinea_BE - intptr : entero 1 * TLinea_BE + complex : cadena + lexema : cadena + entrada : entero + inicializar () + insertar ( TLinea_BE L) : entero + siguiente () + obt_elemento (entero e) : TLinea_BE + reestablecer () Como funciona un objeto de la clase TBufferEnt? Ptr Complex Lexema Entrada Begin Begin 0 id Num1 1 num S 2 Oparit + 0 literal hola 3 End End 0 If If 0 Else Else 0 $ $ 0 preanalisis Begin Begin 0 El símbolo $ es una marca de terminacion del buffer. Inicialmente el buffer esta vacio y solo tiene el símbolo $ en la primer localidad, el indice Ptr se coloca en la posición inicial. Los símbolos se van insertando al buffer consecutivamente, desplazando siempre a $ al final del buffer. El preanalisis mantiene una copia de la localidad apuntada por Ptr. Conforme Ptr se mueva de localidad preanalisis toma los valores de esa localidad.

13 Código ejemplo de implementación del Buffer de Entrada class TLinea_BE { public: AnsiString complex; AnsiString lexema; int entrada; TLinea_BE { lexema = ; complex = ; entrada = 0 ; } }; class TBufferEnt { TLinea_BE arrbuffer [MAXBE]; int intptr; public: }; TLinea_BE preanalisis; void reestablecer (); void inicializar (); void siguiente (); int inserter ( TLinea_BE &L); TLinea_BE obt_elemento (int e); 3.4 Creacion de tablas de simbolos Una función esencial de un compilador es registrar los identificadores de usuario (nombres de variables, de funciones, de tipos, etc.) utilizados en el programa fuente y reunir información sobre los distintos atributos de cada identificador. Estos atributos pueden proporcionar información sobre la memoria asignada a un identificador, la dirección de memoria en que se almacenará en tiempo de ejecución, su tipo, su ámbito (la parte del programa donde es visible), etc. La tabla de símbolos es un componente importante del compilador. Mediante el eso de esta tabla el compilador registra y lleva un control de la información acerca de todos los símbolos reconocidos y objetos que este manejando, tales como: tipo de dato nombre dimension linea de declaracion lineas en que se hace referencia numero de parámetros etc. En general la tabla de símbolos se forma por el símbolo o nombre en cuestion y una serie de atributos. Símbolo Atributo 1... Atributo n Tipos de Tablas de Símbolos: de palabras reservadas de Constantes

14 de Procedimientos El uso de diferentes tablas depende de que tan sofisticado sea el compilador. Modelo de clases para una implementacion de Tabla de Simbolos El siguiente modelo representa las clases para una tabla de símbolos para identificadores y constantes. La tabla mantiene solo un atributo llamado tipo, usado para registrar el tipo de dato de cada identificador y constante. TTablaSimb - arrtabla [ MAXTS ] :TLinea_TS - intind : entero + inicializar () + insertar ( TLinea_TS L ) : entero + obt_elemento (entero e) : TLinea_TS + anadetipo ( entero p, cadena t ) + buscatipo ( entero p ) : cadena + buscar ( cadena lex ) : entero 1 * TLinea_TS + complex : cadena + lexema : cadena + tipo : cadena Como funciona un objeto de la clase TTablaSimb? Ind Complex Lexema Tipo 0 1 id Num1 int 2 id promedio float 3 num 45 int 4 num.num float 5 literal hola char La entrada 0 de la tabla de símbolos se reserva, no se usa. Ind es un indice al ultimo elemento insertado. La operación anadetipo ( p, t ) va a la localidad p y llena la columna TIPO con el valor t. La operación buscatipo ( p ) va a la localidad p y devuelve el valor de la columna TIPO. La operación buscar ( lex ) hace una busqueda sobre la columna LEXEMA buscando el valor lex, si lex no se encuentra devuelve 0. Pag. 39