2. El análisis léxico.

Transcripción

1 Compiladores. Análisis léxico El análisis léxico. Esta fase del compilador es la única que esta en contacto con el programa fuente. Su función es leer las instrucciones del programa y generar una serie de elementos básicos ( componentes léxicos ) utilizados para su construcción. Para el analizador léxico, la instrucción leída es una simple cadena de caracteres sin una estructura en particular. Mediante el uso de técnicas adecuadas descompondrá esta cadena en una serie de elementos fundamentales del lenguaje utilizado para su escritura. Estos elementos básicos, en el contexto de los lenguajes de programación, serán nombres de variables, palabras reservadas del lenguaje ( while, for, switch, etc. ), constantes literales, diversos operadores aritméticos, relacionales y lógicos, etc. Por ejemplo, la construcción siguiente puede descomponerse en los elementos indicados: TotalImpuesto = SubTotal * Taza / 100 Variable Número entero Operador aritmético Variable Operador aritmético Variable Operador de asignación El analizador léxico trabaja en cooperación con el analizador sintáctico, según se muestra en la Fig Fig.2.1. Interacción de un analizador léxico con el analizador sintáctico.

2 Compiladores. Análisis léxico 2-2 Como puede verse, al analizador léxico trabaja a solicitud del analizador sintáctico. Este último se encarga de verificar que las diferentes instrucciones estén bien escritas verificando un conjunto de reglas de escrituras dictadas por una gramática. Estas diferentes reglas se enuncian de manera general haciendo uso de diferentes componentes elementales conocidos como componentes léxicos. Por ejemplo, una regla de escritura sería algo similar a: exp-aritm := variable const-numérica exp-aritm op-aritm exp-aritm que se lee una expresión aritmética es una variable o una constante numérica o una expresión aritmética seguida por un operador aritmético y otra expresión aritmética. Independientemente de la complejidad de la regla anterior, nótese como se hace alusión a elementos como variable, const-numérica, etc. y no a cosas como x, suma, 34, etc. Cuando el analizador sintáctico encuentra el elemento denominado variable, llamará al analizador léxico para comprobar que efectivamente el programador escribió una cadena que se identifique como ejemplo de variable. El analizador léxico realiza su trabajo procesando la cadena leída ( cadena de entrada ) de izquierda a derecha y carácter por carácter. Cuando anuncie un reconocimiento dejará un indicador en la cadena de entrada para reiniciar el proceso cuando sea solicitado de nuevo por el analizador sintáctico. El analizador léxico, al estar en contacto con la cadena de entrada puede realizar algunas tareas adicionales como: Compactar la cadena eliminando espacios, tabuladores, etc. Ignorar los comentarios. Expandir macros. Estas funciones pudieran requerir que el analizador léxico procese dos veces la cadena de entrada. En una primera pasada se pueden ignorar espacios y expandir macros, y en la segunda realizar el trabajo de reconocimiento de los componentes léxicos. Otra función importante del analizador léxico esta relacionada con los mensajes de error que generan tanto el analizador sintáctico como el semántico. El analizador léxico conoce cuantas líneas y cuantos caracteres se han procesado. Por lo tanto, un mensaje de error sintáctico puede señalar la línea y la posición dentro de la línea donde se detectó el error. Hay varias razones para separar el analizador léxico del sintáctico:

3 Compiladores. Análisis léxico Un diseño sencillo es quizá la consideración más importante. La separación de las fases puede simplificar la labor de análisis sintáctico al no incluirse la comprobación de comentarios o de separadores durante esta fase, por ejemplo. 2. Se mejora la eficiencia del compilador. Gran parte de la labor del compilador consiste en el reconocimiento de los componentes léxicos. Esta labor se puede optimizar con técnicas especializadas para el manejo de los buffers de entrada así como de las formulas para el reconocimiento de los componentes léxicos. 3. Se mejora la transportabilidad del compilador. Las peculiaridades de los caracteres de entrada y otras anomalías de los dispositivos de entrada pueden limitarse al análisis léxico. Por ejemplo, el uso de o de ** para representar la exponenciación. 2.1 Componentes léxicos, tokens, patrones y lexemas. En el contexto del análisis léxico, los términos componente léxico, patrón y lexema se utilizan con significados específicos. En general, hay un conjunto de cadenas en la cadena de entrada para las cuales se produce como salida el mismo componente léxico ( por ejemplo, en la cadena x = y + 3, las cadenas x, y genera como salida el componente léxico variable ). Este conjunto de cadenas se describe mediante una regla llamada patrón asociado al componente léxico. Se dice que el patrón concuerda con cada cadena del conjunto. Un lexema es una secuencia de caracteres en el cadena de entrada con la que concuerda el patrón para un componente léxico. Los lexemas para el componente léxico que concuerdan con el patrón representan cadenas de caracteres en el programa fuente que se pueden tratar juntos como una unidad léxica. En la mayoría de los lenguajes de programación, se consideran componentes léxicos los siguientes: palabras reservadas, operadores, identificadores, constantes, cadenas literales y signos de puntuación como paréntesis, coma y punto. Un patrón es una regla que describe el conjunto de lexemas que pueden representar a un determinado componente léxico en los programas fuente. Por ejemplo, el patrón para operador relacional es el conjunto de las cadenas <, >, <=, >=,== <>. En algunos casos, el patrón es más complejo como es el caso para el componente léxico identificador ( describa el procedimiento para nombres de variables en C ). Un token es la representación interna de una instancia del componente léxico. Consta de dos partes, un identificador de componente léxico, que distingue un componente de otro y es un número entero asignado a cada componente, por ejemplo:

4 Compiladores. Análisis léxico 2-4 Componente léxico Identificador Identificador 1 Palabra reservada 2 Número entero 3 Operador aritmético 4 Y el segundo elemento es un apuntador a la tabla de símbolos asociada al componente léxico donde se ha almacenado o se encuentra la cadena que permitió el reconocimiento del componente. En Fig se analiza la cadena de entrada total = subtotal + impuesto y se generan los tokens correspondientes al componente léxico identificador ( 1,1 ), ( 1,2 ), y ( 1,3 ). Cadena de entrada total = subtotal + impuesto ( 1, 1 ) ( 1, 2 ) ( 1, 3 ) Tabla de sìmbolos del componente léxico identificador total subtotal impuesto Fig Tokens correspondientes a los componentes léxicos. Hay que recordar que el compilador mantiene un conjunto de tabla de símbolos ( elementos básicos ) donde almacena las instancias diferentes de cada componente que encuentra en su análisis de las instrucciones, junto con algunos atributos adicionales que apoyan a las fases del compilador. El analizador léxico es el encargado de crear las tablas y definir algunos valores de los atributos de los elementos; por ejemplo, los lexemas encontrados, tipos de identificadores, ubicación dentro del archivo de salida, etc. 2.2 Errores léxicos. Son pocos los errores que se pueden detectar durante el análisis léxico dado que tiene una visión muy restringida del lenguaje que se compila. Por ejemplo, si el programador escribe la instrucción: fir ( x=0 ; x<20; ++x )..

5 Compiladores. Análisis léxico 2-5 El analizador léxico no podría determinar si fir es en realidad for y se concreta a reconocer la cadena fir como un identificador. Supóngase que el analizador léxico no puede continuar porque ningún patrón asociado con algún componente léxico concuerda con un prefijo de la cadena que resta por analizar. Una estrategia a seguir para continuar el análisis sería ignorar algunos caracteres de la cadena de entrada hasta lograr una concordancia. Esto pudiera confundir al analizador sintáctico pero en un ambiente de cómputo interactivo sería una estrategia adecuada. Otras posibles acciones tendientes a recuperarse del error serían: 1. borrar un carácter extraño 2. insertar un carácter que falta 3. reemplazar un carácter incorrecto por otro correcto 4. intercambiar dos caracteres adyacentes. Estas acciones se llaman transformaciones de error y una estrategia alterna a la anterior sería observar si un prefijo de la entrada restante se puede transformar en un lexema válido mediante una sola transformación de error. Esta estrategia da por supuesto que la mayoría de los errores léxicos se deben a una sola transformación de error, suposición que normalmente, pero no siempre, se cumple en la práctica. 2.3 Especificación de los componentes léxicos. En las secciones anteriores se ha dicho que con cada componente léxico hay un patrón de concordancia asociado. Este patrón define un conjunto de cadenas que se reconocen como instancias del componente léxico. Como el análisis léxico trata con cadenas, comenzaremos esta sección precisando algunos conceptos elementales. Alfabeto, cadenas y lenguajes. El término alfabeto o clase de carácter denota cualquier conjunto finito de símbolos. Ejemplos típicos de símbolos son las letras y los dígitos. El alfabeto binario esta compuesto por los símbolos 0 y 1. Los códigos ASCII y EBCDIC son ejemplos del alfabeto de una computadora. Una cadena sobre algún alfabeto es una secuencia finita de símbolos tomados de ese alfabeto. A menudo se utilizan los términos frase y palabra como sinónimos de cadena. La longitud de una cadena s, representado como s, es el número de apariciones de símbolos en s. Por ejemplo camino es 6. La cadena vacía, representada por ε, es una

6 Compiladores. Análisis léxico 2-6 cadena que tiene longitud 0 ( esta formada por 0 símbolos ). La tabla 2.1 recoge algunos términos asociados con partes de una cadena. Término Prefijo de s Sufijo de s Subcadena de s Prefijo, sufijo o subcadena propios de s Subsecuencia de s Definición Una cadena que se obtiene eliminando cero o más símbolos desde la derecha de la cadena s; por ejemplo, ban es un prefijo de bandera. Una cadena que se forma suprimiendo cero o más símbolos desde la izquierda de una cadena s; por ejemplo, era es un sufijo de bandera. Una cadena que se obtiene suprimiendo un prefijo y un sufijo de s; por ejemplo, ande es una subcadena de bandera. Todo prefijo y sufijo de s es una subcadena de s, pero no toda subcadena de s es un prefijo o un sufijo de s. Para toda cadena s, tanto s como ε son prefijos, sufijos y subcadenas de s. Cualquier cadena no vacía x que sea, respectivamente, un prefijo, sufijo o subcadena de s tal que x s. Cualquier cadena formada mediante la eliminación de cero o más símbolos no necesariamente contiguos a s; por ejemplo, bada es una subsecuencia de bandera. Tabla 2.1. Términos de parte de una cadena. Un lenguaje se refiere a cualquier conjunto de cadenas de un alfabeto fijo. Esta definición es muy extensa y abarca lenguajes abstractos como, el conjunto vacío, o el conjunto { ε } que sólo tiene a la cadena vacía, o inclusive el conjunto de todas las instrucciones del lenguaje PASCAL. Si x e y son cadenas, entonces la concatenación de x e y, que se escribe xy, es la cadena que resulta de agregar y a x. Por ejemplo, si x = caza e y = fortunas, entonces xy = cazafortunas. La cadena vacía ε es el elemento identidad que se concatena, Es decir xε = x, y εx = x. Cuando se considera la concatenación como un producto, cabe definir la exponenciación de cadenas de la siguiente manera: Se define s 0 = ε, y para i > 0 se define s i como s i-1 s. Dado que εs = s, s 1 = s. Entonces s 2 = ss, s 3 = sss, etcétera. Ejercicio 2.1. Dada las cadenas x=perro y y=bravo, realice las operaciones siguientes:

7 Compiladores. Análisis léxico xy 2. xyx 3. x 3 4. ( xy ) 2 Operaciones aplicadas a lenguajes. Hay varias operaciones aplicadas a lenguajes, para el análisis léxico son importantes la unión, la concatenación y la cerradura definidas en la Tabla 2.2. para los lenguajes L y M. Operación Definición unión de L y M; L U M L U M= { s s está en L o s está en M } concatenación de L y M, que se escribe LM LM = { st s está en L y t esta en M } cerradura de Kleene de L, que se escribe L* = U L i L* i = 0 cerradura positiva de L, que se escribe L + L + = U i = 1 L* denota cero o más concatenaciones de L L + denota una o más concatenaciones de L Tabla 2.2. Definiciones de operaciones sobre lenguajes. También se puede extender el operador de exponenciación a los lenguajes definiendo L 0 como { ε }, y L i como L i-1 L. Por tanto L i es L concatenado consigo mismo i-1 veces. Ejercicio 2.2 Sea L el conjunto { A, B, C,, Z, a, b, c,, z } y D el conjunto { 0, 1, 2,, 9 }. Aunque los elementos tanto de L como de D son símbolos, un símbolo puede ser considerado como una cadena de longitud 1. Por lo tanto, L es el conjunto de cadenas formadas por una letra mayúscula o minúscula, y D es el conjunto de las cadenas formadas por un dígito del 0 al 9. Defina el contenido de los conjuntos siguientes: 1. L U D 2. LD 3. L 4 4. L* 5. L ( L U D )* 6. D + L i

8 Compiladores. Análisis léxico 2-8 Expresiones regulares. El patrón asociado a un componente léxico permite reconocer un conjunto de cadenas como instancias de ese componente léxico. Por ejemplo, el conjunto de todos los identificadores utilizados en un programa. Al escribir una instrucción se utilizan una secuencia de cadenas que son instancias de diferentes componentes léxicos, formando la cadena de entrada que procesa el analizador léxico. El conjunto de cadenas que permite la identificación de un componente léxico ( instancias válidas de ese componente ) puede ser conocido con anticipación al proceso de compilación, por ejemplo, el conjunto formado por cadenas que permiten reconocer un operador relacional ( OR= { <, <=, >, >=, ==, <> } ). Otros conjuntos no se conocerán sino hasta que se haya procesado todo el programa, por ejemplo el de los identificadores utilizados. Independientemente de que dichos conjuntos sean conocidos o no con anticipación, el analizador léxico necesita una descripción del conjunto de forma tal que pueda reconocer si una cadena pertenece o no al conjunto. La notación de las expresiones regulares se ha utilizado para tal efecto. Una expresión regular se construye a partir de expresiones regulares más simples utilizando un conjunto de reglas definitorias. Cada expresión regular r representa un lenguaje L(r). Las reglas de definición especifican como se forma L(r) combinando de varias maneras los lenguajes representados por las subexpresiones de r. Las siguientes son las reglas que definen las expresiones regulares del alfabeto. Asociada a cada regla hay una especificación del lenguaje representado por la expresión regular que se está definiendo. 1. ε es una expresión regular designada por { ε }; es decir, el conjunto que contiene la cadena vacía. 2. si a es un símbolo de, entonces a es una expresión regular designada por { a }; por ejemplo, el conjunto que contiene la cadena a. Aunque se usa la misma notación para las tres, técnicamente, la expresión regular a es distinta a la cadena a o del símbolo a. El contexto aclarará si se habla de a como expresión regular, cadena o símbolo. 3. Suponiendo que r y s sean expresiones regulares representadas por los lenguajes L(r) y L(s), entonces, a. (r) (s) es una expresión regular representada por L(r) U L(s). b. (r) (s) es una expresión regular representada por L(r)L(s). c. (r)* es una expresión regular representada por ( L(r) )*.

9 Compiladores. Análisis léxico 2-9 d. (r) es una expresión regular representada por L(r). Esta regla establece que, si se desea, se pueden poner pares de paréntesis adicionales en torno a las expresiones regulares. Se dice que un lenguaje designado por una expresión regular es un conjunto regular. La especificación de una expresión regular es un ejemplo de definición recursiva. Las reglas 1 y 2 son la base de la definición; se usa el término símbolo básico para referirse a ε o a un símbolo de que aparezcan en una expresión regular. La regla 3 proporciona el paso inductivo. Se pueden evitar los paréntesis innecesarios en las expresiones regulares si se adoptan las convenciones: 1. el operador unario * tiene la mayor precedencia y es asociativo por la izquierda, 2. la concatenación tiene la segunda mayor precedencia y es asociativa por la izquierda, 3. tiene la menor precedencia y es asociativo por la izquierda. Según estas convenciones (a) ((b)*(c)) es equivalente a a b*c. Las dos expresiones representan el conjunto de cadenas que tienen una sola a, o cero o más b seguidas por una c. La Tabla 2.3 describe las propiedades algebraicas de las expresiones regulares. Axioma Descripción r s = s r es conmutativo r (s t) = ( r s) t es asociativo (rs)t = r(st) La concatenación es asociativa r(s t) = rs rt La concatenación distribuye sobre (s t)r = sr tr ε r = r ε es el elemento identidad para la concatenación. r ε = r r* = ( r ε)* La relación entre * y ε r** = r* * es idempotente Tabla 2.3. Propiedades algebraicas de las expresiones regulares. Si dos expresiones regulares r y s representan al mismo lenguaje, se dice que r y s son equivalentes y se escribe r s. Por ejemplo a b b a.

10 Compiladores. Análisis léxico 2-10 Se pueden encontrar expresiones regulares equivalentes aplicando las propiedades algebraicas de las expresiones. Definiciones regulares. Por conveniencia de notación, puede ser deseable dar nombres a las expresiones regulares y definir expresiones regulares utilizando dichos nombres como si fueran símbolos. Si es un alfabeto de símbolos básicos, entonces una definición regular es una secuencia de definiciones de la forma: d 1 r 1 d 2 r 2.. d n r n donde cada d i es un nombre distinto, y cada r i es una expresión regular sobre los símbolos de U { d 1, d 2,, d n }, es decir, los símbolos básicos y los nombres previamente definidos. Ejemplo 2.1. La expresión regular que define las cadenas formadas por un solo dígito es: d En lugar de utilizar la letra d para designar la expresión puede crearse la definición regular dígito. De la misma manera, la definición regular letra sería letra A B C Z a c. z. Si los identificadores son un conjunto de cadenas de letras y dígitos que empiezan con una letra, entonces una definición regular para identificadores sería: Ejercicio 2.3. ids letra ( letra digito )* 1. Forme la expresión regular para los números enteros con signo sin importar cuantos dígitos integran la cadena numérica. 2. Defina una expresión regular para las cadenas numéricas que represente números en punto flotante con la parte fraccional obligatoria. 3. Modifique la expresión anterior para que la parte fraccional sea opcional. Abreviaturas en la notación. Ciertas construcciones aparecen con tanta frecuencia en una expresión regular, que es conveniente introducir algunas abreviaturas.

11 Compiladores. Análisis léxico Uno o más casos. El operador unitario postfijo + significa uno o más casos de. Si r es una expresión regular que designa al lenguaje L(r), entonces (r) + es una expresión regular que designa al lenguaje ( L(r) ) +. Así, la expresión regular a + representa al conjunto de las cadenas con al menos una a, El operador + tiene la misma precedencia y asociatividad que el operador *. Las dos identidades algebraicas r* = r + ε y r + = rr* relacionan los operadores de la cerradura de Kleene y la cerradura positiva. 2. Cero o un caso. El operador unario postfijo? significa cero o un caso de. La notación r? es una abreviatura de r ε. Si r es una expresión regular, entonces (r)? es una expresión regular que designa el lenguaje L(r) U {ε}. 3. Clases de caracteres. La notación [ abc ], donde a,b,c son símbolos del alfabeto, designa la expresión regular a b c. Una clase abreviada de caracteres como [a-z] designa la expresión regular a b c z. Ejercicio 2.4. Utilizando las abreviaturas anteriores, diseñe expresiones regulares para los lenguajes siguientes: 1. Números enteros y/o flotantes con o sin signo. 2. Número en notación científica con o sin signo. Conjuntos no regulares. No todos los lenguajes se pueden describir con expresiones regulares. Por ejemplo, no se pueden utilizar las expresiones regulares para describir construcciones equilibradas o anidadas ( paréntesis equilibrados ). 2.3 Reconocimiento de los componentes léxicos. En esta sección se verá como reconocer los componentes léxicos una vez que se cuenta con una forma de describirlos. Se introduce el mecanismo de los diagramas de transición de estados tomados de la teoría de autómatas para representar el proceso de reconocimiento. Diagrama de transiciones. Los diagramas de transiciones representan las acciones que tienen lugar cuando el analizador léxico es llamado por el analizador sintáctico para obtener el siguiente componente léxico. Utilizaremos los diagramas de transiciones para reescribir las

12 Compiladores. Análisis léxico 2-12 expresiones regulares de forma tal que permitan el reconocimiento de los componentes léxicos. Como se ha visto, con expresiones regulares denotamos los lenguajes asociados a los componentes léxicos. Una expresión define un procedimiento para obtener una cadena perteneciente al lenguaje que representa. Por ejemplo, la expresión regular siguiente: letra ( letra dígito )* Indica que una cadena que pertenece al lenguaje que representa, debe comenzar con una letra y ser seguida por cualquier cantidad de letras o dígitos. Si seguimos las instrucciones obtendremos cadenas como: casa, x23, b23456x, d, etc. El analizador léxico no genera las cadenas sino que las reconoce como pertenecientes a un lenguaje en base al patrón de concordancia asociado al componente léxico que tipifica las cadenas del lenguaje. El analizador léxico procesa la cadena de entrada símbolo ( carácter ) por símbolo y de izquierda a derecha y anuncia un éxito cuando logra una concordancia. Con un diagrama de transiciones se señala los estados por los que pasa el analizador conforme va procesando los caracteres ( acciones ) de la cadena de entrada. Cada componente léxico tiene asociado un patrón de concordancia ( diagrama de transiciones ) que permitirá al analizador léxico reconocer una cadena como perteneciente a su clase. Los diagramas de transiciones se construyen a partir de las expresiones regulares y utilizando los símbolos gráficos siguientes: 4 estado 4 símbolo transición al observar el símbolo en la cadena de entrada 7 estado terminal 7 inicio Fig Notación gráfica para los diagramas de transición. 0 inicio del diagrama de transición Una transición de un estado a otro se representa según la sección de diagrama siguiente: x 4 5 Fig Transición en el diagrama de transición. transición del estado 4 al estado 5 al reconocer x en la cadena de entrada

13 Compiladores. Análisis léxico 2-13 Cuando una transición conduce a un estado terminal se anuncia un reconocimiento. El estado inicial no es producido por ninguna transición. Una transición etiquetada con la palabra otro indica que puede ser cualquier símbolo no contemplado en las transiciones que salen del estado. Por ejemplo, el diagrama siguiente permite reconocer los operadores relacionales > y >=. inicio 0 > 1 = 4 otro 8 * Fig Diagrama de transición para el operador relacional >= La interpretación del diagrama es la siguiente: El analizador comienza en el estado 0 y observa el próximo símbolo de la cadena de entrada, si es > avanza al estado 1 y observa el siguiente símbolo, si este es = entonces avanza al estado terminal 4 anunciando el reconocimiento de >=, si el símbolo es diferente de = estando en el estado 1, entonces se avanza al estado terminal 8 anunciando el reconocimiento de > ( el * colocado sobre el estado terminal 8 tiene un significado especial que más delante se define). Si se esta en el estado 0 y el próximo símbolo no es > entonces se señala un error de reconocimiento. Las transiciones de error no se señalan en el diagrama sino que se asumen al no poder realizar transición alguna estando en algún estado. Los diagramas de transición con los que trabajaremos son deterministas en el sentido de que de un estado no es posible que se tomen dos o más transiciones al observar el mismo símbolo en la cadena de entrada. Es decir, si observamos en algún diagrama una situación como la señalada en la Fig. 2.6, entonces el diagrama es no determinista. letra 8 5 = 9 = 10 Fig Diagrama de transición no determinista.

14 Compiladores. Análisis léxico 2-14 Se observa como estando en el estado 5 y observando un = en la cadena de estado no es posible determinar si pasar al estado 9 o al 10. Al reescribir las expresiones regulares como diagramas de transición las expresiones que señalan repetición ( cerraduras ) o expresiones opcionales se diagramarán de la forma siguiente: Cerradura de Kleene. Implica el observar 0 o más símbolos o subcadenas. Por ejemplo, la expresión letra digito* letra, Se diagramará como sigue: dígito inicio 0 letra 1 dígito 2 letra 3 letra Fig Diagrama de transición para la expresión letra digito* letra Observe como la transición del estado 1 al 3 representa el caso de 0 dígitos después de la primer letra. Cerradura positiva. Implica observar 1 o más símbolos o subcadenas. En el caso de la expresión letra digito + letra, el diagrama sería similar al de la Fig. 2.7 solo que se elimina la transición que va del estado 1 al estado 3. 0 o un caso. Cuando un símbolo o subcadena es opcional se representa como en la expresión letra digito? letra: inicio 0 letra 1 dígito 2 letra 3 letra Fig Representación de una parte opcional. Cuando en un diagrama de transición se llegue a un estado terminal mediante una transición etiquetada con otro se señalará este hecho anexando un * al estado terminal lo que indicará que el símbolo que disparo la transición que permitió llegar al estado terminal no forma parte del lexema ( cadena para la que se logra la concordancia ). Esto implica que cuando se vuelva a llamar al analizador léxico, el primer símbolo a observar será el

15 Compiladores. Análisis léxico 2-15 que permitió arribar al estado terminal del diagrama procesado. Por ejemplo, si la cadena de entrada es como sigue: suma > ( costo1 + El diagrama de la Fig. 2.5 permite reconocer el operador > al arribar al estado terminal 8, después de observar el símbolo (, pero como en el estado se encuentra el * entonces el símbolo ( no forma parte del lexema y es con el que comenzará el próximo llamado. Ejercicio 2.5. Transforme en diagrama de transición las expresiones del Ejercicio 2.4. Resumiendo, las expresiones regulares permiten la especificación de un lenguaje. Cada componente léxico tiene asociado un patrón que concuerda con cada cadena que sea una instancia ( ejemplo ) del componente léxico. Para cada componente léxico hay un conjunto de cadenas para las cuales concuerda el patrón asociado al componente. Este conjunto de cadenas ( lenguaje ) puede ser especificado por una expresión regular. La función del analizador léxico es el reconocimiento de componentes léxicos, por tanto, el patrón asociado al componente léxico debe definirse como un procedimiento que al ejecutarse identifique o no la presencia del componente. El analizador léxico procesa la cadena de entrada de izquierda a derecha y símbolo por símbolo lo cual indica que el procedimiento definido por el patrón debe procesar la cadena de entrada símbolo a símbolo formando una subcadena y, en el caso de lograr la concordancia ( terminar su seguimiento con éxito ) habrá identificado al componente. Los diagramas de transición pueden ser ejecutados y al hacerlo, reconocen una secuencia de símbolos que forman una cadena, y en el caso de que durante la ejecución se llegue a un estado terminal, se habrá reconocido la cadena completa. Si se asocia un diagrama de transición a cada componente léxico, el ejecutar el diagrama y llegar a un estado terminal permitirá reconocer una instancia de dicho componente léxico Implementación del analizador léxico. Como recordará, el analizador léxico brinda el servicio de identificación de componentes léxicos para el análisis sintáctico. Al mismo tiempo, alimenta la información que permite el reconocimiento en las tablas de símbolos que mantiene el compilador. El análisis léxico es la única parte del compilador que tiene acceso al programa fuente ( archivo a compilar ) y lo visualiza como un archivo secuencial que procesa de principio a fin. Cada registro del archivo puede corresponder a una instrucción del programa, a un pedazo de una instrucción, o varias instrucciones. Esto es irrelevante para el analizador léxico ya que cada registro leído es simplemente una cadena de caracteres.

16 Compiladores. Análisis léxico 2-16 Cada vez que el analizador sintáctico llama al analizador léxico, éste comienza a analizar la cadena a partir del lugar en que terminó la anterior vez que fue llamado tratando de identificar el próximo componente léxico. Si lo logra regresará al analizador sintáctico el token que representa al componente léxico identificado, si no lo logra señalará un error léxico mediante mecanismos como los siguientes: Una excepción que debe atrapar el analizador sintáctico. Un token especial que señale al analizador sintáctico la presencia del error, o Una condición que permita el aborto del programa. Dependiendo de los mecanismos disponibles en el lenguaje de programación a utilizar pueden utilizarse los dos primeros mecanismos para que el analizador sintáctico tome las medidas pertinentes ( recuperarse del error y continuar el análisis de la misma línea, o simplemente desecharla y proceder con la siguiente ). Los dos primeros mecanismos pueden también utilizarse para que el analizador léxico le indique al sintáctico el hecho de haber terminado de procesar completamente el programa fuente ( condición de EOF al leer el archivo ). Se sugiere la siguiente estructura general para el analizador léxico. FUNCIÓN Analex(): token ES fin_de_cadena? SI: LEER registro; ES condición_eof? SI: REGRESAR token_eof; BUSCAR_CONCORDANCIA: ES condición_exito? SI: REGRESAR token; NO: REGRESAR token_error. FIN_FUNCION Donde BUSCAR_CONCORDANCIA es una función que identificará el próximo lexema y regresará CIERTO si lo logra encontrar y FALSO en otro caso. Esta es la función que buscará que algunos de los patrones definidos concuerde con un prefijo de la cadena que falta por analizar.

17 Compiladores. Análisis léxico 2-17 Procesamiento de la cadena de entrada. La cadena de entrada será vista como una secuencia de símbolos que serán procesados uno por uno de izquierda a derecha. Se asume que la cadena tiene al final uno o más símbolos que la delimitan ( carácter NULL o la secuencia CR, LF ). Cuando el analizador detecte la presencia de esto símbolos procederá a leer el próximo registro del archivo fuente. El archivo fuente tiene al final el carácter EOF. Cuando el analizador lo detecte procederá a señalar al analizador sintáctico que ya se terminó de procesar completamente el programa para que éste resuma su trabajo. Cuando el analizador léxico ha sido llamado en varias ocasiones por el analizador sintáctico, la cadena de entrada puede verse formado por dos subcadenas: la subcadena que comienza al inicio de la cadena de entrada y termina con el último símbolo del último lexema identificado, conocida como la subcadena ya procesada, y la parte que no ha sido procesada todavía, conocida como la cadena que resta por analizar ( ver Fig. 2.8 ). Cadena de entrada S 1 S 2 S 3...Si Sj Sj+1...S n NULL Cadena ya Cadena que resta procesada por analizar Fig Procesamiento de la cadena de entrada. El analizador mantiene un apuntador al inicio de la cadena que resta por analizar ya que desde ahí comenzara a buscar la próxima concordancia cuando vuelva a ser requerido por el analizador sintáctico. Puesto que no es posible precisar al comenzar a procesar la cadena de entrada cuál de los patrones va a concordar puede ser necesario probar varios antes de lograr la concordancia. Esto implica que una porción de la cadena tenga que procesarse repetidamente. Para implementar este tipo de proceso, el analizador debe mantener dos apuntadores ( señaladores ) a la cadena de entrada. El apuntador fijo que señala el inicio de la cadena que resta por analizar, y el apuntador móvil que se moverá hacia adelante símbolo por símbolo y llegará al final del lexema identificado ( ver Fig. 2.9 ). Este apuntador móvil tendrá que igualarse al apuntador fijo cada vez que comience un nuevo intento por lograr la concordancia. Una vez que se logre la concordancia, el lexema estará entre el apuntador fijo y el apuntador móvil -1

18 Compiladores. Análisis léxico 2-18 Dado que la cadena de entrada puede representarse de diversas maneras ( como arreglo de símbolos, como cadena, etc. ), se debe implementar una función llamada SigteCar() que regrese el próximo símbolo de la cadena de entrada y ajuste el apuntador móvil. S 1 S 2 S 3...S i S j S j+1.s j+2...s n NULL Apuntador fijo Apuntador móvil Fig Apuntadores fijo y móvil a la cadena de entrada. En esta función se oculta la identificación del final de la cadena y del final del archivo en el regreso de dos símbolos especiales ( uno que señale fin de cadena y otro el fin del archivo ) que serán seleccionados de manera tal que no permita su aparición como símbolos normales de la cadena de entrada. Implementación de los diagramas de transición. Previendo que se tenga un diagrama de transición para cada componte léxico a identificar se procederá a codificar cada uno como una función que regresa un valor booleano. CIERTO indica que se llegó a un estado terminal, y FALSO indicara un estado de error. La misma lógica de ejecución de un diagrama de transición deberá representarse en la función programada. La estructura de la función para cada diagrama será esencialmente la misma, variando en el número de estados y de transiciones contemplados. Por ejemplo, el diagrama de transición siguiente deberá codificarse como lo indica enseguida: inicio 0 letra 1 dígito 2 letra 3 letra FUNCION Identificador: Booleana Estado = 0 Error = FALSO EstadoFinal = FALSO MIENTRAS No ( EstadoFinal OR Error )

19 Compiladores. Análisis léxico 2-19 Símbolo = SigteCar() CASO ( Estado ) CASO 0: ES Símbolo = letra? SI: Estado = 1 NO: Error = CIERTO CASO 1: ES Símbolo = digito? SI: Estado = 2 NO: ES Símbolo = letra? SI: Estado = 3 NO: Error = CIERTO CASO 2: ES Símbolo = letra? SI: Estado = 3 NO: Error = CIERTO CASO 3: EstadoFinal = CIERTO FIN_CASO FIN_MIENTRAS ES Error = FALSO? SI: REGRESA CIERTO NO: REGRESA FALSO FIN_FUNCION En relación a la función BUSCAR_CONCORDANCIA deberá llamar una a una a las funciones asociadas a los patrones hasta lograr que una de ellas regrese CIERTO. Si así sucede, se habrá logrado una concordancia y la función que tuvo el éxito señalará el componente identificado. En el caso de que se hayan probado todas y ninguna regrese el valor CIERTO, entonces se concluye en un error de tipo léxico y así se señala al analizador sintáctico para que tomen las previsiones adecuadas. El lexema para el que se logró la concordancia estará delimitado por los apuntadores fijo y móvil-1 y se puede extraer de la cadena de entrada mediante una función del tipo SUBSTR() o STRCOPY().

20 Compiladores. Análisis léxico 2-20 Identificación del token. Con el tipo de componente léxico se tiene el primer elemento del token, y se selecciona la tabla de símbolos donde se buscará una entrada que contenga al lexema. Si se localiza, el número de entrada será el segundo elemento del token. Si no se localiza, se ha identificado un nuevo lexema que deberá alimentarse a la tabla de símbolos y la entrada que le corresponda será el segundo elemento del token. Componentes léxicos con el mismo patrón de concordancia. En los lenguajes de programación el uso de cadenas para indicar nombres de variables, palabras reservadas, nombres para procedimientos, funciones, etc., operadores aritméticos ( como MOD y EXP ), operadores lógicos ( AND, OR, XOR, NOT ) es muy común. En este caso, un solo patrón concuerda con todas estas cadenas haciendo difícil la identificación del token adecuado. La forma en que se ataca este problema es permitiendo la concordancia con un solo patrón ( Identificador, por ejemplo ) y luego procediendo a buscar el lexema en cada una de las tablas de los componentes léxicos: Variables, Op_aritméticos, Op_lógicos, Pal_reservadas, etc. Algunas de estas tablas fueron creadas al tiempo de iniciar la ejecución del compilador ( tablas estáticas, como la de Pal_reservadas, Op_aritméticos, Op_logicos donde se conoce de antemano cuales son las cadenas válidas ) mientras que la de Variables se crea dinámicamente. El lexema se procederá a buscar en las tablas estáticas, la primera que lo contenga señalará el componente léxico identificado. Si no sucede así, entonces se habrá identificado el componente léxico Variable y se procederá a buscar el lexema en la tabla de Variables como se señaló en el apartado anterior.