Tema 2: Análisis léxico

Transcripción

1 Tema 2: Análisis léxico Procesamiento e Lenguajes Dept. e Lenguajes y Sistemas Informáticos Universia e Alicante Procesamiento e Lenguajes Tema 2: Análisis léxico 1 / 21 Funamentos el análisis léxico El analizaor léxico se encarga e suministrar al analizaor sintáctico una serie e uniaes lógicas llamaas elementos léxicos que resultan e agrupar los caracteres el fichero e entraa Caa uno e estos elementos léxicos se enomina token El analizaor léxico es una función o métoo que es llamao por el analizaor sintáctico caa vez que necesita conocer un nuevo token para continuar el proceso e traucción Es el único móulo el compilaor que maneja el fichero e entraa Procesamiento e Lenguajes Tema 2: Análisis léxico 2 / 21

2 Los tokens Clases e tokens: palabras reservaas (if, then,... ) símbolos especiales (operaores aritméticos, lógicos,... ) caenas no específicas (ientificaor, número real,... ) EOF (fin e fichero) La caena e caracteres concreta que se ha reconocio como un token eterminao se enomina lexema El lexema no juega un papel ese el punto e vista estructural, pero sí ese el semántico A la información auxiliar que acompaña a un token se le llama atributos el token (lexema, fila, columna,... ) Los tokens se especifican meiante expresiones regulares Procesamiento e Lenguajes Tema 2: Análisis léxico 3 / 21 Ejemplo e análisis léxico EXPR. REGULAR TOKEN [a-z][a-z0-9]* i if if [0-9]+ entero > mayor >= mayorig / iv Traza e una caena: /r22 >= if 5=a TOKEN LEXEMA FILA COLUMNA iv / 1 2 i r mayorig >= 1 9 if if 2 1 entero error léxico en = i a 2 6 (si hay recuperación e errores) EOF Procesamiento e Lenguajes Tema 2: Análisis léxico 4 / 21

3 Conclusiones tras la traza Principio e la subcaena más larga Con algunos tokens nos tenemos que pasar leyeno la entraa (es ecir, el fichero) El analizaor léxico ignora los espacios en blanco, comentarios, saltos e línea,... pero sigue contano líneas y columnas Política e elección e palabra reservaa sobre ientificaor Errores léxicos: caracteres no permitios en el lenguaje (p.ej. $ ) o no permitios en un contexto eterminao (p.ej vs. o.23 ) Procesamiento e Lenguajes Tema 2: Análisis léxico 5 / 21 Diagrama e transiciones (DT) 8 9 * REAL. 6 7 ** ENTERO * ENTERO * 2 INCR Expr. regular Token + SUMA ++ INCR [0-9]+ ENTERO ([0-9]+)"."([0-9]+) REAL SUMA Procesamiento e Lenguajes Tema 2: Análisis léxico 6 / 21

4 Funcionamiento el DT 8 9 * REAL. 6 7 ** ENTERO * ENTERO * 2 SUMA INCR Trazas Procesamiento e Lenguajes Tema 2: Análisis léxico 7 / 21 Conclusiones tras la traza con DT 1 Mientras se analiza la caena e entraa, el analizaor ebe recorar los n caracteres leíos anteriormente (one n es el número máximo e asteriscos que aparecen en cualquier estao el DT) 2 Cuano se llega a un estao e aceptación, se evuelve el token asociao a ese estao, y se reintegran al buffer e entraa tantos caracteres como asteriscos tenga asociaos el estao 3 IMPORTANTE: en el iagrama suelen estar previstas toas las posibles transiciones e salia e un estao (excepto en los e aceptación), para ello se usa la etiqueta. Si no hay transición posible es un error (y no se inica en el DT). 4 En el DT se especifica lo que ebe hacer el analizaor léxico con caa carácter e la entraa. De los estaos finales no salen transiciones 5 En algunos casos (números, i) es necesario leer un carácter más para estar seguros e haber reconocio el token completo Procesamiento e Lenguajes Tema 2: Análisis léxico 8 / 21

5 Algoritmo e análisis léxico estao = 1; c = leer(); o { nuevo = elta(estao,c); if (nuevo == ERROR) errorlexico(...); if (esfinal(nuevo)) { evolvercaracteres(nuevo); return tokenasociao(nuevo); else { estao = nuevo; c = leer(); while (true); Procesamiento e Lenguajes Tema 2: Análisis léxico 9 / 21 Construcción automática e analizaores léxicos lex/flex: [a-z][a-z0-9]* { return ID; ANTLR: ID : ( a.. z )( a.. z )+ ;... Procesamiento e Lenguajes Tema 2: Análisis léxico 10 / 21

6 Lectura e ficheros carácter a carácter con Java En PL recomenamos utilizar java.io.ranomaccessfile Función recomenaa para leer caracteres: public char leercaracter() { char currentchar; try { currentchar = (char)fichero.reabyte(); return currentchar; catch (EOFException e) { return EOF; // constante estática e la clase catch (IOException e) {... // error lectura return ; ATENCIÓN: es posible que sea necesario trucar esta función (para tener en cuenta los caracteres leíos e más) Procesamiento e Lenguajes Tema 2: Análisis léxico 11 / 21 Caracteres leíos espués el token En muchos casos, es necesario leer caracteres e más para asegurar el final el token. Ejemplo: * IMPORTANTE: Los caracteres leíos e más se eben evolver a la entraa para que sean leíos la siguiente vez que se invoque al analizaor léxico (no se pueen perer) Hay os formas e implementar esa evolución: Retroceieno el puntero e lectura el fichero (usano el métoo.seek(...)) Hacieno buffering, almacenano en un vector (que funcionaría como una cola) los caracteres, y trucano la función e lectura e caracteres para consultar el buffer antes e leer el fichero Procesamiento e Lenguajes Tema 2: Análisis léxico 12 / 21

7 Palabras reservaas 1 Coificación explícita en el DT (no recomenable, excepto si se usa un generaor automático e analizaores léxicos: lex, ANTLR,...) 0 i 1 ol 3 2 n ol 1 t ol 6 * int ol 1 l 2 * ient 2 O bien, tras reconocer un ientificaor en el DT, se consulta en una lista e palabras reservaas (o en la tabla e símbolos) para eciir el token a evolver Procesamiento e Lenguajes Tema 2: Análisis léxico 13 / 21 Función e transición en DT 1 Matriz (ispersa) gestionaa por rangos 2 Implementación en cóigo meiante instrucciones e selección 3 Hay que almacenar qué token se ebe evolver para caa estao final, y en el caso el iagrama e transiciones, el número e asteriscos (que es el número e caracteres que hay que evolver a la entraa o almacenar en el buffer) Procesamiento e Lenguajes Tema 2: Análisis léxico 14 / 21

8 Coificación e la tabla e transiciones 1 > 4 = * int elta (int estao, int c) { ENTERO switch (estao) { case 1: if (c== > ) return 2; else if (c>= 0 && c<= 9 ) return 4; else return -1; break; mayorig case 2: if (c== = ) return 3; else return -1; break; case 3: return -1; // estao final break; case 4: if (c>= 0 && c<= 9 ) return 4; else return 5; // break; case 5: return -1; // estao final break; efault: // error interno Procesamiento e Lenguajes Tema 2: Análisis léxico 15 / 21 Representación e los tokens public class Token { public int fila; public int columna; public String lexema; public int tipo; // tipo es: ID, ENTERO, REAL public static final int ID = 1, ENTERO = 2, REAL = 3,... FINFICHERO =...; Procesamiento e Lenguajes Tema 2: Análisis léxico 16 / 21

9 Ejercicio 1 Diseña un iagrama e transiciones (DT) para reconocer los siguientes componentes léxicos: numentero un número entero sin signo con ígitos entre 0 y 9, que no puee empezar por 0 numoctal un número entero en octal, que empieza por 0 y con ígitos entre 0 y 7 (p.ej. 015 es 13) numhex un número entero en hexaecimal, que empieza por 0x y con ígitos entre 0 y 9, y letras entre la A y la F (mayúsculas siempre) i ientificaor: secuencia e letras y ígitos que empieza por letra El 0 se ebe consierar que es un número octal. A continuación, inica cómo un analizaor léxico construio sobre el DT anterior separaría en tokens la secuencia e caracteres x xAF 0x9AGF 0xaF. Procesamiento e Lenguajes Tema 2: Análisis léxico 17 / 21 Ejercicio 2 Diseña un iagrama e transiciones para reconocer los siguientes componentes léxicos: if ifthen iftrue oftrue ient la palabra reservaa if la palabra reservaa ifthen la palabra reservaa iftrue la palabra reservaa oftrue cualquier secuencia e letras y ígitos que empiece por una letra y no coincia con ninguna e las palabras reservaas mulop el símbolo / assop el símbolo = mulassop el símbolo /= aassop el símbolo += ientico el símbolo /==/ Inica cómo separa este analizaor la secuencia e caracteres if5true/==/iftrue+=true/==false en tokens. Procesamiento e Lenguajes Tema 2: Análisis léxico 18 / 21

10 Ejercicio 3 Diseña un iagrama e transiciones para reconocer los siguientes componentes léxicos: numentero un número entero sin signo con uno o más ígitos entre 0 y 9 numexpo un número que tiene uno o más ígitos, una E seguia e un signo + o - opcional, y que acaba con una secuencia e uno o más ígitos. Ejemplos: 1E1, 112E+112 i min mon ientificaor: secuencia e letras y ígitos que empieza por letra la palabra reservaa min la palabra reservaa mon osp el símbolo : igual el símbolo = asig el símbolo := equiv el símbolo :==: A continuación, inica cómo un analizaor léxico construio sobre el iagrama e transiciones anterior separaría en tokens la secuencia e caracteres 09 :==mono 12E E+3a3E27. Procesamiento e Lenguajes Tema 2: Análisis léxico 19 / 21 Ejercicio 4 Diseña un iagrama e transiciones para reconocer los siguientes componentes léxicos: numentero un número entero sin signo con uno o más ígitos entre 0 y 9 numfija un número que tiene cero o más ígitos, un punto, y una secuencia e uno o más ígitos. Ejemplos:.233, 1.1, i ientificaor: secuencia e letras y ígitos que empieza por letra el la palabra reservaa el elete la palabra reservaa elete postec el símbolo -- flecha el símbolo --> mayor el símbolo > Procesamiento e Lenguajes Tema 2: Análisis léxico 20 / 21

11 Ejercicio 5 Diseña un iagrama e transiciones para reconocer los siguientes componentes léxicos: EXPRESIÓN ELEMENTO REGULAR LÉXICO <> istinto < menor > mayor + opsuma - opsuma ++ incremento -- ecremento -> esref ---> obleref := asig Procesamiento e Lenguajes Tema 2: Análisis léxico 21 / 21