ESPECIFICACIÓN DE SÍMBOLOS

Transcripción

1 1 UNIVERSIDAD DE MAGALLANES FACULTAD DE INGENIERÍA DEPARTAMENTO DE COMPUTACIÓN ESPECIFICACIÓN DE SÍMBOLOS Elaborado el Sábado 24 de Julio de 2004 I.- COMPONENTES LÉXICOS, PATRONES Y LEXEMAS (extraído de Compiladores: Principios, técnicas y Herramientas, Aho, Sethi y Ullman) Dadas las siguientes definiciones y una tabla explicativa del uso que se le da en el análisis léxico a los términos mostrados más abajo, se procederá a explicar como se pueden definir de una manera formal los patrones de un lenguaje utilizando los Principios de la Teoría de Lenguajes. Componente Léxico También denominado Token(símbolo) es cualquier cadena de longitud finita que tiene un significado especial dentro de un Lenguaje. Patrón La especificación formal de un componente léxico. Lexema Cualquier cadena que concuerde con un patrón. COMPONENTE LÉXICO LEXEMAS DE EJEMPLO DESCRIPCIÓN INFORMAL DEL PATRÓN const Const const if If if relación <, <=, =, <>, >, >= < o <= o = o <> o >= o > id pi, cuenta, D2 letra seguida de letras y dígitos núm , 0, 6.02e23 cualquier constante numérica literal vaciado de memoria cualquier carácter entre y, excepto II.- TEORÍA DE LENGUAJES (extraído de Compiladores: Principios, técnicas y Herramientas, Aho, Sethi y Ullman) En general, la Teoría de Lenguajes define una manera formal de especificar la inmensa cantidad de lenguajes, sean computacionales o no, que ya existen y que irán apareciendo en el futuro. En base a la aplicación práctica de esta teoría se especificarán los componentes léxicos de un lenguaje particular.

2 2 Conceptos Previos Alfabeto Cualquier conjunto finito de símbolos. Por ejemplo: Alfabeto Binario = {0, 1} Alfabeto Decimal = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} Alfabeto ASCII = {..., A, B,..., 0, 1,..., (, ),..., %,...} Alfabeto Abecedario Español = {A, B,..., Y, Z, Á, É,... a, b,..., y, z, á, é,...} Alfabeto C = {id, num, literal, (, ), int, for, if, while,...} Para simplificar la notación el símbolo Σ se usa como sinónimo de Alfabeto. Cadena Secuencia finita de símbolos tomados de un alfabeto. En teoría de lenguajes frase o palabra es sinónimo de cadena. Ejemplos de cadenas: Cadena de un Alfabeto Binario = { } Cadena de un Alfabeto Decimal = { } Cadena de un Alfabeto ASCII = {%A1#567;!78 } Cadena de un Alfabeto Abecedario Español = {América} Cadena de un Alfabeto C = {int id=num;} Existe una cadena especial llamada cadena vacía que existe para cualquier Alfabeto y se denota por el símbolo ε o el símbolo λ. Longitud de una cadena Es el número de apariciones de símbolos en s. Se denota como s y se lee como norma de s. Por ejemplo: = = 8 %A1#567;!78 = 14 América = 7 int id=num = 4 ε = 0 Lenguaje Cualquier conjunto de cadenas de un Alfabeto fijo. Por ejemplo: Lenguaje de Máquina es el conjunto de cadenas binarias que pueden ser interpretadas por el computador. Cada sentencia es una cadena. Lenguaje de los Números Naturales son el conjunto de cadenas formadas por símbolos decimales. Cada número es una cadena. Lenguaje de Archivos de Texto son el conjunto de archivos escritos en texto ASCII. Cada archivo es una cadena. Lenguaje Español es el conjunto de sentencias bien construidas con símbolos del Abecedario. Cada sentencia es una cadena. Lenguaje C es el conjunto de archivos fuente de C bien construidos (sin importar el significado). Cada archivo es una cadena. Existen dos lenguajes especiales en Teoría de Lenguajes: Φ = Lenguaje Vacío {ε} = Lenguaje que sólo contiene la cadena vacía. Nótese que pueden existir conjuntos finitos e infinitos, dependiendo del lenguaje.

3 3 Definición Si x e y son cadenas la concatenación de x e y se escribe como xy y es la cadena que resulta de agregar y a x. Por ejemplo, si x=caza e y=fortunas entonces xy=cazafortunas. Definición La cadena ε es el elemento identidad que se concatena. Sea s una cadena cualquiera, entonces se cumple que sε = εs = s. Definición Sea s una cadena cualquiera. La exponenciación de cadena se define como: s 0 = ε s i = s i-1 s, i > 0 Entonces: Operaciones con Lenguajes s 1 = s 0 s = εs = s s 2 = s 1 s = ss s 3 = s 2 s = sss etc. La siguiente tabla resume las operaciones que se definen con lenguajes. OPERACIÓN Unión de L y M, que se escribe L M Concatenación de L y M, que se escribe LM Cerradura de Kleene de L, que se escribe L* Cerradura positiva de L, que se escribe L + DEFINICIÓN L M = {s s está en L o s está en M} LM = {st s está en L y t está en M} L * = = i 0 i L L* denota cero o más concatenaciones de L. L + = i= 1 i L L + denota una o más concatenaciones de L.

4 4 Ejemplo Sea L el conjunto {A, B,..., Y, Z, a, b,..., y, z} y D el conjunto {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}. Se puede considerar L y D como dos Alfabetos, o se puede considerar L y D como dos lenguajes finitos que tienen cadenas de longitud uno. Tomando la segunda alternativa los siguientes son ejemplos de nuevos lenguajes creados a partir de L y D mediante la aplicación de los operadores definidos en la tabla. 1. L D es el conjunto de letras y dígitos. 2. LD es el conjunto de cadenas que consta de una letra seguida de un dígito. 3. L 4 es el conjunto de todas las cadenas de cuatro letras. 4. L* es el conjunto de todas las cadenas de letras, incluyendo ε, la cadena vacía. 5. L(L D)* es el conjunto de todas las cadenas de letras y dígitos que comienzan con una letra. 6. D + es el conjunto de todas las cadenas de uno o más dígitos. Nótese como las notaciones pueden definir conjuntos finitos e infinitos, sin la necesidad de dar ninguna explicación, que a modo didáctico se colocó al lado de ellas, sobre como son sus elementos.

5 5 III.- CLASIFICACIÓN DE LOS LENGUAJES (extraído de Apunte Autómatas, trabajo realizado por Alicia de Alvaro Martín, Lara Barrio Márquez, María Elena Rincón Arribas) En general, los Lenguajes se clasifican según su complejidad en 4 Tipos (Clasificación de Noam Chomsky), siendo los más simples de definir aquellos denominados como Lenguajes Regulares. Son estos en particular los que nos permitirán especificar los componentes léxicos de un lenguaje de programación. G) Tipo 0 (Chomsky) Sin restricciones. M) Máquinas de Turing L) Problemas Recursivamente Enumerables. Describe cualquier suceso computable. G) Tipo 1 Sensibles al contexto M) Autómata acotado linealmente L) Dependiente de contexto G) Tipo 2 De contexto libre M) Autómatas a pila L) Independientes de contexto. Sintaxis de lenguajes como Pascal, C... G) Tipo 3 Gramáticas regulares M) Autómatas finitos, probabilísticos y Células de McCulloch-Pitts L) Expresiones regulares. Analizador léxico (indica si se reconoce la palabra) Editores de Texto (Reconocen /Reemplazan la palabra) Clasificación de los Lenguajes

6 6 IV.- LENGUAJES REGULARES (extraído de Compiladores: Principios, técnicas y Herramientas, Aho, Sethi y Ullman) En pascal, un identificador es una letra seguida de cero o más letras o dígitos; es decir, un identificador es un miembro del conjunto definido por la notación del ejemplo L(L D)* de la sección II del Apunte. Con expresiones regulares se pueden definir de manera precisa conjuntos como este. Con la notación de expresión regular se pueden definir los identificadores de Pascal como: letra(letra digito)* La barra vertical aquí significa o, los paréntesis se usan para agrupar subexpresiones, el asterisco significa cero o más casos de la expresión entre paréntesis, y la yuxtaposición de letra con el resto de la expresión significa concatenación. Una expresión regular se construye a partir de expresiones regulares más simples utilizando un conjunto de reglas definitorias. Cada expresión regular r representa un Lenguaje Regular L(r). Las reglas de definición especifican como se forma L(r) combinando de varias maneras los lenguajes representados por las subexpresiones de r. Reglas de Definición de Expresiones Regulares Las siguientes son las reglas que definen las expresiones regulares del alfabeto Σ. 1. ε es una e.r. designada por {ε}. 2. Si a Σ a es una e.r. designada por {a}. 3. Si r y s son e.r. representadas por L(r) y L(s) a. (r) (s) es una e.r. representada por L(r) L(s). b. (r)(s) es una e.r. representada por L(r)L(s). c. (r)* es una e.r. representada por (L(r))*. d. (r) es una e.r. representada por L(r). Un lenguaje designado por una expresión regular es un conjunto regular. Precedencia de los Operadores Se pueden omitir los () de una expresión regular siguiendo las siguientes reglas. 1. El operador * tiene la mayor precedencia y es asociativo por la izquierda. 2. La concatenación tiene la segunda mayor precedencia y es asociativo por la izquierda. 3. El operador tiene la menor precedencia y es asociativo por la izquierda. Por ejemplo (a) ((b)*(c)) a b*c

7 7 Ejemplo Sea Σ = {a, b}. 1. a b {a, b} 2. (a b)(a b) {aa, ab, ba, bb} 3. aa ab ba bb {aa, ab, ba, bb} 4. a* {ε, a, aa, aaa, aaaa,...} 5. (a b)* (a*b*)*, es el conjunto de todas las cadenas formadas por a y b, incluida la cadena vacía. 6. a a*b, es el conjunto que contiene la cadena a y todas las que se componen de cero o más a seguidas de una b. Si dos expresiones regulares r y s representan el mismo lenguaje, se dice que r y s son equivalentes y se escribe r = s. Por ejemplo (a b) = (b a). Propiedades Algebraicas de las Expresiones Regulares Son varias las leyes algebraicas que obedecen las expresiones regulares y pueden ser utilizadas para transformar las expresiones regulares a formas equivalentes. Definiciones Regulares AXIOMA DESCRIPCIÓN r s = s r es conmutativo r (s t) = (r s) t es asociativo (rs)t = r(st) La concatenación es asociativa r(s t) = rs rt La concatenación distribuye sobre (s t)r = sr tr εr = r ε es el elemento identidad para la concatenación rε = r r* = (r ε)* La relación entre * y ε r** = r* * es idempotente Por conveniencia de notación, puede ser deseable dar nombres a las expresiones regulares y definir expresiones regulares utilizando dichos nombres como si fueran símbolos. Si Σ es un alfabeto de símbolos básicos, entonces una definición regular es una secuencia de definiciones de la forma d 1 r 1 d 2 r 2... d n r n Donde cada d i es un nombre distinto, y cada r i es una expresión regular sobre los símbolos de Σ {d 1, d 2,..., d i-1 }.

8 8 Como ya se estableció antes, el conjunto de identificadores de Pascal es el conjunto de cadenas de letras y dígitos que empiezan con una letra. A continuación se da una definición regular para este conjunto. letra A B... Z a b... z dígito id letra ( letra dígito ) * Los números sin signo en Pascal son cadenas como 5280, 39.37, 6.336E4 o 1.89E-4. La siguiente definición regular proporciona una especificación precisa para esta clase de cadenas: dígito dígitos dígito dígito* fracción_optativa. dígitos ε exponente_optativo ( E ( + - ε ) ) dígitos ) ε núm dígitos fracción_optativa exponente_optativo Obsérvese que, como mínimo, debe ir un dígito después del punto, de modo que núm no concuerde con 1., pero sí con 1.0. Abreviaturas en la Notación Ciertas construcciones aparecen con tanta frecuencia en una expresión regular, que es conveniente introducir algunas abreviaturas. Uno o más casos. El operador unitario postfijo + significa uno o más casos de. Si r es una expresión regular que designa al lenguaje L(r), entonces (r)+ es una expresión regular que designa al lenguaje (L(r)) +. El operador + tiene la misma precedencia y asociatividad que el operador *. Las dos identidades algebraicas que relacionan la cerradura de Kleene y la cerradura positiva son las siguientes: r* = r+ ε r + = r r* Cero o un caso. El operador unitario postfijo? significa cero o un caso de. La notación r? Es una abreviatura de r ε. Si r es una expresión regular, entonces (r)? es una expresión regular que designa el lenguaje L(r) {ε}. Clases de caracteres. La notación [abc], donde a, b y c son símbolos del alfabeto, designa la expresión regular a b c. Una clase abreviada de carácter como [a-z] designa la expresión regular a b... z. Utilizando clases de caracteres, se puede definir los identificadores como cadenas generadas por la expresión regular [A-Za-z][A-Za-z0-9]*

9 9 Con estas abreviaciones se puede reescribir la definición de número sin signo en Pascal como dígito [0-9] dígitos dígito + fracción_optativa (. dígitos)? exponente_optativo ( E ( + - )? ) dígitos )? núm dígitos fracción_optativa exponente_optativo V.- EJERCICIOS PROPUESTOS Teoría de Lenguajes 1.- Describa los conjuntos de palabras generados por los siguientes lenguajes: a. L(a)* b. L(a)* L(b)* c. L(a)*L(b)* d. L(a)*L(a)L(b) L(b) e. L(L(c)L(L(a)*L(b))*)* f. L( L(a)* L(b)* L(ab)* )* g. L(L(a)L(b)L(b)*L(a))* 2.- Determine si son ciertas las siguientes expresiones: a. L(L(a) L(b))* = Σ*, donde Σ= {a,b} b. baa L(a)*L(b)*L(a)*L(b)* c. L(b)*L(a)* L(a)*L(b)* = L(a)* L(b)* d. L(a)*L(b)* L(c)*L(d)* = * e. abcd L(L(a)L(L(c)L(d))*)*

10 10 Expresiones Regulares 1.- Escriba las expresiones regulares para los siguientes conjuntos: a. L={w {0,1}* w tiene dos o tres ocurrencias de 1 y el primer 1 no es consecutivo con los otros 1} b. L={w {a,b}* w no tiene más de tres a} c. L={w {a,b}* w tiene una ocurrencia de aaa} 2.- Determine si son equivalentes las siguientes expresiones regulares: a. ((a*b*)*(b*a*)*)* = (b*a*)* = (a b)* b. ab((aa ε)b)*a ε= (abb*a)* c. 0*100*10*(ε 10*) = 0*100*1(0* 0*10*)