Introducción a compiladores. Universidad Autónoma de Aguascalientes Prof. Eduardo Serna-Pérez Correo-e: eduardo.serna@gmail.com

Transcripción

1 Introducción a compiladores Universidad Autónoma de Aguascalientes Prof. Eduardo Serna-Pérez Correo-e: eduardo.serna@gmail.com

2 Introducción a compiladores Definición de compilador Historia de los compiladores Tipos de traductores Fases de un compilador Agrupamiento de fases Compiladores cruzados Herramientas automáticas

3 Definición de compilador Los compiladoresson programas de computadora que traducende un lenguaje a otro. Un compilador toma como su entrada un programa escrito en lenguaje fuentey produce un programa equivalente escrito en lenguaje objeto. Lenguaje Fuente Traductor Lenguaje Destino Mensajes de error

4 Definición de compilador Generalmente al lenguaje fuente se le asocia como lenguaje de alto nivel, mientras al lenguaje objeto se el conoce como código objeto (código de maquina) escrito específicamente para una maquina objeto. A lo largo del proceso de traducción el compilador debe informar la presencia de errores en el lenguaje fuente. Diseñar y desarrollar un compilador, no es tarea fácil, y quizás pocos profesionales de la computación se vean involucrados en esta tarea. No obstante, los compiladores se utilizan en casi todas las formas de la computación y cualquiera involucrado en esta área debería conocer la organización y el funcionamiento básico de un compilador.

5 Historia de los Compiladores A finales de la década de 1940, comenzaron a construirse las primeras computadoras digitales y fue necesario implementar un lenguaje capas de realizar los cálculos, es aquí donde aparece el lenguaje de maquinaque representaba secuencias de códigos numéricos: C (instrucción que mueve el número dos a la ubicación 0000) Desafortunadamente este lenguaje era tedioso de seguir y complicado de mantener, por lo que esta forma de codificación fue reemplazada por el lenguaje ensamblador, en el cual las instrucciones y las localidades de memoria son formas simbólicas. Un ensamblador traduce de los códigos simbólicos a lenguaje de maquina. Aún con esta mejora, el lenguaje ensamblador sigue siendo demasiado difícil de mantener: MOV X, 2 (instrucción en ensamblador equivalente a la anterior)

6 Historia de los Compiladores En este punto se presenta la necesidad de lenguajes que permitan escribir los programas de forma concisa, similar a una notación matemática, y que se pudieran traducir a código ejecutable para una máquina dada: X = 2 En 1950, G. M. Hooperacuña el termino compiladory aparecen los primeros trabajos sobre compiladores relacionados con la traducción de formulas aritméticasa código de máquina. John Backuslideró un grupo de trabajo en IBM para realizar de un traductor de código máquina a fórmulas matemáticas. Resultando con gran éxito: la especificación de un lenguaje de alto nivel (FORTRAN, FORmuleTRANslation) Trabajaron 18 personas durante mas de un año en el proyecto. Fúeun compilador hecho ad-hoc(a puro corazón), pues no existía una teoría formal, sino que se iban resolviendo las construcciones una a una, para cada situación particular.

7 Historia de los Compiladores Noam Chomskycomienza sus estudios sobre la estructura del lenguaje natural. Sus estudios lo condujeron a la clasificación de los lenguajes de acuerdo a una jerarquía de sus gramáticas, además sus estudios sobre los algoritmos de reconocimiento derivaron en una automatización del proceso de traducción mas eficiente. 1960, se diseña el lenguaje LISP. En un principio, el código LISP se traducía manualmente a código máquina. Se escribió en LISP un programa capaz de interpretar programas LISP, que se tradujo manualmente a código de máquina, construyendo de este modo un intérprete ejecutable de LISP. Knuth desarrolla la mayoría de las técnicas de análisis sintáctico. 1970, se presentan los mayores avances en el área de lenguajes de programación. Aparecen los primeros programas que automatizan los procesos de análisis léxico y sintáctico. Surgiendo la llamada Torre de Babeldebido a la proliferación de la teoría para la construcción de compiladores.

8 Historia de los Compiladores NiklausWirth, diseña Pascal, pensado para la enseñanza. Wirthpropone el concepto de representación intermedia de código, separando el proceso de traducción en dos fases: el front-endencargada de analizar el programa fuente (operaciones dependientes sólo del lenguaje fuente) y el back-end encargada de generar el código para la máquina objeto. 1980, comienzan a proliferar las técnicas de mejoramiento de código (optimización), se consolida y prolifera el concepto de asignación y liberación de memoria dinámica. La programación orientada a objetoses extensamente utilizada y madura. 1990, los lenguajes de programación y compiladores son muy similares a lo que tenemos actualmente, surgen los ambientes de desarrollo, los lenguajes interpretados comienza a ganar terreno en aplicaciones de Internet y el código intermedio se vuelve a poner de moda.

9 Tipos de Traductores CompiladorPrograma que convierte un archivo de lenguaje de programación a su correspondiente en lenguaje objeto. Siendo en realidad es un tipo especifico de traductor. EnsambladorPrograma que convierte de lenguaje mnemonicoa lenguaje máquina, generando un archivo con el código objeto equivalente al código fuente completo, junto con información necesaria para el montaje. Formadores de Textotoman como entrada una cadena de caracteres que incluye el texto a componer y órdenes (TAG s) para indicar capítulos, secciones, párrafos, enumeraciones, figuras, formulas, tablas, etc. (Latex, Html). InterpretesEjecutan las instrucciones del programa según se vallan presentando. Necesitan menos memoria, pero son más lentos que los compiladores (LISP, Prolog). Históricamente, se pusieron de moda en los primeros años porque los recursos de memoria eran escasos. Permiten añadir código dinámicamente durante la ejecución.

10 Tipos de Traductores Lenguajes de programación interpretadosestán diseñados para ser ejecutados por medio de interprete a partir de un código pre-compilado. Por ejemplo Java es compilado para posteriormente ser ejecutado por un traductor del lenguaje objeto denominado Java Virtual Machine. Mientas que los lenguajes de la plataforma.net compilan en una forma intermedia (CIL), que posteriormente puede ser recompilado a código de maquina nativo o interpretado por una maquina virtual. Lenguajes como Pythony Java emplean representaciones intermedias de código para ser ejecutadas, mientras que lenguajes como Rubyemplean un árbol de sintaxis abstracta como representación intermedia.

11 Ventajas del compilador Tipos de Traductores Se compila una vez, se ejecuta n-veces En bucles, la compilación genera código equivalente al bucle pero un interprete se traduce tantas veces una línea como veces se repite el bucle El compilador tiene una visión global del programa, por lo que la información de mensajes de errores es más detallada. Ventajas del intérprete Un interprete necesita menos memoria que un compilador Permite una mayor interactividad con el código en tiempo de desarrollo.

12 Tipos de Traductores Ventajas del compilador - intérprete Proporcionan algo de flexibilidad extra Son independientes de la plataforma en la que se ejecuten Permiten un mecanismo de reflexión Tipos de datos altamente dinámicos Gestión de memoria dinámico Fácilmente depurables y reducidos en tamaño

13 Fases de un Compilador Un compilador se compone internamente de varias etapas, o fases, que realizan operaciones lógicas. Es útil pensar en estas fases como piezas separadas dentro del compilador, y pueden en realidad escribirse como operaciones codificadas separadamente aunque en la práctica a menudo se integran. A continuación describiremos brevemente cada un de ellas: Análisis Léxico Análisis Sintáctico Análisis Semántico Generación y Optimización de código intermedio Generación de código objeto

14 Fases de Compilación Código fuente Fase de análisis Análisis Léxico Componentes léxicos / Tokens Árbol sintáctico Análisis Sintáctico Tabla de símbolos Análisis Semántico Árbol sintáctico con anotaciones Código intermedio Código objeto Generación / Optimización de código intermedio Generación / Optimización de código objeto Fase de síntesis Gestor de errores

15 Fases de Compilación Analizador léxico: lee la secuencia de caracteres de izquierda a derecha del programa fuente y agrupalas secuencias de caracteres en unidadescon significado propio(componentes léxicos o tokens en ingles). Las palabras clave, identificadores, operadores, constantes numéricas, signos de puntuación como separadores de sentencias, llaves, paréntesis, etc., son diversas clasificaciones de componentes léxicos. La estructura léxica la modelaremos mediante expresiones regulares. Por ejemplo la siguiente instrucción en código C: a[indice] = 4 + 2; Genera los siguientes componentes léxicos: a identificador [ corchete de apertura indice Identificador ] corchete de cierre = operador de asignación 4 numero + operador suma 2 numero ; punto y coma

16 Fases de Compilación Análisis sintáctico: determina si la secuencia de componentes léxicos sigue la sintaxisdel lenguaje y obtiene la estructurajerárquicadel programa en forma deárbol, donde los nodos son las construcciones de alto nivel del lenguaje. Se determinan las relaciones estructurales entre los componentes léxicos, esto es semejante a realizar el análisis gramaticalsobre una frase en lenguaje natural. La estructura sintáctica la definiremos mediante las gramáticas independientes del contexto. Como ejemplo consideremos la línea de código C anterior. Representa un elemento estructural denominado expresión, la cual es una expresión de asignacióncompuesta de una expresión de subíndicea la izquierda y una expresión aritmética a la derecha (árbol de análisis gramatical).

17 Fases de Compilación expresión expresión asignación expresión = expresión expresión subíndice expresión aditiva expresión [ expresión ] expresión + expresión identificador a identificador indice numero 4 numero 2

18 Fases de Compilación Los nodos internos del árbol de análisis gramatical están etiquetados con los nombres de las estructuras que representan y las hojas del árbol representan la secuencia de tokens. Los árboles de análisis gramatical son útiles para visualizar la sintaxis de un programa pero no es eficaz en la representación de esa estructura. Los analizadores sintácticos tienden a generar un árbol sintáctico(una simplificación de la información contenida en un árbol de análisis gramatical). Para nuestro ejemplo observamos que en el árbol sintácticose han eliminado nodos, esto debido a que sabiendo la naturaleza de la expresión, ya no es necesario contar con ciertos tokens. = [ ] + identificador a identificador indice numero 4 numero 2

19 Fases de Compilación Análisis semántico: realiza las comprobaciones necesarias sobre el árbol sintáctico para determinar el correcto significado del programa. Las tareas básicas a realizar son: La verificación e inferencia de tipos en asignaciones y expresiones, la declaración del tipo de variables y funciones antes de su uso, el correcto uso de operadores, el ámbito de las variables y la correcta llamada a funciones. Nos limitaremos al análisis semántico estático(en tiempo de compilación), donde es necesario hacer uso de la Tabla de símbolos, como estructura de datos para almacenar información sobre los identificadores que van surgiendo a lo largo del programa. El análisis semántico suele agregar atributos (como tipos de datos) a la estructura del árbol semántico.

20 Fases de Compilación El analizador semántico registrara el árbol sintáctico con los tipos de datos de las sub-expresiones y verificara que la asignación tiene sentido para los tipos, en caso contrario mandara un mensaje de error en correspondencia de tipos. De esta forma se obtiene un árbol sintáctico con anotaciones. Siguiendo con el ejemplo de la expresión en C, el analizador semántico extrae la información de que aes una arreglo de valores enteros y que indicees una variable entera. = [ ] Tipo : entero + Tipo : entero a puntero a enteros Tipo: entero indice Tipo : entero 4 constante Tipo : entero 2 constante Tipo : entero

21 Fases de Compilación Generación y optimización de código intermedio: la optimización consiste en la calibración del árbol sintáctico donde ya no aparecen construcciones de alto nivel. Generando un código mejorado, ya no estructurado, más fácil de traducir directamente a código ensamblador o máquina, compuesto de un código de tres direcciones (cada instrucción tiene un operador, y la dirección de dos operándoos y un lugar donde guardar el resultado), también conocida como código intermedio. La etapa de optimización sólo dependen del lenguaje fuente (y no de la máquina), se busca principalmente: eliminar sub-expresiones comunes, identificar código muerto, sustituir operaciones aritméticas, cálculo previo de constantes, variables de inducción, propagación de copias o código inalcanzable. Suele ser una fase lenta y compleja.

22 Fases de Compilación Siguiendo con el ejemplo de la expresión de asignación, el generador/optimizador, colapsara la expresión aditiva generando una constante 6. En ocasiones estas adecuaciones pueden realizarse en el árbol directamente, pero generalmente resulta mas fácil hacerlo de manera lineal en una estructura de código de tres direcciones (cuadruplos). código optimizado a[indice] = 6 código intermedio t1 = indice * elem_size(a) t2 = &a + t1 *t3 = 6

23 Fases de Compilación Generación de código objeto: toma como entrada la representación intermedia y genera el código objeto. La optimización depende de la máquina, es necesario conocer el conjunto de instrucciones, la representación de los datos (número de bytes), modos de direccionamiento, número y propósito de registros, jerarquía de memoria, encauzamientos, etc. Suelen implementarse a mano, y son complejos porque la generación de un buen código objeto requiere la consideración de muchos casos particulares. También se está investigando la creación de generadores de código automáticos. La idea es automáticamente hacer corresponder una representación intermedia a plantillas de instrucciones objeto. Permitiendo generar fácilmente el código objeto para una nueva máquina objeto, cambiando el conjunto de plantillas. Por ejemplo GNU GCC posee plantillas para mas de 10 arquitecturas más habituales de ordenadores.

24 Fases de Compilación Finalmente para nuestro ejemplo debemos decidir ahora cuantos enteros se almacenarán para generar el código del arreglo, para este ejemplo emplearemos modos de direccionamiento propios de C, generando el código objeto en un lenguaje ensamblador hipotético. MOV R0, t1 ;; valor de index -> MOV R1, &a ADD R1, R0 MOV *R1, 6 ;; dirección de a -> R1 ;; sumar R0 a R1 ;; constante 6 -> dirección en R1

25 Fases de Compilación Tabla de Símbolos: es una estructura tipo diccionario con operaciones de inserción, borrado y búsqueda, que almacena información sobre los símbolos que van apareciendo a lo largo del programa como son: los identificadores (variables y funciones) Etiquetas tipos definidos por el usuario (arreglos, registros, etc.) Además almacena el tipo de dato, método de paso de parámetros, tipo de retorno y de argumentos de una función, el ámbito de referencia de identificadores y la dirección de memoria. Interacciona tanto con el analizador léxico, sintáctico y semántico que introducen información conforme se procesa la entrada. La fase de generación de código y optimización también la usan.

26 Fases de Compilación Tabla de Símbolos: es una estructura tipo diccionario con operaciones de inserción, borrado y búsqueda, que almacena información sobre los símbolos que van apareciendo a lo largo del programa como son: los identificadores (variables y funciones) Etiquetas tipos definidos por el usuario (arreglos, registros, etc.) Además almacena el tipo de dato, método de paso de parámetros, tipo de retorno y de argumentos de una función, el ámbito de referencia de identificadores y la dirección de memoria. Interacciona tanto con el analizador léxico, sintáctico y semántico que introducen información conforme se procesa la entrada. La fase de generación de código y optimización también la usan.

27 Fases de Compilación Gestor de errores: detecta e informa de errores que se produzcan durante la fase de análisis. Debe generar mensajes significativos y reanudar la traducción. Encuentra errores: En tiempo de compilación: errores léxicos (ortográficos), sintácticos (construcciones incorrectas) y semánticos (p.ej. errores de tipo) En tiempo de ejecución: direccionamiento de vectores fuera de rango, divisiones por cero, etc. De especificación/diseño: compilan correctamente pero no realizan lo que el programador desea. Se trataran sólo errores estáticos (en tiempo de compilación). Respecto a los errores en tiempo de ejecución, es necesario que el traductor genere código para la comprobación de errores específicos, su adecuado tratamiento y los mecanismos de tratamiento de excepciones para que el programa se continúe ejecutando.

28 Fases de Compilación La mayoría de los compiladores son dirigidos por la sintaxis, es decir, el proceso de traducción es dirigido por el analizador sintáctico. El análisis sintáctico genera la estructura del programa fuente a través de tokens. El análisis semántico proporcionan el significado del programa basándose de la estructura del árbol de análisis sintáctico. Las fases de análisis léxico y análisis sintáctico se pueden automatizar de manera relativamente fácil, las verdaderas dificultades en la construcción de compiladores son el análisis semántico, la generación y la optimización de código. El número de pasadas, es decir, el número de veces que hay que analizar el código fuente, esta en función del grado de optimización. Típicamente se realiza una pasada para realizar el análisis léxico y sintáctico, otra pasada para el análisis semántico y optimización del lenguaje intermedio y una tercera pasada para generación de código y optimizaciones dependientes de la máquina.

29 Estructuras de datos Empleadas Componentes léxicos: estructura tipo registro con dos campos, componente léxico representado por una enumeración y el lexema con una cadena de caracteres. Árbol sintáctico: es una representación de árbol de la estructura sintáctica abstracta del código fuente escrito en cierto lenguaje de programación. Cada nodo del árbol denota una construcción que ocurre en el código fuente. Tabla de Símbolos: contiene información sobre los identificadores, funciones, variables, ámbito de referencia de identificadores, constantes numéricas y literales, tipos de datos, o incluso la dirección de memoria (tabla Hash). Código intermedio: se implementa como una lista de registros, donde cada registro tiene cuatro campos (operador, la dirección de los operándoos y del resultado). Es eficiente para mover código para el proceso de optimización posterior.

30 Agrupamiento de fases En el modelo de análisis y síntesis las operaciones del compilador que analizan el programa fuente y calculan sus propiedades se clasifican como análisisdel compilador, mientras que las operaciones involucradas con la traducción a código objeto se conoce como síntesis del compilador. Etapa de análisis: Análisis léxico Análisis sintáctico Análisis semántica Etapa de síntesis: Optimización y generación de código intermedio Generación de código objeto La intención de separa las etapas de análisis y síntesis, es principalmente para realizar mantenimientos y actualizaciones eficientes.

31 Compilador Cruzado Es un compilador que genera código ejecutable para una plataforma distinta a aquella en la que se ejecuta Es muy común construir un compilador en una plataforma Linux, empleando un lenguaje ANSI C++ para una sintaxis tipo Basic que genere código objeto para Windows ANSI C++ Basic ANSI C++ Basic Linux Linux Windows Windows Windows

32 Compilador Cruzado Existe también la variante que implica un compilador para maquina abstracta, que facilita la transportabilidad de compiladores de un lenguaje fuente a varias maquina objeto. La construcción de este tipo de compiladores se realiza en dos etapas: front-endo etapa inicial: Las operaciones dependen sólo del lenguaje fuente. Incluye: análisis léxico, sintáctico y semántico, la creación de la Tabla de Símbolos, generación de código intermedio y algunas optimizaciones. Además, del manejo de errores de cada fase. back-endo etapa final: Las operaciones dependen sólo de la máquina objeto. Incluye: generación de código objeto y optimizaciones dependientes de la máquina. Depende de los modos de direccionamiento, conjunto de instrucciones de la máquina, número de registros, arquitectura de la máquina, sistema operativo, etc.

33 Principal ventaja de este método: Compilador Cruzado Si se cambia de lenguaje fuente, entonces se reescribe el front-end. Si se cambia la máquina objeto, entonces se reescribe el back-end. Si aparece una nueva arquitectura, basta con desarrollar un traductor del lenguaje intermedio a esa nueva máquina. Código fuente Front-End Código intermedio Back-End Código objeto

34 Compilador Cruzado

35 Herramientas Automáticas Son programas de ayuda en el proceso de escritura de compiladores: sistemas generadores de traductores. También se les conoce como compilerwritingtools, compilergenerators, compiler-compilers. A continuación mencionaremos los mas conocidos. Generadores de analizadores léxicos: a partir de una especificación basada en expresiones regulares. Lex/ Flex. Generadores de analizadores sintácticos: a partir de una entrada que es la gramática independiente del contexto que representa la estructura sintáctica del lenguaje. Yacc/ Bison. Generadores de código: con rutinas para la generación del árbol de análisis sintáctico y para su recorrido. En cada nodo se especifican las acciones para su traducción a código objeto correspondiente.

36 Bibliografía Aho, A.V., Sethi, R., Ullman, J.D. (1990), Compiladores: principios, técnicas y herramientas, capitulo 1, páginas: 1-25, Louden, K.C. (1997), Construcción de Compiladores: Principios y práctica, capitulo 1, páginas: 1-27.