Analista Universitario en Sistemas. Taller de Programación II. Instituto Politécnico Superior. Trabajo Final

Transcripción

1 Trabajo Final 1

2 Objetivo Comprender (en gran parte) un programa desarrollado en: C++ (Core ) Generador de código / Ejecución de comandos Flex (Lex) Lexer Genera un Analizador Léxico en C Bison (yacc) Parser Genera un Analizador Sintáctico en C (Yet Another Compiler Compiler) (GNU version of Yacc) El programa emula (en parte) a un shell de Linux, soportando: ejecución de comandos, redireccionamiento, subshells, secuencias de comandos, disyunciones y conjunciones El objetivo es que se complete algunas de las funcionalidades del mismo, más precisamente: subshells, secuencias y disyunciones 2

3 Roles flex Se analizan símbolos Se detectan aquellos no soportados. Emplea pattern-matching. Convierte dichos símbolos en tokens. bison Define la gramática. Analiza la interacción de los tokens, para determinar si responde a alguna regla gramatical. Construye un árbol sintáctico. El generador de código (Code Generator) recorre y analiza el árbol sintáctico. Produce el código ejecutable. 3

4 Componentes Los siguientes archivos comprenden el programa Makefile Genera el binario bshell scan.lex Analizador léxico gram.yc Analizador sintáctico clases.cc / clases.hc Code generator Programas de prueba: b.c: termina bien m.c: termina mal p.c: termina peor 4

5 Componentes gram.yc bison yyparse gram.tab.cc Code Generator clases.cc texto gram.tab.hc g++ bshell scan.lex flex yylex scan.cc comando ejecutado bison d v debug gram.yc g++ c Wall g DYYDEBUG gram.tab.cc flex oscan.cc d scan.lex g++ c Wall g DYYDEBUG scan.cc g++ c Wall g DYYDEBUG clases.cc g++ o bshell Wall g DYYDEBUG clases.o gram.tab.o scan.o 5

6 Componentes gram.yc bison yyparse gram.tab.cc Code Generator clases.cc texto gram.tab.hc g++ bshell scan.lex flex yylex scan.cc comando ejecutado Bison lee la gramática en gram.yc y genera el analizador sintáctico (parser) gram.tab.cc que incluye la función yyparse. bison d genera las definiciones de tokens y las escribe en gram.tab.hc. Flex lee la descprición de los patrones en scan.lex, incluye a gram.tab.hc y genera un analizador léxico (lexer) scan.cc que incluye la función yylex. Finallmente, el lexer y el parser son compilados y linkeados juntos para crear el ejecutable. Desde la función main se llama a yyparse para ejecutar el compilador. yyparse automatically calls yylex to obtain each token. 6

7 Lexer (flex) Convierte cadenas en tokens Mediante expresiones regualres se especifican patrones que vía pattern-matching convierten la entrada en un conjunto de tokens Cada patrón especificado posee una acción asociada Generalmente la acción es retornar el token para que lo emplee el parser (bison) Ejemplo letter(letter digit) Regular expression FSA: Finite State Automaton El lexer traduce las expresiones regulares a un programa que emula a un FSA flex tiene limitaciones reconocimiento estructuras anidadas uso de pila 7

8 Lexer (flex) Pattern-Matching Primitivas Ejemplos 8

9 Lexer (flex) El programa en flex se divide en tres secciones separadas con el símbolo... definitions rules subroutines... Las reglas están formadas por pattern [{action,action,...}] Las actions son opcionales y escritas en C, pueden ser más de una separadas por coma (,) Ejemplos de programas No hay definiciones ni reglas, todo lo que ingresa (por defecto stdin), caracter por carácter, es aceptado y se copia a la salida (por defecto stdout). \n No hace nada. Toda entrada es aceptada pero no hay acciones defindas, por tanto no hay salida 9

10 Lexer (flex) Otro ejemplo. ECHO; /* match everything except newline */ \n ECHO; /* match newline */ int yywrap(void) { return 1; } int main(void) { yylex(); return 0; } flex define muchas macros y variables para su uso. ECHO es una macro que escribe el código que responde al patrón Es la acción por defecto para las strings que no corresponden a ningún patrón 10

11 Lexer (flex) #define ECHO fwrite(yytext, yyleng, 1, yyout) yytext puntero a la cadena (terminada en NULL) que responde al patrón yyleng longitud de a la cadena que responde al patrón yyout indica el archivo de salida. Por defecto stdout yywrap es invocada por flex para determinar si consumio toda la entrada Retorna 1 en caso afirmativo, 0 en caso contrario. 11

12 Lexer (flex) El siguiente ejemplo coloca un número de línea a cada línea recibida %{ %} int yylineno; // código C entre %{...%} ^(.*)\n printf("%4d\t%s", ++yylineno, yytext); int main(int argc, char *argv[]) { yyin = fopen(argv[1], "r"); yylex(); fclose(yyin); } // yyin es el archivo de entrada 12

13 Lexer (flex) El siguiente ejemplo cuenta la cantidad de identificadores recibidos digit [0 9] // sustitución letter [A Za z] // sustitución %{ int count; %} {letter}({letter} {digit})* count++; int main(void) { yylex(); printf( number of identifiers = %d\n, count); return 0; } Las referencias a las sustitucioneses se encierran entre llaves {...} 13

14 Parser (bison) Las gramáticas se describen con una variante de Backus Naur Form (BNF) Ejemplo: gramática para suma y producto de expresiones E E + E (r1) E E * E (r2) E id (r3) - Tres producciones - A la izquierda: no terminales - A la derecha: terminales (tokens retornados por flex) Una expresión puede ser la suma de 2 expresiones, el producto de 2 expresiones o un identificador Expresión generada 14

15 Parser (bison) Parseo de una expresión Reducción de la expresión a un único no terminal Parsing bottom-up o shift-reduce Emplea un stack (pila) para almacenar términos. Izquierda al punto(.) dentro de la pila 15

16 Parser (bison) Parseo de una expresión Reducción de la expresión a un único no terminal Parsing bottom-up o shift-reduce Emplea un stack (pila) para almacenar términos. Izquierda al punto(.) dentro de la pila Se puede aplicar también reduce (r1) E E + E antes del shift Error de precedencia Conflicto shift-reduce Gramática ambigua 16

17 Parser (bison) Otro tipo de conflicto, reduce reduce E T E id T id Si id está en el tope del stack, se debe reducir a E o a T? Generalmente, bison realiza lo siguiente frente a confilictos shift reduce : se realiza un shift reduce reduce : aplica reduce de la primer regla posible 17

18 Parser (bison) El programa en bison también se divide en tres secciones separadas con... definitions rules subroutines... La sección de definitions está conformada por: - declaraciones de tokens - código C entre símbolos %{ y %} En la sección rules se ubica la grámatica en BNF En la sección subroutines van las subrutinas definidas por el usuario 18