Tips Para Eficientar Programas (Reducir Espacio En Disco)

Transcripción

1 Tips Para Eficientar Programas (Reducir Espacio En Disco) Miguel Zamudio Montaño indicates USA registration.

2 Resumen Normalmente escribimos programas en SAS, para solventar requerimientos de información, o bien para resolver algún problema específico. No nos detenemos a ver que tan eficiente puede resultar el proceso siempre que obtengamos el resultado esperado. Si estos procesos se corren en un servidor podemos afectar no sólo el desempeño de éste, sino también a los demás usuarios que están compitiendo por los mismos recursos. Por esto es importante programar eficientemente nuestros procesos para garantizar el óptimo aprovechamiento de los recursos y obtener nuestros resultados en el mejor tiempo posible. En esta ocasión veremos el uso de 2 instrucciones (LENGTH y COMPRESS) que nos permitirán optimizar el espacio en disco requerido para almacenar nuestra información.

3 Introducción Para escribir eficientemente un programa, debemos considerar el optimizar los siguientes recursos: I/O.- Mide las operaciones de lectura-escritura de los datos o programas que son transferidos de un dispositivo de almacenamiento a la memoria (input) o viceversa (output). CPU.- Mide el tiempo de procesamiento central para realizar cálculos, lecturas o escrituras, iteraciones, etc. MEMORIA.- Es el espacio de trabajo requerido para retener los programas ejecutables y datos. DISCO.- Es el espacio requerido en disco para almacenar los datos.

4 Introducción Debemos considerar que al decrecer el uso de un recurso, usualmente otro se incrementa, como por ejemplo: La disminución del espacio en disco, a veces implica un incremento en el tiempo de CPU. La disminución de I/O, a veces implica un incremento en la Memoria. Cada usuario debe decidir de qué forma puede optimizar los recursos que tiene disponibles y para ello es recomendable que sepa lo siguiente: Que recursos son escasos o costosos en su servidor. De que forma y con que periodicidad serán ejecutados sus procesos. El tipo y volumen de datos que sus programas procesarán

5 Opción FullStimer Dentro de SAS en el ambiente Unix, disponemos de la opción FULLSTIMER que nos Indica el uso de recursos adicionales al tiempo de CPU, como son: Real Time: Tiempo transcurrido para procesar una tarea en SAS User CPU Time: Tiempo de CPU para ejecutar el código SAS System CPU Time: Tiempo de CPU para realizar tareas del sistema en favor del proceso SAS Memory: Cantidad de memoria para correr un proceso SAS Page Faults: # páginas que SAS trata de acceder y no están en memoria principal y requiere actividad de I/O Page Reclaims: # páginas que se pueden acceder sin actividad de I/O Page Swaps: # de veces que un proceso fue intercambiado fuera de la memoria principal Voluntary Context Switches: # de veces que el proceso SAS renuncia al CPU, debido a una restricción de recursos Involuntary Context Switches: # de veces que el sistema operativo obligó a un proceso a pasar a un estado inactivo Block Input Operations: # de operaciones de I/O realizadas para leer datos de la memoria Block Output Operations: # de operaciones de I/O realizadas para escribir datos a un archivo

6 Sentencia Length Las variables numéricas. Por default ocupan 8 bytes al almacenarse. En Unix, podemos cambiar su tamaño de 3 a 8 bytes (recomendable para enteros). Length in Bytes Largest Integer Represented Exactly Se almacenan como números de punto flotante. La Longitud mínima depende del Sistema Operativo, por ejemplo para Windows / Unix Al leer una variable numérica con una menor longitud Requerimos menos operaciones de I/O. Hacemos uso adicional del CPU. 3 8, ,097, ,870, ,438,953, ,184,372,088, ,007,199,254,740,992

7 Opción Compress Los archivos SAS sin comprimir, presentan las siguientes características: Cada variable ocupa el mismo número de bytes en cada observación. Cada observación ocupa el mismo número de bytes. El descriptor del data set es almacenado al final de la primera página. Hay un encabezado de 16 bytes al inicio de cada página. Hay un encabezado por observación de 1 bit. Las nuevas observaciones son agregadas al final del archivo. El espacio de observaciones borradas no se reutiliza, excepto cuando se reconstruye el archivo. Los archivos SAS comprimidos, presentan las siguientes características: Cada observación es una cadena de bytes. Cada observación puede tener una longitud diferente. Los números y caracteres repetidos consecutivamente son almacenados en pocos bytes. Si al actualizar una observación resulta ser mayor que su tamaño original, ésta se almacena en una página diferente, pero con un apuntador a la página original. El descriptor del data set es almacenado al final de la primera página. Hay un encabezado de 28 bytes al inicio de cada página. Hay un encabezado por observación de 12 bytes en sistemas de 32 bit. Hay un encabezado por observación de 24 bytes en sistemas de 64 bit. El espacio de observaciones borradas se reutiliza cuando se haya encendido la opción REUSE=YES.

8 Opción Compress Hay 2 diferentes algoritmos de compresión que se utilizan en SAS RLE (Run Length Encoding) (compress = YES CHAR). Es más efectivo con datos alfanuméricos que contienen caracteres repetidos como son los blancos RDC (Roos Data Compression) (compress = BINARY). Toma significativamente más tiempo de CPU para descomprimir. Es más eficiente con las observaciones mayores a 1000 bytes de longitud. Puede ser muy efectivo con datos numéricos. Puede ser efectivo con datos alfanuméricos que contengan patrones en lugar de simples repeticiones.

9 Ejemplo Práctico Para mostrar la funcionalidad, Activamos la opción del FullStimer Desactivamos la opción Compress. Creamos un DataSet con información Dummy con 2 millones de registros y 10 variables; 2 de ellas de tipo caracter, 8 de tipo numérico, de los cuales 3 son enteros. Definimos una Macro que copia el Dataset Dummy indicándole si comprime o no la información y si reduce o no la longitud de las variables. Generamos 3 consultas sobre el nuevo DataSet y Obtenemos información con el Proc Contents, cuyo resultado nos indica entre otras cosas, cuanto espacio ocupa en disco el nuevo DataSet. Corremos 6 procesos con diferentes parámetros y los

10 Ejemplo Práctico Descripción de los Procesos Longitud (Bytes) Fecha Nacimiento Ingresos Egresos Monto Crédito Enganche Tasa Proceso Compress Nombre Dirección Edad Estado 1 No No CHAR CHAR BINARY BINARY Resultado del Proc Contents Proceso Número Observaciones Número Variables Longitud Observación File Size (Bytes) Decrease Size Data Set Page Size Number of Data Set Pages 1 2,000, ,829, % 16,384 20, ,000, ,257, % 16,384 18, ,000, ,858, % 16,384 17, ,000, ,762, % 8,192 34, ,000, ,271, % 16,384 22, ,000, ,784, % 8,192 42,209

11 Ejemplo Práctico Resultado del LOG para Crear la Copuia del DataSet Proceso Número Observaciones Número Variables Real Time (Seconds) User CPU Time (Seconds) System CPU Time (Seconds) Memory (K) Page Faults Page Reclaims Page Swaps Voluntary Context Switches Involuntary Context Switches Block Input Operations Block Output Operations 1 2,000, ,072 1, ,000, , ,000, ,063 5,150 1,256 10, ,000, ,380 3,033 1,245 18, ,000, ,069 1,239 21, ,000, ,425 1,243 39,245 Resultado del LOG para realizar la Consulta al DataSet Proceso Número Observaciones Número Variables Real Time (Seconds) User CPU Time (Seconds) System CPU Time (Seconds) Memory (K) Page Faults Page Reclaims Page Swaps Voluntary Context Switches Involuntary Context Switches Block Input Operations Block Output Operations 1 2,000, ,458 3,957 9, ,000, ,869 3,594 6, ,000, ,304 9,292 4,219 1, ,000, ,705 10,223 7, ,000, ,765 4,072 12, ,000, ,274 10,247 9,

12 Ejemplo Dummy options FullStimer; options compress=no; /* Genera una Tabla con 2 millones de registros dummy */ data Proceso(drop=N M P C Col Num i x); length Nombre Direccion $50. Estado Edad FechaNacimiento Ingresos Egresos MontoCredito Enganche Tasa 8. N M P C Col Num $30.; do i=1 to ; x = int(ranuni(1)*4); select (x); when (1) N="María de los Angeles"; when (2) N="Elizabeth"; when (3) N="José Guadalupe"; otherwise N="Gloria"; end; x = int(ranuni(1)*4); select (x); when (1) M="Sánchez"; when (2) M="González"; when (3) M="Ponce de León"; otherwise M="Urdapilleta"; end; x = int(ranuni(1)*4); select (x); when (1) P="Gutiérrez"; when (2) P="Razo"; when (3) P="Zambrano"; otherwise P="Martínez"; end; x = int(ranuni(1)*4); select (x); when (1) C="Insurgentes"; when (2) C="Colima"; when (3) C="Av. Montevideo"; otherwise C="Eje 5 Sur Eugenia"; end; x = int(ranuni(1)*4); select (x); when (1) Col="Col. Industrial"; when (2) Col="Col. Roma"; when (3) Col="Col. Guadalupe Inn"; otherwise Col="Col. Del Valle"; end; x = int(ranuni(1)*4); select (x); when (1) Num=" "; when (2) Num=" "; when (3) Num="252"; otherwise Num=" "; end; Nombre = trim(left(n)) " " trim(left(m)) "" trim(left(p)); Direccion = trim(left(c)) "" trim(left(num)) "" trim(left(col)); FechaNacimiento = int(ranuni(1)*17640); Estado = int(ranuni(1)*32); Edad = nt(intck('months',fechanacimiento,today())/12); Ingresos = int(ranuni(1)*100000); Egresos = int(ingresos*(ranuni(1)*0.5)); MontoCredito = 30*Ingresos; Enganche = (ranuni(1)*0.3)*ingresos; Tasa = (ranuni(1)*0.15); output; end; format FechaNacimiento date9. Ingresos Egresos MontoCredito Enganche comma25.2 Tasa percent25.2; run;

13 Ejemplo Dummy /* Genera una copia de la Tabla dummy indicándole si la comprime y si disminuye la Longitud de algunas variables numéricas (enteras) y realiza sobre esa tabla 3 consultas */ %Macro SasForumMexico2009(Nom,var1,var2,var3); data &Nom.(compress=&var1.); length Nombre Direccion $50. Estado Edad &var2. FechaNacimiento &var3.; set prueba; run; proc sql; create table x1 as select * from &Nom. where edad gt 20; create table x2 as select Edad, sum(ingresos) as Ingresos, sum(egresos) as Egresos, sum(montocredito) as MontoCredito, sum(enganche) as Enganche, count(*) as N from &Nom. group by Edad; create table x3 as select Mean(Edad) as EdadPromedio, ((Tasa*MontoCredito)/MontoCredito) as TasaPromedio from &Nom.; quit; run; /* Ejecuta 6 procesos similares con parámetros distintos */ %SasForumMexico2009(Proceso1,No,8,8); %SasForumMexico2009(Proceso2,No,3,4); %SasForumMexico2009(Proceso3,Yes,8,8); %SasForumMexico2009(Proceso4,Yes,3,4); %SasForumMexico2009(Proceso5,Binary,8,8); %SasForumMexico2009(Proceso6,Binary,3,4); proc contents data=&nom.; run; %Mend;

14 Ejemplo Dummy NOTE: There were observations read from the data set WORK.PROCESO. NOTE: The data set WORK.PROCESO1 has observations and 10 variables. NOTE: DATA statement used (Total process time): real time seconds user cpu time 2.43 seconds system cpu time 3.84 seconds Memory 337k Page Faults 7 Page Reclaims 0 Page Swaps 0 Voluntary Context Switches 622 Involuntary Context Switches 1072 Block Input Operations 1258 Block Output Operations 445 NOTE: Table WORK.X1 created, with rows and 10 columns. NOTE: Table WORK.X2 created, with 70 rows and 6 columns. NOTE: The query requires remerging summary statistics back with the original data. NOTE: Table WORK.X3 created, with rows and 2 columns. NOTE: PROCEDURE SQL used (Total process time): real time seconds user cpu time seconds system cpu time seconds Memory 483k Page Faults 295 Page Reclaims 0 Page Swaps 0 Voluntary Context Switches 6458 Involuntary Context Switches 3957 Block Input Operations 9093 Block Output Operations 670 NOTE: There were observations read from the data set WORK.PROCESO. NOTE: The data set WORK.PROCESO4 has observations and 10 variables. NOTE: Compressing data set WORK.PROCESO4 decreased size by 8.21 percent. Compressed is pages; un-compressed would require pages. NOTE: DATA statement used (Total process time): real time seconds user cpu time 9.19 seconds system cpu time 5.56 seconds Memory 337k Page Faults 9 Page Reclaims 0 Page Swaps 0 Voluntary Context Switches 1380 Involuntary Context Switches 3033 Block Input Operations 1245 Block Output Operations NOTE: Table WORK.X1 created, with rows and 10 columns. NOTE: Table WORK.X2 created, with 70 rows and 6 columns. NOTE: The query requires remerging summary statistics back with the original data. NOTE: Table WORK.X3 created, with rows and 2 columns. NOTE: PROCEDURE SQL used (Total process time): real time seconds user cpu time seconds system cpu time seconds Memory 483k Page Faults 288 Page Reclaims 0 Page Swaps 0 Voluntary Context Switches 5705 Involuntary Context Switches Block Input Operations 7802 Block Output Operations 993

15 Conclusión SAS nos provee de las herramientas para poder optimizar y eficientar los recursos de nuestro servidor. Mencionamos básicamente 2 de estas herramientas que nos permiten reducir el espacio requerido en Disco (COMPRESS Y LENGTH) para almacenar la información y aunque esto implicaría más tiempo de CPU para descomprimir la información, este se compensa con la disminución de operaciones de I/O. Contacto mzamudio@shf.gob.mx

16 About me: Miguel Zamudio

17 THANK YOU FOR ATTENDING