Postgresql 8.4 ~ Monitorización. Explorando las capacidades del servidor

Transcripción

1

2

3 Postgresql 8.4 ~ Monitorización Explorando las capacidades del servidor

4 Agenda Premisas. Monitoreo básico. Herramientas y contribs. Mantenimiento. Nuevas características. Diferencias entre versiones pasadas y futuras. A futuro -> 9.0

5 Premisas Evitar/monitorear la latencia de escritura y lectura. Es lo que tardan los dispositivos de almacenamiento, en devolver los datos. Aumentar/monitorear el rendimiento de salida de resultados. Capacidad de respuesta del servidor. Seguridad. Bases de datos veloces, implican aplicaciones Veloces.

6 Como lograr? Menor latencia de I/O: Más discos. Discos más rápidos. Tablespaces y particiones separadas entre si. Utilización de sistemas de ficheros más avanzados. Rendimiento: Más memoria. Más y mejores procesadores y núcleos. Mejor conexión entre servidores en red. Servidores dedicados.

7 Monitoreo Básico Desde el Sistema Operativo. Se obtiene el rendimiento en términos específicos del sistema operativo y hardware. Desde el motor de Base de datos. Se puede obtener datos de accesos a objetos y cantidad de datos en caché de los mismos.

8 Arquitectura Sistema Operativo Shared Tables Postgresql Caché de bloques Estadísticas Relaciones Shared buffers WAL Datos Índices HW/Almacenamiento

9 Herramientas básicas y contribs. Herramientas internas: pgbench, consultas al catálogo. Herramientas externas: Contribs: Pgfouine (analizador de logs) Estado del servidor desde PgAdmin arrollos/pgstat Pg_stat_statements Pg_buffercache Pgstatuple Pageinspect Adminpack Pg_freespacemap pgrowlocks

10 Monitoreo de Base Estado de los accesos a relaciones. Estado de las estadísticas. Estados de los índices. Estado del caché. Procesos en ejecución. TPS con pgbench, medir rendimiento. Consultas lentas.

11 Monitoreo de Base Estado de los accesos a relaciones. Pg_statio_user_tables Pg_stat_user_tables Tamaños select pg_size_pretty( pg_database_size( ejemplo')); select pg_size_pretty( pg_relation_size('datos'::regclass));

12 Monitoreo de Base Estado de las estadísticas. Pg_stats SELECT * FROM pg_stats WHERE tablename = tabla AND attname = columna ;

13 Monitoreo de Base Estados de los índices. Pg_stat_user_indexes Pg_statio_user_indexes

14 Monitoreo de Base Estado del caché. Cantidad de bloques leídos: Select pg_stat_get_db_blocks_fetched((select datid from pg_stat_database where datname = 'pampabs')); Bloques leídos y en caché: Select pg_stat_get_db_blocks_hit((select datid from pg_stat_database where datname = 'pampabs'));

15 Monitoreo de Base Procesos en ejecución. Pg_stat_activity

16 Monitoreo de Base TPS con pgbench, medir rendimiento. Instalar: pgbench i U<user> <base> Usar: Pgbench Upostgres t10 c10 base T: transacciones C: Clientes

17 Monitoreo de Base Consultas lentas. Activar log_min_duration_statement (milisegundos).

18 Mantenimiento Mantener tablas limpias de tuplas muertas. Índices con el tamaño justo. Estadísticas actualizadas y acordes. Reclusterizar tablas e índices clusterizados. CLUSTER VACUUM Autovacuum Tipos varios Mantenimiento ANALYZE REINDEX

19 Trucos Realizando un ALTER TABLE sin modificar la tabla se obliga la reestructuración. Ordenar los registros físicamente: SELECT * INTO tabla2 FROM tabla ORDER BY columna;

20 Nuevas caraterísticas Funciones de ventana. Common Table Expressions and Recursive Queries. Parametros de funciones con valores por defecto y variables. Parallel Restore. (opción j de pg_restore) Column Permissions Per-database locale settings Improved hash indexes Improved join performance for EXISTS and NOT EXISTS queries Easier-to-use Warm Standby Automatic sizing of the Free Space Map (anteriores se establecia en max_fsm_pages) Visibility Map (greatly reduces vacuum overhead for slowlychanging tables) Psql compatible con versiones anteriores. Support SSL certificates for user authentication. Per-function runtime statistics Easy editing of functions in psql Nuevos contribs /static/release-8-4.html rg/docs/8.4/static/releas e html

21 Permisos por columna GRANT SELECT (col1), INSERT (col2), UPDATE (col3) ON sales_activity TO salesteam;

22 Funciones de ventana Permite realizar cortes de control con sub resultados. Se declaran ventanas particionando u ordenando por columna.

23 Ejemplos WF Definiendo la ventana luego del FROM SELECT sum(i) OVER ventana FROM WINDOW ventana AS (PARTITION BY fecha) Definiendo la ventana en el predicado SELECT row_number() OVER () as fila_numero

24 Expresiones de tabla ueries-with.html Le permite ser al SQL computacionalmente completo. Agrega la utilidad de recursividad.

25 Ejemplo CTE

26 Warm-StandBy Se incluye pg_standby para mantener un esclavo replicado (utiliando log shipping). No permite consultas sobre este nodo. Combinado con pgpool2, se puede armar un failover rápido y prácticamente instantáneo.

27 Consideraciones Si uno requiere mayor performance, quizás en algunas cosas 8.3 sea más performante. 8.4 incluyó mejoras en cuanto a extensibilidad del SQL. El hecho de que el Mapa de espacio libre sea dinámico facilita la administración de bases grandes. 8.4 no permite Hot Stand by, 9.0 (hoy en release Beta) soporta este tipo de replicación.

28 9.0 La característica más esperada de esta versión es el Hot stand By y replicación por streams. _9.0_Open_Items

29 Ejemplos de consultas. ANEXO CONTRIBS Y THIRD PARTY APPS

30 pg_stat_statements Loguea absolutamente todas las consultas. Funciones: pg_stat_statements_re set() Se utiliza: Select * from pg_stat_statements; #Configuracion en el Postgresql.conf: shared_preload_libraries='pg_stat_statem ents' custom_variable_classes='pg_stat_state ments' pg_stat_statements.max = pg_stat_statements.track = all pg_stat_statements.save = on

31 pgfouine Descargar desde pgfoundry.org. Necesita un php-cli. Si tenemos que usar stderr, el log_line_prefix debe establecerse en: %t [%p]: [%l-1] Php pgfouine.php -format htmlwith-graphics logtype stderr file <archivo_log> > result.html

32 pgstattuple Varias funciones de medición estadística. Solo hacen un bloqueo de lectura. pgstattuple( table ) pgstatindex( index ) pg_relpages

33 pgrowlocks Devuelve la información por tupla. Devuelve lock_type. SELECT * FROM general g JOIN pgrowlocks( general ) p ON (g.ctid = p.locked_row);

34 adminpack Funciones para compatibilidad con pgadmin. Generalmente para escritura de archivos y lectura. int8 pg_catalog.pg_file_write(fname text, data text, append bool) bool pg_catalog.pg_file_rename(oldname text, newname text, archivename text) bool pg_catalog.pg_file_rename(oldname text, newname text) bool pg_catalog.pg_file_unlink(fname text) setof record pg_catalog.pg_logdir_ls() /* Renaming of existing backend functions for pgadmin compatibility */ int8 pg_catalog.pg_file_read(fname text, data text, append bool) bigint pg_catalog.pg_file_length(text) int4 pg_catalog.pg_logfile_rotate()

35 Gracias Por asistir y fomentar Postgresql