Oracle Database 12c - Histogramas

Transcripción

1 Oracle Database 12c - Histogramas Gaston Aprile Mail to: gaaprile@cl.ibm.com gasaprile@gmail.com IBM Corporation

2 Contenido Performance Que son las estadísticas? Que son los Histogramas? Tipos de Histogramas Como calcularlos? Cuando usamos Histogramas? 18 November

3 Si una consulta tarda 15 horas la consulta no es performante? El objetivo es comprender porque son 15 horas 18 November

4 Que son las estadísticas? La estadística es información que colecta la Base de Datos relacionada a los objetos y por la cual el optimizador toma sus decisiones al momento de la ejecución de consultas. 18 November

5 Que son los Histogramas? Son datos estadísticos que reflejan la distribución de la información dentro de una tabla. Esto quiere decir, conoce como es la distribución de los datos dentro de los campos de la tabla. Buckets 254 (11.2)/ 2048 pero con 254 default (en 12.1) 18 November

6 Tipos de Histogramas Frecuency (pre-12c) Height-Balanced (pre-12c) Top Frecuency (nuevo en 12c) Hybrid (nuevo en 12c) 18 November

7 Tipos de Histogramas - Frecuency (pre-12c) El número de Buckets es igual al número de Distinct Values El End_Point_Number es el número del Bucket. Representa el valor numérico en sí acumulado de la frecuencia. El End_Point_Value muestra una representación numérica del valor en sí del número del Bucket. En el caso de valores no-numéricos, los valores de los histogramas se transforman a un valor numérico. 18 November

8 Tipos de Histogramas - Frecuency (pre-12c) SQL> set linesize 220 pages SQL> select valor2, count(1) from table group by valor2 order by valor2; VALOR2 COUNT(1) rows selected. SQL> SELECT endpoint_value, endpoint_number, endpoint_number - LAG(endpoint_number, 1, 0) OVER (ORDER BY endpoint_value) AS frequency FROM user_tab_histograms WHERE table_name = 'TABLA' AND column_name = 'VALOR2' ORDER BY endpoint_value; ENDPOINT_VALUE ENDPOINT_NUMBER FREQUENCY Nombre del Bucket Es la cantidad de valores en el Bucket Buckets 6 rows selected. 18 November

9 Tipos de Histogramas - Frecuency (pre-12c) explain plan set statement_id '101' for select * from tabla where valor2 = 101; explain plan set statement_id '102' for select * from tabla where valor2 = 102; explain plan set statement_id '103' for select * from tabla where valor2 = 103; explain plan set statement_id '104' for select * from tabla where valor2 = 104; explain plan set statement_id '105' for select * from tabla where valor2 = 105; explain plan set statement_id '106' for select * from tabla where valor2 = 106; select statement_id, cardinality from plan_table where id = 0; STATEMENT_ID CARDINALITY rows selected. explain plan set statement_id '105' for select * from tabla where valor2 = 105; Id Operation Name Rows Bytes Cost (%CPU) Time SELECT STATEMENT K 12 (0) 00:00:01 * 1 TABLE ACCESS FULL TABLA K 12 (0) 00:00: November

10 Tipos de Histogramas - Frecuency (pre-12c) Que pasa cuando el valor2 no existe en el histograma? explain plan set statement_id '090' for select * from tabla where valor2 = 90; explain plan set statement_id '103.5' for select * from tabla where valor2 = 103.5; explain plan set statement_id '111' for select * from tabla where valor2 = 111; select statement_id, cardinality from plan_table where id = 0; STATEMENT_ID CARDINALITY rows selected. Si el valor está entre el mínimo y el máximo el optimizador toma el histograma con menor valor y lo divide por 2. En nuestro caso el Bucket 101 tiene 8 valores, por la cual la cardinalidad es 4 Si el valor esta fuera del mínimo y el máximo dependerá de la distancia entre el mínimo valor y el máximo valor respecto a la frecuencia 18 November

11 Tipos de Histogramas - Height-Balanced (pre-12c) La cantidad de Buckets es menor a la cantidad de Distinct Values Se agrega el Bucket 0 para indicar el valor mínimo de los histogramas El Endpoint_Value intenta representar el valor de la columna dentro del Histograma El Endpoint_Number muestra el número del Bucket Cada Bucket representa un rango de valores que contienen aproximadamente la misma cantidad de registros. 18 November

12 Tipos de Histogramas - Height-Balanced (pre-12c) SQL> exec dbms_stats.gather_table_stats( ownname => 'SH', tabname => 'CUSTOMERS', estimate_percent => 100,method_opt => 'FOR ALL COLUMNS SIZE 254',cascade => true); SQL> select count(distinct CUST_CITY_ID) from sh.customers group by 1; COUNT(DISTINCTCUST_CITY_ID) SQL> SELECT count(1) FROM dba_tab_histograms WHERE owner = 'SH' and table_name = 'CUSTOMERS' AND column_name = 'CUST_CITY_ID'; COUNT(1) November

13 Tipos de Histogramas - Height-Balanced (pre-12c) SELECT owner, table_name, column_name, endpoint_number, endpoint_value FROM dba_tab_histograms WHERE owner = 'SH' and table_name = 'CUSTOMERS' AND column_name = 'CUST_CITY_ID' ORDER BY endpoint_value; OWNER TABLE_NAME COLUMN_NAME ENDPOINT_NUMBER ENDPOINT_VALUE SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID SH CUSTOMERS CUST_CITY_ID select CUST_CITY_ID, count(1) from sh.customers where CUST_CITY_ID between and group by CUST_CITY_ID order by 2 desc; CUST_CITY_ID COUNT(1) Un Bucket puede contener mas de un Distinct Value (2 vs 3) 18 November

14 Tipos de Histogramas - Height-Balanced (pre-12c) El siguiente ejemplo es la estimación realizada por el optimizador cuando se utilizan Histogramas Heigth-Balance: explain plan set statement_id 'C52372' for select * from sh.customers where CUST_CITY_ID = 52372; Tiene 16 registros explain plan set statement_id 'C52374' for select * from sh.customers where CUST_CITY_ID = 52374; Tiene 238 registros explain plan set statement_id 'C51806' for select * from sh.customers where CUST_CITY_ID = 51806; Tiene 932 registros STATEMENT_ID CARDINALITY C C C November

15 Tipos de Histogramas - Height-Balanced (pre-12c) El gran problema con los Histogramas Balanceados es que un cambio en la distribución de los datos dentro de la columna, puede dar lugar a que un Valor pase a ser Popular por la cual la estimación de la Cardinalidad en el cálculo del plan de ejecución cambia rotundamente: SQL> col owner format a5 col table_name format a10 col column_name format a20 select owner, table_name, column_name, endpoint_number, endpoint_value, Jumps, decode(jumps,1, 'Non-popular Value','Popular Value') as popular from ( SELECT owner, table_name, column_name, endpoint_number, endpoint_value,endpoint_number - LAG(endpoint_number, 1, 0) OVER (ORDER BY endpoint_value) AS Jumps FROM dba_tab_histograms WHERE owner = 'SH' and table_name = 'CUSTOMERS' AND column_name = 'CUST_CITY_ID' ORDER BY endpoint_value) where endpoint_value in (51806, 52372, 52374) order by endpoint_value; OWNER TABLE_NAME COLUMN_NAME ENDPOINT_NUMBER ENDPOINT_VALUE JUMPS POPULAR SH CUSTOMERS CUST_CITY_ID Popular Value (numrows_tabla)*(num_de_endpoints_del_valor/total_endpoints) SH CUSTOMERS CUST_CITY_ID Non-popular Value (numrows_tabla) * density 0 +certero y 1 certero (La densidad se puede ver en la vista DBA_TAB_COLUMNS) 18 November

16 Tipos de Histogramas - Top Frecuency (nuevo en 12c) Se basan en los Histogramas Frecuencia Para que los Top-Frecuency sean útiles, el numero de valores Populares tiene que ser al mayor o igual al número de Buckets generados, cuando los valores No-Populares tienden a ser descartados El % de registros Populares tiene que ser mayor al % P -> (1-(1/n))*100, donde n es el número de Buckets 18 November

17 Tipos de Histogramas - Top Frecuency (nuevo en 12c) SQL> select registro, count(1) from tabla3 group by registro order by 1; REGISTRO COUNT(1) rows selected. 18 November

18 Tipos de Histogramas - Top Frecuency (nuevo en 12c) set linesize 220 pages 1000 col owner format a6 col table_name format a10 col column_name format a20 select owner, table_name, column_name, endpoint_number, endpoint_value, Jumps, decode(jumps,1,'non-popular Value','Popular Value') as Popular from ( SELECT owner, table_name, column_name, endpoint_number, endpoint_value,endpoint_number - LAG(endpoint_number, 1, 0) OVER (ORDER BY endpoint_value) AS Jumps FROM dba_tab_histograms WHERE owner = 'SYSTEM' and table_name = 'TABLA3' AND column_name = 'REGISTRO' ORDER BY endpoint_value) order by endpoint_value; OWNER TABLE_NAME COLUMN_NAME ENDPOINT_NUMBER ENDPOINT_VALUE JUMPS POPULAR SYSTEM TABLA3 REGISTRO Popular Value SYSTEM TABLA3 REGISTRO Popular Value SYSTEM TABLA3 REGISTRO Popular Value SYSTEM TABLA3 REGISTRO Popular Value SYSTEM TABLA3 REGISTRO Popular Value SYSTEM TABLA3 REGISTRO Popular Value SYSTEM TABLA3 REGISTRO Popular Value SYSTEM TABLA3 REGISTRO Popular Value SYSTEM TABLA3 REGISTRO Popular Value SYSTEM TABLA3 REGISTRO Non-popular Value 10 rows selected. SQL> 18 November

19 Tipos de Histogramas - Hybrid (nuevo en 12c) Combina características de los Histogramas de Frecuencia y los Balanceados Cada Distinct Value es asociado a un Bucket. El concepto de Popular Value no existe Por lo tanto, cada Bucket tiene un número distinto de registros Oracle 12c tiende a utilizar los Histogramas Híbridos en lugar a los Balanceados Agrega el concepto de Endpoint_repeat_count que indica la cantidad de veces que un Endpoint_value se repite dentro del Bucket 18 November

20 Tipos de Histogramas - Hybrid (nuevo en 12c) set linesize 220 pages 1000 col owner format a6 col table_name format a10 col column_name format a20 select owner, table_name, column_name, endpoint_value, endpoint_number, endpoint_repeat_count from dba_tab_histograms WHERE owner = 'SYSTEM' and table_name = 'TABLA4' AND column_name = 'REGISTRO'; OWNER TABLE_NAME COLUMN_NAME ENDPOINT_VALUE ENDPOINT_NUMBER ENDPOINT_REPEAT_COUNT SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO SYSTEM TABLA4 REGISTRO La información que tiene el Histograma Hibrido es mas completa en comparación con el Histograma Balanceado SQL> select * from ( select registro, count(1) from tabla4 group by registro order by 1) REGISTRO COUNT(1) November

21 Como calcularlos? FOR ALL COLUMNS SIZE AUTO Generarahistogramaspara todacolumnaque detecte que los datos no son Uniformes FOR ALL COLUMNS SIZE REPEAT Re-Generara los histogramas para las columnas que ya tenga histogramas generados previamente METHOD_OPT=>'FOR COLUMNS REGISTRO SIZE 10 Le indicamosque para la columna registro, genere 10 Buckets METHOD_OPT=>'FOR COLUMNS SIZE 1 Forzamosa la No generaciónde Histogramas La información de como se utilizan las columnas se encuentra en la vista SYS.COL_USAGE$. La próxima vez que se generen estadísticas, el paquete DBMS_STATS consultará la vista y determinará si se necesitan histogramas. Si la tabla nunca se uso, nunca habrá información en la COL_USAGE$. 18 November

22 Cuando usamos Histogramas? SI tener Histogramas En columnas que aparecen en el Where de Querys En columnas donde la distribución no es uniforme No tener Histogramas Cuando en el Where se utilizan Binds La información en la columna esta distribuida de manera uniforma En columnas donde no aparecen en los Where de Querys En columnas Unique 18 November

23 18 November