Aplicación del diseño OLAP al análisis estadístico. La dimensión encuesta: aplicaciones

Transcripción

1 Centro Regional de Estadística de Murcia Resumen: Desde principios de los noventa es cada vez más frecuente el uso de herramientas de Inteligencia Empresarial (Business Intelligence) y más concretamente de soluciones multidimensionales o cubos OLAP para integrar, analizar y difundir la información estadística. Habitualmente diferentes tipos de medidas dan lugar a diferentes tablas de hechos y a diferentes cubos OLAP. Este hecho dificulta la obtención de ratios, medias u otras medidas que combinen distintos tipos de métricas. Además, en todas aquellas operaciones estadísticas que implican el uso de cuestionarios es de gran utilidad tener una visión global de los resultados, lo que permite detectar posibles errores o incoherencias de un solo vistazo. Por todo ello desde el Centro Regional de Estadística de Murcia (CREM) nos planteamos el uso de una dimensión un tanto especial, a la que hemos llamado dimensión encuesta. Esta dimensión engloba todas las medidas del cuestionario, así como posibles miembros calculados derivados de las mismas. Planteamos las ventajas e inconvenientes del uso de este tipo de dimensión y su aplicación en encuestas económicas y demográficas. Palabras Clave: encuesta, multidimensional, OLAP, dimensión, análisis

2 Datawarehouse y cubos OLAP Antes de entrar en la definición de la dimensión encuesta vamos a recordar brevemente los conceptos básicos de un Datawarehouse. Podemos definir un Datawarehouse (DW) o Almacén de Datos como una base de datos orientada al análisis, suele ser la piedra angular de cualquier proyecto de Business Intelligence y se suelen usar como base para su acceso desde herramientas OLAP 1 ("On Line Analytical Processing"). Para facilitar el acceso a la información y su visualización los DW se diseñan siguiendo el llamado modelado dimensional, que consiste en diseñar bases de datos compuestas por tablas de dos tipos bien diferenciados: Tablas de dimensión: contienen todos los atributos relacionados con las medidas o variables numéricas que queremos almacenar en el DW. Tendremos una tabla de dimensión por cada uno de los atributos que definen los hechos (p.ej. si medimos el nº de personas podríamos tener sexo, edad, nacionalidad, ). Estos atributos se ordenan de forma jerárquica. Tablas de hechos: recogen el conjunto de medidas o variables numéricas (nº personas, importe de las ventas, cifra de negocio, ) junto con las claves de las dimensiones que las definen. Normalmente los hechos que se incluyen en la tabla tienen afinidad entre sí y comparten dimensiones. Así, podríamos tener por ejemplo una tabla de hechos de personal en la que las medidas fueran el número de ocupados y el número de ocupados en equivalencia a jornada completa y que cruzara con dimensiones como el sexo, la ocupación (investigadores, técnicos, auxiliares, ), etc. Y difícilmente podríamos encajar en esa tabla de hechos otra en la que midiéramos el gasto en I+D o la cifra de negocios de la empresa. Vamos a introducir el concepto de lo que hemos llamado dimensión encuesta mediante un caso práctico, la modelización de la Encuesta Industrial Anual de Empresas (EIAE). Modelización de la Encuesta Industrial Anual de Empresas Para modelizar la Encuesta Industrial Anual de Empresas (EIAE) partimos de los datos recogidos en el cuestionario (según el cuestionario de 2007) y analizando los bloques en los que se divide podemos diferenciar claramente distintos tipos de datos: Datos de identificación y perfil de la empresa: NIDENT, provincia, municipio, razón social, naturaleza jurídica, titularidad, tamaño de la empresa, actividad económica, titularidad, pertenece a grupo de sociedades, tiene participación de capital extranjero, control sobre alguna empresa extranjera, Datos de personal y horas trabajadas: nº medio de ocupados (remunerados y no remunerados), horas trabajadas (por personal remunerado y no remunerado) Ingresos de explotación: cifra de negocios, trabajos realizados para el inmovilizado, subvenciones de explotación, otros ingresos de explotación, Existencias: existencias finales e iniciales de materias primas, otros aprovisionamientos, Gastos de explotación: consumos, gastos de personal, servicios exteriores, dotaciones para amortización del inmovilizado, Inversión: inversión en activos materiales e inversión en activos inmateriales 1 OLAP (online analytical processing o procesamiento analítico en línea) es un término acuñado por Edgar Frank Codd & Associates, que publicó un libro blanco en 1993, encargado por Arbor Software (que paso a ser Hyperion Solutions y posteriormente absorbida por ORACLE), titulado "Prestación de OLAP (Procesamiento Analítico OnLine) para análisis de usuario: Un mandato de las TI" ("Providing OLAP to UserAnalysts: An IT Mandate"). 2

3 Impuestos sobre la actividad productiva: IVA, IAE, impuestos especiales, Resultado del ejercicio Información complementaria relativa al empleo: asalariados a tiempo parcial y horas trabajadas por asalariados a tiempo parcial, trabajadores a domicilio, Estructura de la cifra de negocios: actividad industrial principal, otras actividades industriales, Subcontratación de servicios industriales: ingresos, pagos. Datos de localización: establecimiento industrial único o empresa multilocalizada Como hemos comentado los hechos vendrían dados por medidas, es decir, por valores numéricos, así que directamente todo lo que son datos de identificación y otras características de la empresa o del establecimiento industrial no numéricas conformarían una o varias dimensiones. Respecto a las medidas, en la mayoría de los casos se ven claramente definidos por distintas dimensiones. Por ejemplo: los datos de personal y horas trabajadas por la dimensión tipo de personal (remunerado y no remunerado), la inversión por el tipo de activo (materiales/inmateriales y dentro de cada tipo su desglose), los ingresos de explotación por el tipo de ingreso, Cada una de las métricas asociadas a distintas dimensiones dan lugar a tablas de hechos distintas bien diferenciadas. Figura 1. Modelo de base de datos para la EIAE 3

4 Este análisis daría lugar a un modelo complejo en el que tendríamos distintas tablas de hechos con sus dimensiones asociadas, como el que se puede observar en la figura 1, o similar. Y este modelo habría de analizarse en distintos cubos OLAP, normalmente tantos como tablas de hechos o bien podríamos unir varias tablas de hechos en un mismo cubo, dando lugar a multitud de celdas vacías, tantas como resultaran de los cruces de dimensiones imposibles. Para poder extraer información deberemos conocer que cruces de dimensiones tienen sentido para cada medida. Si quisiéramos realizar el cálculo de ratios, coeficientes o cualquier otra medida que combine datos de distintas tablas de hechos, por ejemplo comparar variables económicas con variables de personal: salario medio, coste salarial medio, productividad, Tendríamos que crear una nueva tabla que las uniera o un nuevo cubo en el que utilizáramos ambas tablas de hechos. El enfoque de la dimensión encuesta Para poder cruzar medidas de diverso tipo surge la necesidad de realizar cubos OLAP o tablas de hechos que unan las diferentes medidas. Esta unión podría hacerse simplemente incorporando gran cantidad de medidas en el cubo, o utilizando cubos basados en varias tablas de hechos, lo que puede ir complicando la navegación. Además en los casos en los que no todas las medidas tuvieran valores en las distintas dimensiones tendríamos muchas casillas en blanco, sin dato. En algunos casos incluso nos puede interesar navegar por las medidas de una forma jerárquica similar a las de las dimensiones. Por todo esto surge el concepto de dimensión encuesta como un modelo alternativo. La dimensión encuesta no es más que una dimensión ficticia (puesto que no sigue ninguna jerarquía lógica ni ningún orden natural ) en la que presentamos de forma ordenada todas las medidas que hacen referencia a un mismo cuestionario, a una misma empresa, individuo o cualquier otra unidad de observación. En gran medida no es más que un reflejo del cuestionario con el que se recogen los datos. Al utilizar la dimensión encuesta no tendremos ya medidas que sean Gastos o Nº de ocupados sino que tendremos una única medida a la que podemos llamar VALOR que contendrá datos de personal, de gastos o incluso ratios dependiendo del miembro de la dimensión encuesta que estemos visualizando. Esta forma de trabajar supone, como veremos a continuación, una serie de ventajas e inconvenientes que hacen necesario un profundo análisis de para qué y cómo queremos utilizar la información? La primera parte importante del proceso de diseño de un DW que incluya la dimensión encuesta es determinar que dimensiones además de la propia dimensión encuesta tiene o no tiene sentido incluir. Puesto que vamos a recoger la mayoría de medidas y dimensiones de forma ordenada dentro de la dimensión encuesta, está se va a convertir en una dimensión bastante grande y no conviene penalizar el rendimiento con multitud de dimensiones que al fin y al cabo nos van a proporcionar información que en muchos casos podríamos incluir o ya hemos incluido dentro de la dimensión encuesta. La pregunta a plantearse es qué información o qué dimensiones queremos realmente cruzar? O incluso qué información queremos cruzar con gran parte de las medias incluidas en la dimensión encuesta?, o lo qué es lo mismo qué información queremos cruzar con gran parte de los apartados del cuestionario? 4

5 Cuando nos planteamos la publicación de una encuesta generalmente la información que podemos llamar de cruce suele ser la información identificativa, de forma que podríamos definir un cubo en el que como dimensiones tengamos por un lado las distintas dimensiones con la información identificativa (para empresas: tamaño, actividad económica, localización, ) y por otro lado una dimensión que incluya la práctica totalidad del cuestionario a la que llamamos dimensión encuesta. Esta dimensión encuesta se estructura de una forma similar al cuestionario e incluye toda la información relativa al individuo/empresa o unidad de información excepto los datos de identificación. Incluso podríamos incluir dentro de esa dimensión encuesta determinadas medidas calculadas que queramos presentar también jerarquizadas como puede ser el caso de la Producción con sus componentes o el Valor Añadido Bruto. Figura 2. Fragmento de la dimensión encuesta de la EIAE A la hora de definir el resto de dimensiones tendremos que plantearnos hasta que punto es interesante para nuestro estudio o para nuestra publicación el cruzar esos datos con el resto de la encuesta. Por ejemplo, supongamos una variable de identificación que sea la titularidad de la empresa, si estamos ante una encuesta como la industrial en la que las empresas de titularidad pública representan aproximadamente un 0,4% del total de empresas, hemos de decidir cómo es de importante para nosotros el poder visualizar en nuestro cubo los datos diferenciados por titularidad. Si realmente no nos interesa, la opción seria incluir dentro de la dimensión encuesta un miembro llamado Titularidad que nos permita controlar si en años sucesivos cambian las proporciones y las empresas públicas adquieren tanta importancia como para sacarlas de la dimensión encuesta a una dimensión de cruce. En cualquier caso si el cruce es pequeño o se da sólo con unos pocos miembros de la dimensión encuesta podríamos incluirlo dentro de la misma. Por ejemplo, supongamos que hemos considerado una dimensión cifra de negocio, que agrupa a las empresas según su intervalo de cifra de negocio y hemos decidido que dicha dimensión sólo nos interesa cruzarla con la producción de la empresa. En ese caso podemos integrar dentro de la dimensión encuesta como un subnivel de la producción la cifra de negocio, ya que tenemos claro que en ningún caso vamos a querer cruzar la cifra de negocio con ningún otro de los datos que de la dimensión encuesta ni del resto de dimensiones del modelo. 5

6 Figura 3. Fragmento de la dimensión encuesta en el que se cruzan dos dimensiones Haciendo este tipo de análisis y con el uso de la dimensión encuesta, podemos proponer un nuevo modelo para la EIAE (figura 4), visiblemente más sencillo que el de la figura 1. Figura 4. Modelo de base de datos para la EIAE incluyendo dimensión encuesta Con este modelo pasamos de las 32 tablas anteriores, mas una serie de tablas intermedias que permitían el análisis simultáneo de distintas medidas, a un modelo en estrella de 15 tablas. 6

7 Implementación Una vez decidido el uso de la dimensión encuesta, el primer paso como ya hemos comentado será decidir que se incluye dentro de la dimensión encuesta y que otras dimensiones incluye nuestro modelo. Inicialmente crearemos las tablas de las distintas dimensiones y sus miembros. Una vez creadas las dimensiones hemos de cargar la tabla de hechos. El enfoque de la dimensión encuesta presenta un pequeño inconveniente al cargar la tabla de hechos y es que una empresa que en los datos originales viene representada por un registro al introducirla en nuestra tabla de hechos da lugar a un registro por cada uno de los miembros de nuestra dimensión encuesta. Veamos este hecho con el ejemplo de la EIAE. En la siguiente imagen se observa una parte de la dimensión encuesta. El registro original de la empresa A que tiene en cierta posición las Ventas netas de productos, en otra las ventas netas de mercadería, y es una única fila en el fichero de datos, tendremos que cargarlo en nuestra tabla de hechos tantas veces como distintos elementos (distintos ID_ENCUESTA) tengamos, y en todos esos casos tendremos que volver a rellenar los datos del resto de dimensiones que hemos considerado de cruce. Figura 5. Fragmento de la tabla DIM_ENCUESTA de la EIAE Por lo que, en un principio, habría que leer cada registro original tantas veces como elementos tenga la dimensión encuesta. Para solucionar este problema y dado que los valores del resto de dimensiones son siempre los mismos para una misma empresa, creamos una tabla intermedia que combina los valores de todas las dimensiones y que iremos insertando en la tabla de hechos para cada uno de los elementos definido en la dimensión encuesta. Así si tenemos registros con los datos de la EIAE, creamos una tabla combinación que también tendrá 1632 registros en la que incluimos los identificadores de la actividad de la empresa, la actividad del establecimiento, el tamaño de la empresa, y el resto de dimensiones de cruce. Llenaremos nuestra tabla de hechos tomando para cada ID_ENCUESTA los identificadores del resto de dimensiones de la tabla de combinación y el valor correspondiente de los datos originales. Para nuestra dimensión encuesta del año 2007 con 182 miembros tendríamos en la tabla de hechos x 182 = registros (en realidad son menos, ya que hay miembros de la dimensión encuesta que se filtran según el tamaño de la empresa al tener la EIAE distintos cuestionarios según el tamaño). Este proceso de carga lo llevamos a cabo utilizando scripts de Oracle. Una vez cargada las dimensiones y las tablas de hecho ya podemos utilizar alguna herramienta OLAP para definir el cubo y acceder a los datos. En nuestro caso utilizamos SAS OLAP Cube Studio para la creación del cubo y SAS Enterprise Guide o Excel para su visualización. 7

8 Figura 6. Pasos de implementación de un modelo con la dimensión encuesta Ventajas del uso de la dimensión encuesta Veamos algunas de las ventajas del uso de la dimensión encuesta: Simplificación del modelo de datos, como hemos podido ver con el ejemplo de la EIAE. Siempre que se siga el árbol de navegación es muy fácil obtener la información siguiendo el esquema del cuestionario. Se pueden realizar informes con mucha información sin tener que obtenerla de distintos cubos. Es un fiel reflejo de los cuestionarios, y si el tamaño del DW permite la inclusión de una dimensión empresa/individuo permite tener de un simple vistazo toda la información de un cuestionario. Facilita el cálculo de ratios, ya sea precalculándolos en la carga de la tabla de hechos o bien añadiéndolos al cubo como miembros calculados (definiéndolos en MDX). Permite una fácil comprobación de la información y detección de posibles errores. En la figura 7 podemos observar claramente que el dato de personal en I+D por titulación y sexo es incorrecto y que los distintos datos de gasto coinciden. Del mismo modo utilizando una métrica de conteo podríamos detectar algún dato ausente y navegando por el cubo o bajando al detalle localizaríamos el cuestionario/cuestionarios que generan el problema. 8

9 Figura 7. Detección de errores con la dimensión encuesta Podemos crear miembros dentro de las jerarquías de la dimensión encuesta que agrupen determinadas medidas, aunque en si mismos no tengan ningún valor. Esto nos puede interesar por ejemplo para tener un nivel que distinga los diferentes apartados, como en el siguiente ejemplo de la Encuesta Social. Figura 8. Miembros sin valor para diferenciar apartados 9

10 Problemas que se plantean con el uso de la dimensión encuesta El uso de la dimensión encuesta, como cualquier otro modelo, no esta exento de problemas. Hagamos un repaso de los que hemos detectado y de las alternativas o soluciones encontradas, en su caso: Existencia de valores de dimensión duplicados: en un mismo nivel de la dimensión podemos tener miembros con el mismo nombre pero que representen cosas distintas y por tanto con valores diferentes. Figura 9. Miembros repetidos en el nivel 2 de la dimensión encuesta Para evitar este problema hay que respetar siempre el árbol de navegación para saber en que punto nos encontramos y a qué hace referencia exactamente cada valor. Figura 10. Miembros repetidos en el nivel 2 de la dimensión encuesta definidos por sus padres En cualquier consulta al cubo hemos de tener presente la dimensión encuesta. Si quisiéramos ver por ejemplo el número de cuestionarios en la muestra tendremos que seleccionar como filtro, o bien a filas o a columnas, un miembro de la dimensión encuesta en el que sepamos que están incluidos todos los cuestionarios, ya que sino seleccionamos 10

11 la encuesta lo que tenemos es el número de cuestionarios tantas veces como veces está ese mismo registro en la dimensión encuesta. Esto se puede solucionar creando una medida especial (en sas: unique member counts), más o menos fácil según la herramienta que estemos utilizando y siempre que en alguna dimensión tengamos un identificador único de los cuestionarios. Figura 11. Conteo filtrando por la dimensión encuesta Como se observa en estas imágenes si visualizamos el número de cuestionarios filtrando por un elemento de la dimensión encuesta (figura 11) tendremos el número correcto de cuestionarios, si no incluimos en la consulta la dimensión encuesta (figura 12) lo que obtenemos es el número de cuestionarios multiplicado por el número de elementos de la dimensión encuesta que le afectan. Figura 12. Conteo sin incluir la dimensión encuesta en la consulta 11

12 Existe un gran total, que no tiene ningún sentido, ya que suma el valor de todos los valores definidos por cada id_encuesta (en nuestro ejemplo suma ingresos con gastos, con personal, con horas,.) este total se puede eliminar de la vista pero no se puede borrar por defecto ni sustituir por un valor en blanco. La estructura de la dimensión encuesta puede dar lugar a valores de dimensión sin valor en ninguna medida. Estos valores se crean solamente para diferenciar en la estructura jerárquica de la dimensión pero no tienen una medida asociada (por ejemplo SEC79 en el cubo de la Encuesta Industrial, o distintos apartados en la encuesta social). Como los cubos OLAP suelen agregar los valores o bien están preparados para otros cálculos hay que ocultar los valores de la medida asociados a estos valores de dimensión. Esto no siempre es sencillo. Tendremos que utilizar tablas de agregación o alguna fórmula en MDX. Figura 13. Total oculto mediante tablas de agregados Cuando existen preguntas de respuesta múltiple los totales que agrega el cubo son incorrectos, esto se puede solucionar con tablas de agregados como en el punto anterior. Un solo registro del archivo original da lugar a multitud de registros en la tabla de hechos (tantos como filas existan en la dimensión encuesta). Puede surgir la necesidad de cruzar valores de la propia dimensión encuesta. Habría que sacar de la dimensión encuesta alguno de estos valores en una dimensión de cruce. Esto afectaría a todo el proceso, desde la carga inicial de los datos. De hecho a veces es conveniente sobre todo cuando se introducen conceptos nuevos en un cuestionario incluirlos inicialmente en la dimensión encuesta, no porque vayamos a publicarlos, sino para estudiar el fenómeno de forma que si en algún momento detectamos que toma la suficiente consistencia decidamos sacarlo fuera de la dimensión encuesta y tratarlo como una dimensión de cruce. 12