IBM SPSS Data Preparation

Transcripción

1 IBM SPSS Data Preparation Mejore la preparación de datos para resultados más precisos Características Identificar casos sospechosos o inválidos, variables, y valores de datos Visualizar patrones de datos perdidos Resumir las distribuciones de las variables Preparar los datos para el análisis de forma precisa y rápida Todos los investigadores necesitan preparar sus datos antes de comenzar el análisis. Aunque IBM SPSS Statistics Base incluye herramientas para la preparación de datos, a veces se necesitan técnicas más especializadas para tener los datos listos. Con IBM SPSS Data Preparation le permite identificar fácilmente casos, variables o valores sospechosos o inválidos; ver patrones de datos perdidos; resumir distribuciones de variables y trabajar de una forma más precisa con los algoritmos designados para atributos nominales. Esto mejora la efectividad del proceso de preparación de datos de manera que los análisis serán más rápidos y las conclusiones más precisas. IBM SPSS Data Preparation está disponible para su instalación como cliente únicamente, pero para obtener un mayor desempeño y escalabilidad, puede ser utilizado en un servidor. Opciones adicionales para la validación de datos El procedimiento de validación La validación de datos ha sido típicamente un proceso manual. Se debían examinar las frecuencias de los datos, imprimirlas, marcar lo que había que corregir y comprobar los identificadores de los casos. Lógicamente, esto llevaba mucho tiempo. Y además era posible que cada analista utilizara un método ligeramente distinto, lo cual hacía difícil mantener la coherencia de un proyecto a otro. Para eliminar el proceso manual de validación de datos utilice el procedimiento de Validación de Datos. Este procedimiento le permite aplicar reglas para realizar comprobaciones de datos basadas en el nivel de medición de cada variable (ya sea categórica o continua). Por ejemplo, si está analizando los datos de una encuesta que tiene variables en una escala Likert de cinco puntos, puede usar el procedimiento Validación de Datos para aplicar una regla para escalas de cinco puntos y marcar todos los casos que tengan valores fuera del rango 1-5. Puede recibir informes de casos no válidos, así como resúmenes de incumplimientos de reglas y el número de casos afectados. Puede especificar reglas de validación para variables individuales (como comprobaciones de rango) y comprobaciones de variables cruzadas (por ejemplo hombres embarazados ).

2 Con esta información podrá determinar la validez de sus datos y remover o corregir casos sospechosos a discreción antes del análisis. Valide datos en un solo paso de manera automática La validación manual es un proceso complejo que consume entre un 40 y 90% del tiempo del analista. Si usted necesita resultados rápidos, el procedimiento de Preparación Automática de Datos (ADP por sus siglas en inglés) le ayuda a detectar y corregir errores de calidad e imputar valores perdidos en un solo paso. La característica ADP le proporciona un reporte fácil de comprender con recomendaciones y visualizaciones que le ayudarán a determinar cuáles son los datos a utilizar en el análisis. El procedimiento de detección de anomalías Prevenga valores atípicos de análisis sesgados al utilizar el procedimiento de Detección de Anomalías. Este procedimiento busca casos atípicos basándose en las desviaciones de casos similares e indica los motivos de esas desviaciones. Permite señalar los datos atípicos creando una nueva variable. Una vez que haya identificado los casos inusuales, podrá examinarlos y determinar si debería incluirlos o no en los análisis. Categorización Optima Para utilizar algoritmos apropiados para variables nominales (tales como Naive Bayes y modelos logit), debe categorizar sus variables de escala antes de la construcción del modelo. Si las variables de escala no están categorizadas, algoritmos tales como regresión logística multinomial pueden tardar mucho tiempo en procesarse o pueden no converger. Esto sucede especialmente con conjuntos de datos grandes. Además, los resultados obtenidos pueden resultar difíciles de leer o interpretar. La categorización óptima le permite determinar puntos de corte que le ayuden a conseguir el mejor resultado posible con los algoritmos diseñados para atributos nominales. Con este procedimiento puede elegir entre tres tipo de categorización para el pre-procesamiento de datos antes de la construcción del modelo: Figura 1: La característica de Preparación de Datos Automática le proporciona recomendaciones y le permite a los usuarios examinarlas. Sin supervisión: cree categorías con las mismas distancias Supervisado: utilice la variable objetivo para determinar los puntos de corte. Este método es más preciso que el método sin supervisión; de cualquier forma, es más intensivo en cómputo Enfoque híbrido: combina los dos enfoques anteriores. Este método es particularmente útil cuando se dispone de una gran cantidad de valores distintos

3 Compartir y re-utilizar sus activos eficientemente, protegerlos de forma tal que se cumplan requerimientos internos y externos, y publicar resultados para que varios usuarios pueden visualizarlos e interactuar con ellos es posible con IBM SPSS Collaboration and Deployment Services Nuestra suite de software estadístico ahora está disponible en tres ediciones: IBM SPSS Statistics Standard, IBM SPSS Statistics Professional e IBM SPSS Statistics Premium. Al agrupar las capacidades esenciales, estas tres ediciones le proporcionan una forma eficiente de poner al alcance de analistas y usuarios de negocio, las herramientas que necesitan para realizar el análisis que contribuye al éxito de su organización. Características Automatización en la preparación de datos Pasos recomendados para acelerar la construcción de modelos y mejorar el poder predictivo Determinación de objetivos: Balance de la velocidad y precisión, Optimización de la velocidad, Optimización de la precisión, o Personalización del análisis Preparación de fechas y horas para el modelado -Ingrese periodos como una referencia de fecha -Ingrese periodos como una referencia de hora -Extraiga elementos de tiempo cíclicos Elimine campos de baja calidad -Elimine los campos con muchos valores perdidos -Elimine campos nominales con muchas categorías únicas -Elimine campos categóricos con muchos valores en una sola categoría Ajuste los niveles de medida -Ajuste los niveles de medida de campos numéricos Prepare los campos para mejorar la calidad de los datos -Administración de nuevos campos -Reemplazo de valores perdidos -Reemplazo de campos nominales Re escalamiento de campos -Análisis ponderado Campos continuos de ingreso Campos continuos de objetivos Transformación de campos -Uso de ambos campos de ingreso (categóricos y/o continuos) Selección de características y de construcción Campos de nombre -Campos transformados y construidos -Duración de desempeño -Extracción de elementos de tiempo cíclicos Aplicación de las transformaciones a los datos

4 Validar Datos Utilice el procedimiento de Validación de Datos para validar datos del archivo de trabajo. Comprobaciones básicas: especifique las comprobaciones básicas que quiere aplicar a las variables y casos de su archivo. Por ejemplo, cree informes que identifiquen variables con proporción elevada de valores perdidos o casos vacíos -Porcentaje máximo de valores faltantes -Porcentaje máximo de casos de una única categoría -Porcentaje máximo de casos con recuento 1 -Coeficiente de variación mínimo -Desviación estándar mínima -Marcar los identificadores duplicados -Marcar los casos vacíos Reglas estándar: puede describir los datos, ver las reglas de una variable y aplicarlas a las variables de análisis -Descripción de los datos: -Distribución: muestra un gráfico de barras en miniatura de las variables categóricas o un histograma de las variables de escala -Se muestran los valores máximo y mínimo de los datos -Reglas de variables únicas: -Se aplican reglas de variables individuales para identificar valores perdidos o inválidos, tales como valores fuera de un rango válido -También es posible realizar una definición de usuario de reglas de una única variable Reglas personalizadas: Definición de expresiones de reglas para variables cruzadas en las que la que la respuesta de los respondentes violan la lógica ( hombres embarazados, por ejemplo) Resultados: Informes en los que se describen los datos no válidos -Informe por casos, en el que se enumeran las veces que se incumple la regla de validación por caso -Especifique el número mínimo de incumplimientos necesarios para que se incluya un caso en el informe -Especifique el número máximo de casos que puede haber en el informe -Informes de reglas de validación estándar -Resuma los incumplimientos por variable de análisis -Resuma los incumplimientos por regla -Muestra estadísticas descriptivas -Indicador de variables que registran todos los incumplimientos de reglas de validación Guardar: Permite guardar variables que registran las veces que se incumplen las reglas y utilizarlas para limpiar datos y filtrar no válidos -Variables de resumen: -Indicador de caso vacío -Indicador de identificador duplicado -Indicador de identificador incompleto -Incumplimiento de regla de validación (recuento total) Identificar casos inusuales El procedimiento de Detección de Anomalías busca casos inusuales basándose en las desviaciones de su grupo afín e indica los motivos de esas desviaciones. Especifique las variables que ha de utilizar el procedimiento con el subcomando VARIABLES. Especifique las variables categóricas, continuas y de identificador (para identificar los casos) y enumere las variables que quedan excluidas del análisis El subcomando HANDLEMISSING determina los métodos para gestionar los valores que faltan en este procedimiento -Aplique la gestión de valores perdidos. Si selecciona esta opción, los valores perdidos de variables continuas se sustituyen por las medidas totales, y las categorías perdidas de variables categóricas se combinan y se tratan como una categoría válida. Las variables procesadas se pueden utilizar en el análisis. Si esta opción no se selecciona, los casos con valores perdidos se excluirían del análisis -Cree una Variable Proporción Perdida adicional y utilícela en el análisis. Si se selecciona esta opción, se crea una variable adicional llamada Variable de Proporción Perdida que representa la proporción de variables perdidas en cada registro o caso, y esta variable se utiliza en el análisis. Si no se selecciona la Variable de Proporción Perdida ésta no se crea El subcomando CRITERIA especifica los siguientes valores: -Número mínimo y máximo de grupos afines -Ponderación ajustada del nivel de medida -Número de razones en la lista de anomalías -Porcentaje de casos considerados como anómalos e incluidos en la lista de anomalías -Número de casos considerados como anómalos e incluidos en la lista de anomalías -Punto de corte del índice de anomalías para determinar si un caso se considera como una anomalía Guardar más variables en el archivo de datos de trabajo con el subcomando SAVE -Índice de anomalías -Identificador del grupo afín -Tamaño del grupo afín -Tamaño del grupo afín en porcentaje -La variable asociada con un motivo -La medida de impacto de la variable asociada con un motivo -El valor de la variable asociada con un motivo

5 -El valor de la norma, asociado con un motivo Escriba el modelo en un nombre de archivo especificado como XML con el subcomando OUTFILE Controle los resultados con el subcomando PRINT. Puede imprimir: -El resumen de procesamiento de casos -La lista de índices de anomalías, la lista de identificadores afines de anomalías y la lista de motivos de anomalías -La tabla de normas de variables continuas, si se utiliza alguna variable continua en el análisis, y las normas de variables categóricas, si se utilizan variables categóricas en el análisis -Resumen del índice de anomalías -Tabla resumen de motivos para cada motivo -Suprima todos los resultados que se muestren salvo la tabla de notas y los avisos Categorización Óptima Procese datos utilizando Categorización Optima, que categoriza una o más variables continuas al distribuir los valores de cada variable en categorías. Este procedimiento es útil para reducir el número de valores en las variables de categorización de entrada, lo que puede mejorar mucho el rendimiento de los algoritmos. Al utilizar determinados métodos de Categorización Optima, una variable directora le ayuda a determinar los puntos de corte, por lo tanto se maximiza la relación entre la variable guía o directora y la variable a categorizar. Selección entre los siguientes métodos: -Categorización sin supervisión a través del algoritmo de frecuencias iguales. Este método utiliza el algoritmo de frecuencias iguales para especificar las variables categóricas de entrada. No se requiere una variable directora -Categorización supervisada a través del algoritmo MDLP (Minimal Descirption Lenght Principle). Este método especifica las variables categóricas de entrada utilizando el algoritmo MDLP sin procesado. Es conveniente para conjuntos de datos con un pequeño número de casos. Se requiere una variable directora -Categorización híbrida MDLP. Esto implica un preprocesamiento a través del algoritmo de frecuencias iguales. Este método es conveniente para bases de datos con un gran número de casos. Se requiere una variable directora. Especifique los siguientes criterios: -Cómo definir el punto de corte mínimo para cada variable categórica de entrada -Cómo definir el punto de corte máximo para cada variable categórica de entrada -Cómo definir el límite inferior de un intervalo -Si debe forzar la combinación de categorizaciones escasamente pobladas -Si los valores perdidos se manejan eliminando la selección por lista o por pareja Guarde lo siguiente: -Nuevas variables que contienen valores categóricos -Sintaxis en un archivo de sintaxis de Statistics Controle visualización de resultados con el subcomando PRINT. Puede imprimir: -Los conjuntos de puntos de corte de las variables de entrada categórica -Información descriptiva para todas las variables de entrada categóricas -Entropía del modelo para variables categóricas Sobre IBM SPSS Business Analytics El software de IBM SPSS Business Analytics le proporciona conocimiento a través de sus datos que le ayuda a las organizaciones a trabajar de manera más inteligente y a superar a sus competidores. Este portafolio incluye soluciones para inteligencia de negocios, análisis predictivo, administración de decisiones, del desempeño y del riesgo. Las soluciones Business Analytics le permiten a las empresas identificar y visualizar tendencias y patrones en áreas como análisis de clientes, la cual tiene un efecto importante en el desempeño de los negocios. Podrá comparar escenarios, anticipar amenazas potenciales y oportunidades, realizar una mejor planeación de presupuestos y pronóstico de recursos, balancear el riesgo contra los ingresos esperados y trabajar para alcanzar los requerimientos regulatorios. Al hacer el análisis más disponible, las empresas alinean el proceso de decisión táctico y estratégico para alcanzar los objetivos del negocio

6 Copyright IBM Corporation 2012 IBM Corporation Software Group Route 100 Somers, NY IBM, the IBM logo, ibm.com and SPSS are trademarks of International Business Machines Corporation registered in many jurisdictions worldwide. Other product and services names might be trademarks of IBM or other companies. A current list of IBM trademarks is available on the Web at Copyright and trademark information at BeSmart, antes AMSS Mardoqueo Fernández 207 Providencia Santiago F: M: conversemos@besmart.cl The content in this document (including currency or printing references which exclude applicable taxes) is current as of the initial date of publication and may be changed by IBM at any time. Not all offerings are available in every country in which IBM operates. THE INFORMATION IN THIS DOCUMENT IS PROVIDED AS IS WITHOUT ANY WARRANTY, EXPRESS OR IMPLIED, INCLUDING WITHOUT ANY WARRANTIES OF MERCHANT ABILITY, FITNESS FOR A PARTICULAR PURPOSE AND ANY WARRANTY OR CONDITION OF NON-INFRIGEMENT. IBM products are warranted according to the terms and conditions of the agreements under which they are provided.