Universidad Técnica Federico Santa Mar ía

Transcripción

1 Universidad Técnica Federico Santa Mar ía Departamento de Informática ILI-280 Capítulo 1: Definiciones y Conceptos Estadística Computacional I Semestre 2007 Profesores: Héctor Allende ( hallende@inf.utfsm.cl ) Página: Qué es la estadística? Ciencia dedicada al estudio sistemático de los datos Transforma datos en información Contribuye a la generación de conocimiento Reconocimiento de Formas ( Data Mining) Historia de la estadística : Como ciencia de Estado (2600 A.C.) Como cálculo de probabilidades (siglo XVIII) Máquinas de aprendizaje ( siglo XX) Papel de la estadística : Métodos para evaluar y juzgar teoría y realidad Extraer la informaci ón contenida en los datos 2 Origen de la Estadística Computacional: La Estadística desarrolla destrezas (competencias) que permiten analizar e interpretar datos EL PENSAMIENTO ESTADÍSTICO El pensamiento estadístico algún día será parte del ciudadano eficiente, y tan necesario como la habilidad para leer y escribir W. H. WELLS Estadística: Cómo acumular y optimizar la información extraída de los datos Cómo recolectar los datos para maximizar la información Cómo hacer inferencias (extraer reglas) a partir de datos muestrales para extender nuestro conocimiento. Ciencias de la Computaci ón: Cómo calcular y procesar de manera óptima los datos Cómo medir el costo asociado al procesamiento de la información Cómo la información y el conocimiento pueden ser útilmente representados Cómo comprender los límites de lo que puede ser calculado etc. 3 4 Qué es la estadística? Preguntas Relevantes del Análisis de Datos Ciencia dedicada al estudio sistemático de los datos Transforma datos en informaci ón agregada Resumen de datos Contribuye a la generaci ón de conocimiento Reconocimiento de Formas ( Data Mining) Papel de la estadística : Métodos para evaluar y juzgar teoría y realidad Develar la informaci ón contenida en los datos Porqué es necesario el análisis de Datos? Existe alguna estructura en los datos? Existe algún dato anómalo? Se puede sintetizar (Integrar) los datos de manera conveniente? Es éste grupo diferente de este otro? Este atributo cambia en el tiempo? Se puede predecir el valor del atributo basado en las mediciones de otros valores? 5 6 Profesor: Héctor Allende 1

2 Qué es un dato? Qué es un dato? Por dato podemos entender un número un vector un nombre una dirección una cualidad, etc Pero también podemos entender una imagen una foto un símbolo un jeroglífico una señal acustica un electrocardiograma un documento un libro una función una matriz un tensor, etc. 7 8 Estructurados Tipos de datos Cuantitativos Cualitativos Simbólicos Ordenados jerárquicamente Bloques de datos binarios Imágenes Sonido No Estructurados Textos Aplicaciones del Análisis Exploratorio de Datos (EDA) Problemas que están relacionados con EDA Identificar un rostro en una imagen Convertir un texto hablado en uno escrito Establecer un diagnóstico médico a partir de un ECG En cada uno de estos problemas tienen propósitos específicos, estos determinan la forma en que los datos deben ser procesados. Esto implica que todo análisis de datos está precedido por un proceso de modelación del problema que necesitamos resolver Aplicaciones del Análisis de Datos Aplicaciones del Análisis de Datos Pronóstico de magnitudes máxima de terremotos Pronóstico de la ley de un yacimientos minerales Pronóstico de tormentas ionosféricas Regionalización sísmica Diagnóstico diferencial de enfermedades Evaluación de pacientes Lectura diagnóstica de señales (EEG, ECG,IC, etc.) Clasificaci ón automática de hongos Clasificaci ón automática de Clientes Identificación de huellas digitales Identificación de caligrafías Identificación de rostros (estáticos, en movimiento, enmascarados, etc.) Identificación de interlocutores validos Identificación de objetos mediante sonidos (aviones, vehículos) Identificación de objetos mediante rastros (balística) Dispositivos de acceso por identificación iriológica Reconocimiento de placas de vehículos Profesor: Héctor Allende 2

3 Aplicaciones del Análisis de Datos Caracterización socio política de colectivos sociales Pronóstico de surgimiento de fenómenos sociales Caracterización del modus operandi de un terrorista Caracterización del modus operandi de un delincuente Análisis de las causas de la delincuencia juvenil (u otro fenómeno social) Clasificaci ón jerárquica de delitos Evaluación de la gravedad delictiva Inteligencia Computacional Máquinas de Aprendizaje: Capacidad del computador para aprender de la experiencia, es decir, modificar su procesamiento en base a la nueva informaci ón adquirida. Proceso que contribuye a que el sistema mejore con la experiencia (Mitchell 1997). Uso de algoritmos computacionales para aprender de los datos. (Hutchinson 1995). Programa de computación que puede aprender de la experiencia respecto a algún tipo de tarea y medida de desempeño (Mitchell 1997) Aprendizaje Machine Learning Consiste en inducir funciones generales a partir de un conjunto específico denominado patrones de entrenamiento (Proceso de Inferencia) Generador de Datos X Operador de Target Y Tipos de Aprendizaje: Aprendizaje Supervisado Aprendizaje No-supervisado Machine Learning Nivel de Información C. Sociales C. Matemáticas Tecnología Inteligencia Sistemas Estratégicos Factores Claves Desempeño Ciencias de la Información Ciencias de la Estadística Computación Información Sistemas de Gestión (Estrategia Funcional) Indicadores de Gestión Estadística Computacional Datos Energ ía Procesos Materiales Operacionales Informaci ón Datos Operacionales 17 C. Tierra C. Ingeniería Economía Medicina 18 Profesor: Héctor Allende 3

4 Data Mining (DM) Etapa de reconocimiento de patrones, a través de algoritmos automáticos o semiautomáticos de grandes bases de datos con el objeto de apoyar a la toma de decisiones dentro de una organizaci ón. Bigus( 1996) : DM es el descubrimiento eficiente de información valiosa (nuevos hechos y relaciones) no evidente desde una gran base de datos. Herramientas modernas de Análisis de Datos Durante el transcurso del curso se analizarán una serie de técnicas modernas: Modelos Bayesianos Métodos de Kernel y Vectores de soporte Series Temporales Reglas de Inducción Redes Neuronales Artificiales Lógica Difusa Métodos de Búsqueda Estocástica Visualización Convergencia de Múltiples Disciplinas KDD Información Requerida Database Technology Computational Statistics Visualization Neural Computing Data Mining Otras... Machine Learning Pattern Recognition Artificial Intelligence Feedback Data Bases Datos Externos Selecci ón de Datos Depuraci ón:?inconsistencias?duplicación? Outliers Enrichment Coding Alg. Data Mining? Association? Clustering? Classification? Regression? Forecasting 21 Acción 22 Extracción de la Información Validación de las Reglas de aprendizaje Experiencias Concretas o Simuladas Proceso de Aprendizaje Conceptualización Búsqueda de patrones (Estructuras, Meta-modelos, parámetros) Observación Preparación y Depuración de datos Environment Location Measures Dispersion Measures Measures 1 x 2 x x 3 d x X, Me, Mo,... 2 S, IQR, MD,... Atypical data Sample [ 1 2 x, x,..., ] T x n Statistical Data Exploration Q 1 Q 2 Q 3 3 I QR Median Data Analysis 3 I QR Atypical data 24 Profesor: Héctor Allende 4

5 f ( x,?,?,...) Extracción de la Información Probabilistic Model Construction [ 1 2 x, x,..., ] Sample T x n Inference T [?,?,...] Model Parameters Método Científico Problema real Planteamiento del problema Objetos y medios Modelos Estadísticos (Cálculo de probabilidades) Recolección de información muestral (Técnicas de muestreo ; diseño de experimentos) Depuración de los datos (Análisis de datos) Estimaci ón de los parámetros (Teoría de la estimación) Contrastes de Simplificaci ón (Contrastes de hip ótesis) Crítica y Diagnosis del Modelo (Análisis de datos) Pattern Recognition Regression 25 Previsiones Nuevo Conocimiento Decisiones 26 Población Conceptos Definici ón: Conjunto de elementos u objetos que obedecen a reglas de pertenencia definidas por el observador de los cuales se desea conocer ciertos parámetros de comportamiento o características ( formas) de la Población. La Poblaci ón puede ser: Finita : Si los elementos son finitos Infinita : Si los elementos son denumerables o no denumarables Observaci ón: Cada sujeto o individuo de la Población, puede tener uno de los tantos valores posibles de observar como características. Experimento: -Un proceso bajo Observación Evento Simple: -Un Resultado de un experimento que no puede ser descompuesto. Mutuamente Excluyente, Idéntica Posibilidad Espacio Muestral: -El conjunto de todos los resultados posibles Evento A : -El conjunto de todos los eventos simples que pertenecen al resultado A Clasificación de M étodos de Muestreo Tipos de Variables El Muestreo: Son métodos para obtener un conocimiento Parcial, adecuado de ciertas características de una Población, mediante el estudio de un número reducido de elementos u objetos representativos de dicha Población 1. El muestreo se puede efectuar Sin Reposición / Con Reposición 2.- Por la Forma de Tomar la Muestra Juicio o Conveniencia Aleatoria : Simple ; Sistemática; Estratificada y Conglomerados 3.- Por el número de Muestras Simple / Doble / Múltiple Tanto en la escala intervalar como en la de razón es posible distinguir dos tipos de variables aleatorias: Variables Discretas: una que puede tomar sus valores de un conjunto de puntos aislados (subconjunto de valores en R) Variables Continuas: una que puede tomar sus valores en un conjunto donde todos sus elementos son puntos de acumulación (un intervalo en R). Siempre es posible tratar una variable continua como discreta mediante la construcción de intervalos de clase representando cada uno de los intervalos por su valor medio denominado marca de clase Variables Categóricas o Cualitativas Variables Cuantitativas Profesor: Héctor Allende 5

6 Estimación Parámetro: Medida para describir alguna característica de los elementos de una Población, tal como Valor Esperado, Moda o Varianza poblacional. Estos guarismos son valores verdaderos, pero deconocidos. Estadística ( Estadígrafo): Medida para describir una característica de la Muestra, tal como Promedio, Varianza o Moda muestral. Estos valores son calculados a partir de la Muestra, pero son valores aproximados de los parámetros que representan PREGUNTA? MODELO Aplicación de la Estadística Porqué diseñar experimentos Computacionales? Variables: -Número de fallas (x 1 ) - Tiempo reparación (x 2 ) Hipótesis: las fallas Se producen independientemente La probabilidad de no disminuye exponencialmente con el tiempo Hipótesis: Tiempo reparación Depende de muchos pequeños factores (Pocos Relevantes) RECOLECCIÓN DE INFORMACIÓN ESTIMACIÓN PARÁMETROS CONTRASTES DE SIMPLIFI- CACIÓN CRÍTICA DEL MODELO Muestreo de m áquinas para estudiar sus fallas muy tiempo de reparación Estimar:?, tasa media de fallas?, tiempo medio de reparación?, variabilidad en el tiempo de reparación Tienen todos los tipos de máquinas el mismo?? Los tipos de fallas, el mismo? y?? Es cierta la independencia entre las fallas? Es la variancia de x 1 ^ x 2 en la muestra consistentes con las hipótesis? Adquisición Etapas del Análisis Inteligente de Datos Este proceso está caracterizado por el hecho que la entrada esta constituida por los datos originales tomados de las fuentes originales y la salida son los datos difusos de los que extraemos la información que nos puede ser útil La etapa del Preprocesamiento está caracterizada por el hecho que ambas, la entrada y la salida son datos de la misma naturaleza, es decir, significa casi la misma cosa. Por ejemplo, ambas son señales, imágenes, jeroglíficos, matrices, n-tuplos de valores de un cierto rasgo o caracteristica etc. En la etapa de Representación-descripción los datos originales preprocesados son transformados en una nueva forma que es la adecuada para el procesamiento posterior. Esta etapa está caracterizada por el hecho que las entrada y salida son diferentes, al menos en su significado. Este es un proceso en el que los objetos involucrados en los datos originales son descritos Profesor: Héctor Allende 6

7 Segmentación (particionar la señal (Imagen) en regiones similares disjuntas) Selección de Características Representación de una señal mediante funciones especiales (wavelets) Representación de una señal mediante una matriz digital Representación de la voz mediante una señal de audio Son ejemplos de representación-descripción de datos. Por ejemplo, una Imagen la podemos describir en términos complejos como una señal bidimensional : Amplitud, Intensidad, Compleja Polarimétrica etc, y podemos decir que el Imagen de intensidad es normal( Gaussiana), pero que la Imagen de amplitud no lo es etc. En este caso, la salida es una secuencia de atributos de la mencionada Imagen Finalmente, la etapa del Análisis es un proceso en el cual encontramos el significado de los datos originales o al menos a una parte de ellos. Podemos reconocer la ocurrencia de cierta información previamente almacenada y podemos tomar una decisión, o extaer una conclusión. Problemas de Asociación, de Interpretación, de Caracterización, de Clasificación, de Clusterización de Reconocimiento de Pronóstico Estos son ejemplos de análisis de datos Por qué Análisis Inteligente de datos? Análisis Inteligente de Datos Puesto que para poder extraer la estructura que subyace en los datos, entender lo que está sucediendo, aplicar en forma reiterada diversos métodos, refinar las preguntas que el investigador trata de responder requiere de mucho cuidado y sobre todo INTELIGENCIA. El análisis inteligente de datos no es un método poco sistemático de aplicaci ón de las herramientas estadísticas y de Data Mining, no es un paseo aleatorio a través del espacio de las técnicas analíticas, sino que un proceso cuidadosamente planeado para decidir lo que será más útil y revelador. En el caso de la señal ECG podemos determinar la normalidad del paciente desde el punto de vista del estado de su sistema cardiovascular, si nosotros tenemos el suficiente conocimiento de Cardiología. En el caso de una foto, podemos ver, por ejemplo, que personas tienen uniformes militares, ver sus caras, incluso si tuviésemos suficiente conocimiento previo, podriamos identificar a esas personas Profesor: Héctor Allende 7

8 Análisis Inteligente de Datos Basado en el AIDA podemos reconocer patrones de una cierta base de datos en particular con propósitos diversos : Clasificar, Caracterizar, Diagnósticar, Pronósticar, Descubrir la génesis de un fenómeno AIDA es una disciplina con un marcado carácter aplicado e interdisciplinario, que tiene que ver con la Ingeniería, la Estadística y la Ciencia Computación para el procesamiento de datos acerca de objetos fisicos (fotos, escrituras, jeroglíficos, símbolos, señales etc.) y/o objetos abstractos ( vectores de un cierto producto Cartesiano de conjuntos de ciertos tipos: duros, difusos, ruidosos ) con el propósito de a traves algoritmos obtener la información relevante y no evidente que nos permita establecer propiedades de ciertos subconjuntos no vacíos de objetos Análisis Inteligente de Datos Estadística v/s Máquinas de Aprendizaje Areas de AIDA Estadística Ciencias de la Computación Procesamiento de Señales Visión por Computadora Máquinas de Aprendizaje Redes Neuronales Artificiales Inteligencia Artificial Morfología Matemática Reconocimiento de patrones etc Estadística moderna Modelo Máquinas de Aprendizaje Algoritmos Modelo: Estructura propuesta, o una aproximación a una estructura de la cual se obtuvieron los datos. Los Modelos pueden ser Empíricos o Mecanicistas. Modelos Empíricos: Busca modelar las relaciones sin basarlas en alguna teoría subyacente. Modelos Mecanicistas: Se construyen en base a algún mecanismo supuesto del proceso de generación de los datos. Los Modelos pueden ser de Pronóstico o Explicativos Modelos v/s Patrones Análisis Descriptivo v/s Inferencial Modelo: Consiste en una estructura en gran escala que resume las relaciones sobre muchos casos. Patrón: Consiste en una estructura local satisfecha por algunos pocos casos o en una pequeña regi ón del espacio de los datos. El objetivo del análisis descriptivo es generar alguna una afirmación acerca de los datos. El objetivo del análisis inferencial es a partir de casos particulares obtener conclusiones que poseen una validez más general Profesor: Héctor Allende 8