INTRODUCCIÓN AL ANÁLISIS MULTIVARIADO RECONOCIMIENTO DE PAUTAS

Transcripción

1 INTRODUCCIÓN AL ANÁLISIS MULTIVARIADO RECONOCIMIENTO DE PAUTAS Individuals vary, but percentages remain constant. So says the statistician. Sherlock Holmes en The Sign of Four

2 Datos multivariantes Métodos modernos de análisis automático (métodos espectroscópicos o cromatográficos) permiten reunir grandes cantidades de datos: Espectro UV-vis-NIR datos a 920 longitudes de onda Espectro IR datos a 2000 longitudes de onda Cromatograma GC-MS: datos por corrida Se miden y se analizan simultáneamente varias variales para una muestra

3 RECONOCIMIENTO DE PAUTAS 1969 Kowalsky y colaboradores publican trabajos sobre sistemas integrados de estadística y análisis de correlación para el entrenamiento de máquinas en el reconocimiento de determinadas variables (reconocimiento de pautas) primeras y más reconocidas aplicaciones exitosas de la quimiometría uso de datos para determinar patrones métodos originados en la biología y fisiología Quimiometría

4 Ejemplos: RECONOCIMIENTO DE PAUTAS Uso de espectros IR para clasificar compuestos como ésteres o cetonas Se puede usar un espectro para determinar la causa de un incendio? Se puede usar un cromatograma para determinar el origen de un vino?

5 Datos analíticos Cromatograma: 30 lecturas a distintos tiempos a 28 longitudes de onda

6 Los datos analíticos se pueden acomodar como los datos de una matriz X: n objetos (filas): muestras, moléculas, materiales,... p características (columnas): espectros, propiedades físicas, patrones elementales, características estructurales,... X= x 11 x x 1p x 21 x 22 x 2p.. x n1 x n2... x np

7 Grupos de métodos Análisis exploratorio de datos (Exploratory Data Analysis, EDA): análisis de componentes principares (principal components analysis, PCA) análisis de factores (factor analysis, FA)

8 Grupos de métodos Reconocimiento de patrones no supervisado (Unsupervised Pattern Recognition): basado en la búsqueda de similitudes, aplicado en taxonomía numérica análisis de conglomerados (cluster analysis)

9 Grupos de métodos Reconocimiento de patrones supervisado (Supervised Pattern Recognition) pretenden clasificar requieren el uso de datos de entrenamiento análisis de discriminantes redes neuronales

10 Procesamiento de los datos Análisis inicial Primer paso: revisar los datos disponibles Datos ausentes: no permiten un análisis matemático NO se deben reemplazar con ceros (0) pueden reemplazarse con la media puede generarse un número aleatorio en el rango de la fila o columna

11 Análisis inicial Procesamiento de los datos Datos repetidos: se pueden remover si: están altamente correlacionados son constantes son redundantes

12 Procesamiento de los datos Análisis inicial Centrado de datos: si los datos tienen un corrimiento pueden ser transladados a partir del origen de coordenadas, por el procedimiento de: Centrado empleando la media: cada variable x ij es centrada por substracción de la media de la columna (x j ) (x ij * ) cen = x ij - x j

13 Procesamiento de los datos Análisis inicial Escalado de datos: datos con diferentes valores absolutos o diferentes varianzas que pueden distorsionar los métodos multivariados, se pueden escalar por: rango 0 x ij * 1

14 Procesamiento de los datos Análisis inicial Escalado de datos: desviación estándar (autoescalado)

15 Procesamiento de los datos Escalado de datos: Análisis inicial normalización:los datos se escalan a una constante (1 o 100)

16 Análisis inicial Escalado de datos datos originales datos centrados datos autoescalados

17 Matrices Cuando los datos analíticos se transforman se pueden obtener distintas matrices: Matriz de covarianza: se calcula a partir de los datos de la matriz X, las varianzas y covarianzas (cov) de todas las variables p n 1 cov(j,k) = Σ (x ij x i ) (x ik x k ) j, k = 1 p; j k n-1 i=1

18 Matrices de covarianza C= 2 s 11 cov(1,2)... cov(1,p) 2 cov(2,1) s 22 cov(2,p) : : : cov(p,1) cov(p,2) 2 s pp

19 Matrices Matriz de correlación: se calcula a partir de los datos de la matriz X, los coeficientes de correlación (r) y las desviaciones estándar (s) r jk = cov(j,k) s j s k j k

20 Matrices de correlación R= 1 r r 1p r 12 1 r 2p : : : r 1p r 2p 1

21 Análisis inicial Ejemplo: Datos: intensidades de emisión de fluorescencia de 12 compuestos (A-L) a 4 longitudes de onda (300, 350, 400, 450 nm)

22 Análisis inicial Quimiometría

23 Estadística básica Análisis inicial Determinación para cada longitud de onda de: media desviación estándar Correlación para cada par de variables coeficiente de correlación (Pearson) diagramas de dispersión (gráficos drafstman)

24 Análisis inicial con Minitab Descriptive Statistics: 300 nm Variable N Mean StDev SE Mean ,750 1,485 0,429 Descriptive Statistics: 350 nm Variable N Mean StDev SE Mean ,250 1,658 0,479

25 Descriptive Statistics: 400 nm Análisis inicial Variable N Mean StDev SE Mean ,917 1,505 0,434 Descriptive Statistics: 450 nm Variable N Mean StDev SE Mean ,250 1,485 0,429

26 Análisis inicial Quimiometría Basic Statistics: Correlations: ,914 0, ,498-0,464 0,099 0, ,670-0,692 0,458 0,017 0,013 0,135 Cell Contents: Pearson correlation/p-value

27 Análisis inicial Quimiometría Gráfico Drafstman