INTRODUCCIÓN AL ANÁLISIS MULTIVARIADO RECONOCIMIENTO DE PAUTAS

Transcripción

1 INTRODUCCIÓN AL ANÁLISIS MULTIVARIADO RECONOCIMIENTO DE PAUTAS

2 Datos multivariantes Métodos modernos de análisis automático (métodos espectroscópicos o cromatográficos) permiten reunir grandes cantidades de datos: Espectro UV-vis-NIR datos a 920 longitudes de onda Espectro IR datos a 2000 longitudes de onda Cromatograma GC-MS: datos por corrida Se miden y se analizan simultáneamente varias variables para una muestra

3 RECONOCIMIENTO DE PAUTAS La quimiometría pretende convertir estos datos en información mediante el uso de: técnicas multivariables * establecer agrupaciones de las muestras en función de su similitud y métodos de clasificación de nuevas muestras. * es la investigación de muchas variables, simultáneamente, con el fin de entender las relaciones que existen entre ellas. * enfoque muy gráfico ya que profundiza en la búsqueda de la información que está escondida detrás de los números.

4 RECONOCIMIENTO DE PAUTAS 1969 Kowalsky y colaboradores publican trabajos sobre sistemas integrados de estadística y análisis de correlación para el entrenamiento de máquinas en el reconocimiento de determinadas variables (reconocimiento de pautas) primeras y más reconocidas aplicaciones exitosas de la quimiometría uso de datos para determinar patrones métodos originados en la biología y fisiología

5 Ejemplos: RECONOCIMIENTO DE PAUTAS Uso de espectros IR para clasificar compuestos como ésteres o cetonas Se puede usar un espectro para determinar la causa de un incendio? Se puede usar un cromatograma para determinar el origen de un vino?

6 Datos analíticos Cromatograma: 30 lecturas a distintos tiempos a 28 longitudes de onda

7 Los datos analíticos se pueden acomodar como los datos de una matriz X: n objetos (filas): muestras, moléculas, materiales,... p características (columnas): espectros, propiedades físicas, patrones elementales, características estructurales,... X= x 11 x x 1p x 21 x 22 x 2p.. x n1 x n2... x np

8 Grupos de métodos Análisis exploratorio de datos (Exploratory Data Analysis, EDA): análisis de componentes principales (principal components analysis, PCA) análisis de factores (factor analysis, FA)

9 Grupos de métodos Reconocimiento de patrones no supervisado (Unsupervised Pattern Recognition): basado en la búsqueda de similitudes, aplicado en taxonomía numérica análisis de conglomerados (cluster analysis)

10 Grupos de métodos Reconocimiento de patrones supervisado (Supervised Pattern Recognition) pretenden clasificar requieren el uso de datos de entrenamiento análisis de discriminantes redes neuronales

11 Procesamiento de los datos Análisis inicial Primer paso: revisar los datos disponibles Datos ausentes: no permiten un análisis matemático NO se deben reemplazar con ceros (0) pueden reemplazarse con la media puede generarse un número aleatorio en el rango de la fila o columna

12 Análisis inicial Procesamiento de los datos Datos repetidos: se pueden remover si: están altamente correlacionados son constantes son redundantes

13 Procesamiento de los datos Análisis inicial Centrado de datos: si los datos tienen un corrimiento pueden ser trasladados a partir del origen de coordenadas, por el procedimiento de: Centrado empleando la media: cada variable x ij es centrada por substracción de la media de la columna (x j ) (x ij * ) cen = x ij - x j

14 Procesamiento de los datos Análisis inicial Escalado de datos: datos con diferentes valores absolutos o diferentes varianzas que pueden distorsionar los métodos multivariados, se pueden escalar por: rango 0 x ij * 1

15 Procesamiento de los datos Análisis inicial Escalado de datos: desviación estándar (autoescalado)

16 Procesamiento de los datos Escalado de datos: Análisis inicial normalización: los datos se escalan a una constante (1 o 100)

17 Análisis inicial Escalado de datos datos originales datos centrados datos autoescalados

18 Estandarizar- Minitab Análisis inicial

19 Estandarizar- Minitab Análisis inicial

20 Estandarizar- Minitab Análisis inicial

21 Matrices Cuando los datos analíticos se transforman se pueden obtener distintas matrices: Matriz de covarianza: se calcula a partir de los datos de la matriz X, las varianzas y covarianzas (cov) de todas las variables p n 1 cov(j,k) = Σ (x ij x i ) (x ik x k ) j, k = 1 p; j k n-1 i=1

22 Matrices de covarianza C= 2 s 11 cov(1,2)... cov(1,p) 2 cov(2,1) s 22 cov(2,p) : : : cov(p,1) cov(p,2) s pp 2 matriz simétrica usada cuando la métrica de las variables es comparable

23 Matrices Matriz de correlación: se calcula a partir de los datos de la matriz X, los coeficientes de correlación (r) y las desviaciones estándar (s) r jk = j k cov(j,k) s j s k

24 Matrices de correlación R= 1 r r 1p r 12 1 r 2p : : : r 1p r 2p 1

25 Análisis inicial Ejemplo: Datos: intensidades de emisión de fluorescencia de 12 compuestos (A-L) a 4 longitudes de onda (300, 350, 400, 450 nm)

26 Análisis inicial

27 Estadística básica Análisis inicial Determinación para cada longitud de onda de: media desviación estándar Correlación para cada par de variables coeficiente de correlación (Pearson) diagramas de dispersión (gráficos drafstman)

28 Estadística básica Análisis inicial

29 Análisis inicial con Minitab Descriptive Statistics: 300 nm Variable N Mean StDev SE Mean ,750 1,485 0,429 Descriptive Statistics: 350 nm Variable N Mean StDev SE Mean ,250 1,658 0,479

30 Descriptive Statistics: 400 nm Análisis inicial Variable N Mean StDev SE Mean ,917 1,505 0,434 Descriptive Statistics: 450 nm Variable N Mean StDev SE Mean ,250 1,485 0,429

31 Análisis inicial Basic Statistics: Correlations: ,914 0, ,498-0,464 0,099 0, ,670-0,692 0,458 0,017 0,013 0,135 Cell Contents: Pearson correlation/p-value

32 Gráfico Drafstman Análisis inicial