CURSO DE POSTGRADO DEL CSIC: Tendencias actuales de la investigación en Enología Módulo: Tratamiento estadístico de los datos

Transcripción

1 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). CURSO DE POSTGRADO DEL CSIC: Tendencas actuales de la nvestgacón en Enología Módulo: Tratamento estadístco de los datos Dr. Pedro J. Martín-Álvarez, Insttuto de Investgacón en Cencas de la Almentacón (CIAL, CSIC-UAM) Grupo: Botecnología Enológca Aplcada Madrd, -4 de Abrl de 5 ÏNDICE.TRATAMIENTO ESTADÍSTICO DE DATOS UNIVARIANTES.... UN SOLO GRUPO DE DATOS.... DOS GRUPOS DE DATOS INDEPENDIENTES.... DOS GRUPOS DE DATOS RELACIONADOS....4 MAS DE DOS GRUPOS DE DATOS INDEPENDIENTES Análss de la Varanza (ANOVA).... TRATAMIENTO ESTADÍSTICO DE DATOS BIVARIANTES.... ANALISIS DE CORRELACION SIMPLE.... ANALISIS DE REGRESION LINEAL SIMPLE.... TRATAMIENTO ESTADÍSTICO DATOS MULTIVARIANTES..... MATRIZ DE DATOS.... REPRESENTACION GRAFICA DE LOS DATOS.... CLASIFICACION DE LOS METODOS....4 TRATAMIENTO PREVIO DE LOS DATOS MÉTODOS ESTAD. DATOS MULTIV. NO SUPERVISADOS 4. ANALISIS DE COMPONENTES PRINCIPALES ANALISIS FACTORIAL ANALISIS DE CONGLOMERADOS MÉTODOS ESTAD. DATOS MULTIV. SUPERVISADOS ANALISIS CANONICO DE VARIABLES (CVA) METODOS DE CLASIFICACION SUPERVISADA Análss dscrmnante Método SIMCA Método knn MÉTODOS ESTAD. DATOS MULTIV. DE DEPENDENCIA ANALISIS DE CORRELACION CANONICA (ACC) MODELOS DE REGRESION MULTIVARIANTE Regresón lneal múltple Dseño de Expermentos BIBLIOGRAFIA Comandos de los programas SPSS, Statgraphcs 5. y Statstca 7. Pág

2 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM).. TRATAMIENTO ESTADÍSTICO DE DATOS UNIVARIANTES. UN SOLO GRUPO DE DATOS Datos: dsponemos de un conunto de n datos (observacones), {x, x, x,..., x n }, de una únca varable aleatora (v.a.) X, procedentes de una certa poblacón W. Podríamos calcular: Meddas de centralzacón (o de poscón), que tenen en cuenta el valor de los datos en la muestra pero no dan dea del agrupamento de los msmos, como n son: la moda, la meda artmétca ( x x / n ) y la medana que es mas robusta que la meda. Tambén las medas recortadas al 5% (elmnando el 5% de los datos extremos). Meddas de dspersón o varablddad, que dan dea sobre el agrupamento de los datos observados en torno a los valores centrales, como son: el ntervalo, ampltud o recorrdo ( x x ), la varanza muestral ( s ), la desvacón max mn estándar (o típca) muestral ( s n ( x x) /( n ) ), la desvacón estándar relatva (o coefcente de varacón, DER s / x ), el ntervalo ntercuartílco (dferenca entre el prmer y tercer cuartíl, IQ = Q - Q ), y la MEDA (medana de las desvacones entorno a la medana, MEDA= Medana x Medana ) más robusta que la desvacón típca. Momentos y coefcentes de asmetría y apuntamento, que descrben aspectos relevantes de la dstrbucón de frecuencas. Para la deteccón de datos anómalos o atípcos, se podría utlzar el ntervalo de valores admsbles que se defne como: Q.5( Q Q ), Q.5( Q ). Una representacón Q gráfca muy utlzada es el dagrama de caa ("box plot"), que ncluye nformacón sobre la medana, los cuartíles Q y Q, y los extremos del ntervalo de valores admsbles (los bgotes). Los datos que están fuera cabría pensar en que son atípcos. Desde un punto de vsta nferencal, y aceptando dstrbucón N(, ) de los datos, que puede comprobarse con VARX el gráfco de probabldad normal( Q-Q plot ), o con los test de normaldad (Shapro y Wlks, Kolmogoroff-Smrnov-Lllefors,...), podemos utlzar la meda artmétca y la desvacón estándar muestral como estmadores puntuales de los parámetros poblaconales, y. Otro estmador puntual de es el valor MEDA/.675. Fado el nvel de sgnfcacón, normalmente =.5, podemos: calcular el ntervalo de confanza para la meda poblaconal, al (-, que vendrá dado por: x t /, n s / n, x t /, n s / n, sendo t /, n el valor de la t-student con n- g.l. tal que F( t /, n ) = /, calcular el ntervalo de confanza para, al (- )% que vendrá dado por: ( ) s / /, n,( n ) s / /, n n sendo dstrbucón con n- g.l., tal que F( / y / / )= / y F( realzar el contraste de hpótess para la meda: los valores de la funcón de / ) = /, o H H donde la hpótess nula (H ) puede rechazarse tanto s < como s > (regón con,7,6,5,4,, 9

3 95% IC Varable Varable Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). x colas). El estadístco utlzado para el contraste es: t cal que sgue una s / n dstrbucón t-student con n- g.l., s H es certa. Fado el valor de (p.e. =.5), se decde en funcón del valor de t : s cal t cal t /, n, se rechaza la hpótess nula y se acepta la hpótess alternatva (H ); en caso contraro t t ) no hay motvos para rechazar H. Utlzando probabldades ( cal /, n asocadas (facltadas por los programas estadístcos): s P < se rechaza H o, en caso contraro (P > ) se acepta H o. ( S P es pequeña corresponde a un suceso raro hpótess de partda ncorrecta ). Este test para una meda puede utlzarse para "comprobar la exacttud de un método analítco para una muestra con un valor de referenca " o para comprobar s la meda de determnados valores es dferente un valor fo (J. Pozo-Bayón et al., Agrc. Food Chem. 9, 57, ).. DOS GRUPOS DE DATOS INDEPENDIENTES Datos: Dsponemos de dos conuntos de datos ndependentes: { x, x,x,..., x n } y {x, x, x,..., x n }, formados por n y n observacones, de una msma v.a. X, procedentes de dos poblacones W y W. 8, Podemos calcular: los valores descrptvos muestrales: x y s =,, que serán estmadores, s 6, exste normaldad, de los correspondentes parámetros poblaconales y. Para el tratamento gráfco podemos utlzar los dagramas de caas, o los gráfcos de barras de error con los ntervalos de confanza para la meda, s exste normaldad. Desde un punto de vsta nferencal, y aceptando dstrbucones N(, ) de los datos en cada poblacón, podemos estar nteresados en: obtener los ntervalos de confanza para los parámetros poblaconales, y, y tambén en hacer algún contraste de hpótess sobre dchos parámetros, o realzar el test para comparar las dos medas, que se puede defnr como: H H donde la hpótess nula (H ) puede ser rechazada tanto s < como s > (dos colas). Aceptando muestras ndependentes y varanzas guales ó no, el estadístco utlzado para el contraste sgue una dstrbucón t-student con certos g.l. (n + n - en el caso de gualdad de varanzas). Fado un valor para el nvel de sgnfcacón, p. e. =.5, se decde en funcón de las probabldades asocadas, y s P < se rechaza H o, en caso contraro (P > ) se acepta H o. Este contraste puede utlzarse para "comparar los resultados obtendos por dos laboratoros para una msma muestra de referenca", comparar las concentracones de un certo compuesto en vnos elaborados con uvas de varedades, comprobar s exsten dferencas en la composcón de quesos elaborados a partr de leche de vaca o leche de cabra, comparar las puntuacones de un descrptor en quesos procedentes de queserías... 4,,,, 5,, 5, A A grupo grupo B B

4 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). realzar el test para comparar dos varanzas:. Aceptando dstrbucones normales en los dos grupos, el estadístco utlzado es: acepta s s certa. S H H F cal s / s (se ), que sgue una dstrbucón F-Snedecor con n - y n - g.l., s H es F F no hay motvos para rechazar H. En caso contraro cal, n, n habría que aceptar que las varanzas no son guales. La mayoría de los programas estadístcos proporconan el resultado del test de Levene, para el anteror contraste, utlzando un estadístco con dstrbucón F-Snedecor y y n +n - g.l. S la probabldad asocada (P) es < se rechaza H o, en caso contraro (P > ) se acepta H o. Con muestras ndependentes y no aceptando dstrbucones normales, puede utlzarse el test no paramétrco de Mann-Whtney. S la probabldad asocada (P) es menor que se rechaza H o. Iglesas M.T., P.J. Martín-Álvarez, M.C. Polo, C. de Lorenzo, E. Pueyo. "Proten analyss of honeys by Fast proten Lqud Chromatography. Applcaton to the dfferentaton of floral honeys and honeydew honeys". J. Agrc. Food Chem. 6, 54, 8-87 Statstcal Analyss. The statstcal methods used for data analyss were a two-sample t-test and Mann-Whtney U test to determne f there were sgnfcant dfferences between both types of honey samples and The STATISTICA program. Results and dscusson Table shows the mean values and standard devatons of the percentages of peak areas n the two groups of honeys and the results of the t test for comparson of the two means that concde wth the obtaned by means of the Mann-Whtney U test. It can be observed that the samples of floral honeys have greater values n the varables P7 and P4 and smaller values n P5, as compared to the samples of honeydew honeys.. DOS GRUPOS DE DATOS RELACIONADOS Datos: dsponemos de n pareas de valores de varables procedentes de un msma poblacón W: { (x, x ), (x, x ),..., (x n, x n )}. A partr de estas n pareas, podemos calcular las n dferencas entre cada par de valores observados en el msmo ndvduo, es decr: { d = x - x, d = x - x,..., d n = x n - x n }, así como el valor medo y la desvacón estándar de esta nueva varable d ( d y ). s d

5 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). Aceptando que esta nueva varable sgue una N( d, d), el contraste de H d hpótess para las dos medas:, utlza el estadístco: H d t, que sgue una t-student con n- g.l.. Fado el nvel de sgnfcacón, cal s / n d s t cal t /, n se rechaza la hpótess nula y se acepta la hpótess alternatva (H ); en caso contraro no hay motvos para rechazar H. S la probabldad asocada (P) es menor que se rechaza H o. Este contraste puede utlzarse para "comparar los resultados obtendos con métodos analítcos en n muestras", comprobar s hay dferencas entre concentracones antes y después de un proceso, comparar las puntuacones asgnadas por ueces a cada una de muestras de quesos antes y después de un tratamento... En caso de no aceptar dstrbucones normales, el test no paramétrco de Wlcoxon puede utlzarse para comparar las dos medas en muestras relaconadas. S la probabldad asocada (P) es menor que se rechaza H o. Marcobal, A., M.C. Polo, P.J. Martín-Álvarez, M.V. Moreno-Arrbas. "Bogenc amne content of red spansh wnes: Comparson of a drect ELISA and an HPLC method for the determnaton of hstamne n wnes". Food Res. Int., 5, 8, Statstcal methods The statstcal methods used for analyss were as follows:...; correlaton analyss and t-test for related samples to compare HPLC and ELISA methods. STATISTICA (Statsoft Inc., 998) and SPSS (SPSS Inc., ) programs were used for data processng. Results. Comparson of the quanttatve analyss of hstamne by HPLC and ELISA revealed a good correlaton (r =.9) between both methods (Fg. ), although the results of the t-test for related samples revealed slghtly hgher results for ELISA (P <.5). d.4 MÁS DE DOS GRUPOS DE DATOS INDEPENDIENTES Datos: dsponemos de k (k > ) conuntos de datos: { x,, x,, x,,..., x,n }, { x,, x,, x,,..., x,n }... {x k,, x k,, x k,,..., x k,nk }, con n ( =,,...k ) observacones de una msma varable X, procedentes de k poblacones W, y podemos calcular los k valores medos ( x ) y las k desvacones estándar ( s ), estmadores de los correspondentes parámetros y. Para el tratamento gráfco se pueden utlzar 4

6 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). los hstogramas, los dagramas de caas y las barras de error. El contraste más utlzado es el sguente. Test para comparar las k medas. Desde un punto de vsta nferencal, y aceptando dstrbucones normales e gualdad de varanzas ( N (, )), para la H comparacón de las k medas:, se utlza el estadístco: H no todas guales SSentre /( k ) F cal SS /( n k ), que sgue una F-Snedecor con k- y n-k g.l. (n= n ), s H es dentro certa. Fado el valor del nvel de sgnfcacón, s Fcal F, k, n k se rechaza la hpótess nula H (la dspersón entre los grupos es mayor que la que exste dentro de los grupos); en caso contraro no tenemos motvos para rechazarla. De manera equvalente, s P < se rechaza H y se admte que hay dferencas sgnfcatvas. Este contraste puede utlzarse para comparar las concentracones de un certo compuesto en vnos elaborados con uvas de k> varedades, comprobar s exsten dferencas en la composcón de quesos elaborados a partr de leche de vaca, o leche de cabra o leche de ovea, y en general para "comparar los k valores medos obtendos para k tratamentos", comparar las puntuacones de un certo atrbuto, asgnadas a quesos procedentes de procesos de elaboracón, por ueces y se engloba dentro del tratamento estadístco: Análss de la Varanza (ANOVA) de una vía. S una vez realzado el anteror contraste hay que aceptar que no todas las medas poblacones son guales, se pueden utlzar los test de Schefee, de Tukey, de Student-Newman-Keuls, LSD,... para averguar cuáles son las dferentes. En caso de no aceptar normaldad de las poblacones se puede utlzar el test no paramétrco de Kruskal-Walls. Para comprobar s las k varanzas son guales, H? se puede... utlzar el test de Bartlett, el de Levene, o, s el tamaño de las muestras concde, el test de Cochran. Cabezas, L., M.A. González-Vñas, C. Ballesteros, P.J. Martín-Álvarez. Applcaton of Partal Least Squares regresson to predct sensory attrbutes of artsanal and ndustral Manchego cheeses. Eur. Food Res. Technol., 6, (-4), -8. Statstcal method: The statstcal methods used for analyss were: one-way analyss of varance to determne f there were sgnfcant dfferences between groups and Student Newman Keuls test for means comparsons, usng Statstca program... k.4. Análss de la Varanza (ANOVA) El obetvo fundamental del ANOVA, según Fsher, es descomponer la varabldad de un expermento, en componentes ndependentes, que puedan asgnarse a causas 5

7 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). dstntas. Según Scheffe, el ANOVA permte analzar meddas, que dependen de varos factores, y que operan smultáneamente, para decdr cuáles tenen un efecto sgnfcatvo sobre la varable estudada y cuáles no. Una parte de la varabldad total de la característca analzada podrá ser ustfcada por los factores estudados; y la parte no ustfcada se acepta que se debe al error y a otros posble factores no controlados. ANOVA de un factor. En el caso de un solo factor con k nveles fos (o tratamentos), el modelo matemátco aceptado, es: x e ( ) e x, e, donde,,,,, x representa el valor -ésmo de la varable analzada en el nvel -ésmo, n / n representa el valor de una meda global, n el número de meddas en el nvel -ésmo, la meda de la varable en la poblacón - ésma, ( ) serían k cantdades fas representando el efecto del nvel - ésmo sobre la meda global, cumpléndose n, y e, ( x, ) los errores, que aceptamos ndependentes y con dstrbucón N (, ). Para comprobar s el factor nfluye sobre la varable analzada, podríamos establecer las hpótess: H,,..., k, equvalente a la anteror H ; s todas H no todas las son nulas H no todas son guales las medas son guales, entonces todas las serían nulas, y el factor no tene efecto sgnfcatvo sobre la varable observada. El estadístco para el contraste es el msmo utlzado anterormente ( SS factor /( k ) Fcal ~ F ), y los resultados se muestran en k, n k SSerror /( n k) forma de tabla (la tabla ANOVA). Fuente de Varacón Suma Cuadrados Grados de lbertad Cuadrado Medo Valor de la F cal Probablda d asocada Factor SS a k MSS a MSSa / MSS w P Error SS w ( n k ) MSS w Total SS t n S el valor de la probabldad asocada (P) es < se rechaza H y se admte que el factor nfluye. En el caso de un solo factor con k nveles aleatoros, el modelo del análss de la varanza vene dado por: x, a e, donde se acepta que los efectos a son v.a. ndependentes con dstrbucón N (, a), y los errores e,, son ndependentes y con dstrbucón N (, ). Para este modelo nteresa comprobar la hpótess H a, es decr, no exste varacón debda al factor. Para este contraste se utlza el msmo estadístco F utlzado en el modelo de efectos fos, que sgue una F-Snedecor con cal k- y n-k g.l. Smó, C., P.J. Martín-Alvarez, C. Barbas, A. Cfuentes. " Applcaton of stepwse dscrmnant analyss to classfy commercal orange uces usng chral mcellar electroknetc chromatography-laser nduced fluorescence data of amno acds". Electrophoress, 4, 5, Statstcal analyss. The statstcal methods used for the data analyss were:..; one-way analyss of varance (ANOVA) to test the effect of the factor studed (processng); Scheffé test for means comparsons; and. 6

8 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). Results: ANOVA de factores. En el caso de factores, con nveles fos, se acepta que las dferencas observadas en la varable analzada X se deben: a los dferentes nveles de actuacón del factor A, a los dferentes nveles de actuacón del factor B, a la posble nteraccón entre ambos factores A y B, o a otras causas no controladas, que ncluremos en el error expermental. El modelo matemátco es x ( ) e con =,,...,a; =,,...,b; k=,,...,m,, k,,, k repetcones; y donde. es una cantdad fa, que representa el efecto del nvel -ésmo del factor A,. es una cantdad fa, que representa el efecto del nvel -ésmo del factor B, ( ),.. es tambén una cantdad fa, que representa el efecto de la nteraccón entre los nveles -ésmo del factor A y -ésmo del B, y e,, k el error, una v.a., con dstrbucón N(, ). Las posbles hpótess para contrastar son : H ( ),, no todos nulos, H H H no todos nulos H, y los estadístcos utlzados sguen la dstrbucón F-Snedecor, con H no todos nulos dferentes grados de lbertad. Los resultados se muestran en la correspondente tabla ANOVA: y Fuente de Varacón Factor A Factor B Interaccón Error AB Total Suma Grados cuadrados de lbertad SS A SS B SS ( ) ( b ) AB SS b (m ) w SS a b m t a A b B a AB a w Cuadrado Medo Valor de la F cal Probablda d asocada MSS MSS A / MSSw P A MSS MSS B / MSSw P B MSS MSS AB / MSSw P AB MSS Los estadístcos utlzados son: Fcal = MSS AB / MSS para contrastar s exste nteraccón ( w H ), Fcal = MSS A / MSS para comprobar el efecto del factor A ( w H ) y Fcal = MSSB / MSS para comprobar s el factor B nfluye en la respuesta ( w H ). S P AB > se acepta H, y el modelo se dce que es adtvo, no hay nteraccón. S P A > se acepta H, y se dce que el factor A no nfluye en la varable analzada. S se 7

9 metanol Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). cumple P B < hay que rechazar H y se dce que el factor B s nfluye. Cuando no exste nteraccón entre los factores la nfluenca de uno de ellos no dependerá de los nveles del otro factor (en el gráfco de las medas las líneas serán paralelas). Cuando sólo exste una observacón por celda (m=), el modelo es: x e. Esta técnca estadístca se puede utlzar para comparar las,, puntuacones asgnadas por ueces a una certa cualdad organoléptca en tres dferentes vnos, con el fn de averguar s hay dferencas entre las puntuacones asgnadas por los ueces, o entre las puntuacones de los vnos. Hernández, T., I. Estrella, D. Carlavlla, P.J. Martín-Álvarez, M.V. Moreno-Arrbas. Phenolc compounds n red wne subected to ndustral malolactc fermentaton and ageng on lees. Anal. Chm. Acta, 6, 56 (-), 6-5. Statstcal analyss. The statstcal methods used for data analyss were: ; two way analyss of varance (ANOVA) to test the effects of the two factors; Student Newman Keuls test for means comparsons; and Results:. TRATAMIENTO ESTADÍSTICO DE DATOS BIVARIANTES Datos: En este caso se dspone de un conunto de n pares de observacones de dos varables X, X : { (x,, x, ), (x,, x, ),..., (x n,, x n, ) }, procedentes de una certa poblacón bvarante W. En esta stuacón podemos calcular los valores medos y desvacones estándar muestrales para cada varable, que serán estmadores de los correspondentes parámetros poblaconales. Pero, al tener dos varables, podemos calcular tambén, los valores muestrales de la covaranza y del coefcente de n correlacón: s ( x x )( x x ) /( ) r s,, n y /( s ), que tenen en cuenta la varacón s 4,,, 8, 8 6, 4,,,, propanol 4, 5, 6,

10 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). conunta de las dos varables X y X, y que serán estmadores de los correspondentes parámetros poblaconales: y. El tratamento gráfco más utlzado es el gráfco, o dagrama, de dspersón. Aceptando dstrbucón conunta normal bvarante, podríamos conocer la regón de confanza al (- )%, para (, ) medante la necuacón matrcal: ( x x, x ) sempre que se conozcan los valores de, x y. Esta regón no concde con el producto cartesano de los correspondentes ntervalos para cada meda. Más nteresante resulta la elpse de confanza defnda por: s s x x n ( n ) ( x x, x x) F,, n s s x x ( n ), que permte decdr s una observacón ( x, x ) procede o no de una determnada poblacón con dstrbucón normal bvarante (deteccón de puntos anómalos). Para el estudo de dependenca entre las dos varables, 8 se recurre al Análss de Correlacón (cuando la muestra ha sdo obtenda de forma aleatora) y/o al Glucosa Análss de Regresón (lneal o no lneal), cuando aceptamos que los valores de una de las varables no están suetos a error, y estamos nteresados en expresar la relacón de dependenca medante un modelo matemátco (X = f(x ) + ).. ANALISIS DE CORRELACION SIMPLE Para el caso de varables cuanttatvas, y aceptando dstrbucón normal bvarante, el coefcente de correlacón de Pearson, defndo por: r n ( x x )( y y) n n ( x x ) ( y y), mde la relacón lneal entre las dos varables y es estmador del coefcente de correlacón poblaconal. Se puede: calcular el ntervalo de confanza para (, ), y/o realzar un test de hpótess sobre para ver s puede aceptarse que es dstnto de (H o = ). S la probabldad asocada (P) es < se acepta. En el caso de no aceptar normaldad en los datos se utlza el coefcente correlacón de Spearman, que utlza los rangos de los datos, y el correspondente test no paramétrco para el contraste de hpótess H o =. Como aplcacón de esta técnca: correlacón: entre parámetros del color y compuestos fenólcos en vnos, entre descrptotes sensorales y compuestos químcos,... Monagas M., P.J. Martín-Álvarez, B. Bartolomé, C. Gómez-Cordovés. "Statstcal nterpretaton of the color parameters of red wnes n functon of ther phenolc composton durng agng n bottle". Eur. Food Res. Techn., 6, : Statstcal analyss: The statstcal methods used for the data analyss were: two-way analyss of varance (ANOVA) to test the nfluence of the two factors studed, varety and agng tme (the nteracton and error terms were pooled); prncpal component analyss (PCA) from standardzed varables to examne the relatonshp between the analyzed varables; and correlaton and polynomal regresson analyss to descrbe the relatonshp between the color parameters and the phenolc components durng agng n bottle n the dfferent wnes.. Fructosa

11 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). Note. All the regresson coeffcents (a, b, c) presented are sgnfcantly dfferent from zero (p<.5); R = determnaton coeffcent; s = resdual standard devaton; CV(%)=( s/ y )% resdual standard devaton expressed as percetange of the mean value Monagas M., P.J. Martín-Álvarez, C. Gómez-Cordovés, B. Bartolomé. "Tme course of the colour of young red wne from Vts vnfera L. durng agng n the bottle". Internatonal Journal of Food Scence and Technology, 6, 4, Statstcal analyss: The statstcal methods used for the data analyss were: polynomal regresson analyss, to descrbe the evoluton of the dfferent colour parameters durng wne ageng n bottle; forward stepwse multple regresson analyss, to predct the CIELAB varables usng the colormetrc ndces. ANALISIS DE REGRESION LINEAL SIMPLE En el caso de regresón lneal smple, se acepta que las dos varables X e Y están relaconadas medante el modelo teórco: y x. Para este modelo matemátco, se aceptan las sguentes hpótess: la varable dependente Y, es una v.a., sueta a error, la varable ndependente X toma valores fos, y no es una v.a., o su error es desprecable frente al de la varable Y, y los errores son

12 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). ndependentes y con dstrbucón N(, ). El modelo teórco se estma, medante el procedmento de mínmos cuadrados ( mn y x ), por el sguente modelo: yˆ b b x, donde ŷ es el valor ( ) esperado de Y (valor calculado o predcho por el modelo), para un determnado valor x de la varable X. Los coefcentes de regresón se calculan medante las expresones: n n X X )( Y Y ) / ( X X ) b ( y Y b X b. La precsón del auste de los datos al modelo, se basa en la sguente descomposcón de la suma de los cuadrados de las desvacones de los valores de la varable Y respecto su valor medo: n ( y y) n yˆ y) n ( y yˆ ) (, que supone dvdr la varabldad total, en una parte explcada por el modelo de regresón, y otra que aceptamos se debe al error ( SS ( Y ) tot SS( Y ) reg SS( Y ) res ), y que se presenta en forma de la sguente tabla, conocda como tabla ANOVA de la regresón: Fuente de Varacón Mod. Regresón Resduo Total Suma de cuadrados Grados de lbertad SS ) SS ) SS ( Y ) n Cuadrado Medo Valor de la F cal ( Y reg MSS reg reg MSSres ( Y res n MSS res tot Valor de P MSS / prob F n F ) (, cal El estadístco Fcal MSSreg / MSS res sgue una F-Snedecor con y n- g.l., y puede utlzarse para el contraste: Ho ; H (test de lnealdad). Fado, aceptar la hpótess nula (P > ), es aceptar un modelo constante para Y Y ). S P < se rechaza la hpótess nula. Este contraste es equvalente al ( que veremos más tarde, basado en la t-student con n- g.l.. Meddas de la precsón son: el coefcente de determnacón: R SS( Y ) / SS( Y ), que nforma de la proporcón de la varabldad explcada por el reg tot modelo, y la desvacón estándar resdual: s MSS SS( Y ) /( n ), que nforma sobre el error medo cometdo por el auste. En el caso de dsponer de repetcones es posble comprobar s el modelo tene falta de auste, y s es así, habría que probar otro modelo, por eemplo el polnómco ( y x x ). res res El estudo de los resduos permte comprobar s se cumplen las hpótess establecdas para los errores: sguen dstrbucón Normal, son homogéneos e ndependentes (test Durbn-Watson). S el modelo se acepta como váldo, se pueden calcular los sguentes ntervalos de confanza al ( - )%: ntervalo de confanza para, ntervalo de confanza para, y ntervalo de confanza para el valor medo esperado E(Y X=X ) que permte defnr las bandas de confanza para la línea teórca de regresón, al varar X, utlzando el valor t /, n de la t-student con n- g.l. Fado el valor de, tambén se pueden contrastar las sguentes hpótess: b H o medante el estadístco: t ( X X ) que sgue una t- cal s Student con n- g.l..

13 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). H medante el estadístco: o o t cal b s n ( X X ) X, que sgue una t-student con n- g.l.. Fado, s la probabldad asocada (P) es < se acepta que el parámetro es dstnto de cero ( ). Como aplcacón de esta técnca: calbrado lneal de un método analítco, regresón lneal entre descrptotes sensorales y compuestos químcos. Marcobal, A., M.C. Polo, P.J. Martín-Álvarez, M.V. Moreno-Arrbas. "Bogenc amne content of red spansh wnes: Comparson of a drect ELISA and an HPLC method for the determnaton of hstamne n wnes". Food Res. Int., 5, 8, Statstcal methods: The statstcal methods used for analyss were as follows: regresson analyss for the calbraton curves;... Results: Lnear regresson analyss of area versus concentraton of bogenc amnes n the standard soluton, usng two replcates at fve ponts n the range ndcated n Table, was used. Regresson parameters and statstcal propertes can be found n Table. In order to udge the adequacy of the lnear models, the F-rato for lack of ft was calculated (Massart, Vandegnste, Demng, Mchotte, & Kaufman, 988), and when sgnfcant results were obtaned, a second-degree polynomal regresson was used. As can be seen n Table, the regresson lnes obtaned for all the amnes were lnear equatons that passed through the orgn, except for putrescne, whch corresponded to a second-degree polynomal equaton. The values of the coeffcent of determnaton (R n Table ) were hgher than.99 and ndcated that the fts were acceptable, wth a standard devaton of resduals, expressed as a percentage of the mean value of the response, ( s/ y ) % for the amnes quantfed. Table also shows the mean values of the recovery results. Recovery has been estmated as (the amount found n the spked sample - the amount found n the sample)*/the amount added (Massart et al., 988). The mean values correspond to the ndvdual values obtaned from the recovery experments and also to the values obtaned for two more dfferent wne samples. The mean values of recovery obtaned range from 88% for tyramne to 8% for methylamne. Detecton lmts were estmated from the area correspondng to three tmes the system nose (IUPAC, 978), whch was calculated as the mean of the area of the nose of seven nectons of a % ethanol soluton. The values obtaned (Table ) range from.6 mg/l for ethylamne to.57 mg/l for putrescne. Qurós, A., M. Ramos, B. Muguerza, M. A. Delgado, P.J. Martín-Álvarez, A. Alexandre, and I. Reco. "Determnaton of the Anthypertensve Peptde LHLPLP n Fermented Mlk by Hgh-Performance Lqud Chromatography Ion Trap Tandem Mass Spectrometry". Journal of Dary Scence, 6, 89, 457-5, Statstcal Methods: Lnear and polynomal regresson for the calbraton curves and nonlnear regresson for studyng the evoluton of the concentraton wth the tme of fermentaton were calculated wth

14 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM).. TRATAMIENTO ESTADÍSTICO DE DATOS MULTIVARIANTES. El Análss Multvarante puede defnrse como el conunto de métodos estadístcos y matemátcos para analzar, descrbr e nterpretar observacones multdmensonales. Como obetvos a consegur medante la utlzacón de estos métodos se pueden ctar los sguentes: ) Reduccón de los datos, es decr smplfcar la dmensonaldad de los datos sn perder nformacón valosa, ) Buscar agrupamento de las observacones o de las varables basada en alguna medda de semeanza o smltud, ) Defnr reglas de decsón que permtan asgnar un ndvduo con certas característcas a un grupo determnado, 4) Estudar meddas de dependenca entre conuntos de varables, 5) Predecr los valores de las varables a partr de la nformacón aportada por otras, medante un modelo matemátco, 6) Construr y contrastar hpótess sobre algunos parámetros poblaconales. Estos métodos pueden ser aplcados en cualquer campo de la Cenca, y su utlzacón tuvo un gran crecmento durante la década de los ochenta como consecuenca: del crecmento de la utlzacón de las técncas analítcas, de la aparcón de los mcroprocesadores, y de la mplementacón en programas nformátcos. Como lmtacón habría que ndcar la necesdad de dsponer de los programas de ordenador que generalmente tenen un coste elevado. Como herramentas de trabao estos métodos utlzan: la Geometría algebraca, el Cálculo matrcal, y el Cálculo numérco.. MATRIZ DE DATOS Para la aplcacón de estos métodos multvarantes necestamos, como substrato, una tabla de datos donde se recoge la nformacón correspondente a n muestras, u observacones, sobre las cuales se han analzado p varables o característcas, es decr dsponemos de datos correspondentes a p varables (X, X,...,X p ) analzadas en n muestras procedentes de una certa poblacón multvarante W. Entre las varables recogdas en la tabla de datos se pueden dstngur dos tpos: las varables cuanttatvas que asgnan un únco valor a cada observacón medante una escala de ntervalo o de razón (pueden ser dscretas o contnuas), y las varables cualtatvas o nomnales que permten clasfcar las observacones en grupos medante una escala nomnal. Dentro de las últmas están las varables bnaras (o dcotómcas), que solo pueden tomar dos valores. Las varables cualtatvas se suelen codfcar numércamente para su tratamento posteror. Según esta clasfcacón nuestra tabla de datos estará formada por ambos tpos de varables: cuanttatvas y cualtatvas codfcadas numércamente.

15 absorban soaml metpro propanol acetetl metanol Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). Con nuestra tabla de datos, o matrz de datos, podemos pensar en dos posbles modelos geométrcos: a) las n observacones como n puntos en el Espaco Euclídeo p-dmensonal de las p varables. Podríamos defnr la matrz de dstancas D(n,n) entre las n observacones, y pensar en elpsodes de concentracón de las msmas en el espaco, y b) las p varables como vectores del espaco Euclídeo n-dmensonal de las n observacones. Podríamos pensar en la matrz de correlacón entre las varables a partr de los cosenos entre los correspondentes vectores. De la proyeccón de un vector en otro, se obtendría la dea de regresón de una varable en otra. Con vstas a buscar agrupamento entre las observacones se defnen meddas de semeanza (smltud) y de desemeanza (dstanca), relaconadas con la proxmdad o leanía de las msmas. En el caso de varables cuanttatvas se pueden defnr ' dversas dstancas entre dos observacones x ' x,..., x ) y x x,..., x ) : la dstanca Euclídea:, x k, k x, k d, x k, k x, k ) (,, p (,, p (, la dstanca cudad o Manhattan: d, la de Chebychev: d max x x,..., etc, sendo la dstanca,, k, k Euclídea la más utlzada. Para varable cualtatvas se utlza como medda de dstanca el porcentae de desacuerdo entre los posbles valores: d Nº de x x ) p, (, k, k /. REPRESENTACION GRAFICA DE LOS DATOS Con vstas a detectar posbles patrones en la tabla de datos se recurre a la representacón gráfca de las observacones y de las varables medante obetos geométrcos (puntos, líneas, polígonos, cuerpos, etc.). La semeanza entre los obetos permtrá encontrar los patrones buscados. La mayor lmtacón estará en que la representacón será bdmensonal, sobre una hoa de papel o pantalla del ordenador, y por tanto solo aproxmada a la realdad. Los métodos de representacón bdmensonal más utlzados por los métodos multvarantes son: marca 4 5 Métodos drectos: En el caso de p varables los se pueden utlzar los dagramas de dspersón matrcal, y los conos a base de hstogramas, de perfles o de estrellas, o de tela araña. metanol acetetl propanol metpro soaml absorban Métodos de aproxmacón medante proyeccón: En este apartado se ncluyen las representacones gráfcas más utlzadas en el tratamento de datos multvarantes. Se trata, en general, de defnr nuevas varables (componentes prncpales, factores, varables canóncas,... ), cumplendo algún obetvo, y proyectar las muestras sobre estas nuevas varables. La utlzacón de solo unas pocas varables, permte una vsón general de los datos. Así en el caso de componentes prncpales (o factores) se trata de buscar una nueva varable Y que recoa la máxma varacón de la nube de puntos, y en el caso de varables canóncas se trataría de buscar una nueva varable Y para lograr máxma separacón entre los valores medos de los grupos, en la proyeccón. Métodos de aproxmacón medante optmzacón: Consste en buscar nuevas varables (generalmente dos), con el obetvo de conservar, al máxmo, las dstancas 4

16 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). entre las observacones. Esta técnca, conocda como representacón medante mapas no lneales ( Non-Lnear Mappng ), trata de mnmzar la funcón: L ( d, dˆ,, ), sendo d y dˆ las dstancas, entre cada dos muestras, en el espaco de las varables orgnales y en el espaco bdmensonal de las nuevas varables, respectvamente. Representacón gráfca de matrces cuadradas: La meor representacón bdmensonal de la matrz de dstancas entre muestras, o de la matrz de correlacones entre varables, es el dendrograma, que nforma de la smltud de la muestras o de la varables, véase fgura adunta, y que es el resultado, más mportante, obtendo medante la aplcacón del Análss de Conglomerados.. CLASIFICACION DE LOS METODOS A la hora de clasfcar los métodos para el tratamento de datos multvarantes se suele hablar de métodos supervsados y no supervsados, según se utlce o no la nformacón de pertenenca de las observacones a poblacones o grupos defndos prevamente. S tenemos en cuenta la procedenca de las observacones y los grupos de varables analzadas en las observacones, podemos tener dstntas matrces de datos. Una clasfcacón de esta matrces de datos podría ser la sguente: a) Una únca poblacón y un solo grupo de varables Dsponemos de una muestra aleatora de tamaño n, procedente de una únca poblacón W, de p varables, con... p vector de medas (,..., ) y matrz de covaranzas, que ' p representamos en la sguente tabla de datos: Varable s X X... X p x, x,... x,p Observ. x, x,... x,p x, x,... x,p n x n, x n,... x n,p Podemos calcular los sguentes valores muestrales: el vector de medas x ( x, x,..., x ), y las matrces de covaranzas ( S = (s ) ), y de correlacones ( R = ' p (r ) ) ). Los tratamentos multvarantes para este tpo de matrz de datos, todos ellos no supervsados, podrían ser: - Análss de Componentes Prncpales (PCA), y/o el Análss Factoral (FA) con vstas a reducr la dmensón de los datos y estudar la nterrelacón entre varables y entre observacones, y - Análss de Conglomerados (CA) para buscar agrupamentos de la observacones o de las varables. Tambén, con vstas a la representacón gráfca de las observacones, es posble utlzar la representacón de mapas no lneales (''no lnear mappng'') (LNM). b) Varas poblacones y un solo grupo de varables: En este caso se dspone de k muestras, con tamaños n, procedentes de k poblacones multvarantes W en las msmas p varables, con vectores de medas y matrces de covaranzas, que representamos en la sguente tabla de datos: p pp 5

17 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). Varables X X... X p x,, x,,... x,p, Observ x,, x,,... x,p,. W x,, x,,... x,p, n x n,, x n,,... x n,p, x,,k x,,k... x,p,k Observ x,,k x,,k... x,p,k. W k x,,k x,,k... x,p,k n k x nk,,k x nk,,k... x nk,p,k Se pueden calcular los sguentes valores muestrales: los k vectores de medas ' x x, x,..., x ), las k matrces de covaranzas ( S ) y las k matrces de ( p correlacones ( R ). Los métodos de tratamento a utlzar para este tpo de matrz de datos, todos ellos supervsados, es decr, utlzan la nformacón de la pertenenca de las muestras a los grupos de partda, podrían ser: - Métodos de Clasfcacón Supervsada: Análss Lneal Dscrmnante (DLA) ó Cuadrátco (DQA), que son métodos paramétrcos que aceptan dstrbucones normales de las poblacones y matrces de covaranza guales (DLA) o no (DQA)) Método SIMCA, que utlza el modelo factoral de componentes prncpales en cada grupos. Método de los k vecnos más próxmos (knn), que es un método no paramétrco. Todos estos métodos permten obtener reglas de clasfcacón para asgnar nuevas muestras a las poblacones o grupos de partda, Análss Canónco de varables (CVA), con vstas a obtener una representacón gráfca de las muestras, maxmzando las dferencas entre los k grupos, y Análss Multvarante de la Varanza (MANOVA), para comprobar dferencas entre los grupos. A la matrz global de datos formada por las n = n observacones, tambén podemos aplcarle los anterores métodos no supervsados (PCA, FA y CA), sempre que no utlcemos la nformacón sobre la procedenca de las observacones. c) Una poblacón y dos grupos de varables: Dsponemos en este caso de una muestra de tamaño n procedente de una poblacón multvarante W de p+q varables, con vector de medas, matrz de covaranzas, que recoge la nformacón de un total de p+q varables analzadas en las msmas n observacones, y que representamos en la sguente tabla de datos: Varables Varables X x, X x, X p x,p Y y, Y y,.... Observ. x, x,... x,p y, y,... Y q y,q y,q 6

18 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). x, x,... x,p y, y,.. y,q n x n, x n,... x n,p y n, y n,.. y n,q Las varables Y's podrían ser característcas sensorales de las. muestras, mentras que las X's serían las característcas químcas de las msmas. El obetvo fundamental sería estudar la relacón de dependenca entre ambos grupos de varables. Para cada grupo de varables podemos calcular los correspondentes vectores de medas x,..., x ) y y,..., y ), las matrces de covaranzas (S x y S y ) y de correlacones (R x y ( p ( q R y ), pero tambén las matrces de covaranza y correlacones entre los dos grupos de varables (S xy y R xy ). La matrz completa de covaranzas sería: correlacones R R R x yx R R xy y S S S x yx S S xy y, y la de. Los métodos de tratamento a utlzar para este tpo de matrz de datos, que se ncluyen dentro de los métodos para el estudo de dependenca entre los dos conuntos de varables, podrían ser: Análss de Correlacón Canónca (ACC) para buscar dependencas entre ambos grupos de varables Análss de Regresón Multvarada que ncluye: Regresón Lneal Múltple (MLR), Regresón por pasos sucesvos (SMLR), Regresón en Componentes Prncpales (PCR), y la Regresón por mínmos cuadrados parcales (PLS), con vstas a explcar las varables respuestas (varable Y's del segundo grupo) en funcón de las varables predctoras (varable X's del prmer grupo) medante un modelo matemátco que permta predecr los valores de las varables respuesta. A la matrz global de datos formada por las n observacones podemos aplcarle tambén los anterores métodos no supervsados (PCA, FA y CA)..4 TRATAMIENTO PREVIO DE LOS DATOS. Con vstas a detectar datos anómalos en las matrces de datos anterores, y antes de aplcar alguna de las dstntas técncas menconadas, convene obtener la nformacón descrptva de todas las varables (valores: x, s, s / x, xmn, x ), y los valores mínmo y max máxmo de los correspondentes datos estandarzados. Una smple nspeccón de estos dos últmos valores permtría detectar posbles datos anómalos. Tambén, para la deteccón de este tpo de datos, puede utlzarse el rango de valores admsbles:. La estandarzacón de las varables, para lograr Q.5 ( Q Q ) x Q.5 ( Q Q ) x y s, suele ser utlzada antes de la aplcacón de alguno de los métodos multvarantes. 4. TRATAM. DE DATOS MULTIVARIANTES. METODOS NO SUPERVISADOS 4. ANALISIS DE COMPONENTES PRINCIPALES El prncpal obetvo de esta técnca del Tratamento de Datos Multvarantes, es reducr la dmensonaldad de los datos sn perder nformacón valosa, a partr de la nterrelacón de las varables analzadas. Se basa en transformar las varables orgnales en otras nuevas, que llamaremos componentes prncpales, cumplendo: ) cada nueva varable es combnacón lneal, normalzada, de las orgnales, es decr: Y a X a X... a X ; a,, p, p k k, ) las covaranzas entre cada par de estas nueva varables es cero ( cov( Y, Y ) ) ) las nuevas varables tenen varanzas progresvamente decrecentes ( var( Y ) var( Y )... var( Y p ) ) 7

19 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). 4) la suma de las varanzas de las p nuevas varables concde con la varanza total (VT) de las varables orgnales, es decr: 8 p var( Y ) p var( X ) Se trata, por tanto, de una transformacón que podemos representar en forma matrcal de la manera sguente: Y ( n, p) X ( n, p) A( p, p). Como resultado de la aplcacón de esta técnca tendremos dos nuevas matrces que recogen toda la nformacón para un posteror estudo: la matrz Y ( y, ), de orden (n,p), con las coordenadas de las observacones en las nuevas varables, y la matrz A ( a, ), de tamaño (p,p), que tene en cuenta la nterrelacón entre las varables orgnales así como su contrbucón en la defncón de las nuevas varables. Desde un punto de vsta geométrco, se trata de una rotacón de los ees de coordenadas, una vez centradas las varables. Determnacón de los coefcentes a,. Los coefcentes se determnan medante el cálculo de los valores y vectores propos de la matrz de correlacones R s las varables están estandarzadas (La mayoría de los programas proceden a estandarzar prevamente las varables). En general, VT a será el vector propo asocado con el - ésmo mayor valor propo y además se cumple que Var ( Y ). La matrz A tendrá como columnas los vectores propos asocados con los correspondentes valores propos, ordenados de manera decrecente por su valor, y tene la sguente t propedad: A A, es decr es una matrz ortogonal. Esta propedad permte t establecer la ecuacón matrcal: X ( n, p) Y( n, p) A ( p, p) que será muy útl, como veremos más adelante. Reduccón de la dmensonaldad. Tenendo en cuenta que los valores de las varanzas son progresvamente decrecentes ( Var ( ) ) y su suma es VT ( Var( ) VT ), podemos consderar: Y explca un ( /VT)% del total de la varanza de la matrz orgnal de datos, Y + Y explcan conuntamente, un (( + )/VT)% del total de la varanza de la matrz orgnal de datos, y en general, Y + Y Y q explcan conuntamente, un (( q )/VT)% del total de la varanza de la matrz orgnal de datos. En muchas de las aplcacones, con estas q (q<<p) prmeras componentes prncpales podemos explcar un elevado porcentae de la varanza total, lo que equvale a consderar que hemos logrado una reduccón de la dmensón orgnal de los datos, sn perder más que una parte pequeña que aceptaremos no es muy valosa. Este nº q de componentes suele corresponder con el número de valores propos >. Matrcalmente tendremos: Y( n, q) X ( n, p) A ( p, q) donde estas q nuevas varables, están ncorrelaconadas, y explcan un elevado porcentae de VT. Matrz de componentes a Interpretacón de las componentes prncpales. A partr de la observacón de la matrz de coefcentes (A (p,q) ), podemos descubrr agrupamentos de las varables orgnales, según su contrbucón para defnr las q nuevas varables. La matrz de coefcentes A se puede transformar Y Componente Varanza total explcada hexol mbut metanol propanol benol mbut etxol fenol terpn csol lnol sol Autovalores ncales % de la Total varanza % acumulado 6,68 55,679 55,679,9 5,77 8,45,556,96 94,4 Componente,96,95,94 -,7,98 -,69,9 -,8,9,99,8 -,5,99 -,76,855,547,8,66,76,949 Método de extraccón: Análss de compon. prnc. a. componentes extraídos

20 PC Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). para lograr que sus coefcentes (los loadngs ) sean las correlacones entre las componentes prncpales y las varables orgnales. A partr de esta matrz resulta mas fácl ver las varables que defnen las componentes prncpales, y conocer el agrupamento de las msmas, utlzando el porcentae explcado con las prmeras q prmeras componentes. Representacón de las muestras. A partr de la matrz Y, con las puntuacones (coordenadas) de las muestras (observacones) en las componentes prncpales, se puede obtener la representacón bdmensonal de las muestras en el plano defndo por las dos prmeras componentes prncpales. Esta representacón de las muestras en funcón de las dos prmeras componentes prncpales podría utlzarse para: explorar o confrmar posbles agrupamento de las muestras, y para detectar posbles muestras anómalas (''outlers'').,,, -, V+SO V+SO -,5 -, VC -,5 VC, PC V+H+SO V+H+SO V+H V+H,5,,5 4. ANALISIS FACTORIAL El obetvo de este método no supervsado, debdo a Pearson, es descrbr la nterdependenca entre las varables analzadas a partr de otras, no observadas, llamadas factores. Se acepta que exsten k varables (factores) F, no observadas, que son responsables de las varables orgnales X. El planteamento para el modelo factoral ortogonal supone que cada varable orgnal es combnacón lneal de los factores no analzados, es decr: X b F b F... bqfq, donde {F, F,...,F q } son los factores comunes, {,,..., p } los específcos de cada una de las p varables, y b representa las saturacones (contrbucones o loadngs de los factores). En el modelo se acepta que E( F ), E( ), Cov( F ) I, Cov( ) I, {F, F,...,F q } y {,,..., p } ndependentes. Se trata, por tanto, de una transformacón de los datos, que en forma matrcal, se puede expresar de la sguente * * manera: X ( n, p) F( n, q) B( q, p) E( n, p), sendo X ( n, p) la matrz de datos estandarzada. Desde un punto de vsta geométrco se trata de buscar un subespaco, sobre el que se proyectan los n vectores fla x ' (puntos), correspondentes a las n observacones de la matrz X, para hacer mínma la suma de los módulos de los vectores ' (flas de la matrz E). Una solucón para este modelo factoral sería consderar como factores las componentes prncpales obtendas a partr de la matrz de correlacones (para estar estandarzadas), es decr, F = Y, que se conoce como modelo factoral de componentes prncpales. La solucón en q componentes prncpales, cumple todos t los anterores requstos: basta con consderar: F( n, q) Y ( n, q), B( q, p) A ( q, p) y * t ( n, p) ( n, q) ( q, p) ( n, p) X Y A E, que es el modelo factoral en componentes prncpales. Esto es posble gracas a que la matrz A es una matrz ortogonal. Los resultados con este modelo serían, por tanto, las matrces Y con las coordenadas de las muestras y la matrz A con las contrbucones, o saturacones, de las varables. La nterpretacón de los factores se realza, como antes, a partr de la observacón de la matrz B con las saturacones (o "loadngs"). Para una meor defncón de la contrbucón de los factores en las varables, es posble realzar una rotacón de los q factores extraídos. La representacón de las muestras (observacones), como puntos en el plano defndo por los dos prmeros factores (rotados o no) nforma de los posbles agrupamento de las muestras y de la presenca o no de muestras anómalas ( outlers ). 9

21 Tratamento estadístco de los datos. Dr. Pedro J. Martn Álvarez (CIAL, CSIS-UAM). 4. ANALISIS DE CONGLOMERADOS Es un método no supervsado que tene como obetvo buscar agrupamentos naturales entre las n observacones (ndvduos) o entre las p varables de la tabla de datos. En el caso de agrupamento de las observacones, cada una de ellas es consderada como un punto en el espaco p-dmensonal, con coordenadas dadas por los p valores de las varables. Exsten dos técncas de agrupamento: las erárqucas que ponen de manfesto la smltud de las observacones (o varables) entre sí, y que pueden ser dvsvas (se parte ncalmente de un solo grupo con todas las observacones), o aglomeratvas (se parte ncalmente de tantos grupos como observacones), y las no erárqucas que sólo nforman de la pertenenca de las observacones a cada uno de los grupos. Para la aplcacón de esta técnca son necesaro las sguentes consderacones: a) selecconar una medda de semeanza entre los ndvduos (observacones) o entre las varables, según el tpo de datos, b) selecconar el algortmo para unr los conglomerados, c) far el nº de conglomerados, que se desean formar, en el caso de los métodos no erárqucos para el agrupamento de las observacones, y d) estandarzacón de las varables s son de dstnta naturaleza. Métodos no erárqucos. Fado el número k de conglomerados ( C ) que queremos formar, estos métodos permten obtener una partcón de orden k del W C C... Ck conunto de los n ndvduos ( W = {,,,...,n} ), es decr:. C C Cada conglomerado C estará formado por n ndvduos, y tendrá un centrode cuyas coordenadas serán los valores medos de las p varables en los n ndvduos, es decr: c x, x,..., x ). Para cada conglomerado podemos defnr su dspersón ( p que vene dada como la suma de las dstancas al cuadrado de los n puntos al centrode, es decr: E d (, ). De esta forma es posble defnr, para una c determnada partcón (C, C,..., C k ), la dspersón total, defnda por: T, C,..., Ck ) k D ( C E. El obetvo de estas técncas será buscar la partcón de W, de orden k, que mnmce esta dspersón total. Uno de los algortmos más utlzado es el de las k-medas de McQueen, que consste en: ) asgnar aleatoramente los n ndvduos a los k grupos, ) calcular los centrodes de cada grupo, ) asgnar cada ndvduo al grupo con centrode más próxmo, y 4) repetr los pasos ) y ) hasta lograr establdad. Aunque está garantzada lograr la establdad en un número fnto de pasos, este puede dsmnurse s se modfca el paso ) recalculando los centrodes después de cada asgnacón de los ndvduos. Como resultado de la aplcacón de esta técnca, los programas de ordenador suelen proporconar, además de la descrpcón de los k conglomerados, los valores medos de las varables en cada uno de los k conglomerados, y la comparacón de dchos valores medos (ANOVA). Métodos erárqucos aglomeratvos. La utlzacón de estos métodos, váldos tanto para agrupar observacones como varables, permte conocer la nterrelacón entre los ndvduos (o varables) medante una representacón gráfca bdmensonal llamada dendrograma. Los algortmos para aplcar estos métodos, en el caso de agrupamento de observacones, tenen en común los sguentes pasos: ) se parte de tantos conglomerados como ndvduos (C ={}, C ={},...,C n ={n}), y se calcula la matrz de dstancas, normalmente la Euclídea, entre ellos: D = ( d(c, C ) ) = ( d ), ) se buscan los dos conglomerados (C p y C q ) con menor dstanca ( d(c p, C q ) = mn d(c, C ) ), ) se unen los conglomerados C p y C q para formar un nuevo grupo y se calcula la nueva matrz de dstancas entre los grupos (D = ( d(c, C )) ), y 4) se repten los pasos ) y ) hasta lograr un únco conglomerado formado por todos los n ndvduos. En general, la