Estudio exploratorio para la comparación de distintos tipos de textos: Textos Científicos y Textos No Científicos

Transcripción

1 92 Estudio exloratorio ara la comaración de distintos tios de textos: Textos Científicos y Textos No Científicos Exloratory Study to Comare Different Tyes of Texts: Scientific Texts and Non Scientific Texts Celina Beltrán Facultad de Ciencias Agrarias, Universidad Nacional de Rosario, Argentina beltranc36@yahoocomar Abstract This work rooses the accomlishment of automatic analysis of scientific and non scientific texts The scientific texts corresond to abstracts ublished in scientific magazines and roceedings of conferences in several academic discilines; the non scientific texts corresond to newsaer reorts on general subjects ublished by online Argentine newsaers The incoming information of morhological analysis of the text is emloyed to arrange a database to which the rincial comonent technique is alied The study allows an exloratory analysis that shows the characteristics discriminated by the corora of the text under consideration The first three comonents give an exlanation of the 75% of the total variation for data The number of adverbs in the text is the main variable of such searation Keywords: rincial comonents text comarison automatic analysis of text Resumen Este trabajo se roone la realización del análisis automático de textos científicos y no científicos Los textos científicos corresonden a resúmenes de ublicaciones en revistas científicas y actas de congresos de distintas discilinas y los textos no científicos corresonden a noticias eriodísticas de interés general ublicadas en áginas web de eriódicos argentinos La información resultante del análisis morfológico de dichos textos es utilizada ara conformar una base de datos sobre la cual se alica la técnica de comonentes rinciales Este estudio ermite un análisis exloratorio en el cual se evidencian las características que discriminan los corus de textos en estudio Las tres rimeras comonentes exlican un 75% de la variación total de los datos El número de adverbios en el texto es la variable de mayor imortancia en dicha searación Palabras claves: Comonentes rinciales, comaración de textos, análisis automático de textos 1 INTRODUCCION

2 93 Este trabajo se roone la realización del análisis automático de distintos tios de textos: científicos (C) y no científicos (NC) Los textos científicos corresonden a resúmenes de ublicaciones en revistas científicas y actas de congresos de distintas discilinas y los textos no científicos corresonden a noticias eriodísticas de interés general ublicadas en áginas web de eriódicos argentinos Se recurre al analizador morfológico Smorh, imlementado como etiquetador, ara asignar categoría a todas las ocurrencias lingüísticas La información resultante del análisis morfológico de dichos textos es utilizada ara conformar una base de datos sobre la cual se alica la técnica de comonentes rinciales Este tio de análisis es una herramienta útil ara caracterizar unidades considerando un gran número de variables cuantitativas medidas sobre ellas En este caso es un estudio exloratorio que ermite caracterizar los textos rovenientes de estos dos géneros de modo tal de evidenciar aquellas características rovenientes del análisis automático de los textos que son más discriminatorias con el roósito de lograr limitar el número de mediciones retenidas en estudios osteriores 2 MATERIAL Y METODOS 21 Diseño de la muestra El marco muestral ara la selección de la muestra de los textos científicos está comuesto or textos académicos, resúmenes de trabajos resentados a congresos y revistas, extraídos de internet ertenecientes a distintas discilinas Los textos eriodísticos fueron seleccionados de un corus mayor utilizado or el equio de investigación INFOSUR Este corus se construyó con noticias extraídas de las áginas web de eriódicos argentinos (noticias de tio general, no esecializadas en esañol) La unidad de muestreo fue el texto y la selección de la muestra se llevó a cabo emleando un diseño muestral estratificado Luego de obtener las muestras de los dos estratos, fueron evaluadas y comaradas resecto al número medio de alabras or texto Se requiere esta evaluación ara evitar que la comaración entre las discilinas se vea afectada or el tamaño de los textos La muestra final ara este trabajo quedó conformada de la siguiente manera: Tabla 1 Conformación de la muestra final Muestra Nro de textos Cantidad de alabras 22 Etiquetado de los textos Científico No científico El software Smorh, analizador y generador morfosintáctico desarrollado en el Groue de Recherche dans les Industries de la Langue (Universidad Blaise-Pascal, Clermont II) or Salah Aït- Mokhtar (1998) realiza en una sola etaa la tokenización y el análisis morfológico A artir de un texto de entrada se obtiene un texto lematizado con las formas corresondientes a cada lema (o a un subconjunto de lemas) con los valores corresondientes Se trata de una herramienta declarativa, la información que utiliza está searada de la maquinaria algorítmica, en consecuencia, uede adatarse a distintos usos Con el mismo software se uede tratar cualquier lengua si se modifica la información lingüística declarada en sus archivos

3 94 Smorh comila, minimiza y comacta la información lingüística que queda disonible en un archivo binario Los códigos fuente se dividen en cinco archivos: Códigos ASCII, Rasgos, Terminaciones, Modelos y Entradas En el archivo entradas, se declaran los ítems léxicos acomañados or el modelo corresondiente Este indicador de modelo oficia de enlace con el archivo modelos, en el que se esecifica la información morfológica y las terminaciones que se requieren en cada ítem En el archivo modelos, se introduce la información corresondiente a los modelos de flexiones morfológicas A un conjunto de terminaciones se le asocia el corresondiente conjunto de definiciones morfológicas En el archivo terminaciones es necesario declarar todas las terminaciones que son necesarias ara definir los modelos de flexión, se declaran una a continuación de otra, searadas or un unto Para construir los modelos se recurre a rasgos morfológico- sintácticos En el archivo rasgos, se organizan jerárquicamente las etiquetas En el archivo de códigos ASCII se esecifican, entre otros, los caracteres searadores, las equivalencias entre mayúsculas y minúsculas El archivo data, contiene los nombres de cada uno de los cinco archivos descritos anteriormente El módulo ost-smorh MPS es un analizador que recibe en entrada una salida Smorh (en formato Prolog) y uede modificar las estructuras de datos recibidos Ejecuta dos funciones rinciales: la Recomosición y la Corresondencia, que serán útiles ara resolver las ambigüedades que resulten del análisis de Smorh La información contenida en estos archivos es la resentada en Beltrán (2009) 23 Diseño y desarrollo de la base de datos La información que contiene la base de datos es el resultado del análisis de Smorh-Ms almacenada en un archivo de texto La información resultante del análisis morfológico se disuso en una matriz de dimensión: tantas filas como cantidad de objetos lingüísticos tenga el texto y tantas columnas como ocurrencia+lema+valores De esta manera se obtuvo una base de datos que osee la información del texto, ocurrencia, lema y etiqueta asignada, como muestra la tabla 2 Luego, a artir de esta base de datos or alabra (cada unidad o fila es una alabra analizada del texto), se confeccionó la base de datos or documento que es analizada estadísticamente Esta es una nueva base, donde cada unidad es el texto, con la información de las variables indicadas en la tabla 3a y la estructura resentada en la tabla 3b Tabla 2 Fragmento de la base de datos obtenida CORPUS TEXTO OCURRENCIA LEMA ETIQUETA 1 1 El el det 1 1 Problema roblema nom 1 1 De de re 1 1 Las el det 1 1 Series serie nom 1 1 De de re 1 1 Tiemo tiemo nom 1 1 Se lo cl 2 1 Ha haber aux 2 1 Provocado rovocar v 2 1 Una una det

4 Verdadera verdadera adj 2 1 Transformación transformación nom 2 1 En en re Abreviaturas: adj : adjetivo art : artículo nom : nombre re : reosición v : verbo adv : adverbio cl : clítico aux : auxiliar co : coulativo un : signo de untuación Tabla 3a Variables de la base de datos or documento CORPUS Corus al que ertenece el texto TEXTO Identificador del texto dentro del corus adj cantidad de adjetivos del texto adv cantidad de adverbios del texto cl cantidad de clíticos del texto co cantidad de coulativos del texto det cantidad de determinantes del texto nom cantidad de nombres (sustantivos) del texto re cantidad de reosiciones del texto v cantidad de verbos del texto otro cantidad de otras etiquetas del texto total_al cantidad total de alabras del texto Tabla 3b Fragmento de la base de datos ara análisis estadístico CORPUS TEXTO adj adv cl co det nom re v OTRO TOTAL_PAL Análisis de Comonentes rinciales Análisis de Comonentes Princiales (ACP) es una de las técnicas multivariadas de análisis exloratorio de datos más amliamente utilizada, introducida or Pearson en 1901 y osteriormente desarrollada or Hotelling en 1933 Esta técnica también uede ser vista como un caso articular de los métodos de búsqueda de royección, los cuales seleccionan royecciones de oca dimensión de datos multivariados La selección de royecciones de oca dimensión usualmente se realiza otimizando algún índice que mida una característica de interés en los datos bajo todas las direcciones de royección Para el caso del Análisis de Comonentes Princiales la característica que se otimiza es la variancia de los datos Suongamos que tenemos una oblación y un vector aleatorio de dimensión x1 que uede ser medido sobre todos los individuos de la oblación: x = (x 1 x 2 x )

5 96 Sea la matriz de variancias-covariancias (de tamaño x) de variables x 1, x 2,, x : La variancia total de estas variables es definida como la traza de (tr ), la cual es la suma de los elementos de la diagonal rincial de la matriz : tr i1 La rimer comonente rincial de un vector x = (x 1 x 2 x ) de dimensión x1 es una combinación lineal: a 1 x = a 11 x 1 + a 12 x a 1 x donde a 1 = (a 11 a 12 a 1 ) con a 1 a 1 = 1 y tal que la variancia de (a 1 x) es la máxima entre todas las combinaciones osibles de los elementos de x con los coeficientes del vector a 1 cumliendo la condición de longitud igual a 1 Por lo tanto, la rimer comonente rincial así obtenida exlica la máxima variación La segunda comonente rincial a 2 x de x con a 2 a 2 = 1 es tal que no está correlacionada con la rimera y su variancia es la mayor entre todas las combinaciones lineales no correlacionadas con la rimera comonente En forma similar se obtienen las restantes La última comonente rincial (-ésima) a x no está correlacionada con todas las (-1) comonentes rinciales anteriores y es la que menos exlica de la variancia total, or este motivo se dice que es la comonente menos informativa Los coeficientes de estas combinaciones lineales (las comonentes rinciales) se obtienen de la siguiente manera: Sean 1 2 > 0 los autovalores y a 1 a 2 a los corresondientes autovectores de, cada uno de ellos con longitud igual a 1, esto es a i a i = 1, ara i = 1,2,, La rimer comonente será y 1 = a 1 x, la segunda comonente es y 2 = a 2 x y la -ésima comonente está dada or y = a x Asimismo, las variancias de las comonentes rinciales serán cada uno de los autovalores, var(y 1 ) = 1 var(y 2 ) = 2 var(y ) = Por lo tanto, dado que la variancia total es la traza de la matriz (tr ) es también la misma que la suma de todos sus autovalores ( i ) Los elementos de los autovectores tienen interretaciones útiles ara el análisis Por ejemlo, la covariancia entre la i-ésima variable x i y la j-ésima comonente rincial y j es j a ji y or lo tanto el coeficiente de correlación corr (x i, y j ) entre ellos es: corr x, y i j a ji ii i var( x ) Esto significa que las variables con coeficientes de gran magnitud en una comonente rincial tienen una mayor contribución en dicha comonente Si bien no es equivalente, es osible trabajar con la matriz de correlaciones en lugar de la matriz de variancias y covariancias Esto será aroiado cuando las medidas sobre diferentes variables no estén en la misma escala y las variancias sean de magnitudes muy diferentes i i1

6 97 Al trabajar con datos muestrales, las matriz es reemlazada or sus resectivo estimador S Cuando se trabaja con datos comosicionales, los orcentajes de los elementos ara cada muestra suman 100 (ó 1 si son roorciones) y or lo tanto hay una restricción entre las medidas de las variables Por este motivo es que se debe tener cuidado al analizar estos datos Suongamos que x 1, x 2,, x son las medidas (ó orcentajes) tomados sobre variables, con i1 x i 100 (ó = 1) Debido a esta restricción, exactamente uno de los autovalores de la matriz de variancias-covariancias de x = (x 1 x 2 x ) será cero Esto hace que la interretación usual de las variancias y las covariancias se ierde Por lo tanto, Aitchison (1983) sugirió que el Análisis de Comonentes Princiales esté basado en la matriz de variancias-covariancias muestral de los logaritmos-contrastes de las variables originales: v j log( x j 1 ) ( ) i1 log( x ), j = 1, 2,, i en lugar de estar basado en la matriz de variancias-covariancias muestral de los orcentajes originales En este trabajo se alica ACP ara datos comosicionales sobre las transformaciones mencionadas ara las variables siguientes: Tabla 4 Variables utilizadas en ACP CORPUS CORPUS Corus al que ertenece el texto (CIENTIFICO - NO CIENTIFICO) TEXTO TEXTO Identificador del texto dentro del corus x1 adj orcentaje de adjetivos del texto x2 adv orcentaje de adverbios del texto x3 cl orcentaje de clíticos del texto x4 co orcentaje de coulativos del texto x5 det orcentaje de determinantes del texto x6 nom orcentaje de nombres (sustantivos) del texto x7 re orcentaje de reosiciones del texto x8 v orcentaje de verbos del texto x9 OTRO orcentaje de otras etiquetas del texto 3 RESULTADOS 31 Análisis reliminar La rimera comaración que se realiza, como ya se mencionó al describir la muestra, es la del número de alabras or texto La misma se lleva a cabo mediante el test no aramétrico de Wilcoxon ara muestras indeendientes arrojando una robabilidad asociada =00062, evidenciando que existen diferencias significativas entre los corus resecto al tamaño de los textos Esta situación lleva a realizar las sucesivas comaraciones sobre los orcentajes o roorciones de las categorías gramaticales Comaraciones similares entre los corus se llevan a cabo ara las restantes variables (tomando las roorciones de cada categoría gramatical) hallando diferencias significativas (<005) ara todas

7 98 las categorías gramáticas exceto la roorción de clíticos y de verbos en los documentos analizados (Tabla 5) Tabla 5 Comaración mediante test de Wilcoxon Proorción romedio en corus Científico Proorción romedio en corus No Científico Categoría Gramatical Valor de adjetivos 0,09 0,07 0,0001 adverbios 0,02 0,04 <0,0001 clíticos 0,02 0,02 0,2365 coulativos 0,03 0,02 0,0011 determinantes 0,16 0,15 0,0008 nombres 0,24 0,26 0,0109 reosición 0,17 0,15 0,0117 verbos 0,14 0,14 0,3195 otro 0,12 0,15 <0, Análisis de Comonentes rinciales El ACP se realizó sobre la matriz de variancias y covariancias de las variables transformadas según lo establecido en la sección 24 ara datos comosicionales En el ACP (Tabla 6) se uede observar que las tres rimeras comonentes exlican un 75% de la variación total de los datos Tabla 6 Porcentaje de variancia exlicada or las comonentes rinciales AUTOVALORES DE LA MATRIZ DE VARIANCIAS Y COVARIANCIAS % variancia % variancia exlicada CP Autovalor exlicada acumulado 1 0,65 35% 35% 2 0,49 26% 61% 3 0,26 14% 75% 4 0,21 11% 86% 5 0,14 7% 93% 6 0,07 4% 97% 7 0,03 2% 99% 8 0,02 1% 100% 9 0 0% 100%

8 99 Tabla 7 Coeficientes corresondientes a las tres rimeras comonentes Variable CP1 CP2 CP3 adj_transf -0,18-0,24 0,67 adv_transf 0,82-0,28-0,12 cl_transf 0,02 0,86 0,06 co_transf -0,47-0,22-0,64 det_transf -0,12-0,11 0,11 nom_transf -0,1-0,14 0,03 re_transf -0,15-0,11 0,16 v_transf 0,02 0,13 0,03 OTRO_transf 0,15 0,12-0,29 Tabla 8 Correlaciones de las tres rimeras comonentes rinciales con las variables originales Variable CP1 CP2 CP3 adj_transf -0,31-0,37 0,73 adv_transf 0,93-0,27-0,09 cl_transf 0,02 0,97 0,05 co_transf -0,68-0,28-0,57 det_transf -0,38-0,31 0,21 nom_transf -0,33-0,42 0,06 re_transf -0,44-0,29 0,29 v_transf 0,07 0,34 0,05 OTRO_transf 0,29 0,2-0,35 La tabla 7 resenta los coeficientes de las variables sobre las tres rimeras comonentes, mientras que la tabla 8 resenta las correlaciones entre las comonentes y las variables originales La rimera comonente se caracteriza or resentar un coeficiente alto ositivo ara la variable referida a los adverbios y valores negativos ara las variables referidas a las restantes categorías Esto significa que esta rimer comonente (CP1) está altamente correlacionada con la roorción de adverbios en el texto y resentará valores altos cuando un texto resente con mayor frecuencia esta categoría La segunda comonente (CP2) resenta rincialmente un coeficiente alto ositivo ara las variables de clíticos y verbos y negativo ara las restantes Esto significa que esta comonente resentará valores altos cuando el texto evidencie una mayor cantidad de clíticos y verbos Resecto a la tercer comonente (CP3), ésta se asocia ositivamente con la resencia de adjetivos y reosiciones en mayor frecuencia en el texto y se asocia negativamente con la frecuencia de coulativos Al royectar los textos analizados sobre estas tres dimensiones o tres rimeras comonentes (Gráfico 1, 2 y 3), se observa que en el gráfico 1, los textos NC se encuentran deslazados a la derecha sobre el eje horizontal Por la conformación de la rimera comonente, esta disosición en el lano de royección evidencia que los textos rocedentes del corus NC resentan un mayor

9 CP 3 (13,6%) CP 2 (26,3%) Revista de Eistemología y Ciencias Humanas 100 número de adverbios, resecto a las restantes categorías, que los textos C En relación a las otras dos dimensiones no se visualiza una clara discriminación de los textos resecto al género 3,00 transf_cl 1,50 transf_vtransf_otro 0,00 transf_co transf_re transf_det transf_nom transf_adj transf_adv -1,50-3,00-3,00-1,50 0,00 1,50 3,00 CP 1 (34,9%) Bilot(1,2):CIENTIF Bilot(1,2):NOCIENT Bilot(1,2) - Variables Gráfico 1: Proyección de los textos sobre las dos rimeras comonentes rinciales 3,00 1,50 transf_adj 0,00 transf_re transf_det transf_nom transf_cl transf_v transf_otro transf_adv -1,50 transf_co -3,00-3,00-1,50 0,00 1,50 3,00 CP 1 (34,9%) Bilot(1,3):CIENTIF Bilot(1,3):NOCIENT Bilot(1,3) - Variables Gráfico 2: Proyección de los textos sobre la rimera y tercer comonente rincial

10 CP 3 (13,6%) Revista de Eistemología y Ciencias Humanas 101 2,00 transf_adj 1,00 0,00 transf_re transf_det transf_nom transf_adv transf_v transf_cl transf_otro -1,00 transf_co -2,00-2,00-1,00 0,00 1,00 2,00 CP 2 (26,3%) 6 CONCLUSIONES Bilot(2,3):CIENTIF Bilot(2,3):NOCIENT Bilot(2,3) - Variables Gráfico 3: Proyección de los textos sobre la segunda y tercera comonente rincial Los resultados del análisis morfológico de los textos se analizaron teniendo en cuenta simultáneamente todas las mediciones realizadas sobre ellos El análisis multivariado alicado en este trabajo ermitió hallar las características de los textos que discriminan los dos gruos definidos or el género al que ertenecen: Científico y No Científico La royección de los textos sobre gráficos bidimensionales fue muy útil ara visualizar las diferencias halladas entre los dos corus Las tres rimeras comonentes exlicaron un 75% de la variación total de los datos, observándose que la rimera comonente es la dimensión que seara los textos científicos y no científicos El número de adverbios en el texto es la variable de mayor imortancia en dicha searación Referencias Aitchison J 1983 The Statistical Analysis of Comositional Data Chaman & Hall, London Beltrán, C, Bender, C, Bonino, R, Deco, C, Koza, W, Méndez, B, Moro, Stella Maris 2008 Recursos informáticos ara el tratamiento lingüístico de textos Ediciones Juglaría Rosario Beltrán, C 2009 Modelización lingüística y análisis estadístico en el análisis automático de textos Ediciones Juglaría Rosario Beltrán, C 2010 Estudio y comaración de distintos tios de textos académicos: Biometría y Filosofía Revista de Eistemología y Ciencias Humanas Gruo IANUS Rosario Bès,Gabriel, Solana, Z y Beltrán, C 2005 Conocimiento de la lengua y técnicas estadísticas en el análisis lingüístico en Desarrollo, imlementación y uso de modelos ara el rocesamiento automático de textos (ed Víctor Castel) Facultad de Filosofía y Letras, UNCUYO Cuadras, CM 2008 Nuevos métodos de análisis multivariante CMC Editions Barcelona, Esaña Johnson RA y Wichern DW 1992 Alied Multivariate Statistical Análisis Prentice-Hall International Inc Khattre R y Naik D 1999 Alied Multivariate Statistics with SAS Software SAS Institute Inc Cary, NC USA

11 102 Rodrigo Mateos, José Lázaro y Bès, Gabriel G 2004 Análisis e imlementación de clíticos en una herramienta declarativa de tratamiento automático de corus En VI Congreso de Lingüística General, Santiago de Comostela Solana, Z Beltrán, C, Bender, C, Bonino, R, Deco, C, Koza, W, Méndez, B, Rodrigo, A, Tramallino, C 2009 La interlengua de los arendientes de esañol como L2 Aortes de la Lingüística Informática GRUPO INFOSUR- Ediciones Juglaría