Análisis de regresión logística aplicado a la clasificación textos académicos: Biometría y Filosofía

Transcripción

1 50 Análisis d rgrsión logística aplicado a la clasificación txtos académicos: Biomtría y Filosofía Analysis of Logistic Rgrssion Applid to th Classification of Acadmic Txts: Biomtrics and Philosophy Clina Bltrán Facultad d Cincias Agrarias, Univrsidad Nacional d Rosario, Argntina bltranc36@yahoo.com.ar Abstract This work is aimd to continu with th application of th multivariat static analysis carrid out in Bltrán (2010). This papr mploys th rsulting information of th automatic analysis of acadmic txts coming from diffrnt scintific aras (Biomtrics and Philosophy) to constitut a databas on which th logistic rgrssion tchniqu is applid. This application diffrs from th discriminant analysis usd on a prvious work mainly in th rquird assumptions about th distributions of variabls and th rsulting information of th valuatd modl. This study allows an analysis that shows thos charactristics that discriminat th analyzd txts corpora as working with th absolut frquncy of diffrnt morphosyntactic catgoris. Th significant variabls constituting th proposd modl corrspond to two catgoris: advrbs and clitics. Th stimatd odds ratio shows that th possibilitis of classifying a txt in a corpus of Biomtrics incras to 62% if raising th amount of clitics in th unit, whil th possibilitis of classifying a txt in a corpus of Philosophy incras to 41% if raising th amount of advrbs in th unit. Th global rror rat stimatd by cross validation is 19%. Kywords: multivariat logistic rgrssion multivariat analysis automatic txt analysis. Rsumn Est trabao prtnd continuar la aplicación dl análisis stadístico multivariado llvada a cabo n Bltrán (2010). En st artículo s utiliza la información rsultant dl análisis automático d txtos académicos provnints d distintas áras cintíficas (Biomtría y Filosofía) para conformar una bas d datos sobr la cual s aplica la técnica d rgrsión logística. Esta aplicación prsnta difrncias rspcto al análisis discriminant aplicado n un trabao antrior principalmnt n los supustos rquridos sobr las distribucions d las variabls y n la información rsultant dl modlo stimado. El studio prmit un análisis n l cual s vidncian aqullas caractrísticas qu discriminan los corpus d txtos analizados trabaando con las frcuncias absolutas d las distintas catgorías morfosintácticas. Las variabls significativas qu conforman l modlo propusto corrspondn a dos catgorías: advrbios y clíticos. Los odds ratio stimados vidncian qu la

2 51 chanc d clasificar a un txto dntro dl corpus d Biomtría s incrmnta n un 62% al aumntar n númro d clíticos n una unidad, mintras qu la chanc d clasificarlo n l corpus d Filosofía aumnta un 41% al incrmntars n una unidad l númro d advrbios. La tasa d rror global stimada por validación cruzada s dl 19%. Palabras clavs: Rgrsión logística multivariada, análisis multivariado, análisis automático d txtos. 1. INTRODUCCION Est trabao prtnd continuar l análisis stadístico multivariado llvado a cabo n Bltrán (2010). El analizador morfológico Smorph, implmntado como tiqutador, s utilizado para asignar una catgoría morfológica a todas las ocurrncias lingüísticas. S utiliza la información rsultant dl análisis automático d txtos académicos provnints d distintas áras cintíficas (Biomtría y Filosofía) para conformar una bas d datos sobr la cual s aplica la técnica d rgrsión logística. Esta aplicación prsnta difrncias rspcto al análisis discriminant aplicado n trabaos prvios principalmnt n los supustos rquridos sobr las distribucions d las variabls y n la información rsultant dl modlo stimado. El análisis discriminant y la técnica d rgrsión logística son técnicas ampliamnt utilizadas cuando s tin por obtivo idntificar l grupo al cual prtnc una unidad xprimntal. En st caso la rgrsión logística prtnd prdcir l corpus al cual prtnc un txto n función d la información rlvada n l análisis automático d los mismos. A difrncia dl análisis discriminant no s rquir l supusto d normalidad multivariada dl conunto d variabls rgrsoras, lo cual prmit trabaar con las variabls originals qu rsultan dl análisis morfológico sin ncsidad d transformarlas. Mdiant la intrprtación d los coficints dl modlo stimado s busca hallar las caractrísticas, considrándolas simultánamnt a todas llas, provnints dl análisis automático d los txtos qu son más discriminatorias d las áras cintíficas d las cuals provinn. 2. MATERIAL Y METODOS 2.1. Disño d la mustra El marco mustral para la slcción d la mustra s l utilizado n trabaos antriors. Está compusto por txtos académicos, rsúmns d trabaos prsntados a congrsos y rvistas, xtraídos d intrnt prtncints a las disciplinas: Biomtría y Filosofía. La unidad d mustro fu l txto y la slcción d la mustra s llvó a cabo mplando un disño mustral stratificado con slcción proporcional al tamaño, sindo la mdida d tamaño l númro d palabras dl txto. Las mustras d los dos stratos furon valuadas y comparadas rspcto al númro mdio d palabras por txto. Esta comparación s rquir para vitar qu la discriminación ntr las disciplinas s va afctada por l tamaño d los txtos. La conformación d la mustra final s prsnta n la tabla 1. Tabla 1. Conformación d la mustra final

3 52 Mustra Nro. d txtos Cantidad d palabras Biomtría Filosofía Etiqutado: Análisis morfológico d los txtos El softwar Smorph, analizador y gnrador morfosintáctico dsarrollado n l Group d Rchrch dans ls Industris d la Langu (Univrsidad Blais-.Pascal, Clrmont II) por Salah Aït- Mokhtar (1998) raliza n una sola tapa la toknización y l análisis morfológico. A partir d un txto d ntrada s obtin un txto lmatizado con las formas corrspondints a cada lma (o a un subconunto d lmas) con los valors corrspondints. S trata d una hrraminta dclarativa, la información qu utiliza stá sparada d la maquinaria algorítmica, n conscuncia, pud adaptars a distintos usos. Con l mismo softwar s pud tratar cualquir lngua si s modifica la información lingüística dclarada n sus archivos. Smorph compila, minimiza y compacta la información lingüística qu quda disponibl n un archivo binario. Los códigos funt s dividn n cinco archivos: Códigos ASCII, Rasgos, Trminacions, Modlos y Entradas. En l archivo ntradas, s dclaran los ítms léxicos acompañados por l modlo corrspondint. Est indicador d modlo oficia d nlac con l archivo modlos, n l qu s spcifica la información morfológica y las trminacions qu s rquirn n cada ítm. El archivo modlos, s l qu introduc la información corrspondint a los modlos d flxions morfológicas, mintras qu n l archivo trminacions s ncsario dclarar todas las trminacions qu son ncsarias para dfinir los modlos d flxión. Las tiqutas corrspondints a los rasgos morfológicosintácticos son organizadas rárquicamnt n l archivo rasgos. Por último, n l archivo d códigos ASCII s spcifican, ntr otros, los caractrs sparadors y las quivalncias ntr mayúsculas y minúsculas. El módulo post-smorph MPS s un analizador qu rcib n ntrada una salida Smorph (n formato Prolog) y pud modificar las structuras d datos rcibidos. Ecuta dos funcions principals: la Rcomposición y la Corrspondncia, qu srán útils para rsolvr las ambigüdads qu rsultn dl análisis d Smorph. La información contnida n stos archivos s la prsntada n Bltrán (2009) para implmntar l tiqutador Disño y dsarrollo d la bas d datos El rsultado dl análisis d Smorph-Mps s almacna n un archivo d txto. Esta s la información qu contndrá la bas d datos. Mdiant una función dfinida n l sistma stadístico R s logra captar la información rsultant dl análisis morfológico y disponrla n una matriz d dimnsión: tantas filas como cantidad d obtos lingüísticos tnga l txto y tantas columnas como ocurrncia+lma+valors. D sta manra s obtin una bas d datos con la structura qu s mustra n la tabla 2. Tabla 2. Fragmnto d la bas d datos obtnida MUESTRA TEXTO OCURRENCIA LEMA ETIQUETA 1 1 El El dt 1 1 problma problma nom

4 d D prp 1 1 las El dt 1 1 sris Sri nom 1 1 d D prp 1 1 timpo Timpo nom 1 1 s Lo cl 2 1 Uno Uno pron 2 1 d D prp 2 1 los El dt 2 1 agnts Agnt nom 2 1 qu Qu rl 2 1 ha Habr aux 2 1 provocado provocar v 2 1 una Una dt 2 1 vrdadra vrdadra ad 2 1 transformación transformación nom 2 1 n En prp Abrviaturas: ad : adtivo art : artículo nom : nombr prp : prposición v : vrbo adv : advrbio cl : clítico aux : auxiliar cop : copulativo pun : signo d puntuación Lugo, a partir d sta bas d datos por palabra (cada unidad o fila s una palabra analizada dl txto), s confcciona la bas d datos por documnto qu srá analizada stadísticamnt. Esta s una nuva bas, dond cada unidad s l txto, qu rtin la información d las variabls indicadas n la tabla 3.a con la structura prsntada n la tabla 3.b. CORPUS TEXTO ad adv cl cop dt nom prp v otro total_pal Tabla 3.a. Variabls d la bas d datos por documnto Corpus al qu prtnc l txto Idntificador dl txto dntro dl corpus cantidad d adtivos dl txto cantidad d advrbios dl txto cantidad d clíticos dl txto cantidad d copulativos dl txto cantidad d dtrminants dl txto cantidad d nombrs (sustantivos) dl txto cantidad d prposicions dl txto cantidad d vrbos dl txto cantidad d otras tiqutas dl txto cantidad total d palabras dl txto Tabla 3.b. Fragmnto d la bas d datos para análisis stadístico CORPUS TEXTO ad adv cl cop dt nom prp v OTRO TOTAL_PAL

5 Análisis d rgrsión Logística El modlo La rgrsión logística s utilizada n situacions n las cuals l obtivo s dscribir la rlación ntr una variabl rspusta catgórica, n st caso dicotómica, y un conunto d variabls xplicativas qu pudn sr tanto catgóricas como cuantitativas. Sa x un vctor d p variabls indpndints, sto s, x = (x 1, x 2,, x p ). La probabilidad condicional d qu la variabl y tom l valor 1 (prsncia d la caractrística studiada), dado valors d las covariabls x s: g ( 1 P x) 0 1x... px p 1 g( x) y 1 X ( x) g( x) dond β 0 s la constant dl modlo o término indpndint p l númro d covariabls βi los coficints d las covariabls xi las covariabls qu forman part dl modlo. Si alguna d las variabls indpndints s una variabl discrta con k nivls s db incluir n l modlo como un conunto d k-1 variabls d disño o variabls dummy. El cocint d las probabilidads corrspondints a los dos nivls d la variabl rspusta s dnomina odds y su xprsión s: Py 1 X 0 1x1... px p 1 Py 1 X Si s aplica l logaritmo natural, s obtin l modlo d rgrsión logística: y 1 X 01x1... pxp log( ) 0 1x... pxp Py 1 X P log 1 1 En la xprsión antrior l primr término s dnomina logit, sto s, l logaritmo d la razón d proporcions d los nivls d la variabl rspusta Estimación y significación d los coficints dl modlo

6 55 Sa una mustra alatoria d n obsrvacions indpndints d pars x i, y i para i=1,2,...,n. El β 0, 1, 2,..., obtivo s stimar l vctor d parámtros p por l método d Máxima Vrosimilitud. Las p+1 cuacions a rsolvr s obtinn drivando la función d vrosimilitud rspcto a cada uno d los parámtros dl modlo igualando a cro. Las cuacions qudan xprsadas d la siguint manra: n i1 n i1 x y i ( x y ( x ) 0 1,2,..., p i i ) 0 i Las solucions d stas cuacions son los stimadors máximo vrosímils d cada uno d los β 0, 1, 2,..., componnts dl vctor d parámtros p, qu s simboliza β ˆ ˆ, ˆ, ˆ,..., ˆ p. Asimismo, d acurdo al método d stimación por máxima vrosimilitud, los stimadors d las variancias y covariancias s obtinn a partir d las drivadas parcials sgundas d la función d vrosimilitud. Para comprobar la significación stadística d cada uno d los coficints d rgrsión n l modlo s pud utilizar, ntr otros, l tst d Wald y l tst d razón d vrosimilituds Intrprtación d los coficints stimados Los β stimados rprsntan tasa d cambio d una función d la variabl dpndint y por unidad d cambio d la variabl indpndint x. El coficint β i xprsa l cambio rsultant n la scala d mdida d la variabl y para un cambio unitario d la variabl x. Por mplo, para la variabl x 1, β 1 = g(x 1 +1) g(x 1 ) rprsnta l cambio n l logit frnt a un incrmnto d una unidad n la variabl x 1. La intrprtación s hac n términos d la razón d Odds (OR). OR P( Y 1/ x 1) P Y ( 0/ x 1) P( Y 1/ x ) P Y ( 0/ x ) x... ( x 1)... x 0 x... x... x p p p p Slcción d variabls Una custión important n st tipo d análisis s dtrminar si todas las variabls considradas n la función d discriminant continn información útil y si solamnt algunas d llas son suficints para difrnciar los grupos (n st caso las disciplinas). Dado qu las variabls utilizadas para xplicar la rspusta s probabl qu stén corrlacionadas, s posibl también qu

7 56 compartan información. Por lo tanto, s pud buscar un subgrupo d variabls mdiant algún critrio d modo tal qu las variabls xcluidas no contngan ninguna información adicional. Existn varios algoritmos d slcción d variabls, ntr llos podmos citar: Método forward: cominza por slccionar la variabl más important y continúa slccionando las variabls más importants una por vz, usando un critrio bin dfinido. Uno d stos critrios involucra l logro d un nivl d significación dsado pr-stablcido. El procso trmina cuando ninguna d las variabls rstants ncuntra l critrio pr-spcificado. Método backward: cominza con l modlo más grand posibl. En cada paso dscarta la variabl mnos important, una por vz, usando un critrio similar a la slcción forward. Continúa hasta qu ninguna d las variabls puda sr dscartada. Slcción paso a paso: combina los dos procdimintos antriors. En un paso, una variabl pud ntrar o salir dsd la lista d variabls importants, d acurdo a algún critrio pr-stablcido Bondad d aust dl modlo: En st trabao s utilizó como valuación dl aust dl modlo l tst d Hosmr-Lmshow. Esta pruba propon un agrupaminto basado n las probabilidads stimadas por l modlo. Agrupa los n sutos n g patrons sgún critrios stadísticos. La stadística dl tst s obtin calculando la stadística chi-cuadrado d Parson qu compara las frcuncias obsrvadas y las stimadas, n cada grupo y catgoría d la variabl rspusta, sto s, la stadística chi-cuadrado calculada a partir d una tabla 2 x g. La ausncia d significación d la misma indica un bun aust dl modlo. Otra mdida qu prmit valuar l modlo cuando s utilizado para clasificar unidads n dos grupos s la tasa d rror stimada por validación cruzada. 3. RESULTADOS 3.1. Análisis prliminar. La primra comparación qu s raliza, como ya s mncionó al dscribir la mustra, s la dl númro d palabras por txto. La misma s llva a cabo mdiant l tst no paramétrico d Wilcoxon para mustras indpndints arroando una probabilidad asociada p=0.796, vidnciando qu no xistn difrncias significativas ntr los corpus rspcto al tamaño d los txtos. Comparacions similars ntr los corpus s llvan a cabo para las rstants variabls hallando difrncias significativas (p<0.05) para l númro d clíticos y d advrbios n los documntos analizados (Tabla 4). El númro d clíticos s mayor n los txtos d biomtría y l númro d advrbios s suprior n los txtos d filosofía. Tabla 4. Comparación mdiant tst d Wilcoxon Númro promdio d: BIOMETRIA FILOSOFIA Gnral Valor d p adtivos 17,9 21,3 19,6 0,54861 advrbios 2,9 5,9 4,4 0,01046 clíticos 4,1 2,7 3,4 0,00698 Copulativos 4,7 6,0 5,4 0,11850 Dtrminants 26,8 32,4 29,6 0,35490 Nombrs 44,6 45,0 44,8 0,55400 Prposición 30,0 29,7 29,9 0,67317 Vrbos 16,1 18,4 17,2 0,85882 Otro 18,8 21,4 20,1 0,85318

8 57 TOTAL_PALABRAS 165,8 182,9 174,4 0, Análisis d Rgrsión Logística S ralizó un análisis d rgrsión logística para obtnr una rgla d clasificación qu prmita asignar los txtos n stas dos poblacions, dfinidas por l ára cintífica a la qu prtncn, n bas a la frcuncia d cada catgoría gramatical n l txto. Considrando todas las catgorías s obtin l siguint modlo d rgrsión logística: Tabla 5: Coficints dl modlo d rgrsión logística Estimación máximo vrosímil Coficint gl Estimador Error stándar Est. Chicuadrado Prob. asociada Intrcpto Ad Adv Cl Cop Dt Nom Prp V Est modlo prmit, mdiant la utilización d los coficints stimados, calcular para cada txto la probabilidad d prtncr a cada uno d los corpus. P P 0 1x1... ( x 1)... p x p y 1 X ( x) 0 1x1... ( x 1)... p x p 1 y 0 X ( x) 0 1x1... ( x 1)... pxp 1 Con st critrio un txto s asignado al corpus cuya probabilidad s máxima. Aplicando st modlo como rgla d clasificación y stimando por validación cruzada, la tasa d rror global qu s obtin s dl 18% (Tabla 6). Tabla 6: Tasa d rror stimada Tasa d rror por corpus BIOMETRIA FILOSOFIA Total Tasa 16.7% 20% 18.3% 1

9 58 Para dtrminar cuáls catgorías gramaticals son las rsponsabls d la discriminación s utilizaron los trs algoritmos d slcción d variabls. En todos los casos s llga al mismo rsultado: las variabls qu logran difrnciar a los dos corpus d txtos analizados son l númro d advrbios y d clíticos. El modlo final stimado lugo d la slcción d variabls s mustra n la tabla 7 y las razons d odds rsultants n la tabla 8. Tabla 7: Coficints dl modlo d rgrsión logística final Estimación máximo vrosímil Coficint gl Estimador Error stándar Est. Chicuadrado Prob. asociada Intrcpto adv cl Efcto Tabla 8: Razons d odds stimadas Razón d odds Estimación puntual IC 95% adv cl La bondad dl aust d valúa mdiant l tst d Hosmr-Lmshow y la tasa d rror d clasificación. Con l modlo d rgrsión logística obtnido durant la slcción d variabls s obtin una tasa d rror global dl 19% mdiant validación cruzada (Tabla 9) y la probabilidad asociada n l tst d bondad d aust s p= vidnciando lo adcuado dl modlo. Tabla 9: Tasa d rror stimada Tasa d rror por corpus BIOMETRIA FILOSOFIA Total Tasa 18% 20% 19% Los coficints dl modlo d rgrsión logística prmitn la intrprtación d la misma. Las difrncias ntr los dos tipos d txtos s basan fundamntalmnt n l númro d clíticos y d advrbios prsnts. La razón d odds para l númro d clíticos s 1.62 lo cual indica qu la chanc d clasificar a un txto dntro dl corpus d Biomtría s incrmnta n un 62% al aumntar n númro d clíticos n una unidad. Con rspcto al númro d advrbios la razón d odds s mnor a la unidad por lo tanto si s intrprta l rcíproco, 1/0.71=1.41, significa qu la chanc d clasificar un txto n l corpus d Filosofía aumnta un 41% al incrmntars n una unidad l númro d advrbios. 6. CONCLUSIONES

10 59 Los rsultados dl análisis morfológico d los txtos s analizaron tnindo n cunta simultánamnt todas las mdicions ralizadas sobr llos sin aplicar ninguna transformación a las variabls. El análisis d rgrsión logística aplicado n st trabao prsnta una modalidad d análisis stadístico para discriminar grupos no muy habitual n la invstigación lingüística. El mismo prmitió hallar las catgorías gramaticals cuyas frcuncias obsrvadas n los txtos prmitn discriminar los dos grupos dfinidos por la disciplina a la qu prtncn. Las difrncias ntr los dos tipos d txtos stá cntrada principalmnt n l númro d clíticos y d advrbios prsnts. Los odds ratio stimados vidncian qu la chanc d clasificar a un txto dntro dl corpus d Biomtría s incrmnta n un 62% al aumntar n númro d clíticos n una unidad, mintras qu la chanc d clasificarlo n l corpus d Filosofía aumnta un 41% al incrmntars n una unidad l númro d advrbios. Similars rsultados s hallaron n Bltrán (2010) utilizando un análisis discriminant sobr las variabls transformadas. D la misma manra qu n aqulla instancia, s cr qu pud dbrs a qu, n los txtos d biomtría/stadística hay más clíticos qu n los humanísticos por la frcuncia d xprsions imprsonals o pasivas con l clítico s dl tipo: s austa un modlo cuadrático s stima la variancia poblacional Mintras n los txtos d filosofía s manifista la prsncia d mayor proporción d advrbios. Esta mtodología pud sr gnralizada a un númro mayor d disciplinas, d las cuals provinn los txtos, mdiant una xtnsión dl modlo d rgrsión logística para variabl rspusta multinomial. En st sntido s continuará l trabao prsntado. Rfrncias Aitchison J Th Statistical Analysis of Compositional Data. Chapman & Hall, London. Bltrán, C., Bndr, C., Bonino, R., Dco, C., Koza, W., Méndz, B., Moro, Stlla Maris Rcursos informáticos para l trataminto lingüístico d txtos. Edicions Juglaría. Rosario. Bltrán, C Modlización lingüística y análisis stadístico n l análisis automático d txtos. Edicions Juglaría. Rosario. Bltrán, C Estudio y comparación d distintos tipos d txtos académicos: Biomtría y Filosofía. Rvista d Epistmología y Cincias Humanas. Grupo IANUS. Rosario. Bltrán, C Análisis discriminant aplicado a txtos académicos: Biomtría y Filosofía. Rvista INFOSUR. Grupo INFOSUR. Rosario. Bès,Gabril, Solana, Z y Bltrán, C Conociminto d la lngua y técnicas stadísticas n l análisis lingüístico n Dsarrollo, implmntación y uso d modlos para l procsaminto automático d txtos (d. Víctor Castl) Facultad d Filosofía y Ltras, UNCUYO Cuadras, C.M NUEVOS MÉTODOS DE ANÁLISIS MULTIVARIANTE. CMC Editions. Barclona, España. Hosmr, D.W.; Lmshow, S. (1989) Applid Logistic Rgrssion. John Wily & Sons. Nw York. Johnson R.A. y Wichrn D.W Applid Multivariat Statistical Análisis. Prntic-Hall Intrnational Inc. Khattr R. y Naik D Applid Multivariat Statistics with SAS Softwar. SAS. Institut Inc. Cary, NC. USA.

11 60 Khattr R. y Naik D. (2000) Multivariat Data Rduction and Discriminatio with SAS Softwar. SAS Institut Inc. Cary, NC. USA Pogliano, A.M. (2010) Análisis Estadístico d Datos Aplicados al Estudio d Calidad n Srvicios d Traducción. Tsis Lic. n stadística. Facultad d Cs. Económicas y stadística. UNR. Rodrigo Matos, José Lázaro y Bès, Gabril G Análisis implmntación d clíticos n una hrraminta dclarativa d trataminto automático d corpus. En VI Congrso d Lingüística Gnral, Santiago d Compostla. Solana, Z. Bltrán, C., Bndr, C., Bonino, R., Dco, C., Koza, W., Méndz, B., Rodrigo, A., Tramallino, C La intrlngua d los aprndints d spañol como L2. Aports d la Lingüística Informática. GRUPO INFOSUR- Edicions Juglaría.