Text Mining. Análisis Exploratorio Multidimensional de Textos. Ludovic Lebart CNRS - ENST

Transcripción

1 Text Mining Análisis Exploratorio Multidimensional de Textos Ludovic Lebart CNRS - ENST 1 Bajo el nombre de «Text Mining» se encuentra una serie de técnicas de Análisis exploratorio de datos textuales. Procedimientos tipicos: Textos de periodicos, Mensajes en el WEB, Vigilancia tecnológica, Preguntas abiertas en las encuestas socio-económicas, Tratamientos de cartas de reclamación 2 1

2 1- Antiguas técnicas en su principio son ahora faciles de emplear, y son mejoradas. 2- Nuevas técnicas son concebidas. 3- Nuevos campos de investigación pueden ser estudiados 4- Nuevos productos aparecen: "Los Paquetes". 5- Necesidad de selección de métodos y de estrategía de tratamiento. 6- Los bases de datos numéricas y textuales 3! " #! $ % &! % $! " # ' ( ) * +, -) * Bases de datos Compartir un conjunto de datos entre varios usuarios (eventualmente simultaneos), mantener la calidad y la coherencia de la información, Securidad del acceso a la información, confidencialidad. / Dos / calidades importantes del sistema : No-redundancia, (optimización del «stockage»), Performancias y eficacias de las requestas / preguntas. La mayor parte de las inversiones y de los esfuerzos de investigación concierne estos problemas de compartición, de coherencia, de seguridad (de suma importancia para las empresas) 4 2

3 2- Estructuras de datos Modo de grabación de los datos en la memoria central de la computadora, o en un disco. Ejemplos : cuadros o tablas, «pilas» (ultimo entrado, primero salido), colas (primero entrado, primero salido), arboles binarios, diferentes tipos de codigos para los cuadros de datos casi-vacios. adaptadas a las exigencias de los usuarios (rapidez, simultaneidad, coherencia, confidencialidad). adaptadas a las exigencias de los algoritmos de calculo (los que nunca verran los usuarios) Conflicto entre los dos tipos de adaptaciones datos de encuestas y datos transaccionales Para las encuestas... fase de recogida y de grabación intensivas, de duración muy limitada. Es preciso hacer un importante control (data cleaning) durante la recogida y la grabación. Caso de los sistemas CATI y CAPI. Brevedad de la vida de los datos. Tratamiento de los datos : un pequeno numero de expertos. 6 3

4 4 - Los calculos estadisticos en las bases Los paquetes de procedimientos de datos de encuestas, particularmente los que proporcionan las tablas cruzadas (cross-tabulations) no constituyen bases de datos en el sentido acual del termino. Sin embargo, estos paquetes se sirven de estructuras de datos particulares, adaptadas a los «domandas» de los usuarios. Asi mismo, los paquetes (y «servers» OLAP) preparan la base a contestar mas de prisa a las preguntas multidimensionales de los usuarios. Estas preguntas no so mas que tablas cruzadas con filtración y recodificación, es decir las herramientas clasicas de los estadisticos. 7 Los calculos estadisticos en las bases (continuación) «Duplicación» del fichero La matriz de datos y su tranpuesta estan grabadas en el disco Calculo de correlación: la matriz (individuos, variables) Calculo de medianas: la matriz (variables, individuos) Calculo mediante el «bitwise» Codificación «0-1» para las variables binarias, y las modalidades de las variables nominales (32 modalidades en una soma palabra). Los filtros y las tablas cruzadas son aplicaciones elementales de las operaciones «bitwise». 8 4

5 Los calculos estadisticos en las bases (continuación) Grabación y calculo con direcciones: los cuadros casi-vacios Los variables con menos de modalidades pueden ser registradas dentro de dos «octes». Los productos escalares son solamente función del numero de celdas llenas. En el caso de las tablas disyunctivas completas, el volumen de calculo depiende del numero de preguntas, y no del numero de modalidades de respuesta... Los algoritmos de clasificación de tipo «k-means» (o centros mobiles, o nubes dinamicas) son mucho mas rapido con este tipo de codificación (... aunque ausente de casi todos las bases de datos). 9 Tomar en cuenta la meta información Enfoque descriptivo D.M. Hacer pruebas (validez) Enfoque inferencial Problema univariado Problema multivariado Datos estructurados Problema Datos amorfos univariado (Ausencia de meta-datos) 10 5

6 El Text Mining y el Análisis Exploratorio Multidimensional de Textos «paradigma» inicial (Benzécri, 1970): Extraer unidades de los textos Enriquecer la «lexicometria» con el «multidimensional» Aplicar las herramientas de visualisación a las tablas léxicas evolución y diversificación de los métodos : 5 : 6 ; 6 8 <= A? = > B Unidades basicas CORPUS Partes de textos frases o repuestas Segmentos o cuasi-segmentos Formas gráficas o lemas Caracteres 12 6

7 Los tipos de caracteres CARACTERES Delimitador de palabra Delimitador de secuencia Separador de frases 13 DC FE HGJK IL OM PN RQ PN HG TU SV XY W[ \ Z ^_ ] ` ba dc [ Y ge h f^i ] j `_ ba l k [ Y XW nm po rs qt vw ux vunm z y { ~ } v u { r q Herramientas de visualisación Analisis en ejes principales Clasificación de las palabras y de los textos Mapas de Kohonen Selección de las unidades y de las frases características Unidades características (formas, segmentos, lemas) Selección de las respuestas modales 14 7

8 Ejemplos de repuestas en Inglès: Life question GenderEduc.Age Responses happiness in people around me, contented family, would make me happy my own time, not dictated by other people freedom of choice as to what I do in my leisure time I suppose work firm, my work, which is my dad's firm just the memory of my last husband well-being of my handicapped son my wife, she gave me courage to carry on even in the bad times my sons, my kids are very important to me, being on my own, I am responsible for their education job, being a teacher I love my job, for the well-being of the children 15 Etiquetado de las ocurrencias del corpus Life question Gender Educ. Age Tagged responses happiness/nn in/in people/nns around/in me/prp,/, contented/vbn family/nn,/, would/md make/vb me/prp happy/jj my/prp$ own/jj time/nn,/, not/rb dictated/vbn by/in other/jj people/nns freedom/nn of/in choice/nn as/in to/to what/wp I/PRP do/vb in/in my/prp$ leisure/nn time/nn I/PRP suppose/vbp work/nn firm/nn,/, my/prp$ work/nn,/, which/wdt is/vbz my/prp$ dad's/nns firm/nn just/rb the/dt memory/nn of/in my/prp$ last/jj husband/nn wellbeing/nn of/in my/prp$ handicapped/jj son/nn my/prp$ wife/nn,/, she/prp gave/vbd me/prp courage/nn to/to carry/vb on/in even/rb in/in the/dt bad/jj times/nns 16 8

9 Palabras (formas gráficas) apareciendo más de 16 veces (orden alfabético) Words Appearing at Least Sixteen Times (Alphabetic Order) in the 1043 responses to the open question Word Frequency Word Frequency Word Frequency I 248 go 19 of 312 I'm 22 going 26 on 59 a 298 good 303 other 33 able 55 grandchildren 30 others 17 about 31 happiness 227 our 29 after 26 happy 137 out 34 all 86 have 99 own 16 and 504 having 70 peace 77 anything 19 health 609 people 61 are 65 healthy 45 really Ejemplo de tabla léxica Partial listing of lexical table cross-tabulating 135 words of frequency greater than or equal to 16 with 9 age-education categories L-30 L-55 L+55 M-30 M-55 M+55 H-30 H-55 H+55 I I'm a able about after all and anything

10 security church welfare mind son E3-AGE3 kids for peace E2-AGE3 contentment children E2-AGE2 if them Correspondencia Palabras - Categorias general leisure freedom standard house time education satisf. love job future E3-AGE1 music work E1-AGE2 E3-AGE2 family money E2-AGE1 things friends happiness employment E1-AGE1 car out world and be to not you think dog daughter are from very wife I well would have going keep comfortably comfortable much go E1-AGE3 should me anything help day more can 19 peace of mind E3-AGE3 peace in the world E2-AGE3 welfare of my family E2-AGE2 happiness, good health E1-AGE2 E3-AGE2 law and order a nice home a good standard of living I don't know having enough money to live E1-AGE3 E2-AGE1 a good job E1-AGE1 c an't think of anything else Ubicacion de los Segmentos friends and family E3-AGE

11 words %W %glob FR.W TestValue H-30 = -30 * high Palabras caracteristicas (especifidades) 1 friends do want being job having things wife health H+55 = +55 * high 1 mind welfare peace Respuestas modales Category 7 Less than 30 years, high level of education friends, friends, my homelife being content having enough money to do what you want to do, within reason, having good friends, having a fulfilling job to do, having some idea of what you want to do and the freedom to choose, protection of the environment to have good friends around having a good job, living in a good area, having lots of freedom to do the things you want to do.93-4 good living education, good job, money Category 9 Over 55 years, high level of education.97-1 togetherness, peace of mind, good health, religion, no.64-2 not to die, peace of mind, don't like people living envious of each other.63-3 peace of mind good health, happiness, enough money to keep a standard of living.38-4 welfare of my family work, satisfaction, good health, travel 22 11

12

13 Meta-información Meta-datos linguisticos Gramática Datos textuales Sintaxis Redes semánticas Corpus externos Otras estructuras a priori: sociolinguisticas, cronologicas, etc. 25 El contenido semántico de un perfil léxico: Lingüística distributional (Z. Harris) X tiene una cola X tiene bigotes a X le gusta la leche a X le gusta el pescado X tiene miedo del agua a X le encanta cazar los ratones 26 13

14 ƒ ˆ Š Œ ˆ ƒ ˆ Ž Statistical units (words, lemmas) Grammatical categories Other categories Respondents Texts Statistical units (words, lemmas) Metric induced by the semantic networks whose nodes are the statistical units (Anisotropy of the space of words) 27 š œ ž œ Ÿž œ œ ž Encuestas por muestro (Frecuencia estadistica) Preguntas cerradas Preguntas abiertas Textos (Frecuencia lexicométrica) 28 14

15 ³ µ µ ¹ À Á ÂÃ Ä Å Æ º» ¼ ½¾ «± ² ª 29 15