MINERIA DE TEXTOS EN R: VIA UN MODELO DE ESPACIO VECTORIAL Y ANÁLISIS CLUSTER. Resumen

Tamaño: px

Comenzar la demostración a partir de la página:

Download "MINERIA DE TEXTOS EN R: VIA UN MODELO DE ESPACIO VECTORIAL Y ANÁLISIS CLUSTER. Resumen"

Carmen Gutiérrez Rodríguez
hace 7 años
Vistas:

1 MINERIA DE TEXTOS EN R: VIA UN MODELO DE ESPACIO VECTORIAL Y ANÁLISIS CLUSTER Resumen El objetivo del presente estudio fue encontrar la similitud entre textos para asociar reclamos y determinar si estos eran reincidentes, se planteó un modelo de espacio vectorial con el que se determinó la relación semántica existente entre varios reclamos. Para llevar a cabo este análisis se contó con información no estructurada, a la cual se le hizo un tratamiento de limpieza y tokenización de los textos con el uso del paquete tm del software estadístico R. Una vez realizada toda la limpieza se obtuvo una base de datos con las siguientes variables: identificación de reclamo, palabras asociadas con el reclamo y frecuencia de las palabras dentro del reclamo, para así crear el modelo de espacio vectorial (VSM), posteriormente se creó un algoritmo constructivo de procesamiento, el cual realizó las mediciones de similitud de manera iterativa. Estas mediciones las hizo con base a un vector de pesos que tiene como tamaño la cantidad de palabras del reclamo. Finalmente para saber cuáles de estos reclamos eran reincidentes entre sí se realizó un modelo de clúster jerárquico con Linkeo average, basándose en una matriz de similitud entregada por el modelo de espacio vectorial. El modelo proporcionó óptimos resultados medidos a través de pruebas de sensibilidad (escenarios), arrojando niveles de efectividad del 81% con un punto de corte en 0,68. Palabras clave: Clúster jerárquico, modelo de espacio vectorial, similitud, reclamo. 1. INTRODUCCIÓN Los reclamos de los clientes se efectúan mediante un indicio de solicitudes mal realizadas, lo que se convierte en una mala reputación para las organizaciones, situación que afecta directamente los ingresos de las compañías y su posicionamiento frente a sus competidores, y mucho más si estos reclamos son reiterativos en cada uno de los clientes. Para dar solución a este problema se emplea la teoría de minería de texto, con el objeto de identificar si dos reclamos de un mismo cliente tratan semánticamente de los mismo, basándose para esto en el campo sobre la descripción del problema (campo nota ), se considera un modelo de espacio vectorial (VSM) con base en trabajos realizados anteriormente como en Manwar (2012), quien plantea un sistema de recuperación de información en MATLAB, realizándolo para la recopilación de datos de Cranfield de dominio aerodinámica.

2 2. PREPARACIÓN DE LA INFORMACIÓN Y MODELAMIENTO. Para utilizar el modelo de espacio vectorial se debe realizar una buena depuración de la información sobre el campo nota, para esto se trabajara mediante el software estadístico R y su paquete tm y funciones como tm_map, TermDocumentMatrix en el que se remueven palabras irrelevantes para cada requerimiento (campo nota ). Radicado Palabra Frecuencia 1 abono 2 1 acceso 2 1 amable 1 1 amex 4 Tabla 1: Base para el modelo de espacio vectorial Si definimos a: =Número total de clientes asociados a los reclamos de los primeros 5 meses del año Número de reclamos del cliente k-esimo; Donde Número total de reclamos. = Número total de palabras en el i-esimo reclamo del k-esimo cliente. = Frecuencia de la palabra j-esima del i-esimo reclamo asociada al k-esimo cliente. 2.1 MODELO DE ESPACIO VECTORIAL Para la comparación de un par de requerimientos si se trata lingüísticamente de lo mismo se creara un vector de pesos basados en la frecuencia de las palabras para cada uno de los reclamos ( ) Posteriormente se unen matemáticamente los dos vectores de palabras utilizadas en el primer reclamo y en el segundo reclamo, es decir si definimos a: Luego se realiza una búsqueda de palabras del primer reclamo con stemming en el vector y se aplica la siguiente regla para cada una de las palabras para así generar dos nuevos vectores de pesos con exactamente la misma magnitud para luego medir el coseno del ángulo entre estos dos vectores tal y como lo propone G. Salton (1975).

3 { Dando como resultado dos vectores con los pesos asociados a cada palabra Por último se medirá el coseno del ángulo entre los dos vectores generados. Observación 1. I. Si el entonces es porque los dos vectores y son ortogonales, es decir los dos reclamos NO presentan similitud alguna (No reincidencia). II. Si el entonces es porque los dos vectores y son Congruentes, es decir los dos reclamos presentan una muy buena similitud (reincidente). 2.2 REGLA DE DECISIÓN DEL VSM En la etapa de validación se toma una M.A.E (Muestra Aleatoria Estratificada) donde los estratos están dados por las particiones entre los grados de similitud de los reclamos (0.5). La regla de decisión se tomó con el objetivo de maximizar la precisión total, teniendo en cuenta la maximización de la precisión de los reclamos reincidentes, así se llegó a inferir que si un par de reclamos tiene una probabilidad de similitud mayor a 0.32 es considerado como reincidente. R\P No Reincidente Reincidente Total No Reincidente Reincidente Total

4 I. II. III. Tabla 2: Validación VSM 3. MODELO DE CLUSTER JERÁRQUICO La metodología de clúster se aplica al caso de investigación debido a que se desea agrupar a los distintos temas de reclamos reincidentes en un respectivo grupo por cada cliente. Después de ejecutado el modelo de espacio vectorial se tendrá una estructura de todas las posibles combinaciones de a dos requerimientos para cada cliente con un grado de similitud asociada y se construye la siguiente matriz de similitud entre los reclamos. [ ] Posteriormente se crea una matriz de Disimilitud. [ ] 4. CONCLUSIONES. La combinación entre el modelo de espacio vectorial, el análisis de clúster y los buenos resultados nos permiten concluir que el grado de similitud del VSM entre los campos de lenguaje natural llevaran a una agrupación que identifica los diferentes textos que se tienen en un conjunto de documentos, por lo que esta técnica no se restringe a ser utilizada solo en identificar los reclamos reincidentes de una compañía, si no en problemas diarios de modelación de textos. Se puede observar que mediante el modelo de espacio vectorial los resultados son bastante satisfactorios para la compañía, ya que brinda una información importante que por medio de la gestión de personal indicado implicaran una mejora en el servicio y que a su vez aumentaran los correctivos para los empleados que efectúen malas prácticas, lo cual implica una mayor eficiencia en servicio y economía.

5 REFERENCIAS Manwar, A. (2012), a vector space model for information retrieval: a matlab approach, Indian Journal of Computer Science and Engineering, Vol. 3 No. 2, pp , April-May Pardo, C. E. (1992), Análisis de la aplicación del método de Ward de clasificación jerárquica al caso de variables cualitativas, Tesis Magister Scientiae en Estadística, Universidad Nacional de Colombia. Facultad de Ciencias. Departamento de Matemáticas y Estadística, Bogotá. Clas. Local 1.96 P226a Peña, D. (2002), Análisis de datos multivariantes, McGraw-Hill, Madrid. R Core Team (2014), R: A Language and Environment for Statistical Computing, R Foundation for Statistical Computing, Vienna, Austria. * Salton, G. (1975), A vector space model for automatic indexing, Communications of the ACM, Vol 18, No 11, pp , November.

Documentos relacionados

Clasificación Jerárquica Ascendente Presentación #1. [ U n a i n t r o d u c c i ó n ]

Clasificación Jerárquica Ascendente Presentación #1 [ U n a i n t r o d u c c i ó n ] Clasificación Jerárquica Clasificación Automática La clasificación automática tiene por objetivo reconocer grupos de