Usos de Data Mining y KDD en Marketing Research

Transcripción

1 Usos de Data Mining y KDD en Marketing Research Charla Alumnos Maestría Minería de Datos y Explotación Conocimiento - Facultad Ciencias Exactas y Naturales UBA Buenos Aires - Noviembre 2008

2 Temario Los datos no estructurados en el Marketing Reseach El Tratamiento de los datos no estructurados Sentiment Analysis o el Humor de los datos La Visualización para el análisis y la presentación de la información

3 Aparición de la Web Genera una explosión de datos Cambian los modelos en uso en el marketing, la comunicación y el marketing research Top Down a botom up Las marcas evolucionan y son modificadas por los consumidores La movilidad de la comunicación y los otros medios El tiempo disponible para asimilar información Se generan conversaciones entre usuarios Se arman redes sociales/ comunidades Lo real/virtual Del recuerdo a la observación La seguridad La colaboración

4 Los estudios de Mercado tratan distintos tipos de datos Los datos provienen de: Cuestionarios Preguntas abiertas Focus Groups y entrevistas en profundidad (IDI) Conversaciones Comunidades Foros Blogs Etiquetado de objetos/hechos

5 Hay dos tipos de datos en IM Los datos estructurados, que provienen de cuestionarios Representaban el mayor nivel de datos hasta hace poco El modelo Web 2.0 genera grandes volúmenes de DATOS NO ESTRUCTURADOS, que son mirados con codicia por los investigadores El tema es, como tratarlos?

6 Principales diferencias entre los tipos de datos ESTRUCTURADOS: Los ENCUESTADOS y el CUESTIONARIO Las bases grandes (hay muchas respuestas) Es una indagación guiada Depende del interés del investigador Se puede caracterizar al encuestado Genera datos con formato Los datos obtenidos son objetivos y no dependen del contexto El rango de las respuestas es limitado Su representación e interpretación es conocida Tratamiento estadístico cuantitativo Visualización con tablas y textos NO ESTRUCTURADOS: La GENTE y sus OPINIONES Las bases son pequeñas (pocas respuestas) Son de origen espontáneo Depende de la opinión del individuo El individuo esta oculto Genera datos sin formato Los datos dependen del contexto para su comprensión Las opiniones son abiertas Su representación e interpretación es muy nueva Tratamiento estadístico de variables categóricas Visualización multimedia

7 Técnicas para el tratamiento de datos no estructurados Representación mediante lexicones, glosarios y escenarios del dominio tratado Procesos estadísticos sobre palabras y minería de datos Visualización de la información para el usuario

8 Aprendiendo a ver los textos - Consideraciones para distintos tipos de textos Texto tipo 1 - Un solo autor, muchos temas y una sola idea sobre cada tema. (Por ejemplo un libro o un escrito) Se puede estudiar el estilo del autor Buscar patrones de contenido es difícil, conviene mas leerlo y apelar al clasificador humano. Hay un lenguaje más desplegado y rico Texto tipo 2 - Varios autores, un tema, muchas ideas (Por ejemplo respuesta a una preguntas abierta sobre un tema) Se pueden clasificar las ideas Permite detectar ideas singulares, soluciones nuevas, ideas espontáneas, muestra como se expresan los autores El lenguaje puede ser más llano o menos rico

9 Visualización de los tipos de textos Poema 12 - Oliverio Girondo Pregunta abierta a 500 individuos

10 Estructurando lo no estructurado Aprendiendo a ver los textos Partiendo de N casos (p.e. individuos) y N textos (uno para cada caso), queremos ver si existe alguna organización o estructura de los casos surgida de patrones u ordenamientos extraídos del análisis del contenido de los documentos Bla..bla.. bla Yo te digo...tenés razón Que bodrio

11 Esquema de trabajo COLECCION DE DOCUMENTOS REPRESENTACION HUMANO ESCENARIO VISUALIZACION _ _0 RED REDES SOM

12 Preparando la representación Frecuencia de palabras

13 Preparando la representación Frecuencia de palabras compuestas

14 Preparando la representación Palabras asociadas

15 Organización y Visualización de los datos VISUALIZACION DE LA RED

16 Visualización de la red Treemap Variables en cada Nodos

17 Visualización de la red Treemap Nodos en cada Variable

18 Visualización de la red Treemap Incidencia de la variable V95 en los nodos

19 Visualización de la red Treemap Incidencia del Nodo 8 en cada variable

20 Visualización Hechos y Fechas

21 Representación semántica de la red

22 Sentiment Analysis o el Humor de los datos Se trata de identificar la orientación de los discursos o mensajes, sobre un tema, que circula en los distintos medios, a través de recursos de machine learning. Hay orientación de los discursos, dependiendo del jugador que lo emita, lo cual da una dimensión cualitativa/subjetiva al discurso 1. Yo pienso que Madona es una gran cantante 2. Una gran confusión en los medios, produjo la aparición de la cantante Madona 3. Pese a que Madona es una gran cantante, Shakira la supera 1 es positiva 2 es neutra 3 es negativa

23 Monitoreo de humor Manejo de Crisis LISTA 1.15 azul = Positivo rojo = negativo

24 Sentiment Analysis o el Humor de los datos Se trata de identificar alguna estructura común en los mensajes emitidos. Para luego establecer: una orientación positiva o negativa respecto a un tema (línea de investigación de Xue Bai y otros) ó una orientación y fuerza (Dureza de la opinión línea de investigación de Fabrizio Sebastiani y Andrea Esuli) ORIENTACION +FUERZA Mensajes 1.k ORIENTACION

25 Sentiment Analysis o el Humor de los datos COLECCION DE MENSAJES Data set con mensajes clasificados por un experto sobre la orientación REPRESENTACION RED _ _0 MARKOV BLANKET CLASSIFIER

26 Sentiment Analysis o el Humor de los datos Redes Bayesianas y Markov Blanket Una red bayesiana es un grafo acíclico. Cada nodo representa una variable y cada arco una dependencia probabilística, dada por la probabilidad condicional de cada variable dados sus padres. El Markov Blanket para un nodo A es el conjunto de nodos que son padres de A, el conjunto de nodos que son hijos de A y el conjunto de nodos que son padres de los descendientes de A

27 Sentiment Analysis o el Humor de los datos Construyendo el grafo y la red oscura suave alegre NP Hard Orientación del grafo Conectividad de los nodos ágil suave CLASE garra espuma alegre espuma ágil oscura garra CLASE

28 Sentiment Analysis o el Humor de los datos Diseño Aprendizaje supervisado Data Set: 1777 documentos, convertidos en un documento_vector con 60 variables binarias y una variable de clase (0,1) Clasificadores/algoritmos: se utilizó Weka, con los siguientes algoritmos: Bayes.NaiveBayesSimple Bayes.NaiveBayes TabuSearch/Markov Blanket Simulated Annealing/Markov Blanket Trees.NBTree Entrenamiento: 66% del dataset, el restante 34% fue utilizado para validación

29 Sentiment Analysis o el Humor de los datos Desempeño de distintos clasificadores Clasificador Tiempo (seg) Ejemplos correctamente clasificados % Bayes.NaiveBayesSimple Bayes.NaiveBayes TS/MB_60 TS/MB_30 SA/MB Trees.NBTree 0,0 0,0 4,5 4,6 16,0 13,4 95,04 95,04 90,08 90,08 89,91 89,58

30 Sentiment Analysis o el Humor de los datos Comparación y Visualización de TS/MB NB clasifica mejor, pero. MB y Trees.NBTree permite la reducción de atributos (en algunos proyectos resulta una cualidad importante) MB y Trees.NBTree tienen un output visual útil para determinar aspectos cualitativos de la estructura que se estudia

31 Visualización de la información

32 Visualización Comentarios El packaging de la información!!!!?#### Entra por los sentidos Se compra ó no por su comprensión

33 Visualización Otro lugar interesante : Many eyes

34 Visualización Otro lugar interesante : Wordle

35 Visualización Algunos lugares interesantes: visual literacy

36 Visualización Algunos lugares interesantes: visual literacy

37 Visualización Algunos lugares interesantes: visual literacy

38 Visualización Otro lugar interesante: alephzero.com.ar

39 Alguna pregunta? Gracias!!! Lic. Juan José Lloret

40 Sentiment Analysis o el Humor de los datos. Metrucho Cuando se introduce un término de búsqueda, Suck & Rock busca en la web utilizando ese término. El resultado es la fracción de resultados positivos dividido suma de resultados positivos y negativos, normalizado a 10. Las frases negativas son: X apesta, **** X, X es ******, odio X. Las frases positivas son: X es fuerte, X es dulce, X es impresionante, me encanta X. Yahoo Search API se utiliza actualmente para obtener resultados, ya que la API de Google de la búsqueda SOAP es obsoleta y sólo permite 1000 consultas por día. Camino por recorrer, Google!

41 Sentiment Analysis en el Metrucho

42 La Investigación Clásica Cliente Investigador Cuestionario + Respondente = Encuesta Muestra Campo Base de datos Procesamiento/Analisis Report

43 Cambios importantes y áreas que afecta Diseño: Representativo Lo creativo Lo investigativo Espontaneo Campo Distribuido Auto administrado Colaboración Análisis: Estadistica dura Estadistica exploratoria Estadistica categorica Lo temporal Lo cuantitativo Distribución al usuario: formas de packaging Conexión con el usuario La visualización

44 Visualizaciones Treemaps: son un tipo de visualización ideada a principios de los 90 por Ben Shneiderman, que permite representar jerarquías de forma que se optimiza el llenado del espacio y, además, ver los atributos de la misma e identificar patrones anómalos o propiedades de la jerarquía usando colores. www.

45 Visualización de la red Treemap - Nodo en cada Variable, variando el umbral de casos