Aplicaciones basadas en predicciones de Twitter

Transcripción

1 Aplicaciones basadas en predicciones de Twitter por Carlos Ayora Vila Prof.: Cèsar Ferri Ramírez Recuperación Optimizada en la Web Master Universitarío en Gestión de la Información Escuela de Informática - UPV

2 INDICE 1 - RESUMEN Pág INTRODUCCIÓN Pág PREDICCIONES DE TWITTER Pág Rastrear la propagacion de una enfermedad Pág Evolución del lenguaje Pág Futuro de la Bolsa Pág Estados Emocionales Pág Seguimento de intoxicaciones alimenticias en restaurantes Pág Tendencia e intereses politicos de la población Pág Ganador de las elecciones Pág Predecir la veracidad de un Tweet Pág El estado con mejor calidad de vida Pág Trending Topic Pág Encontrar trabajo HashJob Pág Predicciones Gubernamentales Pág CONCLUSIONES Pág BIBLIOGRAFÍA Pág Referencias Documentales Pág Referencias Adicionales Pág.13 1

3 1 - RESUMEN El proposito de este trabajo de investigación documental, consiste en realizar un estudio de las diferentes aplicaciones que han tenido las predicciones que se hayan realizado a través del estudio de Twitter. Con ello no solo se pretende abarcar en este documento, las predicciones ya existentes, sino tambien se pretende, proponer ciertos casos posibles de estudio predictivo de Twitter, para poder aplicar a casos puntuales del día a día. 2 - INTRODUCCIÓN Vivimos en una era, marcada por la información, donde las personas compaten libremente datos confidenciales sin importarles las consecuencias ni su uso. Esto ha llevado al tratamiento de esta información a otro nivel, permitiendo el poder predecir cosas tales como el resultado de unas elecciones, o un posible ataque terrorista. Hoy en día, no solo compartimos nuestro nombre, edad, domicilio, etc., sino que tambien compartimos otro tipo de dato, al cual denominaremos secundário, ya que rara vez nos damos cuenta de ello. En el caso que nos atañe, Twitter, hace uso de ese dato secundario, para poder hacer predicciones en base al sentimiento de nuestros Tweets, y es que se puede estudiar le estado de ánimo de una persona, en tan solo 140 caractéres como máximo, lo que, mediante el uso de ciertos algorítmos predictivos, puede predecir le futuro de, no tan solo un solo sujeto, sino el de toda una sociedad, estudiando conjuntamente el contenido de todos los tweets, de un usuario, en función de sus followers. Si usamos Twitter, como herramienta predictiva, tenemos que tener en cuenta que nos encontramos ante una red social, en la que no es necesario estar conectado con alquien de manera simultanea, sino que nosotros simplemente podemos estar siguiendo a alguien, sin necesidad de que este nos siga a nosotros, lo que hace que el papel del follower y del follow sea muy importante. 2

4 Sin ir más lejos, Twitter posibilita que a través de un solo usuario, podamos recuperar información de un número mayor, de usuarios, relacionados con él; haciendo de esta red social, un claro objeto donde la recuperación de la informacíon de cada uno de sus usuarios, puede ayudar a poder hacer predicciones del futuro no solo de un indiviuo, como ya hemos dicho anteriormente, sino de toda una sociedad, creando un mapa de usuarios por el cual a partir de uno se puede llegar a muchos. 3 PREDICCIONES DE TWITTER Dada la potencia de Twitter, para obtener información de sus usuarios, asi como, la facilidad que existe para recuperarla a traves de la API de Twitter, la cual permite programar algoritmos, encargados de recuperar dicha información, han hecho posible, que esa información pueda usarse, mediante el uso de ciertos algoritmos, para predecir el futuro. Aunque esta idea suene redundante o incluso confusa, es del todo cierta, ya que a través del sentimento de un tweet, podemos determinar el futuro de ese usuario y de sus seguidores. Cuando decimos que podemos determinar o predecir su futuro y el de sus followers, nos estamos refieriendo a que en base a la manera en la que está escrito el tweet, se puede determinar la tendencia politica, anímica, de dichos usuarios. Pero que es lo que pasa cuando en vez de analizar personas, analizamos tweets empresariales. Con este tipo de tweets, no se puede predecir elecciones politicas ni posibles ataques terroristas, pero si se pueden predecir los diferentes estados bursátiles de la bolsa. A continuación, veremos algunas aplicaciones, obtenidas de diferentes predicciones de obtenidas a través del estudio de tweets, algunas de ellas más relevantes y famosas que las demás, pero no por ello menos interesantes. 3

5 3.1 Rastrear la propagacion de una enfermedad Gracias a la investigación de Adam Sadilek, como parte del equipo de Henry Kautz, en la universidad de Rochester y de su algoritmo, el cual forma parte del proyecto GermTracker, es posible seguir la evolución de una epidemia, en este caso la de la gripe, a través del estudio masivo de tweets. Este proyecto, nace a partir del proyecto Social Health, que se encargaba de seguir la evolución de la enfermedad en la ciudad de Nueva York, que mediante la búsqueda de palabras tales como enfermedad, gripe, catarro, en un total de usuarios, pudieron determinar las zonas más afectadas dentro de dicha ciudad. Fue entonces cuando al finalizar el período de tres meses, decidieron lanzar el proyecto a todo el mundo, pudiendo aprovechar la geolocalización como parte esencial para crear dicha herramienta de seguimiento. No obstante, y pese que esta herramienta parece tener éxito, gracias a la efectividad y rápidez de resultados, se basa en la idea de la ya fracasada Google Flu Trends, que pretendía realizar una predicción similar a partir de los datos obtenidos en su red social Google+, lo que hace suponer que al igual que en el caso de Google, no se puede genralizar las predicciones obtenidas a través de Twitter, ya que no todo el mundo es usuario de Twitter, pero si dar un balance aproximado sobre dicha predicción. 3.2 Evolución del lenguaje Desde la existencia de Twitter, el ser humano, se ha visto en la necesidad de adaptar su lenguaje, a 140 caracteres, por lo tanto una necesidad basica que han tenido que asumir y a su vez corregir los diferentes algorítmos predictivos, que utilizan Twitter, como base fundamental de sus predicciones, es a descartar los diferentes resultados, en función de la redundancia de cada uno de esos tweets. Por ello, el equipo formado por Fabio Massimo, Marco Pennachiotti y Kostas Tsioutsiouliklis, se han encargado de desarrollar un algorítmo capaz de predecir si un tweet es valido o no par aluego poder usarlo en futuras predicciones. Para ello, han tenido en cuenta, diferentes factores para poder calcular la redundancia de un tweet, como son la sintaxis y el léxico del mensaje que se esta transmitiendo, y 4

6 es que en 140 caracteres, los usuarios, han tenido que aprender a simplificar y acortar mucho el mensaje, haciendo que una evaluación previa de un tweet, no tenga la misma relevancia, que si predecimos la redundancia de este sobre la predicción a realizar. 3.3 Futuro de la Bolsa Una de las predicciones más importantes, enfocadas hacia el mundo de la economía más que al de la publicidad, como pasa con la mayoría de las predicciones de hoy en día, que solo buscan segmentar poblaciones de cara que se amás facil viralizar un concepto, encontramos un tipo de predicción que es capaz de predecir el estado de la bolsa. Aunque suene extraño, en 2010, Johan Bollen, Huina Mao y Xiao-Jun Zeng, fueron capaces de predecir, con una precisión del 86,7% el Dow jones Industrial Average, con tres días de antelación y basándose en el análisis de 9,8 millones de tweets. Este tipo de predicción, hizo que las empresas dedicaran muchos recursos, no solo por el hecho de saber como era la tendencia de mercado más alla de los patrones impuestos por Bloomberg, sino especialmente para saber cuales eran los valores en otros mercados, especialmente, en el caso de los Estados Unidos de America, poder predecir las IPO 1. Esta predicción, la llevó a cabo mediante el análisis del estado de ánimo colectivo de este número de un grupo de usuarios de Twitter, en los que su algoritmo, el cual análizaba siete patrones de ánimo, vio un patron muy concreto que coincidía con los cambios del Dow Jones. El estado al cual se refería Johan Bollen, era al de la ansiedad, ya que cuando obtenia picos muy elevados en esta variable, a los pocos días se producian caidas en este mercado, coincidiendo con dichos picos. Aunque no se sabe del todo por qué sucede esto, una explicación posible es que la caída de las acciones fue causada por la tendencia de los corredores de abandonar posiciones de riesgo cuando surgieron los sentimientos de ansiedad. 1 IPO Initial Publish Offering 2 EEUU Estados Unidos de Norte América 5

7 3.4 Estados Emocionales Otro de los casos prácticos en los que las predicciones de Twitter, son validas, es en el campo de la medicina, más concretamente en el de la psicología. Y es que mediante el análisis de los sentimientos de los tweets de un paciente, se puede llegar a saber su estado anímico, psicológico e incluso poder predecir recaidas o actos que pongan en peligro la salud de dicho paciente o de los que le rodean. Otra aplicación de este algoritmo de predicción psicológico, es el que tambien esta usando Facebook para predecir cuando va a ser la ruptura de una pareja sentimental, y es que mediante el análisis de los tweets de dos usuarios concretos y entre ellos, se puede predecir el estado de la relación que mantienen, analizando aspectos tales como elementos en común o el lexico que utilizan en sus intercomunicaciones. 3.5 Seguimento de intoxicaciones alimenticias en restaurantes Otro de los Algoritmos de Adam Sailek, es el llamado nemesis, este algorítmo, se encarga de analizar en que restaurantes se a intoxicado más gente. Esta variante del algoritmo de prevención de la gripe, y utilizando la geolocalización como parte imprescindible del algorítmo, es capaz de predecir los restaurantes con mayor probabilidad de servir alimentos en mal estado. Básicamente, el algoritmo analiza palabras tipo dolor de barriga, comida mala, mal estado, y la localización del mismo para poder determinar el area donde se encuentra el restaurante, asi como el nombre del mismo. 6

8 3.6 Tendencia e intereses politicos de la población Medir la tendencia politica de una persona, y clasificarla a partir de un servicio de microblogging, es posible gracias al estudio realizado por Marco Pennacchiotti y Ana Maria Popescu, que más allá de setudiar la tendencia politica, lo que pretendían era clasificar si una persona era cliente de Starbucks, era Afroamericana o votante de uno de los dos partidos políticos Norte Americanos ( en este caso Demócratas o Republicanos). Para poder realizar dicha clasificación, tuvieron que analizar el contenido y por tanto el sentimiento de cada uno de los tweets de los usuarios analizados. El fin de esta predicción, consistía en poder crear un sistema de aprendizaje autonomo, que permitiese clasificar los usuarios de Twitter en función de sus características, a través del análisis de sus tweets, de este modo se podia saber por ejemplo si un usuario de Twitter era cliente de Starbucks, Afroamericano y votante de los Republicanos, por ejemplo, analizando la relación de sus tweets y de sus retweets, lo que permitía poder analizar si la tendencia del usuario analizado, se extrapolaba a sus seguidores o no, lo que podia ayudar a predecir por ejemplo el numero de votantes aproximados, que podía tener un partido político, ante unas elecciones. 3.7 Ganador de las elecciones Poder predecir unas elecciones a partir de lo que los usuarios de Twitter publican en sus tweets, parece atrevido, y de hecho lo es, ya que no se esta analizando al número total de votantes; ya que no todos usan Twitter. Como hemos visto en el caso anterior, de Marco Pennacchiotti y Ana Maria Popescu, si es posible segmentar a una población y poder hacer una valoración general de si son o no votantes de un partido u otro, pero como bien dice Daniel Gayo Avello, Twitter, es el nuevo Literary Digest. Sin ir más lejos, Twitter se puede usar como una herramienta más de sondeo de población de cara a obtener un resultado, pero no puede contemplar que el resultado de dicho sendeo, sea el resultado final, ya que, al tratarse de predicciones basadas en estudios estadísticos, tenemos la posibilidad de encontrarnos diferentes tasas de error en lo que a la muestra se refiere. 7

9 Como parte del estudio, Daniel Gayo, trato de deducir la intención de voto de los tweets, durante los ocho meses que duró el periodo electoral en los EEUU 2, de Enero de 2008 a Septiembre de ese mismo año. Durante este periodo, la predicción, situaba a Mc Cain como vencedor de las primarias, y es que el algoritmo que se usó para predecir las elecciones de 2008, contaba, entre otras cosas el numero de veces que aparecia el nombre del candidato, lo que produjo inicialmente una tasa de error media de aproximadamente un 35,12%, que se vio reducida al 13,10% posteriormentecon algunas mejoras introducidas en el algoritmo, por el cual situaban a Obama como futuro presidente de los EEUU. Por tanto, la conclusión a la que se puede llegar sobre esta predicción electoral, es que se puede obtener un reultado que puede ser aproximado al real, ya que para poder predecir algo tan variante como unas elecciones, hay que tener en cuenta prioritáriamente si el número total de la muestra es representativo de cara a poder realizar un sondeo efectivo para la predicción. 3.8 Predecir la veracidad de un Tweet Uno de las predicciones más importantes llevadas a cabo por un equipo de Yahoo Research, compuesto por Marcelo Mendoza, Bárbara Poblete y Carlos Castillo, es predecir la veracidad de un tweet. Durante el terremoto de Chile, o la primavera Árabe en Egipto, entre otros muchos casos de desastres naturales y revueltas populares, hicieron de Twitter, uno de los principales métodos informativos y sin control del momento. Por ello, este grupo investigador, ha dedicado su esfuerzo a demostrar si un tweet es verídico o no. Para ello, han creado un algoritmo, que midiendo cinco patrones de un tweet, como son el número de tweets únicos, el porcentaje de re-tweets, número de tweets favorables, número de tweets desfavorables y número de tweets que ponen en duda el tweet inicial, se puede determinar si el tweet es verídico o no, de hecho este grupo de investigación, llegó a la conclusión de que un tweet es falso si era cuestionado muchas veces. 2 EEUU Estados Unidos de Norte América 8

10 3.9 El estado con mejor calidad de vida Otra aplicación práctica, que se puede obtener a partir de las predicciones de Twitter, es el estado con mejor calidad de vida al que podemos mudarnos si decidimos irnos a vivir a los EEUU. Siguiendo con la Api de Twitter, se puede crear un algorítmo que analice la opinión de un vecindario respecto su geolocalización, lo que nos podrá determinar si un estado o incluso un barrio es mejor o peor que otro Trending Topic Puede que una de las aplicaciones más famosas, obtenida a través de predicciones realizadas en Twitter, sea el famoso y conocido Trending topic, desarrollado por Devavrat Shah, investigador del MIT 3, el cual puede predecir una tendencia en la red con una hora y media de antelación. Este Gossip Algorithm o algoritmo fantasma, predice el Trending topic, analizando un grafo, formado por los usuarios y sus vecinos, los cuales son diseminados inicalmente, basandose en el problema dual de Lagrange. Una vez diseminado el grafo inical, y resuelto los dos problemas respecto a la red, obtendremos un grafo nuevo, obtenido a partir del Gossip Algorithm, el cual nos determinará cuales serán las tendencias en una zona determinada del grafo inicial, con antelación. Este algoritmo, es muy parecido al algoritmo de vecinos más proximos, que calculaba la regresión que estima el valos de los ejemplos más cercanosen función de si esta más o menos cerca del nodo inicial. 3 MIT Massachusetts Institute of Technology 9

11 3.11 Encontrar trabajo HashJob Una de las aplicaciones, sin ánimo de lucro, creadas hoy en día a partir de predicciones de Twitter, es el HasJob, una herramienta gratuita, que mediante el análisis de tweets, es capaz de darle al usuario un listado con las mejores ofertas de trabajo disponible, basadas en su perfil laboral. Algunas de las principales caracterísitcas de este software, creado por Oscar de la Cuesta, es que es gratuito, proporciona anonimato, ahorra tiempo y permite hacer consultas en diferentes idiomas, siempre basándose en las preferencias del usuario Predicciones Gubernamentales Ante la gran capacidad de información que se puede obtener a partir de predicciones obtenidas a partir de Twitter, el gobierno de los EEUU, más concretamente el Departamento de Defensa, han creado una división encargada exclusivamente de mediante ciertos algoritmos predictivos, como los que hemos visto anteriormente, poder dar un mejor servicio a la sociedad norteamericana, estudiando el lugar donde abrir bibliotecas, centros comerciales etc y ante todo prevenir posibles ataques terroristas o poder actuar de manera más eficiente ante una situación de riesgo o peligro. 10

12 4 - CONCLUSIONES De esta investigación acerca de las diferentes aplicaciones que se le han dado a las predicciones que realizan los diferentes mecanismos de aprendizage automático, podemos afirmar, que estamos ante una era en la que a partir de un cúmulo de información simple e inocente, se puede saber a quien vamos avotar, que vamos a tomar e incluso que coche nos gustaría comprar. No obstante, con ello quiero aclarar, que las aplicaciones que podemos obtener, no pueden alcanzar un número finito, ya que es posible obtener una aplicación a partir de un grupo limitado de información. Actualmente, existen nuevas aplicaciones que se estan investigando a partir de predicciones realizadas en Twitter, como es la viralidad de un tweet, y su difusión o saber el futuro que le depara a una Start-up, tal y como esta investigando Thomas Thurston, a través de su algoritmo Growth Science, el cual se fija en un 20% en las Start-up, para determinar con el otro 80% si fracasará o no. Con ello este algoritmo, permite ahorrar a muchos empresarios los malos tragos de fracasar en el intento de crear una nueva empresa, ya que este algoritmo es capaz de decir antes de lanzarla si fracasara o no. Hay quien dice, que a partir de estas predicciones, lo único que hacemos es sustituir a la típica gitana, que se dedicaba a predecir el futuro, leyendo la palma de la mano, por un nuevo sistema de autoaprendizage, capaz de predecir practicamente todo aquello que se nos pueda ocurrir. 11

13 5 - BIBLIOGRAFÍA 5.1 Referencias Documentales. Marco Pennachioti y Ana Maria Popescu: A Machine Learning Approach to Twitter User Classification Democrats, Republicans and Starbucks Afficionados:User Classification in Twitter Marco Pennachioti, Fabio Massimo Zannotto y Kostas Tsioutsiouliklis: Linguistic Redundancy in Twitter M. Mendoza, B. Poblete, C. Castillo, Yahoo Investigación Twitter En Crisis: Podemos confiar en lo que RT? Johan Bollen,Huina Mao y Xiao-Jun Zeng: Twitter mood predicts the stock market Phil Johnson: MIT algorithm can predict which Twitter Topics will trend Daniel Gayo Avello : Es Twitter un nuevo Literary Digest? No, no se pueden predecir elecciones con Twitter Devavrat Shah: Gossip Algorithm 12

14 5.2 Referencias adicionales

15 %C2%BFsabemos-algo/ 14