Ambientes de gestión de información sensible a contexto en escenarios de alta escalabilidad

Transcripción

1 COMIT Ingeniería de información Ambientes de gestión de información sensible a contexto en escenarios de alta escalabilidad Profesores: Claudia Jiménez - cjimenez@uniandes.edu.co Álvaro Gómez D Alleman alvar-go@uniandes.edu.co Abril 2013

2 El problema abordado Fuentes de información diversas Generación de conocimiento colectivo Iniciativas a nivel global Big Data, Cloud Data, Linked Data, Open Data No se tiene un control central Estructura Formatos Procesos Almacenamiento Los usuarios buscan información de acuerdo con el contexto y la actividad que realizan En cualquier sitio Desde cualquier dispositivo Con fines diversos Se quiere obtener procesamiento e información oportuna, contextualizada, pertinente No percibir la complejidad computacional ni de infraestructura

3 Información, localización, contexto, infraestructura Donde y cuando se necesite Servicios basados en localización Servicios basados en movilidad Lo que se requiere Servicios de información sensible al contexto Usuario, dispositivo, actividad, ambiente en el cual se encuentra Servicios propios altamente escalables Gestión efectiva de contenidos (acceso por contenido a información multimedia) Como se requiere Infraestructura de servicios «en la nube» Ambientes inteligentes Tecnología de almacenamiento NO-SQL, indexación y filtraje por contenido Semántica de la información Procesamiento paralelo altamente escalable Diversidad de fuentes Web 2.0 y posteriores (redes sociales, mashups, RSS, etc.) Fuentes abiertas Fuentes especializadas de conocimiento compartido y colaborativo

4 Aproximación Proyecto MagPie Una solución pervasive es aquella que se puede adaptar al perfil del usuario, el dispositivo con el cual se encuentra, el sitio donde está o la condiciones de su entorno, haciendo invisible la complejidad computacional al usuario. Proyecto Damasco Análisis de Big Data para generar valor y diferenciación. Descubrir, integrar, analizar contenidos escalables y semiestructurados: empresariales, medios sociales, Web 2.0. Escenario de gestión altamente escalable en infraestructuras Cloud y cluster, privadas, oportunistas. Orientados a datos MUY voluminosos, semiestructurados y fuentes no controladas. Cursos de formación: Análisis sobre Big Data De la información al conocimiento Tecnologías para gestión de contenidos y conocimiento

5 Estudiantes MagPie 1 tesis doctoral en curso: Análisis de escenas basado en video para inferencia de comportamientos 2 tesis de maestría terminadas y 2 en curso 2 proyectos de grado terminados y 1 en curso Damasco 1 tesis doctoral en curso: Análisis de sistemas de preguntas y respuestas para inferencia de expertos 2 tesis de maestría en curso 2 proyectos de grado terminados y 1 en curso

6 Formación Pregrado Construcción de aplicaciones móviles ( isis3510 semestral ) Inteligencia de negocios ( isis3301 semestral ) Maestría Análisis sobre Big Data isis4517 ( ) From Big Data to Content Analysis isis4513 ( ) Location Based Services and Apps (dictado por Germán Bravo). ( ) Cursos de Escuela de Verano Semantic Web ( 2012 ) Knowledge Discovery in Social Networks ( 2013 )

7 Resultados interesantes Publicaciones An Affective Inference Model Based on Facial Expression Analysis. En proceso de evaluación 2013 MagPie Prompter: Pervasive content recommendation solution using personal and community awarness. En proceso de evaluación 2013 BirdFinder: Web Search and Audio Search Extension. En proceso de evaluación 2013 Análisis de sentimientos de comentarios en periódicos electrónicos. Publicación Springer 2012 MagosCloud Secure: Infraestructura oportunista segura altamente escalable. Publicación IEEE 2012 Farmash-Up: Integración de información de medicamentos. SIB 2012 Using the Web to Monitor a Customized Unified Financial Portfolio. Springer LNCS Sistema de agregación y búsqueda de información en trastornos mentales. Publicación IEEE 2011 Otros proyectos interesantes Neurofibras: Análisis de imágenes de resonancia magnética para identificación de patrones neuronales en cerebros de bebés Twitter Clustering - A quién me interesaría seguir? Clusters por contenido en twitter Análisis de comentarios sobre productos y sus partes en las redes sociales Análisis de imagen de personajes públicos en internet Análisis de información de tráfico y estado de vías en Twitter Proyectos de consultoría Gestión de información de las altas cortes colombianas

8

9 El problema Servicios Información Dispositivos Ambiente ES:official&biw=942&bih=907&tbm=isch&tbnid=9XAId9XuG5AyeM:&imgrefurl= CLuArlNqd8M:&imgrefurl= ES:official&biw=1920&bih=917&tbm=isch&tbnid=ZDQmbmuBUP94JM:&imgrefurl=

10 Una solución pervasive Solución Pervasive Perfil del usuario Entorno del usuario Adaptable Dispositivo de despliegue Conectividad Almacenamiento Procesamiento Ambiente Ubicación Usuario Aplicación Información

11 MagPie Project Mobile computing solutions Ambience Intelligence Device awareness and exploit User awareness Content discovery Collaboration Emotional awareness Community Content presentation Content delivery using semantic relevance

12 Objetivos MagPie Integrar a las soluciones adaptabilidad a las preferencias y necesidades de los usuarios y al contexto con el fin de generar valor agregado a las personas y organizaciones en el uso de la información. Desarrollar modelos y estrategias que permitan el uso eficiente, pertinente y oportuno de la información en soluciones pervasive. Estudio de técnicas de acceso y gestión de contenido altamente escalable, de forma que se adapte a la infraestructura heterogénea de contextos omnipresentes

13 Estado del proyecto Hasta hoy 2010 a 2011 Arquitectura soluciones pervasive móviles 2012 : Ambiente emocionalmente consciente para una comunidad de conocimiento 2012: Desarrollo de componentes de inferencia de actividad e interés del usuario 2013: Desarrollo de componentes de inferencia de patrones de comportamiento 2013: Desarrollo de clientes ios y Android para MagPie Lo que viene Ambiente emocionalmente adaptable para una comunidad de conocimiento : Integración de componentes a través de soluciones pervasive que construyen y se adaptan al perfil de los usuarios: integración con redes sociales Refinamiento de modelo de inferencia emocional: postura Múltiples individuos en escena Machine Learning para adaptarse al usuario Reconocimiento de usuarios a partir de su apariencia y comportamiento

14 Metodología Reconocimiento emocional multimodal Kinect para reconocer posturas Reconocimiento facial Reconocimiento del dispositivo y la actividad realizada Reconocimiento de los patrones de comportamiento del usuario en su entorno Aplicaciones adaptables al contexto a partir de la inferencia dada por el análisis de sensores

15 MagPie Today Emotion Inference Posture recognition Activity recognition Behavioral pattern recognition

16 Big DAta Mining using Social COntent

17 El problema Cómo aprovechar la información estructurada, semiestructurada o no estructurada para generar valor en las organizaciones o para los individuos? Información propia: Bitácoras, , blogs, reportes, bases de datos, etc. Información pública: Web, Open Data, redes sociales Sensores Cantidades de información enormes Big Data: V 3 Velocity, Volume, Variability Muchos terabytes Twitter: En Colombia se trinan 6.5 millones de mensajes por mes ( marzo 2013 ). En el mundo: > 400 millones por día Skype: millones de minutos en llamadas al día ( marzo 2013) Los dispositivos móviles generan y consumen cantidades crecientes de información georreferenciada y que habilita el perfilamiento de individuos y comunidades Lo retador no es sólo el V 3. Es el análisis. Smart Data

18 Cuánta información genera internet por minuto? (2012) En 2007, la capacidad era de 295 trillones de bytes óptimamente comprimidos. En 2007 se compartieron 65 exabytes de información Si 295 exabytes fueran guardados en CD-ROMs, la pila de CDs llegaría de la Tierra hasta más allá de la Luna. Crecimiento exponencial de usuarios e información

19 Los datos se generan y comparten en dispositivos móviles y fijos a velocidades crecientes - Social Mining - Text Mining - Web Mining - Servicios de análisis de información - Infraestructura altamente escalable - La Web se complementa con el Cloud para la gestión de cantidades enormes de información exabytes-by-2017.html

20 Objetivos de Damasco Generar valor a partir de procesamiento y análisis de Big Data Descubrir, integrar, analizar, inferir Contenidos altamente escalables, semiestructurados, heterogéneos Multimedia, Stream Analysis, Online Analysis Técnicas de Machine Learning, análisis de documentos Sacar provecho de la generación colectiva de conocimiento ( Web. 2.0 ) Crowdsourcing Social media Tecnologías de gestión de información NoSQL y procesamiento paralelo Hadoop, Map Reduce. Repositorios no relacionales: HBase, Mongo, etc.

21 Estado del proyecto Hasta hoy 2010 a 2012 Incorporación de la tecnología de gestión paralela, Hadoop y repositorios NoSQL 2011 a 2012 : Desarrollo de ejemplos de procesamiento y análisis de Big Data Sentiment Analysis, Text Mining, Crawling, Web Mining 2013: Montaje de infraestructuras de cluster para procesamiento de Big Data - Datos semiestructurados y documentos 2012 a 2013: Incorporación de técnicas de Semantic Data y Linked Data Técnicas para el análisis e inferencia de patrones sobre Online Stream Data Lo que viene Montaje de escenarios de generación de Data Sets Cupi2 Q&A Datos generados por MagPie 2013-V: Lanzamiento de servicios del Laboratorio de Ingeniería de Información: Códice Montaje de escenarios de laboratorios sobre Big Data para transferencia y abordaje desde la problemática empresarial

22 Preguntas? Contacto: Claudia L. Jiménez G. Oficina: Álvaro A. Gómez D Alleman Oficina: ML761