Una experiencia de Big Data en el transporte metropolitano. Potenciando el valor de los datos

Transcripción

1 Una experiencia de Big Data en el transporte metropolitano Potenciando el valor de los datos

2 Contenido La emergencia de Big Data... 3 Un nuevo rol: Data Scientist... 3 El caso de la tarjeta SUBE... 4 Una empresa dentro del sistema SUBE... 4 Los datos de la empresa... 4 Comprensión y análisis de los datos... 5 Cuándo se suben los pasajeros?... 5 En la búsqueda del viajero frecuente... 7 La huella digital de cada línea... 8 El tiempo para volver a casa... 9 La distribución en el espacio Combinando la información espacial y temporal El valor para el negocio del análisis de datos Algunas lecciones aprendidas sobre Big Data Conclusiones... 14

3 La emergencia de Big Data A diario en el mundo se generan 2.5 trillones de bytes de información en un fenómeno que crece en velocidad: el 90% de los datos a nivel mundial se han creado en los últimos 2 años. Esta información proviene de todos lados, entre otros de los GPS de los teléfonos móviles, sensores que recogen información climática, publicaciones en las redes sociales, imágenes y videos digitales, y registros de nuestras compras. Cuando el valor potencial de uso de esta información es mayor que el costo del equipamiento, nos encontramos frente al fenómeno de Big Data. Big Data es la nueva forma de gestión los datos en esta nueva configuración, ya que este volumen y flujo de datos no puede ser almacenado, procesado, analizado, entendido, visualizado ni gestionado usando las prácticas, el hardware y software que usamos desde hace años. Las prácticas, tecnologías y herramientas de Big Data forman un entramado en el que se destacan las grandes proveedoras de Plataforma as a service (Amazon es el primer caso, Microsoft, EMC y SAP) y grandes empresas multinacionales como proveedoras de servicios asociados. Esta situación representa un espacio interesante y un desafío particular para las empresas de Tecnología de la Información de la región, que buscan presentarse como candidatos de primera opción para desarrollar servicios de Big Data. No son muchas las empresas que suman capacidad y vocación para responder a este desafío. En el país existen múltiples organizaciones y empresas que se verían beneficiados con la aplicación de tecnologías de Big Data. Son candidatas naturales las empresas de energía (en particular aquellas de Oil&Gas), el área de agricultura, las empresas de venta retail y los bancos. A nuestro entender una de las principales limitaciones para la incorporación de estas tecnologías es la falta de una oferta de servicios de primer nivel, confiable y a precios competitivos, que conozca la realidad donde estas empresas operan. Un nuevo rol: Data Scientist Un nuevo rol aparece hoy como clave: lo desarrollan personas, o más usualmente equipos integrando profesionales en matemáticas y estadísticas, dominio de la programación, ciencias de la computación y capacidad de adquirir conocimiento del dominio de aplicación. Es el rol del Data Scientist. El equipo de ciencia de datos también debe tener la capacidad y los conocimientos necesarios para comunicar sus hallazgos a medida que los tiene, no sólo al área de tecnología sino también al negocio. Estadística (+ machine learning) Prosumer Equipo multidisciplinario Dominio de aplicación En este domino no hay otras Almacenamiento y reglas de oro que las de la procesamiento Procesos de ciencia y el enfoque en el Datos captura valor para el cliente. Cada conjunto de datos es hoy un lienzo en blanco y se debe factorizar los procesos y el desarrollo para garantizar la extracción del valor de los datos.

4 Para responder a la aparición de Big Data y el nuevo rol que se abre, Pragma Consultores conformó un grupo interdisciplinario de Data Science con competencias que van de la infraestructura y proceso de captura y almacenamiento de datos al análisis estadístico, con capacidades propias para interactuar con los actores del negocio. El caso de la tarjeta SUBE SUBE es una iniciativa del Gobierno Nacional argentino para facilitar la movilidad en el área metropolitana. Es una tarjeta prepaga que puede usarse en los medios de transporte colectivos, incluyendo colectivos, subterráneos y trenes en la región Metropolitana de Buenos Aires. Esta misma tarjeta permite al estado implementar políticas sociales y además actualmente pueden pagarse las autopistas de la ciudad y hay planes inmediatos de soportar micro pagos en quioscos, librerías, taxis, etc. A nivel institucional el sistema que soporta la operatoria de SUBE es gestionado por la empresa estatal Nación Servicios, que maneja las redes de recarga y de uso. La red de uso está compuesta por colectivos, 5 líneas de subtes y las líneas ferroviarias metropolitanas, y diariamente vende 12 MM de boletos. Una empresa dentro del sistema SUBE Nacion Nuestro cliente, prosumer de los datos y del conocimiento es una empresa de transporte de la zona metropolitana de Buenos Aires, que tanto por su tamaño como por su modelo de negocio representa un caso típico dentro de la red de uso. Esta empresa cuenta con 3 líneas, con diferentes ramales, que provee servicios desde Puente Saavedra a Pilar, Derqui y Escobar. La empresa cuenta con 110 internos conducidos por 200 choferes. Red de uso Usuarios Servicios Quioscos Red de Recarga Los datos de la empresa Los datos que nos brindaron son la venta de boletos, y la geolocalización de los internos para el período que va de noviembre del 2011 a abril de 2014, lo que resulta en 40 MM de boletos y 150 MM de geolocalizaciones. Como en las demás empresas de la red de uso, los datos de los boletos son generados en cada interno, que cuenta con un lector de tarjetas SUBE de cual debita cada uso, datos que son descargados a un concentrador al final del día por medio de WiFi, al mismo tiempo que se actualizan sus parámetro. El concentrador almacena los datos localmente para fiscalizar la venta, y los envía a Nación Servicios, que en un plazo fijado deposita el importe en el Banco Nación. El lector de tarjetas cuenta con un GPS, pero la información que genera no está disponible para la empresa de transporte. La empresa contrató un servicio de seguimiento que brinda la geolocalización GPS a cada interno, que es enviada cada minuto por telefonía móvil a la empresa proveedora del servicio.

5 Comprensión y análisis de los datos El primer punto en la comprensión de los datos fue identificar y subsanar las limitaciones de los datos, en particular del hecho que los relojes de los lectores del sistema SUBE y los GPS no estén sincronizados, y la información que permite ligar el GPS al interno y con ello al lector se mantiene de manera manual, y no siempre está actualizada. Avanzada esta tarea de preparación de los datos, las tareas de análisis incluyeron la elaboración de histogramas, gráficos de series temporales, heatmaps en varias variables, generación de imágenes geolocalizadas de la concentración de venta de boletos. Cuándo se suben los pasajeros? Una de las primeras cuestiones tratadas es cuándo se compran los boletos. Esto puede analizarse en al menos dos dimensiones: la escala organizacional (por unidad en la Ilustración 8, ramal, línea o la empresa toda en las Ilustraciones 1 y 2) y la escala del tiempo. El tiempo se analizó en varias escalas: en la primera parte del período considerado, para observar la transición del pago en monedas previo al SUBE a la nueva modalidad (Ilustraciones 1 y 3), mes a mes para estudiar la estacionalidad (Ilustración 2) y a nivel días del mes y de hora del día para identificar comportamientos de consumo en ciclos más cortos (Ilustraciones 4 y 5). Ilustración 1. Venta de boletos por medio del sistema SUBE desde su implementación. Se observa en la gráfica: la curva de adopción, estancamiento inicial. La diferenciación de tarifas (SUBE o Monedas) implica una masiva adopción del sistema. Caída de ventas en fin de semana, paros, verano. Ilustración 2. Venta de boletos por sistema SUBE agrupamiento mensual, se hace evidente la estacionalidad de la venta.

6 Ilustración 3. Venta de boletos sistema SUBE para interno 3. Se observa que en un día, el sistema estuvo mal configurado y 2 colectivos fueron ingresados como interno 3, por lo tanto duplicó la recaudación. El gráfico de la Ilustración 4, muestra un heatmap donde cada punto corresponde a la cantidad de boletos para un interno en el período de 1 hora. El gráfico de la Ilustración 5 muestra un agrupamiento diario mostrando un período de 1 mes, fácilmente se ven los períodos donde cada interno no trabaja o cuales son los colectivos que trabajan los fines de semana. Ilustración 4. Heatmap de venta de boletos sistema SUBE para 1 día. X: Internos, Y: horas [0 hs, 24 hs]. Se observan colectivos que no trabajaron ese día, hora de inicio de ventas. Ilustración 5. Heatmap de venta de boletos sistema SUBE para 1 día. X: Internos, Y: días del mes. Se observan colectivos que durante un período grande en días no trabajaron, fines de semana. La Ilustración 6 muestra la Cantidad de internos x día. Mientras que la Ilustración 7 y la Ilustración 8 muestran la venta de boletos a lo largo de un día agrupados por hora para toda la empresa o sólo para un interno en particular. Aquí se observan los 3 picos de demanda que se producen a

7 la mañana, durante el mediodía y por la tarde, coincidiendo con el inicio y el fin de las jornadas laborales. Ilustración 6. Se observa que durante los fines de semana y verano disminuyen los internos circulando. Ilustración 7. Cantidad de boletos vendidos por hora a lo largo de 1 día. Permite conocer la hora en la que las personas empiezan a desplazarse. Ilustración 8. Venta de boletos por hora para el interno 2 durante 1 día En la búsqueda del viajero frecuente Un dato que consideramos relevante estudiar es la frecuencia de uso del sistema de transporte por cada usuario, que puede verse graficando histogramas de frecuencia de uso de cada tarjeta. En la Ilustración 9 un pico muy grande en las tarjetas que se usan una sola vez en esta empresa y luego una fuerte caída en la cantidad de tarjetas agrupadas por uso. Esta caída es efectivamente exponencial, como puede verse en la Ilustración 10, que está en escala logarítmica. La Ilustración 11 se grafican los box plot mensuales. Llama poderosamente la atención la gran cantidad de tarjetas usadas por única vez en el sistema, un comportamiento que se extiende a lo largo del tiempo, como se ve en la Ilustración 11. La

8 pendiente creciente en la ilustración es un artefacto del análisis y corresponden a tarjetas que seguramente serán utilizadas en el futuro, fuera del marco del tiempo analizado. Aproximadamente se observan 250 tarjetas de uso único por día, que pueden entenderse como usuarios casuales de la empresa, aunque no necesariamente del sistema SUBE como un todo. Ilustración 9.Histograma venta de boletos por chip de tarjeta. Ilustración 10. Histograma venta de boletos por chip de tarjeta. Escala log. Ilustración 11.Frecuencia de uso mensual. Media igual a 6 usos. Ilustración 12. Cantidad de tarjetas por fecha que tienen un único uso. La huella digital de cada línea Las dificultades para sincronizar la información de los boletos con la geolocalización motivó la idea de trabajar únicamente con la serie temporal de los primeros. Allí encontramos patrones de venta de boletos de cada ramal, la huella digital que nos permite identificar con un cierto margen de error el ramal al cual pertenece una serie de venta de boletos, con independencia de la localización geográfica. En la Ilustración 13 se grafica las ventas de un colectivo por cada ramal a lo largo del día. A modo de ejemplo, seleccionamos la primera vuelta del colectivo 106 y cross-correlacionamos con toda la secuencia de ventas del día. Los 4 máximos de la Ilustración 14 corresponden a las 4 vueltas que se observa que realiza el colectivo.

9 Ilustración 13. Secuencia de venta de boletos para venta boletos a lo largo de 1 día para colectivos de ramales diferentes. Ilustración 14. Cross-correlación entre una vuelta y la secuencia de boletos de todo el día. El tiempo para volver a casa Se establecieron las relaciones entre la frecuencia de uso sucesivo de una tarjeta SUBE, lo que sería un indicador del tiempo entre el viaje de ida y el viaje de vuelta. Con esto vimos que las personas que más frecuentemente usan el transporte por semana, el tiempo de su primer boleto (ida) y el tiempo del segundo (vuelta) incrementa. Luego ese tiempo disminuye cuando se usa más de 14 veces por semana. En términos de negocio esto puede verse que la primera población es la que usa el transporte trabajan un promedio de 8 horas y los que lo usan más de 14 veces por semana potencialmente son grupos de personas que se desplazan con una sola tarjeta. Ilustración 15.Frecuencia de uso (semanal) vs tiempo transcurrido entre el primer boleto y el último boleto del día. Otra dato que llama la atención es que muchas tarjetas son usadas de forma consecutiva en pocos segundos. Esto puede tener relación directa con un mal uso de las políticas sociales implementadas, ya que ciertas tarjetas tienen un cuadro tarifario diferente, asociado a la situación social de cada persona (jubilado o está inscripto en un plan social, etc.). Por ello el

10 hecho que esa tarjeta se utilice para sacar boletos de diferentes personas puede implicar una defraudación al sistema. La distribución en el espacio Para tener percepción de la distribución de la venta de boletos en el espacio realizamos un estudio multi-escala sobre la densidad de venta de boletos a diferentes horarios. Para ello imprimimos en un mapa los boletos vendidos en un día. Esa información por sí sola no aporta gran ayuda debido a que no se observa la concentración de ventas. Para resolver ese problema, sustituimos cada posición donde se vende un boleto por una función Gaussiana en 2 dimensiones y sumando los resultados. Con esta nueva imagen sobreimpuesta en un mapa, es posible observar los núcleos de mayor venta de boletos (ver Ilustración 16). En la Ilustración 17 se visualiza el agrupamiento de boletos de acuerdo a su posición geográfica. En la Ilustración 18 se observa otra metáfora visual donde los puntos correspondientes a cada coordenada GPS fueron dispersos hasta 5 pixeles y se presentan en color diferente cada línea de colectivos. De esta manera es posible observar los núcleos de venta de menor intensidad. Ilustración 16. Venta de boletos geolocalizada. Se observan los recorridos, zonas de mayor concentración de ventas.

11 Ilustración 17. Clustering de las coordenadas GPS. Asigna una etiqueta de acuerdo a la proximidad de los datos. Ilustración 18.Venta de boletos de un día, en colores las diferentes líneas. De forma aleatoria se movió cada posición GPS para observar la superposición de ventas. Combinando la información espacial y temporal Si analizamos de manera conjunta la distribución de venta de boletos en las horas del día y en el espacio, observa que en el ramal Derqui-Pilar por la mañana la gente mayormente se desplaza desde el la localidad Presidente Derqui hacia la cabecera del partido de Pilar. En cambio por la tarde las personas vuelven a su lugar de origen. También cabe destacar que mayoritariamente los boletos se venden cerca de las cabeceras del ramal o en núcleos urbanos. Ilustración 19. Ventas de boletos para el ramal Derqui-Pilar realizadas de 7 hs a 10 hs. Ilustración 20. Ventas de boletos para el ramal Derqui-Pilar realizadas de 18 hs a 20 hs.

12 El siguiente grupo de figuras consta de 4 imágenes (Ilustración 21 a Ilustración 24) correspondientes a diferentes períodos de tiempo donde se observa la distribución de la demanda a lo largo del día. Ilustración 21. Ventas de boletos de toda la empresa realizadas de 0 hs a 1 hs Ilustración 22. Ventas de boletos de toda la empresa realizadas de 0 hs a 1 hs Ilustración 23. Ventas de boletos de toda la empresa realizadas de 12 hs a 13 hs Ilustración 24. Ventas de boletos de toda la empresa realizadas de 18 hs a 19 hs El valor para el negocio del análisis de datos Este trabajo de análisis de datos permitió al cliente contar con herramientas para conocer de forma profunda y con altísimo nivel de detalle la distribución de la demanda. Esta información permite agregar valor a la empresa mediante varios mecanismos, ya que conocer el detalle de la demanda habilita el uso de herramientas que de otra forma no se conocen y se aproximan por intuición o experiencia, lo que no siempre coincide con la situación actual y dinámica del negocio. En este caso: Permite realizar una mejor asignación de recursos, por ejemplo, conocer cuándo la empresa debe comenzar sus recorridos y la dirección de la demanda. En este caso en particular, la evaluación permite optimizar las frecuencias para capturar demanda. Da la posibilidad de segmentar los clientes de la empresa por patrones de consumo para poder realizar campañas eficientes de promoción, por ejemplo gratificar a los usuarios frecuentes para fomentar la fidelidad o realizar campañas (encuestas) de uso limitadas a usuarios frecuentes.

13 Permite conocer con gran detalle el tráfico, pudiendo reasignar recorridos de acuerdo a condiciones extraordinarias y externas a la empresa. Posibilita la capacidad de visualizar sobre un mapa los boletos vendidos, haciendo evidente información desconocida que la empresa siempre tuvo y que permite una evaluación ortogonal a las estrategias comúnmente utilizadas. Analizar de esta forma los datos, permite tomar mejores decisiones y de forma más rápida que los competidores, y de manera accesoria permite a la empresa vender estos datos, con su valor agregado, a otras empresas de otros rubros, por ejemplo publicidad. La posibilidad de juntar la información a disposición de la empresa con información y necesidades de otros rubros le agrega un valor a los datos que hasta el momento era desconocido o subestimado. Esto ocurre también en otros dominios de aplicación: datos que para la operación de la empresa son relevantes pero no fundamentales pero a que otra empresa pueden cambiarle el modelo de negocio. Dejamos en último lugar el punto clave: el cumplimiento de la promesa detrás de la Data Science. El mayor valor para el negocio está en conocer lo que los datos dicen sobre la naturaleza del negocio. En este caso aportar una nueva visión del negocio, donde el peso del viajero frecuentes es muy pequeña, es algo que contradice la intuición previa. Como lo hace muchas veces la ciencia. Herramientas utilizadas HDFS Hadoop Hive R Google Maps 3 años datos 200 millones registros Algunas lecciones aprendidas sobre Big Data Las lecciones aprendidas en este proyecto en algunos casos confirman la intuición que teníamos y validan nuestra estrategia, pero además agregan nueva luz a los procesos a desplegar en estos proyectos. Entre las lecciones aprendidas se pueden mencionar: Es un gran esfuerzo trabajar con datos reales: no vienen en el formato acordado, los clientes no saben con qué datos cuentan, no están documentados, los errores humanos en carga de datos "embarran" los procesos. La masividad de datos enlentece todo, y en muchos casos la calidad de los datos no es la esperada. Nuestra experiencia previa de años en servicios relacionados con calidad de datos ha resultado más importante de lo que creíamos a la hora de atacar estos proyectos. En la comunidad existe una diversidad de herramientas de software y librerías muy grande y con diferentes prestaciones y características. Esto incluye bases de datos de todos los tipos, relacionales, no relacionales, para grafos, GIS, etc. Lo mismo sucede con las herramientas de cloud, o virtualización. Existe una amplia variedad de algoritmos de Machine Learning y visualización. La posición de Pragma Consultores es que ninguna tecnología reemplaza una comprensión acabada del problema y que el principal problema es utilizar la tecnología con inteligencia, poner la inteligencia en el análisis de datos. Para esto, es importante realizar una búsqueda profunda de herramientas que maximicen el alcance de los objetivos, ya que la herramienta correcta permite ahorrar muchísimo tiempo y su costo se paga en resultados.

14 La preminencia de R. R es una excelente librería/ lenguaje, gratuito, open source. Contienen miles de paquetes contribuidos por la comunidad. Todos los paquetes comerciales (entre ellos Hana, los de EMC) incluyen una distribución R. De alguna forma se ha convertido en un estándar y base para el análisis. Esto no quiere decir que sea la única librería ni que sirva para todo, pero es un estándar y una línea base para el análisis. Los paquetes comerciales, ofrecen una rápida instalación y puesta en marcha. La obvia desventaja son los costos. La elección de la estrategia tecnológica debe responder al problema a resolver y al análisis costo/ beneficio. En muchos casos, el uso de software libre permite avanzar rápidamente para iniciar algunos pilotos. Existe una importante oferta de capacitación en Big Data, incluyendo cursos cortos, online, e incluso cursos de grado o postgrado dictados en grandes universidades, que recorren desde temas básicos hasta análisis de datos avanzados. Esto demuestra la demanda existente para desarrollar capacidades y la escasez de recursos con experiencia. El valor de desarrollar estos proyectos, por lo tanto, se potencia porque se desarrollan capacidades que permiten competir en forma temprana. En el trabajo con Big SUBE se dedicó mucho tiempo al escenario de aprendizaje "vivir con la escasez" (por ejemplo, trabajar sólo con datos de boletos sin la geolocalización), y los resultados más interesantes están en los datos más ricos. Un adecuado balance entre el esfuerzo dedicado a enriquecer datos y el análisis de los mismos es necesario. Nuestra aproximación es una metodología incremental que permita enriquecer los datos y realizar sucesivas aproximaciones de análisis. Hadoop está quedando obsoleto ya que permite una masividad sobre datos que se encuentran en disco con una latencia de acceso muy grande. Es por eso que deben ser incorporadas al esquema de almacenaje y procesamiento para acelerar los procesos de ejecución, bases de datos organizadas en columnas o bases datos en memoria. También existen métodos que por su naturaleza de interrelación de datos no pueden paralelizarse. Hadoop no es la herramienta que resuelve todos los problemas y en muchos casos existen soluciones alternativas superadoras. Conclusiones En este trabajo se utilizaron técnicas de Big Data sobre la venta de boletos de una empresa de transporte metropolitano, apoyado principalmente por la inmensa cantidad de datos generado por el sistema de la tarjeta SUBE. En términos de granularidad organizacional, distintas escalas de tiempo y geolocalización estos análisis brindan a la empresa una nueva dimensión de comprensión de sus procesos cotidianos. El primer resultado es la mejor comprensión de la extensión de la idea de viajero frecuente, que contra la intuición previa tiene un impacto en órdenes de magnitud menor del esperado. Eso impulsa una manera completamente renovada de ver el negocio, de manejar sus costos y mejorar su rentabilidad.

15 PRAGMA CONSULTORES