Aplicación de Apache Spark y su librería MLlib para el desarrollo de sistemas recomendadores

Transcripción

1 Aplicación de Apache Spark y su librería MLlib para el desarrollo de sistemas recomendadores Enrique Costa-Montenegro1, Alexander Tsybanev1, Héctor Cerezo-Costas2, Francisco Javier González-Castaño 1, Felipe Gil-Castiñeira1, Belén Barragáns-Martínez3, Diego Almuiña-Troncoso1 AtlantTIC, University of Vigo, Vigo, Pontevedra 36310, Spain Gradiant (Galician Research and Development Center in Advanced Telecomunications), Vigo, Pontevedra 36310, Spain 3Centro Universitario de la Defensa, Escuela Naval Militar, Marín, Pontevedra 36920, Spain 1 2

2 Apache Spark Plataforma Big Data, desarrollada por Berkeley University Usa primitivas que trabajan con datos en memoria RDDs (Resilient Distributed Datasets) Permiten cargar gran volumen de datos en memoria para rápido procesamiento Consisten en grupos de datos de solo lectura creados a partir de operaciones en los datos originales Muy eficientes cuando es necesario aplicar la misma operación a todos los elementos de un conjunto Al usar memoria se accede rápidamente a los datos

3 Algoritmos en Apache Spark Viene con algoritmos ya implementados: Logistic Regression K-means PageRank También trae una librería de Machine Learning (MLlib): Algoritmos iterativos para clasificación binaria Regresión linear Clustering Filtrado colaborativo Usamos el algoritmo de factorización de matrices ALS (Alternative Least Square) para hacer las recomendaciones

4 Datasets utilizados Movielens: 10 millones de valoraciones películas usuarios Tamaño 265 MB Netflix: 100 millones de valoraciones películas usuarios Tamaño 2.9 GB

5 Arquitectura

6 Recomendación colaborativa basada en usuario Recomienda según valoraciones de usuarios similares Necesita matriz de factorización

7 Recomendación colaborativa basada en películas Recomienda según valoraciones del usuario a anteriores películas

8 Rendimiento del sistema (I) Primeras pruebas en un ordenador: Core i5 3.20GHz, 16GB RAM y Ubuntu LTS Dataset MovieLens Resultados medidos con RMSE (Root-Mean-Square Error) representa la desviación de las valoraciones generadas con las reales

9 Rendimiento del sistema (II) Número de features (tamaño del vector de latent factors de usuarios y películas): 15 Número de iteraciones del algoritmo ALS: 15 Valor RMSE 0,799, mejorando Netflix Price competition

10 Rendimiento del sistema (III) OpenStack cluster: 4 ordenadores con 8 CPUs, 30GB memoria y HDD Dataset Movielens

11 Rendimiento del sistema (IV) OpenStack cluster: 4 ordenadores con 8 CPUs, 30GB memoria y HDD Dataset Netflix

12 Rendimiento del sistema (V) Afinado de Apache Spark: Mejora usando SSD en vez de HDD poco significativa (media de 1 o 2%) Importancia de la red Influencia de número de particiones, por defecto no suele ser óptimo Influencia de la persistencia (memory_only, memory_and_disk y disk_only) en los RDDs usados (valoraciones e intermedios)

13 Conclusiones Apache Spark con MLlib buena solución para creación de un sistema recomendador Uso de cluster mejora las prestaciones Necesidad de afinado de Apache Spark para resultados óptimos Trabajo basado en: Costa-Montenegro, Enrique; Tsybanev, Alexander; Cerezo-Costas, Héctor; González-Castaño, Francisco Javier; Gil-Castiñeira, Felipe; Barragáns-Martínez, Belén; Almuiña-Troncoso, Diego In-memory distributed software solution to improve the performance of recommender systems Software Practice & Experience, En segunda revisión (2016)

14 Aplicación de Apache Spark y su librería MLlib para el desarrollo de sistemas recomendadores Enrique Costa-Montenegro1, Alexander Tsybanev1, Héctor Cerezo-Costas2, Francisco Javier González-Castaño 1, Felipe Gil-Castiñeira1, Belén Barragáns-Martínez3, Diego Almuiña-Troncoso1 AtlantTIC, University of Vigo, Vigo, Pontevedra 36310, Spain Gradiant (Galician Research and Development Center in Advanced Telecomunications), Vigo, Pontevedra 36310, Spain 3Centro Universitario de la Defensa, Escuela Naval Militar, Marín, Pontevedra 36920, Spain 1 2