Segmentación de una cartera de clientes usando aprendizaje de máquina

Transcripción

1 Inicio Segmentación de una cartera de clientes usando aprendizaje de máquina Universidad San Ignacio de Loyola I encuentro interdisciplinario de investigación desarrollo y tecnología USIL 2014

2 Inicio Inicio 1 Aprendizaje de máquina Fundamentos Planteamiento del problema 2 Máquina de soporte vectorial Clasificador de máximo margen Máquina de soporte vectorial (Caso no lineal) 3 Implementación computacional

3 Inicio Aprendizaje de máquina Fundamentos Planteamiento del problema 1 Aprendizaje de máquina Fundamentos Planteamiento del problema 2 Máquina de soporte vectorial Clasificador de máximo margen Máquina de soporte vectorial (Caso no lineal) 3 Implementación computacional

4 Aprendizaje y clasificación Fundamentos Planteamiento del problema El aprendizaje es el proceso de adquirir o modificar conocimiento, como resultado de la experiencia. En nuestro caso buscamos un conjunto de funciones del siguiente tipo y/o ClienteconRiesgo(Juan) = Si ClienteconRiesgo(Roxana) = No ClienteFiel(María) = No ClienteFiel(Pedro) = Si Ambas funciones pueden formar parte del Conocimiento del Cliente. Aprendizaje de máquina El aprendizaje de máquina es una rama de la IA que desarrolla técnicas que permitan a las computadoras aprender.

5 Fundamentos Planteamiento del problema Idea geométrica (Aprendizaje de máquina) 1 Se cuenta con un conjunto de datos de clientes ya clasificados, que denominaremos conjunto de entrenamiento DNI Edad Renta Clase NO NO SI SI 2 Se busca a partir de este conjunto construir una función f que clasifique nuevos clientes. DNI Edad Renta Clase f(45, 4500) Y Figura: Mapeo del conjunto de entrenamiento X

6 Inicio Aprendizaje de máquina Fundamentos Planteamiento del problema 1 Aprendizaje de máquina Fundamentos Planteamiento del problema 2 Máquina de soporte vectorial Clasificador de máximo margen Máquina de soporte vectorial (Caso no lineal) 3 Implementación computacional

7 Problema de clasificación binaria Fundamentos Planteamiento del problema Se estructura a continuación la idea geométrica ya expuesta Aprendizaje de máquina Estructura matemática Se tienen lo siguientes elementos El espacio con producto interno R n como nuestro conjunto universo de datos. El conjunto S donde S R n un conjunto de muestra. Una función f : S {1, 1} que denominaremos función de etiquetado. Un conjunto D de entrenamiento, donde D = {( x, y) / x S, y = f ( x)} Debemos hallar una función ˆf : R n {1, 1}, a partir de D tal que ˆf = f ( x) para todo x S. Vamos a denominar a f como la función de decisión. Cuando el conjunto de entrenamiento D es linealmente separable el problema anterior es denominado problema de clasificación binaria lineal.

8 Fundamentos Planteamiento del problema Solución al problema de clasificación binaria lineal Suponemos que el conjunto de entrenamiento D R n es linealmente separable g( x) = w x = 0 w γ ā Si a pertenece a la clase 1, entonces w a < 0 Si a pertenece a la clase 1, entonces w a > 0 Función de decisión de una clasificación binaria lineal La función de decisión ˆf para el problema, cuya superficie de decisión es L : w x = b está dada por ˆf ( x) = sgn( w x b)

9 Fundamentos Planteamiento del problema Algoritmos de Clasificación binaria lineal Hoy en día, existen varios métodos para construir una superficie de decisión, entre los más reconocidos se mencionan: Redes Neuronales Árboles de decisión Naive Bayes, etc. La teoría de aprendizaje estadístico postula geométricamente lo siguiente: Una superficie de decisión es óptima si es equidistante a los hiperplanos de soporte y maximiza el margen entre las clases.

10 Inicio Aprendizaje de máquina Clasificador de máximo margen Máquina de soporte vectorial 1 Aprendizaje de máquina Fundamentos Planteamiento del problema 2 Máquina de soporte vectorial Clasificador de máximo margen Máquina de soporte vectorial (Caso no lineal) 3 Implementación computacional

11 Clasificador de máximo margen Clasificador de máximo margen Máquina de soporte vectorial Superficie de decisión 2 Hiperplanos de soporte 3 Vectores de soporte 4 Margen Figura: Conjunto de entrenamiento

12 Clasificador de Máximo Margen Clasificador de máximo margen Máquina de soporte vectorial Clasificador de Máximo Margen Dado un conjunto de entrenamiento linealmente separable: D = {( x 1, y 1 ), ( x 2, y 2 ), ( x 3, y 3 ),..., ( x l, y l )} R n { 1, 1} Podemos calcular una superficie de decisión w x = b que maximice el margen resolviendo el siguiente problema de optimización 1 mín φ( w, b) = mín w w w,b w,b 2 S.a y i ( w x i b) La función objetivo no depende de b 2 El término independiente b aparece en las restricciones 3 Vamos a tener tantas restricciones como puntos de entrenamiento La alternativa para superarlo es resolver el problema dual

13 Inicio Aprendizaje de máquina Clasificador de máximo margen Máquina de soporte vectorial 1 Aprendizaje de máquina Fundamentos Planteamiento del problema 2 Máquina de soporte vectorial Clasificador de máximo margen Máquina de soporte vectorial (Caso no lineal) 3 Implementación computacional

14 Clasificación no lineal Clasificador de máximo margen Máquina de soporte vectorial φ φ( x i) x i Figura: Clasificación no lineal Podremos usar un clasificador lineal en el espacio de características Cómo calculamos la función φ?

15 Clasificador de máximo margen Máquina de soporte vectorial Luego usando una función núcleo reemplazando el producto interno la máquina de soporte vectorial para el caso no lineal estaría definida como ( m ) ˆf ( x) = sgn λ i y i φ( x i ), φ( x) b i=1 ( m ) = sgn λ i y i K ( x i, x) b i=1 Máquina de Soporte Vectoria no lineal Definimos a la máquina de soporte vectorial no lineal como la función de decisión dada por ( m ) ˆf ( x) = sgn λ i y i K ( x i, x) b i=1

16 Inicio Aprendizaje de máquina 1 Aprendizaje de máquina Fundamentos Planteamiento del problema 2 Máquina de soporte vectorial Clasificador de máximo margen Máquina de soporte vectorial (Caso no lineal) 3 Implementación computacional

17 del aprendizaje La biblioteca libsvm tiene implementado el algoritmo de máquina de soporte vectorial, esta b es usada por R (en los paquetes e1071 y kernlab) y WEKA. Los resultados que presentamos fueron salidas del paquete kernlab de R

18 Aprendizaje de máquina Nuestros datos fueron separados en dos grupos: Entrenamiento (1,045 registros) y Prueba (184 registros). Para las pruebas, utilizamos el núcleo denominado Radial Basic Function (RBF). K ( x i, x j ) = e σ( x i x j 2 ) Con los siguientes valores en los parámentros con σ = 0,25, Se obtuvo los siguientes resultados Afiliado* Traspaso* Afiliado Traspaso *Clasificación. El error de entrenamiento es de %.Utilizando el modelo construido, se verificó con los datos de prueba con un 13.5 % de error Afiliado* Traspaso* Afiliado Traspaso

19 Segundo ejercicio Aprendizaje de máquina Con el mismo conjunto de datos, decidimos escoger otro conjunto de entrenamiento (1,000 registros) y de prueba (229 registros), con el mismo valor en los parámetros que el ejercicio anterior, se entrenó a la máquina y se obtuvieron los siguientes resultados Afiliado* Traspaso* Afiliado Traspaso Error de entrenamiento 11 %, probamos el modelo con el conjunto de prueba: Afiliado* Traspaso* Afiliado Traspaso Error de entrenamiento %, con esta cifra, damos por válido al modelo.

20 Puesta en marcha Aprendizaje de máquina Una vez hallado los parámetros óptimos se construye la máquina de soporte vectorial con la que se va a medir la probabilidad de traspaso de un conjunto de clientes no empleado para el entrenamiento. CodigoCte Clase Clase Prob.Traspaso C001 Afiliado Traspaso % C002 Afiliado Afiliado % C003 Afiliado Afiliado % C004 Afiliado Traspaso % C005 Afiliado Traspaso % C006 Afiliado Afiliado % C007 Afiliado Afiliado % C008 Afiliado Traspaso % C009 Afiliado Afiliado % C010 Afiliado Afiliado % C011 Afiliado Afiliado % C012 Afiliado Traspaso % C013 Afiliado Afiliado % Cuadro: Probabilidad de traspaso

21 Gráficos de la clasificación Clase Traspaso en Azul Figura: Permanencia Entidad vs Permanencia en Sistema Figura: Edad vs Renta

22 Gráficos de la clasificación Figura: Permanencia Entidad vs Permanencia en Sistema Figura: Edad vs Renta

23 Gráficos de la clasificación Figura: CuotasPagadas vs MaxCuotasConsecutivas Figura: Renta vs TPHO

24 Bibliografía Aprendizaje de máquina Lutz Hamel. Knowledge Discovery with Support Vector Machines. John Wiley y Sons Inc, Ralf Herbrich. Learning Kernel Classifiers. Massachusetts Institute of Tecnology, Xindong WuVipin Kumar. The Top Ten Algorithms in Data Mining. Chapman y Hall/CRC, A.L. Peressini, F.E. Sullivan, J.J. Uhl Jr. The Mathematics of nonlinear programming. Springer Verlag New York INC, Nello Cristianini and John ShaweTaylor. An Introduction to Support Vector Machines and Other Kernelbased Learning Methods. Cambridge University Press 2000.

25 Bibliografía Aprendizaje de máquina Ingo Steinward and Andreas Christmann. Support Vector Machines. Springer ScienceBusiness Media, LLC, WilliHansSteeb. The Nonlinear Workbook 3rd Edition. World Scientific Publishing Co. Pte. Ltd, 2005.

26 Muchas gracias por su atención