Modelos Estadísticos de Crimen

Transcripción

1 Universidad de los Andes Modelos Estadísticos de Crimen 27 de Mayo de 2015

2 Motivacion Conocer la densidad de probabilidad del crimen sobre una ciudad, a distintas horas del día, permite Modelos Estadísticos de Crimen 2 of 32

3 Motivacion Conocer la densidad de probabilidad del crimen sobre una ciudad, a distintas horas del día, permite Establecer el efecto de la presencia de estaciones de policía y patrullajes Modelos Estadísticos de Crimen 2 of 32

4 Motivacion Conocer la densidad de probabilidad del crimen sobre una ciudad, a distintas horas del día, permite Establecer el efecto de la presencia de estaciones de policía y patrullajes Determinar factores de la geografia que incrementan o disminuyen la intensidad de crimen Modelos Estadísticos de Crimen 2 of 32

5 Motivacion Conocer la densidad de probabilidad del crimen sobre una ciudad, a distintas horas del día, permite Establecer el efecto de la presencia de estaciones de policía y patrullajes Determinar factores de la geografia que incrementan o disminuyen la intensidad de crimen Determinar los hotspots y su movimiento a lo largo del día Modelos Estadísticos de Crimen 2 of 32

6 Motivacion Conocer la densidad de probabilidad del crimen sobre una ciudad, a distintas horas del día, permite Establecer el efecto de la presencia de estaciones de policía y patrullajes Determinar factores de la geografia que incrementan o disminuyen la intensidad de crimen Determinar los hotspots y su movimiento a lo largo del día Diseñar patrullajes óptimos Modelos Estadísticos de Crimen 2 of 32

7 Motivacion Estimar la densidad del crimen a partir de los datos es un reto por La alta dimensionalidad de los datos El tamaño de la base Modelos Estadísticos de Crimen 3 of 32

8 Procesos Puntuales de Poisson Un proceso puntual de Poisson, con función de intensidad µ, es un proceso por el que un conjunto de puntos son generados aleatoriamente en R n Para un conjunto S R n defina N S como el número de puntos que caen en S Entonces, un proceso de Poisson debe satisfacer 1 Si A B = entonces N A y N B son independientes 2 El número de puntos que cae en S está dado por una distribución de Poisson con intensidad µ(a) Pr (N A = n) = µ(a)n e µ(a) n! (1) Modelos Estadísticos de Crimen 4 of 32

9 Procesos Puntuales de Poisson Los PPP son usados para simular fenómenos como Modelos Estadísticos de Crimen 5 of 32

10 Procesos Puntuales de Poisson Los PPP son usados para simular fenómenos como Llegada de autobuses Modelos Estadísticos de Crimen 5 of 32

11 Procesos Puntuales de Poisson Los PPP son usados para simular fenómenos como Llegada de autobuses Ocurrencia de terremotos Modelos Estadísticos de Crimen 5 of 32

12 Procesos Puntuales de Poisson Los PPP son usados para simular fenómenos como Llegada de autobuses Ocurrencia de terremotos Ubicación de asentamientos humanos Modelos Estadísticos de Crimen 5 of 32

13 Procesos Puntuales de Poisson Los PPP son usados para simular fenómenos como Llegada de autobuses Ocurrencia de terremotos Ubicación de asentamientos humanos Posición de las estrellas Modelos Estadísticos de Crimen 5 of 32

14 Procesos Puntuales de Poisson Sus ventajas radican es que es un buen equilibrio entre complejidad y facilidad de estimación, pero no es completamente adecuado para simular ocurrencia de crímenes La intensidad del crimen cambia y se desplaza a lo largo del tiempo Los crímenes no son independientes, sino que crimen llama más crimen ( efecto de las ventanas rotas ) Modelos Estadísticos de Crimen 6 of 32

15 Estimación de un PPP Dada una realización de un PPP, como la ocurrencia de hurtos en Bogotá durante el 2013, es posible estimar la intensidad del proceso Modelos Estadísticos de Crimen 7 of 32

16 Estimación de un PPP Dada una realización de un PPP, como la ocurrencia de hurtos en Bogotá durante el 2013, es posible estimar la intensidad del proceso Este proceso vive en R 3, donde las dimensiones son: Latitud, Longitud y Tiempo Modelos Estadísticos de Crimen 7 of 32

17 Estimación de un PPP Dada una realización de un PPP, como la ocurrencia de hurtos en Bogotá durante el 2013, es posible estimar la intensidad del proceso Este proceso vive en R 3, donde las dimensiones son: Latitud, Longitud y Tiempo No se encontró un paquete en R capaz de hacer la estimación en más de una dimensión y que usara algún algoritmo de aprendizaje Modelos Estadísticos de Crimen 7 of 32

18 Estimación de un PPP Dada una realización de un PPP, como la ocurrencia de hurtos en Bogotá durante el 2013, es posible estimar la intensidad del proceso Este proceso vive en R 3, donde las dimensiones son: Latitud, Longitud y Tiempo No se encontró un paquete en R capaz de hacer la estimación en más de una dimensión y que usara algún algoritmo de aprendizaje Se aproximará la intensidad usando estimación de densidades por Kernel, donde los parámetros óptimos del ancho de banda se encontrarán usando máxima verosimilitud Modelos Estadísticos de Crimen 7 of 32

19 Estimación por Kernels Suponemos que la intensidad µ es una medida con una densidad f, de tal forma que µ(a) = f (x)dx (2) A Modelos Estadísticos de Crimen 8 of 32

20 Estimación por Kernels Suponemos que la intensidad µ es una medida con una densidad f, de tal forma que µ(a) = f (x)dx (2) Dada una muestra de Test Y = {y k }, la verosimilitud de f estará dada por Te L(f ) = f (y k ) (3) A k=1 Modelos Estadísticos de Crimen 8 of 32

21 Estimación por Kernels Es necesario definir una familia de funciones de la cual escoger f Modelos Estadísticos de Crimen 9 of 32

22 Estimación por Kernels Es necesario definir una familia de funciones de la cual escoger f Asumiremos que f es un kernel, obtenido a partir de observaciones de una base de entrenamiento {x l } Esto quiere decir que f (y) = 1 Tr Tr l=1 k(y ; x l, Σ) (4) donde k( ; x, Σ) es un kernel centrado en x con ancho de banda Σ R d d Modelos Estadísticos de Crimen 9 of 32

23 Estimación por Kernels La función de log-verosimilitud estará dada por LL(Σ) = Te k=1 Te log(f (y k )) (5) ( = 1 log Te k=1 1 Tr Tr l=1 k(y k ; x l, Σ) ) (6) Modelos Estadísticos de Crimen 10 of 32

24 Estimación por Kernels Debemos encontrar el ancho de banda que maximice LL Para esto usamos el método de descenso del gradiente Note que si θ es alguno de los parámetros de los que depende LL, entonces LL θ = 1 Te Te k=1 Tr l=1 k(y k ;x l,σ) θ Tr l=1 k(y k; x l, Σ) (7) Modelos Estadísticos de Crimen 11 of 32

25 Estimación por Kernels Escogemos un kernel gaussiano, pues permite calcular las derivadas de LL de forma sencilla 1 k(y ; x, Σ) = ( 2π) d Σ e 1 2 (y x)t Σ(y x) (8) Modelos Estadísticos de Crimen 12 of 32

26 Estimación por Kernels Escogemos un kernel gaussiano, pues permite calcular las derivadas de LL de forma sencilla 1 k(y ; x, Σ) = ( 2π) d Σ e 1 2 (y x)t Σ(y x) (8) Asumiremos que Σ =diag(σ 1,, σ d ), de forma que k(y ; x, σ) = 1 ( e 2π) d σ 1 σ d 1 [ d yi x i 2 i=1 σ i ] 2 (9) Modelos Estadísticos de Crimen 12 of 32

27 Estimación por Kernels Usando la densidad gaussiana k y la fórmula para LL θ [( LL σ j = 1 1 Te Te σ j k=1 Tr y (j) x(j) l=1 k(y k l k; x l, σ) σj 2 Tr l=1 k(y k; x l, σ) ) 1 obtenemos ] (10) Modelos Estadísticos de Crimen 13 of 32

28 Estimación por Kernels Usando la densidad gaussiana k y la fórmula para LL θ [( LL σ j = 1 1 Te Te σ j k=1 Tr y (j) x(j) l=1 k(y k l k; x l, σ) σj 2 Tr l=1 k(y k; x l, σ) ) 1 obtenemos ] (10) Y el gradiente de la función de log-verosimilitud estará dado por ( LL LL =,, LL ) (11) σ 1 σ d Modelos Estadísticos de Crimen 13 of 32

29 Descenso del gradiente El método de descenso del gradiente para maximizar una función f (x) consiste en iniciar con un guess del x óptimo, y actualizarlo moviéndose en la dirección f Modelos Estadísticos de Crimen 14 of 32

30 Descenso del gradiente El método de descenso del gradiente para maximizar una función f (x) consiste en iniciar con un guess del x óptimo, y actualizarlo moviéndose en la dirección f En el caso de LL(σ) iniciamos con un guess σ 1 del ancho de banda óptimo, y lo actualizamos según la regla σ k+1 = σ k + η k LL(σ k ) (12) Modelos Estadísticos de Crimen 14 of 32

31 Descenso del gradiente El método de descenso del gradiente para maximizar una función f (x) consiste en iniciar con un guess del x óptimo, y actualizarlo moviéndose en la dirección f En el caso de LL(σ) iniciamos con un guess σ 1 del ancho de banda óptimo, y lo actualizamos según la regla σ k+1 = σ k + η k LL(σ k ) (12) η k es llamada la tasa de aprendizaje Para garantizar convergencia a un óptimo local basta que lim η k = 0 η k = (13) k k=1 Modelos Estadísticos de Crimen 14 of 32

32 Descenso del gradiente Para escoger la tasa de aprendizaje usamos la técnica de Bold Driver Modelos Estadísticos de Crimen 15 of 32

33 Descenso del gradiente Para escoger la tasa de aprendizaje usamos la técnica de Bold Driver Si en la iteración σ k+1 = σ k + η k LL(σ k ) la función LL aumenta, entonces la tasa de aprendizaje η k será aumentada en 5% Modelos Estadísticos de Crimen 15 of 32

34 Descenso del gradiente Para escoger la tasa de aprendizaje usamos la técnica de Bold Driver Si en la iteración σ k+1 = σ k + η k LL(σ k ) la función LL aumenta, entonces la tasa de aprendizaje η k será aumentada en 5% Si por el contrario LL disminuyó, no actualizamos σ k, sino que disminuimos la tasa de aprendizaje en un 50% Modelos Estadísticos de Crimen 15 of 32

35 Descenso del gradiente Para escoger la tasa de aprendizaje usamos la técnica de Bold Driver Si en la iteración σ k+1 = σ k + η k LL(σ k ) la función LL aumenta, entonces la tasa de aprendizaje η k será aumentada en 5% Si por el contrario LL disminuyó, no actualizamos σ k, sino que disminuimos la tasa de aprendizaje en un 50% Cuál es el guess inicial? Modelos Estadísticos de Crimen 15 of 32

36 Descenso del gradiente Para escoger la tasa de aprendizaje usamos la técnica de Bold Driver Si en la iteración σ k+1 = σ k + η k LL(σ k ) la función LL aumenta, entonces la tasa de aprendizaje η k será aumentada en 5% Si por el contrario LL disminuyó, no actualizamos σ k, sino que disminuimos la tasa de aprendizaje en un 50% Cuál es el guess inicial? Cuándo parar? Modelos Estadísticos de Crimen 15 of 32

37 Descenso del gradiente Para escoger la tasa de aprendizaje usamos la técnica de Bold Driver Si en la iteración σ k+1 = σ k + η k LL(σ k ) la función LL aumenta, entonces la tasa de aprendizaje η k será aumentada en 5% Si por el contrario LL disminuyó, no actualizamos σ k, sino que disminuimos la tasa de aprendizaje en un 50% Cuál es el guess inicial? Cuándo parar? El problema será cóncavo? Modelos Estadísticos de Crimen 15 of 32

38 Base de Datos Delito Frecuencia Participación Tipo % Homicidio Doloso % Homicidio Culposo % Lesiones Dolosas % Lesiones Culposas % Hurto Residencias % Hurto Motos % Hurto Carros % Hurto General % Estupefacientes Modelos Estadísticos de Crimen 16 of 32

39 Base de Datos Decisiones que hay que tomar para estimar una densidad: Cómo corregir las horas de los delitos? Qué intervalo de tiempo usar? Agrupar los crímenes? Modelos Estadísticos de Crimen 17 of 32

40 Base de Datos Frequency Minute Modelos Estadísticos de Crimen 18 of 32

41 Base de Datos Frequency Minute Modelos Estadísticos de Crimen 19 of 32

42 Base de Datos Modelos Estadísticos de Crimen 20 of 32

43 Base de Datos Histogram Frequency Minute Modelos Estadísticos de Crimen 21 of 32

44 Densidad de los Delitos en el Tiempo Qué día y hora es más probable que ocurran homicidios accidentales? Modelos Estadísticos de Crimen 22 of 32

45 Negligent Homicide 06 Day Sun Mon Probability 04 Tue Wed Thu Fri 02 Sat Time 23 of 32 Modelos Estadísticos de Crimen

46 Densidad de los Delitos en el Tiempo Qué día y hora es más probable que ocurran homicidios accidentales? Homicidios no accidentales? Modelos Estadísticos de Crimen 24 of 32

47 Homicide 12 Day Sun Mon Probability 08 Tue Wed Thu Fri 04 Sat Time 25 of 32 Modelos Estadísticos de Crimen

48 Densidad de los Delitos en el Tiempo Qué día y hora es más probable que ocurran homicidios accidentales? Homicidios no accidentales? Qué día es menos probable que se le roben el carro? Modelos Estadísticos de Crimen 26 of 32

49 Car Theft 075 Day Sun Mon Probability 050 Tue Wed Thu Fri 025 Sat Time 27 of 32 Modelos Estadísticos de Crimen

50 Densidad de los Delitos en el Tiempo Qué día y hora es más probable que ocurran homicidios accidentales? Homicidios no accidentales? Qué día es menos probable que se le roben el carro? Cuál es el horario de trabajo de los atracadores? Modelos Estadísticos de Crimen 28 of 32

51 General Theft 06 Day 04 Sun Mon Probability Tue Wed Thu 02 Fri Sat Time 29 of 32 Modelos Estadísticos de Crimen

52 Densidad de los Delitos en el Espacio Correr el descenso del gradiente en el espacio y el tiempo toma mucho más tiempo 2h-1dia Modelos Estadísticos de Crimen 30 of 32

53 Densidad de los Delitos en el Espacio Correr el descenso del gradiente en el espacio y el tiempo toma mucho más tiempo 2h-1dia A esta hora, cuál es el punto más probable en el que ocurrirá un homicidio accidental? Modelos Estadísticos de Crimen 30 of 32

54 Densidad de los Delitos en el Espacio Correr el descenso del gradiente en el espacio y el tiempo toma mucho más tiempo 2h-1dia A esta hora, cuál es el punto más probable en el que ocurrirá un homicidio accidental? ( , ) Modelos Estadísticos de Crimen 30 of 32

55 Densidad de los Delitos en el Espacio Correr el descenso del gradiente en el espacio y el tiempo toma mucho más tiempo 2h-1dia A esta hora, cuál es el punto más probable en el que ocurrirá un homicidio accidental? ( , ) Cuál es el punto más probable donde ocurrirá un homicidio? Modelos Estadísticos de Crimen 30 of 32

56 Densidad de los Delitos en el Espacio Correr el descenso del gradiente en el espacio y el tiempo toma mucho más tiempo 2h-1dia A esta hora, cuál es el punto más probable en el que ocurrirá un homicidio accidental? ( , ) Cuál es el punto más probable donde ocurrirá un homicidio? ( , ) Modelos Estadísticos de Crimen 30 of 32

57 Densidad de los Delitos en el Espacio Correr el descenso del gradiente en el espacio y el tiempo toma mucho más tiempo 2h-1dia A esta hora, cuál es el punto más probable en el que ocurrirá un homicidio accidental? ( , ) Cuál es el punto más probable donde ocurrirá un homicidio? ( , ) A qué hora salir de Quantil para que no lo atraquen? Modelos Estadísticos de Crimen 30 of 32

58 008 Intensidad de atracos en Quantil! 006 Day Sun Mon Intensity 004 Tue Wed Thu Fri Sat Time 31 of 32 Modelos Estadísticos de Crimen

59 Próximos Desarrollos Estudiar la relación entre elementos de la geografía y la intensidad del crimen Modelos Estadísticos de Crimen 32 of 32

60 Próximos Desarrollos Estudiar la relación entre elementos de la geografía y la intensidad del crimen Escribir el código en otro lenguaje más eficiente: Matlab, Python? Modelos Estadísticos de Crimen 32 of 32

61 Próximos Desarrollos Estudiar la relación entre elementos de la geografía y la intensidad del crimen Escribir el código en otro lenguaje más eficiente: Matlab, Python? Encontrar una plataforma más amigable para visualizar los datos de forma dinámica: ArcGis, Java? Modelos Estadísticos de Crimen 32 of 32

62 Próximos Desarrollos Estudiar la relación entre elementos de la geografía y la intensidad del crimen Escribir el código en otro lenguaje más eficiente: Matlab, Python? Encontrar una plataforma más amigable para visualizar los datos de forma dinámica: ArcGis, Java? Posibles aplicaciones: Encontrar la ruta más segura entre dos puntos de la ciudad, diseñar un patrullaje óptimo Modelos Estadísticos de Crimen 32 of 32