TÉCNICAS DE MINERÍA DE DATOS Y TEXTO APLICADAS A LA SEGURIDAD AEROPORTUARIA

Transcripción

1 TÉCNICAS DE MINERÍA DE DATOS Y TEXTO APLICADAS A LA SEGURIDAD AEROPORTUARIA MSC ZOILA RUIZ VERA Empresa Cubana de Aeropuertos y Servicios Aeronáuticos Abril 2010

2 ANTECEDENTES El proyecto Seguridad es una salida del Programa Nacional de Minería de Datos del Dpto. de Control del ICIMAF que tiene el propósito de extender sus experiencias a las necesidades de la Empresa Cubana de Aeropuertos y Servicios Aeronáuticos (ECASA) 2

3 PROPÓSITO Esta investigación pretende extraer conocimiento oculto de la información de los incidentes que puedan resultar peligrosos Investigar si la aplicación actual captura la información suficiente para extraer patrones de comportamiento Desarrollar modelos para integrarlos a un sistema de Vigilancia Tecnológica Crear un sistema web de captación, análisis y publicación de los resultados conjuntos de varias aplicaciones con PostgresSQL y PHP 3

4 EXTRAER CONOCIMIENTO OCULTO DE LA INFORMACIÓN DE LOS INCIDENTE FACILITA: Análisis de los datos disponibles con el objetivo de valorar si satisfacen la necesidad de los expertos al evaluar los hechos ocurridos Análisis de las variables objetivo y su relación con los incidentes Evaluación de los mejores indicadores de las posibles brechas de seguridad Apoyo a la toma de decisiones 4

5 FUENTE DE INFORMACIÓN Base de datos ACCESS convertida a PostgreSQL con los incidentes ocurridos en aeropuertos de todo el país 5

6 LA METODOLOGÍA UTILIZADA CRISP-DM CRoss-Industry Standard Process for Data Mining (Proceso de Construcción Cruzada Estándar de Minería de Datos) desarrollada en 1996, según la cual, la minería de los datos sigue un ciclo de vida de 6 fases, en una secuencia adaptativa: 1. ENTENDER EL PROBLEMA 2. COMPRENDER LOS DATOS 3. PREPARACIÓN DE LOS DATOS 4. FASE DE MODELACIÓN 5. EVALUACIÓN 6. IMPLEMENTACIÓN 6

7 METODOLOGÍA. ENTENDER el PROBLEMA El problema se hizo latente al comprobar la obsolencia de la aplicación Access Además de la oportunidad para mejorarla, se evaluó su desarrollo hacia metas superiores de utilización de la información: interrelación de sus atributos y la búsqueda de conocimiento oculto en las mismas 7

8 METODOLOGÍA. PREPARACIÓN Preprocesar datos es la garantía de las posteriores fases, significa eliminar ruidos, anomalías y analizar las fuentes en busca de mejores combinaciones de variables. El primer descubrimiento en los histogramas fue la ambivalencia en las denominaciones de los especialistas: ejemplo: estacionado, estacionada, avión, aeronave, capitán, Cap.,etc. 8

9 METODOLOGÍA. PREPARACIÓN. HERRAMIENTAS PostgreSQL Weka como herramienta de Minería de Datos con aprendizaje inductivo. Herramientas de Minería de Texto: QD Miner, Simstat y WordStat 9

10 servidor METODOLOGÍA. PREPARACIÓN Preparación de los datos en un entorno cliente / La tabla principal PostgreSQL COMPRENDER LOS DATOS 10

11 METODOLOGÍA. PREPARACIÓN Análisis descriptivo del entorno de los atributos TEXTO con QDA Miner, WordStat y Simstat se descubren nuevas interrelaciones, al combinar con Weka, se mejora la selección de atributos que permitir la correcta elección del tipo de tarea o algoritmo como los de mejor posibilidad de resultado. Se elaboraron las listas de palabras principales 11

12 METODOLOGÍA. FASE DE MODELACIÓN cálculos estadísticos conjunto de entrenamiento histogramas Datos en formato WEKA La opción Pre-procesamiento, mostró el conjunto elegido para entrenamiento. El estudio de estas variables conducirá a la obtención de la matriz de minería de datos PRESENTACIÓN DE POSIBLES INDICADORES 12

13 METODOLOGÍA. FASE DE MODELACIÓN El Modelo en este caso es descriptivo, significa desarrollar la técnica para expresar las características del entorno en que son aplicados, tanto en la comprensión actual de lo que tenemos como, para la predicción de tendencias e inducción de propiedades que permita cerrar las posibles brechas de seguridad. 13

14 METODOLOGÍA. MODELACIÓN. TÉCNICAS Clasificación, para esclarecer las dependencias. Esta estrategia permitirá que un atributo dependiente tome un valor entre varias clases ya conocidas Tendencia/regresión para predecir los valores de una variable continua, a partir de la evolución de otra variable continua, como el tiempo 14

15 METODOLOGÍA. MODELACIÓN. TÉCNICAS Agrupamiento o segmentación para conocer los diferentes grupos naturales no basados en clase sino en el comportamiento Las correlaciones para describir el grado de similitud de dos variables numéricas ATENCIÓN Los errores en los reportes de salida Weka, permitieron comparar las mejores técnicas tanto, en disminución de los errores como en la rapidez de su tiempo de ejecución 15

16 METODOLOGÍA. MODELACIÓN: HERRAMIENTAS QD Miner, WordStat Frecuencia de ocurrencia de palabras COMPAÑÍAS Gráficos de palabras 16

17 METODOLOGÍA. MODELACIÓN: HERRAMIENTAS Algunos de los algoritmos de Weka utilizados Árbol de decisión J48 SimpleKMeans Meta.ClassificationViaRegre ssion 17

18 METODOLOGÍA. MODELACIÓN: HERRAMIENTAS HERRAMIENTA WEKA TÉCNICAS DE CLASIFICACIÓN INTELIGENTE DE CONTENIDO 18

19 METODOLOGÍA. MODELACIÓN: HERRAMIENTAS Los filtros bayesianos de Weka Utilización del algoritmo para clasificar textos Analiza dividiendo en dos pilas: útil y no útil. El filtro comienza a aprender por sí mismo y determina la frecuencia con la que una palabra concreta aparece. La palabra recibirá una probabilidad de ser una palabra útil o no 19

20 METODOLOGÍA. MODELACIÓN: HERRAMIENTAS Los filtros bayesianos de Weka Utilización del algoritmo para clasificar textos. Continuación En el caso de la palabra de que aparece miles de veces tanto en la pila de utilidad y en la que no lo es, adquiere una clasificación neutra del 50%. Cuando un texto llega a una base de datos que ha sido entrenada con filtros bayesianos, el filtro las analiza y las utiliza para calcular la probabilidad global de que una información sea útil o no 20

21 METODOLOGÍA. FASE DE EVALUACIÓN Todos los métodos utilizados para describir parámetros incluso en su dependencia a atributos fecha han conseguido mostrar relaciones ocultas entre los datos, especialmente las reglas del árbol de decisión En atributos texto también se mostraron interrelaciones nuevas entre los datos, su clasificación y dependencia Eficiencia demostrada tanto con algoritmos sencillos: agrupamiento o tablas de decisión, como con algoritmos más complejos como las redes bayesianas 21

22 RESULTADOS La identificación de todas las relaciones de dependencia entre los atributos, las comparativas de listas de palabras claves dentro de campos memo y la probabilidad de frecuencia de ocurrencia de los casos más singulares ya que destacan los juegos de palabras o frases que más se reiteran en los textos descriptivos de los reportes 22

23 RESULTADOS INDICADORES de objetivos de trabajo, señalando posibles vulnerabilidades o riegos Evaluando la consecuencia del incidente clasificamos su gravedad Representaciones visuales como el árbol de decisión, reglas de asociación, facilitan la interpretación y toma de decisiones Acciones previas a tomar sobre las causas que más puedan incidir en la ocurrencia de incidentes 23

24 CONCLUSIO NES La aplicación actual no captura la información suficiente para extraer patrones de comportamiento, se ha rediseñado a PostgresSQL y PHP facilitando su utilización en la Intranet La investigación refleja tendencias por años desde diferentes aristas: por compañías, según la fase de la operación, por zona aeroportuaria. El conocimiento oculto de la información de los incidentes que puedan resultar peligrosos facilita la toma de decisiones para la inmediata corrección de cualquier detalle deficiente tanto técnico como operacional 24

25 MUCHAS GRACIAS t.cu 25