- PDF Descargar libre

Tamaño: px

Comenzar la demostración a partir de la página:

Download ""

Felisa Villanueva Blanco
hace 6 años
Vistas:

1 V

@safeconten https://arxiv.org/pdf/1609.08144.

7 @safeconten

11 BIG DATA

12 En 2016 se generó un tráfico IP que sobrepasó el zettapyte (1000 exabytes, 1 millón de terabytes o bytes). Generar, recolectar y procesar información. Bases de datos capaces de escalar linealmente con el número de máquinas que las conforman.

13 Google BigTable fué creada para almacenar las páginas indexadas y poder procesarlas en un tiempo razonable para generar su índice. Amazon Dynamo fue creado para dar soporte a la inmensa base de datos sobre la que funciona la tienda de Amazon. Apache Cassandra fue creada por Facebook para dar soporte a su sistema de mensajería interno.

14 Frameworks (conjunto de herramientas para el desarrollo de una aplicación) para el procesamiento paralelo de información con hardware barato: MapReduce de Google, Apache Hadoop (clon de MapReduce), Apache Spark (clon de Hadoop con vitaminas)

15 INTELIGENCIA ARTIFICIAL

16 General Artificial Intelligence Expert Systems Natural Language Processing Computer Vision Machine Learning

17 MACHINE LEARNING

18 Construir un modelo: Algoritmos que permiten aprender a partir de información, para hacer predicciones futuras. Supervisados y no supervisados. Cuantos más datos -> Más entrenamiento -> Mayor precisión.

19 Máquinas capaces de aprender por sí mismas y resolver problemas

20 Un proceso de ML 1. Extracción de información 2. Selección de métricas interesantes 3. Elección de algoritmos de ML 4. Entrenamiento de los modelos 5. Aplicación de los modelos a datos reales 6. Análisis de los resultados

21 Extracción de información 1. Crawleamos el dominio. 2. Limpiamos datos no interesantes con una primera etapa de Map Reduce. 3. Extraemos señales interesantes para cada URL con otras 5 etapas de Map Reduce.

22 ML - Clasificación supervisada Uso de nuestra experiencia en la etapa inicial de definición. Y clasificación automática a partir de datos reales. Safecont usa un meta-clasificador que combina el resultado de múltiples clasificadores para determinar cuando una URL tiene penalización.

23 ML - clasificación no supervisada Uso de características propias de la información para dividirla en diversas clases. Safecont usa 2 algoritmos de clusterización distintos para dividir la información en grupos interesantes por su peligrosidad y contenido.

25 Pagerank Trustrank Anti- Trustrank HITS SERP Topic Distillation WITH (Content-Hyperlinks

28 Cómo la usamos en nuestro software?

29 Calcular, calcular y calcular Safecont IA cálculos realizados: 6E+17 5E+17 4E+17 3E+17 2E+17 1E+17 0 URLS Calculos Calculos URLS

30 Y eso cuánto es? Un ejemplo...

31 Para un análisis de URLs Safecont realiza MIL BILLONES DE CÁLCULOS

32 El resultado Todas estas métricas y procesos de ML nos permiten calcular: Una puntuación global de dominio (PandaRisk). Un puntuación por URL que determina el peligro de penalización (PageRisk).

35 Trabajamos con las mismas pautas que trabaja Google

36 etectando clustersde peligrosidad usando Machine Learning

37 Y qué es un cluster?

38 Cluster: Agrupación de URLs en función de determinados patrones extraídos a través de algoritmos de Machine Learning que en nuestro caso detectan peligrosidad de ser penalizados

39 Grupos de URLs con el mismo peligro de ser penalizadas

42 Grupos de URLs con el mismo peligro de ser penalizadas por problemas de similaridad semántica

43 Y para qué? Para evitar

45 Relacionando arquitectura y contenido para solventar penalizaciones y optimizar los sitios web

46 Y cómo?

47 Relacionando problemas de contenido con la arquitectura de la web

49 Por tanto, podemos realizar análisis web en profundidad impensables hasta la fecha con la tecnología convencional : Detectar problemas rápidamente y con alta fiabilidad. Detectar problemas imperceptibles hasta la fecha. Detectar problemas en escaso tiempo ahorrando horas de trabajo y costes.

50 Y funciona?

52 GRACIAS

Documentos relacionados

Andres Felipe Rojas / Nancy Gelvez. UNESCO UNIR ICT & Education Latam Congress 2016

Distributed processing using cosine similarity for mapping Big Data in Hadoop (Procesamiento distribuido usando similitud de coseno para mapear Big Data en Haddop) Andres Felipe Rojas / Nancy Gelvez UNESCO