Monitoreo de Redes de Datos. ExpoComm 2007

Transcripción

1 Monitoreo de Redes de Datos ExpoComm 2007

2 EXPOCOMM Argentina 2007 Seminario de Tecnología y Mercado Tutorial Monitoreo de Redes de Datos Ing. Marcelo Utard Profesor Facultad de Ingeniería UBA Socio Gerente U&R Consultores mutard@uyr.com.ar ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 2

3 Contenidos Se identifica la necesidad y la problemática de medir. Se aborda todo aquello que facilita el "Soporte Proactivo", el "Capacity Planning", la "Verificación de SLAs". Se presentan los conceptos fundamentales de gestión de fallas y performance de las redes de datos. ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 3

4 Contenidos Se describen las metodologías, mecanismos, herramientas, tecnologías, que se suelen y pueden utilizar para medir. Se detallan algunas métricas (variables) y métodos de medición (probes). Se presenta de qué modo se suele mostrar la información resultante de las mediciones (vistas, reportes). ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 4

5 Porqué medir? Gestión de calidad de servicio satisfacción de necesidades Gestión presupuestaria control de gastos e inversiones control de proveedores ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 5

6 Para qué medir? La medición o monitoreo sistemático y permanente permite hacer: Soporte proactivo Capacity planning Verificación de SLAs ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 6

7 Para qué medir? Soporte Proactivo Para lograr que los usuarios no perciban fallas, es necesario: minimizar el tiempo de restauración (MTTR) disminuir la ocurrencia de fallas (maximizar el MTBF) evitar las fallas predecibles evitar las fallas recurrentes ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 7

8 Para qué medir? Soporte Proactivo Medir facilita el soporte proactivo, ya que permite: minimizar el tiempo de restauración MTTR detectando las fallas en forma temprana alertando a los operadores y administradores contando con información para el diagnóstico ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 8

9 Para qué medir? Soporte Proactivo Medir facilita el soporte proactivo, ya que permite: evitar las fallas por saturación de recursos identificando el desperdicio o mal uso de recursos prediciendo los cuellos de botella para el redimensionando anticipado de la capacidad de los recursos ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 9

10 Para qué medir? Soporte Proactivo Medir facilita el soporte proactivo, ya que permite: evitar fallas recurrentes identificandolas y corrigiendo sus causas ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 10

11 Para qué medir? Capacity Planning Redimensionar los recursos, en función de las necesidades genuinas, racionalizando el presupuesto, con el tiempo de antelación suficiente. Medir facilita el capacity planning, relevando el grado de utilización de los recursos de la red mostrando la tendencia en el uso de los recursos permitiendo la estimación de la medida justa de incremento ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 11

12 Para qué medir? Verificación de SLAs SLA Service Level Agreement: Acuerdo de Nivel de Servicio define clara y cuantitativamente el alcance del servicio compromete a quien lo provee su incumplimiento es penalizado Extended enterprise SLAs con usuarios internos SLAs con clientes SLAs con proveedores ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 12

13 Para qué medir? Verificación de SLAs Medir facilita la verificación de los SLAs relevando las métricas comparándolas con umbrales calculando el grado de cumplimiento generando reportes ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 13

14 Qué medir? Variables o Métricas En términos generales, es necesario medir variables o métricas de: Status Uso de recursos Performance ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 14

15 Qué medir? Variables de Status Alcanzabilidad de un host o router Estado operativo de una interfase Estado de un proceso... ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 15

16 Qué medir? Variables de Uso de recursos CPU Load Memory use Uso de ancho de banda Tráfico Tx o Rx (en tramas/paquetes, en bytes) Composición de tráfico (por aplicación, por src/dst,...) Ocupación de colas... ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 16

17 Qué medir? Variables de Performance time round trip time response time transit delay delay jitter packet loss... ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 17

18 Qué medir? Real time vs Histórica Info real time para: saber si todo esta up&running identificar y diagnosticar fallas Info histórica para: identificar y diagnosticar problemas hacer baselining dimensionar capacidad controlar SLAs ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 18

19 Cómo medir? Grupos de usuarios operaciones mesa de ayuda administradores de plataformas/aplicaciones planificación/tecnología/ingeniería jefes/supervisores/gerentes c/mayor o menor dominio técnico ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 19

20 Cómo medir? Requisitos de usuarios Segun EMA (continuacion) Fácil p/tomar decisiones operativas (troubleshooting) de negocios (costo/beneficio) Escalable Confiable Costo/beneficio Restricciones presupuestarias ROI ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 20

21 Cómo medir? Arquitectura de NSM NSM: Network & System Management NMS Network Management Station Probes & Agents Activos ICMP Echo (ping), SNMP TCP, UDP, DNS (nslookup/dig) HTTP/HTTPS (wget), SQL (select),... Probes & Agents Pasivos Sniffer, RMON, Netflows,... ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 21

22 Cómo medir? Metodologías Event Notification Exception Notification KeepAlive Notification Data Collection Polling Reporting ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 22

23 Cómo medir? Event Notification Notificación de eventos por excepción o keep-alive mensajes de log disparo de alertas ejecución automatica de acciones ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 23

24 Cómo medir? Event Notification Exception Notification sólo notifica excepciones no news, good news problema de pérdida de notificaciones no sirve p/seguimiento de estados tormenta de eventos demasiada información se escapa la tortuga no sirve p/coleccionar datos ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 24

25 Cómo medir? Event Notification KeepAlive Notification notifica siempre, periódicamente resuelve el problema de pérdida de notificaciones sirve p/seguimiento de estados sirve p/coleccionar datos (ver reporting) ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 25

26 Cómo medir? Data Collection: Polling Encuestado periódico desde la NMS medición de variables más relevantes comparación con umbrales almacenamiento de muestras Sirve para: seguimiento de estados coleccionar datos historicos ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 26

27 Cómo medir? Data Collection: Polling Mayor consumo de ancho de banda que Event Notification Complejidad de probes en NMS Mayor exigencia de cpu y mem en NMS Otros Problemas: dependencias topológicas ronda de polling y timeouts secuenciación inevitable ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 27

28 Cómo medir? Data Collection: Reporting Notificación periódica a la NMS medición de variables más relevantes comparación de umbrales almacenamiento de muestras Sirve para: seguimiento de estados coleccionar datos historicos ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 28

29 Cómo medir? Data Collection: Reporting Complejidad de probes en Agentes Menor exigencia de cpu y mem en NMS Mayor escalabilidad que el polling Evita muchos problemas del polling ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 29

30 Cómo medir? Estado de variables dependencia entre variables el estado depende de otras variables dependencias topológicas arbol vs malla de dependencias polling/recolección en función del estado alarmas en función del estado cálculo de disponibilidad en función del estado ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 30

31 Cómo mostrar lo medido? Vistas, Mapas, Reportes Vistas, mapas, reportes de Status de Uso de Recursos de Performance de Disponibilidad de Log de Eventos... ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 31

32 NSM Implementación y Mantenimiento La implementación y el mantenimiento del NSM es un proceso cíclico compuesto por las siguientes fases: 1. Relevar/ corregir "baselines" 2. Configurar/ ajustar umbrales y alarmas 3. Monitorear 4. Analizar fallas detectadas Excesivas fallas no detectadas? Excesivas falsas alarmas? ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 32

33 NSM Tareas de OA&M OA&M (Operación, Administración & Mantenimiento) ABM (Altas Bajas y Modificaciones) de: mediciones/recolecciones umbrales/baselines eventos/alarmas/alertas vistas/mapas usuarios reportes ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 33

34 NSM con Recursos Propios costo de adquisición de herramientas costo de capacitación del personal personal especializado rotación del personal ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 34

35 NSM Service Providers Tercerización del NSM para implementación, mantenimiento, operacion, soporte y/o consultoria mejora el costo/beneficio mayor know-how recursos compartidos recursos redundantes independiente de otros SPs? ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 35

36 Muchas gracias por su atención Ing. Marcelo Utard Profesor FI UBA Socio Gerente U&R

37 Segun la ISO: NSM Clases de Funciones de Management Fault/Problem Management Performance/Resource Mgmt Configuration Management Security Management Accounting/Billing Management ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 37

38 NSM Arquitectura Management Server / Console (NMS) Managed Node, Agent, SubAgent Probes, Collection Station User Station User Tools: MSWinGUI, XWinGUI, WebBrowser Gateway, Proxy Agent ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 38

39 NSM Aplicaciones Licenciadas & Free Especializadas en management de: - Líneas de dispositivos - Routers/Switches, Servers, etc - Aplicaciones - Mail, RDBM, ERP, etc - Tipo/clase de management: Fault,Perf,Config,etc Plataformas de integración ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 39

40 NSM Plataformas de management p/integrar aplicaciones de NSM p/compartir datos de config, de status, de eventos es un único tablero de control disminuye las tareas de sysadmin ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 40

41 NSM Medición/recolección de datos Tipos de objetos medidos/monitoreados: Servicios Nodos (Equipos, Dispositivos) Recursos Trafico ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 41

42 NSM Medición/recolección de datos Tipos de mediciones: Reachability/Availability Tiempo de respuesta Grado de utilización Verificación de contenidos SLA conformance/violation ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 42

43 NSM Medición/recolección de datos Tipos de mediciones: Composición de tráfico por Source/Destination Address por Protocolo (ICMP,TCP,UDP,etc) por ICMP Type por Src/Dst Port ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 43

44 NSM Medición/recolección de datos Tipos de mediciones: Composición de retardo end-to-end time net/internet time queueing time insertion time propagation time processing/switching/forwarding time connection setup time back-end time ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 44

45 NSM Medición/recolección de datos Rondas de muestreo Intervalo de muestreo Timeout y retries Problema de timeouts ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 45

46 NSM Medición/recolección de datos Almacenamiento de datos recolectados Flat files RDBMs Problema de Ocupación de espacio Sumarización/Promediación ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 46

47 NSM Probes Probes (puntas de prueba): Activos Pasivos (sniffers/snoopers) Embebidos (agents) Dedicados/externos Propietarios ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 47

48 NSM Probes ICMP Echo (Ping) %disponibilidad de nodos e interfaces RTT (Round Trip Time) Throughput ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 48

49 NSM Probes SNMP snmpget, snmpset snmpnext / snmpwalk snmptrap OIDs MIBs: MIB2 Host, etc SNMPv1, SNMPv2, SNMPv2c, SNMPv3 ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 49

50 NSM Probes TCP (user defined) UDP (user defined) RPC (user defined) SMTP, POP3, IMAP4 Echo, NNTP (news), NTP DNS, LDAP, Radius DHCP, SQL Log Parsers ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 50

51 NSM Probes HTTP, HTTPS HTTP_TRAN web transaction recorder single step test WEB Browser client monitor plug-in applet/script Java Applet, Java Script, ActiveX supply cookie to mgmt srv hits a tag -> dowload prog ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 51

52 NSM Agents SNMP Master agent / MIB subagents RMON Agents HP OVO/OVP Agents IBM Tivoli Agents BMC Patrol Agents CA Unicenter Agents Cisco Netflows Cisco IPSLA Agent IDSs ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 52

53 NSM Eventos, Alarmas & Alertas Generación de eventos por detección de: fallas cambios de estado tiempos de respuesta lenta recursos agotados/saturados recolección de datos y cruce de umbrales >, <, =,!= fijos, variables baselines ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 53

54 NSM Eventos, Alarmas & Alertas Mecanismos/protocolos de notificación de eventos: snmptraps mails syslogs ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 54

55 NSM Eventos, Alarmas & Alertas Tratamiento de los eventos: Formato de mensajes de log Categorización de eventos por severidad por tipo/clase Disparo de alertas Events forwarding Events correlation Seguimiento de estado de alarmas ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 55

56 NSM Eventos, Alarmas & Alertas Mecanismos de alerta: Logs Mails Paging Audio, TextToSpeech Audio Streaming Llamada telefonica TroubleTickets Otras acciones (command exec) ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 56

57 NSM Management Bussines oriented Management Service oriented Management Infrastructure oriented Management Network centered Management Device centered Management Policy Based Management ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 57

58 NSM Policy Based Management Definición de politicas (reglas) que describen el comportamiento deseado Dimensionamiento/configuración de la infraestructura "Baselining" Relevamiento/medición p/saber q es "normal" y "anormal" como se comporta dia a dia? qué es sub/sobre utilizado? donde se producen mas errores? ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 58

59 NSM Policy Based Management "Baseline analisis" Determinación de SLAs qué medir? qué cruce de umbrales detectar? Medición y reportes de SLAs Ajustes(reconfiguracion/redimensionamiento) en la infraestructura ExpoComm Arg 07 - Tutorial "Monitoreo de Redes de Datos" - Ing. Marcelo Utard Pag. 59

60 Muchas gracias por su atención Ing. Marcelo Utard Profesor FI UBA Socio Gerente U&R