Análisis de Desempeño del Servidor

Transcripción

1 Análisis de Desempeño del Servidor WALC 29: Gestión de Redes Septiembre 21-25, 29 Bogotá, Colombia 29

2 Análisis Local Antes de echar la culpa a la red, verificar si los problemas son locales. Qué puede ir mal localmente?: Problemas de hardware ( I/O Carga excesiva (CPU, memoria, Qué esta considerado 'normal'? Uso frecuente de herramientas de análisis Familiarizarse con los valores y estado de la máquina Es esencial mantener historia Agentes de SNMP y bases de datos nsrc@walc 29

3 Análisis de desempeño en Unix Tres categorías principales: Procesamiento Procesos en ejecución (running) Procesos en espera (sleeping) Esperando turno bloqueados Memoría Real Virtual ( Input/Output ) I/O Almacenamiento Red nsrc@walc 29

4 Medidas Clave Insuficiente capacidad de procesamiento Número de procesos en espera de ejecución es constantemente alto Porcentaje de utilización del CPU alto Memoría insuficiente Poca memoría libre Mucha actividad swap (swap in, swap out) Entrada/Salida (Input/Ouput) lento Muchos procesos en estado bloqueado Número alto de bloques (unidades fijas de datos) transferidos 29

5 Análisis local Afortunadamente, en Unix existen docenas de herramientas útiles (y gratis) que ofrecen mucha información sobre la máquina. Algunas de las más conocidas: vmstat - dump - iperf top lsof netstat ( ethereal ) - wireshark - iptraf - ntop nsrc@walc 29

6 vmstat Muestra periódicamente información (resumida) sobre procesos, memoría, paginación, I/O, CPU, etc. vmstat <-opciones> <periodo> <máximo de veces> # vmstat 2 procs # vmstat memory swap io system cpu---- r procs b memory swpd free buff cache ---swap-- si so -----io---- bi bo --system-- in cs us ----cpu---- sy id wa 2 r b swpd free buff cache si so bi 3 bo 4 in 3 cs 3 15 us 11 sy 73 id wa nsrc@walc 29

7 top Herramienta básica de analisis de desempeño en un entorno Unix/Linux Muestra periódicamente una lista de estadísticas acerca del desempeño del sistema: Uso del CPU Uso del la memoría RAM y SWAP Carga promedia (load average) Información por proceso nsrc@walc 29

8 Carga Promedio (Load Average) Promedio de procesos activos en los últimos 1, 5 y 15 minutos Una medida simplista pero útil Dependiendo de la máquina, los rangos considerados 'normales' pueden variar: Máquinas multi-procesador pueden manejar más procesos activos por unidad de tiempo nsrc@walc 29

9 top Información por proceso (columnas más relevantes): PID: ID del proceso USER: usuario que ejecuta el proceso %CPU: Porcentaje del tiempo total del CPU utilizado por el proceso desde la última muestra %MEM: Porcentaje de la memoria física utilizado por el proceso TIME: Tiempo total del CPU utilizado por el proceso desde su inicio 29

10 Ejemplo top 29

11 top Comandos interactivos más relevantes f : Agregar o quitar columnas F : Especificar la columna a ordenar <, > : Mover la columna a ordenar u : Especificar un usuario en particular k : Especificar un proceso a matar (kill) d, s : Cambiar el intervalo de ejecución nsrc@walc 29

12 netstat Muestra información sobre: Conexiones de red Tablas de encaminamiento Estadísticas de interfaz Membresías de grupos multicast 29

13 netstat Parámetros más relevantes -n: Mostrar direcciones, puertos y usuarios en forma numérica -r: Tabla de rutas -s: Estadisticas por protocolo -i: Estado de las interfazes -l: Puertos abiertos (listening sockets) --, --udp: Especificar el protocol -A: Familia de direcciones [inet inet6 unix etc.] -p: Mostrar el nombre del proceso para cada puerto -c: Muestra resultados continuamente nsrc@walc 29

14 netstat Ejemplos: # netstat -n -- -c # netstat -n -- -c ( servers Active Internet connections (w/o Proto Active Recv-Q Internet Send-Q connections Local Address (w/o ( servers Foreign Address State Proto Recv-Q Send-Q 272 ::ffff: :22 Local Address ::ffff: :6968 Foreign Address ESTABLISHED State 272 ::ffff: :22 ::ffff: :53219 ::ffff: :6968 ESTABLISHED ::ffff: :22 ::ffff: :53219 ESTABLISHED # netstat -lnp -- # netstat -lnp -- ( servers Active Internet connections (only Proto Active Recv-Q Internet Send-Q connections Local Address (only ( servers Foreign Address State PID/Program name Proto Recv-Q Send-Q...:199 Local Address...:* Foreign Address State 11645/snmpd PID/Program name...:336...:199...:* 1997/mysqld 11645/snmpd...:336...:* 1997/mysqld # netstat -ic Kernel # netstat Interface -ic table Iface Kernel Interface MTU Met table RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR Flg eth Iface 15 MTU Met RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR BMRU Flg lo eth LRU BMRU eth lo BMRU LRU lo eth LRU BMRU eth lo BMRU LRU lo eth LRU BMRU eth lo BMRU LRU lo eth LRU BMRU eth lo BMRU LRU eth BMRU nsrc@walc 29

15 netstat Ejemplos: # netstat listening --program ( servers Active # netstat Internet connections listening (only --program Proto Active Recv-Q Internet Send-Q connections Local Address ( servers (only Foreign Address State PID/Program name Proto Recv-Q Send-Q *:51 Local Address Foreign Address State 13598/iperf PID/Program name localhost:mysql *: /mysqld 13598/iperf *:www localhost:mysql 7246/apache2 5586/mysqld t6-2.local:domain *:www 5378/named 7246/apache2 t6-2.local:domain t6-2.local:domain 5378/named 5378/named t6-2.local:domain t6-2.local:domain 5378/named 5378/named localhost:domain t6-2.local:domain 5378/named 5378/named localhost:ipp localhost:domain 5522/cupsd 5378/named localhost:smtp localhost:ipp 6772/exim4 5522/cupsd localhost:953 localhost:smtp 5378/named 6772/exim4 *:https localhost: /apache2 5378/named 6 [::]:ftp *:https [::]:* 7185/proftpd 7246/apache2 6 6 [::]:domain [::]:ftp [::]:* [::]:* 5378/named 7185/proftpd 6 6 [::]:ssh [::]:domain [::]:* [::]:* 5427/ 5378/named 6 6 [::]:3 [::]:ssh [::]:* [::]:* 17644/ntop 5427/ 6 6 ip6-localhost:953 [::]:3 [::]:* [::]:* 5378/named 17644/ntop 6 6 [::]:35 ip6-localhost:953 [::]:* [::]:* 17644/ntop 5378/named 6 [::]:35 [::]:* 17644/ntop nsrc@walc 29

16 ( Files lsof (List Open lsof es particularmente útil porque en Unix todo es un archivo: sockets unix, sockets ip, directorios, etc. Permite asociar archivos abiertos por: -p: PID (Process ID) de un proceso -i : Una dirección de Internet (protocolo:puerto) -u: Un usuario nsrc@walc 29

17 lsof Ejemplo: Usando netstat -ln - determino que el puerto 61 está abierto y esperando una conexión (). # netstat -ln -- Active # netstat Internet -ln -- ( servers connections (only Proto Active Recv-Q Internet Send-Q connections Local Address ( servers (only Foreign Address State Proto Recv-Q Send-Q Local Address Foreign Address State :61...:* : :61...:*...:* :611...:* nsrc@walc 29

18 lsof Determinar qué proceso tiene el puerto (61) abierto y qué otros recursos está utilizando: # lsof -i :61 COMMAND # lsof -i PID :61 USER FD TYPE DEVICE SIZE NODE NAME COMMAND 131 PID USER 6u FD IPv4 TYPE 5363 DEVICE SIZE NODE localhost.localdomain:x11-ssh-offset NAME ( ) u 6u IPv6 IPv [::1]:x11-ssh-offset localhost.localdomain:x11-ssh-offset ( ) ( ) ( ) 131 7u IPv [::1]:x11-ssh-offset # lsof -p 131 COMMAND # lsof -p PID 131 USER FD TYPE DEVICE SIZE NODE NAME COMMAND 131 PID USER cwd FD DIR TYPE DEVICE 496 SIZE NODE 2 / NAME rtd cwd DIR DIR / / txt rtd DIR /usr/sbin/ / mem txt /usr/lib/libwrap.so..7.6 /usr/sbin/ mem mem /lib/libutil-2.4.so /usr/lib/libwrap.so mem mem /usr/lib/libz.so /lib/libutil-2.4.so mem mem /lib/libnsl-2.4.so /usr/lib/libz.so mem mem /usr/lib/libgssapi_krb5.so.2.2 /lib/libnsl-2.4.so mem mem /usr/lib/libkrb5support.so.. /usr/lib/libgssapi_krb5.so mem mem /lib/libsetrans.so. /usr/lib/libkrb5support.so mem mem /lib/libcom_err.so.2.1 /lib/libsetrans.so mem mem /usr/lib/libcrack.so.2.8. /lib/libcom_err.so mem mem /lib/security/pam_succeed_if.so /usr/lib/libcrack.so mem /lib/security/pam_succeed_if.so... nsrc@walc 29

19 lsof Que servicios estoy corriendo? # lsof -i COMMAND # lsof -i PID USER FD TYPE DEVICE SIZE NODE NAME firefox COMMAND 4429 PID hervey USER 5u FD IPv4 TYPE DEVICE SIZE NODE :5689- NAME > :www firefox 4429 ( ESTABLISHED ) hervey 5u IPv :5689- named > :www 5378 ( ESTABLISHED ) ( ) bind 2u IPv *:domain named named bind bind 21u 2u IPv4 IPv localhost:domain ( ) *:domain ( ) named bind 3u 21u IPv6 IPv *:ssh localhost:domain ( ) ( ) cupsd u 3u IPv4 IPv localhost:ipp ( ) *:ssh ( ) mysqld cupsd mysql 1u 3u IPv4 IPv localhost:mysql ( ) localhost:ipp ( ) snmpd mysqld snmp mysql 8u 1u IPv4 IPv UDP localhost:snmp ( ) localhost:mysql exim4 snmpd Debian-exim snmp 3u 8u IPv4 IPv UDP localhost:smtp localhost:snmp ( ) ntpd exim Debian-exim ntp 16u 3u IPv4 IPv UDP *:ntp ( ) localhost:smtp ntpd ntpd ntp ntp 17u 16u IPv6 IPv UDP UDP *:ntp *:ntp ntpd ntpd ntp ntp 18u 17u IPv6 IPv UDP UDP [fe8::25:56ff:fec:8]:ntp *:ntp ntpd ntpd ntp ntp 19u 18u IPv6 IPv UDP UDP ip6-localhost:ntp [fe8::25:56ff:fec:8]:ntp proftpd ntpd proftpd ntp 1u 19u IPv6 IPv UDP *:ftp ip6-localhost:ntp ( ) apache2 proftpd www-data proftpd 3u 1u IPv4 IPv *:www *:ftp ( ) ( ) apache2 apache www-data www-data 4u 3u IPv4 IPv *:https ( ) *:www ( )... ( ) apache www-data 4u IPv *:https iperf... ( ) u IPv *:51 apache2 iperf www-data 3u 3u IPv4 IPv *:www *:51 ( ) ( ) apache2 apache www-data www-data 4u 3u IPv4 IPv *:https ( ) *:www ( ) ( ) apache www-data 4u IPv *:https nsrc@walc 29

20 dump Muestra los encabezados de los paquetes recibidos en una interfaz dada. Opcionalmente, filtra basado en expresiones booleanas Permite escribir la información en un archivo para su posterior análisis Requiere privilegios de administrador (), dado que ha de configurarse la interfaz de red en modo 'promiscuo' - Nota: El modo 'promiscuo' pierde utilidad cuando la conexión es a través de un switch. nsrc@walc 29

21 dump Parámetros relevantes: ( eth -i : Especificar la interfaz (ej: -i -l : Pasar la salida por un búfer de lineas (vea mientras que estas capturando paquetes) -v, -vv, -vvv: Cada vez más información -n : No traducir direcciones IP a nombres (evita DNS) -nn : No traducir números de puerto -w : Escribir los paquetes a un archivo -r : Leer paquetes de un archive creado con '-w' nsrc@walc 29

22 dump 29

23 dump Ejemplos: Mostrar todo el tráfico HTTP originando en # dump -lnxvvv port 8 and src host # dump -lnxvvv port 8 and src host Mostrar todo el tráfico originando en excepto SSH # dump -lnxvvv src host and not port 22 # dump -lnxvvv src host and not port 22 nsrc@walc 29

24 wireshark Wireshark es un analizador con interfaz gráfica basado en libpcap, la misma biblioteca de captura de paquetes utilizada por dump La interfaz gráfica ofrece ciertas ventajas, por ejemplo: Visualización jerárquica por protocolo (drill-down) Mostrar una 'conversación' (Follow Stream) Colores para distinguir tipos de tráfico Múltiples estadísticas, gráficos, etc. 29

25 wireshark Wireshark vino después que Etheral La combinación de dump y wireshark pueden ser bastante poderoso. Por ejemplo: # dump -i eth1 -A -s15-2 dump.log port 21 $ sudo wireshark -r dump.log nsrc@walc 29

26 wireshark 29

27 iptraf Múltiples estadísticas que se puede medir y muchas funciones Por protocolo/puerto Por tamano de paquetes Genera logs Utiliza DNS para traducir direcciones Ventajas Simplicidad Basado en menús (utiliza curses ) Configuración flexible nsrc@walc 29

28 iptraf Es posible ejecutar periódicamente en background (-B) Permite, por ejemplo, ejecutar desde un cron job y analizar los logs periódicamente. Generar alarmas Guardar en una base de datos Tiene un nombre genial... Interactive Colorful IP LAN Monitor Example: iptraf -i eth1 nsrc@walc 29

29 ntop: Network Top Equivalente a top, pero para información de red Información por nodo, protocolo de red, protocolo IP, estadísticas, gráficos, etc. Interfaz web (servidor web integrado!) Con soporte SSL Dispone de varios plugins que extienden sus funcionalidades Archivos RRD Análisis de NetFlow nsrc@walc 29

30 ntop Puede ejecutarse en modo daemon con SSL: -d : daemon -W <puerto> : Escuchar en el puerto 35, modo SSL ntop ntop -d -d -W -W Para ver el interfaz de web ir al: nsrc@walc 29

31 ntop 29

32 ntop Incluye un parámetro que permite crear un archivo con información sobre paquetes sospechosos -q --create-suspicious-packets This parameter tells ntop to create a dump file of suspicious packets. There are many, many, things that cause a packet to be labeled as 'suspicious', including: Detected ICMP fragment Detected Land Attack against host Detected overlapping/tiny packet fragment Detected traffic on a diagnostic port Host performed ACK/FIN/NULL scan Host rejected session HTTP/FTP/SMTP/SSH detected at wrong port ( short Malformed /UDP/ICMP packet (packet too Packet # %u too long Received a ICMP protocol Unreachable from host Sent ICMP Administratively Prohibited packet to host Smurf packet detected for host connection with no data exchanged session reset without completing 3-way handshake Two MAC addresses found for the same IP address UDP data to a closed port ( 8/21/25/22 Unknown protocol (no HTTP/FTP/SMTP/SSH) detected (on port Unusual ICMP options nsrc@walc 29

33 ntop Luego de hacer una captura con -q, es posible analizar más detalladamente los paquetes sospechosos con ethereal: ethereal -r /usr/local/var/ntop/ntop-suspicious-pkts.deveth.pcap 29

34 nmap Network MAPper Bien complejo. La cantidad de parámetros es impresionante. Muy útil para ver que esta corriendo en un red o si servidores o servicios están disponibles. Ojo con el uso de nmap! Puede ver como un ataque al recipiente de un escaneo de nmap. Todo sobre nmap esta disponible aquí: nsrc@walc 29

35 nmap Ejemplos Veamos que servidores están corriendo en un red: # nmap -sp /24 Veamos que sistema operativos hay y que servicios están corriendo en un red: # nmap -st -O nsrc@walc 29

36 iperf Para medir el rendimiento de la red entre dos puntos iperf tiene dos modos, servidor y cliente Facíl de usar Excelente para determinar los parámetros optimales de Tamaño de ventana de por el rendimiento óptimo nsrc@walc 29

37 iperf Usando UDP uno puede generar reportajes de perdida de paquetes y/o jitter Puede correr varias sesiones usando threads Apoya IPv6 29

38 Parámetros de Iperf Usage: iperf [-s -c host] [options] Usage: iperf iperf [-h --help] [-s -c host] [-v --version] [options] iperf [-h --help] [-v --version] Client/Server: Client/Server: -f, --format [kmkm] format to report: Kbits, Mbits, KBytes, MBytes -i, -f,--interval --format # [kmkm] seconds format between to report: periodic Kbits, bandwidth Mbits, KBytes, reportsmbytes ( KB -l, -i,--len --interval #[KM] # length seconds of between buffer to periodic read or bandwidth write (default reports8 -m, -l,--print_mss ( KB ( 8header --len #[KM] print length of maximum buffer segment to read size or write (MTU (default - /IP -p, -m,--port --print_mss# server print port maximum to listen segment on/connect size (MTU to - /IP -u, -p,--udp --port # use server UDP rather port to than listen on/connect to ( size -w, -u,--window --udp #[KM] use window UDP rather size (socket than buffer -B, -w,--bind --window <host> #[KM] bind to window <host>, size an (socket interface buffer or multicast ( size address -C, -B,--compatibility --bind <host> for bind use to with <host>, older an versions interface does or not multicast sent extra address msgs -M, -C,--mss --compatibility # set for use maximum with older segment versions size (MTU does - not 4 sent ( bytes extra msgs -N, -M,--nodelay ( bytes --mss # set set no maximum delay, segment disabling size Nagle's (MTU - Algorithm 4 -V, -N,--IPv6Version --nodelay Set set the domain no delay, to IPv6 disabling Nagle's Algorithm -V, --IPv6Version Set the domain to IPv6 Server specific: Server -s, --server specific: run in server mode -U, -s,--single_udp --server run run in in single server threaded mode UDP mode -D, -U,--daemon --single_udp run run the in server single as threaded a daemon UDP mode -D, --daemon run the server as a daemon Client specific: Client -b, --bandwidth specific: #[KM] for UDP, bandwidth to send at in bits/sec -b, --bandwidth #[KM] (default for UDP, 1 bandwidth Mbit/sec, to implies send at ( u - in bits/sec -c, --client <host> run (default in client 1 Mbit/sec, mode, connecting implies ( u - to <host> -d, -c,--dualtest --client <host> Do run a bidirectional in client mode, test connecting simultaneously to <host> -n, -d,--num --dualtest #[KM] number Do a bidirectional of bytes to transmit test simultaneously ( t - (instead of -r, -n,--tradeoff ( t - --num #[KM] Do number a bidirectional of bytes to test transmit individually (instead of -t, -r,--time --tradeoff # time Do a in bidirectional seconds to transmit test individually ( secs for (default 1 ( secs -F, -t,--fileinput --time <name> # input time the in seconds data to to be transmitted for from (default a file 1 -I, -F,--stdin --fileinput <name> input input the the data data to to be be transmitted from from stdin a file -L, -I,--listenport --stdin # port input to the recieve data bidirectional to be transmitted tests from back stdin on -P, -L,--parallel --listenport # # number port to of recieve parallel bidirectional client threads tests to run back on -T, -P,--ttl --parallel # # time-to-live, number of parallel for multicast client threads (default ( to1 run ( 1 -T, --ttl # time-to-live, for multicast (default nsrc@walc 29

39 Ejemplo iperf - $ iperf -s $ iperf -s Server listening on port 51 Server listening on port 51 ( default ) window size: 85.3 KByte ( default ) window size: 85.3 KByte [ 4] local port 51 connected with [ 4] local port 51 connected with port 3961 port 3961 [ 4] sec 68 KBytes 419 Kbits/sec [ 4] sec 68 KBytes 419 Kbits/sec # iperf -c nsrc.org # iperf -c nsrc.org Client connecting to nsrc.org, port 51 Client connecting to nsrc.org, port 51 ( default ) window size: 16. KByte ( default ) window size: 16. KByte [ 3] local port 3961 connected with [ 3] local port 3961 connected with port 51 port 51 [ 3].-1.3 sec 68 KBytes 485 Kbits/sec [ 3].-1.3 sec 68 KBytes 485 Kbits/sec nsrc@walc 29

40 Ejemplo Iperf - UDP # iperf -c host1 -u -b1m # iperf -c host1 -u -b1m Client connecting to nsdb, UDP port 51 Client connecting to nsdb, UDP port 51 Sending 147 byte datagrams Sending 147 byte datagrams ( default ) UDP buffer size: 16 KByte ( default ) UDP buffer size: 16 KByte [ 3] local port 3966 connected with port 51 [ 3] local port 3966 connected with port 51 [ 3].-1. sec 114 MBytes 95.7 Mbits/sec [ 3].-1. sec 114 MBytes 95.7 Mbits/sec [ 3] Sent datagrams [ 3] Sent datagrams [ 3] Server Report: [ 3] Server Report: (.12% ) 3].-1. sec 114 MBytes 95.7 Mbits/sec.184 ms 1/81378 [ (.12% ) 3].-1. sec 114 MBytes 95.7 Mbits/sec.184 ms 1/81378 [ $ iperf -s -u -i 1 $ iperf -s -u -i Server listening on UDP port 51 Server listening on UDP port 51 Receiving 147 byte datagrams Receiving 147 byte datagrams ( default ) UDP buffer size: 18 KByte ( default ) UDP buffer size: 18 KByte [ 3] local port 51 connected with port 3966 [ 3] local port 51 connected with port 3966 ( % ) 3].- 1. sec 11.4 MBytes 95.4 Mbits/sec.184 ms / 8112 [ ( % ) 3].- 1. sec 11.4 MBytes 95.4 Mbits/sec.184 ms / 8112 [ ( % ) 3] sec 11.4 MBytes 95.7 Mbits/sec.177 ms / 8141 [ ( % ) 3] sec 11.4 MBytes 95.7 Mbits/sec.177 ms / 8141 [ ( % ) 3] sec 11.4 MBytes 95.6 Mbits/sec.182 ms / 8133 [ ( % ) 3] sec 11.4 MBytes 95.6 Mbits/sec.182 ms / 8133 [ ( % ) 3] sec 11.4 MBytes 95.7 Mbits/sec.177 ms / 8139 [ ( % ) 3] sec 11.4 MBytes 95.7 Mbits/sec.177 ms / 8139 [ ( % ) 3] sec 11.4 MBytes 95.7 Mbits/sec.18 ms / 8137 [ ( % ) 3] sec 11.4 MBytes 95.7 Mbits/sec.18 ms / 8137 [ (.12% ) 3].-1. sec 114 MBytes 95.7 Mbits/sec.184 ms 1/81378 [ (.12% ) 3].-1. sec 114 MBytes 95.7 Mbits/sec.184 ms 1/81378 [ nsrc@walc 29

41 Bibliografía Monitoring Virtual Memory with vmstat Ejemplo Básico de dump (Español) 29