La infatigable lucha contra el SPAM

Transcripción

1 La infatigable lucha contra el SPAM Alberto Escudero Pascual 1

2 Cita del día All programmers are optimists Frederick P. Brooks, Jr. 2

3 La infatigable lucha contra el correo basura Objetivo Eliminar sin interacción humana todos los virus y correos (claramente) indeseados Minimizar los recursos para maximizar el rendimiento Mantener nuestro sistema siempre actualizado Reto: Tener políticas de seguridad claras 3

4 Lucha contra el Spam, Flujo Source: 4

5 Aspectos éticos correo electrónico El grupo de administración debe: Ofrecer recomendaciones Controlar los abusos Colaborar con la organizaciones que intentan parar el correo no deseado Recomendar el uso del formato TXT, no HTML o attachments de mucho peso 5

6 Aspectos éticos correo electrónico El grupo de administración NO debe: Publicar información de caracter personal Dar acceso a información sensible SIN orden judicial Almacenar correos/backups por periodos más largos de los necesarios. El rol del grupo de seguridad Prevenir Monitorizar, no Vigilar Actuar 6

7 Por qué es importante controlar el SPAM? Reduce el tráfico internacional Refuerza la imagen organizativa Suprimir los correos de caracter gratuito de nuestros usuarios Reducir el uso del webmail (se puede enviar desde fuera) Dar soporte a la movilidad de los usuarios Es muy fácil controlar el correo no solicitado limitando el rango IP, pero no es la solución que da el mejor servicio 7

8 Aspectos éticos en lucha contra el SPAM Pero qué es SPAM? Se debe marcar el correo como [SPAM]? Reto: Política clara Gestión administrativa consistente Educar a los usuarios 8

9 Evolución del correo basura Mailbombing, Denial of Service Gusanos, Hoaxes, Virus Viagra, Pornografía, Software Scams, Phishing Online Banking, ebay, paypal 9

10 Evolución del correo basura (técnicas) Compresión de archivos y archivos cifrados Inclusión de correo HTML con Javascript Inclusión de adjuntos con extensiones ejecutables Subscripciones indeseadas Inclusión de imagenes y textos aleatorios 10

11 Evolución del correo basura (técnicas de lucha) (1) Bloquear archivos ejecutables (.exe,.bat,.etc) Descomprimir y revisar (.zip,.gz) Bloquear correo HTML (medida poco popular) Utilizar técnicas con OCR (mucho peso) Utilizar técnicas Bayesianas (mucho peso) Educar a los usuarios! 11

12 El protocolo infame SMTP (Ethereal) 12

13 SMTP y la carga de gestión del SPAM Recordatorio: Simple Mail Transport Protocol (SMTP) Protocolo de transferencia/transporte de correo Cada dominio o subdominio define que máquinas son los agentes de recepción de correo para un dominio a través de un registro MX en el DNS Tipos de interacción/carga poca: durante la transferencia (antes del BODY) mayor: despues de la transferencia (durante la gestión) 13

14 Dónde podemos parar el correo? 14

15 Problemas en SMTP No esta diseñado para autentificar La variante segura implica el soporte en los clientes SMTP (originalmente) asumía un nivel de control de acceso basado en IP SMTP no fue diseñado contra el SPAM Aplicación de transporte sobre TCP o AX.25 Historia: Versión avanzada de UUCP 15

16 Evolución del correo basura (técnicas de lucha) (2) Verificar que existe el (From:) y destino (To:) (cabeceras) Verificar que la IP de origen tiene el derecho a enviar con ese dominio (From:) Verificar que la IP de origen no esta en una lista negra Verificar los contenidos del cuerpo del mensaje (MIME, Body) 16

17 Herramientas de lucha Conceptos básicos Generalmente son modulos independientes al agente de correo Incluyen mecanismos de integración con los MTA más famosos (en esta presentación hablaremos de integración con postfix) Actuan sobre las distintas fases de la gestión de un correo transporte: durante la recepción y procesamiento entrega: procmail 17

18 Herramientas de lucha Conceptos básicos Arquitectura general Función que se habilita en el MTA (e.g. headers, sender access lists) Programa Servidor (demonio) + Plug in en el agente de correo (cliente) Un buen modelo intenta paralelizar y no crear cuellos de botellas en el procesamiento 18

19 Herramientas de lucha (Índice de contenidos) POP before SMTP Headers ( ) y Body y Mime Checks (+) Spam Policy Framework (SPF) Listas negras: Spamcop, Spamhaus Listas blancas Listas grises: Postgrey Scaneo a nivel de aplicación, mailscanner, spamassasin Clamav (virus) 19

20 El primer problema cerrar un open relay Limitar el acceso por IP Qué pasa con los NAT? Cómo monitorizar? Qué pasa con la movilidad de los usuarios? Integrar autentificación (SMTPS) Problemas con los clientes Integrar un POP before SMTP Solución elegante excepto con el peor agente/cliente del mundo (Outlook) 20

21 POP before SMTP (1) Definición: Revisar los logs del servidor POP3, alacenando IP en formato hash, abrir relay Autentificación: Basada en secreto conocido Donde: Integración: init.d script, fichero perl y configuración, configuración en postfix. 21

22 POP before SMTP (2) Elementos del software README (instrucciones básicas sobre la instalación y notas de última hora) pop before smtp (el programa) pop before smtp conf.pl (el fichero de configuración) pop before smtp.init (el script de arranque parada) contrib/init debian (otro script de arranque parada adaptado a Debian) contrib/readme.quickstart (instrucciones rápidas sobre la instalación) 22

23 POP before SMTP (3) Instalación del script # cp pop before smtp /usr/sbin/ # cp pop before smtp conf.pl /etc/popbefore smtp/ # cp contrib/init debian /etc/init.d/pop before smtp.init # chmod 755 /etc/init.d/pop beforesmtp.init # chmod 755 /usr/sbin/pop before smtp 23

24 POP before SMTP (4) init.d del script # update rc.d f pop before smtp.init remove Y ahora creamos los enlaces para que arranque al final del proceso de arranque del sistema # update rc.d pop before smtp.init defaults 99 24

25 POP before SMTP (5) Configurar el script $logto = '/var/log/pop before smtp.log'; $dbfile = '/etc/postfix/pop before smtp'; $grace = 60*60; $file_tail{'name'} = '/var/log/syslog'; $pat = '^( :..:..) \S+ (?:in\.)?qpopper\s*\?\d+\: \(?^)*\) '. 'POP login by user "?^"+" at \(?^)+\) (\d+\.\d+\.\d+\.\d+)'; 25

26 POP before SMTP (6) Configurar el postfix smtpd_recipient_restrictions = permit_mynetworks, check_client_access hash:/etc/postfix/popbefore smtp, reject_rbl_client relays.ordb.org, reject_unauth_destination Truco: pop before smtp config=/etc/pop before smtpconf.pl debug nowrite reprocess 26

27 POP before SMTP (7) Rotar los logs /var/log/pop before smtp.log { daily rotate 7 compress postrotate /etc/init.d/pop before smtp.init reload endscript } 27

28 Header Checks (1) Definición: Filtrar ciertas cabeceras Donde: Parte de Postfix Integración: Fichero con expresiones regulares para: sender, mime, body etc. 28

29 Header Checks (2) #spam 25/09/2003 REJECT no admitimos spam #spam de ISP 11/12/2003 REJECT REJECT your mail has been rejected by our anti spam policy # Gusano W32.Bagle [20/ENE/04] #/^Subject: Hi$/ REJECT virus W32.Bagle #Virus MyDoom 29/01/2004, supuestanente se desactiva el 12 de febrero ##/^Subject: hello$/ REJECT virus MyDoom 29

30 Header Checks (3) REJECT /^Subject:.*(viagra v\.i\.a\.g\.r\.a v\ i\ a\ g\ r\ a).*/ REJECT mensaje al que envia (optativo) Es necesario aprender expresiones regulares 30

31 Header Checks (4) header body mime header_checks = regexp:/etc/postfix/header_checks #ATENCIÓN A LA CARGA!! #body_checks = regexp:/etc/postfix/body_checks #Para bajar la carga de la máquina #body_checks_size_limit = 2048 mime_header_checks = regexp:/etc/postfix/mime_header_checks 31

32 SPF (1) Definición: Spam Policy Framework. Evita que ciertos dominios se envien desde otros SMTP, dominio.org solo se pueden enviar desde las redes X, Y, Z Donde: policyd spf perl/tags/ Integración: Configuración en postfix y DNS (opcional) 32

33 SPF (2) Dos modos de utilizarlo Consultar SPF Vemos si las IP que nos envian estan asociados a los dominios correpondientes Anunciar SPF Anunciamos a otros servidores que IP pueden enviar nuestro dominio. Qué inconvenientes tiene anunciar un spf? 33

34 SPF (3) Consultar SPF Crear un servicio (master.cf) Llamar al servicio spf (cliente) desde smtpd (main.cf) Arquitectura cliente servidor dentro de postfix 34

35 SPF (3) Consultar SPF policy unix n n spawn user=nobody argv=/usr/bin/perl /usr/libexec/postfix/smtpd policy.pl smtpd_recipient_restrictions =... reject_unknown_sender_domain reject_unauth_destination check_policy_service unix:private/policy #... # # NOTE: specify check_policy_service AFTER reject_unauth_destination # or else your system can become an open relay. # 35

36 SPF (5) Los logs del SPF El log esta en el de postfix (syslog o mail.log) Si pone 'SPF pass' es que el dominio tiene políticas declaradas para SPF y el mensaje las cumple y por lo tanto entra. Si pone 'SPF fail' es que el dominio tiene políticas de SPF declaradas y el mensaje no las cumple y se rechaza. Si pone 'SPF none' es que el dominio no tiene políticas definidas de SPF, luego el mensaje entra. 36

37 SPF (5) Los logs del SPF Si pone 'SPF softfail' es que el dominio tiene políticas SPF declaradas, el mensaje no las cumple, pero no se rechaza porque en las políticas SPF del dominio se especifica que no hay que rechazar los que fallen, es una forma de usar SPF en pruebas. Si pone 'SPF unknown' o 'SPF error significa que postfix no puedo averiguar la política spf del dominio (por un fallo de DNS por ejemplo). El 'SPF neutral' es una manera de declarar nada. 37

38 SPF (6) Declarar un registro SPF midominio.com. IN TXT "v=spf1 mx ptr ~all" Asistente: Discusión: Ventajas e Inconvenientes de SPF? 38

39 Spamcop & Spamhaus Definición: Un sistema donde poder (1) informar sobre SPAM (2) ser informado sobre fuentes de spam Donde: Integración: Configuración de postfix 39

40 Spamhaus (1) Basado en un distribución via DNS La base de datos SBL database se actualiza 24/7 en uno de los 32 SBL zone mirrors en Australia, Bélgica, Canada, Dinamarca, Alemania, Grecia, Italia, Japón, Holanda, Sudafrica, Suecia, Reino Unido y USA. Discusión: Mirror en Latinoamerica? 40

41 Spamhaus (2) Zone to Query Return Code Contains verified spam services and ROKSO spammers sbl.spamhaus.org Direct UBE sources, xbl.spamhaus.org Illegal 3rd party exploits, including proxies, worms and trojan exploits SBL+XBL sbl-xbl.spamhaus.org Combined zone to reduce queries. Includes both SBL and XBL zones 41

42 Spamcop (1) Basado en un distribución via DNS Reputación como parte del mecanismo Inconveniente: Se envian todas las IPs a sus servidores A más mensajes sin quejas, mejor 42

43 Configuración de BL smtpd_recipient_restrictions = permit_mynetworks, check_client_access hash:/etc/postfix/popbefore smtp, reject_non_fqdn_recipient, reject_non_fqdn_sender, reject_unauth_destination, (...) check_policy_service unix:private/policy, reject_rbl_client bl.spamcop.net, reject_rbl_client sbl xbl.spamhaus.org 43

44 Postgrey (1) Definición: Genera una lista gris Donde: Integración: Programa cliente corriendo en un puerto (60000), configurar postfix main.cf 44

45 Postgrey (2) Se genera un mensaje de error (450) El triplete IP origen, destinatario y origen From:/To: se guardan en una base de datos El mismo mesaje se acepta pasados 5 minutos El RFC describe que en caso de recibir un mensaje de error se debe reintentar. Los motoros de spammers no lo suelen hacer. 45

46 Postgrey (3) Instalar el paquete postgrey en main.cf smtpd_recipient_restrictions = [...] reject_unauth_destination, check_policy_service inet: :60000, [...] 46

47 Unas palabras sobre Mailscanner y Spamassasin Rastrean el cuerpo de los mensajes Muchos recursos para un servidor grande Retrasan el procesamiento total Puntuan el cuerpo del mensaje Bayesiano Presentan problemas éticos técnicos No los incluimos en esta presentación 47

48 Clamav (1) Definición: Antivirus Donde: Integración: Se llama el proceso de entrega (procmail). Tiene dos demonios, el servidor clamd y el que se baja las actualizaciones libres de virus (freshclam) 48

49 Clamav (2) Paquetes Debian ii clamav Antivirus scanner for Unix ii clamav-base Base package for clamav, ii clamav-daemon Powerful Antivirus scanner daemon ii clamav-freshclam Downloads clamav virus DB from Inet ii libclamav Virus scanner library 49

50 Clamav (3) Configurar clamd #Automatically Generated by clamav daemon postinst #To reconfigure clamd run #dpkg reconfigure clamav daemon LocalSocket /var/run/clamav/clamd.ctl FixStaleSocket User clamav AllowSupplementaryGroups (...) SelfCheck 3600 ScanOLE2 ScanPE DetectBrokenExecutables ScanHTML ArchiveBlockMax #AGREGAR ArchiveBlockEncrypted 50

51 Clamav (4) Activar clamav por procmail SHELL=/bin/sh LOGFILE=/tmp/log procmail VERBOSE=off AV_REPORT=`clamdscan stdout disablesummary awk '$3=="FOUND"{print "Yes "$2}$3!="FOUND"{print "No"}'` :0fw formail i "X Virus: $AV_REPORT" :0 * ^X Virus: Yes.* /tmp/trash 51

52 Agradecimientos El proveedor Nodo50 y S. Botana por documentar el proceso Spamhaus por las ilustraciones del flujo de SPAM 52