Programming high performance network security tools

Transcripción

1 Programming high performance network security tools Using non-blocking I/O (node.js) Jaime Peñalba

2 Que es node.js? node.js es un conjunto de bindings para la VM de javascript v8 (google chrome). Permite crear programas que realizan operaciones de I/O utilizando javascript. Esta orientado al alto rendimiento

3 Que es node.js? node.js no es un lenguaje de programación, el lenguaje es Javascript. node.js es a la vez un API y el runtime/interprete

4 Ryan Dahl Creador de Node.JS

5 Un ejemplo rápido 2000 requests 1000 clientes concurrentes 1 megabyte de respuesta nginx 3000 req/sec node 2800 req/sec apache 100 req/sec

6 Un ejemplo rápido: El código 1 var http = require('http'); 2 var fs = require('fs'); 3 4 var data = fs.readfilesync('file.rand'); 5 6 http.createserver(function (req, res) { 7 res.writehead(200); 8 res.end(data); 9 }).listen(8282);

7 Un ejemplo rápido: Consideraciones No todo es lo que parece... nginx con opciones de cache desactivadas nginx ha consumido ~4mb de ram node ha consumido ~60mb de ram

8 I/O en la actualidad Es normal encontrar código como este 1 result = query('select * from T'); 2 //use result Qué está haciendo el programa mientras espera la respuesta de la base de datos?

9 I/O en la actualidad Es normal encontrar código como este 1 result = query('select * from T'); 2 //use result Normalmente ESPERAR

10 Latencia: Ordenadores actuales Cache L1: 3 ciclos Cache L2: 14 ciclos RAM: 250 ciclos Disco: ciclos Red: ciclos

11 Latencia: Ordenadores actuales Cache L1: 3 ciclos Cache L2: 14 ciclos RAM: 250 ciclos No Blocante Disco: ciclos Red: ciclos Blocante

12 I/O en la actualidad El mejor software es el software multi tarea. Otros hilos pueden seguir ejecutándose mientras se espera a que otras tareas terminen.

13 I/O en la actualidad De verdad esperar y usar hilos es la mejor solución? Veamos el caso de Apache y NGINX

14 Apache vs NGINX reqs/sec

15 Apache vs NGINX memory 1

16 Apache vs NGINX diferencias Apache utiliza un hilo por conexión NGINX no utiliza hilos. Utiliza un event loop

17 I/O en la actualidad Cambiar de contexto no es gratis para el procesador El stack de cada hilo consume memoria Para concurrencia masiva, utilizar un hilo de sistema por cada conexión no es una buena opción. El modelo de concurrencia por hilos esta obsoleto.

18 I/O en la actualidad: Ejemplo Código como este 1 result = query('select * from T'); 2 //use result Bloquea el proceso o implica el uso de hilos y por lo tanto varios stacks de ejecución

19 I/O en la actualidad: Ejemplo Async 1 query('select ', function (res) { 2 //use result 3 }); De esta forma se permite continuar con la ejecución del programa de forma inmediata y solo se llamara al código encargado de manejar el resultado cuando este este listo. No hacen falta ni ningún otro tipo de trucos.

20 Lo que nos han enseñado 1 puts("enter your name: "); 2 var name = gets(); 3 puts("name: " + name); Nos han enseñado a pedir datos y a no hacer nada hasta que obtenemos el resultado.

21 Lo que nos han enseñado 1 puts("enter yout name: "); 2 gets(function (name)) { 3 puts("name: " + name); 4 }); 4 // Hacer otras cosas Algo así nos parece demasiado complicado.

22 Como funciona node: Arquitectura (old) Node.js Core Library (JavaScript) Node.js Bindings (C++) V8 (C++) Thread Pool (libeio) (C) Event loop (libev) (C)

23 Como funciona node: Arquitectura Node.js Core Library (JavaScript) Node.js Bindings (C++) Google V8 (C++) Libuv (C)

24 Libuv: Unicorn Velociraptor Librería enfocada a async I/O Desarrollada para node.js pero usada también en Rust, Luvit, Julia, pyuv y otros. Event loop utilizando epoll, kqueue, IOCP y event ports Soporte de sockets tcp/udp Operaciones de manejo de ficheros asíncronas Thread pool

25 Como funciona node: Event Loop

26 Como funciona node: Event Loop Cola de Eventos Evento 1 Event Loop Evento 2 Evento 3... Callback Código JavaScript Async call Código Async del OS epoll, kqueue, threads, timers, I/O completion ports, etc...

27 Como funciona node: Diseño Todo se presenta como un Stream para evitar almacenar datos Las funciones no deben de realizar I/O de forma directa, siempre debe de usarse un callback. La capa de JavaScript utiliza un solo hilo La capa de C/C++ es multihilo

28 Por qué no usa todo el mundo event loops? Los event loops mono hilo necesitan que todas las operaciones de I/O sean no blocantes. Si una operación es blocante, se bloquea el event loop. La mayoría de las librerías actuales son blocantes.

29 Identificar operaciones que realizan I/O NO hay I/O 1 b = a(); SI hay I/O 1 a(function (b) { 2 // handle result 3 });

30 Módulos: Core Modules Assertion Buffer Child Processes Cluster Console Crypto Debugger DNS Path Process Punycode Query Strings Readline REPL Stream String Decoder DNS Domain Events File System HTTP HTTPS Modules Net OS Timers TLS/SSL TTY UDP/Datagram URL Utilities VM ZLIB

31 NPM

32 NPM: Node Package Manager Gestor de paquetes por defecto Incluido con node desde la versión Permite instalar programas o módulos disponibles Permite publica módulos

33 NPM: Inicializacion

34 NPM: package.json 1 { 2 "name": "taller", 3 "version": "0.0.1", 4 "description": "Programa de prueba", 5 "main": "index.js", 6 "scripts": { 7 "test": "echo \"Error: no test specified\" && exit 1" 8 }, 9 "author": "Jaime Peñalba", 10 "license": "GPLv3" 11 }

35 NPM: Instalar modulos npm install express npm install express -g npm install express --save

36 NPM: Instalar modulos

37 NPM: Instalar modulos 1 { 2 "name": "taller",... 6 "scripts": { 7 "test": "echo \"Error: no test \" && exit 1" 8 }, 9 "author": "Jaime Peñalba", 10 "license": "GPLv3", 11 "dependencies": { 12 "express": "^4.9.5" 13 } 14 }

38 NPM: Instalar dependencias $ npm install

39 NPM: Node Package Manager Muchas más funcionalidades Actualizar módulos Listar, eliminar módulos Scripts de post instalación Arrancar/parar programa

40 Basics

41 Funciones en javascript 1 function foo(a) { 2 console.log("hola"); 3 } 4 settimeout(foo, 2000); Función Función anónima 7 settimeout(function (a) { 8 console.log("hola"); 9 });

42 Funciones en javascript: como argumento 1 function foo(a) { 2 console.log("hola"); 3 } 4 settimeout(foo, 2000); 7 settimeout(function (a) { 8 console.log("hola"); 9 });

43 Funciones en javascript: como argumento Estamos pasando la función como argumento settimeout(foo, 2000); Estamos pasando el resultado de la ejecución de la función como argumento settimeout(foo(), 2000);

44 Callbacks Un callback es una función que se pasa como argumento de otra función y que se ejecuta en un momento determinado. No es un tipo de dato ni una propiedad especifica del lenguaje, sino una técnica de programación. Se puede realizar en otros lenguajes como en C.

45 Callbacks: Ejemplos 1 var http = require('http'); 2 3 http.get(' function (response) { 4 console.log("la respuesta es: " + 5 response.statuscode); 6 });

46 Callbacks: Ejemplos 1 var http = require('http'); 2 3 function handleresponse(response) { 4 console.log("la respuesta es: " + 5 response.statuscode); 6 } 7 8 http.get(' handleresponse);

47 Callbacks: Ejemplos 1 var child = require('child_process');; 2 3 child.exec('ls -al /', function (err, stdout) { 4 console.log(stdout); 5 }); 6 7 console.log("hello");

48 Módulos: Importar var http = require( http ); var http = require(./mymodule );

49 Módulos: Crear 1 function foo(a) { 2 console.log("arg is " + a); 3 } 4 5 exports.foo = foo; 1 var test = require('./module'); 2 test.foo();

50 API Básico

51 Módulo: http http.request(options, [callback]) http.get(options, [callback]) http.createserver([requestlistener])

52 Módulo: http (options) var options = { hostname: ' port: 80, path: '/upload', method: 'POST', headers: { 'User-Agent': 'morzilla', 'Cookie': 'USERID: algo' } };

53 Módulo: http (events) on('data', function () {}) Hay nuevos datos disponibles para leer en la respuesta del servidor o en el request del cliente (dependiendo de si somos cliente o servidor) on('end', function () {}) Se ha terminado el request del cliente o la respuesta del servidor on('error', function () {}) Ha ocurrido un error

54 Módulo: net net.createconnection(port, [host], [connectlistener]) net.connect(path, [connectlistener]) net.connect(options, [connectionlistener]) net.createconnection(path, [connectlistener])

55 Módulo: net (options) For TCP sockets: port: Port the client should connect to (Required). host: Host the client should connect to. localaddress: Local interface to bind to for connections. For UNIX domain sockets: path: Path the client should connect to (Required).

56 Módulo: net (events) on('data', function () {}) Hay datos nuevos disponibles para leer on('close', function () {}) Se ha terminado la conexion on('connection', function () {}) Se ha conectado un nuevo cliente o se ha conectado con el servidor on('error', function () {}) Ha ocurrido un error

57 Prácticas

58 Prácticas: Chat 1 var net = require('net'); 2 3 var sockets = []; 4 5 var s = net.server(function(socket) { 6 sockets.push(socket); 7 socket.write("welcome to the chat\n"); 8 9 socket.on('data', function(d) { 10 for (var i = 0; i < sockets.length; i++) { 11 if (sockets[i]!== socket) 12 sockets[i].write(d); 13 }; 14 }); socket.on('close', function() { 17 var i = sockets.indexof(socket); 18 sockets.splice(i, 1); 19 }); }); s.listen(6667);

59 Prácticas: Escaner de puertos 1 var net = require('net'); 2 3 var host = process.argv[2]; 4 5 function checkport(port) { 6 var socket = net.connect(port, host); 7 8 socket.on('connect', function(){ 9 console.log(port + "/tcp is Open"); 10 socket.end(); 11 }); socket.on('error', function(err){ 14 socket.destroy(); 15 }); 16 } for (var i = 0; i < 1000; i++) 19 checkport(i);

60 Prácticas: Bruteforce web 1 var http = require('http'); 2 var fs = require('fs'); 3 4 var file = fs.readfilesync(process.argv[3]).tostring(); 5 var folders = file.split('\n'); 6 7 http.globalagent.maxsockets = 300; 8 9 folders.foreach(function (folder) { 10 http.get(process.argv[2] + folder, function (res) { 11 if (res.statuscode!== 404) { 12 console.log("/" + folder + ": " + res.statuscode); 13 } 14 res.socket.end(); 15 }); 16 });

61 Prácticas: Server web 1 var http = require('http'); 2 var fs = require('fs'); http.createserver(function (req, res) { 6 res.writehead(200, {'Content-Type': 'text/html'}); 7 res.end("mi color favorito es el jamon"); 8 }).listen(8282);

62 Prácticas: r2pipe 1 var r2pipe = require('./lib/r2pipe'); r2pipe.pipe('/bin/ls', function (r2) { 5 r2.cmd('pdj entry0', function (res) { 6 var results = JSON.parse(res); 7 8 for (var i = 0; i < results.length; i++) { 9 var addr = results[i].offset.tostring(16); 10 console.log("0x" + addr + ": " + results[i].opcode); 11 }; 12 r2.quit(); 13 }); 14 });

63 Misc

64 Modulos utiles SoupSelect htmlparser Async Express r2pipe

65 Algunas ideas de herramientas Bruteforce logins, dirs o fuzzer Generador de informes Parser de herramientas automáticas Mass scanner Buscador de virtual hosts Helpers de explotación utilizando radare Downloaders de reddit, 4chan, etc... Registros automaticos Simuladores de clicks / visores de publicidad

66 Recursos interesantes Ryan Dahl: Cinco de node Ryan Dahl: Intruction to node.js