MASTER CLASS. Curso de Administración MongoDB. Juan Manuel Parrilla. Consultor de Amaris en Telefónica I+D. Release Engineer

Transcripción

1 MASTER CLASS Curso de Administración MongoDB Juan Manuel Parrilla Consultor de Amaris en Telefónica I+D Release Engineer * FUENTE DE DOCUMENTACIÓN :

2 2 ÍNDICE Elementos básicos de un Clúster Tipos de Clúster Que es un Shard Replica Set + Sharding File Based configuration + Examples Montaje y configuración del Clúster Comandos para administración y estado Preguntas

3 ELEMENTOS DE UN CLÚSTER 3

4 ELEMENTOS DE UN CLÚSTER 4 Para el montaje de un Clúster hay que basar la configuración en estructuras de 3 servidores. Para poder configurar los demonios de configuración, es necesario levantar 3, exactamente igual para los demonios de bases de datos. Los árbitros son considerados demonios de bases de datos, pero con el Oplog a 0, para que no pesen En cambio los enrutadores solo puede haber 1 en cada servidor de aplicación

5 TIPOS DE CLÚSTER 5 Existen varios tipos de Clúster: Master-Slave Replica Set Replica Set + Shards El Master-Slave se basa en 1 demonio por servidor, ese demonio es o Maestro o esclavo, es muy simple Vamos centrarnos en el Replica Set y RS + Shards que es el mas complicado de configurar.

6 SHARDS 6 Un shard es un trozo de tu base de datos, extraído de la misma con ciertos patrones de configuración. Lo normal es que esto sea automático, pero si quieres hacer que el sharding tenga una distribución concreta tienes que configurar un Shard Key Es importante matizar que tanto un Shard, como un arbitro, como un configurador tienen por ejecutable el demonio MONGOD En cambio los enrutadores tiene con ejecutable el demonio MONGOS

7 REPLICA SET 7 Es el modo de replicación que usa el servidor, un replica set contiene un espejo de el servidor/es configurado como tal. Por si solo es un método un poco peculiar de almacenar los datos, ya que todo esta en todos los servidores Puedes meter en un RS tantos servidores como quieras (E.G)

8 RS + SHARDING 8 Al juntar estos 2 modos de configuración la cosa se complica, requisitos: Debe haber tantos RS como Shards haya en el clúster Debe haber mínimo 3 demonios de DB por replica set Con haber 3 demonios de configuración en general valdría 1 demonio enrutador por servidor de aplicación Mínimo 1 arbitro por replica set Esta es la configuración recomendada para un producto en producción

9 RS + SHARDING 9

10 10 RS + SHARDING Este es un esquema típico de producción: 2 servidores de aplicación con un clúster de 4 servidores de MongoDB Lo he configurado de tal manera que haya 2/3 demonios por servidor Portalmdb1 1 demonio de DB + 1 Arbitro Portalmdb2 1 demonio de DB + 1 Config server Portalmdb3 1 demonio de DB + 1 Config server + 1 Arbitro Portalmdb4 1 demonio de DB + 1 Config server Portalweb1-2 1 demonio enrutador por servidor de aplicación

11 RS + SHARDING 11 Tras Levantar los demonios Arbiter y Shard, nos conectamos a un nodo de cada shard para configurar el replica set: $ mongo :10000/admin > rs.initiate({"_id" : "agny", "members" : [... {"_id" : 0, "host" : " :10000"},... {"_id" : 1, "host" : " :10000"},... {"_id" : 2, "host" : " :11000", arbiteronly : true}]}) { "info" : "Config now saved locally. Should come online in about a minute.", "ok" : 1 } Después de esto ya tenemos 1 replica set configurado, vamos con las shards.

12 RS + SHARDING 12 Tras configurar el RS, tenemos que levantar los demonios restantes, configurador y enrutador. Tras hacerlo nos conectamos al enrutador, a la DB Admin: $ mongo :30000/admin > db.runcommand({addshard : "agny/ :10000, :10000"}) { "shardadded" : "agny", "ok" : 1 } > db.runcommand({addshard : "rudra/ :10000, :10000"}) { "shardadded" : "rudra", "ok" : 1 } Ya sólo queda activar el sharding en la base de datos, o sino en alguna colección en concreto que sepamos que va a ser la mas concurrida y consultada

13 RS + SHARDING 13 Te conectas a la base de datos (siempre a través del Mongos): mongo :30000 use globserv #creas el índice mongos> db.user.ensureindex({"username" : 1}) use admin #levantas el sharding en globserv mongos> db.runcommand( { enablesharding : "globserv" } );

14 14 FILE BASED CONFIGURATION Para levantar los demonios de base de datos, lo habitual es poner los parámetros en el comando: mongod --dbpath /var/lib/mongo/rudra --port replset rudra --oplogsize 1 Arbitro mongod --dbpath /var/lib/mongo/agny --port replset agny Shard mongod --dbpath /var/lib/mongo/config --port Demonio de configuración mongos --configdb :20000, :20000, : port Enrutador Esta no es la manera mas eficaz de levantar demonios, ya que el comando es muy grande y puedes olvidar u omitir una parte importante Para mejorar esto vamos a usar archivos de configuración, lo cual lo hace mucho mas sencillo, ya que se levantará así: mongod -f /path/to/conf_file ó mongos -f /path/to/conf_file

15 EJEMPLOS DE ARCHIVOS DE CONFIGURACIÓN 15 Archivo rudra_arbiter.conf Arbitro dbpath = /var/lib/mongo/rudra logpath = /var/log/mongo/rudra.log logappend = true bind_ip = port = fork = true nohttpinterface = true shardsvr = true replset = rudra Archivo agny_shard.conf Demonio de Shard dbpath = /var/lib/mongo/agny logpath = /var/log/mongo/agny.log logappend = true bind_ip = port = fork = true nohttpinterface = true shardsvr = true replset = agny oplogsize = 1

16 EJEMPLOS DE ARCHIVOS DE CONFIGURACIÓN 16 Archivo config_server.conf Demonio de Configuración dbpath = /var/lib/mongo/config logpath = /var/log/mongo/config.log logappend = true bind_ip = port = Archivo mongos_server.conf Demonio de enrutamiento logpath = /var/log/mongo/mongos.log logappend = true port = fork = true configdb = :20000, :20000, :20000 configsvr = true fork = true nohttpinterface = true IMPORTANTE: El orden para levantar los demonios es el siguiente: Shard>Arbitros>Configurador>Enrutador

17 17 CONFIGURANDO UN CLÚSTER... Configurar un clúster es relativamente sencillo si se hace en la propia maquina, no debería llevar mas de 5 minutos. Vamos a usar la siguiente configuración: 1 enrutador 1 configurador 1 arbitro 2 Shards de base de datos Podemos usar ficheros o en su defecto levantar los servicios con los demonios únicamente

18 18 CONFIGURANDO UN CLÚSTER... Debemos tener en cuenta que la ip siempre será localhost, lo único que va a variar es el puerto al que te conectas. Los pasos son los siguientes: Levantamos los demonios Shards y Árbitros Nos conectamos a la base de datos Configuramos el RS Levantamos los demonios Configuradores y enrutadores Nos conectamos al enrutador Configuramos el Sharding y después shardeamos una DB

19 19 COMANDOS DE ADMINISTRACIÓN Ahora solo faltan los comandos para ver el estado del sharding, el estado del replica set y demás, en principio a no ser que lo estéis configurando o haya algún problema, generalmente no necesitareis dicha información pero aun no habiendo lentitud en la DB no esta demás echarle un ojo Depende que necesites consultar, será necesario que te conectes a un demonio u a otro: Si necesitas información del estado del replica set, es necesario conectarse a lo Shard de DB Si necesitas consultar el estado del sharding, te debes conectar al enrutador

20 COMANDOS PARA REPLICA SET 20 rs.status(): Status del Replica Set rs.conf(): Muestra la configuración del replica set rs.reconfig(): reconfigura el RS rs.ismaster(): Muestra si el servidor al que te conectas es el primario o el secundario rs.stepdown(): Obliga a un nodo primario a ser secundario rs.freeze(): configura un tiempo de "congelación" antes de que el secundario se haga primario Existen mas aquí

21 21 COMANDOS PARA SHARDING db.printshardingstatus(): Muestra la información del Sharding actual sh.splitat(): parte en 2 un chunk donde tu le indiques sh.splitat( "records.people", { "zipcode": } sh.splitfind(): Busca los splits dentro de tu DB No recomiendo realizar acciones de Split sin haberlas consultado antes con la gente de BE, ya que puede incrementar los tiempos de búsqueda Los chunks por defecto ocupan 64 Mb, se puede modificar su tamaño pero 10Gen no suele recomendarlo

22 COMANDOS EN GENERAL 22 Mongotop y Mongostat: Ambos dan información sobre el estado de la base de datos, (mongotop no esta en todas las versiones) db.stats(): Datos sobre el estado de una DB dentro de MongoDB sh.getbalancerstate().pretty(): Muestra el estado del balanceador interno de MongoDB Mucha mas información aquí

23 Preguntas? 23

24 Muchas Gracias por vuestra atención 24