INSTALACIÓN SEMANTICWEBBUILDER DIMENSION DATA ESPECIALES

Transcripción

1 INSTALACIÓN SEMANTICWEBBUILDER DIMENSION DATA ESPECIALES

2

3 Instalación inicial SemanticWebBuilder en Dimension Data Cloud Componentes Especiales Fondo de Información y Documentación para la Industria Av. San Fernando #37 Col. Toriello Guerra Del. Tlalpan México DF

4 El Copyright y las Marcas registradas INFOTEC WebBuilder, SemanticWebBuilder, el personaje Semius y demás logotipos, emblemas y características distintivas, así como elementos relacionados son propiedad de INFOTEC Fondo de Información y Documentación para la Industria, Centro de Investigación CONACYT. Reservados todos los derechos. Queda estrictamente prohibido bajo las sanciones establecidas en las leyes, la reproducción parcial o total de esta obra por cualquier medio o procedimiento de alquiler o préstamos públicos de ejemplares de la misma, sin la autorización escrita de INFOTEC Fondo de Información y Documentación para la Industria, Centro de Investigación CONACYT.

5 Prólogo SemanticWebBuilder (SWB) es una plataforma tecnológica desarrollada en INFOTEC, un Centro de Investigación y Desarrollo Tecnológico del CONACYT, por lo que es un producto hecho en México y por mexicanos que tiene como propósito principal el brindar los elementos y utilerías necesarias para permitir una construcción rápida y simple de Sitios y Portales Web Semánticos, así como desarrollo de aplicaciones con características semánticas. La idea principal de aplicar Semántica a los Sitios y Portales Web o mejor dicho incorporarle Semántica a Internet, es permitir que la información pueda ser definida con un significado específico, de forma que conforme se le van incorporando descripciones y propiedades a cada elemento de información este pueda tener más aspectos que lo distingan de los demás y lo puedan identificar mejor, logrando con ello que pueda ser fácilmente consultado, interpretado y procesado ya sea por personas o incluso por otras aplicaciones y sistemas, es decir por maquinas. Esta característica de la semántica que hace que la información tenga un mayor significado y en consecuencia sea fácilmente consultada por personas o sistemas, implica que el intercambio e integración de información sea de forma más natural sin importar el lugar físico donde se encuentre la información o la forma en que haya sido procesada originalmente. Esto implica que podremos realizar una consulta de información y la respuesta será más completa y adecuada a nuestro criterio de búsqueda, pues la fuente de consulta podrá ser leída, interpretada e integrada a partir de la información publicada por diferentes organizaciones, a múltiples niveles técnicos y/o humanos, permitiendo con ello obtener información más completa y adecuada a los requerimientos específicos de cada usuario en la red. INFOTEC CONACYT FIDEICOMISO. i

6 INFOTEC CONACYT FIDEICOMISO. ii

7 Índice de Contenidos Prólogo... i Índice de Contenidos... iii Acerca de este manual... iv Objetivos... iv Convenciones usadas en este manual... v Comenzando a trabajar... vii Instalación de SemanticWebBuilder 4 DimensionData Cloud DimensionData Cloud... 1 Arquitectura de SWB4Cloud:... 1 Creación de Red y Servidores en DimensionData... 3 Instalación y configuración del ambiente para SWB... 7 Instalación del servicio NFS... 9 Configuración de la Base de Datos... 9 Configuración del Servidor de Administración SWB Configuración del Servidor Cliente Configuración de LoadBalancer Configuración del Monitor de desempeño Configuración de la Red Configuración SWB plugin INFOTEC CONACYT FIDEICOMISO. iii

8 Acerca de este manual Este manual fue realizado con el objetivo de explicar el conocimiento mínimo necesario para realizar correctamente la instalación de SemanticWebBuilder Dimension Data Cloud en una infraestructura de Dimension Data. Indicándole además los pasos necesarios para configurar un servidor en Dimension Data y aprovechar la capacidad de SWB para poder desplegarse en ambientes en cluster y balanceo de cargas Objetivos General: Al finalizar el curso el alumno usará una instancia de SWB en la nube con la infraestructura de Dimension Data y podrá lanzar instancias espejo. Específicos: Al finalizar el tema de Instalación de SemanticWebBuilder4DimensionDataCloud el alumno será capaz de construir y adecuar ambientes en cluster y balanceo, así como administrarlos INFOTEC CONACYT FIDEICOMISO. iv

9 Convenciones usadas en este manual Las siguientes convenciones son utilizadas en este manual para representar diferentes elementos de capacitación y recursos alternativos de aprendizaje: Iconos Sabias Que Indica comentarios al margen en los que se extenderá el tema expuesto mediante recomendaciones o tips que mejoren el aprovechamiento de la herramienta Consideraciones Importantes Exponen puntos importantes que deben tenerse en cuenta para la correcta operación de las utilerías. Nota Indica Información adicional que puede ayudarle a aprovechar mejor la funcionalidad expuesta. Referencia Indica la necesidad de consultar otro documento o dirección Web en donde se encontrara mayor información sobre el tema expuesto. Procedimiento Guiado Indica que se comenzara la descripción paso a paso de la operación de un proceso. Ejercicio Guiado A partir de este punto se comenzara la ejecución de un ejercicio que deberá realizar el usuario de manera guiada paso a paso con el manual. Resultado Expone el efecto final correcto de una operación o procedimiento. Diagnostico Por características de la tecnología involucrada, se generan resultados no deseados. Aquí se indicara como resolverlo. Improcedente Indica situaciones tecnológicas en las que no es posible realizar una operación o que requiere de algún proceso alterno para obtener el resultado deseado. Cuidado Indica que existe alguna información restringida o con derechos reservados. INFOTEC CONACYT FIDEICOMISO. v

10 Convenciones Tipográficas Arial 26 Negrita, es utilizada como título de tema Calibri 14 color Azul Énfasis Negrita, es utilizada para los títulos de tema Calibri 12 color Azul Énfasis 1 negrita, es utilizada para destacar subtemas Arial 11, es utilizada como fuente principal para el cuerpo del texto <Times New Roman 11> es utilizada para descripción de configuraciones o código Arial 10 negrita color azul con recuadro y sombreado azul indica temas a resaltar y/o puntos importante en los que el lector debe prestar especial atención Arial 10 en color azul con recuadro azul y sombreado azul, se utiliza para denotar puntos importantes en los que el lector debe prestar atención especial INFOTEC CONACYT FIDEICOMISO. vi

11 Comenzando a trabajar INSTALACIÓN SEMANTICWEBBUILDER (SWB) para DimensionData Cloud INFOTEC CONACYT FIDEICOMISO. vii

12 Instalación de SemanticWebBuilder 4 DimensionData Cloud. DimensionData Cloud Uno de los principales beneficios del cómputo en la nube consiste en la oportunidad de reemplazar los gastos iniciales en infraestructura con un bajo costo variable que escala según el negocio lo necesite, ya que rápidamente es posible utilizar cientos de servidores en minutos entregando resultados inmediatos. Dimension Data Cloud provee una infraestructura con centros de datos en los Estados Unidos, Amsterdam, Australia, South Africa y Hong Kong; cuenta con una interface de servicios REST mediante la cual es posible escalar horizontalmente. Tras el auge del internet social, es posible que la demanda de un sitio pase de unas decenas a unos miles de visitantes en cuestión de un par de horas y que tras otro par de horas regrese a su nivel de tráfico usual. SemanticWebBuilder (SWB) es una suite de productos que sirven como plataforma para el desarrollo de portales, estos portales deberían poder beneficiarse de contar con la posibilidad de crecer en capacidad de atención de manera dinámica según el negocio lo requiera; por lo que se desarrolló una extensión conocida como SWB4Cloud que permite el despliegue de un portal construido con SWB en la infraestructura de Dimensio Data que pueda moverse de manera dinámica según la carga existente en el sitio. Nota: Este manual contiene los pasos necesarios para configurar un portal, en una nube escalable utilizando Dimension Data Cloud. Arquitectura de SWB4Cloud: El SWB4Cloud aprovecha la capacidad de SWB para poder desplegarse en ambientes en cluster y balanceo de cargas por lo que requiere de al menos lanzar dos VM (máquinas vituales) en su configuración mínima. La primer VM se encargará del servicio de administración del portal, proveer de los servicios de Base de datos, los archivos, y el software necesario para realizar el lanzamiento de instancias adicionales. La segunda VM se encargará de entregar el contenido del portal a los visitantes, este es lanzado por la instancia de administración desde la consola de SWB y según la configuración y demanda SWB lanzará tantas instancias como sean necesarias y a su tiempo, dará de baja las instancias necesarias según se requiera. INFOTEC CONACYT FIDEICOMISO. 1

13 El diagrama anterior ilustra los servicios y las conexiones que existen en un despliegue de SWBCloud con Dimension Data. El acceso a los servidores es manejado por medio de una VIP, la cual contiene el balanceador de carga. El firewall contiene las reglas de acceso, configurables desde la opción ACL de la red en la que se encuentran los servidores. El servidor de administración y clientes se encuentran dentro de la misma red. MySQL data: Servicio de base de datos instalada en el servidor de administración y será compartida con los clientes. work/models: ruta que será compartida vía NFS a los servidores cliente en donde encontrarán el contenido estático necesario para operar el portal. Los servidores clientes, serán cargados con una imagen hecha con anterioridad para levantar los servicios y obtener la información. INFOTEC CONACYT FIDEICOMISO. 2

14 Creación de Red y Servidores en DimensionData Procedimiento Dentro de la administración de nubes de DimensionData: Crear una Red (network) Agregar nombre y descripción de la red en la que se va a trabajar. Dar click en Deploy, se creará la red. Dentro de esta red se configurarán manualmente dos servidores swbadmin y swbclient. Para la creación de un servidor es necesario seleccionar el Sistema operativo de la lista OS imágenes, que se desea utilizar. (La capacidad del servidor, dependerá del tamaño del portal y de los recursos que se destinen) INFOTEC CONACYT FIDEICOMISO. 3

15 Al dar click sobre la imagen que deseamos cargar en nuestro servidor, se desplegará la siguiente ventana: INFOTEC CONACYT FIDEICOMISO. 4

16 El primer servidor se llamará swbadmin, colocamos una descripción, seleccionamos la red a la que va a pertenecer, en este caso test, agregamos una contraseña. Y damos click en Deploy and Start Para el servidor swbclient se utilizará la misma imagen del SO, en nombre ira SwbClient, agregaremos una descripción, pertenece a la misma red (test). Por ahora no es necesario iniciar el servidor, por lo que daremos click en Deploy. La lista de servidores aparecerá de la siguiente manera dentro de la red: Las IPS resaltadas (Private IP), son las que utilizaremos para configurar los servidores. Realizar una conexión por VPN para comunicarnos al servidor creado Conectarse a root, con el password dado al momento de darlo de alta. Insertar los comandos, para actualizar e instalar el software requerido: yum update -y yum install java openjdk-devel -y yum install mysql-server INFOTEC CONACYT FIDEICOMISO. 5

17 Crear las carpetas de almacenamiento en las que se distribuirá la configuración. mkdir /swb mkdir /swb/datos mkdir /swb/portal mkdir /swb/software Editar el valor de la variable de datadir en el archivo de configuración de mysql, que se encuentra en /etc/my.cnf. Configurar mysql para que inicie automáticamente al reinicio del sistema chkconfig --level 2345 mysqld on Levantar el servicio con el comando: service mysqld start Correr el script de secure installation, para asegurar y colocar la contraseña de root: /usr/bin/mysql_secure_installation Crear la base de datos, que tengra como nombre swb /usr/bin/mysqladmin -u root -p create swb INFOTEC CONACYT FIDEICOMISO. 6

18 Entrar al administrador de mysql, y crear un usuario que tenga todos los permisos sobre la base de datos creada anteriormente (swb). /usr/bin/mysql -u root -p CREATE USER 'swb'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON swb.* TO 'swb'@'%' WITH GRANT OPTION; Instalación y configuración del ambiente para SWB Descargar el paquete en la carpeta /swb/software cd /swb/software Puede conseguir el archivo de instalación de Tomcat en la dirección web El archivo obtenido se transfiere a la ruta y/o carpeta donde se descomprimirá dicho archivo. Descargar swb.war en la misma carpeta Descargar el archivo de el archivo obtenido es swb.war, este archivo se puede descomprimir como.jar y posteriormente el contenido se transfiere a la carpeta webapps dentro del Tomcat. La instalación quedará en /swb/portal. cd /swb/portal/ tar xvzf../software/ apache-tomcat tar.gz cd apache-tomcat /webapps/ rm fr * mkdir ROOT cd ROOT jar xvf /swb/software/swb.war Agregar las variables de ambiente en los archivos de arranque te Tomcat export CATALINA_OPTS= - Dfile.encoding=ISO Xss228k -Xmx1024m -server" Editar el archivo server.xml en el directorio /conf, cambiar el puerto 8080 de la conexión http al 80 INFOTEC CONACYT FIDEICOMISO. 7

19 Resultado Y descomentar el servicio SSL del protocolo HTTP/1.1, cambiando el puerto 8443 por el 443 INFOTEC CONACYT FIDEICOMISO. 8

20 Crear el certificado en el keystore, usar la contraseña changeit, con el comando: keytool genkey alias tomcat keyalg RSA Para evitar conflicto en los servicios es importante checar que el httpd se encuentre apagado, y evitar que este se active en el momento de un reinicio service httpd stop chkconfig httpd off Instalación del servicio NFS Como se mencionó anteriormente, los datos relacionados con el portal, serán transferidos a los clientes vía NFS. yum install nfs-utils nfs4-acl-tools rpcbind Editar el archivo /etc/exports y agregar la línea /swb/portal/apache-tomcat /webapps/root/work/models *(ro,async) Recargar el servicio, para que se lea el archivo de configuración, iniciar los servicios y agregarlos a la lista de arranque /sbin/service nfs reload chkconfig rpcbind on chkconfig nfs on service rpcbind start service nfs start Configuración de la Base de Datos Editar el archivo WEB-INF/clases/db.properties. Descomentar y editar el pool de MySQL, con la información de usuario creado anteriormente en mysql y comentar el pool de hsqldb INFOTEC CONACYT FIDEICOMISO. 9

21 Con los datos de la base de datos creada anteriormente: Swb.url = jdbc:mysql://ip_servidor_administrador:3306/swb swb.maxconn=80 swb.user=swb(usuario_creado) swb.password=password(database_password) Resultado Configuración del Servidor de Administración SWB Para el administrador la información en /WEB-INF/clases/web.properties tiene que ser la siguiente swb/clientserver=sas swb/cloudimplementation= org.semanticwb.dimension.dimdataservicesimp swb/regionendpoint= api.opsourcecloud.net (dirección_endpoint_dimensiondata) INFOTEC CONACYT FIDEICOMISO. 10

22 Levantar la instancia de SWB cd /swb/portal/apache-tomcat /bin/./startup.sh Configuración del Servidor Cliente Dar click en la lista de servidores en el servidor creado como swbclient, e iniciar el servidor. Realizar las configuraciones necesarias: Actualizar repositorios Instalar la última versión de java Apagar el servicio httpd Crear las carpetas para la instalación Descargar apache-tomcat y swb.war Descomprimir en las rutas indicadas Configurar el web.properties swb/clientserver = SAC Agregar la ip del servidor en la opciónde #URL de la maquina de administración swb/serverurl= Resultado INFOTEC CONACYT FIDEICOMISO. 11

23 Configuración de LoadBalancer Agregar la ip del servidor en la opción swb/servermessageaddress en el archivo web.properties INFOTEC CONACYT FIDEICOMISO. 12

24 Configuración del Monitor de desempeño Probar si el comando sar está instalado, en caso contrario instalar sysstat yum install sysstat Configurar las opciones de sysstat, para que la información se recolecte cada 5 minutos, y comentar la línea de la recopilación diaria. El archivo de configuración se encuentra en /etc/cron.d/sysstat Agregar el script de configuración de inicio de tomcat crear el archivo en /etc/init.d/tomcat #!/bin/bash # # tomcat # # # chkconfig: # description: Tomcat Server. # processname: tomcat # Source function library.. /etc/init.d/functions RETVAL=$? CATALINA_HOME="/swb/portal/apache-tomcat " case "$1" in start) if [ -f $CATALINA_HOME/bin/startup.sh ]; INFOTEC CONACYT FIDEICOMISO. 13

25 then echo $"Starting Tomcat" $CATALINA_HOME/bin/startup.sh fi ;; stop) if [ -f $CATALINA_HOME/bin/shutdown.sh ]; then echo $"Stopping Tomcat" $CATALINA_HOME/bin/shutdown.sh fi ;; *) echo $"Usage: $0 {start stop}" exit 1 ;; esac exit $RETVAL Dar permisos al script, y dar de alta el servicio para que reinicie automáticamente. chmod a+x tomcat chkconfig --add tomcat chkconfig --level tomcat on Crear el script de configuración /manager.sh #! /bin/bash # sar grep all grep '^Average' -v tail -5 awk '{print $1 $2 " " $4+$5+$6+$7+$8 " " $9}' Dar permisos al script chmod a+x manager.sh Instalar el paquete xinetd yum install xinetd INFOTEC CONACYT FIDEICOMISO. 14

26 Agregar el archivo de configuración de servicio chkstatus en /etc/xinetd.d/chkstatus Con el siguiente contenido: service chkstatus { socket_type = stream id = chkstatus type = UNLISTED protocol = tcp port = 666 wait = no user = root server = /manager.sh log_type = FILE chkstatus } Instalar los paquetes de NFS para la transferencia de archivos correspondientes al sitio (../work/models) yum install nfs-utils nfs4-acl-tools rpcbind Iniciar los servicios y agregarlos a la configuración de arranque chkconfig rpcbind on chkconfig nfs on service rpcbind start service nfs start Eliminar el contenido de la carpeta en donde se va a montar la información del administrador. cd /swb/portal/apache-tomcat /webapps/root/work/models/ rm fr * Configurar los montajes de arranque (fstab) para cargar los archivos por nfs en caso de un reinicio. Agregar la configuración en el archivo /etc/fstab INFOTEC CONACYT FIDEICOMISO. 15

27 ipservidoradministrador:/swb/portal/apache-tomcat /webapps/root/work/models /swb/portal/apache-tomcat /webapps/root/work/models nfs defaults 0 0 Revisar el estado de las herramientas de VMware, debe mostrarse el siguiente display, en caso contrario, actualizar las herramientas por medio del administrador de la nube de dimensión data. En caso que ese encuentren en estao Not Running, para reinstalarlas se pueden obtener de la siguiente liga: A4BADB179EB9/content/inline/VMwareTools tar.gz y ejecutar el archivo vmware-install.pl Crearemos una Imagen clonando el servidor swbclient que aparecerá en la lista de Customer Images, para lo que, en caso que se hayan hecho pruebas con la instancia de swb, hay que darla de baja. Abrir la ventana de administración del servidor y dar click en el botón de clonar, esto agregará la imagen a la lista de Customer Images. INFOTEC CONACYT FIDEICOMISO. 16

28 Configuración de la Red Abrir la ventana de configuración de la Red, (engranaje azul) y dar click en la opción de VIPs, agregaremos servidores reales, para agregarlos a un load farm y con esta crear un balanceador de cargas. En caso que ese encuentren en estado Not Running, para reinstalarlas se pueden obtener de la siguiente liga: INFOTEC CONACYT FIDEICOMISO. 17

29 A4BADB179EB9/content/inline/VMwareTools tar.gz En la opción de Real Servers, agregar los servidores antes configurados, de acuerdo al nombre y la IP, seleccionando el Status en In Service Posteriormente se eliminará el servidor real de esta lista tanto del Farm, se utiliza esta configuración para poder crear el balanceador de cargas que será poblado por los servidores clientes. Agregar un Probe, para comprobar el estado del sistema, con nombre swb. INFOTEC CONACYT FIDEICOMISO. 18

30 En la pestaña de Server Farm, dar click en Add Server Farm. Con los valores de: Name: swbfarm Predictor: Least connections InitialRealServer: swbadmin RealServerPort : 80 InitialProbe: swb swb INFOTEC CONACYT FIDEICOMISO. 19

31 Dar click en submit.. Iremos a la pestaña de Persistance Profiles para hacer que el balanceo tenga stickiness, seleccionando el Farm creado, con tipo HTTP Cookie, definiendo un nombre a la cookie de dmd_cookie y con tipo no cookie insert. Crear el load balancer en la pestaña de VIPs, con el Target Type de Persistance Profile y con Target del perfil antes creado (swbprofile) INFOTEC CONACYT FIDEICOMISO. 20

32 Creado el loadbalancer, debemos vaciar el Server Farm y el Pool de RealServers, regresando a las pestañas correspondientes. Primero eliminaremos el servidor real del serverfarm, dando click en el nombre del Farm creado y eliminar los servidores reales que estén en la lista, para dejarla vacía como muestra la imagen. El siguiente paso es eliminar el servidor real creado, únicamente presionando la (x) que se encuentra al final de la fila. Para dejar la lista vacía. INFOTEC CONACYT FIDEICOMISO. 21

33 Como se había mencionado anteriormente, la lista de servidores reales dentro del Server Farm y la de Real Servers como tal, deben de estar vacías al momento de iniciar el servicio, ya que estás serán actualizadas con los servidores que lanzará la aplicación de SWB. Regresar al menú de administración de la red y configuraremos la lista de ACLS de entrada de tráfico. Configuración SWB plugin Accesamos a la administración de SemanticWebBuilder, el usuario admin, debe de tener el rol de super usuario para poder ver las opciones de configuración de cloud. INFOTEC CONACYT FIDEICOMISO. 22

34 Se abrirá una nueva pestaña con el nombre de configuración Cloud, la cual pedirá los datos de acceso. El User y Password, son referentes a la cuenta de dimensiondata Cloud, con los que se accesa a la administración de servidores en el portal Al enviar el acceso con los datos correctos, aparecerá una nueva forma para seleccionar los datos para la configuración. Nombre de la red (la red en la que se encuentra el servidor swbadmin) Image Name (nombre de la imagen de los servidores clientes) Max Instances to launch (el número máximo de servidores que se podrán lanzar y agregar al balanceador de cargas) INFOTEC CONACYT FIDEICOMISO. 23

35 Si los datos son correctos, se desplegará una segunda forma, para cotejar el nombre del server Farm configurado,el procentaje máximo para cada servidor, y el nombre base que llevará cada servidor lanzado por la herramienta. Al enviar la segunda configuración se comprobarán los datos y aparecerá el botón lanzar, dando click, se lanzará el primer servidor con las características seleccionadas, y comenzará el monitoreo de tráfico. INFOTEC CONACYT FIDEICOMISO. 24