capacitación y guía para el desarrollo de software Integración Continua Integración Continua 1

Transcripción

1 Integración Continua Integración Continua 1

2 DEFINICIONES... 3 BUILD... 3 INTEGRACIÓN CONTINUA... 3 ESCENARIO... 4 NODOS DEL AMBIENTE DE DESARROLLO... 4 FORMA DE TRABAJO... 5 Pasos... 5 COMPONENTES POR TAREA DEL AMBIENTE DE DESARROLLO... 6 COMPONENTES POR NODO DEL AMBIENTE DE DESARROLLO... 7 REDUCIR LOS RIESGOS... 8 BUENAS PRÁCTICAS HERRAMIENTAS SCM - Escenario de trabajo de SCM Patrones de Administración de Software Configuration Management MAVEN Ciclos de vida de un proyecto Maven Lifecycle Reference Built-in Lifecycle Bindings CRUISECONTROL CONFIGURACIÓN REFERENCIAS Integración Continua 2

3 Build Definiciones Un build es el producto generado por la realización de las tareas de compilación, prueba, inspección e instalación. Realizar un build tiene como resultado situar el código todo junto en un ambiente donde funciona de una manera cohesiva. Integración Continua Estratégicamente hacerlo con cada cambio!!! Por Qué? Para responder esta pregunta hay que entender cuál es el objetivo principal de un grupo de desarrollo de software y cuáles son los riesgos para lograrlo. Integración Continua 3

4 Escenario Nodos del Ambiente de Desarrollo Integración Continua 4

5 Forma de trabajo Pasos 1. Un desarrollador realiza un commit (cambios) sobre el SCM server mientras el administrador de CI lo consulta por cambios con una frecuencia determinada. 2. Después del commit el administrador de CI detecta el cambio, toma del repositorio las últimas versiones y ejecuta los scripts que integran todo el software 3. El administrador de CI informa por mail acerca de los resultados a los miembros del grupo de desarrollo de los resultados del build 4. El administrador continua consultando al repositorio con la frecuencia determinada Integración Continua 5

6 Componentes por tarea del ambiente de desarrollo cd ICSoftware capacitación y guía para el desarrollo de software Tomcat 5.5 SVN CruiseControl Checkstyle PMD/CPD Eclipse Ganymede Apache Maven JDepent Clover JUnit SVN Reportes de Cambios Apache Ant JavaDoc Doxygen Referencias Compilación y Centralización de Info Pruebas y Rev isiones Admin. Repositorio Integración Contínua Publicación JIRA SE 3.13 Enterprise Architecture 6.1 Integración Continua 6

7 Componentes por nodo del ambiente de desarrollo cd HerramientasXNodo capacitación y guía para el desarrollo de software Tomcat 5.5 SVN CruiseControl Checkstyle PMD/CPD Eclipse Ganymede Apache Maven JDepent Clover JUnit SVN Reportes de Cambios Apache Ant JavaDoc Referencias Serv idores Serv idores y Estaciones de Trabajo Estaciones de Trabajo Doxygen JIRA SE 3.13 Enterprise Architecture 6.1 Integración Continua 7

8 Reducir los riesgos Pérdida de software instalable capacitación y guía para el desarrollo de software Riesgo Causas Consecuencias Escenarios Sugerencias Solución Proceso de Automatiz build manual ar el Falta de test proceso de rápidos y build con repetibles Maven Falta de pruebas en un ambiente limpio Detección tardía de errores Pobre visibilidad del proyecto Componentes repetidos Problemas de integración de cbios Integración excesivamente larga Desconfianza en grupo Desa Mala ubicación de archivos de configuración Pruebas manuales Introducción de error nuevo al corregir uno existente Comunicación manual Gran esfuerzo de coordinación En mi PC funciona pero en servidor NO porque faltaba el commit del último cbio DB creada por DBA en ambiente de DESA y ahora no está Deployment manual tedioso En este release apareció un error corregido hace dos meses Tenemos varios test y corren OK, son suficientes? Falló test por tu último cbio No leíste el reporte de cbios al diseño Necesitamos Eliminar dependencias del IDE y proceso de build Scripts en SCM ejecutados en proceso de build Test de integración Proceso de deployment automático Hacer los test repetibles y fáciles de ejecutar Herramienta de chequeo de cobertura de test Mails automáticos Generar documentaci ón actualizada Automatiz ar el proceso de pruebas con xunit y Clover Automatiz ar comunicaci ón con Cruise Control, Integración Continua 8

9 Riesgo Causas Consecuencias Escenarios Sugerencias Solución UML pero Maven y actualizado Doxygen Baja calidad del software Código potencialmente peligroso No se cumplen estándares definidos Código difícil de mantener y cambiar Nuevos programadores cumplen estándares? Refactorización afectó la arquitectura? Cbios apurados introdujeron código duplicado? Definir estándares y chequearlos Revisar Diseño y Código Automatiz ar revisiones con CheckStyle, PMD y JDepent Integración Continua 9

10 Buenas prácticas cd Prácticas Buenas prácticas de trabajo con SCM (software configuration management) Construya binarios con cada cambio Haga commit con frecuencia NO haga commit de código que no funciona Corrija los errores que rompieron el buid inmediatamente Escriba tests unitarios automáticos TODOS los test y revisiones deben ejecutar OK Ejecute builds privados NO tome código del repositorio que no funciona Integración Continua 10

11 Herramientas SCM - Escenario de trabajo de SCM Integración Continua 11

12 Patrones de Administración de Software Configuration Management Gráfico extraído de Software Configuration Management Patterns, Berczuk, Appleton, Integración Continua 12

13 cd Prácticas Buenas prácticas de trabajo de build (compilación y linkeo) Automatice el proceso de build Ejecute comandos simples de build Separe scripts de build del IDE Centralice todos los componentes del software en un repositorio Cree una estructura de directorios consistente Fail builds rápidamente Build para cualquier ambiente Use una computadora dedicada a la integración Use un CI server Ejecute builds rápidos Mantenga la historia de los builds Integración Continua 13

14 cd Prácticas Buenas prácticas de trabajo de build (integración de la DB) Automatice la integración de DB Utilice una copia privada de la DB Utilice el repositorio para compartir los componentes de la DB Asigne capacidad a los DESA para modificar la DB Integración Continua 14

15 Maven cd maven Repositories (Local y Remoto) Plugins Mav en Build System «file» Producto.jar POM (Project Object Model) <project xmlns=" xmlns:xsi=" xsi:schemalocation=" <modelversion>4.0.0</modelversion> <groupid>com.mycompany.app</groupid> <artifactid>my-app</artifactid> <packaging>jar</packaging> <version>1.0-snapshot</version> <name>maven Quick Start Archetype</name> <url> <dependencies> <dependency> <groupid>junit</groupid> <artifactid>junit</artifactid> <version>3.8.1</version> <scope>test</scope> </dependency> </dependencies> </project> my-app -- pom.xml `-- src -- main `-- java `-- com `-- mycompany `-- app `-- App.java `-- test `-- java `-- com `-- mycompany `-- app `-- AppTest.java Integración Continua 15

16 cd maven2 Local Repository Remote Repository junit / jars / junit3.8.1.jar junit / jars / junit3.8.1.jar POM Project settings.xml Maven <dependencies> <dependency> <groupid>junit</groupid> <artifactid>junit</artifactid> <version>3.8.1</version> <scope>test</scope> </dependency> Repositorio local: proxy contra el repositorio público (central) y lugar de instalación de los productos generados en el desarrollo. Cache local para todo el software que solo UNA VEZ será bajado al local para todos los proyectos de la organización. SNAPSHOT: dependencias chequeadas por Maven para utilizar la última versión (dependencias que cambian mucho u otros proyectos en desarrollo) Ciclos de vida de un proyecto Maven default: administra hasta el deployment clean: administra las tareas de reseteo del build anterior site: administra la creación del sitio de publicación del proyecto Integración Continua 16

17 cd Mav enlifecicle Fases del ciclo de vida default de Maven 1 - validate 2 - compile 3 - test 4 - package 5 - integration-test 6 - verify 7 - install 8 - deploy Invocación sin objetivos -> mvn deploy Invocación con objetivos -> mvn clean dependency:copy-dependencies package Integración Continua 17

18 Lifecycle Reference The following lists all build phases of the default, clean and site lifecycle, which are executed in the order given up to the point of the one specified. Clean Lifecycle pre-clean clean post-clean executes processes needed prior to the actual project cleaning remove all files generated by the previous build executes processes needed to finalize the project cleaning Default Lifecycle validate initialize generate-sources process-sources generate-resources process-resources compile process-classes generate-testsources Validate the project is correct and all necessary information is available. Initialize build state, e.g. set properties or create directories. Generate any source code for inclusion in compilation. Process the source code, for example to filter any values. Generate resources for inclusion in the package. Copy and process the resources into the destination directory, ready for packaging. Compile the source code of the project. Post-process the generated files from compilation, for example to do bytecode enhancement on Java classes. Generate any test source code for inclusion in compilation. process-test-sources Process the test source code, for example to filter any values. Integración Continua 18

19 test-compile Create resources for testing. Copy and process the resources into the test destination directory. compile the test source code into the test destination directory process-test-classes Post-process the generated files from test compilation, for example to do bytecode enhancement on Java classes. For Maven and above. test prepare-package package Run tests using a suitable unit testing framework. These tests should not require the code be packaged or deployed. Perform any operations necessary to prepare a package before the actual packaging. This often results in an unpacked, processed version of the package. (Maven 2.1 and above) Take the compiled code and package it in its distributable format, such as a JAR. pre-integration-test Perform actions required before integration tests are executed. This may involve things such as setting up the required environment. integration-test generate-testresources process-testresources post-integrationtest verify install deploy Process and deploy the package if necessary into an environment where integration tests can be run. Perform actions required after integration tests have been executed. This may including cleaning up the environment. Run any checks to verify the package is valid and meets quality criteria. Install the package into the local repository, for use as a dependency in other projects locally. Done in an integration or release environment, copies the final package to the remote repository for sharing with other developers and projects. Site Lifecycle pre-site site post-site executes processes needed prior to the actual project site generation generates the project's site documentation executes processes needed to finalize the site generation, and to prepare for site deployment Integración Continua 19

20 site-deploy deploys the generated site documentation to the specified web server Built-in Lifecycle Bindings Some phases have goals binded to them by default. And for the default lifecycle, these bindings depend on the packaging value. Here are some of the goalto-build-phase bindings. Clean Lifecycle Bindings clean clean:clean Default Lifecycle Bindings - Packaging ejb / ejb3 / jar / par / rar / war process-resources resources:resources compile compiler:compile process-test-resources resources:testresources test-compile compiler:testcompile test surefire:test package ejb:ejb or ejb3:ejb3 or jar:jar or par:par or rar:rar or war:war install install:install deploy deploy:deploy Default Lifecycle Bindings - Packaging ear generate-resources ear:generateapplicationxml process-resources resources:resources package ear:ear Integración Continua 20

21 install deploy install:install deploy:deploy Default Lifecycle Bindings - Packaging maven-plugin generate-resources plugin:descriptor process-resources resources:resources compile compiler:compile process-test-resources resources:testresources test-compile compiler:testcompile test surefire:test package jar:jar and plugin:addpluginartifactmetadata install install:install and plugin:updateregistry deploy deploy:deploy Default Lifecycle Bindings - Packaging pom package site:attach-descriptor install install:install deploy deploy:deploy Site Lifecycle Bindings site site-deploy site:site site:deploy Integración Continua 21

22 cd Prácticas Buenas prácticas de trabajo de pruebas(unitarias, de componentes, de sistema, funcionales) Automatice los test unitarios Automatice los test de componentes Automatice los test de sistema Automatice los test funcionales Categorice los tests Ejecute primero los test más rápidos Escirba tests para reproducir errores Haga repetibles a los test de componentes Limite casos de test a un componente Integración Continua 22

23 cd Prácticas Buenas prácticas de trabajo de revisiones (diseño, código y cubrimiento) Reduzca la complejidad del código Revise el diseño en forma continua Mantenga estándares organizaciones mediante QA Reduzca código duplicado Controle el cubrimiento de las pruebas y revisiones Integración Continua 23

24 cd Prácticas Buenas prácticas de trabajo con releases (software configuration management + build) Instale el software en tiempo y lugar Marque en el repositorio los componentes incluidos Trabaje en un ambiente limpio Nombre cada release Ejecute TODOS los tests Genere reportes del proceso de build e instalación Genere capacidad para volver atrás releases cd Prácticas Buenas prácticas de trabajo de integración continua (integración continua) Utilice mecanismos de comunicación para generar realimentación Integración Continua 24

25 CruiseControl Gráfico extraído del sitio oficial de CruiseControl Integración Continua 25

26 Configuración <cruisecontrol> <! Configuración del Repositorio --> <property name="svn.repository" value="file:///c:/users/gpantaleo/trabajo/svn"/> <property name="svn.portal.project" value="${svn.repository}/analisisvalidacion"/> <! Configuración específica de compilación --> <property name="maven.home" value= "c:/users/gpantaleo/trabajo/maven/apache-maven-2.0.9"/> <property name="ant.home" value="c:/ant"/> <! Configuraciones específicas del Cruise Control Scheduler --> <property name="schedule.interval" value="300"/> <property name="quiet.period" value="30"/> <plugin name="m2projectci" classname="net.sourceforge.cruisecontrol.projectconfig" buildafterfailed="false"> <log> <!-- This includes all test reports of a maven multimodule project. --> <merge dir="projects/analisisvalidacion/trunk/${project.name}" pattern="test-*.xml" /> </log> </plugin> <!-- Proyecto --> <m2projectci name="codigo"> <!-- Plugins --> <plugin name="svn" classname="net.sourceforge.cruisecontrol.sourcecontrols.svn"/> <plugin name="svnbootstrapper" classname="net.sourceforge.cruisecontrol.bootstrappers.svnbootstrapper"/> <! Log de estados del build al file system. --> <listeners> <currentbuildstatuslistener file="logs/${project.name}/status.txt"/> Integración Continua 26

27 </listeners> <! Observador (boostrap) de cambios en Subversion <bootstrappers> <svnbootstrapper LocalWorkingCopy="projects/AnalisisValidacion" /> </bootstrappers> <! Conjunto de elementos indicativos de cambio en la instalación de CruiseControl.<modificationset> puede contener múltiple elementos, críticos, los cuales serán chequeados en lugar de chequear todos los files de un proyecto. --> <modificationset quietperiod="${quiet.period}"> <svn localworkingcopy="projects/analisisvalidacion" repositorylocation="${svn.portal.project}" uselocalrevision="true"/> <maven2snapshotdependency pomfile="projects/analisisvalidacion/trunk/codigo/pom.xml"/> <! cualquier cbio. en estos files dispararán un build --> <filesystem folder="projects/analisisvalidacion/trunk/codigo/src"/> <buildstatus logdir="logs/codigo" /> </modificationset> <! Acciones principales: 1) se copian los cambios del repositorio a los directorios locales del proyecto, 2) se invoca a Maven para realizar el build --> <schedule interval="${schedule.interval}"> <composite> <ant anthome="${ant.home}" buildfile="projects/analisisvalidacion/svn-build.xml"/> <maven2 mvnhome="${maven.home}" pomfile="projects/analisisvalidacion/trunk/codigo/pom.xml" goal="clean deploy site:site site:deploy" /> <maven2 mvnhome="${maven.home}" pomfile="projects/analisisvalidacion/trunk/codigo/pom.xml" </composite> </schedule> </m2projectci> </cruisecontrol> goal="clover2:instrument clover2:aggregate clover2:clover"/> Integración Continua 27

28 Integración Continua 28

29 Integración Continua 29

30 Integración Continua 30

31 Referencias Continuous Integration: Improving Software Quality and Reducing Risk, Paul M. Duvall with Andrew Glover and Steve Matyas, xunit Test Patterns: Refactoring Test Code, Gerard Meszaros, Addison-Wesley, Software Configuration Management Patterns: Effective Teamwork, Practical Integration (Software Patterns Series), Stephen P. Berczuk (Author), et al, Integración Continua 31