Generador de casos de prueba genético

Transcripción

1 Generador de casos de prueba genético Álvaro Galán Piñero Ingeniería Técnica en Informática de Sistemas, Universidad de Cádiz 24 de Septiembre / 42

2 Índice 1 Motivación y contexto 2 Planificación 3 Análisis 4 Diseño 5 Implementación 6 Demostración práctica 7 Conclusiones 2 / 42

3 Introducción Grupo UCASE Dentro de la línea de pruebas del software en el grupo de investigación UCASE se trabaja en la mejora de conjuntos de casos de prueba para composiciones de servicios Web escritas en WS-BPEL. BPEL Usado en algunas líneas de trabajo del grupo UCASE. Lenguaje para la composición de servicios web. Basado en XML. Sirve para el control centralizado de la invocaciones de diferentes servicios web. 3 / 42

4 Introducción Grupo UCASE Dentro de la línea de pruebas del software en el grupo de investigación UCASE se trabaja en la mejora de conjuntos de casos de prueba para composiciones de servicios Web escritas en WS-BPEL. BPEL Usado en algunas líneas de trabajo del grupo UCASE. Lenguaje para la composición de servicios web. Basado en XML. Sirve para el control centralizado de la invocaciones de diferentes servicios web. 3 / 42

5 Introducción Prueba de mutaciones Técnica de pruebas basada en introducir pequeños fallos sintácticos en el programa original obteniendo un nuevo programa llamado mutante. Objetivo: medir la calidad de un conjunto de casos de prueba. Ejemplo: Cambiar un operador relacional en una instrucción. precio > precio < Se ejecuta tanto el código original como el código mutado frente a un conjunto de casos de prueba pudiendo obtener: Mutantes vivos: las salidas son las mismas. Mutantes muertos: las salidas son distintas. Mutantes erróneos: se produce algún fallo durante la ejecución. 4 / 42

6 Introducción 5 / 42

7 Herramientas existentes Ya existía una herramienta que nos permitía evaluar la calidad de los mutantes. Problema existente: los casos de prueba había que generarlos a mano. Ahora se empieza a trabajar en mejorar la calidad de los casos de prueba y la automatización de su generación. TestGenerator En un Proyecto Fin de Carrera anterior, se decide realizar una prueba de concepto generando aleatoriamente los casos de prueba. Se crea un lenguaje para definir los tipos de datos que compondrán los casos de prueba. Se implementa TestGenerator, un generador aleatorio de datos. 6 / 42

8 Herramientas existentes Ya existía una herramienta que nos permitía evaluar la calidad de los mutantes. Problema existente: los casos de prueba había que generarlos a mano. Ahora se empieza a trabajar en mejorar la calidad de los casos de prueba y la automatización de su generación. TestGenerator En un Proyecto Fin de Carrera anterior, se decide realizar una prueba de concepto generando aleatoriamente los casos de prueba. Se crea un lenguaje para definir los tipos de datos que compondrán los casos de prueba. Se implementa TestGenerator, un generador aleatorio de datos. 6 / 42

9 Trabajo propuesto GAmeraHOM-ggen Mejorar la calidad del conjunto de casos de prueba generado de forma aleatoria. Realizarlo bajo el proceso marcado por un algoritmo genético. Objetivo: Obtener un nuevo conjunto de casos de prueba que maten al mayor número de mutantes posibles. 7 / 42

10 Subobjetivos Poder trabajar con los diferentes tipos que usan las composiciones en las que se trabajan actualmente en el grupo. Definir un fichero de configuración. Codificar los casos de prueba adecuadamente. Implementar los operadores necesarios de mutación y cruce genéticos y de selección y los generadores de nuevos individuos. Implementar los diferentes criterios de parada del algoritmo. Presentar los resultados en un formato compatible con las herramientas del grupo UCASE. 8 / 42

11 Etapas Diagrama de Gantt (I) 9 / 42

12 Etapas Diagrama de Gantt (II) 10 / 42

13 Etapas Diagrama de Gantt (III) 11 / 42

14 Esquema general 12 / 42

15 Requisitos de implementación Requisitos de implementación El lenguaje a utilizar deberá ser Java. Realización de pruebas unitarias mediante JUnit. El uso de un entorno de integración continua. Configuración de los parámetros de entrada con un fichero YAML. 13 / 42

16 Integración de la herramienta en el sistema actual GAmera es la herramienta para la generación y ejecución automática de mutantes para composiciones de Servicios Web en WS-BPEL. Está constituida por tres componentes principales. Arquitectura de GAmera 14 / 42

17 Conceptos básicos de algoritmos genéticos Individuo Nuestro individuo será cada uno de los casos de prueba. Codificado de la forma tipo y valor. Trabajará con los tipos de las composiciones actuales: Enteros. Flotantes. Cadenas. Listas. Tuplas. Población También llamado generación. Un conjunto de individuos forman una población. 15 / 42

18 Conceptos básicos de algoritmos genéticos Individuo Nuestro individuo será cada uno de los casos de prueba. Codificado de la forma tipo y valor. Trabajará con los tipos de las composiciones actuales: Enteros. Flotantes. Cadenas. Listas. Tuplas. Población También llamado generación. Un conjunto de individuos forman una población. 15 / 42

19 Estructura individuo Estructura general Estructura simple Estructura más compleja 16 / 42

20 Proceso seguido por el algoritmo genético 17 / 42

21 Crear población inicial 18 / 42

22 Crear población inicial Se leen los tipos y restricciones de cada una de las variables del fichero spec. Se genera usando TestGenerator un dato para cada variable de manera aleatoria. Juntos definen un caso de prueba. Repetimos el proceso para el tamaño de población correspondiente. 19 / 42

23 Calcular fitness 20 / 42

24 Calcular fitness Fitness Es un valor que nos informará de cuánto de bueno es un individuo. Fitness(I) = M j=1 t ij T t ij i=1 Es función del número de mutantes que mate. También debemos tener en cuenta el número de casos de prueba que maten a dicho mutante. 21 / 42

25 Ejemplo - Cálculo del fitness Matriz de ejecución E = (MxT ) = Las aptitudes de los 4 individuos son: F(I 1 ) = 1/3 + 1/ /2 = 5/6 F(I 2 ) = 0/3 + 0/ /2 = 0/6 F(I 3 ) = 1/3 + 0/ /2 = 5/6 F(I 4 ) = 1/3 + 1/ /2 = 8/6 22 / 42

26 Ejemplo - Cálculo del fitness Matriz de ejecución E = (MxT ) = Las aptitudes de los 4 individuos son: F(I 1 ) = 1/3 + 1/ /2 = 5/6 F(I 2 ) = 0/3 + 0/ /2 = 0/6 F(I 3 ) = 1/3 + 0/ /2 = 5/6 F(I 4 ) = 1/3 + 1/ /2 = 8/6 22 / 42

27 Comprobar criterios de parada 23 / 42

28 Comprobar criterios de parada Contador de generaciones Comprobar si se ha alcanzado un número de generaciones prefijado. Matar a un porcentaje de mutantes Objetivo principal de la herramienta. Estancamiento en la evolución del fitness máximo Comprobar si de manera consecutiva el fitness del mejor individuo no ha mejorado durante un número de generaciones prefijado. Estancamiento en la evolución del fitness medio Comprobar si de manera consecutiva la media del fitness de una población no ha mejorado durante un número de generaciones prefijado. 24 / 42

29 Generar nuevos individuos 25 / 42

30 Generar nuevos individuos Generador uniforme Se generan nuevos individuos sin atender a características de generaciones anteriores. Porcentaje de nuevos individuos definido en el fichero de configuración. 26 / 42

31 Seleccionar individuos población anterior 27 / 42

32 Seleccionar individuos Selector Porcentaje individuos a seleccionar por cada método definido en el fichero de configuración. La suma de los porcentajes definidos debe ser obligatoriamente uno. 28 / 42

33 Métodos de selección Selección uniforme Se selecciona un individuo de forma aleatoria, siguiendo una distribución uniforme. No influye el fitness que posea el individuo para su elección. Selección por ruleta 29 / 42

34 Aplicar operadores genéticos 30 / 42

35 Aplicar operadores genéticos Operadores genéticos Probabilidad de uso de cada operador definido en el fichero de configuración. La suma de los porcentajes definidos debe ser obligatoriamente uno. 31 / 42

36 Operadores disponibles Ejemplo cruce Ejemplo mutación 32 / 42

37 Mutación Mutación de entero o flotante valornuevo = valorantiguo ± tammutacion tammutacion = 1/probabilidad constmutacion Aleatorio(0 1) Mutación de una cadena Se genera un nuevo valor válido. Mutación de una lista Se cambia el tamaño de la lista de la siguiente forma: valornuevo = 1/probabilidad numeltos Aleatorio(0 1) Mutación de una tupla No se mutan. 33 / 42

38 Mutación Mutación de entero o flotante valornuevo = valorantiguo ± tammutacion tammutacion = 1/probabilidad constmutacion Aleatorio(0 1) Mutación de una cadena Se genera un nuevo valor válido. Mutación de una lista Se cambia el tamaño de la lista de la siguiente forma: valornuevo = 1/probabilidad numeltos Aleatorio(0 1) Mutación de una tupla No se mutan. 33 / 42

39 Mutación Mutación de entero o flotante valornuevo = valorantiguo ± tammutacion tammutacion = 1/probabilidad constmutacion Aleatorio(0 1) Mutación de una cadena Se genera un nuevo valor válido. Mutación de una lista Se cambia el tamaño de la lista de la siguiente forma: valornuevo = 1/probabilidad numeltos Aleatorio(0 1) Mutación de una tupla No se mutan. 33 / 42

40 Mutación Mutación de entero o flotante valornuevo = valorantiguo ± tammutacion tammutacion = 1/probabilidad constmutacion Aleatorio(0 1) Mutación de una cadena Se genera un nuevo valor válido. Mutación de una lista Se cambia el tamaño de la lista de la siguiente forma: valornuevo = 1/probabilidad numeltos Aleatorio(0 1) Mutación de una tupla No se mutan. 33 / 42

41 Ejemplo de fichero de configuración YAML Fichero YAML - Parte I populationsize: 6 seed: 42 executor:!!gamera.exec.bpelexecutor testsuite: LoanApprovalRPC/loanApprovalProcess-velocity.bpts originalprogram: LoanApprovalRPC/loanApprovalProcess.bpel outputfile: LoanApprovalRPC/loanApprovalProcess.bpel.out geneticoperators: -!!gamera.ggen.genetic.crossoveroperator {probability: 0.4} -!!gamera.ggen.genetic.mutationoperator {constantmutation: 10, probability: 0.6} individualgenerators:!!gamera.ggen.generate.uniformgenerator {} : {percent: 0.2} 34 / 42

42 Ejemplo de fichero de configuración YAML Fichero YAML - Parte II selectionoperators:!!gamera.ggen.select.uniformrandomselection {} : {percent: 0.3}!!gamera.ggen.select.RouletteSelection {} : {percent: 0.7} terminationconditions: -!!gamera.ggen.term.percentallmutantscondition {percent: 0.95} -!!gamera.ggen.term.generationcountcondition {count: 5} -!!gamera.ggen.term.stagnationmaximumfitness {count: 3} -!!gamera.ggen.term.stagnationaveragefitness {count: 3} loggers: -!!gamera.ggen.log.messagelogger {console: true, file: } -!!gamera.ggen.log.hoflogger {console: false, file: hof.txt} 35 / 42

43 Ejemplo de fichero de configuración YAML Fichero YAML - Parte III parser:!!testgen.parsers.spec.specparser {spec: LoanApprovalRPC/data.spec} formatter:!!testgen.formatters.velocityformatter {} generator:!!testgen.generators.uniformrandomgenerator {} individuals: - [4,1,3] - [7,1,3] - [11,1,1] - [13,2,1] - [16,2,1] - [25,5,1] 36 / 42

44 Jenkins Jenkins 37 / 42

45 Sonar Sonar 38 / 42

46 Demostración práctica 39 / 42

47 Concesión de un préstamo 40 / 42

48 Conclusiones Conclusiones y resultados obtenidos Satisfacción del grupo con los resultados obtenidos. Mejora en la calidad de los casos de prueba que se pueden obtener. Automatización de la generación. Alto grado de satisfacción personal. Trabajo en equipo. Conocimiento en multitud de tecnologías y herramientas, en principio desconocidas. Trabajo futuro Estudios estadísticos sobre la calidad de los casos de prueba generados. Implementar nuevos operadores genéticos. Por ejemplo el cruce a partir de más de un punto. 41 / 42

49 Conclusiones Conclusiones y resultados obtenidos Satisfacción del grupo con los resultados obtenidos. Mejora en la calidad de los casos de prueba que se pueden obtener. Automatización de la generación. Alto grado de satisfacción personal. Trabajo en equipo. Conocimiento en multitud de tecnologías y herramientas, en principio desconocidas. Trabajo futuro Estudios estadísticos sobre la calidad de los casos de prueba generados. Implementar nuevos operadores genéticos. Por ejemplo el cruce a partir de más de un punto. 41 / 42

50 Gracias por su atención 42 / 42