Maestría en Ingeniería de Software Departamento de Informática Universidad Nacional de San Luis Tópicos de Ingeniería a Web Contenidos Parte II Aseguramiento de Calidad Teoría de Métricas Teoría de Indicadores Dr. Luis Olsina GIDIS, Facultad de Ingeniería, UNLPam, La Pampa - Argentina TE 02302 430497 Ext. 650 E-mail olsinal@ing.unlpam.edu.ar Esquema Aseguramiento de Calidad Teoría de Métricas Teoría de Indicadores
Qué es la Calidad? Calidad The totality of characteristics of an entity that bears on its ability to satisfy stated or implied needs (según ISOIEC 926-) ) La totalidad de características de un ente que tiene que ver con (influencia en, afecta a) la capacidad de satisfacer necesidades explícitas o implícitas Características Usabilidad, Funcionalidad, Confiabilidad Qué es Modelo de Calidad? Modelo de Calidad The set of characteristics and the relationships between them which provide the basis for specifying quality requirements and evaluating quality (según ISOIEC 926-) ) El conjunto de características y las relaciones entre las mismas, que proveen la base para especificar requerimientos de calidad y evaluar calidad.
Modelo de Calidad (ISO/IEC 926-) ) Características Software Quality Functionality Reliability Usability Efficiency Maintainability Portability Suitability Accuracy Interoperability Security Compliance Maturity Fault Fault Tolerance Recoverability Compliance Understandability Learnability Operability Attactiveness Compliance Time Time behaviour Resource utilization Compliance Analysability Changeability Stability Testeability Compliance Adaptability Instalability Co-existence Replaceability Compliance Subcaracterísticas ISO 926: : Usabilidad Capacidad de ser comprendido, aprendido, operado y resultar atractivo para el usuario, cuando es usado en condiciones especificadas Comprensibilidad: permitir al usuario entender si es adecuado y cómo usarlo en tareas particulares y condiciones de uso Facilidad de Aprender: es fácil de aprender a usar la aplicación por el usuario? Operabilidad: facilidad de ser operado y controlado por el usuario Grado de Atractivo: capacidad del producto de ser atractivo para el usuario Conformidad: adhesión a estándares, normas, regulaciones y otras prescripciones de usabilidad
Aseguramiento de Calidad El Aseguramiento de Calidad del software, es el conjunto de actividades planificadas y sistemáticas necesarias para aportar que el producto (proceso,...) satisfará los requisitos explícitos e implícitos de Calidad El AC debe estar presente en: Métodos y herramientas de Análisis, Diseño, Programación y Testeo Control de la Documentación Métodos para Medición y Evaluación Registro de Auditorías e Informes Aseguramiento de Calidad Calidad del software Medición/Evaluación de Productos de software: necesidad de obtener datos cuantitativos que ayuden a mejorar la calidad A partir de Métricas Creación de Modelos de Calidad: : útiles para discutir, planificar y obtener indicadores de calidad Aplicación de Estándares de Calidad: directrices (prescripciones) para el aseguramiento externo e interno de la calidad ISO 926, etc.
ISO 2207 Procesos PROCESOS PRINCIPALES ADQUISICIÓN SUMINISTRO OPERACIÓN DESARROLLO MANTENIMIENTO PROCESOS DE SOPORTE DOCUMENTACIÓN GESTIÓN DE CONFIGURACIÓN ASEGURAMIENTO DE CALIDAD VERIFICACIÓN VALIDACIÓN REVISIÓN CONJUNTA AUDITORÍA RESOLUCIÓN DE PROBLEMAS PROCESOS ORGANIZACIONALES GESTIÓN INFRAESTRUCTURA MEJORA FORMACIÓN Proceso de Aseguram. de Calidad. Implementación del Proceso Establecer proceso de QA para el proyecto Desarrollar / Documentar / Ejecutar Plan de QA Coordinar con procesos de Verificación, Validación, Revisión Conjunta y Auditoría 2. Aseguramiento del Producto Asegurar que: Planes están/son Documentados/ Conformes/Ejecutados Productos/Documentación Conformes Productos se pueden entregar y ser aceptados por el Adquirente 3. Aseguramiento del Proceso Asegurar que: Procesos empleados son conformes Prácticas de ingeniería interna conformes Requerimientos primarios son pasados a lo subcontratistas Se proporciona soporte a las otras partes Se dispone de personal entrenado y de entrenamiento 4. Aseguramiento del Sistema de Calidad Gestión de calidad adicional por ISO 900
Esquema Aseguramiento de Calidad Teoría de Métricas Teoría de Indicadores Conceptos para Métricas ENTIDAD ATRIBUTO CONCEPTO CALCULABLE (Calidad, Produ...) MODELO DE CONCEPTO METRICA (Directa e Indirecta) MEDICION, MEDIDA METODO (Medición, Cálculo) ESCALA / TIPO DE ESCALA UNIDAD...
Conceptos para Métricas ENTIDAD Un objeto que va a ser caracterizado mediante una medición de sus atributos [ISO-5939] 5939]. Una entidad puede ser física f tangible (p.ej. una computadora) o abstracta -intangible (p.ej. un programa software) Objetos de interés para el dominio de software son: Recurso, Proceso, Producto, Producto en uso?, Proyecto, Servicio Conceptos para Métricas ATRIBUTO Una propiedad mensurable, física f o abstracta, de una entidad [ISO 4598-] ]. el atributo puede ser interno o externo Tamaño o de código c fuente (atributo interno), precio (atributo externo). En nuestro caso, enlaces internos rotos... El atributo se puede medir (cuantificar) por medio de una métrica directa o indirecta.
Conceptos para Métricas CONCEPTO CALCULABLE Es una relación abstracta entre atributos de una o más entidades, y una necesidad de información [ISO- 5939]. Ejemplos de conceptos calculables son: para nuestro caso Calidad, Costo, Accesibilidad, Calidad en Uso,... Evaluar o predecir dicho concepto, desde una perspectiva de usuario. Gerente, Desarrollador, Usuario final,, etc. Conceptos para Métricas MODELO de CONCEPTO El conjunto de subconceptos y las relaciones entre ellos, que sirven de base para una ulterior evaluación o estimación. Ej. Características y/o subcaracterísticas y sus relaciones que proveen las bases para modelar Calidad. Una característica puede estar conformada por subcaracterísticas y atributos. El modelo puede ser fijo (estándar, como ISO 926-), ), propio o mixto.
Modelo de Calidad (ISO/IEC 926-) ) Software Quality Functionality Reliability Usability Efficiency Maintainability Portability Suitability Accuracy Interoperability Security Compliance Maturity Fault Fault Tolerance Recoverability Compliance Understandability Learnability Operability Attactiveness Compliance Time Time behaviour Resource utilization Compliance Analysability Changeability Stability Testeability Compliance Adaptability Instalability Co-existence Replaceability Compliance Modelo Conceptual para Métricas NecesidadDeInformación descripción descri be subconcepto 0..*..* especificado_por 0..* ModeloDeConcepto especificación referencias subenti dad combina ConceptoMedible descripción 0..* Entidad descripción..* Una entidad puede ser un Proceso, Producto, Recurso, Proy ecto o Serv icio. asociado_con..*..* Atributo palabrasclave/alias definición nivelindependencia ti po = {interno, externo} Escala <<enum>> tipoescala MétricaDirecta cuantif ica..* contiene calculada_por Función especifi cación referida_a Métrica interpretaciónvalor objetivo/motivación tiporecoleccióndatos referencias tipovalor = {Símbolo, Integer, Float} precisión MétricaIndirecta 0..* Medición produce Medida fechayhora valor tipoescala={nominal, Ordinal Restringida, Ordinal no Restringida, Interv alo, Proporción, Absoluta} métri cas_relaci onad ver_también 0..* 2..* EscalaCategórica valorespermitidos EscalaNumérica expresada_en tipo = {continua, discreta}..* Unidad descripción incluye Herramienta descripción versión proveedor automatizado_por Método 0..*..* especificación MétodoDeCálculo MétodoDeMedición tipo = {Objetivo, Subjetivo}
Conceptos para Métricas METRICA Es la correspondencia de un dominio empírico (mundo real) a un mundo formal, matemático. La medida incluye al valor numérico o nominal asignado al atributo de un ente por medio de dicha correspondencia. [Fenton] Juan es más alto que María sí y sólo sí M(Juan)>M(María) Conceptos para Métricas METRICA El método de medición n y cálculoc definido y la escala de medición Semejante a [ISO 4598-]. ]. Ej. Cantidad (o porcentaje) de enlaces rotos MEDICION Actividad que usa la definición n de la métrica m para producir el valor de una medida.» Se realiza en una determinada fecha, hora... MEDIDA Número o categoría a asignada a un atributo de una entidad mediante una medición [ISO 4598-] ]
Conceptos para Métricas METRICA DIRECTA Una métrica m de un atributo que no depende de ninguna métrica de otro atributo. Cantidad de Enlaces Rotos Internos Medidos por la presencia de errores del tipo 404, (40?) Cantidad de Imágenes con Texto Alternativo Medido por la presencia de la etiqueta ALT (con texto no nulo) en cada una de las imágenes vinculadas a las páginas de un sitio Web Conceptos para Métricas METRICA INDIRECTA Una métrica de un atributo que se deriva de una o más s métricas m de otros atributos. Se formaliza por medio de una Función de Medición (Fórmula, Ecuación). Función n de Medición: : Un algoritmo o cálculo c que permite combinar dos o más m métricas.
Ejemplos de Métricas Indirectas Porcentaje de Enlaces Rotos de un Sitio CantidadEnlacesRotosInternos + CantidadEnlacesRotosExternos PorcentajeEnlacesRotos = 00 CantidadTotalEnlaces Porcentaje de Presencia de la propiedad ALT. PorcentajePresenciaALT = CantidadImágenesALT CantidadTotalImágenes 00 Conceptos para Métricas METODO (de MEDICION, CALCULO) Secuencia lógica l de operaciones y potenciales heurísticas, expresadas de forma genérica, que permite la realización n de una descripción n de actividad. El tipo de métodom de medición n va a depender de la naturaleza de las operaciones utilizadas para cuantificar el atributo. Pueden distinguirse dos tipos: Subjetivo: Cuando la cuantificación n supone un juicio realizado por un ser humano. Objetivo: Cuando la cuantificación n está basada en métodos m numéricos.
Conceptos para Métricas INSTRUMENTO (Herramienta de Sw) Instrumento (o herramienta de software) que automatiza parcial o totalmente a un métodom de medición n o cálculoc lculo. Doctor HTML: : Imagiware [http://www2.imagiware.com/rxhtml[ http://www2.imagiware.com/rxhtml]; web-based based y off-line; Analizador de Errores y Fallas, HTML tags, Performance, etc. LIFT: : UsableNet.com [http://www.usablenet.com/lift_onsite[ http://www.usablenet.com/lift_onsite/]; /]; web- based y off-line, con ranking; Analizador de Errores y Fallas, HTML tags, Imágenes, Performance, test de Accesibilidad, etc. LinkBot: WatchFire [http://www.watchfire.com/solutions/linkbot.asp[ http://www.watchfire.com/solutions/linkbot.asp]; off-line, con ranking; Analizador de Errores y Fallas, Performance, HTTP códigos c de estado, etc. Herramienta de reparación. Conceptos para Métricas Escala Un conjunto de valores con propiedades definidas [ISO 4598-]. ]. Escala Numérica» Continua» Discreta Escala Categórica Tipos de Escala Nominal, Ordinal, Intervalo...
Conceptos para Métricas UNIDAD (para escalas numéricas) UNIDAD Una cantidad particular, definida y adoptada por convención, n, con la que se pueden comparar otras cantidades de la misma clase para expresar sus magnitudes respecto a esa cantidad particular [ISO-5939] Ejemplos: LOC, bytes, palabras, links... Modelo Conceptual para Métricas NecesidadDeInformación descripción descri be subconcepto 0..*..* especificado_por 0..* ModeloDeConcepto especificación referencias subenti dad combina ConceptoMedible descripción 0..* Entidad descripción..* Una entidad puede ser un Proceso, Producto, Recurso, Proy ecto o Serv icio. asociado_con..*..* Atributo palabrasclave/alias definición nivelindependencia ti po = {interno, externo} Escala <<enum>> tipoescala MétricaDirecta cuantif ica..* contiene calculada_por Función especifi cación referida_a Métrica interpretaciónvalor objetivo/motivación tiporecoleccióndatos referencias tipovalor = {Símbolo, Integer, Float} precisión MétricaIndirecta 0..* Medición produce Medida fechayhora valor tipoescala={nominal, Ordinal Restringida, Ordinal no Restringida, Interv alo, Proporción, Absoluta} métri cas_relaci onad ver_también 0..* 2..* EscalaCategórica valorespermitidos EscalaNumérica expresada_en tipo = {continua, discreta}..* Unidad descripción incluye Herramienta descripción versión proveedor automatizado_por Método 0..*..* especificación MétodoDeCálculo MétodoDeMedición tipo = {Objetivo, Subjetivo}
Conceptos para Métricas ESCALA / TIPOS DE ESCALA Un conjunto de valores con propiedades definidas [ISO 4598-]. ]. Una escala puede ser clasificada de acuerdo a los siguientes Tipos de Escala: : Nominal, Ordinal restringida, Ordinal no restringida, Intervalo, Proporción, Absoluta. Cada tipo de escala determina las transformaciones admisibles, el tipo de operaciones matemáticas, ticas, y los análisis estadísticos sticos que pueden aplicarse sobre el conjunto de valores de la escala. Métricas: Tipos de Escala Tipo de Transformación Estadísticas Ejemplos Escala Admisible Significativas Nominal Equivalencia uno-a-uno Moda, Frecuencia Clasificación, Test no paramétricos etiquetado Ordinal Funciones monotónicas Mediana, Spearman y Grado de disponibilidad, incrementales Kendall Tau, W funcionalidad, Test no paramétricos complejidad, etc. (Todo lo previo) Intervalo m = a m + b Media Aritmética, Temperatura (Celsius, Desvío estándar Fahrenheit) Tiempos Coef. de correlación de relativos, etc. Pearson Test no paramétricos (Todo lo previo) Proporción m = a m Porcentajes, Media Preferencia de calidad, Geométrica tamaño (LOC), Test paramétricos y no longitud, etc. paramétricos (Todo lo previo) Absoluta m = m (Identidad) (Todo lo previo) Conteo
Métricas: Tipos de Escala Tipo de Escala Nominal En un tipo de escala nominal el sistema relacional empírico consta sólo de categorías diferentes. Cualquier número o símbolo distinto para cada categoria es una medida aceptable, pero no existe orden o noción de magnitud asociado a cada número o símbolo. Ejemplo: mido las fallas de software si están en Especifación, Diseño o Codificación y puedo asignar, 2 y 3 para las fallas que se encontraron en cada tarea respectivamente, o simplemete A, B y C. Esta clasificación no nos permite determinar si un tipo de falla es más importante o no que otra. La transformación admisible para el tipo de escala nominal es el conjunto de todos los mapeos a. Métricas: Tipos de Escala Tipo de Escala Ordinal Le agrega orden a las categorías del tipo de escala nominal. El sistema relacional empírico está formado por categorías ordenadas con respecto a un atriburo. Cualquier mapeo que preserve el orden es aceptable. No tiene sentido ninguna operación aritmética sobre las categorías as. Ejemplo: Complejidad de Software.. Si defino trivial, simple, normal, complejo e inentendible, hay una relacion de orden implicito, mas complejo que el mapeo a números debe preservar este orden, podría ser, 2, 3, 4 y 5 o.5, 55,00, 0 y 240, cualquier mapeo que preserve el orden en el sistema numérico es valido.
Métricas: Tipos de Escala Tipo de Escala Intervalo Toma información acerca del tamaño de los intervalos que separan las categorías (escala o salto de una categoría a otra) Preserva el orden de las categorías Preserva la diferencia entre dos categorías pero no puedo hacer algunas operaciones sobre las mismas; es decir puedo sumar y restar pero no multiplicar o dividir. Ejemplo: medir la temperatura del aire en Fahrenheit. Puedo decir que hace 40 grados en NY y 80 en Miami. La diferencia tiene sentido, 40 grados, también si aumenta un grado en NY y Miami pero NO puedo decir que la temperatura en Miami es el doble que en NY, o que en NY es la mitad. El tipo de transformación admisible es de la forma: M = a * M + b. Métricas: Tipos de Escala Tipo de Escala de Proporción Es el tipo de escala más usado. Podemos hacer análisis con operadores de multiplicación y división, porcentajes, entre otros. Todas las operaciones aritméticas tienen sentido sobre las categorias. Ejemplo: La altura de una persona (Dos( veces más alto que) Se preserva el orden, el tamaño de intervalo y la proporción de las categorías. Hay un elemento cero, que representa la falta total de un atributo. Las categorías mapeadas deben comenzar en cero e incrementarse a intervalos regulares llamados unidades. El tipo de transformación admisible es de la forma: M = a * M.
Métricas: Tipos de Escala Tipo de Escala Absoluta Es la mas restriciva. La única transformación admisible es la identidad. Es decir, sólo hay un mapeo posible M = M. La medida es hecha (generalmente) contando elementos del conjunto de un atributo de una entidad El atributo tiene siempre la forma Número de ocurrencias del atributo X en la entidad E E Todo análisis aritmético tiene sentido. Ejemplo: Cantidad de Enlaces Rotos. Ejemplo de Atributos/Métricas Necesidad de Información: n: Evaluar la confiabilidad de enlaces para páginas p estáticas ticas de un sitio Web Entidad: Producto (sitio Web) Concepto Calculable: Confiabilidad de Enlaces Modelo para Confiabilidad de Enlaces (Link Reliability). Link Reliability // Atributos. Internal Broken Links (IBL).2 External Broken Links (EBL).3 Invalid Links (IL)
Ejemplo de Atributos/Métricas. Link Reliability // Atributos. Internal Broken Links (IBL) // Dos Posibles Métricas M para. a) #IBL Unidad: Enlace; Escala: Numérica, Enteros Tipo de Escala: Absoluta Tipo de Método M de Medición: Objetivo b) %IBL = (#IBL / #TL) * 00; Unidad: Normalizada a Porcentaje; Escala: Numérica, Reales Tipo de Escala: Absoluta Para Resaltar Las métricas (en el proceso de medición) ) NO pueden interpretar por sí solas a un concepto calculable (ej. Calidad) Necesidad de INDICADORES para obtener una Valuación (proceso de evaluación)
Esquema Aseguramiento de Calidad Teoría de Métricas Teoría de Indicadores Conceptos de Indicadores INDICADOR (ELEMENTAL, GLOBAL) CONCEPTO CALCULABLE (Calidad...) MODELO de CONCEPTO MODELO ELEMENTAL, GLOBAL CRITERIO de DECISION CALCULO, VALOR INDICADOR ESCALA / TIPO de ESCALA UNIDAD......
Conceptos de Indicadores INDICADOR El método de cálculoc y la escala definidos, además s del modelo y criterios de decisión con el fin de proveer una evaluación n o estimación n de un concepto calculable con respecto a una necesidad de información. Indicador Elemental Preferencia de Enlaces Rotos Internos (IBL_P) Indicador Global Preferencia en Confiabilidad de Enlaces (LR_P) Conceptos de Indicadores MODELO ELEMENTAL Algoritmo o función asociados a criterios de decisión que modela a un indicador elemental. Métrica Porcentaje de Enlaces Rotos Internos X = #Enlaces_Rotos_Int / #Total_Enlaces_del_Sitio Modelo de Indicador Elemental IE = (or 00%) si X = 0; IE = 0 (or 0%) si X >= X max ; otherwise IE = (X max X) / X max si 0 < X < X max
Conceptos de Indicadores MODELO GLOBAL Algoritmo o función asociados a criterios de decisión que modela a un indicador global. Ejemplo para Preferencia de Confiabilidad de Enlaces Modelo Aditivo Indicador Global = (Peso componente x Indicator Elemental) IG/P = P IE +...+ P n IE n Conceptos de Indicadores CRITERIO de DECISION Thresholds, targets, or patterns used to determine the need for action or further investigation, or to describe the level of confidence in a given results [ISO 5939]. Ejemplo de Criterio de Decisión Niveles de Aceptabilidad Insatisfactorio (rango 0-40) 0 Marginal (rango 40-70) Satisfactorio (rango 70-00)
Modelo Conceptual para Indicadores Para Resaltar Metrics are welcome when they are clearly needed and easy to collect lect and understand Utilidad de las Métricas Para Medición (objetiva, subjetiva) Especificar en el mundo numérico, la correspondencia de un atributo de un ente Operacionalizar Heurísticas Servir de base a Métodos Cuantitativos de Evaluación o Predicción. La métrica NO puede interpretar por sí sola un concepto calculable (Necesidad de INDICADORES)
Para Resaltar Indicators are ultimately the foundation for interpretation of information needs and decision-making. Utilidad de los Indicadores Mapeo del mundo numérico a otro Servir de base para cuantificar Conceptos Calculables para una Necesidad de Información Servir de base a Métodos Cuantitativos de Evaluación o Predicción Los indicadores ofrecen información para la toma de decisiones