Métricas según Tipos de Soluciones: MétricasExternas MétricasInternas Métricas Calidad en uso

Transcripción

1 Métricas según Tipos de Soluciones: MétricasExternas MétricasInternas Métricas Calidad en uso Resumen: El presente documento tiene por objetivo expresar una priorización tentativa de las Métricas Externas, Internas y En Uso según distintos tipos de soluciones, de manera de establecer criterios mínimos, en referencia a calidad de producto. Tomando en cuenta ISO : External Metrics ISO : Internal Metrics ISO : Quality in use Metrics Es importante tener en cuenta que la ISO/IEC 9126 es mencionada en el contexto de la Ley de Promoción de la Industria del Software como norma reconocida en Calidad de Producto.. Asimismo mencionar que la 9126 no es certificable en sí misma, sino a través de otra norma. En este caso la norma certificable es la ISO/IEC (no mencionada en ley porque anteriormente ambas estaban unificadas en 9126) que utiliza como guía la norma ISO/IEC 9126 que define un modelo de Calidad de Software (u otro Modelo de Calidad) Contenido!" # $ % $ & ' $ ( ' ) * ( Página 1 de 22

2 + * ANEXO A: ISO : CALIDAD DE PRODUCTO- MODELO DE CALIDAD $ FUNCIONALIDAD (FUNCTIONALITY) CONFIABILIDAD (RELIABILITY) USABILIDAD (USABILITY) EFICIENCIA (EFFICIENCY) MANTENIMIENTO (MAINTAINABILITY) PORTABILIDAD (PORTABILITY) Histórico del documento 1. Referencias / Bibliografía Referencia ISO/ IEC ISO/IEC 9126 Descripción / Comentario Tecnología de la Información- Ingeniería de Software- Evaluación del producto de Software Consta de las siguientes partes: : Descripción General : Planificación y Gestión : Proceso para Desarrolladores (mejora) : Proceso para Compradores (adquisición) : Proceso para evaluadores (evaluación independiente, de terceras partes) : Documentación de los módulos de evaluación ISO 9126: Ingeniería de Software Calidad de Producto Consta de las siguientes partes: ISO : Modelo de Calidad. Características y subcaracterísticas asociadas de calidad. ISO : Métricas externas ISO : Métricas internas ISO : Métricas de calidad en uso Página 2 de 22

3 2. Definición de Términos, Abreviaturas, Símbolos Modelo de calidad Características y subcaracterísticas de calidad Atributo Calidad Calidad externa Es posible armar los requisitos de calidad en términos de características básicas de calidad, que pueden descomponerse en subcaracterísticas, y estas a su vez en atributos medibles y a chequear contra el producto, formando en su conjunto el Modelo de calidad. Es en resumen, el conjunto de características y las relaciones entre ellas que proporcionan la base para especificar los requerimientos de calidad y la forma de evaluarla. Es posible armar los requisitos de calidad en términos de características básicas de calidad, que pueden descomponerse en subcaracterísticas, y estas a su vez en atributos medibles y a chequear contra el producto, formando en su conjunto el Modelo de calidad. Característica física o abstracta medible de una entidad La totalidad de características de un producto que determinan su capacidad de satisfacer necesidades explícitas e implícitas. Mide el comportamiento del sistema basado en computadora, que incluye al software. El grado en que un producto satisface las necesidades explícitas e implícitas cuando se usa bajo condiciones especificadas. Nota: Calidad externa se refiere en general a la calidad en el entorno final. Ejemplo: calidad usando el hardware y software general que ya está especificado. Calidad interna Mide el software en si mismo. Calidad en uso Métricas y Medidas Mide los efectos de usar el software en un contexto de uso específico. El grado en que un producto usado por usuarios especificados resuelve sus necesidades de alcanzar metas específicas con efectividad, productividad y satisfacción, en contextos especificados de uso. Esta definición es similar a la definición de usabilidad. Métrica: Objetivo a medir, Escala cuantitativa y el método de medición Medida: resultado de la medición Medida interna Una medida del producto en sí mismo. Ej. Número de líneas de código, medidas de complejidad, número de errores detectados sobre el código en una revisión, el índice FOG (índice de facilidad de lectura) son todas medidas internas hechas sobre el producto mismo. Página 3 de 22

4 Medida externa Una medida indirecta de un producto derivada de las medidas del comportamiento del sistema del cual forma parte (el sistema incluye no sólo el producto, sino el hardware, software y usuarios). Nota: En general se denominan medidas externas a aquellas que se realizan sobre el producto corriendo o funcionando en determinado ámbito. Ej.: El número de fallas encontradas durante la prueba es una medida externa del número de errores del programa, porque el número de fallas se cuenta durante la ejecución de un programa del sistema informático. Puntuación (rating) La acción de asignar el valor medido al nivel de puntuación apropiado. Se usa para determinar el nivel de puntuación asignado al software para una característica de calidad específica. 3. Objetivo El objetivo es expresar una priorización tentativa de las Métricas Externas, Internas y En Uso según distintos tipos de soluciones, de manera de establecer criterios mínimos, en referencia a calidad de producto. Tomando en cuenta ISO : External Metrics ISO : Internal Metrics ISO : Quality in use Metrics Es importante tener en cuenta que la ISO/IEC 9126 es mencionada en el contexto de la Ley de Promoción de la Industria del Software como norma reconocida en Calidad de Producto.. Asimismo mencionar que la 9126 no es certificable en sí misma, sino a través de otra norma. En este caso la norma certificable es la ISO/IEC (no mencionada en ley porque anteriormente ambas estaban unificadas en 9126) que utiliza como guía la norma ISO/IEC 9126 que define un modelo de Calidad de Software (u otro Modelo de Calidad) 4. Qué se propone? (Pasos a seguir) Se propone clasificar dos sets de metricas (enunciadas en este documento en los puntos: 9- Análisis Métricas Externas / Internas y 10- Análisis Métricas Calidad en Uso Marcando las que consideramos como mínimo necesarias Según distintos tipos de soluciones, descriptas en el punto: 5- Tipos de Soluciones 5. Tipos de Soluciones En forma tentativa / preliminar se propone utilizar la siguiente clasificación de tipos de soluciones que presenta Página 4 de 22

5 ! " # "$ % 6. Introducción sobre Métricas de Calidad de Software La ISO plantea un Modelo de Calidad basado en características y subcaracterísticas de calidad a ser evaluadas, identifica las mediciones directas e indirectas, identifica las métricas relevantes e interpreta de una manera objetiva. Las métricas internas pueden ser aplicables a un producto de software no ejecutable, durante sus estadios de desarrollo, tales como definición de requerimientos, especificación de diseño o código fuente. Proveen la posibilidad de medir la calidad de entregables intermedios y predecir la calidad final del producto. Esto permite identificar issues de calidad e iniciar accioens correctivas en forma mas temprana Las métricas externas pueden ser usadas para medir la calidad del Producto de software midiendo el comprotamiento del sistema del cual forma parte. Pueden ser solo tomadas o usadas durante la etapa de testing o durante los estados ya operativos. Las medidas son tomadas cuando ejecutamos el producto de software en el environment en el cual pretendemos que opere. Las métricas de calidad en uso miden de que forma el producto coincide con las necesidades de usuarios específicos y sus objetivos, tales como efectividad, productividad, seguridad y satisfacción, todo en un contexto específico de uso. Esto solo puede ser realizado en el environment real (producción) Las necesidades de calidad del usuario pueden ser especificadas en forma de requerimientos de calidad, por medio de las métricas de calidad en uso, por medio de las métricas de calidad externas, y algunas veces, por medio de las métricas de calidad internas. Estos requerimientos especificados por métricas deben ser usados como criterio cuando un producto es evaluado. En el caso de utilizar métricas internas es recomendado que se utilicen aquellas con fuerte relación con métricas externas, para que sirvan para predecir los valores de métricas externas, en un estadio mas temprano. Página 5 de 22

6 Página 6 de 22

7 7. Modelo de Calidad para Calidad Externa / Interna A continuación se describe el Modelo de Calidad (Características y Subcaracterísticas) propuesto por ISO/ IEC 9126 para Calidad Externa e Interna (Calidad de Producto- Modelo de Calidad) Dicha norma categoriza los atributos de calidad de software dentro de seis características: funcionalidad, confiabilidad, usabilidad, eficiencia, facilidad de mantenimiento y portabilidad, a las cuales las divide en subcaracterísticas. Además presenta una definición de cada característica y subcaracterística. Para cada característica y subcaracterística, la capacidad del software es determinada por un conjunto de atributos que pueden ser medidos. Se adjunta un diagrama y la explicación de cada categoría subcategoría: Página 7 de 22

8 8. Modelo de Calidad para Calidad En USO A continuación se describe el Modelo de Calidad propuesto por ISO/ IEC 9126 para Calidad en Uso Página 8 de 22

9 Página 9 de 22

10 9. Análisis Métricas Externas / Internas 9.1. Funcionalidad (Functionality) Adaptabilidad (Suitability) Functional Adequacy Functional Implementation Completeness Functional Implementation Coverage Functional Specification Stability (Volatility) Precisión (Accuracy) Accuracy to expectation Computational Accuracy Precision Inter-operación Capacidad para interactuar (Interoperatbility) Data Exchangeability (Data format based) Data Exchangeability (User s success attempt based) Seguridad (Security) Access Auditability Access Controllability Data Corruption Prevention Compatibilidad en Funcionalidad (Functionality Compliance) Functional Compliance Interface Standard Compliance. Página 10 de 22

11 9.2. Confiabilidad (Reliability) Madurez (Maturity) Estimated latent fault density Failure Density against test cases Failure Resolution Fault Density Fault Removal Mean Time between failures (MTBF) Test Coverage (Specified operation scenario testing coverage) Test Maturity Tolerancia a Fallas (Fault tolerance) Breakdown Avoidance Failure Avoidance Incorrect Operation Avoidance Recuperación Capacidad de recuperación (Recoverability) Availability Mean down time Mean recovery time Restartability Restorability Restore effectiveness Compatibilidad en Confiabilidad (Reliability Compliance) Reliability Compliance. Página 11 de 22

12 9.3. Usabilidad (Usability) Entendible (Understandability) Completeness of description Demostration accessibility Demostration accessibility in use Demostration effectiveness Evident functions Function understand-ability Understandable input and output Aprendizaje Capacidad para ser aprendido (Learnability) Ease of function learning Ease of learning to perform a task in use Effectiveness of the user documentation and/or help system Effectiveness of the user documentation and/or help systems in use Help accessibility Help frequency. Página 12 de 22

13 Operación - Capacidad de Operación (Operability) (A) Conforms with operational user expectations Operational consistency in use (B) Controlable Error correction Error correction in use (C) Suitable for the task operation Default value availability in use (D) Self descriptive (Guiding) Message understand-ability in use Self explanatory error messages (E) Operational error tolerant (Human error free) Operational error recoverability in use Time between human error operations in use Undoability (Use error correction) (F) Suitable for individualisation Customisability Operation procedure reduction Physical accessibility Atractivo Capacidad de ser atractivo (Attractiveness) Attractive Interaction Interface appearance customisability Compatibilidad en Usabilidad (Usability Compliance) Usability Compliance Eficiencia (Efficiency) Performance - Comportamiento en Tiempo (Time Behaviour) Response Time Response Time (Mean Time to response) Response Time (Worst case response time ratio). Página 13 de 22

14 (B) Throughput Throughput Throughput (Mean amount of throughput) Throughput (Worst case througnput ratio) (C) Turnaround Time Turnaround time Turnaround time (Mean time for turnaround) Turnaround time (Worst case turnaround time ratio) Waiting time Utilización de Recursos (Resource Utilisation) (A) I/O Devices resource utilization I/O devices utilisation I/O loading limits I/O related errors Mean I/O fulfilment ratio User waiting time of I/O devices utilisation (B) Memory resource utilization Maximum memory utilisation Mean occurrence of memory error Ratio of memory error/time (C) Transmission resource utilization Maximum transmission utilisation Media device utilisation balancing Mean occurrence of transmission error Mean of transmission error per time Transmission capacity utilisation Compatibilidad en Eficiencia (Efficiency Compliance) Efficiency Compliance. Página 14 de 22

15 9.5. Mantenimiento (Maintainability) Diagnóstico - Capacidad para ser analizado / diagnosticado (Analysability) Audit trail capability Diagnostic function support Failure analysis capability Failure analysis efficiency Status monitoring capability Cambios - Capacidad de ser cambiado / modificado (Changeability) Chance cycle efficiency Change implementation elapse time Modification complexity Parametrised modifiability Software change control capability Estabilidad (Stability) Change success ratio Modification impact localisation (Emerging failure after change) Testing Capacidad de ser testeado (Testeability) Availability of built-in test function Re-test efficiency Test restartability Compatibilidad en Mantenimiento (Maintainability Compliance) Maintainability compliance Portabilidad (Portability) Adaptabilidad (Adaptability) Adaptability of data structures Hardware environmental adaptability Organisational environment adaptability (Organisation adaptability to infrastructure of organisation) Porting user friendliness System software environmental adaptability. Página 15 de 22

16 Instalación Capacidad para ser instalado (Installability) Ease of installation Ease of Setup retry Coexistencia Capacidad para coexistir (Co-existence) Available co-existance Upgrades / Reemplazo Capacidad para reemplazar (Replaceability) Continued use of data Function inclusiveness User support functional consistency Compatibilidad en Portabilidad (Portability Compliance) Portability compliance. 10. Análisis Métricas Calidad en Uso 9.1 Effectiveness Metrics Task effectiveness (What proportion of the goals of the task is achieved correctly?) Método : User test Task Completion (What proportion of the tasks is completed?) Método: User test Error frequency (What is the frequency of errors?) Método: User test Productive proportion (What proportion of the time is the user performing productive actions?) Método: User test How efficient is a user compared to an expert? Método: User test 9. 2 Productivity Metrics Task Time (How long does it take to complete a task?) Método: User test Task Efficiency (How efficient are the users?) Método: User test Economic Productivity (How cost effective is the user?) Método: User test Productive proportion (What proportion of the time is the user performing productive actions?) Método: User test How efficient is a user compared to an expert? Método: User test 9. 3 Safety Metrics Página 16 de 22

17 9.3.1 User health and safety (What is the incidence of health problems among users of the product?) Método: Usage statistics Safety of people affected by use of the system (What is the incidence of hazard to people affected by use of the system?) Método: Usage statistics Economic Damage (What is the incidence of economic damage?) Método: Usage statistics Software Damage (What is the incidence of software damage?) Método: Usage statistics 9. 4 Satisfaction Metrics Satisfaction scale (How satisfied is the user?) Método: User test Satisfaction questionnaire(how satisfied is the user with specific software features?) Método: User test Discretionary usage(what proportion of potential users choose use the system?) Método: Observation of usage Página 17 de 22

18 11. ANEXO A: ISO : CALIDAD DE PRODUCTO- MODELO DE CALIDAD A continuación se describe el Modelo de Calidad (Características y Subcaracterísticas) propuesto por ISO/ IEC 9126 (Calidad de Producto- Modelo de Calidad) Dicha norma categoriza los atributos de calidad de software dentro de seis características: funcionalidad, confiabilidad, usabilidad, eficiencia, facilidad de mantenimiento y portabilidad, a las cuales las divide en subcaracterísticas. Además presenta una definición de cada característica y subcaracterística. Para cada característica y subcaracterística, la capacidad del software es determinada por un conjunto de atributos que pueden ser medidos. Se adjunta un diagrama y la explicación de cada categoría subcategoría: FUNCIONALIDAD (FUNCTIONALITY) Es la capacidad del software para proveer características y funcionalidades que se corresponden con requerimientos especificados y requerimientos implícitos, cuando el software es usado bajo condiciones especificadas ADAPTABILIDAD (SUITABILITY): Página 18 de 22

19 Es la capacidad del producto de software para proveer un apropiado conjunto de funciones para tareas específicas y objetivos del usuario PRECISIÓN (ACCURACY): Es la capacidad del producto de software para proveer los resultados acordados o correctos con el nivel de precisión adecuado INTER-OPERACIÓN CAPACIDAD PARA INTERACTUAR (INTEROPERATBILITY): Es la capacidad del producto de software para interactuar con uno o más sistemas especificados SEGURIDAD (SECURITY): Es la capacidad del producto de software para proteger los datos e información para que, los usuarios o sistemas no autorizados no puedan leerla ni modificarla, y para que los usuarios y sistemas autorizados tengan permitido el acceso a ellos COMPATIBILIDAD EN FUNCIONALIDAD (FUNCTIONALITY COMPLIANCE): Es la capacidad del producto de software para adherir a stándares, convenios o regulaciones en ley, o similares, relatibos a funcionalidad CONFIABILIDAD (RELIABILITY) Es la capacidad del producto de software para mantener un nivel de performance especificado, cuando es usado bajo las condiciones especificadas MADUREZ (MATURITY) Es la capacidad del producto de software para evitar fallas como resultado de fallas generales o de software. (Ej. Filtro de errores) TOLERANCIA A FALLAS (FAULT TOLERANCE): Es la capacidad del producto de software para mantener un especificado nivel de performance, en caso de fallos en el software o en sus interfaces RECUPERACIÓN CAPACIDAD DE RECUPERACIÓN (RECOVERABILITY): Es la capacidad del producto de software para reestablecer un especificado nivel de performance y recuperar los datos afectados, en el caso de un fallo COMPATIBILIDAD EN CONFIABILIDAD (RELIABILITY COMPLIANCE): Es la capacidad del producto de software para adherir a estándares, convenios o regulaciones, relativos a confiabilidad. Página 19 de 22

20 11.3. USABILIDAD (USABILITY) Es la capacidad del producto de software para ser entendido, aprendido, usado (siendo atractivo para el usuario), cuando es usado bajo las condiciones especificadas ENTENDIBLE (UNDERSTANDABILITY) Es la capacidad del producto de software para permitir ser entendido por el usuario. Facilidad para el usuario de comprender como ser usado para tareas particulares. La documentación y las primeras impresiones son vitales para este objetivo APRENDIZAJE CAPACIDAD PARA SER APRENDIDO (LEARNABILITY) Es la capacidad del producto de software para permitir al usuario aprender la aplicación OPERACIÓN - CAPACIDAD DE OPERACIÓN (OPERABILITY) Es la capacidad del producto de software para permitir al usuario operar y controlarlo ATRACTIVO CAPACIDAD DE SER ATRACTIVO (ATTRACTIVENESS) Es la capacidad del producto de software para resultar atractivo al usuario COMPATIBILIDAD EN USABILIDAD (USABILITY COMPLIANCE) Es la capacidad del producto de software para adherir a estándares, convenios, guías de estilo, o regulaciones relativas a usabilidad EFICIENCIA (EFFICIENCY) Es la capacidad del producto de software para proveer la performance apropiada, relacionada con la cantidad de recursos usados, cuando es usado bajo las condiciones especificadas PERFORMANCE - COMPORTAMIENTO EN TIEMPO (TIME BEHAVIOUR) Es la capacidad del producto de software para proveer respuesta apropiada y tiempos de procesamiento y tasas de rendimiento, cuando ejecuta sus funciones, bajo las condiciones especificadas UTILIZACIÓN DE RECURSOS (RESOURCE UTILISATION) Es la capacidad del producto de software para usar los recursos apropiados y en la cantidad apropiada, cuando ejecuta sus funciones, bajo las condiciones especificadas COMPATIBILIDAD EN EFICIENCIA (EFFICIENCY COMPLIANCE) Es la capacidad del producto de software para adherir a estándares o convenios, relativos a eficiencia. Página 20 de 22

21 11.5. MANTENIMIENTO (MAINTAINABILITY) Es la capacidad del producto de software para ser modificado. Modificaciones pueden incluir correcciones de errores, mejoras, o adaptaciones al software, por cambios en el ambiente, en requerimientos y en especificaciones funcionales DIAGNÓSTICO - CAPACIDAD PARA SER ANALIZADO / DIAGNOSTICADO (ANALYSABILITY) Es la capacidad del producto de software para ser diagnosticado por fallas o errores. O para que las partes a ser modificadas puedan ser identificadas CAMBIOS - CAPACIDAD DE SER CAMBIADO / MODIFICADO (CHANGEABILITY) Es la capacidad del producto de software para permitir que una modificación especificada pueda ser implementada ESTABILIDAD (STABILITY) Es la capacidad del producto de software para modificación del software. evitar efectos inesperados, producto de una TESTING CAPACIDAD DE SER TESTEADO (TESTEABILITY) Es la capacidad del producto de software para permitir que una modificación pueda ser validada COMPATIBILIDAD EN MANTENIMIENTO (MAINTAINABILITY COMPLIANCE) Es la capacidad del producto de software para adherir a estándares o convenios, relativos a Mantenimiento PORTABILIDAD (PORTABILITY) Es la capacidad del producto de software de ser transferido de un ambiente a otro (por ambiente se entiende ambiente de hardware, software u organizacional) ADAPTABILIDAD (ADAPTABILITY) Es la capacidad del producto de software a ser adaptado para diferentes ambientes especificados, sin aplicar otras acciones / medios que aquellos provistos para este propósito por el mismo software (escalabilidad interna, tablas, volúmenes de transacciones, etc.) INSTALACIÓN CAPACIDAD PARA SER INSTALADO (INSTALLABILITY) Es la capacidad del producto de software para ser instalado en un ambientes especificado COEXISTENCIA CAPACIDAD PARA COEXISTIR (CO-EXISTENCE) Es la capacidad del producto de software para coexistir con otro software independiente, en un ambiente compartido, compartiendo recursos. Página 21 de 22

22 UPGRADES / REEMPLAZO CAPACIDAD PARA REEMPLAZAR (REPLACEABILITY) Es la capacidad del producto de software para ser usado en lugar de otro producto de software, para el mismo propósito, en el mismo ambiente. (Por ej. el reemplazo de una nueva versión de software) COMPATIBILIDAD EN PORTABILIDAD (PORTABILITY COMPLIANCE) Es la capacidad del producto de software para adherir a estándares o convenios, relativos a portabilidad. Página 22 de 22