Métricas, Criterios y Estrategias para Evaluar Calidad Web

Transcripción

1 JAIFI'02 Jornadas de Actualización en Informática de la Facultad de Ingeniería Métricas, Criterios y Estrategias para Evaluar Calidad Web Contenidos Componentes de Evaluación Clasificación de Métodos y Técnicas de Evaluación Modelos de Calidad / Métricas Un Met. de Inspección: WebQEM Otro: Evaluación Heurística Conclusiones Dr. Luis Olsina GIDIS, Dpto. de Informática, Facultad de Ingeniería, UNLPam olsinal@ing.unlpam.edu.ar 2002 GIDIS

2 Internet/Web Comparación de la Velocidad de Adopción de la Web respecto a otras Tecnologías Usuarios (Millones) Años para alcanzar 50 M de usuarios:: Radio = 38 TV = 13 Cable = 10 Internet/Web = 5 Radio TV Cable Internet/ Web

3 Orientación de los Productos Web Niveles de Orientación de las WebApps Orientación a Documentación Hypertexto (Tim Berners-Lee, 1992)» Catálogos,» Divulgación de Informes, etc. Orientación a Aplicación con Funcionalidad Sw» E-commerce» E-Banking» E-learning Diseñar Aplicaciones Web presenta Nuevos Desafíos Requerimientos Funcionales y no-funcionales Procesos de Desarrollo Procesos de Evaluación

4 Reciente Survey sobre WebApps Los Desarrollos de Proyectos Web: No cumplen las expectativas de negocio: 84% No disponen de la funcionalidad requerida: 53% Retraso en el desarrollo: 79% Sobrepaso del presupuesto: 63% Los productos son de baja calidad: 52% Fuente: Cutter Consortium, 2001

5 Beneficios de la Evaluación Beneficios Comprender, Analizar (los atributos de un ente) Controlar (la calidad del producto, ) Predecir (el tiempo y costo de un proyecto) Mejorar (la calidad de un producto, proceso ) Factores Calidad, Calidad en Uso, Productividad, Costo Fases del Ciclo de Vida del Software Exploración, Desarrollo, Mantenimiento.

6 Dilema Cuál es el método o técnica de evaluación apropiado para un problema dado? One size does not fit all needs and preferences Debemos buscar métodos y técnicas de evaluación, a veces complementarios

7 Esquema Componentes de Evaluación Clasificación de Métodos y Técnicas de Evaluación Modelos de Calidad / Métricas Un Método de Inspección: WebQEM Otro Método: Evaluación Heurística Conclusiones

8 Componentes en la Evaluación Requerimientos de Evaluación Captura Captura de Datos AnálisisAnálisis Recomendaciones

9 Componentes en la Evaluación Requerimientos de Evaluación Metas, Restricciones (Seguridad, Disponibilidad, etc.) Especificación de Requisitos, Definición de Criterios, Técnicas, Métricas Captura de Datos Recolección de Datos Análisis Automática, Semiautomática, Manual Técnicas Estadísticas, Visualización Gráfica, Tablas, etc. Interpretación de los datos. Recomendaciones Doc. de Conclusiones, Propuestas de Mejora

10 Esquema Componentes de Evaluación Clasificación de Métodos y Técnicas de Evaluación Modelos de Calidad / Métricas Un Método de Inspección: WebQEM Otro Método: Evaluación Heurística Conclusiones

11 Categorías Métodos de Evaluación Categorías de Métodos Testing Inspección Consulta (Inquiry) Modelado Analítico Simulación Los Métodos y Técnicas a Aplicar pueden ser: Cuantitativos versus Cualitativos Automáticos, Semiautomáticos o Manuales Desde Fácil a Difícil de Usar y Aprender

12 Tipos de Métodos de Evaluación Tipos de Métodos y Técnicas Protocolo Hablar en Voz Alta Análisis de Log Files Evaluación Heurística Revisión de Guías Inspección de Características y Atributos En cumplimiento de estándares (ISO 9126) Entrevistas Cuestionarios Análisis Cognitivo de Tareas Modelos Programables de Usuario,

13 Taxonomía de Métodos de Evaluación Clase de Método -- Testing -- Inspección -- Consulta,... axonomía e Métodos de valuación Tipo de Método -- Análisis de Log Files -- Evaluación Heurística -- Evaluación de Características,... Tipo de Automatización -- Manual -- Semi-Automático -- Automático Nivel de Esfuerzo -- Fácil de Usar, Aprender -- Efectivo, Preciso -- Rango de Aplicabilidad Fase -- Requerimientos -- Captura -- Análisis -- Recomendaciones

14 Ejemplo de Método de Evaluación Clase de Método -- Inspección Bobby w.cast.org/bobby Tipo de Método -- Revisión de Guías (W3C) Tipo de Automatización -- Automático Nivel de Esfuerzo -- Fácil de Usar, Aprender -- Relativamente Efectivo Fase -- Captura -- Análisis -- Recomendaciones

15 Descripción de Métodos de Evaluación Categoría: TESTING Protocolo Hablar en Voz Alta (Thinking Aload) Protocolo de Realizar Preguntas Testing de Performance del Sistema Análisis de Web Log Files Testing Remoto Testing de Código, Caja Negra y Caja Blanca Testing de Contenido Descripción Los usuarios conversan en voz alta durante el test, por ejemplo durante un test de Interface de Usuario. Extensión del anterior, en donde el tester pregunta al usuario Cuán rápido es el sistema? Y con carga? Y llevado a niveles de stress? El tester o el software analiza el registro de datos, que refleja lo que el usuario hizo Los testers y usuarios no están en el mismo lugar físico Se testean componenetes de software, revisando el código o simplemente la funcionalidad a partir de entradas/salidas Se prueba la relevancia, consistencia, precisión, etc. de los contenidos

16 Técnicas de Evaluación para Testing Testing de Performance del Sistema métricas como Tiempo de Respuesta, Rendimiento, etc. Testing de Performance del Usuario métricas como Tiempo para Completar una Tarea, Tasa de Exito para Completar Tareas (Success Rate) Análisis de Web Log Files métricas como Visitas por Páginas, Páginas por Visita Otras Técnicas de Testing

17 Descripción de Métodos de Evaluación Categoría: INSPECCION Revisión de Guías Evaluación Heurística Inspección Formal Inspección de Características Inspección de Estándares Descripción Los evaluadores (expertos) chequean la conformidad del producto con un conjunto de guías establecidas. Los expertos identifican violaciones a una lista de heurísticas. Es un método informal Se reúne un equipo de inspectores (tester, desarrollador,etc.) y chequean un producto Los evaluadores miden al ente a partir de atributos y características (Usabilidad, etc.) Los evaluadores valoran atributos de características para analizar la conformidad con estándares (ISO, CMM)

18 Técnicas de Evaluación para Inspección Revisión de Guías, Por ej., Guías de Accesibilidad WAI WEBCONTENT/ Evaluación Heurística, Por ej., J. Nielsen Inspección de Características Por ej., ISO 9126, métricas para Confiabilidad, Eficiencia, etc. WebQEM Otras Técnicas de Inspección

19 Descripción de Métodos de Evaluación Categoría: CONSULTA Observación de Campo, Entrevista Contextual Entrevista Cuestionarios Feedback del Usuariuo Grupos Focalizados Descripción Los evaluadores visitan el lugar de trabajo de los usuarios y observan su trabajo. Puede entrevistar a los mismos Es una sesión de discusión ente el usuario y el entrevistador. Estructurada, o no Es un instrumento de medición para captar por ej. Satisfacción del usuario, etc. Es un medio por el cual el usuario deja sus comentarios y sugerencias Grupo de cinco a diez usuarios, donde se discuten aspectos del producto. El evaluador juega el rol de moderador

20 Técnicas de Evaluación para Consulta Entrevistas Estructuradas, Semiestructuradas Surveys Cuestionarios Abiertos, Cerrados, etc. Retroalimentación de Usuarios Otras Técnicas de Consulta

21 Ingeniería Web Web Engineering is concerned with the establishment and use of sound scientific, engineering and management principles and disciplined and systematic approaches to the successful development, control, deployment and maintenance of high quality WebApps We should select the appropiate method(s) and practice(s) in the right place in order to Assure the Quality of WebApps One size does not fit all needs and preferences

22 Esquema Componentes de Evaluación Clasificación de Métodos y Técnicas de Evaluación Métricas / Modelos de Calidad Un Método de Inspección: WebQEM Otro Método: Evaluación Heurística Conclusiones

23 Aseguramiento de Calidad Calidad del software Medición de Productos de software: necesidad de obtener datos objetivos que ayuden a mejorar la calidad A partir de Métricas Creación de Modelos de Calidad: : útiles para discutir, planificar y obtener indicadores de calidad ISO 9126, etc.

24 Introducción a Métricas ENTIDAD objeto o evento del mundo real. ATRIBUTO característica o propiedad de una entidad. METRICA Valor o medida de un atributo obtenido a partir de algún criterio.

25 Introducción a Métricas: Entidad ENTIDAD Objeto o evento del mundo real - tangible o intangible. Tipos Recurso Proceso Producto (Ej. Producto -> > Sitio Web) Producto/Sistema en Uso

26 Introducción a Métricas: Entidad Entidad Recurso Proceso Producto Producto en Uso Sub-entidad Personas (Equipos) Software Hardware Oficina... Requerimiento Diseño Detallado Testing Mantenimiento Sitio o Aplicación Web (WebApps) Página Media (Gráfico, Audio, Video) Programas Especificaciones Diseño WebApps o componente Web en uso

27 Introducción a Métricas: Atributo ATRIBUTO Característica o propiedad de una entidad. Tipos Directos e Indirectos (Internos y Externos) Ejemplos Disponibilidad de Tabla de Contenidos Cantidad de Enlaces Rotos Porcentaje de Páginas Muertas Mantenimiento del Color en los Enlaces

28 Introducción a Métricas: Medida Qué es medir? Def. La medición es el proceso por el cual se asignan números o símbolos a los atributos de las entidades en el mundo real, de tal manera que las definan de acuerdo con reglas claramente establecidas [Fenton et al 97] Cuál es su utilidad? Puedo juzgar entidades conociendo sólo la medida (número) de sus atributos Qué se mide? Se miden atributos de entidades, NO entidades. Todo lo que es mensurable es mucho más fácil de juzgar y controlar

29 Introducción a Métricas: Medida MEDIDA (métrica, valor) correspondencia o mapeo de un dominio empírico (mundo real) a un mundo formal, matemático. Por lo tanto, una medida es un valor numérico o nominal asignado al atributo de un ente p medio de dicha correspondencia o mapeo.

30 Introducción a Métricas Métricas Automatizables Por Herramienta, para obtener los datos y cálculo. Métricas Semi-automatizables Métricas Manuales Observacionales.

31 Introducción a Métricas Métricas Directas Correspondencia directa, esto es, va de un atributo a un número, y usamos el número para responder preguntas o conjeturar sobre el mundo empírico. Métricas Indirectas Cuando un atributo debe ser medido por la combinación (asociación) de otros atributos.

32 Ejemplos de Métricas Directas Longitud del Texto del Cuerpo de una Página Medido por cantidad de palabras, etc. Cantidad de Enlaces Rotos Internos Medidos por la presencia de errores del tipo 404, (410?) Cantidad de Imágenes con Texto Alternativo Medido por la presencia de la etiqueta ALT (con texto no nulo) en cada una de las imágenes vinculadas a las páginas de un sitio Web

33 Ejemplos de Métricas Indirectas Porcentaje de Enlaces Rotos de un Sitio PorcentajeEnlacesRotos = CantidadEnlacesRotosInternos + CantidadEnlacesRotosExternos 100 CantidadTotalEnlaces Porcentaje de Presencia de la propiedad ALT. PorcentajePresenciaALT = CantidadImágenesALT CantidadTotalImágenes 100

34 Ejemplos de Métricas Indirectas Porcentaje de Redundancia de Imágenes La repetición de imágenes equivale a la redundancia de la información visual CantidadImágenesDistintas PorcentajeRedundanciaImagenes = 100* 1 CantidadTotalImágenes

35 Tipos de Métricas Web. Posibles Tipos de Métricas de Producto de Elementos de Página, Página, de Sitio de Enlace de Performance de Error y Falla (de Enlace, de Página, de Texto, de Compatibilidad) de Formato (Texto, Enlace, Página, etc.) de Tamaño (Texto, Media, etc.) de Elementos de Texto, Media de Accesibilidad de Contenido de Complejidad de Arquitectura

36 Métricas Web - Enlaces. Métricas para Tamaño de Enlace, Formato de Enlaces, Errores de Enlaces Cuántos enlaces hay en la página, y en el sitio? Qué tipos de Enlaces?, textuales, gráficos? Qué nivel de redundancia de enlaces hay? Cuántos colores se usan para enlaces textuales? Qué nivel de errores de enlaces hay?, internos, externos

37 Métricas Web - Texto. Métricas para Tamaño de Texto, Formato de Texto, Errores de Texto, Accesibilidad Cuánto texto hay en la página, y en el sitio? Qué tipos de texto?, título, cuerpo, meta-keywords? Qué nivel de riqueza textual? non-stop words Qué nivel de formato se usa en el cuerpo?, énfasis, negrita, subrayado, fuentes, colores, listas, etc. Qué nivel de errores ortográficos? Qué porcentaje de texto alternativo?, accesibilidad

38 Métricas Web Imágenes y Media Métricas para Elementos de Imagen, Tamaño de Imágenes, Formato de Imágenes, Performance,, otras Medias Cuántos imágenes hay en la página, y en el sitio? Qué nivel de redundancia de imágenes hay? Qué tipos? gráficos enlazados, ads, bullets. Qué nivel de formato se usa?, alto, ancho. Además, gif, jpg, etc. Qué tamaño tiene la imagen?

39 Métricas Web Página. Métricas para Tamaño de Página, Formato de Página, Performance, Errores de Página, Función de la Página Cuán rápido se carga la página?, páginas de acceso rápido Cómo es controlado el estilo de la página?, Qué fonts, colores, etc. se usan a través de la página? Qué nivel de errores de páginas hay?, HTML, huérfanas, etc. Qué nivel de elementos interactivos hay?, scripts, forms, applets, etc De qué tipo es, conforme a su función?, Contenido, Formulario, Link, Home, otras

40 Modelos de Calidad Modelos de Calidad Producto Modelo de Boehm [Boehm et al., 1978] Marco ISO 9126 [ISO/IEC, 1991, y 2001]: Proceso Modelo CMM (Capability Maturity Model) ) [Paulk[ Paulk, 1993]: Modelo SPICE (Software Process Improvement and Capability determination) ) [SPICE, 1999]:

41 Modelos de Calidad (ISO/IEC ) 1) Características Software Quality Functionality Reliability Usability Efficiency Maintainability Portability Suitability Accuracy Interoperability Security Compliance Maturity Fault Fault Tolerance Recoverability Compliance Understandability Learnability Operability Attactiveness Compliance Time Time behaviour Resource utilization Compliance Analysability Changeability Stability Testeability Compliance Adaptability Instalability Co-existence Replaceability Compliance Subcaracterísticas

42 Características y Subcaracterísticas Usabilidad» Comprensión Global del Sitio» Ayuda y Retroalimentación» Aspectos de Interface» Aspectos Estéticos Funcionalidad» Búsqueda y Recuperación» Navegación y Exploración» Funciones y Contenido Específicos del Dominio (E-commerce, Museos, Universidades...) Confiabilidad» No deficiencia Eficiencia» Performance» Accesibilidad

43 Características y Atributos Confiabilidad No Deficiencia de Enlaces» Enlaces Rotos» Enlaces Inválidos» Enlaces no Implementados Otras No Deficiencias» Páginas Muertas» Páginas bajo Construcción» Errores de Ortografia» Otras... (Dependientes de Browsers, etc.)

44 Esquema Componentes de Evaluación Clasificación de Métodos y Técnicas de Evaluación Modelos de Calidad / Métricas Un Método de Inspección: WebQEM Otro Método: Evaluación Heurística Conclusiones

45 Taxonomía de Métodos de Evaluación Clase de Método -- Testing -- Inspección -- Consulta,... axonomía e Métodos de valuación Tipo de Método -- Análisis de Log Files -- Evaluación Heurística -- Evaluación de Características y Atributos Tipo de Automatización -- Manual -- Semi-Automático -- Automático Nivel de Esfuerzo -- Fácil de Usar, Aprender -- Efectivo, Preciso -- Rango de Aplicabilidad Fase -- Requerimientos -- Captura -- Análisis -- Recomendaciones

46 Ejemplo de Método de Evaluación Clase de Método -- Inspección WebQEM Tipo de Método -- Evaluación de Características y Atributos Tipo de Automatización -- Manual -- Automático Fase -- Análisis -- Recomendaciones Nivel de Esfuerzo -- Medianamente Fácil de Usar -- Efectivo

47 Motivaciones No había una Metodología Cuantitativa ampliamente reconocida para la evaluación de WebApps, en el tipo de Métodos de Inspección por Características.» Al menos hasta WebQEM» (2000) WebQUAL, 2QCV2Q... Los procesos de Evaluación y Medición para que sean efectivos requieren no sólo soporte metodológico sino también tecnológico

48 Problemática en la Evaluación La Evaluación de la Calidad,, está basada en modelos y métricas de calidad, o está librada a la intuición y subjetividad de los evaluadores? Los procedimientos de valoración de atributos y características, están centrados en modelos de agregación y métodos cuantitativos de cálculo, o en modelos cualitativos?

49 Problemática en la Evaluación Las decisiones fundamentales de la evaluación están centradas y dirigidas por el juicio de expertos,, o por el juicio de los usuarios? El ente a valorar, puede ser considerado simple o complejo,, desde el punto de vista de la evaluación? Cuáles son los componentes objetivos y subjetivos en el proceso de evaluación? Los subjetivos pueden ser minimizados?

50 Propuesta de WebQEM Evaluar y Comparar la Calidad de Artefactos Web más o menos complejos Basada en Modelos y Métricas de calidad Modelo de Calidad ISO (modelo mixto) Cuantificar atributos directos e indirectos Basada en modelos de Agregación de Atributos y Características Modelo de cálculo meramente aditivo Modelo de cálculo multi-atributo no lineal

51 Propuesta de WebQEM Centrada en el juicio de evaluadores expertos en el dominio Permita Trazabilidad en el proceso de evaluación Favorezca seguimiento y justificación de resultados Propuesta de Metodología Integral, Sistemática y Cuantitativa centrada en principios de IS para evaluar la Calidad de Aplicaciones Web Si no sabemos dónde estamos parados un mapa no ayuda Evaluar, para realizar recomendaciones

52 Fases de WebQEM Planificación y Programación de la Evaluación Selección del Dominio A 1 X 1 F(X 1 ) IE 1 Evaluación y Comparación Web-S1 Web-S2 Web-Sn Metas Punto de Vista del Usuario Características y Atributos del Arbol de Requerimientos Atributos Cuantificables Función de Criterio Elemental 100 % 50% 0 Preferencias Elementales Modelo de Scoring (LSP) IG-S i 100 % 50% 0 Web-S2 Web-Sn Web-S1 Unsatisfactory Marginal Satisfactory A n Definición y Especificación de Requerimientos X n F(X n ) IE n Evaluación Elemental: Definición e Implementación Ranking Final de los Artefactos Web Evaluación Global: Definición e Implementación

53 El Modelo de Calidad ISO Characteristics Software Quality Functionality Reliability Usability Efficiency Maintainability Portability Suitability Accuracy Interoperability Security Compliance Maturity Fault Fault Tolerance Recoverability Compliance Understandability Learnability Operability Attactiveness Compliance Time Time behaviour Resource utilization Compliance Analysability Changeability Stability Testeability Compliance Adaptability Instalability Co-existence Replaceability Compliance Subcharacteristics

54 El Modelo de Calidad ISO 9126 Característica Pregunta Central Subcaracterística Pregunta Central Funcionalidad Las funciones y propiedades satisfacen las necesidades explícitas e implícitas; esto es, el qué...? Confiabilidad Usabilidad Puede mantener el nivel de rendimiento, bajo ciertas condiciones y por cierto tiempo? El software, es fácil de usar y de aprender? Adecuación Exactitud Interoperabilidad Conformidad Seguridad de Acceso Nivel de Madurez Tolerancia a fallas Recuperabilidad Comprensibilidad Facilidad de Aprender Tiene el conjunto de funciones apropiadas para las tareas especificadas? Hace lo que fue acordado en forma esperada y correcta? Interactúa con otros sistemas especificados? Está de acuerdo con las leyes o normas y estándares, u otras prescripciones? Previene accesos no autorizados a los datos y programas? Con qué frecuencia presenta fallas por defectos o errores? Si suceden fallas, como se comporta en cuanto a la performance especificada? Es capaz de recuperar datos en caso de fallas? Es fácil de entender y reconocer la estructura y la lógica y su aplicabilidad? Es fácil de aprender a usar?

55 Usabilidad Usability : The capability of the software product to be understood, learned, used and attractive to the user, when used under specified ied conditions Comparación de Subcaracterísticas ISO 9126 Título: Usabilidad Tipo: Característica Sub-característica/s: Comprensibilidad Facilidad de Aprender Operabilidad Grado de Atracción IEEE 1061 Título: Usabilidad Tipo: Característica Sub-característica/s: Comprensibilidad Facilidad de Aprender Operabilidad Nivel de Comunicación Modelo de Calidad para la Web Título: Usabilidad Tipo: Característica Sub-característica/s: Comprensibilidad (Global del Sitio) Mecanismo de Ayuda y Retroalimentación Aspectos de Interfaces Aspectos Estéticos y de Estilo

56 Características y Subcaracterísticas Usabilidad» Comprensión Global del Sitio» Ayuda y Retroalimentación» Aspectos de Interface» Aspectos Estéticos Funcionalidad» Búsqueda y Recuperación» Navegación y Exploración» Funciones y Contenido Específicos del Dominio (E-commerce, Museos, Universidades...) Confiabilidad» No deficiencia Eficiencia» Performance» Accesibilidad

57 Características y Atributos Usabilidad Comprensión Global del Sitio Esquema de Organización Global» Tabla de Contenidos» Mapa del Sitio» Indices (Alfabéticos( Alfabéticos,, Temáticos, Híbridos...) Visita Guiada (convencional y/o virtual) Mapa de Imagen Ayuda y Retroalimentación Ayuda» Visitante por Primera vez» Búsqueda (etc.) Directorio de Direcciones» Telefono-Fax, e

58 Características y Atributos Confiabilidad No Deficiencia de enlaces» Enlaces Rotos» Enlaces Inválidos» Enlaces no Implementados Otras No Deficiencias» Páginas Muertas» Páginas bajo Construcción» Errores de Ortografia» Otras... (Dependientes de Browsers, etc.)

59 Características y Atributos Enlaces Rotos Cantidad de enlaces Rotos internos (no distintos)» Cantidad de Enlaces Rotos externos (no distintos)» Cantidad de Enlaces Totales del Sitio» Porcentaje de Enlaces Rotos PorcentajeEnlacesRotos = CantidadEnlacesRotosInternos + CantidadEnlacesRotosExternos 100 CantidadTotalEnlaces» Densidad de Enlaces Rotos DensidadEnlacesRotos = CantidadTotalEnlacesRotos CantidadTotalEnlaces* CantidadDocumentos Concentración por Nodo (frecuencia) de Enlaces Rotos

60 Características y Atributos Páginas Muertas (Orphan Pages) Este atributo representa la cantidad de páginas que no tienen ningún enlace de retorno dentro del sitio Porcentaje de Páginas Muertas Porcentaje PáginasMuertas =100* CantidadPáginasMuertas CantidadTotalPáginas

61 Características y Atributos Eficiencia Performance (un aspecto) Páginas de Acceso Rápido El tiempo de descarga (Τ),( estará en función del tamaño de la página estática (τ),( y la velocidad de la línea de conexión establecida (c). ( τ c) ΤDesc arga = f, La creación de umbrales mínimos de tamaño de página para una descarga eficiente para una conexión dada, nos permite crear una función que clasifique cada una de las páginas del sitio en páginas de acceso rápido o páginas de acceso lento. g ( Τ ) Descarga AccesoRápido = AccesoLento Τ Τ Descarga Descarga < Τ Τ máximo máximo

62 WebQEM_Tool Editando Requerimientos Menú Proyecto Menú Diseño Menú Ejecución Menú Informe Menú de Edición de aracterísticas y Atributos

63 WebQEM_Tool Editando Requerimientos

64 Evaluación Elemental Panorama X 1 Measurable Attributes Criteria Function Definition A 1 A n F(X 1 ) EQ 1 Elementary Preferences 100 % 50% 0 X n F(X n ) EQ n Elementary Evaluation:

65 Métrica Web y Criterio Elemental Métrica Porcentaje de Enlaces Rotos X = #Enlaces_Rotos / #Total_Enlaces_del_Sitio Preferencia de Calidad Elemental PE = 1 (or 100%) si X = 0; PE = 0 (or 0%) si X >= X max ; otherwise PE= (X max X) / X max si 0 < X < X max donde X max es algún umbral superior acordado, tal como 0.04

66 Preferencias de Calidad Elemental Caso de Estudio de E-bookstore Amazon Barnes & Noble Cúspide Díaz de Santos Borders 1. Usability Functionality Reliability Efficiency

67 Evaluación Global Panorama EQ 1 Ranking Process Aggregation Process (Aditive or LSP Model) GQ-S i 100 % 50% 0 Web-S2 Web-S1 Web-Sn Unsat isfact ory Marginal Sat isfact ory EQ n Global Evaluation: Global Quality Preferences

68 Evaluación Global Modelos de Puntaje Modelo de Puntaje Aditivo (T. T.Gilb) Indicador Global = (Peso componente x Indicator elemental) IG/P = P 1 IE P n IE n Modelo de Puntaje Lógico Multi-criterio (LSP) (Weighted Power Mean Model - J. Dujmovic) IG/P (r) = (P 1 IE r 1 + P 2 IE r P m IE r m) 1/ r Simultaneidad ( y lógico ) Reemplazabilidad ( o lógico ) Neutralidad

69 WebQEM_Tool Ejecución

70 Preferencias de Calidad Global Characteristic and Sub-characteristics Amazon B&N Cúspide Díaz Stos Borders 1. Usability Functionality Searching and Retrieving Issues Navigation and Browsing Issues Domain Specific Functionality and Content Product Information Purchase Features Customer Features Store Features Promotion Policies Reliability Efficiency Global Quality Preference

71 WebQEM_Tool: Informe

72 WebQEM_Tool: Informe

73 WebQEM_Tool: Informe

74 WebQEM_Tool: Informe

75 WebQEM_Tool: Informe

76 Consideraciones Finales Los desarrollos Web tienen cada vez más complejidad añadida y están creciendo rápidamente Orientación a Documentación y a Funcionalidad de Aplicación Sin embargo, las prácticas recientes para desarrollos Web han sido mas bien ad-hoc Y el aseguramiento y el control de la calidad han sido, por lo general, procesos poco tenidos en cuenta. Urge un cambio de paradigma para minimizar la crisis en la Web Web QEM realiza un aporte ingenieril mediante el uso de un enfoque disciplinado y cuantitativo que se adecua a la evaluación, comparación, análisis y recomendaciones de la calidad Web

77 Consideraciones Finales Fase de Análisis de Resultados y Recomendaciones Web-site QEM permite Comprender El estado del arte de Sitios Web Operativos Subcaracterísticas y Atributos Ausentes Problemas de Diseño (Interface, Navegación, Contenido, Performance, Funcionalidad...) Requerimientos Pobremente Implementados Especificar y Controlar Requerimientos de Calidad para Nuevos Proyectos Web-site QEM permite realizar Recomendaciones para Mejorar la Calidad de Productos Web

78 Esquema Componentes de Evaluación Clasificación de Métodos y Técnicas de Evaluación Modelos de Calidad / Métricas Un Método de Inspección: WebQEM Otro Método: Evaluación Heurística Conclusiones

79 El Método de Evaluación Heurística Clase de Método -- Inspección Evaluación Heurística Tipo de Método -- Basada en Guías Heurísticas Tipo de Automatización -- Manual -- Automático Fase -- Análisis -- Recomendaciones Nivel de Esfuerzo -- Fácil de Usar -- Efectivo en Costos -- Impreciso

80 Método de Evaluación Heurística En Evaluación Heurística uno o más evaluadores (expertos en el dominio) evalúan independientemente un sitio Web, usando una Lista de Heurísticas. Heurísticas en el sentido de guías venidas de expertos Principios, Rule of Thumbs (Reglas Prácticas) Evaluación Heurística,, es la tarea de estimar el estado de Usabilidad al aplicar RP establecidas y derivar un puntaje para el sitio basado en cuan próximo se cumplimentan los requerimientos establecidos (J. Nielsen).

81 Método de Evaluación Heurística En Evaluación Heurística el resultado del proceso de evaluación es típicamente una lista de posibles problemas de Usabilidad; esto es, violaciones RoT. Los evaluadores luego de evaluar independientemente el sitio Web, determinan y asocian grados de severidad para cada potencial problema de Usabilidad.

82 Método de Evaluación Heurística Evaluación Heurística es el método de inspección más informal aunque efectivo en costos. Con frecuencia, con RoT contradictorias!!! Es un método rápido de aplicar, barato, fácil de usar.

83 Guías Heurísticas Heurísticas para el atributo Texto de Página Users prefer pages with more content as opposed to breaking content over multiple pages (Landesman and Schroeder 2000). Keep text short; use 50% less text than in print publications (Nielsen 2000). Break text up into smaller units on multiple pages (Flanders 1998; Nielsen 2000). Heurísticas para el atributo Título de Página Use no more than 64 characters (Berners-Lee 1995). Use words (40-60 characters) (Flanders 1998). Use different page titles for each page (Nielsen 2000).

84 Guías Heurísticas Heurísticas para el atributo Longitud del Texto del Enlace Use words in text links (Nielsen 2000). Use links with useful" words (Sawyer and Schroeder 2000). Heurísticas para el atributo Banner de Propaganda Ads afect the user experience; integrate ads with content (Klee and Schroeder 2000). Usability dictates that ads should be eliminated (Nielsen 2000). Ads increase credibility (Kim and Fogg 1999).

85 Esquema Componentes de Evaluación Clasificación de Métodos y Técnicas de Evaluación Modelos de Calidad / Métricas Un Método de Inspección: WebQEM Otro Método: Evaluación Heurística Conclusiones

86 Conclusiones Web Engineering is concerned with the establishment and use of sound scientific, engineering and management principles and disciplined and systematic approaches to the successful development, control, deployment and maintenance of high quality WebApps within budgetary constraints Debemos seleccionar los métodos y prácticas apropiadas en el momento adecuado con el fin de Asegurar la Calidad de WebApps One size does not fit all needs and preferences however, we ought to use some of them!

87 Preguntas? PROGRAMA CYTED Proyecto WEST: Web-Oriented Software Technology Dr. Luis Olsina URL: Grupo de Investigación n y Desarrollo en Ingeniería a de Software Departamento de Informática Facultad de Ingeniería Argentina