Seminario: En escenarios de incertidumbre: Medir para tomar decisiones. Jorge Manzi Director MIDE UC
Por qué es central la medición y evaluación para las organizaciones?
Usted se ha preguntado alguna vez? Por qué sigo manteniendo una alta tasa de reclamos por desconocimiento técnico de mis ejecutivos si todos han aprobado las pruebas de conocimiento que les aplicamos? Cuando se evalúa el desempeño, por qué el 90% de los colaboradores obtienen una evaluación de desempeño muy buena o excelente y esto no se refleja en los resultados de la empresa? Por qué los resultado de los factores evaluados en una encuesta de clima organizacional son tan parecidos?
Por qué es central la medición y evaluación para las organizaciones? Para: Contar con indicadores precisos respecto de aquello que se evalúa. Incrementar la eficacia y eficiencia a través de la identificación de líneas bases, definir áreas e indicadores de mejora, hacer ajustes, etc. de modo de orientarse a la mejora continua. Identificar grado de alineación con la planificación del negocio. Orientarse al aprendizaje y en consecuencia al mejoramiento de la gestión, clima, conocimientos, etc. Incrementar la responsabilización (accountability) de procesos y áreas por los resultados.
Por qué es central la medición y evaluación para las organizaciones? Para: Diagnosticar el nivel de logro y caracterización de un aspecto en particular. Comparar algún aspecto de la empresa consigo misma en diferentes momentos del tiempo. Realizar dicha comparación con otras empresas (mercador rubro, etc.). Determinar conocimientos, comportamientos y percepciones de los colaboradores de modo estructurado y comparable. Evaluación estandarizada.
En qué se diferencia la medición de la evaluación? Medición: asignación de números a cualidades observables o no observables de objetos de interés. Evaluación: juicio integrativo acerca de las cualidades del objeto de interés. Por tanto, la medición es un insumo para la evaluación.
Qué hay que tener presente al medir y al evaluar? La medición es siempre un proceso de inferencia a partir de la evidencia del desempeño: tomamos muestras de desempeños (respuestas a preguntas) para inferir atributos. Los resultados de la medición son estimaciones acerca de cualidades de una persona (lo que sabe, siente, cree, juzga o es capaz de hacer). Toda medición tiene limitaciones (error o sesgo de medición). Las buenas mediciones minimizan esas limitaciones. Error: variaciones aleatorias (por ejemplo: variaciones en el desempeño de una persona dependiendo del momento del día en que sea evaluada). Sesgo: variaciones sistemáticas (por ejemplo, el grado de severidad que puede tener un juez al analizar evidencias del desempeño de una persona).
Fuentes de error Variaciones en el desempeño de una persona cuando se la expone a un conjunto de itemes (por ejemplo, forma de un test), en relación a otra forma del test Fluctuaciones en el desempeño de la persona en el tiempo Inconsistencia en la puntuación que se asigna a la persona ante un mismo desempeño (por ejemplo, si es juzgada por distintos jueces)
QUÉ TIRADOR PREFERIRÍA?
Tirador A
Tirador B
Tirador C
Confiabilidad y Validez La confiabilidad expresa nuestra capacidad para minimizar el error de medición. Se expresa en una escala que va de 0 (100% error) a 1 (0% error). Usos de la confiabilidad Cuánto podemos predecir un nuevo desempeño a partir de un instrumento? Estimación de la magnitud del error de medición
Altamente Confiable
Inconfiable
Predicción de un nuevo desempeño Si la confiabilidad es alta (.9), podemos predecir aproximadamente el 80% de nuevos desempeños Si la confiabilidad es moderada (.7), podemos predecir solo el 50% de nuevos desempeños
Estimación del error de medición La confiabilidad nos indica el grado en que los puntajes de un individuo pueden fluctuar entre distintas mediciones. Con alta confiabilidad se reducen las fluctuaciones. Pero aun mediciones altamente confiables presentan fluctuaciones importantes:
Ejemplo con pruebas de admisión a universidades
Magnitud del error de medición según confiabilidad En una prueba como la PSU (confiabilidad.93) Banda del error: 30 puntos Si la confiabilidad fuera.8, sería de 50 puntos Si la confiabilidad fuera.7, sería de 70 puntos
Validez: los cambios en su conceptualización Hasta los 80: Mide este test lo que intenta medir? Desde los 80: Qué me dice un puntaje X acerca de la persona? Qué tipo de inferencias puedo hacer acerca de la persona a partir de sus resultados? Cuán confiado estoy acerca de estas evidencia?
Validez: la definición actual (APA-AERA-NCME) La validez es el grado en que toda la evidencia acumulada apoya la interpretación de los puntajes de un test para los usos que se le darán.
Confiable pero no válido
Confiable y Válido
Cómo deben ser mis mediciones y evaluaciones? Calidad Toma de decisiones Medición y evalución
Cómo desarrollamos y usamos instrumentos para optimizar confiabilidad y validez Sobre el desarrollo de los instrumentos: Teniendo claro lo que se quiere medir (buenas especificaciones iniciales) Construyendo buenos itemes o tareas de desempeño. Evitando o corrigiendo sesgos en los itemes Seleccionando o adaptando los itemes o tareas (mediante aplicaciones de campo)
Cómo desarrollamos y usamos instrumentos para optimizar confiabilidad y validez Sobre el uso de los instrumentos: Aplicándolos en forma estandarizada (instrucciones claras, aplicadores calificados, etc.) Cumpliendo rigurosamente los compromisos de confidencialidad y uso de los puntajes (ética de la medición) Calculando adecuadamente los puntajes
Cómo desarrollamos y usamos instrumentos para optimizar confiabilidad y validez Sobre el uso de los instrumentos: Comunicando los resultados en forma efectiva (y monitoreando la comprensión que se tiene de la información comunicada) Estudiando continuamente la validez de los instrumentos (incluyendo las consecuencias esperadas y no esperadas de su uso)
Seminario: En escenarios de incertidumbre: Medir para tomar decisiones. Jorge Manzi Director MIDE UC