Cómo Establecer Puntos de Corte o Selección para Estandares? Que es un Estandard?

Transcripción

1 Cómo Establecer Puntos de Corte o Selección para Estandares? Eugenio J. Gonzalez Que es un Estandard? Un nivel deseado de desempeno Pueder ser definido de manera conceptual o empirica Se refiere a niveles de desempeno definido por expertos, individuos, o desempeno grupal Un estandard es generalmente algo bueno, que vale la pena alcanzar Estandares tienen distintos significados para distintas personas 1

2 Que es un Estandard? Es la respuesta a la pregunta: Que tanto bueno es suficiente? Esta pregunta solo puede ser respondida a juicio de alguien. (Livingston & Zieki) Definiendo Estandares: 3 Aspectos Que tipo de conocimientos o habilidades deben ser aprendidas? Que tanto conocimiento o habilidades deben ser aprendidos? Como determinamos que la cantidad y calidad necesaria de conocimiento y habilidades han sido alcanzadas? 2

3 Como Establecer Estandares? Persona con educación ideal Requerimientos del empleo Puestos disponibles Utilización de distribución de rendimiento Sistema de cuota Como Establecer Estandares? Niveles alcanzables Progreso Individual Combinación de Factores Intuición Imprecisa 3

4 Como Seleccionar un Tipo de Estandard? Modelo Importado Modelo de Acreditacion Practica Tradicional Presiones Politicas Estandares de Desempeno Se usa evidencia para identificar un nivel aceptable de aprendizaje Este nivel se establece con sensibilidad politica a consecuencias sociales Los estandares de desempeno se deciden a traves de procesos politicos informados con datos, preferiblemente empiricos 4

5 Estandares de Contenidos vs. Desempeno Estandares de Contenido: Especifica lo que los alumnos deben saber y hacer Estandares de Desempeno: especifica el nivel de competencia que debe demostrar el alumno Establecer Estandares generalmente se refiera a estandares de desempeno Metodos Para Estanblecer Estandares Basados en la Prueba Basados en los Alumnos Juicio Directo 5

6 El Metodo de Angoff Determinar la probabilidad que una persona con competencia minima pueda responder correctamente a una pregunta La suma de estas probabilidades da el puntaje minimo o puntaje para pasar El Metodo de Ebel Se clasifican las preguntas por dificultad y relevancia Los jueces se les pide estimar la proporción de preguntas en cada grupo que una persona de competencia minima respondera correctamente El puntaje de paso se calcula como el promedio ponderado de las proporciones de cada celda 6

7 El Metodo de Nedelski Solo funciona para preguntas de selección multiple Se le pide a los jueces estimar cuales opciones pueder ser eliminadas por los alumnos con minima competencia Una persona con competencia minima escogera aleatoreamente entre las opciones restantes El Metodo de Jaeger Evaluar cada pregunta y tomar una decision acerca de si una persona competente debiera responder correctamente a la pregunta 7

8 Estableciendo Estandares Metodo de Frontera Se clasifican los alunos en tres grupos La mediana del grupo del medio se usa como el estandard de la prueba Metodo de Grupos Contrastados Se utiliza los puntajes que separan grupos extremos Niveles de Referencia (Benchmarking) Utilizar ejemplos de buena practica o alto desempeno Standard Setting Procedures Anclaje Conductual Guias de Calificacion 8

9 Cual Escoger? Escoge mas de uno Valida los resultados Se consistente Asegurarse de poder explicar y validar los resultados Establecer estandares es un proceso arbitrario, pero no caprichoso Recomendaciones Proveer definición clara de los conocimientos y destrezas requeridas Asegurarse que se mide lo que se pretende Determinar quienes seran los jueces Entrenar a los jueces que entiendan lo que se espera Proveer información en base a resultados Permitir a los jueces revisar sus criterios de clasificacion 9

10 Recomendaciones Realizar pruebas piloto con los procedimientos Permitir que los afectados examinen los resultados Utilizar mas de un metodo para verificar resultados Obtener una medida de consistencia Proveer evidencia de condiabilidad Proveer evidencia de validez Proveer evidencia de equidad a los grupos afectados Puntos de Corte Puntos a lo largo de la distribución usados para clasificar a las personas en grupos que reflejan distintos niveles de desempeno respecto a un objetivo particular Pueden ser usados para describir o seleccionar 10

11 Suposiciones de los Puntos de Corte Medible: Lo que se quiere medir se puede medir Validez: Lo que se mide es pertinente Confiabilidad: El error es conocido y aceptable Consistencia: en distintos grupos Unidimensional Interpretable La decision basada en puntos de corte no puede ser mas precisa que la medida usada 11