UNIVERSIDAD NACIONAL AUTONOMA DE NICARAGUA LEÓN DIRECCION DE ANALISIS INSTITUCIONAL Y EVALUACION

Transcripción

1 UNIVERSIDAD NACIONAL AUTONOMA DE NICARAGUA LEÓN DIRECCION DE ANALISIS INSTITUCIONAL Y EVALUACION PROTOCOLO DE AUTOEVALUACION DE PROGRAMA UNAN-LEON LEÓN, NICARAGUA OCTUBRE, 1999

2 ELABORADO POR LAS COMISIONES DE AUTOEVALUACION DE PROGRAMAS: FACULTAD DE CIENCIAS MEDICAS: FACULTAD DE ODONTOLOGÍA: FACULTAD DE CIENCIAS: MEDICINA ODONTOLOGÍA QUÍMICA ESTADÍSTICA BIOLOGÍA MATEMÁTICA FACULTAD DE CIENCIAS DE LA EDUCACIÓN: FACULTAD DE CIENCIAS QUÍMICAS FACULTAD DE CIENCIAS JURÍDICAS Y SOCIALES AÑO COMUN SOCIALES ESPAÑOL ALIMENTO FARMACIA DERECHO AÑO COMUN FACILITADORES: EQUIPO DE LA DIRECCIÓN DE ANÁLISIS INSTITUCIONAL Y EVALUACION 1

3 CONTENIDO I. INTRODUCCION...1 II. OBJETIVOS Objetivo general Objetivos específicos III. JUSTIFICACION Páginas IV. ELEMENTOS IMPORTANTES PARA EL ÉXITO DEL PROCESO DE AUTOEVALUACION... 5 V. CRITERIOS DE EVALUACIÓN Universalidad Equidad Pertinencia Coherencia Idoneidad Eficiencia Eficacia Responsabilidad Transparencia...7 VI. FACTORES OPERACIONALES DE EVALUACION Recursos Humanos...8 1

4 Páginas 6.3 Plan Curricular Docencia Investigación VII. ORGANIZACIÓN Y PLANEACION Etapas del Proceso Comisión de Autoevaluación de Programa Estructura VIII. INDICADORES Y ESTANDARES Subfactor: Sistema de Ingreso SubFactor: Traslado y Titulación SubFactor: Servicios Académicos Especiales Recursos Humanos SubFactor: Docentes SubFactor: Administrativos Plan Curricular Docencia Investigación IX. REFERENCIA BIBLIOGRAFICA...48 X. ANEXOS

5 I. INTRODUCCIÓN A nivel mundial, a las puertas de un nuevo milenio, la Educación Superior enfrenta el reto de formar profesionales bajo un mundo cambiante, donde el desarrollo científicotécnico avanza a pasos acelerados, generándose un desfase importante entre dicho desarrollo y los procesos de formación de los recursos humanos y la generación de conocimientos y tecnología en la institución. Conscientes de esta situación, el Consejo Universitario de la Universidad Nacional Autónoma de Nicaragua, León (UNAN-León), aprobó en Julio de 1995, la conformación de la Comisión de Reforma Universitaria, la que posteriormente se denominó Comité de Reforma. En el desarrollo de este proceso dicho Comité conformó cinco Comisiones de trabajo, siendo estas las siguientes: Comisión de Transformación Curricular. Comisión de Planificación y Desarrollo. Comisión de Recurso y Finanzas. Comisión de Gestión y Administración. Comisión de Evaluación. La Comisión de Evaluación de la institución apoyará los procesos de una evaluación integral de la Universidad, la que se caracterizará por ser participativa, reflexiva y educativa; al mismo tiempo servirá como mecanismo de retroalimentación a las autoridades de la institución, al cuerpo docente, estudiantes en general y al personal administrativo, al igual que a la sociedad civil, en la búsqueda permanente de la calidad en la formación de los recursos humanos en nuestro país. La metodología a utilizarse en este proceso será la autoevaluación - Evaluación interna- la que estimulará la autoreflexión, ofreciendo a las Facultades y Carreras evaluadas la oportunidad de preguntarse acerca de si misma, con la finalidad de mejorar la calidad de los ámbitos referentes a cada programa. Además, la autoevaluación permitirá detectar las debilidades y fortalezas de los Programas, las que analizadas con las oportunidades y amenazas del entorno, permitirá a las autoridades seleccionar la mejor alternativa en la toma de decisiones y lograr desarrollar acciones tendientes a la mejora constante de la calidad de los programas, incrementando así su prestigio y facilitando el logro de la acreditación Centroamericana. Con este fin, la Comisión de Evaluación Institucional elaboró un Protocolo de Autoevaluación, el cual fue sometido a consulta en el I TALLER DE EVALUACION

6 INSTITUCIONAL, con participación de dirigentes institucionales a nivel de la Rectoría, Decanos, Vice-Decanos, Secretarios Académicos, Jefes de Departamentos, Comités Ejecutivos y Representantes Facultativos de los Gremios. Este protocolo contempló unicamente los Factores Operacionales de Evaluación:, Recursos Hum,anos, Plan Curricular, Docencia e Investigación y fue aplicado en los Programas de Medicina y Odontología a finales de En 1999, se elaboró el Protocolo de Autoevaluación de Programas, por 12 Comisiones de Autoevaluación, tomando como base el protocolo anterior y la Guia de Autoevaluación de Programa, presentadas por el SICEVAES, la cual fue discutida ampliamente por la comunidad universitaria de León, en un Taller el febrero de UNAN - León 3

7 II. OBJETIVOS 2.1. Objetivo general Generar una cultura de autoevaluación en la comunidad universitaria, que conduzca a la mejora permanente de la calidad de los Programas y por ende de la institución, detectando las debilidades y fortalezas en los diferentes ámbitos del "quehacer" universitario, a través de procesos de reflexión-acción Objetivos específicos Valorar los mecanismos y procedimientos del ingreso de los estudiantes a la Universidad y el grado de influencia de ellos en la carrera, así como el rendimiento académico, la participación en la investigación, la deserción y retención, y el tiempo de obtención del título Analizar el grado de actualización, flexibilidad y coherencia de los programas educativos, así como, la aplicación de enfoques pedagógicos en la enseñanza del programa Valorar el cumplimiento de las líneas y estrategias educativas definidas, las políticas de reconocimientos por méritos académicos y docentes, la adecuación de materiales didácticos, el fondo de tiempo de los docentes, relación profesor alumno, la existencia de planes de monitoreo de la actividad docente Analizar los métodos de captación de los recursos humanos, categorización y políticas de estimulo, su idoneidad con el cargo, el cumplimiento laboral, su distribución en las distintas actividades del programa Valora las políticas, normativas y líneas de investigación, la productividad científica, su financiamiento, la congruencia de las investigaciones con el curriculum así como el grado científico de los involucrados. UNAN - León 4

8 III. JUSTIFICACION Actualmente, tanto en los países desarrollados como en vía de desarrollo, se ha planteado el reto de evaluar la calidad de los programas que ofrecen las instituciones de Educación Superior, convirtiéndose la evaluación en un tema prioritario de la política universitaria. Esta prioridad obedece entre otras razones a las siguientes: La necesidad de que los programas académicas busquen, como núcleo de cultura y conocimiento, de forma sistemática la mejora de la calidad en todos sus ámbitos, para adecuarse a las demandas y exigencias de la sociedad que la sustenta y a la que sirven. La creciente competitividad en el mundo moderno, hace que la Educación Superior sea considerada como una de las piezas claves para enfrentar el futuro, como fuente de crecimiento económico, de avance tecnológico y de desarrollo humano sostenible. La acreditación de la institución y de los programas a nivel regional, que impulsa el CSUCA nos compromete a la búsqueda permanente del mejoramiento de la calidad académica y gerencial para competir en igualdad de oportunidades con el resto de Universidades centroamericanas y responder con garantías suficiente a los retos futuros. El Estado como órgano rector de la sociedad cuestiona la calidad de la Educación Superior, y por lo tanto, nuestra Universidad, como contrapartida a la autonomía debe ser más rigurosa en la rendición de cuentas a la sociedad de cómo está utilizando los recursos asignados. Por ello, las Universidades en diversos países, adelantándose a la intervención del Estado, han iniciado el proceso de autoevaluación, a fin de ser más eficiente y eficaz en la gestión y administración de los recursos. La creación y desarrollo en nuestro país de nuevos centros de Educación Superior privados amparados en el marco del Reglamento de Funcionamiento del Consejo Nacional de Universidades de Nicaragua, y la creciente exigencia de la calidad han sido también un elemento determinante del inicio del proceso de evaluación de programas, por cuanto la oferta educacional ha aumentado considerablemente, la sociedad se informa de las diferencias cualititativas de dichas ofertas. UNAN - León 5

9 IV. ELEMENTOS IMPORTANTES PARA EL EXITO DEL PROCESO DE AUTOEVALUACION Para que el proceso de Autoevaluación tenga éxito debe reunir las siguientes características: Establecer un clima de confianza, este elemento es clave, ya que la experiencia indica que el mantener un ambiente de confianza ayuda a paliar cualquier desventaja técnica o inexperiencia en el desarrollo del proceso. Motivación interna, sensibilizando a los miembros de la comunidad universitaria a participar dinámicamente en los procesos de la autoevaluación. Liderazgo en el sentido técnico de parte de los miembros de la Comisión de Evaluación Institucional. Diseño adecuado del protocolo de evaluación, acorde a la realidad concreta de la institución. Ser promovido por el Consejo Universitario de la Universidad, estimulado y controlado por el Rector. Establecer un proceso de análisis institucional de manera integral y participativa, apropiándose de procesos y resultados. Brindar capacitación básica sobre el proceso de Autoevaluación, generando una cultura de evaluación en la institución, la que debe realizarse periódicamente. La identificación de problemas o debilidades deben ser encaradas y resueltas, diseñándose planes en función de resolverlos y lograr la mejora de la calidad institucional. Centrar la Autoevaluación en áreas de relevancia o de importancia. Respeto y manejo ético de la información. Participación de expertos o asesores externos efectivos y objetivos. UNAN - León 6

10 V. CRITERIOS DE EVALUACIÓN El proceso de Autoevaluación de Programas tomará en cuenta los siguientes criterios calidad en el análisis de los Factores Operacionales: 5.1. Universalidad Se refiere a la dimensión intrínseca del desarrollo del Programa, esto es, el conocimiento humano que a través de los campos de acción le sirve como base de su identidad. También hace referencia a la multiplicidad y extensión de los ámbitos en que se ejecuta el programa, a si como el ámbito geográfico y social en el que ejerce su acción Equidad Expresa de manera directa el sentido de justicia con que opera el programa en contexto institucional y en el contexto general. En el contexto institucional se refiere a los procesos de toma de decisiones, políticas y normativas respecto al sistemas de admisión, evaluación, promoción, reconocimientos de méritos académicos; y en el contexto general, considera la no discriminación en todos los ordenes, el reconocimiento de las diferencias (de pensamiento, culturales, entre otras), y la aceptación de las diversas culturas en sus múltiples manifestaciones Pertinencia Es el grado de correspondencia entre los fines del Programa y los requerimientos de la sociedad. Implica una respuesta critica y proactiva, del Programa a las necesidades sociales, económicas, políticas y culturales; por tanto busca transformar el contexto en que se opera y el marco de valores en el que se inspira el mismo Coherencia Es el grado de correspondencia entre las partes del Programa, así como la congruencia entre la Misión, fines, propósitos, objetivos, medios, metodologías educativas y evaluación del aprendizaje Idoneidad Es la capacidad de un Programa en cuanto a recursos humanos, físicos, materiales y financieros, que se desprenden de su misión, de sus propósitos y de la naturaleza del mismo. UNAN - León 7

11 5.6. Eficiencia Capacidad para adecuar y utilizar de forma optima los recursos disponibles de tipo humano, materiales y financieros, así como los medios pedagógicos y de administración curricular, en función de los propósitos y objetivos del Programa Eficacia Es el grado de correspondencia o congruencia entre los logros obtenidos y los propósitos y metas preestablecidos en el Programa. 5.8 Responsabilidad Es la capacidad para reconocer, asumir y corregir las consecuencias que se derivan del quehacer del Programa. 5.9 Transparencia Se refiere a la capacidad para explicitar abiertamente sus condiciones internas de operación y los resultados de ésta. UNAN - León 8

12 VI. FACTORES OPERACIONALES DE EVALUACIÓN El proceso de autoevaluación comprenderá como ámbito de evaluación los siguientes factores operacionales: Recursos Humanos Plan Curricular Docencia Investigación Los Factores Operacionales a evaluarse se definen así: 6.1 Como factor de evaluación comprende lo relacionado con la selección, admisión, categorización y régimen establecido para los traslados internos y externos del programa y titulación, así como los servicios académicos especiales ofertados por el Programa. 6.2 Recursos Humanos Este factor comprende las características que se relacionan con la selección, contratación, categorización, desempeño y perfeccionamiento del personal académico y administrativo para el logro de la calidad de los programas de la institución. 6.3 Plan Curricular Comprende el plan de estudio del Programa, como un todo (objetivos, contenidos programáticos, metodologías, medios didácticos y procesos de evaluación) congruente con la misión, fines y políticas de la institución. Se alcanza y desarrolla a través de la investigación y actividades de aprendizaje, contempla además los proyectos paralelos y complementarios que refuerzan al perfil del egresado en todos sus componentes. 6.4 Docencia Es el conjunto de acciones orientadas a la ejecución del proceso formativo e integral de los estudiantes, mediante el desarrollo adecuado de los objetivos, contenidos, metodología y procedimientos de evaluación dentro de un clima de relaciones e interacciones favorables que propicien el aprendizaje significativo. UNAN - León 9

13 6.5. Investigación Es el conjunto de actividades y acciones orientadas a la creación, aplicación y difusión del conocimiento para el mejoramiento de la calidad de vida, de los programas académicos y el desarrollo del arte, la ciencia y la tecnología. La siguiente tabla establece la relación de cada factor con los criterios definidos para la valoración de la calidad CRITERIO FACTORES ESTUDIANTES RECURSOS HUMANOS PLAN CURRICULAR DOCENCIA INVESTIGACION PERTINENCIA X X IDONEIDAD X X COHERENCIA X X X UNIVERSALIDAD X X X X EFICACIA X X X X EFICIENCIA X X X X X RESPONSABILIDAD X X X EQUIDAD X X X TRANSPARENCIA X UNAN - León 10

14 VII. ORGANIZACIÓN Y PLANEACION DEL PROCESO 7.1 ETAPAS DEL PROCESO El proceso de Autoevaluación de los Programas Académicos se ha organizado en cuatro etapas: Preparatoria Desarrollo y Ejecución Informe de Autoevaluación Validación de la Autoevaluación PRIMERA ETAPA: PREPARATORIA Esta etapa, tiene cuatro fases: Decisión política institucional, Planeamiento y programación, Sensibilización y capacitación, y Diseño y validación de instrumentos. Fase 1.: Decisión política institucional: en la cual el Consejo Universitario aprueba, la implementación de procesos de Autoevaluación de Programas Académicos y la creación de las Comisiones de Autoevaluación con la finalidad de que estas organicen, diseñen y ejecuten dichos procesos. Fase 2.: Planeamiento y programación: La Dirección de Análisis Institucional y Evaluación en calidad de facilitadora del proceso, elabora el cronograma de trabajo donde se expresa el planeamiento y programación de la autoevaluación de los Programas. Este se somete a discusión con las diferentes Comisiones para su consenso y enriquecimiento. Fase 3.: Sensibilización y capacitación: en esta fase se centran los esfuerzos en sensibilizar a los miembros de la comunidad universitaria sobre la importancia de la autoevaluación y de los procesos que se derivan de ella, así como también, capacitar a los miembros de las Comisiones de Autoevaluación de Programas Académicos. Fase 4.: Diseño y validación de instrumentos: esta fase comprende la elaboración del Protocolo de Autoevaluación de Programas, por las Comisiones, para lo cual tomarán en consideración el Protocolo Experimental de Evaluación de la UNAN-León y la metodología definida por el SIVEVAES. En el Protocolo deben quedar definidos los criterios de calidad, factores operacionales a evaluarse, indicadores, estandar, técnicas de recolección, fuentes e instrumentos de recolección de información. Además reflejará lo que de manera general caracteriza a todos los Programas y las especificidades que evaluará cada uno. En esta fase es importante contemplar también una consulta del Protocolo entre los actores sociales de la Universidad Autoridades, académicos, estudiantes, personal UNAN - León 11

15 administrativo y gremios, a fin de mejorar el documento y realizar las pruebas necesarias para determinar la validez y confiabilidad de los instrumentos. Por último hay que someter a aprobación el Protocolo de Autoevaluación de Programa por el Consejo Universitario SEGUNDA ETAPA: EJECUCIÓN En la ejecución se realizan las actividades siguientes: a) Aplicar las guías e instructivos correspondientes para la recolección de la información, garantizando la calidad de la misma. b) Crear bases de datos automatizadas, depurar y analizar la información. c) Verificar el nivel de desarrollo de la sistematización de la documentación relevante del archivo de la autoevaluación. d) Promover la participación de la comunidad universitaria (talleres, audiencias abiertas, etc.) TERCERA ETAPA: INFORME DE AUTOEVALUACION Esta etapa conlleva a: a) Obtener el resultado final del proceso de autoevaluación, el que lo constituye el Informe de Autoevaluación, el que es elaborado por la Comisión de Autoevalución del Programa. Se elabora de acuerdo a una guía preestablecida, debiendo ser diagnóstica, analítica, reflexiva, valorativa y prospectiva, a fin de poder elaborar un Plan de Mejora de la Calidad. b) El informe de autoevaluación debe ser expuesto, analizado y discutido con los participantes del proceso en la comunidad universitaria mediante audiencias abiertas. c) La Comisión de Autoevaluación del programa mejora el informe, incorporando las observaciones recogidas durante las audiencias abiertas. UNAN - León 12

16 7.1.4 ETAPA CUATRO: VALIDADACIÓN DE LA AUTOEVALUACIÓN Esta etapa consta de dos fases: Validadción local y validación externa. Fase 1.: Validación local Durante esta fase, se realiza: a) La Universidad conforma la Comisión Local de Pares, la que será Ad-Hoc y sus miembros procederán de Programas, universidades e instituciones diferentes al Programa Académico que se evalúa. b) La Comisión Nacional de Pares basada en el Informe de Evaluación, visitará in situ el Programa Académico a evaluarse, a fin de validar el proceso y resultados de la autoevaluación. La Comisión elaborará un informe. c) El Informe de Autoevaluación del Programa y el Informe de la Comisión Nacional de Pares serán conocidos y analizados por el Consejo Universitario para su aceptación o rechazo. El aval del Consejo Universitario constituye la legitimación institucional del Informe de Autoevaluación. d) Una vez aceptado el Informe de Autoevaluación por el Consejo Universitario, el Rector de la Universidad remite a la SP-CSUCA, concluyendo así la fase de autoevaluación del Programa Académico. Fase 2.: Validación Externa Durante esta fase el Programa Académico es: a) Visitado por una Comisión de Pares Académicos nombrada por el Comité de Coordinación Regional del SICEVAES. Su propósito es validar el proceso y resultados de la Autoevaluación del Programa. La visita se realiza de acuerdo a las normas y procedimientos establecidos por SICEVAES/CSUCA. Al final de cada Fase de la Etapa Cuatro, las Comisiones dejarán junto con sus Informes las recomendaciones que consideren necesarias, las que servirán para mejorar el Plan de Mejora de la Calidad del Programa Académico. UNAN - León 13

17 7.2 COMISION DE AUTOEVALUACION DE PROGRAMA La Comisión de Autoevaluación de Programa es nombrada por el Consejo Facultativo y estará conformada por un coordinador, dos profesores de experiencia y prestigio, un representante del Sindicato de Trabajadores Docentes, un representante del Sindicato del personal Administrativo y un representante del Movimiento Estudiantil del Programa. a) La Comisión de Autoevaluación de Programa es la responsable de impulsar el proceso de autoevaluación en su Programa, de acuerdo, a la metodología aprobada por el Consejo Universitario. b) Coordinar los aspectos metodológicos que se utilizarán en el proceso de autoevaluación, garantizando que sean altamente participativos en todas las fases del proceso. c) Elaborar el consolidado del informe Final de Autoevaluación, basado en la guía elaborada para tal propósito. d) Elaborar el Plan de Mejora del Programa La Comisión de Autoevaluación de Programas, conformará los grupos de trabajo necesarios, a fin de apoyar el desarrollo de la autoevaluación. 7.3 ESTRUCTURA La Universidad cuenta con una estructura que facilita el desarrollo de los Procesos de Autoevaluación en todas sus etapas. Esta estructura es, la Dirección de Análisis Institucional y Evaluación, la cual depende del Rector. UNAN - León 14

18 VIII. INDICADORES Y ESTANDARES 8.1 Factor: Subfactor: Sistema de Ingreso. CRITERIO INDICADOR ESTANDAR TÉCNICA FUENTE DE 1. Universalidad 1.1 Definición y caracterización de la población meta Cobertura de la población meta (%) Documental Secrt Académ Informática 1.2 Conocimiento del Sistema de Selección y admisión Divulgación del Sistema de Selección y admisión (%) Encuesta Entrevista VRA Vice Deca Relacions ext Padres Familia 1.3 Sistema de Selección y admisión a la universidad Aplicación del sistema de selección y admisión institucional (%) Encuesta Entrevista Vice Decano, Jefes Dpto con Prog 2. Idoneidad 2.1 Indice académico de IV y V ano de secundaria Indice académico del estudiante de primer ingreso 2.1.1Documental VRA Secret. Académ: Secretaría Académica. V.R.A: Vicerrectoría Académica. Jefes Dpto. con Prog.: Jefes de departamento con Programa UNAN - León 15

19 CRITERIO INDICADOR ESTANDAR TÉCNICA FUENTE DE 2.2 Promedio de la prueba de habilidades del estudiante de primer ingreso Nota promedio de la prueba de habilidades de los estudiantes del Programa 2.2.1Documental VRA 3.Eficiencia 3.1 Satisfacción en la selección y admisión a la universidad Satisfacción en la selección y admisión a la universidad (%) Encuesta Satisfacción con la ubicación en el programa Satisfacción con la ubicación en el programa (%) Encuesta Documental Secret. Académ 4.Equidad 4.1 Igualdad de condiciones y oportunidades de los estudiantes del Año Común Aplicación de los reglamentos del Año Común y de ubicación del Programa Encuesta Entrevista Aut del A.C, Com de Ubic 5.Transparencia 5.1 Divulgación y cumplimiento del procedimiento de selección y admisión a la institución Amplio acceso al procedimiento del proceso de selección y admisión a la institución Encuesta Divulgación y cumplimiento de procedimientos de clasificación al programa Amplio acceso al procedimiento del proceso de clasificación al Programa Encuesta Com. de Ubic.: Comisión de Ubicación Aut. del A.C: Autoridades del Año Común UNAN - León 16

20 CRITERIO INDICADOR ESTANDAR TÉCNICA FUENTE DE 6.Responsabilidad 6.1. Sistema de admisión mejorado Existencia de plan de monitoreo y evaluación del Sistema de Admisión de los bachilleres Entrevista V.R.A 6.2 Sistema de ubicación mejorado Existencia de plan de monitoreo y evaluación al sistema de ubicación de los estudiantes Entrevista V.R.A Com. de Ubic. UNAN - León 17

21 8.1.2 Subfactor: Traslado y Titulación. CRITERIO INDICADOR ESTANDAR TÉCNICA FUENTE DE 1. Universalidad 1.1 Normativa para traslado de un programa a otro e interuniversitaria Aplicación de normativas para traslado (%) Encuesta Divulgación de normativas para traslado Conocimiento de normativas para traslado (%) Encuesta Normativas para la titulación Aplicación de normativas para la titulación (%) Encuesta Divulgación de normativas para titulación Conocimiento de las normativas para ltitulación (%) Encuesta UNAN - León 18

22 8.1.3 SubFactor: Servicios Académico Especiales CRITERIO INDICADOR ESTANDAR TÉCNICA FUENTE DE 1.Equidad 1.1Plan de divulgación de las normativas sobre tutoría 1.2 Aplicación de procedimiento para tutoría Conocimientos de normativas sobre tutorías Aplicación de normativas para tutorías (%) Encuesta Encuestas Docente UNAN - León 19

23 8.2. Factor: Recursos Humanos Sub-Factor: Docentes CRITERIOS INDICADORES ESTANDARES TÉCNICAS FUENTE DE 1. Equidad 1.1Definición de políticas para la captación, selección y contratación del personal Aplicación de políticas de captación, selección y contratación del personal (%) Encuesta Documental Docente Secret Académ 1.2 Reglamento de categorización Docente Categorización de los Docentes de acuerdo a reglamento (%) Encuesta Documental Secret Académ, Recur Human 1.3 Aplicación de política salarial Salarios docentes en correspondencia con su categoría Encuesta Documental Docente Secret Académ, Recur. Human. 1.4 Políticas de evaluación docentes Aplicación de políticas de evaluación Docente Encuesta Entrevista Docente Jefe del Dpto. 1.5Políticas de estímulo a la productividad académica Aplicación de política de estímulo a la productividad académica Encuesta UNAN - León 20

24 CRITERIOS INDICADORES ESTANDARES TÉCNICAS FUENTE DE 1.6 Existencia de normativas de seguridad ocupacional 1.6.1Cumplimiento de normativas de seguridad ocupacional (%) Encuesta Documental Vice Decano 1.7Definición de políticas institucional de Jubilación Aplicación de criterios preestablecidos de jubilación (%) Encuesta Idoneidad 2.1 Existencia de política y normativa de formación profesional 2.2 Criterios definidos para la distribución del personal docente 2.1.1Docentes formados en programa de formación profesional Aplicación de los criterios para la distribución del personal (%) 2.1.1Documental Documental Secret Académ Secret Académ 2.3 Ambiente de trabajo adecuado Centro de trabajo equipados con requerimientos adecuados 2.3.1Encuesta Observación Locales/Espacio 3. Eficiencia 3.1 Políticas de estructuración del personal docente 3.1.1Claustro docente estructurados de acuerdo a políticas (%) Encuesta Documental Secret. Académ 3.2 Existen profesores invitados Porcentaje de profesores invitados (%) Documental Jefe Dpto. UNAN - León 21

25 CRITERIO INDICADOR ESTANDAR TÉCNICA FUENTE DE 3.3 Cumplimiento de la disciplina laboral Cumplimiento de la s actividades asignadas (%) Documental Jefe Dpto. 3.4 Académicos en trabajos de investigación 3.5 Académicos en actividades de extensión Número de académicos en lo trabajos de investigación (%) Número de académicos en actividades de extensión (%) 3.4.1Documental 3.5.1Documental Jefe Dpto Jefe del Dpto. UNAN - León 22

26 Sub-factor: Administrativos CRITERIO INDICADOR ESTANDAR TÉCNICA FUENTE DE 1. Equidad 1.1 Definición de políticas que orienten la captación, selección y contratación del personal Aplicación de políticas de captación, selección y contratación del personal (%) Encuesta Documental Administrativos Administrador 1.2 Aplicación de política salaria Salarios de los administrativos en correspondencia con su cargo (%) 1.2.1Encuesta Documental Administrativos Administrador 1.3 Existencia de normativa de evaluación para los administrativos Aplicación de normativa para evaluar a los administrativos (%) 1.3.1Encuesta Administrativos 1.4 Administrativos promovidos por el escalafón 1.5 Estímulo al desempeño administrativo Aplicación del escalafón para la promoción del personal administrativo (%) Aplicación de políticas de estímulos al desempeño administrativo(%) Encuesta Encuesta Administrativos Administrativos 1.6 Existencia y aplicación de políticas de estabilidad laboral Aplicación de políticas que garanticen la estabilidad laboral (%) Encuesta Administrativos UNAN - León 23

27 CRITERIOS INDICADORES ESTANDARES TÉCNICAS FUENTE DE 1.7 Normativa de jubilación Aplicación de un plan de jubilación (%) Encuesta Administrativos 2. Idoneidad 2.1 Formación profesional acorde con el cargo Cargo del personal administrativo acorde con su formación profesional (%) Documental Administrador 2.2 Normativa de distribución del personal administrativo Aplicación de normativas de distribución (%) Encuesta Administrativos 2.3 Número de trabajadores administrativos por unidad administrativo 2.4 Experiencia laboral 2.5 Nivel académico del personal gerencial 2.6 Oficinas con equipamiento adecuado Trabajadores administrativos en correspondencia con la organización de la unidad administrativa (%) Experiencia laboral acorde a las funciones y responsabilidad del cargo (%) 2.5.1Personal gerencial con título universitario (%) 2.6.1Oficinas con tamaño, estructura y equipamiento adecuado (%) Documental Documental Documental 2.6.1Encuesta Observación 2.31 Administrador Administrador Administrador Administrativos Administrador UNAN - León 24

28 CRITERIOS INDICADORES ESTANDARES TÉCNICAS FUENTE DE 3. Eficiencia 3.1 Planificación administrativa Cumplimiento de la programación de las actividades administrativas (%) 3.1.1Documental Administrador 3.2 Puntualidad y Permanencia del personal durante su jornada laboral Cumplimiento de la jornada laboral (%) Documental Administrador 3.3 Información disponible con relación a formación, experiencia, capacitación y rotación del personal Existencia de un sistema de información básico Documental Administrador 4. Eficacia 4.1Monitoreo y Evaluación de la Planificación administrativa Existencia de un Plan de Monitoreo y Evaluación de la planificación administrativa Entrevista Administrador UNAN - León 25

29 8.3 Factor: Plan Curricular CRITERIOS INDICADORES ESTANDARES TÉCNICAS FUENTE DE 1.Universalidad 1.1 Actualización del curriculum de acuerdo al avance científico 1.2 Actualización permanente de las referencias bibliográficas en los programas de asignatura Aplicación de políticas y estrategias para la actualización del curriculum (%) Contenidos de los programas actualizados con relación a los referentes de la disciplina 1.1.1Encuestas Entrevista Encuestas 1.1.1, Vice-Decano Jefes Dpto. con Prog , 2.Pertinencia 2.1Estructura y acciones del Plan Curricular se corresponden con las necesidades de la sociedad 2.1.1Correspondencia del Plan Curricular con las necesidades de la sociedad Encuesta Entrevista 2.1.1, Docentes Empleadores, Egresados, Vice Decano Jefes Dpto. con Prog. UNAN - León 26

30 CRITERIOS INDICADORES ESTANDARES TÉCNICAS FUENTE DE 2.2 Conocimientos expresados en el plan de estudio se corresponden con las necesidades de la sociedad El perfil profesional se corresponde con las necesidades de la sociedad 2.1.1Encuesta Entrevista 2.1.1, Empleadores, Egresado, Vice Decano Jefes Dpto con Prog. 2.3 Habilidades, destrezas y actitudes expresadas en el plan de estudio se corresponden con las necesidades de la sociedad El perfil ocupacional satisface las necesidades de la sociedad 2.3.1Encuesta Entrevista 2.3.1, estudiantes Empleadores, egresado, Vice Decano, Jefe Dpto. con Prog. 3. Coherencia 3.1El plan de estudio se corresponde con la misión, visión y principios del Programa y Universidad Correspondencia del plan de estudio con la misión, visión y principios del Programa y la Universidad Encuesta Documental 3.1.1, Vice Decano Jefes Dpto con Prog UNAN - León 27

31 CRITERIOS INDICADORES ESTANDARES TÉCNICAS FUENTE DE 3.2Objetivos, contenidos y metodología de los componentes curriculares se corresponden con el perfil profesional y ocupacional definido Correspondencia entre el plan de estudio y el perfil Profesional y ocupacional Encuesta Documental 3.2.1, Vice Decano Jefes Dpto con Prog 3.3 Plan de estudio diseñado de acuerdo a políticas y estrategias de Reforma Curricular Correspondencia entre las políticas y estrategias de Reforma Curricular con el plan de estudio Encuesta Documental Vice Decano Jefes Dpto. con Prog. 3.4 Secuencia lógica vertical y horizontal de las disciplinas, módulos y componentes Correspondencia vertical y horizontal de las disciplinas, módulos o componentes Encuesta Documental Vice Decano Jefes Dpto. con Prog 3.5 Porcentaje de componentes curriculares de formación general, básica, humanísticos y específicos Correspondencia en el plan de estudio entre la formación general, básica humanísticos y específicos (%) Encuesta Documental Vice Decano Jefes Dpto. con Prog UNAN - León 28

32 CRITERIOS INDICADORES ESTANDARES TÉCNICAS FUENTE DE 3.6 Los contenidos reflejan lo expresado por los objetivos 3.7La metodología refleja lo expresado por los objetivos 3.8 La evaluación refleja lo expresado por los objetivos 3.9 La metodología del componente curricular se corresponde con los contenidos Existe correspondencia entre los contenidos y la evaluación aprendizaje 3.6.1Correspondencia entre los objetivos del componente curricular y los contenidos del mismo 3.7.1Correspondencia entre los objetivos del componente curricular y la metodología del mismo Correspondencia entre los objetivos del componente curricular y la evaluación del aprendizaje Correspondencia entre la metodología del componente curricular y contenidos la del mismo Correspondencia entre los contenidos del componente curricular y la evaluación del aprendizaje 3.6.1Documental 3.7.1Documental 3.8.1Documental 3.9.1Documental Documental Jefes Dpto Jefes Dpto Jefes Dpto Jefes Dpto Jefes Dpto Actividades de aprendizaje del componente curricular se corresponden con las técnicas de evaluación Correspondencia entre la metodología del componente curricular y la evaluación del aprendizaje Documental Jefes Dpto. UNAN - León 29

33 CRITERIOS INDICADORES ESTANDARES TÉCNICAS FUENTE DE 4.Eficiencia 3.12 Correspondencia en la complejidad del componente con las actividades teóricas prácticas de la misma 4.1. Memoria del Plan Curricular Equilibrio entre las actividades teóricas y prácticas del componente curricular Existencia de los documentos curriculares del Programa (%) Documental Documental Jefes Dpto Vice Decano Jefes Dpto. con Prog 4.2 Sistematización de la experiencia académica. 4.3 Metodología participativa para la socialización del Plan Curricular con los docentes 4.4 Divulgación del Plan Curricular del Programa Existe documentación acerca de la implementación curricular Participación del personal docente en el diseño del Plan Curricular (%) Conocimiento del Plan Curricular de parte de los estudiantes (%) Documental Encuesta 4.4.1Encuesta Jefes Dpto Existencia de un sistema de Evaluación Integral Sistema de evaluación de los aprendizajes atiende todas las áreas del Curriculum Documental Vice Decano Jefes Dpto. con Prog UNAN - León 30

34 CRITERIOS INDICADORES ESTANDARES TÉCNICAS FUENTE DE 5 Eficacia 5.1 Existencia de mecanismos intermedios y finales de verificación de logros del perfil profesional y ocupacional Evaluación transversal de la competencia/ desempeño del estudiante (%) Encuesta Entrevista 5.1.1, Vice Decano Jefes Dpto. con Prog. 5.2 Utilización de los resultados de evaluación en los ajustes del plan Curricular Plan Curricular mejorado a partir de los resultados de la evaluación Entrevista Vice Decano Jefes Dpto. con Prog 6.Responsabilida 6.1 Implementación de Plan de Monitoreo y evaluación del curriculum Existencia de Plan de monitoreo y evaluación del curriculum del Programa 6.1.1Entrevista Vice Decano Jefes Dpto. con Prog UNAN - León 31

35 8. 4. FACTOR: DOCENCIA CRITERIOS INDICADORES ESTANDARES TECNICAS FUENTE DE 1. Universalidad 1.1 Existen políticas y estrategias educativas que orienten el proceso Enseñanza-Aprendizaje 1.2 Normas y procedimientos del quehacer docente El Programa posee y aplica políticas y estrategias que orientan el Proceso Enseñanza Aprendizaje (%) Normas y procedimientos orientan el trabajo de los docentes (%) Encuesta Encuesta Documental Secret Academ 1.3 Metodología que orienten el proceso de enseñanza-aprendizaje Profesores aplicando enfoques pedagógicos modernos (%) Encuesta Profesores realizan actividades que fomentan el desarrollo intelectual Enfoques pedagógicos que fomentan el desarrollo intelectual Encuesta 1.4.1, UNAN - León 32

36 CRITERIOS INDICADORES ESTANDARES TECNICAS FUENTE DE 2. Equidad 2.1 Existe reglamento de evaluación integral de los estudiantes (conceptual, habilidades, destrezas y actitudinal) Existe Reglamento de evaluación integral del aprendizaje (%) Encuesta Documental Secret Acade 2.2 Aplicación de técnicas de evaluación integral del aprendizaje (%) Aplicación de técnicas de evaluación integral del Aprendizaje (%) Encuesta 2.21, 2.3 Utilidad de la evaluación del aprendizaje en la planificación del proceso Enseñanza-aprendizaje Uso de los resultados de la evaluación del aprendizaje en la mejora de la planificación del proceso enseñanza-aprendizaje Encuesta Entrevista Jefe Dpto. 2.4 Políticas de reconocimiento por méritos académicos a estudiantes Aplicación de criterios sobre méritos académicos a estudiantes (%) Encuesta 2.4.1, 2.5 Políticas y procedimientos que incorporen la opinión de los estudiantes en la de evaluación del trabajo docente Participación del estudiante en la evaluación del docente (%) Encuesta 2.5.1, UNAN - León 33

37 CRITERIOS INDICADORES 2.3 ESTANDARES TÉCNICAS FUENTE DE 2.6 Relación afectiva profesoralumno Relación positiva profesoralumno Encuesta 2.6.1, 3 Coherencia 3.1 Metodología del componente se corresponde con la misión del Programa y de la Universidad Metodología del proceso enseñanza-aprendizaje del componentes se corresponden con la misión del Programa y de la Universidad 3.1.Encuesta 3.1.1, 3.2 Metodología del componente se corresponde con los objetivos del Programa Metodología del proceso enseñanza-aprendizaje del componentes se corresponden con los objetivos del Programa (%) Encuesta 3.21, 3.3 Metodología del componente se corresponde con los contenidos del mismo Correspondencia entre la metodología del componente y los contenidos del mismo Encuesta Los contenidos del componente se corresponde con los objetivos 3.4.1Correspondencia entre los contenidos y los objetivos Encuesta UNAN - León 34

38 CRITERIOS INDICADORES ESTÁNDARES TECNICAS FUENTE DE 3.5 La evaluación del aprendizaje se corresponde con la metodología Correspondencia entre la evaluación del aprendizaje y la metodología del componente 3.5.1Encuesta La evaluación del aprendizaje se corresponde con los objetivos Correspondencia entre la evaluación del aprendizaje y los objetivos del componente Encuesta La evaluación del aprendizaje se corresponde con los contenidos Correspondencia entre la evaluación del aprendizaje y los contenidos del componente Encuesta Material didáctico suficiente para los requerimientos del componente Material didáctico suficiente para la formación del profesional Encuesta Material didáctico adecuado para los requerimientos del componente Material didáctico adecuado para la formación del profesional Encuesta 3.91 UNAN - León 35

39 CRITERIOS INDICADORES ESTANDARES TECNICAS FUENTE DE 3.10 Material didáctico actualizado para los requerimientos del componente Material didáctico actualizado para la formación del profesional Encuesta Materiales didácticos en correspondencia con los objetivos, contenidos y metodología Congruencia entre materiales didácticos, objetivos, contenidos y metodología Encuesta Existe correspondencia entre la teoría y práctica del componente Teoría y práctica del componente se corresponde con la complejidad del mismo Encuesta Número de estudiantes en correspondencia con el tipo de actividad de aprendizaje que se realiza Tamaño del grupo de clase se corresponde con el tipo de actividad de aprendizaje que se realiza(%) Encuesta Documental Jefe Dpto. 4. Eficiencia 4.1 Carga académica de los docentes Carga académica acorde a las normativas Documental Jefe Dpto. UNAN - León 36

40 CRITERIOS INDICADORES ESTANDARES TECNICAS FUENTE DE 4. 2 Relación estudiantes/ profesor Relación de estudiantes/ profesor 4.2.1Documental Jefe Dpto. 4.3 Previsión de la Promoción académica del Programa Previsión de la promoción académica 4.3.1Documental Jefe Dpto. 5. Eficacia 5.1 Cumplimiento de la carga académica 5.1.1Cumplimiento de la carga académica 5.1.1Documental Jefe Dpto. 5.2 Promoción académica de los estudiantes en el Programa Promoción académica del Programa 5.2.1Documental Secret Académ. 5.3 Tasa de deserción de los estudiantes por cursos Tasa de deserción por curso(%) Documental Secret Académ. 5.4 Tasa de deserción del programa Tasa de deserción en el Programa (%) Documental Secret Académ 6 Responsabilidad 6.1 Implementación de un Plan de Monitoreo y evaluación del proceso docente 6.1.1Existencia de un plan de monitoreo y evaluación del proceso docente Entrevista Jefe Dpto. UNAN - León 37

41 8.5 FACTOR: INVESTIGACION CRITERIO INDICADOR ESTANDAR TECNICA FUENTE DE 1.Universalidad. 1.1 Definición de políticas y líneas institucionales para la investigación Aplicación de políticas y líneas institucionales para la investigación(%) Encuesta Entrevista 1.1.1, Vice Decano, Jefe Dpto con Prog. 1.2 Divulgación de políticas y líneas de investigación Conocimientos de las políticas y líneas de investigación (%) Encuesta 1.2.1, 1.3 Normativas de investigación Aplicación de normativas de investigación (%) Encuesta Entrevista 1.3.1, Vice Decano, Jefe Dpto con Prog. 1.4 Divulgación de las normativas de investigación Conocimiento de las normativas de investigación Encuesta 1.4.1, 1.5 Número de proyectos de investigación del Programa Proyectos de investigación del Programa Documental Jefe Dpto. UNAN - León 38

42 CRITERIO INDICADOR ESTANDAR TECNICA FUENTE DE 1.6 Número de investigaciones básicas y aplicadas que se realizan en el Programa Investigaciones Básicas y aplicadas del Programa (%) Documental 1.6.1Jefe Dpto. 1.7 Normas de estímulo a investigadores Aplicación de las normas de estímulos a investigadores Encuesta 1.7.1, 1.8 Divulgación de las normas de estímulos Conocimiento de las normas de estímulos Encuesta Pertinencia 2.1 Investigaciones realizadas según las necesidades sociales Priorización de las investigaciones en relación a las necesidades (%) Encuesta Investigación financiada por entidades regionales, acorde con las necesidades de la sociedad Proyectos regionales acordes a las necesidades (%) Encuesta Entrevista 2.2.1, Jefe Dpto / Resp. Proy. 2.3 Investigación financiada por entidades nacionales e internacionales acorde con las necesidades de la sociedad Proyectos nacionales e internacionales acordes a las necesidades (%) Encuesta Entrevista 2.3.1, Jefe Dpto / Resp. Proy. UNAN - León 39

43 CRITERIO INDICADOR ESTANDAR TECNICA FUENTE DE INFORMACION 2.4 Transferencia de los resultados de la investigación a la sociedad Investigaciones aplicadas a problemas sociales (%) Encuesta 24.1, 3.Coherencia 3.1 Congruencia de la investigación con la misión del programa Investigación en correspondencia con la Misión Encuesta 3.1.1, 3.2 Correspondencia entre la investigación y las líneas establecidas Investigación que se realiza en correspondencia con las líneas establecidas (%) Encuesta 3.2.1,. 4. Eficiencia 4.1Áreas de investigación Areas de Investigación afín al Programa Documental Jefe Dpto 4.2 Equipos de laboratorio existentes en cada área de investigación Cantidad de equipos de laboratorio existentes Documental Jefe Dpto 4.3 Desarrollo de investigaciones interdisciplinarias 4.4 Equipos interdisciplinarios de investigación Número de investigaciones interdisciplinarias Número de equipos interdisciplinario Documental Documental Jefe Dpto Jefe Dpto UNAN - León 40

44 CRITERIO INDICADOR ESTANDAR TECNICA FUENTE DE INFORMACION 4.5 Número de investigadores del Programa en equipos interdisciplinarios Investigadores participando en investigaciones interdisciplinarias (%) Documental Jefe Dpto 4.6 Existen mecanismos de trabajo interdisciplinario Mecanismos de trabajo interdisciplinarios (%) Encuesta Grado científico de los investigadores Distribución de los investigadores por grado científico (%) Documental Jefe Dpto 4.8 Número de docentes realizando investigación Docentes en la investigación (%) Documental Jefe Dpto 4.9 investigando por curso Distribución de los estudiantes investigando por curso (%) Documental Jefe Dpto 4.10 Cumplimiento de los términos en que son firmados los convenios Cumplimiento de convenios suscritos (%) Documental Jefe Dpto 4.11 Utilización de los resultados de la investigación en el programa Modificación del Plan Curricular debido a la investigación (%) Encuesta UNAN - León 41

45 CRITERIO INDICADOR ESTANDAR TECNICA FUENTE DE 4.12 Vinculación de los docentes con la comunidad científica nacional e internacional Docentes participando en eventos científicos nacional e internacionales (%) Documental Jefe Dpto 4.13 Vinculación de los estudiantes con la comunidad científica nacional e internacional participando en eventos científicos nacional e internacionales (%) Documental Jefe Dpto 4.14 Divulgación de los resultados de las investigaciones en el ámbito nacional e internacional Información sobre eventos científicos (%) Documental Jefe Dpto 5. Eficacia 5.1 Normas y procedimientos para avalar las investigaciones del programa Cumplimiento de las normas (%) Encuesta Existencia de comité que regule las investigaciones desde el punto de vista ético, científico-técnico y metodológico. 5.2 Aplicación del procedimiento para avalar las investigaciones (%) Encuesta Metas de investigación planificadas Cumplimiento de metas de investigación de acuerdo a lo planificado (%) Documental Jefe Dpto. UNAN - León 42

46 CRITERIO INDICADOR ESTANDAR TECNICA FUENTE DE 5.4 Difusión de resultados científicos Publicaciones y presentación de resultados de invesigación Documental Jefe Dpto. UNAN - León 43

47 IX. REFERENCIA BIBLIOGRAFICA 1) H.R, Kells. AUTORREGULACIóN EN LA EDUCACIóN SUPERIOR: ORGANIZACIóN DE LA AUTORREGULACIÓN. Consejo Superior de Educación. Santiago Chile. Pág. 33 a 54. Septiembre, ) H.R, Kells. PROCESO DE AUTOEVALUACION. UNA GUIA PARA LA AUTOEVALUACION EN LA EDUCACIóN SUPERIOR. Pontificia Universidad católica del Perú, Fonda Editorial: ) José-Ginés, Mora Ruíz. LA EVALUACIóN DE LAS INSTITUCIONES UNIVERSITARIAS. REVISTA DE INVESTIGACIóN EDUCATIVA. VOL. 9- No. 7. Pág I SEMESTRE, ) Justo, Arnal. Delio, del Rincón y Antonio, Latorre. INVESTIGACIÓN EDUCATIVA: FUNDAMENTOS Y METOLOGÍA. EDUCATIVAS. Editorial Labor, S.A. Capitulo IV. Pág , ) Luís Enrrique Orozco Silva. MODULO: ACREDITACIÓN INSTITUCIONAL Y DE PROGRAMA. Guía instruccional, Colección Internacional Texto MDA, Ref. N003. Universidad de los Andes. Centro de Investigación en educación Superior. Magister en Dirección Universitaria-MDU. Santa fé de Bogotá. Colombia. 6) MINISTERIO DE EDUCACIÓN Y CIENCIA. PROGRAMA DE EVALUACIÓN INSTITUCIONAL DE LA CALIDAD DE LAS UNIVERSIDADES. Consejo de universidades. Secretaria general. Pág. 5 a ) Oscar, Ospina D. Luís, González F. Alvaro, Poblete L. Soledad, Ramírez G. Moisés, Silva T. y María, Zuñiga C. MANUAL AUTOEVALUACIóN PARA INSTITUCIONES DE EDUCACIóN SUPERIOR: Pautas y procedimientos. CINDA/PROMESUP-OEA. Santiago de Chile. Pág. 9 al ) PROGRAMA EXPERIMENTAL DE EVALUACIÓN DE LA CALIDAD DEL SISTEMA UNIVERSITARIO: Informe Final. Comité Técnico de la Secretaría General del Consejo de Universidades. Madrid, España. Julio, ) PROGRAMA EXPERIMENTAL DE EVALUACIÓN DE LA CALIDAD DEL SISTEMA UNIVERSITARIO: Instrumentos. Secretaría General del Consejo de Universidades. Madrid, España. Febrero,

48 10) PUEDE GARANTIZARSE LA CALIDAD DE LA EDUCACIÓN SUPERIOR?. Revista IGLU. Organización Universitaire Interamericana. Québec, Canadá. Pág Abril, ) Rosa María, Tórrez. MEJORAR LA CALIDAD DE LA EDUCACIÓN?. LAS ESTRATEGIAS DEL BANCO MUNDIAL. Instituto Fronesis: Pedagogía, comunicación y sociedad. Ponencia presentanda en el seminario "Del Banco Mundial y las Políticas de Educación del Brasil". San Pablo, Brasil Junio, ) Sonia, Alvarez. EVALUACIÓN DE CALIDAD COMO ALTERNATIVA PARA LA TRANSFORMACIÓN DE LAS UNIVERSIDADES: EL CASO DE LA ARGENTINA. Revista IGLU. Organización Universitaire Interamericana. Québec, Canadá. Pág Octubre,