Atendiendo a lo establecido en el Reglamento de Estudios Superiores. Qué debe evaluar el examen de requisito de idioma?

Transcripción

1 Qué debe evaluar el examen de requisito de idioma? Juan Gabriel Garduño Moreno Ma. del Carmen Gómez Pezuela Reyes El objetivo de este trabajo es definir los niveles de ejecución que deben medir los instrumentos empleados para acreditar el requisito de idioma en la UAM-Xochimilco. Para lograrlo primero es necesario establecer el nivel de comprensión lectora en lengua extranjera que debe y puede exigir la institución a sus egresados con base en dos criterios: el nivel de competencia lingüística con el que ingresan a la universidad y la formación en lenguas que ésta les puede ofrecer. Se observa que los instrumentos empleados tradicionalmente para acreditar el requisito no cumplen cabalmente con el criterio de validez. A partir de estos razonamientos se perfilan las acciones que permitan elaborar instrumentos más confiables. palabras clave: examen requisito, titulación, acreditación del idioma. Introducción Atendiendo a lo establecido en el Reglamento de Estudios Superiores de la UAM, el examen de requisito de idioma se aplica en la Unidad Xochimilco desde el año En general, dos han sido las políticas de aplicación de los instrumentos: el empleo de pruebas estandarizadas tipo TOEFL y la creación de instrumentos propios. A pesar de los esfuerzos realizados, debe advertirse que los productos resultado de ambas prácticas presentan inconsistencias teórico-metodológicas dentro de las que sobresale la falta de claridad en la especificación del nivel mínimo de comprensión que se debe exigir a los estudiantes con el fin de justificar su acreditación. ANUARIO DE INVESTIGACIÓN 2010 UAM-XOCHIMILCO MÉXICO PP

2 qué debe evaluar el examen de requisito de idioma? En cierto sentido, existe una tendencia a idealizar el nivel de competencia lectora en lengua extranjera que un egresado debería hipotéticamente poseer; este hecho ha propiciado la aplicación sistemática de exámenes cuyo nivel de exigencia está por encima de lo que realmente éste es capaz de realizar en términos de aplicación de conocimientos y dominio de habilidades. No obstante, existen argumentos sólidos para establecer que el dominio de competencias que un egresado puede exhibir es discreto. En parte, esto se debe a que los estudiantes poseen importantes rezagos, resultado de su formación anterior a la universidad y, en parte, a que la institución sólo les ofrece un entrenamiento de tipo instrumental centrado en desarrollar estrategias de compensación. Sin duda, esclarecer el nivel de comprensión mínimo y precisar las competencias que los estudiantes deben dominar permitirá optimizar los instrumentos empleados para acreditar el requisito de idioma. Por ende, resulta pertinente determinar el tipo de textos que éstos pueden leer, así como el nivel de profundidad y especificidad de comprensión que puede alcanzar. El requisito de idioma Diversas son las instituciones de educación superior en el país en las que se exige la comprensión de lectura en una lengua extranjera como requisito de titulación del nivel licenciatura. Por ejemplo, en la UNAM, la Comisión Especial de Lenguas Extranjeras (Coele) reporta que en la gran mayoría de las licenciaturas que se imparten en las diversas escuelas superiores y facultades de la UNAM, se exige como requisito de titulación la comprensión de lectura en una lengua extranjera. De manera particular, al no estar incorporado a los planes de estudio, el requisito de idioma posee un estatus de asignatura extracurricular. De acuerdo con el mencionado reporte, el cumplimiento de este requerimiento se originó gracias a la iniciativa de algunos profesores universitarios interesados en enseñar metódicamente la estructura gramatical de las lenguas, con el fin de ayudar a sus estudiantes a traducir textos que consideraban importantes para su formación profesional. Según se refiere, 14 estrategias educativas y de intervención

3 juan gabriel garduño Ma. del carmen gómez pezuela esta práctica se fue convirtiendo paulatinamente en un requisito imprescindible para la obtención de un grado académico (Coele, 2007:12). No fue sino hasta mediados de la década de 1970, con la expansión de la UNAM a otras sedes fuera del campus de Ciudad Universitaria ocasionada por el incremento de la población estudiantil, que la comprensión de textos en una lengua extranjera se convierte oficialmente en un requisito de titulación. En la Universidad Autónoma Metropolitana, el requisito de idioma se exige únicamente en las Unidades Xochimilco e Iztapalapa. Particularmente, en Xochimilco todas las licenciaturas pertenecientes a las Divisiones de Ciencias Biológicas y de la Salud (CBS) y de Ciencias Sociales y Humanidades (CSH) exigen la comprensión de lectura, en tanto que sólo dos de las cuatro licenciaturas de la División de Ciencias y Artes para el Diseño (CyAD) lo hacen. Por su parte, en la Unidad Iztapalapa todas las licenciaturas de las Divisiones de Ciencias Básicas e Ingeniería (CBI) y de CBS mantienen vigente este requerimiento; sin embargo, en fecha reciente, la División de CSH acaba de incorporar la lengua extranjera a los planes de estudio. En cuanto a la Unidad Azcapotzalco, la materia de idiomas posee igualmente un carácter curricular. Finalmente, en la Unidad Cuajimalpa, el requisito de idioma se obtiene con un determinado nivel de dominio de la lengua y no con la acreditación de lectura en lengua extranjera. Se concluye que, en los casos donde el idioma posee el estatus de requisito, la materia o asignatura funge como apoyo académico y desempeña un papel esencialmente instrumental (Ortiz, 2009:100). Las recomendaciones del Colegio Académico que establecen como requisito de titulación de las licenciaturas la acreditación de la comprensión de lectura en una lengua extranjera, entraron en vigor en la Unidad Xochimilco a partir del año A la letra, una de las encomiendas asentadas en el Acuerdo del Reglamento de Estudios Superiores 1 refiere lo siguiente: Que los consejos divisionales, en su caso, realicen las adecuaciones necesarias para incluir en los planes de estudio de licenciatura, el requisito del o los idiomas 1 Véase acuerdo [ estrategias educativas y de intervención 15

4 qué debe evaluar el examen de requisito de idioma? y el nivel requerido. Si bien el requisito de idioma fue incluido en los planes de estudio en el año mencionado, no fue hasta que el proceso de acreditación de las licenciaturas de las Divisiones de CSH y CBS tuvo lugar entre 2006 y 2008, que los consejos divisionales lograron homologar los términos en los que quedaría expresado dicho requisito de titulación. No obstante, la homologación sólo ocurrió al interior de las Divisiones. Es decir, en los planes de las licenciaturas de la División de CSH el requisito de titulación quedó expresado como la comprensión de lectura de textos académicos en inglés o francés ; mientras que la División de CBS lo enunció como la comprensión de textos en inglés a nivel técnico. A pesar de la utilización de una denominación diferente, se ha asumido tácitamente que, en ambos casos, el nivel exigido es el mismo; sin embargo, el hecho no deja de ocasionar un cierto grado de confusión, principalmente en la percepción de los estudiantes. Ahora bien. En el menciondo Acuerdo, el Colegio Académico recomienda claramente establecer el nivel requerido para acreditar el idioma. Pero, a juzgar por lo que se acaba de referir, se observa una falta de precisión en los planes de estudio en cuanto a la especificación de dicho nivel. Dicho de otro modo: el nivel mínimo de competencia lectora en lengua extranjera que la institución debe exigir a sus estudiantes para titularse de una licenciatura no está claramente definido, al menos en lo que respecta a la información plasmada en los planes y programas, cuyo destinatario principal es el estudiante. En este sentido, llama la atención el hecho de que en la UNAM prevalece una situación similar. Después del análisis minucioso de la información contenida en los planes de estudio de las carreras impartidas en esa institución, la Comisión Especial de Lenguas Extranjeras concluyó, por lo que toca al requisito de comprensión de lectura, que existe una falta de definición sobre la modalidad de conocimientos que se requieren y el nivel de competencia que han de lograr los estudiantes (Coele, 2007:31). En el contexto de la UAM, el Colegio Académico otorgó la facultad de establecer el nivel de competencia requerido para cubrir el requisito de idioma a los consejos divisionales, los cuales a su vez delegaron esta decisión a las instancias académicas encargadas de impartir lenguas extranjeras en cada una de las unidades académicas; por ejemplo, al Taller de Lenguas Extranjeras 16 estrategias educativas y de intervención

5 juan gabriel garduño Ma. del carmen gómez pezuela (Talex) en el caso de la Unidad Xochimilco. Así, se asumió que el nivel de competencia lectora para acreditar el idioma debería ser aquel que se encuentra asentado en el perfil de egreso del programa de estudios de los cursos que actualmente se imparten (Garduño et al., 2006: ). El problema es que en dicho programa no existe una definición clara de los niveles de ejecución que deben poseer los estudiantes. El nivel de los estudiantes Parte fundamental del establecimiento del nivel de competencia lectora requerido consiste en analizar la relación existente entre la formación que ofrece la institución a través de la propuesta curricular del Talex y el nivel de competencia lingüística que poseen los estudiantes que ingresan al nivel superior. Sólo el estudio de la convergencia entre estos dos aspectos permitirá establecer parámetros confiables de competencia. Se parte de la premisa de que el nivel de comprensión de lectura en una lengua extranjera exigido por la instutición debe ser directamente proporcional a la formación que ésta ofrece. Los cursos con objetivos específicos Como se acotó anteriormente, el crecimiento de la población universitaria dio origen a la proliferación de cursos de comprensión de textos en lengua extranjera en la UNAM. En ese contexto, la solución que ofreció la institución ante esta problemática fue la de instituir un tipo de curso que le permitiera satisfacer la creciente demanda brindando al estudiantado un entrenamiento de carácter instrumental que ofreciera resultados en corto tiempo 2 posiblemente con la intención de que la institución no realizara una gran inversión. En esta forma, la 2 Desde un principio y hasta la fecha, los cursos de comprensión de textos en lengua extranjera en la mayoría de las instituciones de nivel superior tienen una duración que fluctúa entre las 140 y las 150 horas de clase. estrategias educativas y de intervención 17

6 qué debe evaluar el examen de requisito de idioma? UNAM adoptó el modelo de los cursos con objetivos específicos o ESP (English for Specific Purposes), los cuales no están enfocados a enseñar la lengua extranjera per se sino en desarrollar una habilidad mediante la aplicación de estrategias de aprendizaje. Desde ese punto de vista, este tipo de cursos se centran en el proceso y no en el producto (Hutchinson y Waters, 1987:7-40). Por ser la institución con mayor experiencia docente y mayor cúmulo de investigación en el campo de la comprensión de lectura en lengua extranjera, la UNAM es y ha sido el referente inmediato de otras universidades. En cierta forma, el modelo de la UNAM fue originalmente adoptado por la UAM-Xochimilco, mediante la impartición de cursos de idiomas con objetivos específicos (Ortiz, 2009:47). De hecho, en los primeros años de su existencia, la entonces Selex de la UAM-Xochimilco organizó seminarios y produjo una serie de libros de inglés con objetivos específicos que fueron utilizados consistentemente en otras universidades públicas. En 1996, después de algunas vicisitudes que no viene al caso referir, el ahora Taller de Lenguas Extranjeras implementó un programa de estudios que intentó combinar la metodología de un curso de comprensión de lectura con la de un curso de inglés general. Infortunadamente, el producto presentó importantes inconsistencias teórico-metodológicas que con el tiempo lo hicieron inoperante. Aun así, el programa se mantuvo vigente durante casi una década. Finalmente, en 2006 se presenta una nueva propuesta curricular y se regresa a la impartición de cursos basados en el modelo de los objetivos específicos, cuya característica principal es, como se recordará, alcanzar un objetivo concreto y discreto en corto plazo. Cabe mencionar que el proceso de elaboración de este nuevo programa coincidió con el proceso de acreditación de las licenciaturas de Ciencias Sociales y Humanidades. En dicho programa se encuentran delimitados tanto el nivel requerido como las competencias lectoras en lengua extranjera que un estudiante debe dominar para consultar fuentes bibliográficas relativas a su campo de estudio. En tal sentido, los cursos de comprensión de textos tienen el objetivo de desarrollar estrategias que les permitan reconocer el tema general de un texto, recuperar datos específicos del mismo, reconocer elementos lingüísticos y discursivos e inferir el significado de vocabulario desconocido. A pesar de 18 estrategias educativas y de intervención

7 juan gabriel garduño Ma. del carmen gómez pezuela todo, como se aclaró anteriormente, los niveles de ejecución de los estudiantes expresados en este programa no están detalladamente definidos. Finalmente, es conveniente aclarar que las limitaciones formativas del modelo curricular arriba descrito no deben ser vistas como un asunto aislado. Este problema está aunado al nivel de conocimientos de lengua extranjera que poseen la gran mayoría de los estudiantes que ingresan a la UAM. A este respecto, autores como González, López y Vivaldo, conscientes de la realidad que impera en las universidades públicas del país, advierten acerca de la inoperancia de los programas tradicionales de comprensión de lectura a nivel universitario que restringen la enseñanza de la LE a una sola habilidad (la lectura) (citados en Flores et al., 2007:20-21). En general, estos autores asumen que para comprender un texto cabal y eficazmente, los estudiantes deben poseer una base mínima de competencia lingüística en lengua extranjera que les sirva de plataforma (Flores et al., 2007:21). En concordancia con lo anterior, Alderson señala que un pobre desempeño en la lectura en lengua extranjera está asociado a un bajo nivel de dominio en esa lengua. De acuerdo con este autor, un estudiante debe traspasar un umbral de domino de idioma (language threshold) antes de siquiera ser capaz de transferir sus estrategias de lectura en lengua materna al contexto de la lengua meta (Alderson, 2000:23). El nivel de competencia lingüística El segundo criterio para determinar el nivel requerido para acreditar el requisito de idioma concierne al nivel de competencia lingüística en lengua extranjera que poseen los estudiantes que ingresan al nivel superior. En 2004, González et al. publican una investigación (auspiciada por la ANUIES) centrada en medir la competencia lingüística 3 en inglés (CLI) de los estudiantes 3 El concepto de competencia lingüística proviene originalmente de Chomsky, pero la lingüística aplicada lo ha trasladado al campo de la enseñanza de segundas lenguas. En este último contexto, el término refiere al conocimiento de la gramática de una lengua extranjera y su uso en un contexto social adecuado (Chomsky, 1965). estrategias educativas y de intervención 19

8 qué debe evaluar el examen de requisito de idioma? que ingresaron a nueve instituciones de educación superior (IES) en el Área Metropolitana de la Ciudad de México. El estudio evidenció el bajo nivel de manejo del idioma inglés con el que éstos ingresan a las universidades; situación similar a la que, sin duda, se enfrentan la mayoría de las IES del país. Se demostró la seria deficiencia del sistema de educación media y media superior en lo referente a la enseñanza-aprendizaje del inglés como lengua extranjera (2004:129). De acuerdo con el estudio, se estima que un estudiante proveniente del Sistema de Educación Pública acumula, en promedio, un total de 600 horas de instrucción en inglés previas al ingreso a la universidad. Sin embargo, el nivel de CLI que exhibe se encuentra muy por debajo de lo que se esperaría. Se aplicó un instrumento diseñado para evaluar la CLI correspondiente a 400 horas de estudio 4 y sólo 10.6% acreditó la prueba. En palabras de los autores, los resultados obtenidos muestran un panorama muy desalentador (González et al., 2004:55, 90). Para ellos, estas marcadas deficiencias en el desempeño están asociadas a la falta de articulación entre los programas de enseñanza, criterios de evaluación y criterios de certificación de competencias [...] entre los diferentes niveles del sistema educativo nacional (González et al., 2004:129). En el caso particular de la UAM, 5 los resultados de la investigación mostraron que 78% de los estudiantes de primer ingreso no acredita el nivel básico de competencia lingüística en inglés referida a estándares internacionales de certificación, lo cual indica que están ubicados en un nivel de principiante absoluto (González et al., 2004:92). Sin lugar a duda, los datos proveídos por estas investigaciones son rotundos. Los estudiantes ingresan a la UAM con un dominio de la lengua extranjera que ni siquiera alcanza el nivel básico de competencia lingüística; esto se debe, en gran medida, al rezago generalizado que prevalece en el 4 El instrumento para medir la CLI fue el Nelson English Language Test (González et al., 2004:33). 5 Hasta donde sabemos, la muestra correspondiente a la UAM proviene de estudiantes de la Unidad Iztapalapa. Como dato contrastante, el porcentaje de estudiantes que muestran un bajo nivel de CLI en el Colmex es de 8, mientras que en el ITAM es de estrategias educativas y de intervención

9 juan gabriel garduño Ma. del carmen gómez pezuela Sistema Educativo Nacional. Si a esto se suma el hecho de que la institución sólo ofrece a los estudiantes un entrenamiento con carácter instrumental y remedial, se concluye que los estándares para evaluar el requisito de idioma no pueden medirse tomando como base un rasero muy alto. En consecuencia, para establecer el nivel de exigencia requerido no se deben soslayar ninguno de los dos aspectos acotados. En todo caso se debe encontrar la forma de definir los parámetros de evaluación. Estándares de referencia En realidad no existen estándares para medir la comprensión de lectura en lengua extranjera, vista esta última de manera aislada de las otras tres habilidades lingüísticas. No obstante, siempre es pertinente asirse a algún marco de referencia. Un punto de anclaje coherente lo representa el Marco Común Europeo de Referencia para las lenguas: aprendizaje, enseñanza y evaluación (MCER). Se trata de un estándar internacional para medir el nivel de comprensión y expresión oral y escrita en una lengua extranjera. Este proyecto fue propuesto en un congreso internacional celebrado en Suiza en noviembre de 1991 y desarrollado por el Consejo de Europa. El MCER establece una serie de niveles para todas las lenguas a partir de los cuales se favorece la comparación u homologación de los distintos títulos emitidos por las entidades certificadas. Actualmente, la gran mayoría de las instituciones tanto públicas como privadas del mundo que imparten alguna lengua extranjera lo toman como base para determinar y certificar los niveles de competencia. No obstante, esta correlación presenta algunos riesgos: el MCER establece los niveles de competencia de un usuario en las cuatro habilidades lingüísticas en su conjunto y no de una sola habilidad lingüística como la lectura. La premisa subyacente es que en un programa de inglés general, las habilidades lingüísticas no sólo están interrelacionadas, también el desarrollo de una implica irremediablemente el desarrollo de la otra (Richards y Rodgers, 1986:66). De ahí la dificultad de intentar establecer una correlación directa. estrategias educativas y de intervención 21

10 qué debe evaluar el examen de requisito de idioma? Se propone tentaivamente que un estudiante egresado de los cursos de lectura de la UAM-Xochimilco se ubique entre los niveles A2 y B1 del MCER, sólo en lo que compete a la lectura. Se aduce que éste sea el que un estudiante esté situado entre un nivel y otro habla de que las competencias evaluadas no son totalmente claras. Por desgracia esto es así y, en ese sentido, el MCER sólo puede ofrecer algunas pautas. Según dichos estándares, un individuo situado en el nivel A2 [c]omprende textos breves y sencillos sobre asuntos cotidianos si contienen vocabulario muy frecuente y cotidiano o relacionado con el trabajo. En tanto que uno ubicado en el nivel B1 es capaz de leer textos sencillos sobre hechos concretos que tratan sobre temas relacionados con su especialidad con un nivel de comprensión satisfactorio (MCER, 2001:69). Hasta cierto punto, el B1 resulta ser un nivel muy alto y se sospecha que sólo un porcentaje reducido de alumnos realmente lo alcance. Cabe mencionar que estos parámetros corresponden a los subniveles de referencia 7-8 de la Certificación Nacional de Nivel de Idioma (Cenni) de la Secretaría de Educación Pública. 6 Por último, los estándares establecidos por el American Council for the Teaching of Foreign Languages (ACTFEL) 7 son un poco más precisos en cuanto a la delimitación de niveles de competencia lectora en lengua extranjera. De éstos, el relativo al nivel de lectura denominado high intermediate (intermedio alto) es el más cercano al nivel buscado. La ACTFEL describe a un individuo capaz de leer consistentemente textos sencillos que traten sobre temas conocidos o de su interés y capaz de captar sólo algunas ideas principales contenidas en textos que presenten una estructura compleja. Por lo mismo, su nivel de comprensión es menos consistente que cuando lee textos más sencillos y es necesario que lea varias veces un solo fragmento para obtener una comprensión satisfactoria. 6 Los niveles de la Cenni de la SEP pueden consultarse en la página electrónica [ cenni.sep.gob.mx:7048/pdf/niveles.pdf]. 7 Las guías de referencia del Consejo para la Enseñanza de Lenguas Extranjeras (1986) pueden consultarse en la página electrónica [ otherresources/actflproficiencyguidelines/actflguidelinesreadingintermed.htlm]. 22 estrategias educativas y de intervención

11 juan gabriel garduño Ma. del carmen gómez pezuela El dilema de los instrumentos de evaluación Sin duda, una de las problemáticas asociadas a la acreditación del idioma en la UAM-Xochimilco es la falta de correspondencia entre el nivel que presentan los futuros egresados tomando como base los dos criterios previamente acotados, y el nivel que exigen los instrumentos empleados para certificar el dominio de la competencia lectora en lengua extranjera. Ciertamente, la correlación entre estos dos raseros es desproporcionada. Sucede que, a falta de criterios claros y precisos de evaluación, los exámenes que se aplican a menudo se encuentran por encima del nivel que un estudiante con las características descritas es capaz de alcanzar. Evidentemente, la consecuencia de esta práctica resulta injusta para el estudiante, principalmente porque está asociada al alto índice de reprobación en el examen de requisito (Díaz et al., 2008:100). Por consiguiente, no se puede simplemente partir de la perspectiva ideal de lo que un egresado debería saber hacer para estudiar en el extranjero o insertarse en el mercado de trabajo, con el objeto de establecer los parámetros de evaluación apropiados. Después de todo, coincidiendo totalmente con González et al., la educación superior no es la responsable de remediar las fallas de la educación previa impartiendo más cursos y más horas con el propósito de nivelar a los estudiantes (2004:128). Desde que se estableció la comprensión de un idioma como requisito de titulación de las licenciaturas de la Unidad Xochimilco, dos han sido las políticas de aplicación de los instrumentos de acreditación; por un lado, el empleo de pruebas estandarizadas tipo TOEFL (Test of English as a Foreign Language) provenientes de bancos de exámenes ya elaborados; por otro, la creación de instrumentos propios. En ambos casos, la utilización de estos instrumentos no ha sido necesariamente la decisión más adecuada. Particularmente, en cuanto al primer caso, el empleo de bancos de exámenes al estilo TOEFL poseen la desventaja de no haber sido hechos tomando en cuenta las necesidades de los estudiantes de la UAM. Respecto del segundo caso, si bien la creación de instrumentos propios representa la opción más plausible dadas las circunstancias, la forma en la que esta actividad ha estrategias educativas y de intervención 23

12 qué debe evaluar el examen de requisito de idioma? sido conducida no es la más apropiada, en función de una confusión teóricometodológica que será abordada en su momento. Los instrumentos de certificación Entre 2000 y 2005, los exámenes tipo TOEFL fueron aplicados sistemáticamente para acreditar el requisito de titulación en la UAM-Xochimilco. Dichos instrumentos estaban constituidos exclusivamente por la sección de comprensión de lectura y en éstos se excluía la evaluación del resto de las habilidades comunicativas (escribir y escuchar). Como se mencionó anteriormente, este tipo de exámenes están dirigidos a un público específico; personas que van a trabajar o realizar estudios en un país de habla inglesa y necesitan demostrar que pueden desenvolverse no sólo en contextos de supervivencia de la vida cotidiana, sino en circunstancias más complejas que les permitan establecer interacciones sociales de tipo laboral o académica. Bajo esa premisa, el nivel de competencia lingüística que debe poseer un individuo para acreditar un examen como éste (aunque sólo sea la parte de lectura) es superior al que poseen la gran mayoría de los estudiantes de nuestra universidad. Aunque el nivel de competencia lingüística que mide el examen TOEFL (o cualquier otro examen de certificación) es un factor determinante para considerar que no es el instrumento idóneo para evaluar a los estudiantes de la UAM-Xochimilco, existen otros factores de tipo estructural que conducen igualmente a descartarlo como la mejor opción. Entre ellos se encuentran el foco de contenido de las preguntas, así como la redacción de las instrucciones y los reactivos. En otras palabras, el examen tipo TOEFL no evalúa necesariamente la aplicación de estrategias de lectura, sino que incorpora preguntas de vocabulario descontextualizado y formula las preguntas en la lengua extranjera. En cuanto al primer punto, conviene advertir que la sección de lectura del examen TOEFL se ocupa de evaluar la familiaridad de un estudiante con la lengua meta por medio de la incorporación de aspectos extratextuales, es decir, de reactivos enfocados en el reconocimiento 24 estrategias educativas y de intervención

13 juan gabriel garduño Ma. del carmen gómez pezuela y contextualización de palabras aisladas cuyo objeto es evaluar el repertorio del léxico del estudiante a partir de palabras que no aparecen en el texto. En segundo lugar, al tratarse de un examen que evalúa las diferentes habilidades comunicativas, resulta obvio que en el examen TOEFL las rúbricas se encuentren redactadas en inglés. De hecho, esto es igualmente válido para cualquier tipo de examen que evalúe la competencia lingüística de un hablante (Alderson, 2000:147). No obstante, en el caso concreto de la lectura de textos en una lengua extranjera, esta práctica sólo puede representar un obstáculo. Preferentemente, las preguntas deben expresarse en la lengua materna del estudiante con el único propósito de evitar la desconcentración y la pérdida de tiempo en la resolución del examen, así como de reducir la ansiedad (Alderson, 2000:86-87). Después de todo, la principal tarea del lector es comprender el texto y el hecho de enunciar las rúbricas en español permite que éste sepa exactamente lo que se le pregunta (Nuttall, 1982:131). La elaboración de instrumentos propios Por estar dirigido a un público diferente, un examen tipo TOEFL posee objetivos claramente definidos que distan de ser similares a los de un examen de acreditación del idioma como el que aplican consistentemente diversas instituciones de educación superior. Por tal motivo es pertinente que cada institución elabore sus propios instrumentos con el fin de satisfacer sus necesidades particulares. Como se advirtió anteriormente, hasta el momento, la creación de instrumentos propios en la Unidad Xochimilco no ha dado resultados completamente satisfactorios. El problema de fondo tiene su origen en una confusión de corte teóricometodológica asociada a la naturaleza de los aspectos que deben ser medidos en un examen para cubrir el requisito de idioma. Esta confusión radica en no diferenciar entre un examen de logro y un examen de competencias. Adicionalmente, los instrumentos presentan inconsistencias de orden estructural a nivel general. Dentro de éstas se pueden mencionar el uso reiterado de reactivos que preguntan por vocabulario descontextualizado y estrategias educativas y de intervención 25

14 qué debe evaluar el examen de requisito de idioma? fallas en la enunciación de las rúbricas, así como en la dosificación y variedad de los reactivos. También los instrumentos son cuestionables en cuanto a la extensión y tipo de textos empleados para evaluar la lectura. Ante todo, los exámenes de requisito de titulación entran en la categoría de los llamados exámenes de competencia o pruebas de dominio, en inglés: proficiency exam. El objetivo de este tipo de instrumentos es medir objetivamente los conocimientos, destrezas y habilidades que hacen que un individuo sea competente en determinada área mediante la resolución de un problema (Davies, 1975:89). En ese sentido, no están enfocados en evaluar los pasos mediante los cuales se logra un objetivo sino que se limitan a evaluar si es que ese objetivo es alcanzado. Más específicamente, un examen de requisito de idioma corresponde a lo que Alderson denomina prueba de dominio para fines específicos (Specific-Purposes Test), ya que su contenido parte de un análisis de necesidades definidas en torno a las competencias que se espera un individuo demuestre poseer para alcanzar un determinado fin (Alderson, 1998:17). En general, los exámenes de creación propia presentan importantes inconsistencias si se les observa bajo la óptica de los conceptos previamente referidos. Por esta razón, la delimitación y esclarecimiento de éstos debe ser el punto de partida en la elaboración de los instrumentos apropiados. La práctica generalizada ha sido elaborar gran parte de los reactivos del examen tomando como base los contenidos sintéticos de los cursos de lectura que se imparten en la institución, al estilo de los llamados exámenes de logro o aprovechamiento (en inglés achievement exam), los cuales guardan una estrecha relación con los contenidos de algún curso, programa de estudios o libro de texto (Davies, 1975:44-46; Alderson, 2000:17). En esta práctica se ha soslayado un aspecto relevante: para obtener la constancia de acreditación del idioma, un estudiante no está obligado a inscribirse a los cursos de comprensión de textos; éste tiene el derecho de presentar el examen de requisito u obtenerla por medio de una revalidación. Lo anterior significa que un estudiante que decide presentarse directamente al examen se encuentra en una situación de clara desventaja ya que puede reprobar el examen si 26 estrategias educativas y de intervención

15 juan gabriel garduño Ma. del carmen gómez pezuela desconoce la terminología listada en la tabla de contenidos del programa del curso, a pesar de dominar la habilidad requerida (Alderson, 1998:51). Por otra parte, los exámenes propios replican algunos de los reactivos empleados en los exámenes tipo TOEFL que, como se aclaró en el subapartado anterior, no es conveniente incluir en los exámenes de requisito de idioma debido a que los primeros están dirigidos a un público con otras características y, por lo mismo, miden objetos distintos en términos de nivel y competencias. Este es el caso de los reactivos que preguntan acerca de vocabulario que no aparece en el cuerpo del texto. En el examen de requisito de idioma se debe dar prioridad a la evaluación de estrategias y habilidades de lectura, pues éstas involucran aspectos de mayor utilidad académica. Las inconsistencias en la enunciación de las rúbricas es otro de los problemas que exhiben los exámenes propios. Un aspecto esencial es el idioma empleado en la enunciación de las instrucciones y los reactivos. Como se ha insistido, un principio pedagógico establece que éstos no deben representar una dificultad similar o incluso mayor a la que presenta el texto del examen (Alderson, 1998:48). Por lo tanto, deben estar expresados en la lengua materna para que el estudiante tenga claridad respecto de lo que se le pide hacer. Por lo demás, un acucioso análisis de los reactivos revela problemas técnicos en su construcción, dentro de los que sobresalen se encuentran la falta de claridad y de concordancia gramatical, el empleo de negaciones en las opciones, así como la excesiva extensión de las mismas. Después de todo, los resultados del examen deben realmente reflejar la capacidad lectora y no estar influidos por estos factores (Kunnan, 1995:12-13; Grellet, 1981:92). Por otro lado, los instrumentos aludidos muestran una desorganización en cuanto a la dosificación y la variedad de los reactivos. En realidad, este hecho refleja la inexistencia de criterios claros relativos a la complejidad y naturaleza de las preguntas que es pertinente hacer. A menudo es recurrente la utilización de un mismo tipo de pregunta en los reactivos, sin tomar en cuenta que, por un lado, es pertinente optar por la variedad (Alderson, 2000:203) y, por otro, que la incorporación de un determinado tipo de pregunta tiene que ver más con la trascendencia del aspecto abordado, que con la flexibilidad que presente el texto. Por último, un asunto no menos relevante es el que estrategias educativas y de intervención 27

16 qué debe evaluar el examen de requisito de idioma? compete a la extensión de los textos empleados para evaluar la competencia lectora de los estudiantes. En algunos casos se ha optado por la utilización de textos muy cortos (alrededor de mil palabras) o muy extensos (tres mil palabras o más). Se concluye insistiendo que la creación de instrumentos propios representa la mejor acción a realizar dadas las circunstancias particulares de los estudiantes de la UAM-Xochimilco. Pero, por lo que se ha argumentado, los esfuerzos llevados a cabo distan de ser totalmente satisfactorios, en gran medida, debido a la inexistencia de un comité de profesores facultado para elaborar, evaluar y validar los instrumentos empleados para acreditar el requisito de idioma. Lo anterior debe conducir a una inmediata sistematización del proceso. Propuesta de elaboración de instrumentos En esta propuesta se esbozan algunas pautas conducentes a la solución de la problemática exhibida. Indudablemente, establecer de manera clara el propósito del examen de requisito de idioma y definir tanto las competencias como el nivel de profundidad de los contenidos que medirá, no sólo redundará en otorgar mayor validez y confiabilidad a la prueba, también proveerá de la información necesaria para que quien presente el examen pueda prepararse con antelación. El propósito del examen y el perfil de referencia Partiendo de la base de que el examen de requisito de acreditación de idioma es un examen de competencias o de dominio específico, éste debe tener como referente el desempeño del estudiante en una situación real, la cual lo involucre en la resolución de un problema. Hipotéticamente, el examen debe evaluar si un estudiante que egresa de la licenciatura se encuentra capacitado para consultar bibliografía de su área de estudio en lengua extranjera y recuperar, parafrasear y resumir dicha información con fines estrictamente académicos. 28 estrategias educativas y de intervención

17 juan gabriel garduño Ma. del carmen gómez pezuela Evidentemente, el grado de comprensión o nivel de competencia lectora que determine la calidad y la cantidad de información que dicho estudiante sea capaz de recuperar, parafrasear y resumir debe acercarse a los parámetros de referencia anteriormente sugeridos (Cenni de la SEP, MCRE y ACTFEL), los cuales se sitúan en un estándar que va del básico al intermedio. En este contexto, la demanda institucional debe ser moderada en función de que un estudiante en circunstancias normales posee carencias formativas en lengua extranjera. Dicho de otro modo, la institución no puede exigir más de lo que el programa de los cursos de lectura ofrece. En consecuencia, el estudiante que aspire a egresar debe ser capaz de realizar la comprensión de un texto de manera general. Sin embargo, tendrá problemas para extraer información específica si ésta presenta una latente complejidad estructural. Es decir, su comprensión de información específica se limitará a la comprensión de ciertos fragmentos de un texto que exhiban un menor grado de dificultad léxica, sintáctica, gramatical y retórica. El estudiante debe igualmente aplicar estrategias de lectura y de vocabulario para inferir el significado de palabras desconocidas por contexto. Además, debe tener un mínimo conocimiento (a nivel de reconocimiento) de aspectos gramaticales o lingüísticos de la lengua meta, así como de aspectos discursivos. Por último, debe poseer un vocabulario mínimo. En suma, el repertorio de competencias y la profundidad en los niveles de ejecución que los estudiantes deben poseer y dominar al momento de presentar el examen determinará lo que éste medirá. Este aspecto proveerá de validez al instrumento (Frola, 2008:52). El tipo de texto En función del nivel que realmente puede exigirse a los estudiantes que necesitan cubrir el requisito de idioma, el texto del examen no puede ser muy especializado. Sin embargo, se asume que éste entre en la categoría de lo que comúnmente se denomina como texto de divulgación. A este respecto, un punto de referencia importante lo representa la tipología propuesta por Johnston (1983), quien aduce que un texto académico puede ser de tres tipos: estrategias educativas y de intervención 29

18 qué debe evaluar el examen de requisito de idioma? libro de texto texto de divulgación texto científico o especializado. A diferencia de un texto especializado, uno de divulgación posee un lenguaje accesible para personas de un nivel educativo universitario promedio. En general, estos textos están dirigidos a un público no especialista y en ellos se evita la terminología técnica, o en caso de ser imprescindible su utilización, se explican los significados (Montolio, 2000:78-82). En general, los textos de divulgación presentan las siguientes características: Poseen una temática formativa en el sentido en que produzcan conocimiento mediante la difusión, el intercambio o la discusión de ideas. Se adecuan a las convenciones sociales y lingüísticas, es decir, son de estructura cerrada y por lo tanto se escriben para destinatarios externos. Exhiben precisión, claridad y objetividad en su escritura. En ellos no cabe el doble sentido ni la vaguedad. Su propósito es comunicar algo concreto sin expresar estados de ánimo o juicios subjetivos. Indican claramente la situación comunicativa: qué (título), quién (autor), dónde (institución), cuándo (fecha). Presentan paratextos en el cuerpo del texto (introducción, índice, etcétera). No están elaborados con fines didácticos. Poseen una función comunicativa expositiva o argumentativa, preferentemente no persuasiva. Tienen vigencia. Proceden de una fuente confiable. De la misma manera, los textos seleccionados deberán ceñirse preferentemente a los criterios propuestos por Nuttall: el grado de complejidad léxica y sintáctica adecuado (readability), la idoneidad del contenido (suitability of content) y la cualidad de ser explotable (exploitability), es decir, que el texto favorezca la elaboración de reactivos para evaluar las competencias (1990:22-31). 30 estrategias educativas y de intervención

19 juan gabriel garduño Ma. del carmen gómez pezuela Por otra parte, es aceptable que los textos seleccionados estén sujetos a una adaptación o modificación, con tal de que se ajusten a los criterios establecidos. A este respecto, cuando se edite o modifique un texto, éste no debe perder su coherencia textual, o sea, no perder su calidad textual ni su estructura discursiva (Nuttall, 1982:32; Day, 1994:20). Es decir, un texto de divulgación posee una organización estructurada que presenta una introducción, un desarrollo y un cierre. Por lo anterior, se reitera que, aunque el texto sea modificado, éste no debe ver afectada su coherencia. Ahora bien, para que la estructura que provee de coherencia al texto sea observable, se propone que el texto tenga una extensión entre y palabras. Por último, el texto del examen de requisito debe abordar una temática común a las diferentes licenciaturas de cada División. Por ejemplo, para la División de CBS la temática adecuada del texto del examen de requisito podría ser sobre la genética, la ecología o la evolución. Para la División de CSH, la temática podría relacionarse con el concepto de sociedad, violencia, globalización o migración. Y en el caso de la División de CyAD su temática podría estar relacionada al arte o al uso de tecnologías, por mencionar algunos ejemplos. Estructura del examen Para determinar la estructura del examen se deben tomar en cuenta las competencias que van a ser evaluadas; éstas deben estar en estrecha relación con el nivel de profundidad de los contenidos de los reactivos. De acuerdo con la descripción de las competencias previamente establecida, el nivel de compresión mínima que debe demostrar el estudiante corresponde parcialmente con lo que se denomina lectura detallada. Este es un estilo de lectura en el que el lector es capaz de comprender cabalmente las ideas expresadas en un texto (Day, 1998:5). La lectura detallada demanda el manejo de procesos mentales complejos; en ella convergen simultáneamente tanto conocimientos declarativos (léxico, aspectos lingüísticos y discursivos) como procedimentales (estrategias de lectura y de inferencia de vocabulario). En este contexto, todo el peso de los reactivos del examen deberá concentrarse estrategias educativas y de intervención 31

20 qué debe evaluar el examen de requisito de idioma? en la aplicación de este estilo de lectura. Preferentemente, dichos reactivos no deben estar basados en fragmentos del texto tan complejos en términos léxicos y estructurales que pudieran resultar sumamente difíciles al estudiante promedio. Tipo de reactivo e idioma de las rúbricas El reactivo de opción múltiple es el idóneo para elaborar exámenes estandarizados como el examen de requisito de idioma. En este punto coinciden Alderson y Urquhart, quienes estiman que este tipo de reactivo ofrece grandes ventajas: pueden ser calificados de manera sencilla; revelan las intenciones de la persona que los diseña de manera clara e inequívoca y evitan la intervención del juicio del evaluador (1983:158). Cabe mencionar que este tipo de reactivo no sólo es uno de los más difíciles de elaborar, sino que también es uno de los que más tiempo le toma al alumno contestar. En consecuencia, se sugiere que el número de reactivos de los exámenes de requisito sea de 25, tomando como base la extensión del texto arriba propuesta. Finalmente, las rúbricas del examen deben estar redactadas en la lengua materna del estudiante. Conclusión Con el propósito de certificar que un estudiante tiene la capacidad para comprender textos académicos pertenecientes a su área de estudios, primero debe establecerse el nivel de dicha comprensión; en otras palabras, establecer qué es lo que va a medir el examen. En tal sentido, este trabajo ha demostrado que el nivel de exigencia no debe ser muy alto. Así, para determinar la profundidad de la ejecución de las competencias que deben ser exhibidas por los estudiantes se han tomado dos criterios: el nivel que los estudiantes presentan al ingresar a la universidad y el entrenamiento o formación que ésta les ofrece. Los hechos son contundentes; primero, los estudiantes ingresan a la universidad con un nivel de competencia lingüística muy bajo, resultado de 32 estrategias educativas y de intervención

21 juan gabriel garduño Ma. del carmen gómez pezuela las deficiencias de la educación anterior. Segundo, la institución ofrece a los estudiantes una formación instrumental que no es superior a las 150 horas. En suma, se puede concluir que éstas no son las condiciones óptimas para que se pueda exigir a los estudiantes más de lo que ésta les pueden dar. Estas circunstancias particulares han dado origen, entre otras cosas, a que los exámenes sean muy difíciles e injustos para los estudiantes. Asociado a esta problemática se encuentra el asunto de los instrumentos que se utilizan y se han utilizado para evaluar la competencia lectora. En general, éstos presentan inconsistencias técnicas y estructurales de diversa índole. Como se ha visto, éstos no han sido diseñados pensando en las circunstancias y necesidades de la población a la que están dirigidos. Además, la institución misma, a través de la Coordinación del Talex, ha tendido a idealizar el nivel que los estudiantes deberían poseer. Mucho de esto tiene su origen en una falta de definición de los criterios para elaborar exámenes sin haber analizado las circunstancias y necesidades de la institución. El conjunto de ideas que se han expresado aquí tienen el propósito de marcar la pauta en el camino de la elaboración de instrumentos validos, confiables y objetivos. Bibliografía Alderson, Charles (2000), Assessing Reading, Cambridge University Press, Londres. y Urquhart, Alexander (1983), Reading in a Second Language, Longman, Londres. Alderson, Charles, Clapham, Caroline y Wall, Dianne (1998), Exámenes de idiomas, Cambridge University Press, Madrid. Comisión Especial de Lenguas Extranjeras (2007), La enseñanza de lenguas extranjeras en la UNAM, México, UNAM [ 08.pdf ], fecha de consulta: 26 de julio de 2010]. Disponible en Common European Framework of Reference for Languages: Learning, Teaching, Assessment (2001), Cambridge University Press, Cambridge. Chomsky, Noam (1965), Aspects of the theory of syntax, MIT Press, Cambridge Massachusetts. estrategias educativas y de intervención 33

22 qué debe evaluar el examen de requisito de idioma? Davies, Alan (1977), The Construction of Language Test, en Allen y Davies, Testing and Experimental Methods, Oxford University Press, Londres. Day, Richard (1994), Selecting a Passage for the EFL Reading Class, Forum, 32 (issue 20) [ fecha de consulta: 8 de agosto de 2010]. y Banford, Julia (1998), Extensive Reading in the Second Language Classroom, Cambridge University Press, Cambridge. Díaz, Víctor; Garduño, Gabriel y Rojas, Francisco (2008), El examen de requisito en inglés de la UAM-Xochimilco: disyuntivas y soluciones, en Memorias del Cuarto Foro Nacional de Estudios en Lenguas (Fonael 2008) [ org/articulos_mem_fonael_iv/diaz_morales_victor_eloy_et_al.pdf], fecha de consulta: 24 de mayo de 2010]; en Flores, Teresa, Lee, Margaret y Vivaldo, Javier (2007), Programa de enseñanza de lenguas extranjeras [ mx/conacad/doc_relevantes/programas/programa_de_ensenanza_de_lex.pdf]. Frola, Patricia (2008), Competencias docentes para la evaluación: diseño de reactivos para evaluar el aprendizaje, Trillas, México. Garduño, Gabriel; Gómez Pezuela, Carmen; Rojas, Francisco y Zarco, Edith (2006), Programa de estudios de los cursos de comprensión de lectura en inglés, en Memorias del Segundo Foro Nacional de Estudios en Lenguas (Fonael 2006) [ fecha de consulta: 26 de julio de 2010, pp González, Obdulia; Vivaldo, Javier y Castillo, Alberto (2004), Competencia lingüística en inglés de estudiantes de primer ingreso a las instituciones de educación superior, UAM- Iztapalapa, México. Grellet, Françoise (1982), Developing reading skills: A practical guide to reading comprehension exercises, Cambridge University Press, Londres. Haladyna, Thomas (2004), Developing and Validating Multiple-choice Test Items, Lawrence Earlbaum Associates, Londres. Hutchinson, T. y Waters, A. (1987), English for specific purposes: A learning centred approach, Cambridge University Press, Londres. Johnston, Peter (1983), Reading Comprehension Assessment: A Cognitive Basis, International Reading Association, Newark. Kunnan, Antony (1995), Studies in Language Testing 2: Test taker characteristics and test performance: A structural modelling approach, Cambridge University Press, Cambridge. 34 estrategias educativas y de intervención

23 juan gabriel garduño Ma. del carmen gómez pezuela Montolio, Estrella (2000), Manual práctico de escritura académica, Ariel Practicum, Barcelona. Nuttall, Christine (1990), Teaching reading skills in a foreign language, Heinemann, Londres. Ortiz, Armando (2010), Docencia y legitimidad acádemica de la enseñanza del inglés. La experiencia de los profesores del Celex de la UAM-Iztapalapa, tesis de maestría, UAM, México. Richards, Jack y Rodgers, Theodore (1986), Approaches and Methods in Language Teaching, Cambridge University Press, Cambridge. estrategias educativas y de intervención 35