SOBRE LA EVALUACIÓN DOCENTE?

Transcripción

1 SOBRE LA EVALUACIÓN DOCENTE? RESULTADOS DE LA ENCUESTA INTERNACIONAL SOBRE LA ENSEÑANZA Y EL APRENDIZAJE () 2013 VOLUMEN III

2 ESTIMADOS Y ADMIRADOS PROFESORES En Mexicanos Primero estamos convencidos de que maestras y maestros juegan un papel crucial en la educación de calidad. No son los únicos responsables; se requiere del compromiso de autoridades, padres de familia y del resto de la sociedad, pero lo que es claramente insustituible es la conducción experta y empática del aprendizaje por obra de un profesional. Sostenemos que no hay infraestructura que compense la carencia de maestros adecuados, y no hay libro de texto o programa de TIC que pueda favorecer el potencial de los alumnos como lo hace un buen maestro presente. Por ello hemos trabajado, a lo largo de más de siete años, para que los alumnos mexicanos, especialmente los más desaventajados, cuenten con la tutoría de maestros idóneos. El norte que guía todo nuestro trabajo es el derecho de las niñas y niños mexicanos a aprender, ahora ya consagrado en la Constitución. En los últimos años, nuestro país ha adoptado varias reformas que impactan a la profesión docente. Las nuevas normas apuntan a atraer nuevos talentos a la docencia, proveer una formación docente más relevante, evaluar y dar retroalimentación continua sobre el desempeño docente, reconocer a los maestros más efectivos y fijar como obligatorio el compromiso del Estado para fondear y favorecer el desarrollo profesional continuo. Tenemos ahora por delante un desafío igualmente importante: el de concretizar e implementar estas reformas, para lo cual es fundamental escuchar atentamente la voz de los maestros. Desde nuestra organización hemos sostenido que los tratos entre gobiernos y sindicatos son imprescindibles en la dimensión laboral, pero no pueden nunca suplantar la relación de mutuo compromiso que es necesario establecer entre la sociedad y sus maestros. Creemos que el diseño de políticas educativas debe obligatoriamente tener en cuenta la perspectiva de los principales protagonistas de su implementación: los maestros. Es precisamente ese principio el que nos lleva a considerar inadecuado que los dirigentes sindicales sustituyan a los auténticos maestros frente a grupo; son éstos últimos quienes pueden ayudar a establecer el referente de la buena práctica. Para ello aprovechamos las respuestas de la encuesta internacional 2013, que permiten una mirada comparada de la labor de los docentes en diversas partes del mundo. Nos brindan buenos indicios de cuál es el grado real de implementación de las políticas educativas actuales, y de cómo las perciben y viven los maestros. Hemos resumido estos hallazgos en esta serie de cuadernillos, para compartirlos con los maestros del país e iniciar un diálogo que pueda contribuir a la construcción de una verdadera carrera profesional docente en. Con estos cuatro primeros cuadernillos iniciamos el conjunto editorial que titulamos En Voz Alta; es para nosotros un gran gusto servir de vehículo y dar resonancia a la opinión de los maestros. Esperamos que estos cuadernillos se compartan y discutan entre el magisterio y también con los demás miembros de la comunidad. Si nos conocemos unos a otros mejor, y escuchamos lo que el otro tiene que decir, la educación puede ser de calidad y cambiar a. Con nuestra gratitud y admiración, Claudio X. González Guajardo Presidente David E. Calderón Martín del Campo Director General

3 Serie EN VOZ ALTA Esta colección quiere ser un canal para las voces de quienes intervienen en el hecho educativo, a ras de tierra, ahí donde se juega la partida definitiva para aprender y ser. Si no se usa la voz, se pierde; en cambio, si se deja que resuene, si se amplifica, nos podemos entender y colaborar en la construcción de una sociedad más próspera, más justa y más fraterna. Qué es? es una encuesta internacional de maestros y directores, administrada por la Organización para la Cooperación y el Desarrollo Económico (OCDE). Recolecta información sobre seis áreas: (i) la capacitación y el desarrollo profesional docente; (ii) la evaluación y la retroalimentación de los maestros; (iii) el clima en el plantel educativo; (iv) el liderazgo escolar; (v) las creencias de los maestros respecto a la enseñanza; y (vi) las prácticas pedagógicas de los maestros. Para qué se aplicó? intenta proveer datos que sean relevantes para tomar decisiones de política educativa para facilitar el aprendizaje y la enseñanza. Su objetivo es ayudar a los sistemas educativos que participan a tener un panorama general y comparativo sobre sus políticas, y así entender mejor si éstas favorecen la efectividad escolar. Cuándo se realizó? se administró por primera vez en el 2008 y luego en el Los resultados del 2013 se publicaron en junio del Dónde se hizo? 2013 se realizó en y 33 otros países/sistemas educativos, incluyendo: Australia, Bélgica (Flandes),, Bulgaria, Canadá (),, Chipre, del Sur, Croacia, Dinamarca, Emiratos Árabes Unidos (Abu Dhabi), España, Estados Unidos, Estonia,, Francia,, Islandia, Israel, Italia,, Letonia, Malasia, Noruega, Polonia, Portugal, República Checa, República Eslovaca, Reino Unido (Inglaterra), Rumania, Serbia, y Suecia. Quiénes participaron? Participaron maestros y directores de 200 escuelas de nivel secundaria; hasta un total de 4,000 maestros, así como sus 200 directores. y algunos otros países también incluyeron una muestra de maestros de y de media superior, e incluyeron a las escuelas participantes en el Programa Internacional de la Evaluación de Alumnos (PISA, por sus siglas en inglés) del 2012, para poder relacionar los resultados de esta encuesta con los resultados en dicha prueba. 1

4 Ocho hallazgos claves sobre la evaluación docente en : Casi todos los maestros de secundaria reportan ser evaluados, pero en general por individuos que están fuera del aula. Los dos evaluadores más comunes, los directores y agentes externos a la escuela, pasan la mayor parte del tiempo fuera del aula. Las evaluaciones por mentores o pares, que sí tienen experiencia de clase, sólo alcanzan a una minoría de maestros. Los dos métodos de evaluación docente más comúnmente reportados son las observaciones de clase y los resultados de los alumnos en las pruebas. Un porcentaje importante de maestros también trabaja en escuelas donde se administran encuestas de alumnos, o bien ha participado en evaluaciones de conocimiento sobre su materia, administradas por alguna autoridad. Los maestros reportan que las evaluaciones docentes resultan, más que nada, en conversaciones con los directores sobre cómo mejorar. La mayoría de las veces no implican asignación de mentores, oportunidades de promoción, consecuencias salariales o cambios en responsabilidades laborales. 2 Un porcentaje importante de maestros no confía en sus evaluaciones. 4 de cada 10 dicen que se realizan para cumplir con requisitos administrativos; que no identifican a los mejores maestros; que tienen poco impacto en la enseñanza y no se basan en una mirada completa de la labor docente. En cambio, los maestros de secundaria valoran más la retroalimentación. Su opinión sobre ella contrasta considerablemente con respecto de lo dicho sobre las evaluaciones formales. 9 de cada 10 creen que la retroalimentación lo lleva a tener mayor confianza en su trabajo, mejora su satisfacción laboral e impulsa cambios en sus prácticas. Pero la gran mayoría de maestros en, secundaria y media superior sólo recibe retroalimentación de su director. Es una minoría quienes reciben retroalimentación de individuos externos a la escuela o de sus pares. En los tres niveles, se usan las mismas herramientas para evaluar y dar retroalimentación. Las observaciones de clase y los resultados de los alumnos en las pruebas son las dos fuentes de retroalimentación más importantes. En, secundaria y media superior, los maestros dicen que trabajan juntos, pero raramente se observan enseñando o se dan retroalimentación mutua. La gran mayoría de los maestros reporta que ha enseñado conjuntamente con otro profesor y que comparte materiales para asegurar la consistencia de estándares de evaluación, pero los maestros no se observan entre sí dando clase, para contar con retroalimentación.

5 Resultados Quién evalúa a los maestros? 3 Casi todos los maestros de secundaria mexicanos (95%) reportan ser evaluados formalmente. Lo más común es ser evaluado por el director (88%) o por individuos o agencias externas a su escuela (81%). todavía es insuficiente para que todos reciban un diagnóstico completo. Todavía más de 1 de cada 10 reporta nunca haber sido evaluado por su director. Y más de la mitad reporta que nunca fue evaluado por un mentor. Porcentaje de maestros de secundaria que nunca fue evaluado por su director 60% Porcentaje de maestros de secundaria que nunca fue evaluado por su mentor 53% 52% 46% 44% 41% 36% 20% 14% 12% 7% 7% 2% 1% Asimismo, 5 de cada 10 maestros dicen que nunca fueron evaluados por sus pares. Porcentaje de maestros de secundaria que nunca fue evaluado por sus pares 71% 54% 53% 49% 45% 41% 6%

6 4 Cómo se evalúa a los maestros? Prácticamente todos los maestros mexicanos de secundaria reportan que las observaciones de clase forman parte de su evaluación. Porcentaje de maestros de secundaria evaluados con observaciones de clase 9 de cada 10 maestros trabajan en escuelas donde se reportó el uso de encuestas de alumnos. Porcentaje de maestros de secundaria evaluados con encuestas de alumnos 94% 94% 88% 88% 85% 79% 74% 58% Casi todos trabajan en escuelas donde reportan que se usan análisis de los resultados de sus alumnos en las pruebas para evaluarlos. Porcentaje de maestros de secundaria evaluados con análisis de los resultados de sus alumnos 9 de 10 trabajan en escuelas donde los directores reportan que se mide el conocimiento del docente sobre la materia que enseña. Porcentaje de maestros de secundaria evaluados basados en su conocimiento de la materia 97% 89% 81% 80% 79% 76% 64% 38% 99% 99% 98% 97% 95% 94% 92% 74% 9 de cada 10 directores también reportan usar otras fuentes, como un componente de auto-evaluación docente o los comentarios recibidos por los padres Porcentaje de maestros de secundaria evaluados con auto-evaluación docente comentarios de padres

7 Qué consecuencias consideran los maestros que tienen las evaluaciones docentes? 5 Casi todos los maestros de secundaria mexicanos trabajan en escuelas donde reportan que las evaluaciones llevan a discusiones con el director sobre cómo mejorar. 100% Porcentaje de maestros de secundaria en escuelas donde las evaluaciones llevan a conversaciones entre director y docentes 100% 100% 100% 99% 98% 98% 98% 97% 5 de cada 10 dicen que con base en la evaluación, se asigna un mentor para mejorar. Porcentaje de maestros de secundaria en escuelas donde las evaluaciones influyen en la asignación de mentores 48% 48% 44% 100% 91% 89% 83% 73% 66% 4 de cada 10 perciben que la evaluación puede afectar sus posibilidades de promoción. Porcentaje de maestros de secundaria en escuelas donde las evaluaciones influyen en las oportunidades de promoción 97% 72% 69% 56% 47% 47% 40% 39% 15% Pocos maestros consideran que las evaluaciones tienen consecuencias salariales: 1 de cada 6 dice que puede recibir un aumento salarial o bono, y menos de 1 de 10 siente que puede recibir sanciones materiales. Sólo 2 de cada 10 reportan que pueden perder su trabajo como resultado de una evaluación. Porcentaje de maestros de secundaria en escuelas donde las evaluaciones influyen en decisiones de despidos Porcentaje de maestros de secundaria en escuelas donde las evaluaciones llevan a 96% 87% 80% 70% 69% % 56% 24% 23% 9% bonos o incrementos salariales por buen desempeño sanciones o menores incrementos salariales por mal desempeño

8 6 Cómo perciben los maestros las evaluaciones? Casi la mitad de los maestros de secundaria mexicanos dice que las evaluaciones se hacen principalmente para cumplir con requerimientos administrativos. 69% Porcentaje de maestros de secundaria que piensa que las evaluaciones se hacen principalmente con fines administrativos 53% 51% 51% 47% 44% 43% 38% Este porcentaje ha disminuido desde creen que las evaluaciones Sólo de cada 10 40% identifican a los mejores maestros. 54% Porcentaje de maestros de secundaria que piensa que las evaluaciones identifican a los mejores maestros 51% 38% 36% 29% 25% 24% 18% 63% 43% piensa que las evaluaciones tienen poco impacto en cómo enseñan los maestros. Porcentaje de maestros de secundaria que piensa que las evaluaciones tienen poco impacto en la enseñanza 41% 40% 39% 36% 34% 32% Más de 4 de cada10 maestros creen que las evaluaciones no se basan en una medición completa de la enseñanza. 60% Porcentaje de maestros de secundaria que piensa que las evaluaciones no se basan en una medición completa de la enseñanza 43% 50% 47% 45% 44% 32% 17%

9 Quiénes les proveen retroalimentación a los maestros? 7 La gran mayoría de los maestros reporta recibir retroalimentación. Sin embargo, 1 de cada 10 dice no haberla recibido en su escuela actual. Porcentaje de maestros de secundaria que no han recibido retroalimentación en su escuela actual Según los maestros, más de la mitad recibe retroalimentación de su director. Sólo un tercio de los maestros afirman que reciben retroalimentación de sus pares. 4 de cada 10 maestros reportan que reciben retroalimentación de individuos externos a la escuela. 81% Porcentaje de maestros de secundaria que han recibido retroalimentación de su director 75% 56% 55% 54% 50% 42% 34% 30% 26% 84% 57% 47% Porcentaje de maestros de secundaria que han recibido retroalimentación de sus pares 43% 43% 42% 36% 35% 29% 23% 39% Porcentaje de maestros de secundaria que han recibido retroalimentación de individuos o agencias externos 31% 29% 29% 28% 20% 18% 18% 13% 11% En y media superior, el patrón general es el mismo. Más de 1 de cada 10 maestros de estos niveles no recibe retroalimentación. La fuente principal en ambos casos es el equipo directivo. Porcentaje de maestros que han recibido retroalimentación de media superior media superior media superior media superior nadie su director sus pares individuos o agencias externas

10 8 Qué retroalimentación reciben los maestros? 97% 8 de cada 10 maestros de secundaria mexicanos reportan recibir retroalimentación después de una observación de clase. Porcentaje de maestros de secundaria que reciben retroalimentación después de una observación de clase 87% 86% 84% 82% 81% 79% 78% 46% Más de 6 de cada 10 maestros reportan recibir retroalimentación de encuestas de alumnos. En la mayoría de los países 77% de alto desempeño, la cifra suele ser igual o mayor. Porcentaje de maestros de secundaria que nunca fue evaluado Porcentaje por de individuos maestros o agencias de secundaria externas que reciben retroalimentación después de las encuestas de alumnos 68% 67% 66% 63% 62% 53% 53% 26% 8 dicen luego también de un análisis recibir del retroalimentación de 10 cada de los estudiantes desempeño de en pruebas. cada Porcentaje de maestros de secundaria que reciben retroalimentación después de un análisis del desempeño de los estudiantes en pruebas 84% 83% 81% 70% 64% 61% 53% 28% 7 10 reportan que reciben retroalimentación a partir de evaluaciones sobre su conocimiento de la materia que enseña. Porcentaje de maestros de secundaria que reciben retroalimentación después de evaluaciones de su conocimiento de la materia que enseñan 78% 70% 69% 68% 60% 60% 51% 39% 26% Porcentaje de maestros que reciben retroalimentación basada en media superior media superior media superior media superior...una observación de clase...desempeño de los estudiantes en pruebas...encuestas de alumnos...su conocimiento de la materia que enseñan

11 9 Cómo se sienten los maestros sobre la retroalimentación? 9cadade 10 prácticas en el aula. afirman que la retroalimentación también lleva a ajustar sus Las cifras fueron muy similares en y media superior. En los tres niveles, los maestros dicen que la retroalimentación lleva a mayor confianza, satisfacción, reconocimiento y cambio en prácticas en el aula. en el trabajo. 89% sienten que la retroalimentación también lleva a un Porcentaje de maestros de secundaria que piensa que la retroalimentación lleva a un reconocimiento público Porcentaje de maestros de secundaria que piensa que la retroalimentación lo hace sentir más satisfecho en su trabajo Porcentaje de maestros de secundaria que piensa que la retroalimentación lo hace sentir más confiado en su trabajo 89% 86% 86% 85% 71% 66% 63% 60% 59% 6 cada10 reconocimiento público. de aumenta su satisfacción reciben retroalimentación se sienten más confiados en su trabajo. Asimismo, 9 de cada 10 señalan que recibir retroalimentación 9 de cada 10 dicen que cuando Porcentaje de maestros de secundaria que piensa que la retroalimentación lleva a cambios en sus prácticas 86% 82% 80% 69% 62% 52% 44% 38% Porcentaje de maestros que piensa que la retroalimentación media superior media superior media superior media superior...lo hace sentir más confiado en su trabajo...lo hace sentir más satisfecho en su trabajo...lleva a un reconocimiento público...lleva a cambios en sus prácticas

12 10 Qué tan frecuentes son la retroalimentación y el trabajo en equipo entre maestros? de cada 6 10 Casi maestros de secundaria mexicanos dicen que nunca observan a pares para darles retroalimentación. 16% afirma que nunca trabaja con otros maestros con el fin de asegurar estándares comparables para evaluar a los alumnos. Porcentaje de maestros de secundaria que nunca trabaja con otros maestros para asegurar estándares comparables para evaluar a los alumnos Porcentaje de maestros de secundaria que nunca observa a pares para darles retroalimentación 77% 70% 56% 56% 55% 45% 29% 20% 6% 5% 17% 16% 15% 13% 12% 10% En los tres niveles, las tendencias son muy similares. 9% 9% 3% 15% 69% reporta que nunca enseña conjuntamente con otro maestro. Esta cifra es menor al promedio de y a todos los países de alto desempeño. Porcentaje de maestros de secundaria que nunca enseña conjuntamente con otro maestro 51% 56% 49% 46% Porcentaje de maestros que nunca 20% 9% 16% 36% 14% 9% 16% 10% 50% 42% 42% 36% 36% 34% 32% 26% media superior...observa a pares para darles retroalimentacióna media superior...enseña conjuntamente con otro maestro media superior...trabaja con otros maestros para asegurar estándares comparables

13 Siete acciones que proponemos para mejorar la evaluación y retroalimentación de los maestros: 1. Incluir evaluadores con experiencia reciente en el aula. Actualmente, son más comunes las evaluaciones hechas por directores y supervisores. Una segunda mirada, la de un evaluador con experiencia de aula, puede no sólo hacer las evaluaciones más confiables y más aceptadas por los maestros, sino también más orientadas a ajustar la práctica cotidiana y favorecer el logro de aprendizaje de los alumnos. 2. Hacer consistentes entre sí las múltiples medidas de efectividad docente, basadas en el perfil del maestro. Para asegurar la consistencia, la imparcialidad y la equidad en la aplicación de esas mediciones y sus parámetros, será clave proveer guías sobre qué se debe evaluar y cómo hacerlo. 3. Asegurar que las consecuencias de las evaluaciones produzcan mejoras. Las conversaciones entre directores y maestros son aceptables como consecuencias de una primera evaluación. Pero no basta; es importante dar reconocimientos honoríficos, económicos y de nuevas tareas a quienes mantienen un buen desempeño, y apoyar con rigor a quienes tienen un mal desempeño crónico. 4. Responder a las preocupaciones de los maestros acerca de la evaluación que reciben. Esto implicaría, como mínimo, considerar una gama más amplia de aspectos de la docencia (incluyendo la planificación de situaciones didácticas y el uso 11 de encuestas de estudiantes) y sobre todo vincular la evaluación a un plan personalizado de mejoras en las prácticas de aula y en el aprendizaje de los alumnos. 5. Incorporar más miradas en la retroalimentación a los maestros. Actualmente, la mayor parte de los docentes recibe retroalimentación solamente de su director. Incorporar más miradas, de sus pares y externas a la escuela, multiplicaría las sugerencias de mejora y pondría la visión del director en perspectiva. Fomentar más observaciones de clase entre maestros permite identificar debilidades y compartir buenas prácticas en un ambiente de confianza e identificación. 6. Usar diferentes herramientas tanto para evaluar como para dar retroalimentación. Algunas, como las observaciones de clase, son particularmente útiles para dar retroalimentación inmediata. Otras, como las pruebas de los alumnos, requieren de capacitación para que los maestros y sus responsables puedan traducir los resultados de desempeño en ajustes a las prácticas de clase. El balance adecuado entre evaluación y retroalimentación previene que acaben reducidas a sistemas de incentivos perversos. 7. Aprovechar la retroalimentación como fuente de motivación laboral. Los maestros mexicanos valoran mucho la retroalimentación que reciben, y es deseable entonces que se realice con gran cuidado y oportunidad. Así, sirve para consolidar a los maestros que recién se incorporaron al servicio, y para que lleguen y permanezcan buenos maestros en las escuelas que -por los retos del contexto empobrecido o el bajo logro inicial de aprendizajes en sus alumnos- más los necesitan.

14 Qué propones tú? Nota Técnica La información incluida en este cuadernillo se ha tomado directamente de los informes de las Encuesta Internacional de la Enseñanza y el Aprendizaje () del 2008 y 2013, realizados por la Organización para la Cooperación y el Desarrollo Económico (OCDE). Los cuestionarios, la metodología, las bases de datos, y las publicaciones relacionadas a pueden encontrarse en: Comparaciones En este cuadernillo se incluyen varias comparaciones estratégicas entre y otros sistemas educativos participantes en. Para tomar la decisión de que países incluir, se tomaron en cuenta los siguientes criterios: 1. En todos los gráficos se incluyen los sistemas educativos latinoamericanos que participaron en la encuesta. participó en el 2008 y 2013, y en el Esto se realiza para entender mejor cómo se compara al resto de la región. 2. En todos los gráficos, también se incluye el promedio de. Esto se hace para tener un punto de comparación que resuma los datos de todos los países participantes. Esto es importante porque los participantes no necesariamente son representativos de todos los sistemas educativos del mundo y han cambiado desde el 2008 al En cada gráfico, se incluye un sistema educativo de alto desempeño. del Sur participó en el 2008 y 2013, y Canadá,,, y participaron en el Esto se hace para entender mejor cómo los indicadores medidos en se relacionan con el desempeño de un sistema educativo. En total, en cada gráfico, se incluyen entre cinco y ocho países, incluyendo a. 12 Fuentes: OECD (2014), 2013 Results: An International Perspective on Teaching and Learning,, OECD Publishing. DOI: / en OECD (2009), Creating Effective Teaching and Learning Environments: First Results from, OECD Publishing. Disponible en [última consulta julio 2014]

15 Mexicanos Primero Alejandro J. Ganimian Investigación y desarrollo Jennifer L. O Donoghue Coordinación general Fernando Ruiz Ruiz y Pablo Velázquez Villa Revisión técnica Alfonso Rangel Terrazas Diseño y producción CONSEJO DIRECTIVO Claudio X. González Guajardo David E. Calderón Martín del Campo Presidente Director General Roberto Sánchez Mejorada Cataño Antonio Prida Peón del Valle EQUIPO DE TRABAJO Itzel Ramírez Osorno y Rafael Tapia Yañez Formación PRIMERA EDICIÓN: AGOSTO 2014 Serie de Cuadernos En Voz Alta ISBN: Qué dicen los maestros sobre la evaluación docente? ISBN: D.R. MEXICANOS PRIMERO VISIÓN 2030, A.C. Av. Insurgentes Sur No. 1647, piso 12, Torre Prisma Col. San José Insurgentes, C.P , Del. Benito Juárez., D.F. +52 (55) twitter.com/mexicanos1o Cintya Martínez Villanueva Dirección Adjunta Adriana Del Valle Tovar Dirección de Comunicación Jennifer L. O Donoghue Dirección de Investigación Manuel Bravo Valladolid, Fernando Ruiz Ruiz y Pablo Velázquez Villa Investigadores Norma Espinosa Vázquez Coordinación de Medios Alfonso Rangel Terrazas Coordinación de Diseño Alejandro Ordóñez González Coordinación de Comunicación Digital Miroslava Félix Sariñana Coordinación de Vinculación Francisco Meléndez García Coordinación de Operaciones María Teresa Aguilar Álvarez Castro Coordinación de Estudios Jurídicos Macarena Velázquez López Investigadora de Estudios Jurídicos Paulina Martínez Rivera Coordinación de Eventos Maricruz Dox Aguillón Analista de Vinculación y Operaciones Iliana Martínez Oñate Asistente de Presidencia Laura Castillo Carro Asistente de Dirección María Esther Ramos Ramos Asistente de Operaciones Alicia Calderón Ramos, Miriam Castillo Ramírez y Susana Díaz Núñez Analistas y asistentes Esther Reyes Nieves Apoyo secretarial Gabriel Escobar López y Ernesto de Santiago Corona Apoyo logístico Impreso en / Printed in Mexico Prohibida la reproducción o transmisión parcial o total de esta obra por cualquier medio o método o en cualquier forma electrónica o mecánica, incluso fotocopia, o sistema para recuperar información, sin permiso escrito del editor.

16