2. Exógeno: Se frena el progreso de las ciencias de la educación, al supeditar sus métodos a un conjunto estereotipado y reducido de ellos.

Transcripción

1 Introducción Durante los últimos años los métodos de investigación científica de las ciencias de la educación se han enriquecido y diversificado. Por una parte figuran los denominados métodos teóricos como el análisis-síntesis, la inducción-deducción, la modelación, el hermenéutico y el histórico-lógico. Por otra parte aparecen los métodos empíricos como la observación científica, la entrevista, la encuesta, la prueba pedagógica y el criterio de expertos. La clasificación dicotómica entre métodos teóricos y empíricos es muy sencilla, pues toma como criterio la naturaleza del contenido de la información (responde al qué) y no precisamente la forma en que se procesa la información fidedigna. La forma del procesamiento se relaciona más bien con el predominio de un razonamiento de tendencia cualitativa o cuantitativa (responde al cómo). La realidad es muy rica, pues es posible aplicar métodos teóricos para procesar datos empíricos y también métodos empíricos para validar 1 o rechazar ciertas hipótesis. Sin embargo, la experiencia demuestra que la naturaleza del procesamiento de la información es más compleja de lo que aparenta ser, frente a la égida dual teoría/práctica. En algunas ocasiones los investigadores encuentran serios obstáculos al presentar los métodos en la introducción de sus informes. Por ejemplo, es habitual encontrar tesis de maestría y doctorado que dividen sus métodos siguiendo la clasificación anterior. Tal parece como si las doctrinas de Francis Bacon y René Descartes se trataran de conciliar, como una suma mecánica de empirismo y racionalismo. Muy pronto la clasificación entra en conflicto cuando se añaden los denominados métodos estadísticos. Qué métodos pueden ser estos que quedan marginados de la teoría y la práctica educacional? En síntesis: qué hay fuera de lo empírico y lo teórico? Si la contestación es «nada», entonces los métodos estadísticos quedarían excluidos. Este razonamiento es pura especulación metafísica, pues desconoce el movimiento que se da en la unidad y lucha de contrarios; es necesaria una respuesta dialéctica. Al igual que cualidad y cantidad, teoría y práctica forman una unidad dialéctica. En su crítica magistral a Hegel, Lenin discutió un grupo de aspectos que revelan la solución general a las interrogantes antes mencionadas. Para la selección e implementación correcta de los métodos de investigación, sirven de inestimable referencia los siguientes elementos de la dialéctica (Lenin, 1914, pp ). 1

2 1. Objetividad del examen; ni ejemplos ni divergencias, sino la cosa en sí. 2. Todo el conjunto de las múltiples relaciones de esa cosa con las otras. 3. Desarrollo de esa cosa, su automovimiento, su propia vida. 4. Tendencias y aspectos internos que son contradictorios en esa cosa. 5. La cosa (proceso, fenómeno,...) como suma y unidad de los contrarios. 6. Lucha y despliegue de esos contrarios, tendencias contradictorias, y otras. 7. Unión del análisis y la síntesis, análisis de las distintas partes y del conjunto, suma de esas partes. 8. Relaciones de cada cosa no solo son múltiples, sino generales, universales. Cada cosa está vinculada con cada cual. 9. No solo la unidad de los contrarios, sino las transiciones de cada definición, cualidad, rasgo, aspecto, propiedad, a cada cual de los otros. 10. El infinito proceso de revelación de nuevos aspectos, relaciones El infinito proceso de profundización del conocimiento humano de la cosa, de los fenómenos, de los procesos, etcétera, partiendo del fenómeno para llegar a la esencia y de la esencia menos profunda a otra más profunda. 12. De la coexistencia a la causalidad y de una forma de conexión y de interdependencia a otra más profunda, más general. 13. Repetición, en una etapa superior, de ciertos rasgos, propiedades, de la inferior. 14. Pretendido retorno a lo antiguo (negación de la negación). 15. Lucha del contenido con la forma y a la inversa. El rechazo de la forma, la transformación del contenido. 16. Transición de la cantidad a la calidad y viceversa (15 y 16 son ejemplos de 9). Las ciencias de la educación están en formación y son mucho más jóvenes que las ciencias puras y naturales, esto justifica que existan dificultades para clasificar sus métodos. Los métodos estadísticos son teóricos, pues provienen de la Matemática; en cambio, los diseños experimentales son métodos empíricos que aplican la estadística para arribar a conclusiones. El desliz estriba en tratar de establecer una clasificación donde el todo es más que la suma trivial de las partes, o sea, la simple enumeración de los métodos no da una idea real de la estructura de la investigación. El método ha de ser conceptualizado como un medio de cognición: la forma de representar el objeto o fenómeno en el pensar. Por tanto, debe precisarse el lugar que ocupa cada método concreto, a fin de revelar el método más general implementado en la investigación. Tanto formalismo ha conducido a la simple relatoría de los métodos, como una etapa trivializada del diseño de investigación. Este proceder, al ser mecánico y constreñirse a ciertas modas, acarrea dos problemas: 1. Endógeno: Disminuye la calidad de la investigación, por carecer de rigor científico y comprometer la certeza de sus resultados. 2

3 2. Exógeno: Se frena el progreso de las ciencias de la educación, al supeditar sus métodos a un conjunto estereotipado y reducido de ellos. No se crean nuevos métodos y muchos de los existentes, amén de haberse importado de otras ciencias, se tornan viciados y recurrentes sin que apenas se perfeccionen como expresión genuina de transferencia tecnológica. No se trata de trastocar los métodos preexistentes, como en aquella prolación un tanto exagerada del matemático francés Henri Poincaré: «Mientras los científicos investigan los sociólogos disputan sobre el método» (sic). Hay que discutir para perfeccionar y consolidar, incluso para transformar y crear. En esta libertad estriba una de las principales fortalezas de la ciencia. Un caso singular ha sido el método Delphi, al cual se dedica íntegramente esta monografía. Los rasgos esenciales que determinan este método estatuyen su naturaleza empírica, como caso especial del método de criterio de expertos. Sin embargo, tanto se ha hiperbolizado el procesamiento estadístico de sus datos que algunos investigadores lo han clasificado como un método estadístico, lo cual es erróneo. De manera similar, el método histórico-lógico se clasifica unánimemente como teórico, pero al explicarlo se suele decir que «se aplicó para analizar [ ]»; entonces, fue análisis-síntesis? Lo cierto es que se concluye relatando una secuencia de etapas, donde a veces predomina más lo histórico que lo lógico. No cabe duda de que este método tiene también un componente empírico junto al teórico. Las reflexiones anteriores revelan que la riqueza de métodos no puede relegarse a la segmentación tácita entre empíricos y teóricos. Existe una pluralidad en una especie de «continuo» metodológico, de modo que el científico debe reconocer esto a la hora de explicar sus métodos. Tampoco se trata ahora de refinar la clasificación, buscando una tipología suficientemente amplia. Lo más atinado consiste en revelar en la aplicación de cada método hasta dónde llega lo teórico y lo empírico, lo cualitativo y lo cuantitativo, así como la relación existente entre ellos (por complementación, combinación e integración de métodos; véase Cruz y Campano, 2008). Un solo un método puede constituir el eje central de la investigación. Así, puede desarrollarse un estudio con base en el método empírico de la entrevista, aún cuando se apliquen otros métodos colaterales (complementación). A título de ejemplo, el libro Cien horas con Fidel de Ignacio Ramonet es un arquetipo de aplicación del método de entrevista a profundidad, complementado con otros métodos como la revisión de documentos, la consulta a expertos y el método histórico-lógico. He aquí un pasaje de sus Agradecimientos: Hubiese sido harto descabellado además de muy poco profesional lanzarse en un proyecto de conversaciones maratónicas con Fidel Castro sin una seria preparación previa y sin una sólida documentación. Entre el momento en que la realización de este libro quedó decidida y el comienzo efectivo de los diálogos con el Presidente de Cuba, transcurrió un año. Durante ese tiempo contacté a los amigos que mejor conocían la proble- 3

4 mática cubana. Hablando largo con ellos, de la manera más informal, surgieron los temas principales a abordar, las cuestiones indispensables, los temas ineludibles (Ramonet, 2006, p. 797). El libro constituye una valiosa fuente de información sobre el amplio y profundo pensamiento del Comandante en Jefe, válida para tiempos presentes y futuros. La figura 1 ilustra la esencia de la metodología empleada, por un camino predominantemente cualitativo. 4 Fig. 1. El método científico predominante en Cien horas con Fidel. También es necesario distinguir entre métodos e instrumentos de investigación. Por lo general, el origen de los datos proviene de la aplicación de instrumentos asociados a los métodos empíricos; con ello se impone el establecimiento de una demarcación entre los métodos empíricos y sus instrumentos correspondientes. En concreto, el instrumento es aquella herramienta que sirve de mediación entre el investigador y lo investigado; una extensión de sus órganos de los sentidos y que sirve para recoger información útil. Es el soporte material del método empírico. De esta manera cobra sentido la distinción entre el método Delphi y sus rondas de cuestionarios, entre el método de observación científica y las guías de observación, y otros. El método Delphi es una forma de aplicar el método empírico más general de criterio de expertos, pero con la combinación de otros métodos no necesariamente estadísticos como la encuesta. Este método es muy conocido en el ámbito empresarial, aunque muchos investigadores han logrado adaptarlo al campo de las ciencias sociales, como ejemplo genuino de transferencia de tecnología. En el caso especial de las ciencias de la educación, el método Delphi comienza a encontrar disímiles aplicaciones. Su uso hoy gira en torno a una pluralidad de objetos, pero con frecuencia no se aplica correctamente. De manera general pueden encontrarse las siguientes limitaciones durante la implementación de este método en las investigaciones educacionales: 1. Énfasis en el procesamiento estadístico, en detrimento del análisis cualitativo. 2. Sobredimensionamiento de su aplicación (algunas investigaciones se apoyan básicamente en él para evaluar la factibilidad de las aportaciones teóricoprácticas).

5 3. Limitada extensión a los diversos objetos de investigación. 4. Pobre fundamentación metodológica en el campo de las ciencias de la educación. Estas limitaciones son generales, la última de ellas es la más seria, por desencadenar innumerables fisuras en la esencia del método. De todas formas también existen limitaciones particulares relacionadas con aplicaciones inadecuadas e incorrectas de algunas etapas, con la selección y tipología de expertos, con la elaboración de los instrumentos, entre otras. La relativa brevedad de esta monografía no alcanzará para solventar deficiencias tan diversas referidas a la aplicación del método Delphi, ni tan profundas referidas a su fundamentación. Sin embargo, se alberga el propósito de sistematizar los elementos básicos de los órdenes teórico y práctico, a fin de contribuir al perfeccionamiento de este método en las investigaciones educacionales. 5

6 Métodos generales de previsión El estudio del futuro ocupa la atención de muchos especialistas por su interés social. Por lo general, la investigación científica tradicional estudia el pasado para entender el presente y hacer predicciones sobre el futuro. Sin embargo, se piensa, cada vez con más evidencias, que las imágenes del futuro pueden incidir en el presente. El interés por el estudio del futuro radica en la comprensión del ritmo de cambio y de las direcciones de tales cambios, con el fin de buscar adaptación cuando no es posible modificarlo; o bien de modificarlo cuando existe cierto grado de control sobre él (Konow y Pérez, 1990, p. 2). Los métodos de previsión estudian el futuro en lo que se refiere a la evolución de disímiles factores e interacciones del entorno económico, político, social y científico-técnico. De esta manera los intereses individuales y colectivos podrán materializar sus planes estratégicos, con la seguridad nunca absoluta de que van a conseguir sus objetivos a corto, mediano o largo plazo. Dentro de los métodos generales de previsión se pueden destacar los extrapolativos, los de correlación y los métodos de expertos. Básicamente, los dos primeros son objetivos. Los métodos extrapolativos proyectan hacia el futuro los datos de evolución que se tienen del pasado. Para ello se recopila la información histórica disponible y se buscan posibles tendencias o ciclos evolutivos; ello aportará los posibles entornos futuros. Estos métodos comprenden desde la aplicación de modelos triviales, como la utilización de la media y la mediana, hasta la aplicación de modelos más complejos como el alisado de series temporales, las proyecciones de tendencia, los modelos probabilísticos, entre otros. Los métodos de correlación intentan descubrir qué factores están implicados en un desarrollo y en qué grado influyen. Teniendo esto presente se determina cuál es la posible línea evolutiva que van a seguir todos estos factores. Ejemplos de estos tipos de métodos son los analógicos, de simulación determinista (tablas de input-output y simulación de sistemas), econométricos y de experimentación social. Muchos autores han identificado serias limitaciones en la aplicación de estos métodos objetivos al ámbito de las ciencias sociales, donde la realidad que se trata de prever es sumamente compleja y multifactorial. Algunas de estas limitaciones son las siguientes: 1. No siempre se cuenta con suficientes datos históricos sobre las variables que se deben prever o pronosticar; incluso en ocasiones se intenta estudiar situaciones sin precedentes. Un caso típico de esta situación es la previsión de implantación y generalización de nuevas tecnologías educativas. Un ejemplo actual del ámbito educacional cubano consiste en la maestría en ciencias de la educación. El amplio acceso de los maestros parecía una quimera, pero la voluntad política lo convirtió en una hermosa realidad. 2. Los modelos se abstraen de la naturaleza compleja y multifactorial del objeto que se investiga. Esto se agudiza todavía más por el supuesto de que las 6

7 escasas interrelaciones que han sido descubiertas se presuponen estables. Un ejemplo típico se aprecia en el estudio del desarrollo cognitivo (por ejemplo de ciertas habilidades), al margen de lo axiológico y de las esferas afectiva y motivacional. 3. La selección del modelo no siempre es la más adecuada y tampoco se ejerce suficiente control sobre las variables ajenas. Es común encontrar investigaciones donde las «posibles» variables extrañas resultan ser elementos esenciales que requieren de profundización, más que de un control estricto. Finalmente, los métodos de criterio de expertos se basan en la consulta a personas que tienen grandes conocimientos sobre el objeto de estudio. La síntesis, el consenso y la estabilidad del juicio colectivo pueden ofrecer una visión verosímil del futuro, combinando la imaginación y el talento individual. Por este motivo estos métodos son básicamente subjetivos. Aunque es posible hacer un uso justo de las apreciaciones individuales de un experto, existe consenso en el hecho de que el juicio colectivo es superior, bajo ciertas condiciones, a la suma trivial de los resultados individuales de los miembros que componen el grupo de individuos. En estos métodos la información disponible está siempre más contrastada que aquella de que dispone el participante mejor preparado, es decir, que la del experto más versado en el tema. Además, el número de factores considerado por un grupo nunca es inferior al que podría ser tenido en cuenta por una sola persona. Cada experto podrá aportar la idea que tiene sobre el tema debatido, desde su área de conocimiento, su experiencia e inteligencia. La mayoría de los métodos de expertos presentan las siguientes limitaciones, cuando predomina la interacción directa de los participantes: 1. Imposibilidad de congregar en tiempo y lugar al grupo de expertos deseado. 2. La presión social (sectorialista) que el grupo ejerce sobre sus integrantes puede provocar acuerdos con la mayoría, aunque la opinión de esta no sea la más acertada e incluso errónea. Así, un experto puede renunciar a la defensa de su opinión ante la persistencia del grupo en rechazarla. 3. El grupo hace de su supervivencia un fin. Esto provoca que se tienda a conseguir un acuerdo en lugar de producir una buena previsión. 4. En los grupos, hay ocasiones, en que el argumento que triunfa es el más citado, en lugar de ser el más válido. Puede surgir el efecto halo, cuando la reunión toma un rumbo en el cual se supedita toda la discusión en función de un único rasgo, asunto o característica, favorable o desfavorable. 5. Los grupos suelen ser vulnerables a la posición y/o personalidad de algunos individuos, incluyendo a sus dotes de comunicadores. Por ejemplo, la voz más fuerte en lugar del argumento más legítimo puede llevar el control y predominar; también algunas personas son renuentes a abandonar una opinión suya, declarada previamente delante de sus semejantes. 6. Posibilidad de ocurrencia de sesgos comunes, en función de la formación, intereses y preconcepciones de los participantes. 7

8 7. Tratamiento o integración inadecuada de las aportaciones realizadas por los miembros del grupo (pérdida de información y falta de integración en el resultado final de todas las contribuciones válidas). El método Delphi es un caso especial de método de criterio de expertos, capaz de menguar las limitaciones antes enumeradas en mayor o menor grado. Su aplicación parte de la necesidad de hacer uso sutil de la subjetividad, donde los métodos «objetivos» resultan inadecuados y fútiles. Antes de examinar más a fondo el método conviene partir de una historiografía que revele su evolución durante los últimos años. 8

9 Orígenes del método Delphi Probablemente la versión más antigua, similar al Delphi, fue el método Vaticano (Landeta, 1999). Se trataba de un antiguo procedimiento mediante el cual los cardenales pretendían alcanzar una opinión consensuada sobre temas importantes, relativos a la Religión Católica. El método Delphi, sin embargo, tiene su origen en la Rand Corporation de Santa Mónica, California. Los primeros experimentos tuvieron lugar en 1948 y estuvieron relacionados con el pronóstico de resultados en carreras de caballos. En este caso, los apostadores fueron considerados como expertos en el campo, así que se llevó a cabo un proyecto para determinar cómo combinar los pronósticos de carreras de caballos realizados por expertos diferentes. De esta manera se pretendía mejorar la probabilidad simple de cada uno de ellos, para comprobar que la opinión compuesta era mejor que la de cualquier experto individual. Un trabajo decisivo para el soporte científico de este método fue llevado a cabo por el filósofo norteamericano Abraham Kaplan en En su estudio él demostró la superioridad de la previsión grupal sobre la individual. Fue el propio Kaplan quien propuso el nombre délfico, pues Delphi es la traducción al inglés de Delfos, ciudad de la antigua Grecia al pie del Parnaso (ahora Kastri, véase la figura 2). Fig. 2. Ruinas del oráculo de Delfos. Según la leyenda, en el famoso oráculo de Delfos, una sacerdotisa llamada Pitonisa era utilizada por el dios Apolo como médium, para responder las preguntas que los visitantes hacían sobre el futuro. La Pitonisa se reclinaba sobre un trípode colgado en el abismo de una grieta sagrada, de la que manaban vapores alucinógenos. De esta manera entraba en trance y emitía sonidos y 9

10 palabras incoherentes que los sacerdotes interpretaban como respuestas de Apolo. Las respuestas solían ser más consejos que verdaderas predicciones, y alrededor del siglo V a.n.e. llegaron a ser muy famosas, tanto por su ambigüedad como por sus aciertos. Esto no solo elevó a Delfos a la consideración del oráculo más fiable, sino que lo hizo mantenerse en este lugar durante varios siglos. En Vidas Paralelas de Plutarco, el autor hace alusión en múltiples ocasiones al oráculo, lo cual era una muestra de su popularidad en aquellos tiempos. He aquí un breve pasaje: Muerto Arato de esta manera en Egio en su decimoséptimo generalato, deseaban los Aqueos que allí fuese sepultado y que se le erigiesen los monumentos correspondientes a sus hazañas; los de Sicione miraban como una calamidad el que el cuerpo no pudiera ser entre ellos depositado, pues aunque habían alcanzado de los Aqueos que se lo permitieran, había una ley que prohibía que nadie fuera sepultado dentro de los muros; y como sobre la observancia de esta ley hubiese una poderosa superstición, enviaron a Delfos a consultar a la Pitia sobre este objeto, y la Pitia les dio este oráculo: Consultas oh Sicione! qué premio por tu salud dispensarás a Arato y qué honores y exequias funerales harás al héroe que sin vida yace? Quien a honrarle se oponga será impío contra el cielo extendido, el mar y tierra. Traído el oráculo, se alegraron todos los Aqueos, especialmente los Sicionios, y convirtiendo el duelo en fiesta, al punto trasladaron el cadáver, coronados de flores y vestidos de blanco, con cánticos de regocijo y con coros, de Egio a la ciudad; y habiendo designado un lugar espectable, le hicieron el entierro que correspondía a su fundador y salvador (Plutarco, Vidas Paralelas, Arato, LIII). La primera utilización de este método, con todas sus características definitorias, fue realizada por investigadores de la Rand en Norman Dalkey y Olaf Helmer llevaron a cabo un estudio secreto con fines militares, que por razones de seguridad solo fue desclasificado diez años más tarde. En el experimento se inquiría a un panel de siete expertos en guerra nuclear, sobre el número de bombas atómicas de 20 KT que serían necesarias para establecer la producción armamentista norteamericana en el marco de ciertos niveles de confiabilidad. Helmer y Nicholas Rescher redactaron en marzo de 1958 un denso artículo de 66 páginas, titulado On Epistemology of Inexact Sciences (Helmer & Rescher, 1958), en el cual intentaron justificar este método, y establecieron sus bases científicas frente a un clima occidental predominantemente positivista. En esta época un conocimiento solía ser considerado científico solo si podía ser compro- 10

11 bado empíricamente. De esta manera, el objetivo de la ciencia se cifraba en la descripción pura de los hechos dados por las sensaciones y no en su elucidación. El best seller que popularizó el método fue publicado por Theodore Gordon y Olaf Helmer; se tituló Report on a Long-Range Study (Gordon & Helmer, 1964) y contenía pronósticos de descubrimientos científico-técnicos hacia el año 2000 y aún más allá. En este estudio participaron 82 panelistas, entre los que se destacaban Isaac Asimov, Artur Clarke, Bertrand de Jouvenel, Ithiel de Sola Pool, entre otros. Así, la popularidad alcanzada por este método durante la década subsiguiente creció notablemente. En 1975 Harold Linstone y Murray Turoff publicaron un compendio titulado The Delphi Method. Techniques and Applications, el cual contenía 489 trabajos publicados hasta 1974 (Linstone & Turoff, 1975). Un hecho muy especial para las investigaciones educacionales lo constituyó la publicación, en 1966, del artículo The Use of the Delphi Technique in Problems of Educational Innovations, por el propio Helmer. En este trabajo, el autor explica las presuntas potencialidades que brindaría el método para la planificación de la innovación educacional en diferentes niveles. He aquí un fragmento de su análisis: El método general [ ], incluyendo sus variantes, puede ser aplicado a todas las fases de la planificación educacional de niveles institucional, federal, local o individual. Un superintendente de distrito de escuelas públicas, el cual se propone instituir una reforma curricular, puede desear sondear opiniones a través de la técnica Delphi entre administrativos y maestros de su distrito; una oficina estatal de planificación posiblemente decida sobre un programa de construcción después de una primera consulta Delphi, con los superintendentes locales; un programa de expansión universitaria de largo alcance debe reconciliar los pareceres de sus diversos departamentos, y un enfoque Delphi, utilizando uno o dos administrativos y una sección de departamentos representativos como un panel de respondientes, puede ser el camino más apropiado para llevar esto a cabo; o, en el nivel nacional, el Ministerio de Educación de los Estados Unidos de América puede desear establecer un amplio programa de innovaciones educacionales: este es un problema multifacético, con un número de oportunidades para la aplicación de la técnica Delphi (Helmer, 1966, p. 6). En este trabajo Helmer se percató de que la innovación planificada a largo plazo está sujeta a una amalgama de vicisitudes, de origen económico, político, social y científico-técnico. De manera que recomendó la aplicación del método de una forma similar a su investigación conjunta con Gordon (Gordon & Helmer, op. cit., 1964). Desafortunadamente, el título del artículo creó expectativas infundadas. Por ejemplo, en el título se declara «El Uso», mientras que en el texto citado se dice que el método Delphi «[ ] puede ser aplicado», pero en ningún momento se analiza cómo hacerlo; ni siquiera se cuestiona el asunto de su adaptación al contexto específico de la innovación educacional. En general, se trata 11

12 de un ejercicio común de marketing desde un productor la Rand Corporation hacia un mercado potencial el sistema educacional norteamericano. La aplicación desmedida del método, durante la década de 1964 a 1974, comenzó a desacelerarse al aparecer fuertes críticas, no solo respecto a la pobreza de sus fundamentos metodológicos, sino también por la vindicación de otros métodos de expertos grupales. Una de las primeras críticas surgió en el seno de la propia Rand. Por ejemplo, Harold Sackman atacó tanto los fundamentos como la metodología de aplicación, aunque sus intentos se originaron desde una visión predominantemente positivista y tradicionalista. He aquí algunas de sus conclusiones: Dos recomendaciones alternativas finales fueron consideradas como conclusiones de esta evaluación. Una fue buscar modernizar el Delphi por recomendaciones estándares superiores, más consecuentes con el método científico para la colección, análisis y uso de los cuestionarios de datos. La otra fue concluir que las suposiciones y principios sobre los cuales se basa el Delphi convencional son tan anticientíficos e intrínsecamente erróneos que descartan cualquier intento por mejorar la técnica. Esta segunda alternativa fue equivalente a la recomendación de echar por tierra el Delphi completamente. La incidencia aducida en este estudio indica claramente que la propensión por el Delphi, en principio y en práctica, es mayor que sus ventajas sumamente dudosas (Sackman, 1972, p. 70). Durante los años siguientes el método Delphi ha encontrado una amplia aplicación en muchos campos de la economía, avanzando y perfeccionándose junto al desarrollo paralelo de las tecnologías de la información y las comunicaciones. Jon Landeta, economista español, denomina el período de 1980 hasta la actualidad como un período de continuidad, amplia aplicación y refinamiento metodológico (Landeta, 1999, cuadro 2.2, p. 38). Por su parte, en el campo de las ciencias de la educación el grado de aplicación comienza a ascender rápidamente. En la figura 3 puede observarse la diferencia que muestran tres motores de búsqueda de Internet. Para ello se comparan los resultados de Delphi method y de Delphi method + education, correspondientes al 21 de noviembre de Como es natural, al aumentar la cantidad de descriptores disminuye el número de resultados; o sea, la cantidad de páginas Web que contienen esos descriptores. Tanto en Yahoo! como en Altavista, las páginas que contienen el término Delphi method son bastante pocas; más cuando se añade el descriptor education para formar una conjunción, la cantidad disminuye sensiblemente (aproximadamente la cuarta parte). En cambio, Google aparenta ser el mejor buscador para el método Delphi en Internet. La primera publicación cubana relacionada con el método Delphi, de la cual se tiene referencia, se tituló Utilización del método Delphi en la pronosticación: Una experiencia inicial y estaba relacionada con la generalización de una política nacional de informática. Se trataba de un hecho sin precedentes, de modo 12

13 que el Delphi estaba muy bien justificado. La investigación fue desarrollada por especialistas del Instituto de Investigaciones Económicas (cf. Oñate et al., 1988 y Ramos et al., 1989). De todas formas, en Cuba ya existía literatura afin como La previsión a largo plazo según el método Delphi (Kaufmann, 1977). Fig. 3. El método Delphi en tres motores de búsqueda de Internet. A finales de la década de los años 90 este método fue retomado y sistematizado por investigadores del Instituto Central de Ciencias Pedagógicas, este llegó a extenderse por todo el país. Probablemente el trabajo más significativo al respecto lo constituyó la monografía Indicadores e investigación educativa (Campistrous y Rizo, 1998). Hoy el método Delphi se aplica ampliamente en investigaciones relacionadas con el turismo, donde la previsión es un aspecto medular. Para las investigaciones educacionales el asunto es bien diferente, pues se aprecia una falta de unidad de criterios en cuanto a su utilidad en el campo. En los mejores casos se observa una búsqueda de «sentido común» para el establecimiento de periodizaciones, escalas de evaluación, clasificaciones, entre otros aspectos negociables en el contexto de una comunidad sociocrítica. Incluso ha adquirido la prerrogativa de consensuar la evaluación de resultados teórico-prácticos, pero predominantemente al finalizar las investigaciones, desaprovechándose la posibilidad de perfeccionar estos resultados antes de ser aplicados. No solo es una deficiencia la presencia del Delphi como deus ex máchina en las tesis de maestría y doctorado, también proliferan investigaciones que hacen de su uso solo una moda; mientras que algunas lo combinan de forma insustancial con otros métodos, sin que se justifique su presencia en el marco de la metodología. Para no desaviar el uso de este método en las ciencias de la educación es importante profundizar primero en sus fundamentos epistémicos. No se trata de rechazarlo sino de perfeccionarlo y adaptarlo a las nuevas condiciones que impone la transferencia de tecnología. 13

14 Fundamentos del método Delphi Tal y como se explicó antes, los fundamentos del método Delphi todavía están sujetos a constante revisión y perfeccionamiento. En un trabajo conjunto de Dalkey y Helmer se puede encontrar el objeto más primitivo de este método: «[ ] obtener el consenso de opinión más fidedigno de un grupo de expertos» (Dalkey & Helmer, 1963, p. 458). Sin embargo, la idea de un consenso ha cambiado, pues la experiencia pronto demostró que este no tiene porqué existir; mientras que la noción de experto ha adquirido un matiz más amplio y flexible. En su versión actual el objeto del método Delphi ha sido replanteado por Landeta como la «[ ] obtención de una opinión grupal fidedigna a partir de un conjunto de expertos» (op. cit., p. 39). Las limitaciones de las técnicas grupales de interacción directa motivaron una nueva manera de organizar el debate de los expertos, los cuales ahora permanecen en el anonimato. Sus opiniones son controladas por un grupo coordinador, el que procesa la opinión de cada miembro y la devuelve al grupo en forma de feedback (realimentación controlada). Son cuatro las características esenciales del método Delphi: 1. Proceso iterativo. 2. Anonimato. 3. Realimentación controlada (feedback). 4. Respuesta estadística de grupo. Surgen ahora varios problemas que necesitan ser discutidos. En primer lugar, varios investigadores recomiendan que el grupo coordinador se constituya por entre dos y cinco miembros, preferiblemente por un número impar. Según Petros Pashiardis, de la Universidad de Chipre, es función de este grupo estudiar y aprobar el protocolo de trabajo, lo cual implica establecer criterios para seleccionar el panel de expertos, analizar el calendario de trabajo, definir los medios que se van a utilizar y diseñar el informe final. Otras funciones consisten en estudiar y aprobar el panel definitivo, analizar las respuestas, preparar y someter a pilotaje los siguientes cuestionarios, y facilitar la realimentación de manera adecuada y oportuna. El grupo coordinador debe interpretar los resultados parciales y finales, y también supervisar la marcha correcta de la investigación, este puede realizar ajustes y correcciones (Pashiardis, 1993). Frecuentemente un investigador de las ciencias de la educación no dispone de un grupo coordinador y opta por ocupar este lugar en solitario. Como se ha podido apreciar, la existencia de este grupo es lo más ideal para minimizar aspectos negativos, como los sesgos y la pérdida de fiabilidad y validez en los instrumentos. Por tanto, si esta tarea recae sobre una sola persona debe redoblar los esfuerzos o bien reconcebir la investigación en forma de proyecto; en ella pueden participar otros individuos con ocupaciones más concretas. Otro elemento importante consiste en la noción de experto, aspecto sobre el que no existe acuerdo pleno. En general, los autores enfocan este concepto 14

15 desde la óptica de la competencia profesional, de la pericia o experticia para prever, evaluar, ofrecer valoraciones conclusivas y hacer recomendaciones viables (véase un análisis exhaustivo en Crespo, 2006). Una noción amplia ha sido conceptualizada por Landeta de la siguiente manera: «[ ] aquel individuo cuya situación y recursos [personológicos] 2 le posibiliten contribuir positivamente a la consecución del fin que ha motivado la iniciación del trabajo Delphi» (op. cit., p. 57). Esta idea es tan amplia que en las ciencias de la educación no resulta muy operativa; además, por qué limitar el concepto a un solo individuo? Desde una perspectiva más flexible puede entenderse por experto «[ ] tanto al individuo en sí, como a un grupo de personas u organizaciones capaces de ofrecer valoraciones conclusivas de un problema en cuestión y hacer recomendaciones respecto a sus momentos fundamentales con un máximo de competencia» (Oñate et al., 1988, p. 15). De esta manera, en un proceso Delphi diseñado para evaluar una nueva concepción teórica pueden participar a título de expertos varios departamentos docentes de diferentes universidades. He aquí una definición muy concreta y ajustada al contexto investigativo, aportada por el investigador cubano Tomás Crespo: Se entiende por experto a un individuo, grupo de personas u organizaciones capaces de ofrecer con un máximo de competencia, valoraciones conclusivas sobre un determinado problema, hacer pronósticos reales y objetivos sobre efecto, aplicabilidad, viabilidad, y relevancia que pueda tener en la práctica la solución que se propone y brindar recomendaciones de qué hacer para perfeccionarla (Crespo, 2006, p. 10; el subrayado es del original). A continuación Crespo señala dos cuestiones medulares que los investigadores deberían tomar en consideración (ibíd., pp ): 1. El experto puede aportar valoraciones conclusivas sobre un aspecto determinado, como es el caso de un problema, una tipología, una caracterización, etcétera. Atendiendo a esto, sus apreciaciones no están necesariamente dirigidas a todo el objeto de estudio que interesa al investigador, pero resultan útiles en el proceso de la investigación. 2. El experto puede pronosticar lo que sucedería de implementarse la solución que el investigador da al problema y que ha sido sometida a su consideración. Es esta su mayor responsabilidad, por eso con visión prospectiva se han planteado cuatro aspectos a tener en cuenta: a) Efectos: Vistos como resultados de una acción que produce una serie de consecuencias en cadena, las que pueden ser buenas o malas, tener consecuencias favorables o desfavorables, obtenerse los resultados previstos o tener efectos contraproducentes. Un concepto relacionado, pero que va más allá de lo fáctico es el concepto de impacto. b) Aplicabilidad: Si los resultados resultan satisfactorios puede que sean aplicables tal como se proponen, aplicarse parcialmente o haciendo modificaciones previsibles. 15

16 16 c) Viabilidad: Está relacionada con la aplicabilidad pero se precisa más, porque se requiere de un balance objetivo de las posibilidades reales de generalización. Puede ser que una metodología sea aplicable y con ella obtener resultados muy satisfactorios, pero en las condiciones actuales o coyunturales del desarrollo de los docentes, o bien por cuestiones económicas, no sea posible su generalización inmediata. d) Relevancia: Cualidad de relevante o condición de notabilidad, importancia, significación en la esfera donde se investiga, novedad teórico-práctica que representa la futura aplicación del resultado que se valora. Otro aspecto digno de atención consiste en la tipología de expertos. Atendiendo al grado de relación que se establece entre los miembros del panel y el problema que se investiga, pueden distinguirse tres tipos de expertos: los especialistas, los implicados y los facilitadores. Los especialistas son los expertos tradicionales, capaces de aportar una visión predominantemente de incidencia, o sea: qué ocurrirá si se toma la decisión? Por su parte, los implicados aportarán una visión predominantemente de percepción, o sea: qué ocurrirá si toman la decisión? Los facilitadores proporcionarán una visión básicamente de imparcialidad: qué es lo mejor que se puede decidir? De esta manera, el panel aportará una información muy útil, con un balance adecuado entre la objetividad y la subjetividad. Esta concepción moderna de lo que podría concebirse como un experto, si bien es avanzada no tiene porqué ser definitiva (cf. la veritable nature des experts compuesta por expertos tácticos, conciliadores y comunicadores en Ténière-Buchot, 2001). En cierta ocasión una investigadora trató de explicar uno de sus hallazgos a un trabajador de otra profesión, ajeno al campo de la educación. El individuo ciertamente confesó no entender gran cosa, pero hizo una observación importante referida al orden en que se había desenvuelto la explicación. La profesora reconoció esta deficiencia y reconcibió su exposición de una manera más coherente, pues planificaba hacerlo al día siguiente en un evento científico. Puede darse por terminado el problema de la experticia? Este ejemplo demuestra que cualquier persona puede aportar ideas importantes, especialmente donde los expertos (por costumbre o quizás subestimación) no se detienen a mirar. Surgen ahora dos cuestiones importantes: qué proporción debe escogerse de cada uno de los tipos de expertos? y bajo cuáles criterios deben seleccionarse los diferentes tipos? En relación con la proporción de expertos de cada tipo, muy pocos investigadores reportan análisis específicos. En general se acepta que el número total de expertos debe variar entre 15 y 30 (para un margen de error de 5 a 1 % cuando constituyen muestra de cierta población aproximadamente normal); mientras que las proporciones dependen del objeto de la investigación. De todas formas, algunos reportes (como el más primigenio de la Rand) han aceptado valores mínimos de hasta siete expertos, pero esto podría crear una hipertrofia al hiperbolizar el papel de cada uno de ellos.

17 No es recomendable que el número de especialistas sea inferior a 50 % del total. En el caso de investigaciones educacionales son determinantes tanto el objetivo del estudio, como las limitaciones que se afrontan. La composición del panel puede comprender especialistas en didácticas especiales, Sociología de la Educación, Epistemología, Psicopedagogía, entre otros. Como implicados pueden fungir los profesores o maestros que serán usuarios del resultado que se evalúa. Finalmente, los facilitadores pueden estar integrados por profesionales de amplia experiencia, funcionarios encargados de inspeccionar la calidad de la educación, dirigentes, jubilados, entre otros. Esta variante no debe interpretarse como una fórmula dogmática pues, por ejemplo, si el objeto de la investigación es la Dirección Científica Educacional, entonces los implicados serán básicamente directivos de instituciones a diferentes niveles. Respecto a los criterios de selección de expertos la literatura muestra algunos tan difusos como la capacidad predictiva, y otros tan pragmáticos como el costo y la proximidad. El establecimiento de criterios específicos está sujeto al binomio objeto-objetivo de la investigación. Por ejemplo, un experto del tipo especialista, capaz de aportar un juicio objetivo sobre cierta aportación teórica, puede seleccionarse tomando como criterio el currículo. Este último, a su vez, podría caracterizarse atendiendo a los siguientes indicadores medibles: 1. Cantidad de años de experiencia en la especialidad. 2. Cantidad de investigaciones afines donde ha participado. 3. Número de publicaciones sobre la materia analizada (especialmente de impacto). 4. Número de referencias bibliográficas que se hacen a sus trabajos. 5. Formación académica y/o científica. De todas formas existen diversos criterios generales muy importantes, tales como el nivel de conocimiento, el grado de implicación en la puesta en práctica de los resultados de la investigación, su ética profesional, el nivel de motivación y disposición a participar, entre otros. Esta evaluación puede realizarse por el propio grupo coordinador, por los restantes miembros del panel, y tomando en consideración la propia autoevaluación. A continuación se describen tres ejemplos ilustrativos. Ejemplo 1. Se conforma un cuestionario formado por cinco ítems a modo de indicadores. El primero de ellos pide al candidato que evalúe su conocimiento sobre sistemas de tareas docentes, utilizando la siguiente escala de diferencial semántico: Nulo Profundo Si en un inicio no se dispone de un conjunto de candidatos lo suficientemente grande, es recomendable complementar el instrumento preguntando al encuestado sobre qué otros especialistas podrían fungir como expertos en 17

18 la temática. De esta manera se lograría un conjunto mayor, e incluso se incorporarían nuevos criterios para la selección definitiva. Una vez que ha sido completado todo el cuestionario, los coordinadores podrán decidir si se rechaza o se acepta cada candidato. Para esto es necesario haber preestablecido a priori un punto de corte. Existen diversos procedimientos para establecer los puntos de corte, lo cual ha sido tratado ampliamente en la literatura. Para el ejemplo anterior, esto implica el tránsito desde una escala cuantitativa (de 0 a 6) hacia otra cualitativa (es o no experto), lo que se conoce como categorización de la variable. Un método muy práctico puede consistir en calcular la mediana de las autoevaluaciones por cada indicador, de manera que un ítem resulte aprobado cuando se ha marcado un valor no inferior a su mediana correspondiente. Luego es posible exigirle al candidato una cantidad prefijada de indicadores aprobados. Nuevamente la toma de decisiones sobre la cantidad de ítems que se deben aprobar exige de un punto de corte. Un método apropiado fue propuesto por Robert Ebel en 1972, y consiste en la integración individual de cada uno de los aspectos evaluados. 3 El método de Ebel tiene en cuenta simultánea y explícitamente la dificultad y la relevancia de los ítems, a la hora de establecer los puntos de corte. En primer lugar se construye una tabla, generalmente de cuatro niveles de relevancia (esencial, importante, aceptable y cuestionable) por tres niveles de dificultad (fácil, moderada y difícil). Para analizar la cantidad o porcentaje mínimo de ítems aprobados, cada evaluador distribuye los ítems en las celdillas de la tabla, pueden coincidir varios en una misma celdilla. Un ítem podría ser fácil y cuestionable, moderado e importante, difícil y esencial [ ]. Así, cada evaluador decidirá su punto de corte, tomando en consideración que aquellos ítems ubicados por debajo de una diagonal imaginaria son los de mayor peso. El punto de corte definitivo será el promedio (o bien la mediana) de cada uno de los puntos de corte individuales. El método de Ebel ha sido utilizado en la calificación de exámenes escolares, particularmente cuando predominan las preguntas cerradas, conformadas por varios incisos. De todas formas, es posible aplicarlo también en el ejemplo anterior, pero con una ligera adaptación. Sucede que los niveles de relevancia son transferibles al análisis de ítems de autoevaluación; incluso el de cuestionable, por cuanto un coordinador puede calificar así a cualquiera de los ítems desde su visión personal. Sin embargo, el nivel de dificultad se aleja de la naturaleza de estos ítems. Por tanto, es conveniente mantener los niveles de relevancia y cambiar la variable «dificultad» por otra más adecuada como la tipología de expertos. Para construir la tabla es viable cruzar las columnas de relevancia con las filas de tipos de expertos. Si bien es posible establecer niveles de relevancia, no tiene sentido hablar de niveles de experticia. Esta variable fila no es ordinal sino nominal, de modo que la diagonal imaginaria ahora no es sustantiva. Cada evaluador podrá distribuir libremente los ítems fila por fila, lo cual le ayudará a fijar un punto de corte. Debe denotar por I1 el ítem del ejemplo 1 18

19 (metaconocimiento) y por I2, I3, I4, e I5 los cuatro subsiguientes, una distribución en las celdillas podría ser: A diferencia del cruce de las variables de dificultad y relevancia, los ítems aparecen todas las veces fila por fila. Ahora cada coordinador podrá tener una apreciación sobre el punto de corte. En este caso, debe partir de su criterio sobre la proporción de los tipos de expertos. Por ejemplo, esta proporción puede ser igual a 1:1:3, el coordinador daría mayor peso a la última fila, exigiendo un mínimo de tres ítems aprobados. Cuatro sería demasiado, pues todos son por lo menos aceptables y dos sería muy poco, por el ligero debalance hacia las dos columnas inferiores. Si la proporción hubiese sido 3:2:1, entonces el mayor peso recaería sobre las dos primeras filas, con un estimado posible de cuatro ítems aprobados, a partir del pronunciado desbalance hacia las dos columnas superiores. Finalmente se promediarían los puntos de corte de cada coordinador. Si bien la escala nominal por tipos de expertos queda prefijada sobre la base de la clasificación establecida, resulta más fácil incrementar la cantidad de estratos por columnas. Por ejemplo, podrían añadirse estratos por debajo de lo cuestionable, como es el caso de lo «excluible» o lo «contraproducente». Sin embargo, cuando algo se somete al juicio de expertos (y aquí los coordinadores fungen como tal) es natural que haya pasado primero por cierto nivel de elaboración y perfeccionamiento. Se espera que ningún candidato en el que se haya pensado pueda ser excluible de facto. Un problema común en la elaboración de escalas consiste en el empleo de valores indiferentes para los encuestados. Ejemplo 2. Cada coordinador ordena los candidatos, atendiendo al nivel de experticia que estos últimos se supone posean. En la tabla se puede observar que, a juicio del coordinador A, el noveno candidato es el de mayor experticia, después le sigue el tercero, el segundo y así sucesivamente hasta llegar al primer candidato, el cual resultó ser el último en el ordenamiento. Una forma práctica para discriminar candidatos consiste en fijar a priori el puntaje máximo por columnas. Por ejemplo, si los jueces A, B y C acordaron al principio tomar a 18 como valor máximo tolerable, entonces quedan fuera 19

20 aquellos candidatos cuyo puntaje es mayor o igual que 19. Por tanto, serían excluidos los candidatos 1, 5, 7 y 8. Para establecer un punto de corte, respecto a la suma por columnas (rangos), pueden seguirse diversos caminos. He aquí tres: 1. Promediar el rango máximo, propuesto por cada coordinador como mayor valor tolerable. Por ejemplo, si los rangos máximos estimados por A, B y C fuesen 22, 20 y 25, respectivamente, entonces el punto de corte sería el rango ( )/ Promediar la cantidad máxima de expertos que se va a seleccionar, para tomar luego los primeros rangos no superiores a este promedio. Por ejemplo, si A, B y C consideran que deben tomarse 8, 8 y 7 expertos respectivamente, entonces se seleccionarán ( )/3 8 candidatos. 3. Tomar como rango superior la suma de los lugares máximos tolerables que considera cada juez. Por ejemplo, si para A, B y C estos fueran 5, 6 y 7 respectivamente, entonces se tomaría como punto de corte el rango = 18. En todos los casos se eliminarán por redondeo las partes decimales. Además, en lugar del promedio es posible utilizar la media recortada o la mediana, especialmente cuando las opiniones de los jueces tienden a dispersarse. Estos procedimientos tienen la desventaja de que no existe necesariamente una adecuada concordancia entre los criterios de los jueces. Como medida apropiada es permisible aplicar el coeficiente de concordancia de Kendall. En la tabla se tiene que W = 0,97, lo cual evidencia una alta concordancia (x² = 23, 29; p < 0,003; véase Cruz y Campano, 2008). Con frecuencia es embarazoso para un juez decidir la posición de dos o más sujetos en una lista ordenada. El criterio del juez A pudo ser, por ejemplo, que tanto el noveno como el tercer candidato ocupan el primer puesto, los demás quedan en el mismo orden. Naturalmente que el segundo puesto queda vacante, así que su evaluación habría sido: Un suceso así se conoce como liga, y exige de fórmulas ajustadas en el test de Kendall. La mayoría de los paquetes estadísticos actuales ya vienen preparados para procesar estos casos. Ejemplo 3. Se calcula el nivel de competencia del candidato, siguiendo una metodología aprobada por el Comité Estatal para la Ciencia y la Técnica de la extinta URSS, para la elaboración de pronósticos científico-técnicos, en febrero de 1971 (descrita por Oñate et al., 1988). En esta metodología la competencia se determina por un coeficiente k, el cual se calcula como la semisuma del coeficiente del nivel de conocimientos sobre el tema investigado (k c ) y una medida de las fuentes de argumentación (k a ); o sea, k = ½ (k c + k a ). 20