Toma de decisiones. Proceso Analítico Jerárquico aplicado a la selección de herramienta de educación virtual.

Transcripción

1 Toma de decisiones. Proceso Analítico Jerárquico aplicado a la selección de herramienta de educación Juan A. Paredes González Facultad Politécnica - UNE. Ciudad del Este - Paraguay jparedesgon@gmail.com Resumen El presente trabajo ofrece un ejemplo de aplicación del Proceso Analítico Jerárquico (AHP) a la selección de una herramienta de educación virtual (LMS 1 ). El AHP es una metodología de análisis de decisión multicriterio basada en la descomposición del problema en una estructura jerárquica, permitiendo realizar el análisis de sensibilidad, para observar y estudiar otras posibles soluciones al hacer cambios en la importancia de los elementos que definen el problema de decisión. Como Software de apoyo se ha utilizado el Expert Choice, un paquete informático comercial que permite analizar de forma rápida y sencilla la sensibilidad de los resultados a los diferentes cambios posibles, permitiendo analizar el problema en distintos escenarios. Descriptores: toma de decisiones, AHP, selección de LMS, Expert Choice. Abstract This work provides a use case of the Analytic Hierarchy Process (AHP) applied to Learning Management System (LMS) selecction. AHP is a multicriterion decision making analysis method based on problem hierarchical decomposition. It allows for sensitive analysis to changes made in the relative weights of the elements constituting the decision making problem. Expert Choice, a commercial decision-support software was used, which facilitates a quick and plain sensitivity analysis of the results to possible changes, this way allowing the analysis of different scenarios. Keywords: decision making, AHP, LMS choice, Expert Choice. 1. Introducción. Cuando una institución decide poner en marcha una iniciativa de educación virtual 2 debe establecer un modelo pedagógico, un modelo de gestión y administración y un modelo tecnológico que apoyen los procesos necesarios para que la institución pueda ofrecer estos servicios a sus usuarios [1]. En la etapa de establecer el modelo tecnológico es cuando la institución debe tomar la decisión de elegir el tipo de tecnología que soportará todos los procesos tecnológicos y uno de los más importantes es el LMS, el cual sirve de soporte a los ambientes virtuales de aprendizaje. Antiguamente la decisión de elegir un LMS no era muy compleja, pues había muy pocas soluciones en el mercado, todas disponibles a través de software comercial, el cual resultaba la mayoría de las veces costoso y poco ajustable a los cambios. Pero aproximadamente a partir del año 2000 han surgido varias alternativas de software libre para LMS, la mayoría de éstas ofrecen la misma calidad del software comercial con la ventaja de que su costo por licenciamiento es gratuito. Al dejar a un lado el factor económico y cen- 1 LMS: Learning Management System; conjunto de herramientas integradas que se utilizan para la creación, gestión y distribución de material didáctico a través de la Web, integrando estos materiales con herramientas de comunicación, colaboración y gestión educativa. 2 Sistema de educación efectuada sin la presencia de un profesor en aula, pero que se beneficia de la guía de los tutores a través de un medio de comunicación que permite la interrelación profesor-alumno.

2 trarse en el de las herramientas resulta sumamente difícil elegir un LMS, pues la mayoría de las aplicaciones de este tipo cuenta con un conjunto de herramientas y servicios considerados estándares y necesarios en un ambiente virtual de aprendizaje, tales como, conjunto de herramientas de comunicación, de gestión, administración y herramientas administrativas. Por lo tanto la institución debe realizar una evaluación profunda, una comparación de los diferentes LMS que ofrecen los mismos servicios, elegir el que más se ajuste a su proyecto de educación virtual y ofrezca las mejores características. Para el tratamiento y análisis apropiado de problemas de decisión se han desarrollado en las últimas décadas, un gran número de métodos de decisión multicriterio, todos ellos de gran interés y de importante aplicación en la práctica [2]. Estos métodos son utilizados en diversos campos para ayudar al decisor a elegir una buena opción ante situaciones complejas. Estos procedimientos permiten considerar tanto criterios cuantitativos como cualitativos. En el presente trabajo se pretende ofrecer un método que facilite, a una Institución, la toma de decisión para la elección de un LMS de código abierto a ser implementada en un ambiente de educación Para la selección se deben considerar varios criterios. El mejor LMS será el que presente una mezcla de recursos, interactividad, soporte y actividades de aprendizaje de manera estructurada más adecuadamente a la funcionalidad y recursos disponibles. El método elegido para analizar y proponer una solución a este problema es el AHP, ya que ofrece ciertas ventajas respecto a otros procedimientos. El AHP es una metodología estructurada, sencilla y lógica de análisis de decisión multicriterio basada en la descomposición del problema en una estructura jerárquica, permitiendo realizar el análisis de sensibilidad, para observar y estudiar otras posibles soluciones al hacer cambios en la importancia de los elementos que definen el problema de decisión [2]. Existe una diversidad de software de apoyo para su aplicación. Para este trabajo se ha utilizado el Expert Choice, un Software comercial que trabaja en ambiente Windows y cuyo desarrollo ha sido supervisado por el matemático Thomas L. Saaty 3. La utilización del Expert Choice permite analizar de forma rápida y sencilla la sensibilidad de los resultados a los diferentes cambios posibles, permitiendo analizar el problema en distintos escenarios. 2. Proceso de Análisis Jerárquico. El Proceso Jerárquico de Análisis AHP fue desarrollado en la década de los 70 por Saaty para resolver el tratado de reducción de armamento estratégico entre los Estados Unidos y la antigua URSS. El AHP, mediante la construcción de un modelo jerárquico, permite de una manera eficiente y gráfica organizar la información respecto de un problema de decisión, descomponerla y analizarla por partes, visualizar los efectos de cambios en los niveles y sintetizar. Trata de desmenuzar un problema y luego unir todas las soluciones de los subproblemas en una conclusión. El AHP se fundamenta en: La estructuración del modelo jerárquico. Priorización de los elementos del modelo jerárquico. Comparaciones binarias entre los elementos. Evaluación de los elementos mediante asignación de pesos. Ranking de las alternativas de acuerdo con los pesos dados. Síntesis. Análisis de Sensibilidad. El AHP es una herramienta metodológica que ha sido aplicada en varios países para incorporar las preferencias de actores involucrados en un conflicto y/o proceso participativo de toma de decisión. 3. Esquema metodológico del AHP Estructuración del modelo jerárquico. Una de las partes más relevantes del AHP, consiste en la estructuración de la jerarquía del problema, etapa en la cual el grupo decisor involucrado debe lograr desglosar el problema en sus componentes relevantes. Se deben considerar las dimensiones relevantes que afectan significativamente al objetivo y que deben expresar las preferencias de los implicados en la toma de decisión. Se deben incluir aspectos vitales cuantitativos y cualitativos a tener en cuenta en la toma de decisión. En esta tarea la experiencia y conocimiento de quien toma la decisión juega un papel importante. La jerarquía básica está conformada por: meta u objetivo General, criterios y alternativas. Los pasos a seguir para la estructuración del modelo jerárquico son: Identificación del Problema, 3 Thomas Lorie Saaty: matemático estadounidense, profesor de la Universidad de Pittsburgh, inventor del Analytic Hierarchy Process, un método para toma de decisiones con múltiples criterios, y del Analytic Network Process, su generalización para decisiones con dependencia. 96

3 Definición del Objetivo, Identificación de Criterios, Identificación de Alternativas. Fig. 1. Modelo jerárquico para la toma de decisiones con el AHP. Los pasos a seguir para la evaluación de los componentes del modelo jerárquico son: Establecimiento de las Prioridades: se determina la importancia relativa de sus partes. Para facilitar el proceso de asignación de juicios y evaluaciones se recomienda priorizar previamente los elementos del modelo. Emisión de Juicios y Evaluaciones: el grupo decisor expresa su preferencia mediante los términos importancia, preferencia o probabilidad, asignando un valor numérico, el cual se mide la intensidad de su preferencia. El AHP dispone de una escala que mide los juicios emitidos por el grupo decisor. Esta escala puede verse en la figura Selección de la medida. El AHP permite incorporar factores cualitativos y cuantitativos a tener en cuenta para dar solución a un problema, para que luego las personas determinen sus preferencias por medio de juicios. El AHP representa esos juicios por medio de números, generando una escala de medida. Las dos clases de medida que se pueden utilizar en el AHP son: medida relativa y medida absoluta. Inclusive se puede hacer una combinación de ambas. La medida relativa se utiliza cuando el numero de alternativas es hasta 7. En esta medida, el modelo se evalúa por medio de comparaciones entre criterios, subcriterios y las alternativas. Con la medida absoluta se pueden manejar decenas y/o cientos de alternativas porque las alternativas no se comparan unas con otras, sino que se comparan las alternativas contra un estándar. Esta escala suele usarse cuando se están resolviendo problemas de selección de personal, priorización de proyectos, evaluación de proyectos de investigación, entre otros Evaluación del modelo. Los juicios son la base del proceso llevado a cabo por AHP. Los juicios pueden estar guiados por información científica, técnica y la dada por la experiencia y conocimientos del decisor útiles para evaluar los diferentes componentes del Modelo. En la evaluación se examinan los elementos del problema aisladamente por medio de comparaciones de a pares. Las evaluaciones o juicios son emitidos por cada analista o grupo de interés. De esta forma, el éxito en esta etapa dependerá de la inclusión de los grupos de interés o decisores que se verán representados en el modelo construido y podrán evaluar el modelo consensuado de acuerdo con sus intereses y necesidades propios. Fig. 2. Escala de medidas de Saaty Resultado final. Una vez realizada la totalidad de comparaciones se obtiene el resultado final consensuado: ordenamiento de las alternativas. Este resultado está basado, en las prioridades, en la emisión de juicios y evaluación hecha a través de las comparaciones de los componentes del modelo jerárquico, llevada a cabo por los actores. Síntesis: el AHP logra combinar todos los juicios u opiniones en un todo en el cual las alternativas quedan organizadas desde la mejor hasta la peor. Las prioridades deducidas para cada faceta del complejo problema que está en estudio serán sintetizadas para obtener prioridades generales y una ordenación de las alternativas. Análisis de Sensibilidad: este análisis permite visualizar y analizar la sensibilidad del resultado respecto de posibles cambios en la importancia de los criterios. Por ejemplo, si a un determinado criterio se le da más/menos importancia que la dada en la evaluación. Esta situación modifica el ordenamiento de las alternativas obtenido en el resultado final. 97

4 4. El programa Expert Choice. Expert Choice es un sistema para el análisis, síntesis y justificación de decisiones y evaluaciones complejas. Hace posible mirar los elementos de un problema en forma aislada: un elemento se compara contra otro con respecto a un criterio. Éste es el proceso de decisión reducido a sus términos más sencillos: comparaciones apareadas. El Expert Choice permite estructurar un problema, ordenarlo, sintetizarlo y combinar todos los juicios de modo a priorizar claramente las alternativas de mejor a peor. Expert Choice permite incorporar tanto factores cualitativos como cuantitativos, para luego combinarlos. Las técnicas de análisis de decisión han incrementado su popularidad en la toma de decisiones en las organizaciones. Su popularidad se debe a su habilidad para ayudar a llegar a mejores decisiones. Se utiliza en miles de organizaciones tanto gubernamentales como privadas para una amplia variedad de aplicaciones incluyendo: asignación de recursos, evaluación de personal, formulación de estrategias de marketing, administración de la producción, evaluación de proveedores, facilitación de decisiones grupales, selección de alternativas. A continuación se listan los componentes básicos que lo conforman: Estructuración: es un módulo que ayuda a los tomadores de decisión a identificar y organizar los elementos del problema en cuestión. Provee una interfaz intuitiva que ayuda a crear el modelo jerárquico. Construcción Directa del Modelo: permite ingresar información respecto del objetivo, criterios, subcriterios y alternativas, incluyendo una breve descripción de cada uno de ellos. Comparación de a Pares: consiste en comparar relativamente dos elementos con respecto a un tercero mediante tres términos: importancia, preferencia o probabilidad. Además permite escoger entre tres posibles maneras para que el grupo decisor emita su juicio: verbal, numérica (a través de escala de Saaty) y modo gráfico (por medio de barras que representan a cada uno de los elementos que se están comparando). Síntesis: sintetiza las prioridades obtenidas por los componentes del modelo y entrega el orden resultante para las alternativas. El modo de síntesis conveniente al problema en cuestión puede ser: ideal o distributivo. El modo de Síntesis Distributivo se utiliza en situaciones de decisión en las que se quieren priorizar las alternativas. El modo de Síntesis Ideal se utiliza cuando se quiere seleccionar la mejor alternativa. Análisis de Sensibilidad: permite analizar y observar gráficamente qué tan sensible es el orden resultante de las alternativas a cambios que se hagan en la importancia de los criterios del modelo. 5. Aplicación del AHP al problema de selección de un LMS de código abierto. En el presente trabajo se ha realizado, a través del método AHP, un análisis comparativo de distintos LMS. La evaluación ha sido realizada por medio de comparaciones binarias entre criterios, mediante la asignación de un valor de la escala de Saaty para cada comparación. La descripción de las características han sido obtenidos de los sitios Web oficiales de las plataformas evaluadas. A continuación se describen y se resuelven cada etapa del método AHP con la ayuda del Expert Choice Estructuración del problema. Siguiendo el esquema del AHP el primer paso es la identificación del problema y el establecimiento de los objetivos. Como problema principal se ha identificado la dificultad para la elección de un LMS de acuerdo a las necesidades y especificaciones solicitadas por una Institución. En base a esto se ha establecido como objetivo la Selección del mejor LMS. El siguiente paso es identificar los criterios y los subcriterios. Para lograr el objetivo establecido, los criterios que fueron evaluados son los siguientes: herramientas del estudiante, herramientas de administración, herramientas de productividad, herramientas de comunicación, herramientas de difusión del curso y desarrollo de contenidos. Con todos los elementos identificados, criterios y subcriterios, ha sido construido un modelo de jerarquías, que aparece en la figura 3, esto permite visualizar el problema de decisión planteado de forma clara y sencilla. 98

5 Fig. 3. Modelo jerárquico del problema planteado. La siguiente tarea consiste en identificar las alternativas. Corresponden a posibles LMS, mediante los cuales se podrá alcanzar el objetivo general. Para este proyecto han sido seleccionados como alternativa los siguientes LMS: Moodle, Atutor, Claroline e Ilias. Estas cuatro alternativas han sido seleccionadas por ser las más populares y por la mayor facilidad de acceso a la documentación técnica. La información respecto a las características de las plataformas LMS se han obtenido a partir de la documentación técnica de cada plataforma que ha sido extraída del sitio Web oficial de los mismos. Por último con la ayuda del ExpertChoice se ha realizado la construcción del problema a partir de este modelo jerarquizado de objetivos, criterios y alternativas. Esto queda reflejado en la figura 4. por medio de comparaciones binarias entre criterios, mediante la asignación de un valor de la escala de Saaty para cada comparación. Esto ha permitido conocer y medir las preferencias del decisor respecto a los diferentes componentes del modelo (criterios, subcriterios, alternativas). Las figuras 5 y 6 muestran cómo el ExpertChoice crea las matrices de comparaciones para las alternativas respecto de un criterio, en concreto, la funcionalidad Trabajo en grupo y Seguimiento del Estudiante. Fig. 5. Comparación binaria de alternativas respecto a la funcionalidad Trabajo en grupo. Fig. 4. Modelo jerarquizado Evaluación y priorización de alternativas y criterios. Antes de realizar el proceso de asignación de juicios primeramente se ha realizado la priorización de los elementos del modelo con respecto al objetivo general. Posteriormente se ha realizado la evaluación Fig. 6. Comparación binaria de alternativas respecto a la funcionalidad Seguimiento de estudiantes. Luego de haber comparado todas las alternativas respecto de cada uno de los criterios, y subcriterios la pantalla principal muestra, para cada criterio, los coeficientes asignados a las distintas 99

6 alternativas, es decir, el ExpertChoice calcula, a partir de la información recogida en las distintas matrices de comparación, el vector de prioridades locales. Esta información, para el criterio de Herramientas del estudiante aparece recogida en la figura 7. Fig. 9. Vector de prioridades globales respecto del objetivo. 5.3 Síntesis del problema. Fig. 7. Vector de prioridades locales respecto al criterio de Herramientas del estudiante. La interpretación de los coeficientes o prioridades asignados a cada alternativa es, en este caso, que el LMS Atutor tiene mejores prestaciones en cuanto a Herramientas del estudiante. El Expert Choice ofrece esta información no sólo a través de los valores numéricos (0.211 frente a 0.370, o a 0.341), sino también de forma visual mediante un diagrama de barras que cubren las alternativas y el criterio respecto del cual se prioriza. Una vez comparadas las alternativas respecto de los criterios y subcriterios, se debe subir un escalón en el modelo jerárquico. El siguiente paso será comparar los criterios respecto del objetivo principal. De nuevo actúa el decisor, ya que debe plantearse qué criterio es más importante respecto de la selección del mejor LMS. La respuesta, de nuevo, es encontrada mediante la comparación verbal de cada criterio con los demás, siempre por parejas y respecto del objetivo principal. La matriz de comparaciones binarias de criterios aparece en la figura 8. Una vez efectuadas las comparaciones anteriores, podemos observar, en la figura 10, el resultado obtenido. Según se puede apreciar en la figura 10, en base a los pesos asignados a los criterios, existe muy poca diferencia entre las tres primeras alternativas: Moodle (.308), Atutor (.301) e Ilias (.291). A través de la modificación de los pesos iniciales establecidos podría obtenerse mejores conclusiones sobre la plataforma LMS que mejor se adecue a lo requerido. Esta variación se puede ver mas adelante en el apartado 5.4 Análisis de sensibilidad. Fig. 10. Síntesis del resultado obtenido. El Expert Choice proporciona, de forma conjunta, la importancia relativa de cada criterio y la ordenación correspondiente de las alternativas (figura. 11). Este resultado está basado, en las prioridades, en la emisión de juicios y evaluación hecha a través de las comparaciones de los componentes del modelo jerárquico, llevada a cabo por el decisor. Por este motivo no se debe olvidar realizar una evaluación sobre la consistencia del modelo y, por tanto, sobre la calidad del resultado. El Expert Choice calcula el nivel de inconsistencia de modelo basándose en el ratio definido por Saaty y que podemos encontrar en la ventana de síntesis respecto del objetivo (figura. 11). Fig. 8. Comparaciones binarias de criterios con respecto del objetivo. A continuación el Expert Choice calcula las prioridades globales, mostrando tanto numérica como gráficamente la importancia relativa de cada criterio de acuerdo con la escala de preferencia por parejas del decisor (Fig. 9). Fig. 11. Síntesis del resultado con respecto al objetivo y nivel de consistencia. 100

7 5.4. Análisis de sensibilidad. Una de las ventajas importantes que presenta el AHP es la posibilidad de efectuar análisis de sensibilidad muy potentes, con el objetivo de localizar posibles modificaciones en la ordenación de las alternativas ante variaciones en los pesos relativos de los criterios. La utilización del Expert Choice en la resolución del problema de decisión permite realizar este tipo de análisis de una forma sencilla y fácil de interpretar recurriendo a la representación gráfica del problema. (figura. 12). La altura de las gráficas situadas sobre cada criterio indica la importancia relativa de los criterios. La última de las barras indica el ranking global. Se observa en la figura 12 que el criterio de mayor importancia relativa en la elección del mejor LSM son las Herramientas de Comunicación, siendo su prioridad aproximadamente de 0,35. Con estas prioridades el mejor LMS es el Moodle. Fig. 12. Diagrama de barras del resultado. Sin embargo al modificar las prioridades de los criterios, Herramientas de Comunicación, Difusión del Conocimiento y Desarrollo de contenidos, hasta el nuevo nivel (figura 13), inmediatamente se puede observar la variación en los pesos relativos de todos los criterios y la nueva ordenación de alternativas. En este caso el mejor LMS es el Atutor. Fig. 13. Diagrama de barras de los resultados modificados. 6. Conclusiones. El método AHP instrumenta un proceso racional de toma de decisiones que obliga a explicitar objetivos, criterios y alternativas. Permite emplear de forma natural una jerarquización de los criterios, cosa que no pueden hacer los métodos que exigen comparaciones globales de las alternativas. Es un método simple y flexible, lo cual facilita entender el problema planteado y llevar a cabo un adecuado proceso de toma de decisión. Permite analizar por separado la contribución de cada componente del modelo al objetivo general. Los resultados obtenidos en la evaluación de LMS permiten valorar la potencialidad del AHP, el que con la ayuda del Expert Choice ha dado una solución novedosa e integrada a un problema de análisis de alternativas. Debido a que las plataformas LMS evaluadas han presentado características muy similares entre sí, el mejor LMS estará determinado por la asignación de las prioridades establecidas en el modelo de evaluación. Esto se pudo notar al realizar un análisis de sensibilidad a través de la modificación en la importancia de ciertos criterios. Por último es importante mencionar, que a pesar de las ventajas ofrecidas por el método AHP para el análisis de decisiones multicriterios, la sola aplicación de este método no garantiza la mejor decisión. Ésta es simplemente una técnica de análisis que permite que la decisión que se recomiende o se adopte esté basada en el análisis minucioso de un problema y en la síntesis de la información relevante formada por el conocimiento, experiencia, opiniones y preferencias de los diferentes agentes que se hayan involucrado en el proceso de toma de decisión. Referencias [1] SAENZ, Juan y MALDONADO, Andoni. Proyecto Campus América Latina: Una iniciativa para promover la innovación y el software libre en e-learning. Digital Magazine La Educación, Escuela Virtual para América Latina y el Caribe Programa de Naciones Unidas para el Desarrollo - PNUD, Junio [2] MARTÍNEZ RODRÍGUEZ, Elena. Aplicación del proceso jerárquico de análisis en la selección de la localización de una PYME. Real Centro Universitario - San Lorenzo del Escorial. Anuario Jurídico y Económico Escurialense, XL (2007) / ISSN: Bibliografía adicional - ALVAREZ ALONSO, M., ARQUERO HI- DALGO, A. y MARTINEZ IZQUIERDO, E.. Empleo de AHP Incorporado en SIG para 101

8 definir el emplazamiento óptimo de equipamientos universitarios. Aplicación de una biblioteca, El acceso a la información espacial y las nuevas tecnologías geográficas, PÁG , Facultad de Informática (U.P.M.), Madrid. - AVILA MOGOLLON, Ruth Maritza. El AHP y su aplicación para determinar los usos de tierras. El caso de Brasil, Proyecto Regional Información sobre tierras y aguas para un desarrollo agrícola sostenible (Proyecto GCP/RLA/126/JPN), Santiago, Chile, diciembre AZNAR BELLVER, Jerónimo y GUIJARRO MARTINEZ, Francisco. Nuevos métodos de valoración multicriterio. Madrid. Editorial Espasa-Calpe, FLAMENT, Michel. Técnicas de planificación estratégica, Métodos Multicriterio, Universidad de la Republica, Uruguay, PEREZ LEON, Víctor., ISIS CAMARGO, Toribio., CABALLERO FERNANDEZ, Rafael y GONZALEZ LOZANO, Mercedes. Selección multicriterio de nuevos productos turísticos en Pinar del Río, Cuba. Revista Investigación Operacional, Vol., 2, No. 2, , Universidad de Málaga, España. - RUIZ HUETE, Pedro. Análisis de criticidad de los equipos de un hospital aplicando el método AHP. Escuela Universitaria Politécnica (Universidad de Sevilla),