Sistema de recomendación automática como apoyo al juego de terapia auditivo-verbal Hablando con Teo.

Transcripción

1 SISTEMA DE RECOMENDACIÓN AUTOMÁTICA COMO APOYO AL JUEGO DE TERAPIA AUDITIVO-VERBAL HABLANDO CON TEO 1 Sistema de recomendación automática como apoyo al juego de terapia auditivo-verbal Hablando con Teo. Diana Patricia Sierra Villota - Jhonathan Rengifo Castillo Resumen Debido a la gran información que hoy en día se maneja en internet, los sistemas de recomendación surgieron como una alternativa para recurrir a las opiniones de los usuarios y a partir de ahí, poderle brindar un conjunto de ítems que pueden ayudarle en la toma de decisiones. Aunque cada técnica de recomendación en sí tiene un enfoque diferente para recomendar, existen también sistemas híbridos que nos permiten combinar más de una técnica, donde se pueden obtener recomendaciones más personalizadas o más cercanas a lo que un usuario espera. En este documento veremos cómo mediante un sistema híbrido, se han podido configurar técnicas basadas en contenido, colaborativo y de conocimiento, generando una recomendación de mini-juegos en un sistema que ayuda en el proceso de terapia de niños con problemas auditivosverbales. Adicional, evaluaremos el rendimiento que ha tenido este sistema híbrido para finalmente, ser implementado en el juego de terapia Hablando con Teo. paciente debe practicar y en qué día de la semana debería hacerlo. A partir de lo mencionado anteriormente se vió la necesidad de implementar un sistema de recomendación automática de mini juegos que sirva para hacer más acertivo y más dinámico el proceso terapéutico de los niños con problemas auditivo-verbales usando el juego Hablando con Teo. Para ésto, se desarrollo un sistema de recomendación automática híbrido, que funciona de la siguiente forma: Keywords Sistemas, recomendación, técnicas, híbrido, colaborativo, contenido, conocimiento. I. INTRODUCTION Hablando con Teo es un software interactivo de aprendizaje y tratamiento utilizado en la población de niños con discapacidad auditivo-verbal con la finalidad de mejorar su producción del habla. Esto a través de una serie de ejercicios, compuesto de un conjunto de sílabas (consonante y vocal), los cuales el niño deberá repetir oralmente. Además, el juego cuenta con una serie de interfaces denominadas mini juegos, que ayudan de manera dinámica a que los niños realicen los ejercicios que un fonoaudiólogo les asigne. Como cada mini juego es asignado a un ejercicio de manera aleatoria, esto conlleva a que el mini juego pueda no ser preferido por determinado niño e independientemente de esta situación, este último deba jugar dicho mini juego. Adicional a esto, se tiene una interfaz llamada Taskara la cual permite al fonoaudiólogo gestionar o editar la información de los pacientes existentes o nuevos, ver las recetas de ejercicios que se han creado y verificar el resultado de las mismas. Al final, Taskara generará un archivo de receta que el módulo del paciente (Hablando con Teo ) es capaz de interpretar, donde vendrán contenidos todos los ejercicios que el Figura 1. Arquitectura del sistema de recomendación automática El analizador de contenido T, También llamado como Analizador de contenido Taskara, es quien recibe como entrada el archivo receta.rxml que contiene los ejercicios propuestos al niño por un terapeuta, para que posteriormente esa información pasara a ser recibida por la base de conocimiento, la cual envía las historias existentes del niño que está realizando la terapia a los siguientes filtros de recomendación: I-A. Filtro de contenido contenido El filtro de recomendación basado en contenido consiste en recomendar un ítem P i a un usuario U i, el cual ya tienen una relación en el pasado, es decir, el usuario U i ha comprado anteriormente el item P i o uno parecido[1].

2 SISTEMA DE RECOMENDACIÓN AUTOMÁTICA COMO APOYO AL JUEGO DE TERAPIA AUDITIVO-VERBAL HABLANDO CON TEO 2 Entre los algoritmos más conocidos en esta técnica, se implementó el algoritmo de Rocchio[2], el cual está definido por la formula 1, donde R representa el conjunto de ejemplos relevantes (ejemplos positivos) y N R el conjunto de ejemplos no relevantes (ejemplos negativos), X i representa una historia del conjunto de NR o R, β y γ representan la influencia de cada uno de los componentes en el nuevo perfil y P representa la puntuación que se le asigna a un item en particular [2]. X P = β X i R i X γ X i NR i (1) R NR Para determinar si un item es recomendado o no, el sistema debe comparar su puntuación con respecto a un umbral µ. Es decir, un item se recomienda si P µ. usuario, con el fin de tener en cuenta variables como el tiempo, número de unidades disponibles, promoción, etc. Entre los algoritmos más conocidos, se implementó una red neuronal artificial compuesta en este caso por 9 neuronas en la capa de entrada, una capa oculta y 5 neuronas en la capa de salida (Imagen 2). En la capa de entrada tenemos variables como los 4 juegos que vienen recomendados desde el filtro colaborativo y de contenido, la edad del niño, la fecha de la receta actual, el tiempo que lleva en hablando con teo y el tipo de subhabilidad del ejercicio. Como salida, tenemos 5 valores que representarán la activación de cada uno de los 5 mini juegos que existen actualmente en Hablando con Teo. I-B. Filtro colaborativo El filtro colaborativo parten de dos o más usuarios, en este caso consideremos U 1 y U 2, los cuales compartieron los mismos intereses de un item en un pasado, entonces probablemente a U 1 le pueda interesar alguno de los productos que U 2 ha comprado previamente [1]. Entre los algoritmos más conocidos en esta técnica, se implementó el algoritmo de los k-vecinos más cercanos, el cual se configuró de la siguiente forma: Algoritmo 1 Algoritmo K-Vecinos Entrada: Niño n, Conjunto de mini juegos J, Conjunto de Historias H, un ejercicio e y k=3. Salida: Conjunto de juegos R no vacío. para i = 0 to longitud(h) hacer si H i.ejercicio == e and H i.genero == n.genero entonces d i = raiz(cuadrado( H i.tiempot erapia n.tiempot erapia ) + cuadrado( H i.edad n.edad )) i = i + 1 3: ordenarascendente(d, H) para j = 0 to k hacer R.agregar(H i.juego) 6: devolver R I-C. Filtro de conocimiento El filtro de conocimiento ayuda a reforzar las recomendaciones que han hecho los dos filtros anteriores, explorando necesidades explícitas del Figura 2. Red neuronal implementada Luego, definido el algoritmo 2, la red neuronal pasó un proceso de entrenamiento y de validación. Durante la fase de entrenamiento, el perceptrón recibió un conjunto de entradas X y un conjunto de salidas esperadas Y y lo que ésta hizo fue tomar el conjunto de entradas, hizo una predicción y en casos donde la predicción no fue acorde al conjunto de salidas esperado, la red calculó el error y automáticamente fue ajustando sus pesos sinápticos mediante una función que ayude a aproximar el conjunto de salida al resultado esperado (retropropagación).

3 SISTEMA DE RECOMENDACIÓN AUTOMÁTICA COMO APOYO AL JUEGO DE TERAPIA AUDITIVO-VERBAL HABLANDO CON TEO 3 Algoritmo 2 Algoritmo red neuronal Entrada: Conjunto de mini juegos J, Conjunto de Historias X, un ejercicio e y un conjunto de salidas esperado d. W = aleatorio(longitud(j)) momentum = α tasa aprend = η mientras i < n hacer para todo l L hacer para todo j X j (l) hacer v j (l) = p i=0 W ijx ( ij) l 1 (n) si l = 1 entonces Yj 0(n) = X j(n) 4: si no, si l = L entonces Yj L(n) = σ j(n) si no Yj l(n) = 1 1+e ( vj j (n)) 8: para todo d desde L 0 hacer e = d j (n) Y j (l) σ j (n)] 12: si no fin mientras si l = L entonces δ l j (n) = ej j (n)σ j(n)[1 δj l (n) = Xl j (n)[1 Xj l(n)] δ l+1 (n)wkj l+1 (n) Wij l (n+1) = α W l ij (n 1)+ηδl j l 1 (n)yi (n) En este filtro también se agregó una sección de recomendación de juegos que no tienen puntajes, con el fin de que los juegos que en un futuro hagan parte de Hablando con Teo, también tengan posibilidad de ser recomendado. Esta recomendación de juegos sin puntajes fue definido por el siguiente algoritmo: Algoritmo 3 Algoritmo mini juegos sin puntajes Entrada: Niño n, Conjunto de mini juegos J, Conjunto de Historias H. Salida: Conjunto de puntajes R no vacío. para i = 0 to longitud(j) hacer si J i no existe en H(n) entonces R j J i 5: devolver R Para definir la prioridad de recomendación entre estos dos algoritmos, se han definido las siguientes condiciones: Si existe al menos un mini juego que no esté en alguna historia, se hace recomendación uno-uno, es decir, se recomienda un mini juego de la red neuronal y un mini juego sin puntuación. Si todos los mini juegos tienen puntuación en alguna historia de un niño, se recomiendan dos mini juegos de la red neuronal. Finalmente, las recomendaciones de mini juegos realizadas por el filtro de conocimiento se envían a Hablando con Teo, que es el sistema en donde el niño realizará sus terapias mediante los mini juegos que se le recomendaron. Una vez el niño ha interactuado con las diferentes recomendaciones que se le hicieron, se envía un historial de progreso del niño al analizador de contenido Hablando con Teo, el cual convierte nuevamente la información en la estructura de datos establecida inicialmente para que la base de conocimiento sea la encargada de guardarla. II. GENERACIÓN DE DATOS Y PRUEBAS Para la recolección de datos, se ha generado manualmente información personal de 20 niños ficticios (10 niñas y 10 niños) con problemas auditivo-verbal, a los cuales se les ha generado de forma aleatoria la siguiente información: Fecha de nacimiento: Cada niño debe haber nacido entre el 2008 y el Fecha de inicio terapia: Hace referencia a la fecha en la que un niño empieza su terapia auditivoverbal. Esta fecha debe ser al menos cuatro años despues de la fecha de nacimiento. Fecha de inicio en Hablando con Teo: Hace referencia a la fecha en la que el niño empieza a reforzar su terapia con el juego Hablando con Teo. Esta fecha puede ser igual o después de la fecha de inicio de la terapia. Adicionalmente, en la generación de datos, cada niño tiene al menos una historia con alguno de los ejercicios propuestos en el juego Hablando con Teo. Con respecto a la base de datos de ejercicios y mini juegos planteados en Hablando con Teo, sacamos manualmente los 5 mini juegos y 184 ejercicios, para posteriormente usarlos en el sistema de recomendación automática. Luego de haber obtenido la información de los mini juegos y los ejercicios que un terapeuta puede asignar a

4 SISTEMA DE RECOMENDACIÓN AUTOMÁTICA COMO APOYO AL JUEGO DE TERAPIA AUDITIVO-VERBAL HABLANDO CON TEO 4 un niño que reciba la terapia auditivo-verbal, se generaron aleatoriamente 1500 historias de niños que han realizado un ejercicio cualquiera, con un minijuego cualquiera. De 1500 historias que se tenían en la base de conocimiento, se tomaron el 75 % de éstas para entrenar la red neuronal y el otro 25 % de historias se usaron como ejemplos de prueba. Teniendo en cuenta que el momentum es una fracción para la actualización de un peso anterior al actual y que la tasa de aprendizaje es la facilidad con la que aprende la red neuronal, se tomaron los intérvalos de [0,6, 1] y [0,1, 0,2] respectivamente, de lo cual al ser configuradas se obtuvo lo siguiente: 1. Primero se tomó el conjunto de entrenamiento, además se definió el momentum y la tasa de aprendizaje como constantes (0.6 y 0.1 respectivamente) y se definió como variable el número de neuronas de la capa oculta, agregando de 10 unidades hasta llegar a 70 (Imagen 3). Esto se realizó 50 veces por configuración para verificar su veracidad. Este paso dió origen a la idea de que si se aumentaba el número de neuronas en la capa oculta, se podría tener mayor número de aciertos para los mini juegos que el sistema realmente debía recomendar. Figura 4. Configurando el momentum de la red neuronal 3. Finalmente, se tomó como variable la tasa de aprendizaje, haciendo una variación de 0.02 (Imagen 5). De ahí obtuvimos tan sólo un incremento de 1 recomendación adicional acertada, sin embargo se escogió finalmente una tasa de aprendizaje de valor 0.2, ya que si entrenamos con mayor tasa de aprendizaje, se presentaban problemas de sobreajuste. Figura 5. Configurando la tasa de aprendizaje de la red neuronal Por lo tanto, una vez se probó diferentes configuraciones de la red neuronal, ésta quedo configurada de la siguiente forma: 70 unidades de neuronas en la capa oculta Momentum de 0.5 Tasa de aprendizaje de 0.2 Luego de obtener estos resultados y haber configurado la red neuronal artificial, se procedió a unificar este sistema de recomendación automática con el juego de terapia autiditivo-verbal Hablando con Teo. Figura 3. Configurando el número de unidades en la capa oculta en la red neuronal 2. Al haber escogido 70 unidades de neuronas en la capa oculta, siguió constante la tasa de aprendizaje y configuramos como variable el momentum (Imagen 4), finalmente se ejecutó esta configuración 50 veces. De ahí se obtuvo que con un valor de 0.8 había mayor cantidad de aciertos en los mini juegos que debían ser recomendados. III. RESULTADOS Para evaluar el sistema de recomendación automático que se ha desarrollado, se ha calculado la precisión y exhaustividad(re-call) del sistema. Además se configuró un conjunto de nuevos usuarios de prueba, con los que se evaluará la capacidad del sistema para recomendar mini juegos a un niño que no ha usado Hablando con Teo y por lo tanto no se tiene historia pasada de él. El número de mini juegos recomendados esperados y acertados por el niño fueron de T P = 320, el número de mini juegos recomendados no esperados y acertados fueron de T N = 50 y el número de mini juegos que realmente se esperaban pero el sistema no los

5 SISTEMA DE RECOMENDACIÓN AUTOMÁTICA COMO APOYO AL JUEGO DE TERAPIA AUDITIVO-VERBAL HABLANDO CON TEO 5 recomendó fueron de F N = 5. Al cálcular el promedio que dio la medida de precisión y la medida de exhaustividad al ser ejecutado 50 veces los datos de ejemplos. De ahí se obtuvo el siguiente resultado: T P T P +T N = 320 P recision = = 0,86 Exhaustividad = T P T P +F N = = 0,98 Adicional, se crearon 10 perfiles de niños sin historias en la base de conocimiento, los cuales se probaron 20 veces, con el fin de medir la influencia que tiene el sistema de recomendación automática para recomedar a cada nuevo niño un mini juego que se aproxime a su perfil. De esta prueba, se obtuvo en promedio lo siguiente: Seis de los niños nuevos tenian una similitud o influencia con algún otro niño que si tiene al menos historia en la base de conocimiento y se le recomendaron de él los dos mini juegos que se esperaban. Tres de los niños nuevos no tenian similitud con ningún niño y el sistema les recomendó dos mini juegos sin puntajes (no jugados por algún otro niño). Uno de los niños nuevos tenía similitud con otro niño, sin embargo el sistema le recomendó dos mini juegos sin puntajes. De estos resultados podemos deducir que tenemos un 86 % de precisión en la recomendación de mini juegos relevantes para los niños que ya tenian al menos una historia en la base de datos, además de contar con el 98 % de completitud en las recomendaciones. Aunque estos resultados son resultados muy interesantes, no podemos olvidar que los datos generados para llenar la base de conocimientos son datos sintéticos y que por lo tanto es difícil aprobar que el sistema es funciona eficientemente. IV. CONCLUSION De acuerdo a los resultados y estudios previamente mostrados, se puede concluir que: Se logró diseñar un sistema de recomendación automática, el cual a través de la experiencia entre un niño que recibe terapia auditivo-verbal y una receta previamente definida por un terapeuta, permite recomendar al niño el mini juego que mejor se adapte a los ejercicios contenidos en la receta. Se logró entrenar el sistema de recomendación mediante datos ficticios, los cuales se ajustaron muy bien para servir de base a nuevas historias de niños que empiecen a usar Hablando con Teo. La selección del diseño híbrido es un reto bastante grande, ya que hay que mirar las técnicas de recomendación que mejor combinan según nuestro objetivo y según la información que estemos manejando. En este trabajo, se logró implementar un diseño híbrido de tipo paralelo y segmentado, en donde se combinaron tres de las técnicas más usadas hoy en día y de ahí, se logró obtener más de un 80 % de precisión al momento de recomendar un mini juego y más de un 90 % de exhaustividad en niños que ya venian con un proceso pasado en la terapia. Se logró crear un sistema externo que permite entrenar la red neuronal en el momento en que se considere necesario, sin necesidad de afectar la configuración de la red previamente realizada. V. TRABAJO FUTURO Para el sistema Taskara, Hablando con Teo y el sistema de recomendación automática, se ha visto la posibilidad de realizar mejoras o trabajos adicionales en los siguientes ámbitos: Diseñar otro sistema híbrido de recomendación, con filtros diferentes y una arquitectura diferente, con el fin de evaluar si es posible alcanzar unos valores de rendimiento más altos a los que obtuvimos. Esto debido a que no existe una forma establecida de cómo construir un sistema híbrido de recomendación y que hay diferentes mareras de crearlos. Probar el sistema con niños reales, para obtener datos reales, y validar qué tanto puede variar la precisión del sistema. Mejorar la tasa de precisión del reconocedor de voz en Hablando con Teo, para lograr obtener resultados en la terapia más precisos. Completar el sistema Taskara, ya que éste tiene incluido la fecha de nacimiento, fecha de recetado y fecha de inicio terapia, los cuales el sistema pone por defecto el REFERENCIAS [1] Jannach. D., Zanker. M., Felfernig. A., Friedrich. G. Recommender Systems: An introduction. ISBN-13: , ISBN-10: [2] Tesis. Adrian Fonseca Bruzón, Reynaldo Gil García. Universidad de Oriente Santiago de Cuba Un nuevo algoritmo para el filtrado adaptativo de documentos