ReCAD Revista electrónica de Ciencias Aplicadas al Deporte, Vol. 5, N 17, junio 2012

Transcripción

1 NUEVAS HERRAMIENTS DE INVESTIGACION: LAS REDES NEURONALES. Nelio Bazán. Instituto Superior de Deportes, Buenos Aires, Contacto: Las redes neuronales A pesar de la evolución que muestra la informática existen ciertas tareas aún difíciles de realizar para las vías algorítmicas como es el diseñar un modelo de rendimiento o bien para identificar talentos deportivos. Se sabe que es muy difícil que un modelo lineal explique la dinámica del sistema conductual del deportista por lo que se ha preferido la versatilidad de modelos no lineales para estimar performance deportiva. El movimiento es un proceso que puede ser modelado por coordenadas tiempo dependientes lo que permite su análisis a través de sistemas como las redes neuronales. Se han desarrollado herramientas conocidas como inteligencia artificial que permiten que los procesadores enfrenten problemas tal cual lo hacen los seres humanos. Uno de los enfoques de la inteligencia artificial esta basado en el desarrollo de un sistema formado por pequeñas unidades de cálculo (neurona) conectadas entre sí (red) haciendo que el conjunto resuelva situaciones problemáticas. Se trata de imitar el cerebro, formado por millones de neuronas que forman una red neuronal donde las neuronas reciben información por las dendritas, la procesan en el soma y emiten una información de salida a través del axón. Su uso actualmente es extenso, y abarca desde resolver problemas en la producción textil hasta modelar el nado de peces para desarrollar chips y maximizar la eficiencia propulsora de dispositivos subacuáticos (1). El software Un software que puede ser utilizado es el NeuralTools para Excel. Este es un programa auxiliar de redes neuronales para Microsoft Excel. Al momento existe la versión 5.7, lanzada en septiembre de 2010 que la empresa ofrece para usos de prueba durante un tiempo limitado. Quien desarrollo este producto es Palisade Corporation, ubicada en Cascadilla St. 798, Ithaca, NY 14850, en los Estados Unidos, siendo su página Web y su correo electrónico sales@palisade.com. (1) NeuralTools provee herramientas de modelación posibles de ser utilizadas con el programa Microsoft Excel. Es decir, es un programa auxiliar de redes que permite analizar datos en las hojas de cálculo de Excel y trabajar en su entorno al cual estamos casi todos familiarizados, como son las barras de herramientas, menús y funciones personalizadas de hojas de trabajo. La arquitectura y la funcionalidad de las redes neuronales esta basada en la estructura del cerebro donde hay un gran número de células, neuronas, que reciben impulsos de otras neuronas a través de las dendritas. Dependiendo de los impulsos recibidos, la neurona puede enviar una señal a otras neuronas, a través de su axón, que conecta con las dendritas de otras neuronas. Como en el cerebro, las redes neuronales artificiales constan de elementos, que reciben una serie de valores de entrada, y generan una sola salida, cuyo valor es una función de los valores de entrada. Las redes neuronales son una alternativa a otros métodos estadísticos. Como la regresión lineal, sirve para aproximación de funciones. Como el análisis discriminatorio y la regresión logística, sirve para clasificación. La ventaja es que son capaces de modelar funciones

2 extremadamente complejas. Lo que contrasta con las técnicas lineales tradicionales (regresión lineal y análisis discriminatorio lineal). Si bien las técnicas para optimizar modelos lineales eran bien conocidas antes de la invención de las redes neuronales a mediados del Siglo XX, se tardaron muchos años en desarrollar algoritmos eficaces para el entrenamiento de redes neuronales. La estructura de una red neuronal consta de neuronas conectadas, llamadas nodos. Cada unidad realiza una parte de los cálculos totales dentro de la red. Una neurona toma ciertos números como valores de entrada, realiza un cálculo relativamente simple con esos valores de entrada, y genera un valor de salida que será uno de los valores de entrada de otra neurona, excepto en las que generan los valores de salida finales. Las neuronas están organizadas en capas donde las capas de entrada reciben los valores iniciales y los trasladan a las neuronas de la primera capa oculta, que realizan cálculos y trasladan sus valores de salida a la siguiente capa que puede ser otra capa oculta, si es el caso. Los valores de salida de la última capa oculta se trasladan a la neurona de salida final de la red. Cuando las redes neuronales se usan para predecir valores numéricos tienen un solo valor de salida, pero pueden tener múltiples valores cuando se utilizan para la predicción de clasificación o categoría. La red debe ser entrenada. El entrenamiento es un proceso de ajuste de los parámetros de un cálculo, en el que se busca que la red genere valores de salida correctos para una serie de valores de entrada. Este proceso necesita de datos de entrenamiento y algoritmos de entrenamiento. Este selecciona varios grupos de parámetros de cálculo, pruebas, y evalúa cada grupo aplicando la red a cada caso de entrenamiento para determinar lo adecuadas que son las respuestas. Los programas actuales usan el mismo procesador para realizar los cálculos de cada neurona; así el concepto de neurona describe una parte de los cálculos necesarios para obtener una predicción. Las redes neuronales difieren en estructura, tipo de cálculos y algoritmos de entrenamiento. Una es la red multinivel siempre hacia adelante (MLF), donde el usuario puede especificar si debe haber una o dos capas de neuronas ocultas, y cuántas neuronas deben contener las capas ocultas. También están las redes neuronales de regresión generalizada (GRN) para predicciones numéricas y redes neuronales probabilísticas (PN) para predicciones de clasificación. Las redes GRN/PN siempre tienen dos capas ocultas de neuronas, con una neurona por caso entrenado en la primera capa oculta, y un tamaño de la segunda capa determinado por características de los datos de entrenamiento. La red multinivel siempre hacia adelante (MLF) Las redes multinivel siempre hacia adelante o redes de perceptrón de múltiples capas son sistemas capaces de modelar relaciones complejas entre variables independientes y una variable dependiente.

3 Figura 1: La arquitectura MLF Modificado de la Guía para el uso de NeuralTools (2) Esta red MLF posee tres variables de entrada numéricas independientes, 2 neuronas en la primera capa oculta, 3 neuronas en la segunda capa oculta. El funcionamiento de la red se determina por su topología, o sea el número de capas ocultas y los nodos de esas capas, los pesos de las conexiones, parámetro asignado a cada conexión, y los términos de tendencia, parámetro asignado a cada neurona. Una neurona oculta con n valores de entrada calcula una suma de sus valores de entrada: Suma = in0 * w0 + in1 * w inn * wn + tendencia donde de in0 a inn son valores de salida de las neuronas de la capa anterior, mientras que de w0 a wn son los pesos de conexión. Cada neurona tiene su propio valor de tendencia. Luego se aplica la función de activación a la Suma para generar el valor de salida de la neurona. Se usa una función sigmoide como función de activación en las neuronas de la capa oculta (3). Por ejemplo, función de tangente hiperbólica. Figura 4.2. Función tangente hiperbólica. Modificado de: (4) La tangente hiperbólica de un número real x se designa mediante tanh(x) y se define como el cociente entre el seno hiperbólico y el coseno hiperbólico del número real x. En el programa NeuralTools, por ejemplo, la neurona de salida usa la identidad como función de activación; es decir, simplemente genera la suma de sus valores de entrada. Cuando se usan las redes MLF para clasificación, tienen múltiples neuronas de salida, cada una de las cuales corresponde a una de las posibles categorías dependientes. La red

4 clasifica cada caso calculando sus valores de salida numéricos; la categoría seleccionada es la que corresponde a la neurona que genera el valor de salida más alto. El entrenamiento de la red neuronal MLF consiste en encontrar pesos y términos de tendencia que permitan generar respuestas correctas (5). Al inicio se asignan pesos de conexiones de modo aleatorio y se hace una predicción para cada caso. En general el valor de salida será diferente al valor dependiente conocido, por lo tanto se obtiene un error y se calcula el error para el conjunto de entrenamiento completo, que indica el funcionamiento de la red con los pesos iniciales elegidos. Como la red no funcionará demasiado bien con la asignación aleatoria de pesos, se procederá a realizar otras pruebas, pero ya las asignaciones de pesos no serán aleatorias, sino que serán seleccionados en base a un algoritmo que estudia los resultados anteriores. Se busca minimizar el error probando otros pesos de las conexiones. El primer algoritmo para el entrenamiento de pesos en redes MLF era de propagación hacia atrás. Actualmente se prefieren otros algoritmos más rápidos. NeuralTools usa el método de gradiente descendente conjugado (6, 7), que pertenece a los métodos de segunda generación. Estos métodos buscan el mínimo global de una función. Para reducir el riesgo de encontrar el mínimo local en lugar del global, se combinan métodos de optimización determinísticos y estocásticos. En los primeros los datos utilizados para alimentar el modelo son conocidos y determinados, se conoce el resultado, por lo que no hay incertidumbre. En los segundos, no se conoce el resultado, sino su probabilidad, existe incertidumbre. Se usa en este caso el método estocástico recocido simulado (7) junto con el método gradiente descendente conjugado. El recocido simulado o simulated annealing es un algoritmo de búsqueda meta-heurística para problemas de optimización global. El nombre viene del proceso de recocido del acero y cerámicas, una técnica que consiste en calentar y luego enfriar lentamente el material para variar sus propiedades físicas (8). Cuando se entrenan redes de predicción numérica se mide el error cuadrático medio de los casos, o sea el cuadrado de la media de la diferencia entre la respuesta correcta y la dada por la red. En las clasificaciones, como cada caso de entrenamiento tiene más de un valor de salida, se calcula el error cuadrático medio de todos los valores de salida de todos los casos entrenados, en referencia a los valores de salida deseados. Los algoritmos de entrenamiento de MLF de NeuralTools se reinician múltiples veces desde pesos iniciales diferentes, así es que cuanto más se entrena una red, mejor, más probable será que encuentre el mínimo global de la función de error. La selección del número de capas y del número de neuronas de cada capa determina la capacidad de encontrar la relación entre las variables independientes y las dependientes. Una sola capa oculta con unas pocas neuronas es suficiente para casi cualquier problema. El uso de más capas normalmente resulta en largos tiempos de entrenamiento innecesarios. NeuralTools puede autoconfigurar la topología de la red. La opción predeterminada es de cinco redes MLF, con entre 2 y 6 neuronas ocultas. El término exceso de entrenamiento se refiere a una situación en la que la red aprende la relación entre las variables independientes y la variable dependiente, pero además empieza a aprender características de los casos de entrenamiento no aplicables en general. Para evitar el exceso de entrenamiento, la búsqueda de mejor red mediante NeuralTools se inicia con 2 neuronas, la cual generalmente es demasiado pequeña para producir exceso de entrenamiento. Luego entrenará redes de hasta 6 neuronas. Si las redes de 5 y 6 de neuronas producen exceso de entrenamiento, una de las redes de 2, 3 o 4 neuronas tendrá un error de prueba más bajo.

5 Ventajas de las redes MLF Son redes pequeñas, rápidas para hacer predicciones Son más fiables fuera del rango de los datos de entrenamiento Son capaces de generalizar a partir de conjuntos de entrenamiento muy pequeños Redes neuronales de regresión generalizada (GRN) Las redes GRN se usan para predicciones numéricas (9). La red neuronal de regresión generalizada se construye sobre ideas intuitivas. Cada caso de entrenamiento se representa en la red. La red calcula el valor dependiente de predicción usando los valores dependientes de cada caso, y los casos de entrenamiento cercanos contribuyen de forma más significativa al valor de salida. Figura 3. La arquitectura GRN Una GRN para dos variables numéricas independientes, suponiendo que sólo hay tres casos. La capa de patrón contiene un nodo por cada caso de entrenamiento. Modificado de la Guía para el uso de NeuralTools (2) Un caso de entrenamiento consiste en la presentación de dos valores numéricos independientes. Cada neurona de la capa de patrón calcula su distancia con el caso presentado. Los valores transferidos a los nodos numerador y denominador son funciones de la distancia y del valor dependiente. Los dos nodos de la capa de suma suman sus valores de entrada, mientras que el nodo de salida los divide para generar la predicción. La función de distancia calculada en las neuronas de la capa de patrón usa factores de suavización, cada valor de entrada tiene el propio. La red GRN entrenada consta de factores de suavización optimizados para minimizar el error, y utiliza el método de optimización de gradiente descendente conjugada. La medida de error es el error cuadrático medio. Redes neuronales probabilísticas (PN) Por su parte, la red PN tomará la decisión correcta. Considerará la distancia del nuevo caso con cada caso de entrenamiento, dando mayor peso a los casos más cercanos.

6 Figura 4: La arquitectura PN Esta red PN presupone que hay dos variables numéricas independientes, dos categorías dependientes y cinco casos de entrenamiento (tres en una categoría y dos en otra). Modificado de la Guía para el uso de NeuralTools (2) En cada caso, cada neurona de la capa de patrón calcula la distancia entre el caso de entrenamiento y el caso de entrada. El valor transferido a la capa de suma es una función de la distancia y los factores de suavización. En la capa de suma hay una neurona por cada categoría dependiente y cada neurona suma los valores de salida de las neuronas correspondientes a los casos de entrenamiento de esa categoría. La neurona de salida selecciona como predicción la categoría con mayor probabilidad. El entrenamiento de una red PN consta de factores de suavización optimizados para minimizar el error de la red entrenada (10), y se utiliza el método de optimización de Gradiente Descendente Conjugada. La medida de error se calcula basándose en todos los valores generados por las neuronas de la capa de suma de todos los casos de entrenamiento. Se tiene en cuenta no sólo la probabilidad correcta, sino también las probabilidades de distribución de las categorías incorrectas. Ventajas de las redes GRN/PN Se entrenan rápido No requieren especificación de número de capas ocultas y nodos Las redes PN clasifican y generan probabilidades de categorías Los aspectos operativos Las redes neuronales están diseñadas para encontrar relaciones entre los datos. Imitan las funciones cerebrales en el sentido de que pueden diferenciar patrones y luego realizar predicciones utilizando nuevos datos. Los problemas en los que se usan este tipo de modelos se pueden dividir en dos tipos de problemas: Clasificación. Cuando se trata de determinar el tipo de categoría al que pertenece un elemento desconocido, por ejemplo los diagnósticos médicos.

7 Numéricos. Cuando se debe predecir un resultado numérico específico, que es lo que hicimos en este trabajo, al tomar una variable, tiempo, e intentar su predicción. Las redes neuronales se usan en diferentes aplicaciones, como diagnósticos médicos, investigación científica y sistemas de control, además de otros usos comerciales e industriales. Los requisitos de sistema de NeuralTools 5.5 para Microsoft Excel para Windows son los siguientes: PC Pentium o superior con disco duro, Microsoft Windows 2000 SP4, Windows XP o superior y Microsoft Excel 2000 o posterior. Las redes neuronales se desarrollan y utilizan en cuatro pasos: 1. Preparación de datos. Los datos se definen en conjuntos y el administrador de conjunto de datos se usa para configurarlos. 2. Entrenamiento. Con el entrenamiento se genera una red neuronal a partir de un conjunto de datos (generalmente el 20%) compuesto de casos con valores de salida conocidos. Estos datos son casos históricos de los cuales se conocen los valores de salida, o sea la variable dependiente. 3. Prueba. Se comprueba si la red neuronal realiza la predicción de los valores de salida conocidos utilizando un subconjunto de los datos históricos que no se utilizan para el entrenamiento. Se observa el porcentaje de respuestas correctas. 4. Predicción. Una vez entrenada y probada, la red neuronal se podría usar para predecir salidas de datos de casos nuevos. El entrenamiento y las pruebas son un proceso interactivo que puede demandar una gran cantidad de tiempo. Se realiza el entrenamiento varias veces con diferentes tipos de redes y configuraciones para generar una red neuronal que obtenga los mejores resultados en la prueba. Una vez instalado NeuralTools, su menú y comandos se incluyen en la barra de menús de Excel. Estos comandos permiten realizar 3 acciones: 1) Definir los datos en el conjunto de dato 2) Entrenar y probar las redes 3) Predecir con las redes neuronales entrenadas. Los datos se estructuran en casos y variables. Cada fila es un caso que posee una serie de valores de variables independientes, en las diferentes columnas, y un valor conocido para la variable de salida o para la dependiente. Las variables se encuentran en columnas contiguas con los nombres en la primera fila. El trabajo de este programa consiste en predecir los valores de variable de salida de los casos, aún en los que no son conocidos. El Administrador de conjunto de datos permite definir los conjuntos de datos y las variables, usando éstas para entrenar y probar redes neuronales. Se pueden colocar todos los casos en conjunto, los históricos conocidos y los casos para los que se desea predecir, o bien se puede realizar separado. En una sola sesión este programa puede usar 256 conjuntos de datos, ubicados en un solo libro de trabajo hasta variables por conjunto de datos en Excel 2007; pero todos los datos de un conjunto deben estar en el mismo libro de trabajo. El número de puntos de datos por variable y de casos por conjunto de datos sólo está limitado por la memoria disponible en Excel Cada variable del conjunto de datos tiene asociado un nombre y un rango de celdas de Excel y cada columna del rango contiene datos de una variable diferente.

8 Figura 5 Conjunto de datos Las opciones de las variables son: Categoría dependiente. Variable de salida cuyos valores posibles son categorías; por ejemplo Sí o No. Numérica dependiente. Variable de salida con valores numéricos. Categoría independiente. Variable independiente cuyos valores son categorías. Numérica independiente. Variable independiente cuyos posibles valores son numéricos. Etiqueta. Variable cuyos posibles valores son entrenar, probar o predecir. Se utiliza para identificar casos que se usarán para entrenamiento, prueba o predicción. Es útil cuando se desea que todas las clases de datos (de entrenamiento, prueba y predicción) estén en un solo conjunto de datos. Sin usar. Variable que no se usará en la red neuronal. El programa NeuralTools aplica una escala a las variables numéricas antes del entrenamiento, de forma que los valores de cada variable se encuentran aproximadamente en el mismo rango. Se utiliza la media y la desviación estándar para cada variable, calculadas en el conjunto de entrenamiento. La media se resta de cada valor y el resultado se divide entre la desviación estándar. El programa busca diferentes configuraciones de red neuronal para obtener la mejor predicción posible. Para la predicción de clasificaciones o categorías (en las que la variable dependiente es del tipo categoría), utiliza dos tipos de redes, las redes neuronales probabilísticas (PN) y las redes multinivel siempre hacia adelante (MLF). La predicción numérica se puede realizar usando redes MLF (6), así como redes neuronales de regresión generalizada (GRN), relacionadas con las redes PN (7, 11). La red PN/GRN no requiere la selección de opciones adicionales para el entrenamiento; es la predeterminada cuando se instala NeuralTools. Si los datos tienen valores de salida numéricos, se entrenará una red GRN, y si los datos tienen valores de salida de categoría se entrenará una red PN. La red MLF tiene uno o dos niveles de nodos ocultos. En la búsqueda de mejor red, se prueban todas las configuraciones de red

9 marcadas, incluyendo PN/GRN y MLF que posee una cantidad de nodos dentro del rango introducido. Se identifica la mejor red de acuerdo al error obtenido en la prueba. Durante el proceso de entrenamiento el programa informa el estado de funcionamiento del mismo y a medida que este progresa, la red progresa realizando mejores predicciones de los datos con menos errores. El entrenamiento se detiene cuando se alcanza cualquiera de las condiciones de stop establecidas, como puede ser el tiempo máximo de entrenamiento, por ejemplo 2 horas, o bien el número de pruebas realizadas, o, en nuestro caso, , o que el error de cálculo comience a crecer. El entrenamiento se puede parar antes del periodo especificado, si el algoritmo determina que es poco probable seguir mejorando. Con las MLF una prueba es una asignación de pesos a las conexiones entre neuronas; el entrenamiento consiste en la búsqueda inteligente de pesos que generen las mejores predicciones. Con las redes PN y las GRN una prueba es una asignación de factores de suavización para las variables y el entrenamiento es la búsqueda de los mejores factores de suavización. Si no se selecciona ninguna condición para que se detenga el proceso, el entrenamiento será corto para las redes PN/GRN, y más largo para las redes MLF. La prueba automática de la red se realizará después del entrenamiento. El programa realiza un análisis de impacto de variable, esto es medir la sensibilidad de las predicciones de la red al cambio de las variables independientes. Se puede calcular el impacto relativo de cada variable independiente en el entrenamiento al determinar las predicciones calculadas por la red asignándose a cada variable independiente un valor porcentual. Cuanto más bajo sea este porcentaje, menos efecto tendrá la variable sobre las predicciones. Esto puede ayudar a seleccionar un nuevo conjunto de variables independientes para realizar predicciones más exactas sustituyendo una variable con un valor de impacto bajo. Sin embargo, puede suceder que para otro tipo de red esa variable tenga una mayor significación. En los conjuntos de datos con números reducidos de casos y números elevados de variables, como fue nuestro caso, las diferencias del impacto relativo de las variables entre redes entrenadas pueden ser más pronunciadas. Los informes de resumen se muestran en las hojas de cálculo y contienen información general sobre la prueba o el entrenamiento. Los informes de entrenamiento muestran estadísticas como % de predicciones incorrectas, es decir el número de casos del conjunto de entrenamiento para los que la red hizo una predicción de un valor de salida no coincidente con el valor conocido. En la predicción de categoría o clasificación, las características importantes del informe de entrenamiento son: 1. Porcentaje de predicciones incorrectas. El % casos para los que la categoría de la predicción no coincide con la categoría real. 2. Probabilidad incorrecta media (para las redes PN). Es la suma de las probabilidades asignadas por la red PN a categorías incorrectas o sea el valor de error promedio de todos los casos. 3. Matriz de clasificación. Compara las categorías reales y las de predicción por cada categoría. Por ejemplo, puede revelar correctamente una condición médica en pacientes que sí la tienen (verdaderos positivos), pero tiene cierta tendencia a levantar falsas alarmas en pacientes sanos (falsos positivos). 4. Impactos de variable. De las variables independientes sobre las respuesta de la predicción. 5. Histograma de probabilidad de categorías incorrectas (en las redes PN)

10 Figura 6: Informe de prueba En la predicción numérica, las características importantes del informe de entrenamiento son: 1. Porcentaje de predicciones incorrectas. Una predicción es incorrecta si se encuentra fuera del rango de valor de tolerancia definido. 2. Error cuadrático medio. Desviación de las predicciones con respecto al valor calculado como la raíz cuadrada de la desviación promedio al cuadrado. 3. Error absoluto medio. Desviación promedio de las predicciones. 4. Impactos de variable. Impacto relativo de las variables independientes sobre la predicción. 5. Histograma de residuales. O sea de la diferencia entre el valor real y el de la predicción. 6. Diagramas de dispersión. Relaciones entre valores reales, de predicción y residuales. El objetivo de una red neuronal es la predicción. La red entrenada y probada podrá ser aplicada a los nuevos casos de los que no se conocen los valores de salida. Bibliografía 1. Blake RW, Ng H, Chan KHS, Li J. Fish and chips: implementation of a neural network model into computer chips to maximize swimming efficiency in autonomous underwater vehicles. Bioinsp Biomim. [En línea]. 2008; 3(3): Epub 2008 Jul

11 15. [citado el día 9 feb. 2012] Hallado en: 2. Palisade Corporation. Guía para el uso de NeuralTools. Programa auxiliar de redes neuronales para Microsoft Excel. Ithaca, New York; Cybenko G. Approximation by superpositions of sigmoidal function. Math. Contr. Signals Syst.; 1989; 2 (4), Cortez González DA, Masís Chavarría KF, Tinoco FA. Funciones hiperbólicas. [En línea]. Universidad Nacional de Ingeniería [citado el día 9 feb. 2012] Hallado en: 5. Hornik K, Stinchcombe M, White H. Multilayer feedforward networks are universal aproximators. Neural Network; 1989; 2 (5), Bishop CM. Neural networks for pattern recognition. New York: Oxford University Press; Masters T. Advanced algorithms for neural networks. New York: Wiley; Kirkpatrick S, Gelatt CD, Vecchi MP. Optimization by simulated annealing. Science 220; 1983; (4598): Specht D. A General Regression Neural Network. IEEE Transactions on Neural Networks; 1991; 2, Specht D. Probabilistic Neural Networks. Neural Networks; 1990; 3, Reed RD, Marks RJ. Neural smithing. Massachusetts: MIT Press; 1999.