OPENCOURSEWARE REDES DE NEURONAS ARTIFICIALES Inés M. Galván José M. Valls

Transcripción

1 OPENCOURSEWARE REDES DE NEURONAS ARTIFICIALES Inés M. Galván José M. Valls Redes de Neuronas: Preparacón de datos para el aprendzaje y meddas de evaluacón 1. Preparacón de datos Característcas de los datos Para que un problema pueda ser abordado con una red de neuronas es necesaro que se dsponga de un conjunto de datos, muestras o nstancas representatvo del problema a resolver. Los datos o tambén patrones pueden estar de compuestos de: Varables, datos o patrones de entrada y varables, datos o patrones de salda deseada para aquellas redes que utlcen aprendzaje supervsado. Las varables de salda deseada servrán para corregr la respuesta de la red. Varables, datos o patrones de entrada para aquellas redes que utlcen aprendzaje no supervsado. Las varables de salda deseadas no se conocen. Los patrones de entrada y/salda generalmente están formados por un conjunto de valores que recben el nombre de atrbutos. A dferenca de otros sstemas de aprendzaje automátco, las redes de neuronas sólo trabajan con atrbutos numércos y no con atrbutos nomnales. Los atrbutos numércos son atrbutos que toman valores reales o enteros, como por ejemplo temperatura, humedad, edad de una persona, número de hjos. Los atrbutos nomnales son atrbutos dscretos o categórcos, como por ejemplo estado del celo, vento, DNI, tene/no tene coche. Cuando el problema a abordar posee atrbutos nomnales, es necesaro dscretzarlos (asgnar a cada valor un número entero o real) para poder ser procesados por una red de neuronas. Esta dscretzacón puede nflur en los resultados de la red. Hay otros algortmos de aprendzaje automátco que permten el uso tanto de atrbutos numércos como nomnales, y están dseñados con esta fnaldad. En la sguente tabla se muestra el aspecto de los datos para ser tratados con una red de neuronas. X1 X2 X3 X4 X5 X5 Salda Patrón ,8 1, ,295 0,056 0,012 0, ,71 Patrón ,3-1, ,534-0,104-0,080-2, ,50

2 Patrón ,5-0, ,086 0,006 0,155 5, ,62 Patrón ,8 1, ,377 0,062 0,110 4, ,94 Patrón ,1-0, ,289-0,002 0,050 2, ,34 Patrón ,3 2, ,464 0,290 0,562 8, ,33 Patrón ,9 1, ,543 0,110 0,305 6, ,31 PatrónN ,3-5, ,101-0,693-0,463-5, ,71 Transformacón de datos La caldad de los modelos de redes de neuronas puede depender de la caldad de los datos y de certas transformacones. Después de la recoplacón de datos es necesaro preparar el conjunto de datos dsponbles. En esta preparacón, hay dos fases, que aunque no son oblgatoras, sempre es recomendable realzar. Ellas son: Normalzacón de los datos. Es aconsejable trabajar con datos normalzados en un certo ntervalo, generalmente el ntervalo [0,1]. S ben no es oblgatoro, sempre es recomendable pues evta problemas durante el aprendzaje, como la saturacón de las neuronas. La normalzacón para una varable de entrada o salda se puede realzar utlzando la sguente expresón: VarNor (Var VMn )/(VMax VMn ) sendo VMn y VMax el valor mínmo y máxmo que puede tomar la varable Aleatorzacón de los datos. Para evtar sesgos en el aprendzaje, sempre es convenente aleatorzar los patrones o datos dsponbles. Posterormente a esta aleatorzacón, el conjunto de patrones dsponbles se separa en los dferentes conjuntos, entrenamento, valdacón y test. Además de estas dos fases, los datos pueden sufrr más transformacones antes de ser procesados por una red de neuronas: elmnacón de atrbutos rrelevantes y reduccón de dmensonaldad, aunque estas fases no sempre es necesaro llevarlas a cabo y no son motvo de estudo para el presente curso. En cualquer caso, se descrben brevemente a contnuacón. Atrbutos rrelevantes: En ocasones los patrones dsponbles poseen una sere de atrbutos que a pror, y según el conocmento del problema, se consderen rrelevantes para la resolucón de dcho problema. S esto es conocdo, es convenente elmnarlos. Reduccón dmensonaldad: Para algunos problemas, los datos de entada poseen alta dmensón (entendendo como tal un número de atrbutos alrededor o mayor que una centena), lo cual puede mpedr o dfcultar el aprendzaje de la red. En estos casos es convenente aplcar técncas de reduccón de dmensonaldad, que ben selecconan un subconjunto de atrbutos, ben transforman los datos de entrada en otro conjunto de menor dmensón. No se entra en detalle en los dferentes métodos de reduccón de dmensonaldad, pues no es objetvo del curso. Obtencón de los conjuntos para el aprendzaje

3 Para la obtencón y construccón de una red de neuronas se utlza un conjunto de datos, llamado conjunto de entrenamento. Para medr la caldad del modelo o capacdad de generalzacón de la red es necesaro observar el comportamento de la red con datos no utlzados para su entrenamento; estos son los llamados datos de test. Esto permtrá medr la capacdad de generalzacón del modelo, es decr, la capacdad de responder correctamente antes stuacones (o datos) dferentes, pero representados en el conjunto de entrenamento. Por ejemplo, s a un alumno se le evalúa (examen) con los msmos problemas con los que aprendó, no se demuestra su capacdad de generalzacón. Para ello, habtualmente lo que se hace es dvdr el conjunto de datos dsponble en un subconjunto para entrenamento y otro para test. Esta dvsón debe realzarse aleatoramente, o al menos utlzando un mecansmo que garantce que los datos de test están representados en el conjunto de entrenamento. En el caso de las redes de neuronas artfcales, en ocasones, del conjunto de entrenamento se extrae una porcón de datos, llamado conjunto de valdacón que se utlza para parar el aprendzaje de la red y determnar los valores óptmos de los parámetros. Es posble, ncluso por azar, que los datos de entrenamento y test aparezcan sesgados, lo cual no es deseable. Tambén puede ocurrr que s el número de datos que representan el problema es reducdo, hacer una separacón de un certo porcentaje para entrenamento y test, puede conducr a una evaluacón engañosa de la red, además de suponer un resgo para el aprendzaje el no poder utlzar los patrones que han caído en el conjunto de test. Para evtar estos problemas y hacer una evaluacón realsta es convenente dvdr el conjunto de datos dsponbles utlzando el método conocdo como valdacón cruzada. Este método consste báscamente en dvdr varas veces el msmo conjunto de datos en entrenamento y test y calcular la meda de los resultados de evaluacón en los dferentes conjuntos de test. Así es más complcado que todas las veces se produzcan sesgos. El procedmento general consste en: Se dvde el conjunto de datos orgnal en k partes. Con k=3 tenemos los subconjuntos A, B, y C. Se realzan entonces k (3) teracones: Aprender con A, B y test con C (T1 = medda de evaluacón con C) Aprender con A, C y test con B (T2 = medda de evaluacón con B) Aprender con B, C y test con A (T3 = medda de evaluacón con A) medda de evaluacón fnal T = (T1+T2+T3)/3 El modelo fnal se construye con los tres conjuntos (A, B y C) y se supone que T es una estmacón de la evaluacón del modelo. Generalmente, se suele utlzar k=10 2. Meddas de evaluacón Una vez realzado el aprendzaje de la red, es necesaro defnr y fjar una medda de evaluacón, la cual va a depender de la tarea o problema a resolver. A contnuacón, se hace un breve repaso sobre las meddas más utlzadas en cada uno de los dferentes problemas. Clasfcacón Lo más habtual es evaluar la caldad de la red en base a su precsón predctva, la cual se calcula como el número de patrones del conjunto de prueba (entrenamento o test) clasfcadas correctamente dvddo por el número total de nstancas en dcho conjunto. Las saldas de una red de neuronas como el Perceptron Multcapa o las Redes de Base Radal toman valores contnuos (reales). Cuando se aborda un problema de clasfcacón, las saldas deben ndcar la clase a la que pertenece su correspondente patrón de entrada, por lo que los valores contnuos deben transforme a valores dscretos. Es decr, es necesaro nterpretar la

4 clase que representa esa salda. Esta nterpretacón depende de cómo se haya formulado el problema de clasfcacón desde el punto de vsta de las redes de neuronas. Cuando la salda deseada para la red se defne como S(n)=(0 1 0) s el patrón de entrada n pertenece a la clase, entonces la nterpretacón de la salda de la red S red (n)=(a 1,a 2,,a m) será: El patrón n pertenece a la clase correspondente a la neurona con la máxma actvacón. Es decr, s a j=max(a ), entonces el patrón n pertenece a la clase j. A lo hora de decdr s la red resuelve con éxto un problema de clasfcacón, es necesaro tener presente una sere de crteros para decdr s una red es o no aceptable resolvendo el problema. Estos son: En problemas de clasfcacón con M clases, el porcentaje de acertos debe superar el 100*1/M. De otra manera, sería mejor trar una moneda (azar) que utlzar el clasfcador para predecr S por la naturaleza del problema, se dspone de una clase con muchos más datos que otra, el porcentaje de acertos a superar es el porcentaje de datos de la clase mayortara. Por ejemplo, s tenemos dos clases (+ y -) y en los datos dsponbles hay 90 datos + y 10 -; un clasfcador que predga sempre + (ndependentemente de los atrbutos), ya acertará en un 90%. Hay que hacerlo mejor que eso. En ocasones en problemas de clasfcacón el coste de fallar en una clase no es el msmo que fallar en otra. Por ejemplo, para un clasfcador de cáncer s/no, es preferble predecr que una persona tene cáncer (sn tenerlo) que predecr que no lo tene (tenéndolo). Para analzar esos casos es convenente utlzar la matrz de confusón, que contene nformacón sobre las falsos postvos y falsos negatvos. Dado un problema de clasfcacón con 2 clases, la matrz confusón es una matrz cuadrada (2x2), que contene la sguente nformacón: Dato realmente + Dato realmente - Clasfcado como + Clasfcado como - TP (true FN (false postve) negatve) FP (false TN (true postve) negatve) Los datos correctamente clasfcados están en la dagonal, los ncorrectos fuera de ella. El porcentaje de acertos es (TP+TN)/(TP+TN+FN+FP) El porcentaje de acertos de + es: TP/(TP+FN) El porcentaje de acertos es: TN/(FP+TN) Regresón En problemas de regresón la salda de la red es un valor numérco, y la manera más habtual (aunque exsten otras) de evaluar la red es medante el error medo o error cuadrátco medo cometdo por la red sobre los datos de entrenamento y test (son equvalentes): EMedo 1 N sm N 1 sd

5 ECuadrátc omedo 1 N N (sm sd 1 2 ) sendo sm y sd la salda de la red y salda deseada para el patrón, respectvamente. Agrupacón Para los problemas de agrupacón o clusterng, las meddas más habtuales son la cohesón de cada grupo y la separacón entre los dstntos grupos. Estas característcas, cohesón y separacón, se suele formalzar utlzando la dstanca meda de los membros de un grupo a su centro y la dstanca meda entre los grupos, respectvamente. Generalmente, esta dstanca es la dstanca Euclídea.