Algebra lineal. Un par de vectores son linealmente dependientes si existe un escalar diferente de cero que asocie ambos vectores, ejemplo: X 2 =k*x 1

Transcripción

1 Minimo necesario para redes neuronales. Espacio vectorial Algebra lineal El espacio vectorial X, se define como un conjunto de elementos (vectores) definidos sobre un campo escalar F, que satisface las siguientes condiciones: 1. La suma de vectores se define como x+y X, si x& y X. 2. La suma es conmutativa, x+y= y+x 3. La suma es asociativa (x+y) + z = x+(y+z) 4. Existe un vector cero único 0 y pertenece a X, tal que x+0=x para todo x X; 5. Para todo vector x, existe solo un vector x tal que x+(-x)=0 6. La multiplicación por un escalar a F, donde F es un campo escalar, se define como ax X. 7. Para cada x X, 1x=x, cuando 1 es un escalar. 8. Para cualesquiera dos escalares a F y b F y cualquier x X, a(bx) =(ab)x 9. (a+b)x = ax + bx 10. a(x+y) = ax + ay Las dimensiones del espacio vectorial se puede determinar a través del numero mínimo de vectores que se necesitan para cubrir el espacio y que se le denomina conjunto base (basis set). Ejemplos: Un plano definido por dos polinomios de orden menor a 2, pueden generar espacios vectoriales. Funciones continuas definidas entre 0 y 1, tales como seno, coseno, exponencial. El plano eucladiano es un espacio vectorial. Independencia lineal entre vectores. Un par de vectores son linealmente dependientes si existe un escalar diferente de cero que asocie ambos vectores, ejemplo: X 2 =k*x 1 Generalizando, si existen n vectores y n escalares diferentes cero, tal que a 1 x 1 +a 2 x 2 +a 3 x 3 + +a n x n =0 x i son linealmente dependientes. Entonces si son linealmente independientes, no se puede escribir un vector en función de otros, ni sus posibles combinaciones lineales. Ejemplo: Sean dos vectores p 1 = [1;-1;-1] y p 2 = [1;1;-1], determinar si son linealmente independientes.

2 Sea a 1 p 1 + a 2 p 2 =0 Entonces a1 + a2 = 0 -a1 + a2 = 0 -a1 - a2 = 0 No existe un valor de a, diferente de cero, que permita cumplir con las tres reglas, por lo tanto son linealmente independientes. Subconjuntos de un espacio vectorial. Sea un subconjunto vectorial cualquiera {u 1,u 2,,u m }, tal que u X. Este subconjunto abarca o cubre el espacio vectorial X, si y solo si para cada vector x X puede ser representado con una combinación de los elementos del subconjunto, i.e. x= a 1 u 1 +a 2 u 2 + +a m u m. Un subconjunto importante es el conjunto base, el cual es un conjunto de vectores linealmente independientes que cubre todo el espacio. Por lo que se puede tener un sinfín de vectores que cumplan está condición. Ejemplo: Los vectores unitarios del plano eucladiano. Producto interno El producto interno entre dos funciones escalares de x=f(x) y y=f(y) se pueden definir como (x,y) que satisface las siguientes propiedades: 1. (x, y)=(y, x) 2. (x, ay 1 + by 2 )= a(x,y 1 ) + b(x,y 2 ) 3. (x,x)>0 & (x,x)=0 si y solo si x=0; En un espacio vectorial R 2 el producto interno estándar es x T y= x 1 y 1 + x 2 y x n y n Pero si consideramos diferentes espacios vectoriales, entonces tendremos que generalizar, para funciones continuas y y x podemos obtener el producto interno de la siguiente manera: 1 (x(t), y(t)) = x(t)y(t) dt 0

3 Norma La norma x, si x es una función escalar, entonces se define como la norma de la función escalar, la que cumple con las siguientes características: 1. x 0 2. x = 0 si y solo si x = ax = a x, para un escalar a 4. x+y x + y Existen varias funciones que satisfacen estás condiciones pero una definición de norma comúnmente utilizada es la que utiliza la definición del producto interno: x =(x,x) 1/2 En el espacio Euclideano, la magnitud de la norma es: x =(x T,x) 1/2 = x 1 2 +x x n 2 Para las redes neuronales es conveniente normalizar los vectores de entrada. Es decir, hacer la norma unitaria p i =1, para cada vector de entrada. El ángulo del producto entre dos vectores normalizados es: Cos θ = (x,y) x y Si generalizamos a funciones escalares de vectores Cos θ = (x,y) x y Ortogonalización La ortogonalidad entre dos vectores x,y X, es cuando el producto interno es cero (x,y)=0. La ortogonalidad es un concepto importante en las redes porque se utiliza en el reconocimiento de patrones cuando los vectores patrones son ortogonales y normalizados entonces se puede proponer una red de asociación lineal con una regla de entrenamiento tipo Hebb para obtener un reconocimiento adecuado. Otro concepto importante es que también pueden existir espacios ortogonales. Un vector x X es ortogonal a un subespacio X1 si y solo si x es ortogonal a cada uno de los vectores del subespacio X1, generalmente se representa como x X1 (ejemplo: un vector en una circunferencia)

4 Un subespacio es ortogonal a otro si, cada uno de los vectores que contiene son ortogonales entre si. X2 X1 Ejemplo: en el espacio Euclideano, dos planos perpendiculares. Ortogonalidad de Gram-Schmidt Existe una relación entre independencia y ortogonalidad. Es posible convertir un conjunto de vectores independientes en un vector ortogonal que cubra todo el espacio vectorial. El procedimiento estándar se le llama ortogonalización Gram-Schmidt. Se asume que tenemos n vectores independientes {y 1, y 2, y 3,, y n }. De los cuales queremos obtener n vectores ortogonales {u 1,u 2,u 3,, u n }. Sea u 1 =y 1, se escoge el primer vector independiente como el primer ortogonal. Para el segundo vector ortogonal u 2, se usa el segundo independiente y 2, pero se le resta su efecto en la dirección de u 1. u 2 =y 2 au 1, donde a se escoge para hacer ortogonal ambos vectores, es decir (u 1,u 2 ) =(u 1, y 2 au 1 )= (u 1,y 2 ) a(u 1, u 1 )=0 entonces a=( u 1,y 2 ) (u 1, u 1 ) Es decir calculamos el producto interno entre los vectores iniciales y a a 1 u 1 le llamamos proyección de y2 en u1. Con este valor de a, calculamos u 2 Se repite la operación para el tercer vector. Ahora calculamos los nuevos parámetros a 1 y a 2 asumiendo ortogonalidad. u 3 =y 3 a 1 u 1 a 2 u 2 Los dos vectores anteriores ya son ortogonales pero ahora hay que checar con el tercero entonces Para el producto del segundo y ultimo (u 2, u 3 ) = (u 2, y 3 a 1 u 1 a 2 u 2 ) = (u 2, y 3 ) - a 1 (u 2, u 1 ) a 2 (u 2, u 2 ) = 0 Para el producto del primer y ultimo (u 1, u 3 ) = (u 1, y 3 a 1 u 1 a 2 u 2 ) = (u 1, y 3 ) - a 1 (u 1, u 1 ) a 2 (u 2, u 3 ) = 0 Pero, como (y 1,y 2, y 3 ) y (u 1, u 2, u 3 ) son ortogonales los productos internos entre pares de esos vectores es cero, entonces a 1 =( u 1,y 3 ) (u 1, u 1 ) a 2 =( u 2,y 3 ) (u 2, u 2 )

5 Y se repiten hasta n veces. Cada vez se calculan los valores de a Generalizando u k =y k a 1 u 1 a 2 u 2 -. a k-1 u k-1 k-1 u k = y k - Σ (u i,y k ) u i i=1 (u i,u i ) Tarea 1: Sea y 1 =[2;1] y y 2 =[1;2] a) Demostrar que son vectores linealmente independientes. b) Obtener los vectores ortogonales. Orto-normalización Si queremos normalizar los vectores ortogonales u 1,u 2, etc. entonces tenemos que dividir entre su respectiva norma u k u k Expansión vectorial Recordemos que los vectores pueden estar definidos en cualquier tipo de espacio vectorial por lo que si proponemos un conjunto de vectores base {u 1, u 2,.., u n } y su vector base reciproco como {r 1, r 2,, r n } podemos representar cada vector es una columna de números. Porque? Sea el vector base {u 1, u 2,.., u n }, el cual genera un vector de expansión único para un función escalar de un vector, x=f(u i ), tal que: n x=σ (x i, u i ) = x 1 u 1 +x 2 u 2 +.+x n u n i=1 donde x i es un vector columna de los valores necesarios para la expansión y u i es el vector base. Entonces cualquier vector dimensional finito se puede representar en una columna obtenida por expansión y utilizando el producto interno. x=[x 1 x 2 x n ] T Ojo, si el conjunto base cambia, entonces el vector cambia. Si el vector base es ortogonal (u i,u j )=0, i j, entonces solo basta tomar el producto interno con el respectivo vector base, porque cada contribución o proyección a los demás vectores, es cero. Si aplicamos el producto: (u j, x)=( u j, Σ (x i, u i )) = u j ( x 1 u 1 +x 2 u 2 +.+x n u n ) Entonces solo existirá donde i =j, por ser ortogonal

6 (u j,x)=( u j, (x j, u j )) Y los coeficientes serán x j = (u j,x) (u j, u j ) Si el conjunto base no es ortogonales, entonces tendremos que buscar el vector reciproco del vector base {r 1, r 2,, r n }. Sean (r i,u j ) =1 si i = j & (r i, u j )= 0 si i j, Es decir mientras sean diferentes se obtiene la unidad. Si lo representamos en forma matricial (r i,u j )= r T T j u j R U= I Donde U=[ u 1,,u j ] y R=[ r j,, r j ] entonces R T se puede obtener con la inversa de U R T = U -1 Por lo que retomando la definición de x n x=σ (x i, u i ) = x 1 u 1 +x 2 u 2 +.+x n u n i=1 y multiplicandolo por el vector reciproco r i y recordando que x 1,x 2,, x n son los coeficientes entonces. (r i, x) = x 1 (r i,u 1 )+x 2 (r i,u 2 )+.+x n (r i, u n ) Pero por definición (r i,u j ) =1 si i = j & (r i, u j )= 0 si i j, Entonces si i =1 (r 1,u 1 ) =1 y todos los demas son cero entonces x 1 =(r 1, x) Al recorrer todos los valores de i, se puede calcular todos los elementos de x En general x i =(r i, x)

7 Ejemplo: Sean dos vectores base v 1 =[2; 1] y v 1 =[1; 2], es decir si los representaramos en el espacio vectorial Euclideano (flechas azules), en función de conjunto base estandar S (flechas rojas), quedarían como en la siguiente figura, por lo que los llamaremos v 1 s =[2; 1] y v 1 s =[1; 1] para no confundirlos. Expandir el vector (verde) x = [0;3/2] utilizando el nuevo conjunto base (azules) Solución: Primero checamos si son ortogonales los vectores del conjunto base, (v 1,v 2 ) =0? (v 1 T,v 2 )=[2 1][1;2]=2*1 +1*2 0, por lo que debemos obtener la inversa de conjunto base (azules) R T =V -1 =[v1 v2]=[[2 ;1] [1; 2]]=[2 1; 1 2] -1 =[2/3-1/3; -1/3 2/3] R=[2/3-1/3; -1/3 2/3] por ser simétrica y entonces r1=[2/3; -1/3] y r2=[-1/3; 2/3] y podemos calcular los coeficientes de la expansión x 1 =(r 1,x) = [2/3; -1/3][ 0;3/2] = -1/2 x 2 =(r 2,x) =[-1/3; 2/3] [ 0;3/2] = 1 Por lo tanto la expansión queda como n x=σ (x i, v i ) = x 1 v 1 +x 2 v 2 = -1/2 v 1 +1v 2 i=1 donde el vector expandido (negro), es generado sobre el nuevo conjunto base a partir de su proyección (rosa).

8 x v 2 v 1 Tarea: 1. Cuales de los siguientes vectores son linealmente independientes. Mencione la dimensión del espacio vectorial para cada conjunto. a) [1;1;1]; [1; 0; 1];[1 2 1]; b) Sin (t), cos(t), 2cos(t+π/4) c) [1,1,1,1] T,[1, 0, 1, 1] T, [1, 2, 1, 1] T 2. Usando los siguientes vectores base o básicos, encuentre el conjunto ortogonal usando el método de Gram-Schmidt. y1=[1,1,1] T,[1,0,0] T,[0,1,0] T 3. Expandir el vector x=[6,9,9] T en términos del siguiente set base. v1=[1,1,1] T ; v2=[1,2,3] T y v3=[1,3,2] T [1] Hagan Martin, Neural Network design, city Publishing house, chapter 5 y 6, [2] Tai, L. Chow, Mathematical Methods for physisians: a concise introduction, Cambridge University press, 2003.