Repaso de conceptos de álgebra lineal

Transcripción

1 MÉTODOS AVANZADOS EN APRENDIZAJE ARTIFICIAL: TEORÍA Y APLICACIONES A PROBLEMAS DE PREDICCIÓN Manuel Sánchez-Montañés Luis Lago Ana González Escuela Politécnica Superior Universidad Autónoma de Madrid Repaso de conceptos de álgebra lineal Notación vectorial y matricial Vectores Matrices Espacios de vectores Transformaciones lineales Autovalores y autovectores

2 Notación vectorial y matricial Un vector columna x de d dimensiones y su transpuesta se escriben así: y Una matriz rectangular de n x d dimensiones y su transpuesta se escriben así: y El producto de dos matrices es: donde Vectores (1) El producto interno de dos vectores (o producto escalar ) se define por: La norma de un vector (o magnitud, longitud ) es: La proyección ortogonal del vector y sobre el vector x es: Donde el vector u x tiene norma 1 y la misma dirección que x El ángulo entre los vectores x e y está definido por: Dos vectores x e y son: Ortogonales si x T y = 0 Ortonormales si x T y=0 y x = y = 1

3 Vectores (2) Un conjunto de vectores x 1, x 2,, x n son linealmente dependientes si existe un conjunto de coeficientes a 1, a 2,, a n (con al menos uno diferente de cero) tales que Intuitivamente, esto quiere decir que hay por lo menos un vector redundante, que podemos expresar como combinación de los otros. Por ejemplo, si a 1 0: x 1 = c 2 x 2 + c 3 x c n x n con c k =-a k / a 1 Alternativamente, un conjunto de vectores x 1, x 2,, x n son linealmente independientes si Matrices El determinante de una matriz cuadrada A de d x d dimensiones es: - donde A ik es el menor, matriz formada cogiendo A y eliminando su fila i y su columna k - El determinante de una matriz es igual al de su transpuesta: A = A T La traza de una matriz cuadrada A de d x d dimensiones es la suma de los elementos de su diagonal: El rango de una matriz es el número de filas (o columnas) linealmente independientes Se dice de una matriz cuadrada que es no singular si y sólo si su rango es igual al número de filas (o columnas) - El determinante de una matriz no singular es distinto de 0 Se dice de una matriz cuadrada que es ortonormal si AA T = A T A = I

4 Matrices Dado una matriz cuadrada A: -Si x T A x > 0 para todo x 0, entonces se dice que A es definida positiva (ejemplo: matriz de correlación) - Si x T A x 0 para todo x 0, entonces se dice que A es semidefinida positiva La inversa de una matriz cuadrada A se denomina A -1, y es una matriz tal que A -1 A = A A -1 = I - La inversa de A existe si y sólo si A es no singular (su determinante no es cero) En algunos problemas cuando la inversa de A no existe (porque A no es cuadrada, o es singular), se utiliza la pseudoinversa A, que se define como: A = [A T A] -1 A T con A A = I (notad que en general A A I) Espacios de vectores El espacio n-dimensional en el cual todos los vectores de n dimensiones residen se denomina un espacio de vectores Se dice que un conjunto de vectores { u 1, u 2,, u n } es una base de un espacio vectorial si cualquier vector x puede ser expresado como una combinación lineal de los {u i } - Los coeficientes { a 1, a 2,, a n } se denominan componentes del vector x con respecto a la base { u i } - Para ser una base, es necesario y suficiente que los n vectores { u i } sean linealmente independientes Se dice que una base { u i } es ortogonal si Se dice que una base { u i } es ortonormal si - Por ejemplo la base cartesiana de coordenadas es una base ortonormal

5 Espacios de vectores Dados n vectores {v 1, v 2,, v n } linealmente independientes, podemos construir una base ortonormal {w 1, w 2,, w n } por el procedimiento de ortonormalización de Gram-Schmidt w 1 w j = v 1 = v j i j i= 1 v j w i w 2 i w i La distancia entre dos puntos en un espacio vectorial se define como la norma del vector diferencia entre los dos puntos: Transformaciones lineales Una transformación lineal es un mapeo del espacio vectorial X N al espacio vectorial Y M, y se representa por una matriz - Dado un vector x Є X N, el correspondiente vector y de Y M se calcula así: - Notad que la dimensión de los dos espacios no tiene por qué ser la misma - Para problemas de reconocimiento de patrones típicamente tendremos M < N (proyección en un espacio de menor dimensión) Se dice que una transformación lineal representada por la matriz cuadrada A es ortonormal cuando AA T = A T A = I - Esto implica que A T = A -1 - Las transformaciones ortonormales preservan la norma de los vectores: - Las transformaciones ortonormales se pueden ver como rotaciones del sistema de ejes de referencia - Los vectores fila de una transformación ortonormal forman una base de vectores ortonormales con

6 Autovectores y autovalores (1) Dada una matriz cuadrada A de N x N dimensiones, decimos que v es un autovector si existe un escalar λ tal que A v = λ v Entonces, se dice que λ es autovalor de A Cálculo l de los autovectores t solución trivial solución no trivial ecuación característica La matriz formada por los autovectores columna se denomina matriz modal M La matriz Λ es la forma canónica de A: una matriz diagonal con los autovalores en su diagonal 0 0 Autovectores y autovalores (2) Propiedades - Si A es no singular Todos los autovalores son diferentes de cero - Si A es real y simétrica Todos los autovalores son reales Dos autovectores asociados a diferentes autovalores son ortogonales entre sí -Si A es definida positiva Todos los autovalores son positivos -Si A es semidefinida positiva Todos los autovalores son mayor o igual que cero

7 Interpretación de los autovectores y autovalores (1) Si consideramos la matriz A como una transformación lineal, entonces un autovector representa una dirección invariante en el espacio vectorial Cualquier punto en la dirección de v es transformado por A en otro punto que está en la misma dirección, y su módulo es multiplicado por el correspondiente autovalor λ Por ejemplo, la transformación que rota los vectores de 3 dimensiones en torno al eje Z tiene un solo autovector, que es [0 0 1] T, siendo 1 es su autovalor correspondiente Repaso de conceptos de probabilidad y estadística Definición y propiedades de la probabilidad Variables aleatorias - Definición de variable aleatoria - Función de distribución acumulada - Función de densidad de probabilidad - Caracterización estadística de variables aleatorias Vectores aleatorios - Vector promedio - Matriz de covarianzas Distribución de probabilidad gaussiana

8 Variables aleatorias Cuando consideramos un proceso aleatorio, normalmente nos interesa saber alguna medida o atributo numérico que genera una secuencia de valores modelizables. Ejemplos: Cuando muestreamos una población nos puede interesar por ejemplo el peso y la altura Cuando calculamos el rendimiento de dos ordenadores nos interesa el tiempo de ejecución de un programa de test Cuando tratamos de reconocer un avión intruso, nos puede interesar medir los parámetros que caracterizan la forma del avión Variables aleatorias Definimos una variable aleatoria X que puede tomar un conjunto de valores {xi} como una función X( ) que asigna un número real x a cada resultado ζ en el espacio de muestreo de un experimento aleatorio x= X( ζ ). - Esta función X( ) realiza un mapeo de todos los posibles elementos en el espacio de muestreo a la recta real (números reales). - La función X( ) que asigna valores a cada resultado es fija y determinista - La aleatoriedad en los valores observados se debe a la aleatoriedad del argumento de la función X( ), es decir, el resultado ζ del experimento map - Las variables aleatorias pueden ser: - Discretas: por ejemplo, el resultado en el lanzamiento de un dado - Continuas: por ejemplo, el peso de un individuo escogido al azar

9 Función de distribución acumulada (fda) Dada una variable aleatoria X, se define su función de 1 lb = Kg distribución acumulada F x (x) como la probabilidad del evento {X < x} F x x( (x) = P[X < x] para - < x < + De manera intuitiva, F x (b) representa la proporción de veces en la que X( ζ ) < b Propiedades de la función de distribución acumulada fda del peso de una persona si a b Función acotada y monótonamente creciente fda del resultado de un dado Función de densidad de probabilidad (fdp) La función de densidad de probabilidad de una variable aleatoria continua X, si existe, se define como la derivada de F x (x) 1 lb = Kg fdp El equivalente a la fdp para variables aleatorias discretas es la función de masa de probabilidad ( fmp ): fdp del peso de una persona fmp fmp del resultado de un dado

10 Función de densidad de probabilidad (fdp) Propiedades de la función de densidad de probabilidad donde si Densidad de probabilidad versus probabilidad fdp Cuál es la probabilidad de que alguien pese 200 libras =90.8 Kg? - De acuerdo a la fdp, es cerca de Suena razonable, no? Ahora, cuál es la probabilidad de que alguien pese libras = Kg? - De acuerdo a la fdp, es cerca de Pero, intuitivamente, la probabilidad debería ser cero Probabilidad en un punto es cero. fdp del peso de una persona Cómo explicamos esta paradoja? - La fdp no define una probabilidad, sino una DENSIDAD de probabilidad! - Para obtener una verdadera probabilidad, debemos integrar en un intervalo - La pregunta original es incorrecta, nos deberían haber preguntado: Cuál es la probabilidad de que alguien pese libras, más / menos 2 libras?

11 Caracterización estadística de variables aleatorias La fdp o fmp son SUFICIENTES para caracterizar completamente una variable aleatoria. Sin embargo, una variable aleatoria puede ser PARCIALMENTE caracterizada por otras medidas Valor esperado (media) Representa el centro de masa de la densidad Varianza Representa la dispersión alrededor de la media Desviación estándar Es la raíz cuadrada de la varianza, por lo que tiene las mismas unidades que la variable aleatoria Momento de orden N Vectores aleatorios La noción de vector aleatorio es una extensión de la noción de variable aleatoria - Una variable vectorial aleatoria X es una función que asigna un número real a cada posible valor ζ del espacio de muestreo S - Consideraremos siempre a un vector aleatorio como un vector columna Las nociones de fda y fdp se sustituyen por fda conjunta y fdp conjunta - Dado un vector aleatorio X = [x 1 x 2 x N ] T definimos - La función de distribución acumulada conjunta como: x1 x2 x3 - La función de distribución de probabilidad conjunta como:

12 Vectores aleatorios El término fdp marginal se usa para representar la fdp de un subconjunto de los componentes del vector - Se obtiene integrando la fdp en las componentes que no son de interés - Por ejemplo, si tenemos un vector X = [x 1 x 2 ] T, la fdp marginal de x 1, dado la fdp conjunta f x1 x2 (x 1, x 2 ) es: Caracterización estadística de vectores aleatorios Al igual que en el caso escalar, un vector aleatorio está completamente caracterizado por su fda conjunta o su fdp conjunta Alternativamente, podemos describir parcialmente un vector aleatorio por medio de medidas similares a las definidas para el caso escalar Vector promedio T Matriz de covarianza

13 Matriz de covarianza La matriz de covarianza indica la tendencia de cada par de atributos (las componentes del vector aleatorio) de variar juntas, es decir, co-variar La matriz de covarianza C tiene varias propiedades importantes: - Si x i y x k tienden a aumentar juntas, entonces c ik > 0 -Si x i tiende a disminuir cuando x k aumenta, entonces c ik < 0 -Si x i y x k no están correlacionadas, entonces c ik = 0 - c ik σ i σ k donde σ i es la desviación estándar de x i - c ii = σ i2 = VAR(x i ) Matriz de covarianza Los componentes de la matriz de covarianza se pueden escribir como: c ii = σ 2 i y c ik = ρ ik σ i σ k - donde ρ ik es el llamado coeficiente de correlación

14 Correlación versus independencia Se dice que dos variables aleatorias x i y x k no están correlacionadas si E [x i x k ] = E [x i ] E [x k ] - En este caso también se dice que estas variables aleatorias son linealmente independientes (no confundir con la noción de independencia lineal de vectores). Se dice que dos variables aleatorias x i y x k son independientes, su distribución conjunta será el producto de las marginales. P [x i, x k ] = P [x i ] P [x k ] La distribución Gaussiana o Normal (1) La distribución multivariable Normal o Gaussiana N(μ, Σ) se define como En una sola dimensión, esta expresión se reduce a

15 La distribución Gaussiana o Normal (2) Las distribuciones gaussianas son muy utilizadas ya que: - Los parámetros (μ, Σ) son suficientes para caracterizar completamente la distribución gaussiana - Si los atributos t no están correlacionados ( c ik = 0 ), entonces son también independientes La matriz de covarianza es entonces diagonal, con las varianzas individuales en la diagonal - Las densidades marginales y condicionadas son también Gaussianas - Cualquier transformación lineal de N variables conjuntamente Gaussianas, nos da un vector cuya distribución ib ió es también Gaussiana - Si la distribución del vector X = [X 1 X 2 X N ] T es Gaussiana, y A es una matriz, entonces la distribución de Y=AX es también Gaussiana. Para el caso particular de que A sea una matriz invertible, entonces: La distribución Gaussiana o Normal (3) Dada la matriz de covarianza Σ de una distribución gaussiana - Los autovectores de Σ son las direcciones principales de la distribución - Los autovalores son las varianzas de las correspondientes direcciones principales La transformación lineal definida por los autovectores de Σ lleva a componentes que están descorrelacionadas, independientemente de la forma de la distribución En el caso particular de que la distribución sea gaussiana, entonces las variables transformadas serán estadísticamente independientes con y Estadísticamente Independientes

16 El Teorema Central del Límite El teorema dice que si y = Σ x k, siendo x k N variables aleatorias independientes con distribuciones individuales arbitrarias, entonces la distribución de y tiende a ser Gaussiana según se va haciendo mayor N. En el límite N, termina siendo una Gaussiana perfecta. En otras palabras, cualquier variable que sea la contribución de muchos factores aleatorios independientes tiende a ser Gaussiana. Ejemplos: ruido en aparatos medidores, Ejemplo numérico: calculamos un histograma Ejemplo numérico: calculamos un histograma a partir de 500 valores de y generados con y = Σ x k