Examen de Teoría de (Introducción al) Reconocimiento de Formas

Transcripción

1 Examen de Teoría de (Introducción al) Reconocimiento de Formas Facultad de Informática, Departamento de Sistemas Informáticos y Computación Universidad Politécnica de Valencia, Enero de 007 Apellidos: Cuestiones (3 puntos, hora, sin apuntes) Nombre: Marca cada recuadro con una única opción de entre las dadas. C Sea x un objeto (vector de características o cadena de símbolos) a clasificar en una clase de C posibles. Indica cuál de los siguientes clasificadores no es de error mínimo: A) c(x) = argmax c=,...,c B) c(x) = argmax c=,...,c C) c(x) = argmax c=,...,c D) c(x) = argmax c=,...,c p(x)p(c x) p(x)p(x, c) p(c)p(c x) p(c)p(x c) B Considérese una familia de clasificadores caracterizada mediante un vector de parámetros Θ; por ejemplo, en el caso de clasificadores lineales, Θ estaría compuesto por los vectores de pesos y pesos umbrales de todas las clases. El aprendizaje estadístico de un clasificador de la familia consiste en adoptar y optimizar un criterio de aprendizaje dependiente de Θ y de las muestras de aprendizaje disponibles (las cuales se consideran fijas durante la optimización). Indica cuál de las siguientes afirmaciones es falsa: A) Un criterio natural consiste en escoger como criterio de aprendizaje el error empírico (número de muestras de aprendizaje mal clasificadas). Sin embargo, este criterio no suele ser fácil de optimizar. B) Una alternativa al error empírico es el error teórico, que además presenta la ventaja de no requerir muestras de aprendizaje. Sin embargo, este criterio no suele emplearse por dificultades de cálculo analítico. C) Un alternativa más popular al error empírico es el criterio de máxima verosimilitud (conjunta). A lo largo del temario se han visto diversos ejemplos de aprendizaje basados en máxima verosimilitud. Un (posible) inconveniente de este criterio es que los parámetros de una clase suelen aprenderse a partir de muestras de la misma clase, sin tener en cuenta las clases rivales. Se trata, por tanto, de un criterio no discriminativo. D) Existen múltiples alternativas al criterio de máxima verosimilitud (conjunta), que sí son discriminativos. Por ejemplo, máxima verosimilitud condicional y mínimo error cuadrático. A El clasificador de Bernoulli se define como el clasificador de Bayes particularizado al caso en el que las funciones de probabilidad condicionales de las clases son distribuciones de Bernoulli. Indica cuál de las siguientes afirmaciones es verdadera: A) Es un clasificador lineal. B) Es un clasificador cuadrático. C) No es lineal ni cuadrático, pero puede hacerse lineal mediante suavizado de parámetros. D) Ninguna de las anteriores. C La figura a la derecha muestra las bolas de confianza al 95 % de dos densidades condicionales de clase Gaussianas, así como algunas muestras de ambas clases. Indica el tipo de frontera óptima entre ambas clases asumiendo que sus probabilidades a priori son idénticas: A) Lineal. B) Elipse. C) Hipérbola. D) Ninguna de las anteriores.

2 A La figura a la derecha muestra 00 muestras en el plano y un modelo de distribución de las mismas de tipo mixtura de 3 Gaussianas, las cuales se describen mediante bolas de confianza al 95 %. Indica cuál de las siguientes afirmaciones sobre estas Gaussianas es cierta: A) Comparten una matriz de covarianzas común y completa. B) Comparten una matriz de covarianzas común y digonal. C) Sus matrices de covarianzas son diferentes y completas. D) Sus matrices de covarianzas son diferentes y diagonales A Indica cuál de las siguientes afirmaciones sobre clustering es incorrecta: A) El criterio de clustering particional suma de errores cuadráticos permite descubrir agrupamientos naturales de los datos siempre y cuando éstos formen nubes hiperesféricas compactas y bien separadas, de cualquier tamaño. B) El algoritmo C-medias estándar (no la versión de Duda y Hart) puede verse como un límite particular del algoritmo EM para mixturas de Gaussianas (haciendo Σ = ǫ I y haciendo tender ǫ a cero). C) Uno de los algoritmos de clústering jerárquico aglomerativo más popular es el algoritmo de enlazado simple (SLINK). La distancia entre dos clústers según este algoritmo es la correspondiente a los objetos más cercanos entre ambos clústers (según alguna función distancia dada para comparar objetos individuales). D) La recurrencia de Lance y Williams permite implementar diversos algoritmos de clustering jerárquico aglomerativo de manera sencilla y eficiente. D Dadas las cadenas abb y aba y los costes de edición c(a, a) = c(b, b) = 0 y c(a, b) = c(b, a) = c(ǫ, a) = c(ǫ, b) = c(a, ǫ) = c(b, ǫ) =, la distancia de edición entre ellas es: A),5 B) 3 C) 4 D) B Indica cuál de las siguientes afirmaciones es cierta: A) La distancia de edición y la distancia de edición normalizada entre dos cadenas coindice siempre. B) El coste temporal de la distancia de edición normalizada entre dos cadenas x e y es O( x y mín( x, y )). C) El coste temporal de la distancia de edición y la distancia de edición normalizada es el mismo. D) El coste temporal de la distancia de edición entre dos cadenas x e y es O( x ). B Indica cuál de las siguientes afirmaciones es cierta: A) Un modelo oculto de Markov (MOM) siempre define una distribución de probabilidad sobre un conjunto de cadenas. B) Dado un MOM Θ y una cadena x, puede cumplirse que Pr Θ (x) = Pr Θ (x). C) Cualquier lenguaje estocástico siempre puede ser representado por un MOM. D) Cualquier lenguaje estocástico siempre puede ser representado por una gramática incontextual estocástica. D Indica cuál de las siguientes afirmaciones es falsa. Dado un MOM Θ: A) El algoritmo forward permite calcular Pr Θ (x). B) El algoritmo backward permite calcular Pr Θ (x). C) El algoritmo forward permite calcular Pr Θ (x) y el algoritmo backward también. D) El algoritmo backward permite calcular Pr Θ (x) pero el algoritmo forward no. D En el marco de la máxima entropía, las funciones de distribución de probabilidad son de la forma: A) p(y, x) = Z(x) exp( i λ if i (x, y)) donde Z(x) = y exp( i λ if i (x, y)). B) p(y x) = Z(x)exp( i λ if i (x, y)) donde Z(x) = y exp( i λ if i (x, y)). C) p(y x) = Z(x) exp( i λ i) donde Z(x) = y exp( i λ i). D) p(y x) = Z(x) exp( i λ if i (x, y)) donde Z(x) = y exp( i λ if i (x, y)). C En el algoritmo IIS el incremento δ i a aplicar a cada λ i en cada iteración es: A) δ i = log ep(x,y) B) δ i = M p λ (x,y). ep(x,y) log C) δ i = M D) δ i = log ep(fi) p λ (f. i) p λ (x,y) donde M = f# (x, y). ep(fi) log p λ (f donde M = i) f# (x, y).

3 Examen de Teoría de (Introducción al) Reconocimiento de Formas Facultad de Informática, Departamento de Sistemas Informáticos y Computación Universidad Politécnica de Valencia, Enero de 007 Apellidos: Problemas (4 puntos, horas, con apuntes) Nombre:. ( punto) Sea un problema de clasificación en tres clases; A, B y C; de probabilidades a priori p(a) = p(b) = 4 y p(c) = ; y funciones de densidad de probabilidad condicional uniformes: p(x A) U(, 0) p(x B) U(, ) p(x C) U(, 3) a) Calcula la función de densidad de probabilidad incondicional p(x). p(x A) p(x B) p(x C) p(x, A) p(x, B) p(x, C) p(x) 0 3 < x < 3 < x < 0 p(x) = p(x, A) + p(x, B) + p(x, C) = 0 < x < < x < 3 b) Calcula las probabilidades a posteriori de las clases, p(a x), p(b x) y p(c x), para todo x.

4 p(a x) p(c x) p(b x) p(a x) = p(x, A) p(x) < x < = 3 < x < < x < 0 p(b x) = 0 < x < 3 < x < 0 p(c x) = 0 < x < < x < 3 c) Determina las regiones de decisión de las clases. R A = {x : p(a x) > máx{p(b x), p(c x)}} = (, ) R B = {x : p(b x) > máx{p(a x), p(c x)}} = R C = {x : p(c x) > máx{p(a x), p(b x)}} = (, 3) d) Cómo procede el clasificador de Bayes para x (, )? En (, 0) puede optar por cualquiera de las tres clases; la probabilidad de error es siempre 3. En (0, ) puede optar por B o C; la probabilidad de error es siempre. e) Determina la probabilidad de error en cada x, p(error x). f ) Halla el error de Bayes, p(error). 3 x 0 p(error x) = máx(p(a x), p(b x), p(c x)) = 0 x p(error x) = p(x)p(error x)dx = dx + 0 dx = + = 3 = = 37.5 %. ( punto) Sean A y B dos clases de probabilidades a priori idénticas y densidades condicionales Gaussianas, ( ( )) 0 / 0 p(x A) N (µ A =, Σ 0) A = and p(x B) N 0 /4 (µ B = ( 0 ), Σ B = a) Halla el clasificador Gaussiano correspondiente en términos de funciones discriminantes (simplificadas). ( )) /4 0 0 / g A (x) = 4 x x + 5 log g B (x) = x x + 4 x log b) Calcula la frontera inducida por el clasificador hallado. x + x + 4 x 4 log = 0

5 c) Determina el tipo de frontera hallada. con (x 0) + (x + ) = + log (x c ) r + (x c ) r = c = 0 r = c = 4 + log r = + log =.0 =.95 que corresponde a una elipse. ( ( ) d) Clasifica los puntos y. 3) g A (, 3) = log = + 5 log = 0.3 ( g B (, 3) = log = log =.0 B 3) g A (, ) = 4 ( ) ( ) + 5 log = log = 4.3 g B (, ) = ( ) ( ) + 4 ( ) log = + 3 log = 0.0 ( ) A 3. ( puntos) Sea M un modelo oculto de Markov de tres estados de izquierda a derecha sobre Σ = {a, b}, definido por las matrices de transición y emisión A y B, respectivamente: A 0 F B a b a) Calcula y escribe el trellis resultante de aplicar el algoritmo forward para la cadena aab. b) Calcula y escribe el trellis resultante de aplicar el algoritmo backward para la cadena aab. c) Calcula y escribe el modelo resultante de realizar una iteración con el algoritmo forward-backward suponiendo que la muestra de aprendizaje contiene únicamente la cadena aab. d) Calcula y escribe el trellis resultante de aplicar el algoritmo de Viterbi para la cadena aab. e) Calcula y escribe el modelo resultante de realizar una iteración con el algoritmo de estimación basado en Viterbi suponiendo que la muestra de aprendizaje contiene únicamente la cadena aab.

6 ( ) ( ) ( ) a b F a) Resultado del algoritmo forward: a a b F 0.07 Este resultado corresponde a la suma de las probabilidades de las dos secuencias de estados que permite derivar la cadena aab : b) Resultado del algoritmo backward: B(0, a)a(0, 0)B(0, a)a(0, )B(, b)a(, F) = B(0, a)a(0, )B(, a)a(, )B(, b)a(, F) = 0.06 a a b F.0 c) Los valores de las matrices A y B para el nuevo modelo será: d) Resultado del algoritmo de Viterbi: S N((0, 0), S)Pr(x, S) A(0, 0) = S N(0, S)Pr(x, S) = = A(0, ) = = A(, ) = = A(, F) = = 0.59 S N((0, a), S)Pr(x, S) B(0, a) = S N(0, S)Pr(x, S) = =.0 B(0, b) = B(, a) = = B(, b) = = 0.59 a a b F 0.06 Este resultado corresponde a la probabilidad de la secuencia de estados que con mayor probabilidad genera la cadena aab : B(0, a)a(0, )B(, a)a(, )B(, b)a(, F) = 0.06 c) Los valores de las matrices A y B para el nuevo modelo será:

7 N((0, 0), Ŝ) A(0, 0) = N(0, Ŝ) = 0 = 0.0 A(0, ) = =.0 A(, ) = = 0.5 A(, F) = = 0.5 B(0, a) = B(0, b) = 0.0 B(, a) = = 0.5 B(, b) = = 0.5 N((0, a), Ŝ) N(0, Ŝ) = =.0