Complejidad de modelos: Sesgo y Varianza

Transcripción

1 Complejidad de modelos: Sesgo y Varianza 17 de abril de 2008 Noas de clase. Rolando Belrán A Las medidas de sesgo y varianza son úiles para los modeladores en ano que ayudan a regular la complejidad del modelo nal. Esas medidas se relacionan con la capacidad de ajuse y generalización de un modelo. Cuando se logra un gran ajuse, la diferencia enre los daos reales y la esimación del modelo es pequeña, en ese caso el sesgo ambién es pequeño, pero esos buenos resulados de ajuse, van de la mano con el aumeno en la complejidad del modelo, cuando se aumena la complejidad del modelo ese se vuelve sensible a pequeñas variaciones en los daos de enrada, ucuando en función de esos, es así cuando la varianza aumena. Esa claro que en Aprendizaje de Maquina se busca crear modelos que ofrezcan dos caracerísicas esenciales: ajuse a los daos y generalización. Eso acenúa la necesidad de enconrar un balance enre sesgo y varianza, o viso de ora forma, enre error y complejidad, a coninuación se describen algunos concepos imporanes referenes al ema. La uilidad del análisis del sesgo y la varianza pueden ser inroducidos analizando el problema de la regresión: Sea: χ i = {x, r } i = 1...M una muesra i de observaciones, conformada por daos de enrada y su respeciva salida. r = f(.) una función de salida para el universo de los daos de enrada r(x) = f(x) + ɛ la función para un conjuno de daos χ con f(x)una función coninua ɛ N(0, σ 2 ) eso es, r(x) esa denida por una función f(x) y ruido ɛ, lo que describe el hecho que los daos reales no son perfecos. Esa claro que en problemas del mundo real raramene se conoce la función f(x) correspondiene a los daos observados. La area es enconrar un esimador g(.)que explique los daos observados. Es posible evaluar la efecividad del esimador para una muesra especica, uilizando la medida de error cuadráico esperado sobre un conjuno dado: 1

2 E[(r g(x)) 2 x] = E[(r E[r(x)]) 2 x] + (E[r(x)] g(x)) 2 ruido error cuadraico el primer ermino llamado ruido, es independiene del esimador g(.), solo depende de ɛ. dado que: E[r(x)] = E[f(x) + ɛ] = E[f(x)] + E[ɛ] se iene que: r E[r(x)] = ɛ eso represena el error inherene a la esimación, el cual es irreducible independienemene del esimador que se uilice. El segundo ermino mide que ano se desvía el esimador g(x) del valor esperado de la función que genera los daos de salida. Se observa que ese ermino depende de el esimador g(x) y del conjuno de enrenamieno. Por supueso el esimador servirá bien para algunos conjunos de daos y de manera menos efeciva para oros. En el caso de la regresión habrá un g i (x)ópimo para cada conjuno de daos, ver Figura 1. Figura1. Cuaro conjunos de daos con r = 4x + ruido. La regresión crea un esimador nuevo para cada conjuno de daos. Para evaluar un esimador en necesario probarlo sobre un numero M de conjunos de daos (cada uno con amaño N), haciendo eso se iene: E χ [(E[r(x)] g(x)) 2 x] = (E[r(x)] E χ [g(x)]) 2 + E χ [(g(x) E χ [g(x)]) 2 ] sesgo 2 varianza El primer ermino es llamado sesgo, mide la diferencia enre el valor real y el valor esperado, mienras el segundo llamado varianza mide la ucuación de g(x) alrededor de el valor esperado E[g(x)], sobre los ejemplos. El valor medio, E[g(x)], puede ser esimado como el promedio de g i ( ), eso es: 2

3 M ḡ(x) = 1 M g i (x) i=1 Para el caso del sesgo y la varianza enemos: Sesgo 2 (g) = 1 N [ḡ(x ) f(x )] 2 Varianza(g)= 1 NM [g i (x ) ḡ(x )] 2 i Como ejemplo especico supongamos que conocemos la función f(x) = 4sen( 3 2x) que dene el valor de salida para los conjunos de daos. Seleccionemos dos esimadores con diferene complejidad, ver Figura 2. El primero : g(x) = 5 es evidene que la varianza es nula pues se raa de una consane, pero ambién es obvio que el sesgo es basane alo por que la esimación no oma en cuena los daos, la única posibilidad de que sea un buen esimador es que f(x) se una función parecida a 5. La segunda esimación es: g(x) = r /N es decir un promedio de los valores de salida de la muesra, esa esimación es mucho mejor a la anerior porque oma en cuena las observaciones, con lo que se reduce el sesgo, pero aumena la varianza por su valor cambia de acuerdo al conjuno de daos elegido. Figura 2. f(x) = 4sen( 3 2x) es la función real. El esimador g(x)iene un gran sesgo pues es independiene de los daos, pero su varianza es nula. El esimador g(x) = r /N iene menor sesgo pero ucúa de acuerdo al conjuno de daos. Oro ejemplo es la uilización de esimadores polinomiales, la gura 3 ilusra ese caso, los modelos complejos, en ese ejemplo los polinomios de mayor orden ajusan mucho mejor la función real, disminuyendo el sesgo, sin embargo ucúan mucho de acuerdo a los conjunos de daos que son uilizados 3

4 Figura 3. La curva verde represena la función real, los polinomios de esimación esán en azul.los esimadores polinomiales con grado mayor ajusan mejor y presenan menor sesgo, pero ucúan mucho de acuerdo a los daos de enrada. Es decir a mayor complejidad mayor varianza. Los ejemplos aneriores describen el problema llamado, dilema del sesgo/varianza, el cual es inherene al proceso de modelado en general, cuando exise gran sesgo, el modelo sugerido esa lejano a la solución, es decir hay sub-ajuse (undering), cuando se presena una varianza considerable, el modelo se ajuso incluso al ruido, lo que se llama sobre-ajuse (overing). Es por ano necesario enconrar una balance enre sesgo y varianza. Procedimienos de ajuse de complejidad. Exisen varios crierios y procedimienos para lograr el balance enre complejidad y ajuse de un modelo. Para describir el cross validaion, suponga que iene un conjuno de daos con 1000 ejemplos, se deben formar dos subconjunos, uno para enrenamieno y oro para pruebas, digamos Sobre el subconjuno de enrenamieno se realiza una subdivisión ora vez en dos grupos, puede ser , uno para enrenar los modelos candidaos con diferene complejidad, y oro para validar y hacer ajuse en los hiper-parámero. Se gracan junos el error de enrenamieno y el de validación, conra la complejidad del modelo (Figura 4), el error comienza disminuyendo con el aumeno de la complejidad, pero después de aumenarla mucho, se observa que el error no mejora demasiado, e incluso empeora, el puno ópimo de complejidad corresponde al codo de la gráca del error de 4

5 validación. El conjuno llamado de prueba no debe ser uilizado para ajusar hiper parámeros, solo se debe usar para reporar resulados, por eso ambién es llamado publicaion se. Figura 4. Gráca de error cuadráico de enrenamieno y de validación conra complejidad del modelo. El codo en el error de validación represena el puno ópimo de complejidad Enre oros modelos de selección enemos: Regularización, el cual describe una función de error exendida E =error en los daos + λ complejidad del modelo minimizando esa función se busca aumenar el ajuse a los daos y a la vez casigar los modelos complejos, cuando λes muy alo, solo es posible la elección de modelos simples. Minimum Descripion lengh, se basa en la complejidad de Kolmogorov, y busca enconrar la descripción más cora para un conjuno de daos. Enre odos los modelos que describen los daos se selcciona el que haga la descripción más cora. Por ejemplo si se iene una secuencia de ceros, una forma sencilla de describirla es colocando un cero y el amaño de la secuencia. Selección Bayesiana, se uiliza un modelo bayesiano en el que se inroduce una probabilidad a priori asignada por medio del conocimieno subjeivo sobre los modelos candidaos, oorgando mayor probabilidad a los modelos más simples. La probabilidad a poseriori deermina que modelo es el elegido, y esa denida por el conocimieno subjeivo que describe la probabilidad a priori y el conocimieno objeivo sacado de los daos. 5