Optimización Sin Restricciones

Transcripción

1 Optimización Sin Restricciones Departamento de Matemáticas, CSI/ITESM 1 de mayo de 2009 Índice Introducción Óptimos de una Función Punto Crítico o Estacionario Teorema Clave Ejemplo 1: Clasificación de puntos Ejemplo Algunos comandos en la TI Resultados requeridos Introducción En esta sección se verá un método analítico para optimizar una función real en el caso que no existan restricciones sobre el dominio de la función y cuando la función admite segundas derivadas continuas. Esta técnica generaliza la técnica de optimización de funciones en una variable utilizando cálculo diferencial: primeramente se determina cuáles son los candidatos a óptimos, y posteriormente se aplica un criterio basado en la segunda derivada para determinar si corresponden a un máximo o mínimo relativo. Primeramente definiremos los puntos críticos, que son los únicos puntos candidatos a óptimos de la función. Seguido de esto, se formula el principal resultado que caracteriza los puntos máximos y mínimos locales e ilustraremos el proceso de optimización con un par de ejemplos detallados hechos a mano y usando la calculadora TI. En la última sección se listan los resultados teóricos que son los argumentos necesarios para el teorema que caracteríza los óptimos locales Óptimos de una Función Definamos el óptimo de una función. Definición Sea f una función de valor real definida sobre un conjunto D R n. Sea x 0 un punto en D, x 0 se dice un mínimo local de f si existe d > 0 tal que si x D y x o x < d entonces f(x) f(x 0 ). Por otro lado, se dice máximo local si se cumple f(x) f(x 0 ). En general, el concepto óptimo local se refiere a mínimos o máximos locales. El valor del óptimo local x 0 es f(x 0 ) Punto Crítico o Estacionario La siguiente definición nos da una condición necesaria que deben cumplir lo óptimos locales: Uno de nuestros resultados importantes asegura que los óptimos locales deben ser puntos estacionarios. La definición se ve como parte del proceso analítico de obtención de los óptimos de una función: la primera fase será determinar los

2 puntos críticos. Definición Sea f una función de valor real definida sobre un conjunto D R n. Un punto x 0 D se llama punto estacionario o punto crítico si todas las parciales de f se hacen cero cuando se evaluan en x 0. Es decir, si f(x 0 ) = 0 (1) Teorema Clave El resultado importante siguiente da las condiciones ncesarias y suficientes para los óptimos locales. Teorema 14.1 Sea f : D R n R. Suponga que f tiene segundas derivadas parciales continuas en D. Si x 0 es un punto estacionario de f entonces f tiene en x 0... un mínimo local si H f (x 0 ) es positiva definida. (Todos los valores propios de H f (x 0 ) son positivos) un máximo local si H f (x 0 ) es negativa definida. (Todos los valores propios de H f (x 0 ) son negativos) un punto silla si H f (x 0 ) tiene valores propios negativos y también positivos. Demostración Al aplicar la fórmula de Taylor de segundo orden a f(x) en el punto estacionario x = x 0 (Así se cumple f (x 0 ) = 0) nos da: f(x 0 + x) f(x 0 ) = 1 2 Q(x) + x 2 E 2 (x 0,x) en donde E 2 (x 0,x) 0 cuando x 0. Supongamos que todos los valores propios λ 1,λ 2,...,λ n de H f (x 0 ) son positivos. Sea δ = 1 2 mín {λ i}. Así todos los números λ 1 h,λ 2 h,...,λ n h son positivos. Se prueba fácilmente que z es vector propio de H f (x 0 ) asociado al valor propio λ i si y sólo si z es vector propio de la matriz simétrica [H f (x 0 ) hi] asociado al valor propio λ h. Por consiguiente y por el resultado anterior, x [H f (x 0 ) hi]x > 0 para todo x 0. Y por consiguiente Q(x) = x H f (x 0 )x > x (hi)x = h x 2 para todo x 0. Puesto que E 2 (x 0,x) 0 cuando x 0, existe un r positivo tal que E 2 (x 0,x) < 1 4 h para los vectores x que cumplen 0 < x < r. Entonces para tales vectores x tenemos 0 x 2 E 2 (x 0,x) < x 2 ( 1 4 h ) = 1 4 h x 2 < 1 2 Q(x) De esto se tiene que 1 2 Q(x) x 2 E 2 (x 0,x) > 0 2

3 Por otro lado E 2 (x 0,x) E 2 (x 0,x) implica que x 2 E 2 (x 0,x) x 2 E 2 (x 0,x). De donde obtenemos f(x 0 + x) f(x 0 ) = 1 2 Q(x) + x 2 E 2 (x 0,x) 1 2 Q(x) x 2 E 2 (x 0,x) > 0 para los vectores x que cumplen 0 < x < r. Así concluimos que x 0 corresponde a un mínimo local de f(x) Ejemplo 1: Clasificación de puntos Para la función: f(x, y) = 27x 1 9 x3 2 y 2 + y 4 clasifique los siguientes puntos: a) P ( 3, 1) b) Q(9, 1) c) R ( 9, 1) d) S (9, 0) e) T ( 9, 0) respecto a las opciones: 1) Punto crítico: mínimo relativo 2) Punto crítico sin información por el criterio de la Hessiana 3) No punto crítico 4) Punto crítico: máximo relativo 5) Punto crítico: punto silla Solución La idea es sustituir cada uno de los puntos en el gradiente para determinar si el punto es punto crítico. Sólo en caso de serlo, debemos sustituir en la Hessiana para ver si es máximo o mínimo local. En nuestro ejemplo f x f y = x2 = 4 y + 4y 3 f = < x2, 4 y + 4y 3 > En la figura 1 se ilustra: limpieza de las variables, la captura de f(x, y) y la obtención de las parciales. En las pantallas de la figura 2 se registran la captura de los puntos en la variable p y el cálculo de la matriz hessiana. Análisis de P ( 3, 1) Como f(p) =< 24, 0 > < 0, 0 > P( 3, 1) no es un punto crítico y por tanto no puede ser ni máximo ni mínimo relativo. En la figura 3 se ilustra la sustitución del punto P( 3, 1) y del Q(9, 1) en f. Análisis de Q(9, 1) Como f(q) =< 0, 0 > 3

4 Figura 1: Registro de f(x, y), f x y f y Figura 2: Registro de puntos y Cálculo de la hessiana Figura 3: Cálculo de f(p) y de f(q) 4

5 Figura 4: Criterio en Q(9, 1). Figura 5: Criterio en R( 9, 1). por tanto, Q(9, 1) es un punto crítico. Revisemos el criterio de la segunda derivada: [ ] 6 0 H f (Q) = 0 8 y así los eigenvalores propios de H f (Q) son -6 y 8. Por tanto, el punto Q(9, 1) es un punto silla. Los cálculos se ilustran en la figura 4. Análisis de R ( 9, 1) Como f(r) =< 0, 0 > por tanto, Q( 9, 1) es un punto crítico. Revisemos el criterio de la segunda derivada: [ ] 6 0 H f (R) = 0 8 y aís los eigenvalores propios de H f (R) son 6 y 8. Por tanto, el punto R( 9, 1) es un mínimo relativo. Los cálculos se ilustran en la figura 5. Análisis de S (9, 0) Como f(s) =< 0, 0 > por tanto, S(9, 0) es un punto crítico. Revisemos el criterio de la segunda derivada: [ ] 6 0 H f (S) = 0 4 y así los eigenvalores propios de H f (S) son -6 y -4. Por tanto, el punto S(9, 0) es un máximo relativo. Los cálculos se ilustran en la figura 6. Análisis de T ( 9, 0) Como f(s) =< 0, 0 > 5

6 Figura 6: Criterio en S(9, 0). Figura 7: Criterio en T( 9, 0). por tanto, T( 9, 0) es un punto crítico. Revisemos el criterio de la segunda derivada: [ ] 6 0 H f (T) = 0 8 y así los eigenvalores propios de H f (T) son 6 y 8. Por tanto, el punto T( 9, 0) es un mínimo relativo. Los cálculos se ilustran en la figura 7. Notas Observe en las pantallas de la TI el uso de la variable i: este truco permite el reuso de las entradas anteriores evitando así el volver a escribir los comandos, para ello basta volver a localizar el comando utilizando el cursor. Observe también el comando utilizado para sustituir valores por variables en una expresión sin necesidad de hacer una asignación Ejemplo 2 Veamos ahora un ejemplo donde se ilustra el proceso de optimización cuando no existen restricciones. El proceso consiste de dos fases. En la primera se determnan los puntos estacionarios resolviendo el sistema de ecuaciones f = 0. Los puntos buscados están dentro de este conjunto. La fase siguiente consiste en aplicar el criterio para determinar si son máximos o mínimos locales. Ejemplo Analice la función: f : R 2 R definida por: f(x, y) = x 3 + y 3 3 x y Solución Determinemos primero los puntos críticos. Para ello determinemos el gradiente de la función: f(x) =< 3 x 2 3 y, 3 y 2 3 x > Los puntos críticos satisfacen f(x) =< 0, 0 >, por tanto: 3 x 2 3 y = 0 y 3y 2 3 x = 0 6

7 De donde: x 2 y = 0 y y 2 x = 0 Despejando y de la primera y sustituyendo en la segunda obtenemos: (x 2 ) 2 x = x 4 x = x(x 3 1) = x(x 1)(x 2 + x + 1) = 0 Las raíces son x 1 = 0, x 2 = 1, x 3 = i 3, x 4 = i 3 Puesto que estamos sólo interesados en las raíces reales, sólo consideraremos a x 1 = 0 y x 2 = 1. críticos quedan: (como y = x 2 ): Los puntos x = 0, y = 0: P(0, 0) x = 1, y = 1: Q(1, 1) El siguiente paso es determinar cuáles son máximos o mínimos relativos y cuáles puntos silla. Para ello determinemos la matriz Hessiana de f: [ ] 6x 3 H f (x) = 3 6y Para P(0, 0): H f (P) = [ Da signos intercambiados: P(0, 0) es punto silla. Para Q(1, 1): H f (Q) = [ ] Valores propios: 3, 3 ] Valores propios: 9, 3 Todos positivos: Q(1, 1) es punto mínimo relativo. Para terminar de convencernos de que efectivamente el criterio es válido tomemos el punto P(0, 0). La matriz Hessiana tuvo valores propios α 1 = 3 y α 2 = 3. Tomemos el valor propio α 1. Para este valor propio de Hessiana evaluada en P(0, 0) tiene como vector propio v 1 =< 1, 1 >: esta dirección define en el punto P(0, 0) a la recta y = x. Si sobre esta recta consideramos a la función f(x, y) tenemos: F(x) = f(x, y = x) = x 3 + ( x) 3 3x( x) = 3x 2 Si analizamos esta función efectivamente descubriremos que en x = 0 la función tiene un mínimo. Resumiendo: en el punto P(0, 0) y en la dirección v 1 =< 1, 1 > la función f(x, y) tiene un minimo. Por otro lado, para el valor propio α 2 = 3 la Hessiana evaluada en P(0, 0) tiene como vector propio v 2 =< 1, 1 >: esta dirección define en el punto P(x, y) la recta y = x. Si sobre esta recta consideramos la función f(x, y) tenemos G(x) = f(x, y = x) = x 3 + (x) 3 3x(x) = 2x 3 3 x 2 Si analizamos esta función efectivamente descubriremos que en x = 0 la función tiene un máximo en x = 0. Resumiendo: en el punto P(0, 0) y en la dirección v 2 =< 1, 1 > la función f(x, y) tiene un máximo. De estos dos análisis concluimos que efectivamente la función f(x, y) tiene un punto crítico en P(0, 0). Repitamos los cálculos en la TI. En la figura 9 se ilustra: la limpieza de las variables x y y; el registro de la función f; el cálculo de las parciales de f; y la determinación de los puntos críticos. En la figura 10 se ilustra la salida de la solución del sistema de ecuaciones que define los puntos críticos. Por conveniencia, se recomienda utilizar el comando exp list para convertir la solución dada por la calculadora en un formato 7

8 Figura 8: Graficas de F(x) y de G(x) Figura 9: Preparación para el ejemplo 2. Figura 10: Puntos críticos de f. Figura 11: Salida de exp list y cálculo de H f. 8

9 Figura 12: Análisis de Q(1, 1) (p[1]) y de P(0, 0) (p[2]). más fácil de manipular. En la figura 11 se ilustra la salida del comando exp list el cual es una matriz donde las raíces están por renglones y el orden en las columnas está relacionado con el orden del segundo argumento de exp list. También se ilustra parcialmente el registro de la Hessiana de f en la variable h. En las pantallas de la figura 12 se muestran los resultados de sustituir los puntos en la matriz Hessiana de f y el cálculo de sus eigenvalores. Recuerde que el primer renglón contiene las componentes del punto Q(1, 1), mientras que el segundo renglón las de P(0, 0). Estos resultados confirman que Q(1, 1) es un mínimo relativo y que P(0, 0) es un punto silla Algunos comandos en la TI En esta lectura usamos ciertos comandos que quizá merecen una explicación: DelVar exp list d DelVar var1, var2, var3,... Este comando se usa para limpiar variables y es útil cuando se desea construir una expresión matemática que involucra a ciertas variables. Previo a definir la expresión se debe invocar este comando. Ud. puede teclear directamente la palaba delvar con minúsculas y su calculadora reconocerá el comando DelVar. Este comando puede ser invocado con una o variables variables. En caso de ser varias, éstas deben ir separadas por comas: los espacios no son necesarios. Este comando equivale entrar al var-link y limpiar la o las variables declaradas. exp list(exp, {var1, var2, var3,...}) Este comando es útil para convertir las soluciones a un sistema de ecuaciones que proporciona la calculadora TI en una matriz cuyos renglones son cada una de las raíces. Se asume que exp es una expresión del tipo var1 = v 11 andvar2 = v 12 and and varn = v 1N or. or var1 = v M1 andvar2 = v M2 and andvarn = v MN la cual es precisamente la forma de la salida del comando solve. La invocación de este comando crea la matriz: v 11 v 12 v 1N v M1 v M2 v MN 9

10 Hay dos maneras de conseguir el comando exp list. Una manera es ingresar desde catalog ( 2nd 2, en la TI voyage 200) y luego moviéndose con las flechas hasta localizar la función (se puede presionar la letra e para moverse al principio de las funciones que inician con e y después continuar con el movimiento del cursor). La otra consiste en teclear directamente el comando ubicando adecuadamente el caracter en el teclado ( 2nd Y, en la TI voyage 200). Otra cosa importante de notar es que el orden de los valores en la columna va acorde con el orden declarado en el segundo argumento (exp, {var1, var2, var3,...}) y no con el orden de aparición de las variables en la solución. exp var1 = v 1 and var2 = v 2 and Esta construcción permite sustituir los valores v i de las variables vari en exp. Esto es muy conveniente pues no ocurre una asignación de las variables que puedan contaminar los siguientes cálculos. El caracter se obtiene en la TI voyage 200 con la combinación 2nd K. d(exp, var) o d(exp, var,n) Este comando se usa para calcular derivadas de exp respecto a la variable var. El tercer argumento opcional n indica el número de veces consecutivas que se deriva exp. Note la diferencia entre escribir la letra d y y el comando d: El comando de derivación se obtiene en el menú de math en el submenú calculus, o con las teclas 2nd 8 en la TI voyage Resultados requeridos La teoría detrás de este método de optimización se basa en ciertos resultados sobre matrices y otros referentes a cálculo. El siguiente resultado es uno de los más importantes del álgebra lineal y es conocido como el teorema espectral. Una de las cosas soprendentes es que un concepto simple como el de simetría de una matriz pueda tener repercusiones tan importantes. La demostración de este resultado viene en el teorema 8.8 del libro de A. Basilevsky (1983): Applied Matrix Algebra in Statistical Sciences (North-Holland, New York). Los resultados sobre cálculo se relacionan con el desarrollo de Taylor (series de potencias) de una función en variables. Teorema 14.2 Sea A una matriz n n simétrica. Entonces todos los valores propios de A son reales y existe para R n una base ortogonal formada por vectores propios de A. Más aún, si x 1, x 2,...,x n forman una base ortogonal de vectores propios asociados a los valores propios λ 1,λ 2,...,λ n respectivamente entonces si P es la matriz cuya columna i es el vector x i y D es la matriz diagonal cuyo elemento (i, i) es λ i, entonces A = PDP Bajo el supuesto de segundas derivadas parciales continuas de una función en varias variables f, el teorema de Clairaut afirma que las derivadas parciales cruzadas son iguales y por tanto la matriz hessiana H f es simétrica. Y por tanto, evaluada en cualquier punto tendrá todos sus valores propios reales. El teorema espectral tiene un impacto inmediato sobre funciones llamadas formas cuadráticas: Teorema 14.3 Sea A = [a ij ] una matriz n n simétrica. Si definimos la forma cuadrática en la variable x =< x 1, x 2,...,x n > n n Q(x) = x Ax = a ij x i x j entonces: i=1 j=1 10

11 Q(x) > 0 para toda x 0 si y sólo si todos los valores propios de A son positivos. Q(x) < 0 para toda x 0 si y sólo si todos los valores propios de A son negativos. Demostración Por el teorema espectral existen C ortogonal y D diagonal n n tal que A = C DC por consiguiente Si definimos y = Cx entonces lo anterior queda: Q(x) = x Ax = x C DCx = (Cx) D (Cx) Q(x) = y Dy = n 2 λ i y i i=1 Note que al ser C ortogonal, C es invertible y por lo tanto x 0 si y sólo si y 0. Si todos los valores propios son positivos, claramente se tiene que Q(x) > 0 para toda x 0. Si todos los valores propios son negativos, claramente se tiene que Q(x) < 0 para toda x 0. Por otro lado: Si suponemos que Q(x) > 0 para toda x 0. Entonces tomamos x = C e i. Así y = e i y por tanto Q(x) = n λ i e 2 i = λ i > 0 i=1 Si suponemos que Q(x) < 0 para toda x 0. Entonces tomamos x = C e i. Así y = e i y por tanto Q(x) = n λ i e 2 i = λ i < 0 i=1 Esto completa la demostración Dado que calcular valores y vectores propios de una matriz es un proceso numérico complejo, el siguiente resultado cambia el proceso de la determinación de valores propios por el proceso directo de cálculo de determinantes. La demostración de este resultado vienen en la prueba del teorema del libro de P. Lancaster (1969): Theory of Matrices (Academic Press, New York). Teorema 14.4 Sea A una matriz simétrica n n. A tiene todos sus valores propios positivos si y sólo si todos los determinantes de las matrices principales primeras son positivos, esto es a 11 > 0, a 11 a 12 a 21 a 22 > 0,..., A > 0. 11

12 El teorema clave que da las condiciones suficientes que deben cumplir los óptimos locales para ser máximos relativos, mínimos relativos o puntos sillan se deduce de variantes del teorema de Taylor que da el desarrollo de potencias de una función. La prueba de este resultado aparece en la demostración del teorema del libro de A. Khuri (1993): Advanced Calculus with Applications in Statistics (John Wiley and Sons, New York) Teorema 14.5 Sea f : D R n R y sea B(x o ) una vecindad de x o D tal que B(x o ) D. Si todas las parciales de f existen y son continuas hasta orden r en B(x o ), entonces para cualquier punto x o + x B(x o ) se cumple r 1 1 f(x o + x) = f(x o ) + x i![ ] i f(xo ) + 1 [ x ] r f(zo ) r! i=1 donde z o está en la línea que une x o con x o + x. Demostración de la versión del teorema utilizada en la prueba de la suficiencia de las condiciones para máximos, mínimos y puntos silla y que se formula como sigue puede ser encontrada en la prueba del teorema 9.4 del libro de T. Apostol (1980): Calculus, Volumen 2 (Reverté, Barcelona). Teorema 14.6 Sea f(x) una función escalar definida en una n-bola B(x 0 ) y con derivadas parciales de segundo orden continuas en B(x 0 ). Entonces para todo x 0 + x B(x 0 ) se tiene f(x 0 + x) f(x 0 ) = f(x 0 ) x x H f (x 0 )x + x 2 E 2 (x 0,x) donde E 2 (x 0,x) 0 cuando x 0. Del teorema anterior se deduce que en un punto crítico x 0 el signo de f(x 0 + x) f(x 0 ) es el signo de x H f (x 0 )x. 12