Identificación y Control de Sistemas dinámicos usando Máquinas de Aprendizaje con Vectores de Soporte (SVM) Juan Carlos Mena Moreno

Transcripción

1 Identificación y Control de Sistemas dinámicos usando Máquinas de Aprendizaje con Vectores de Soporte (SVM) Juan Carlos Mena Moreno Facultad de Ingeniería Maestría en Ingeniería Pontificia Universidad Javeriana Cali 2010

2 Identificación y Control de Sistemas dinámicos usando Máquinas de Aprendizaje con Vectores de Soporte (SVM) Documento presentado para obtener el grado de: Magíster en Ingeniería con énfasis en Electrónica Juan Carlos Mena Moreno Director Dr. Ing. Hernán Darío Benítez Codirector Dr. Ing. Jesús Alfonso Lopez Sotelo Facultad de Ingeniería Maestría en Ingeniería Pontificia Universidad Javeriana Cali 2010

3

4 Este trabajo está dedicado: A Dios por darme la fuerza para continuar siempre adelante. A mis hijos por su apoyo incondicional. A mi compañera y amiga por su paciencia y empuje. A mi padre y a la memoria de mi madre por darme lo que soy. A toda mi familia. A mis Docentes. A todos mis amigos y compañeros por su apoyo.

5 Agradecimientos A Dios, fuente de toda energía, por permitirme culminar mis estudios y este trabajo de investigación. A mi familia por el apoyo incondicional y permanente. Agradezco en forma muy especial a los ingenieros y profesores Hernán Darío Benítez Ph.D, y Jesús Alfonso Lopez Ph.D., directores del proyecto, por su apoyo y orientación durante el desarrollo del mismo. A los ingenieros Cristiam Pantoja y Jimmy Tombe por su aporte en la realización de este proyecto. Al grupo de docentes del programa de postgrado de la Universidad Javeriana Cali, por su formación durante mi proceso académico. A la Universidad Autónoma por apoyarme en la realización de este proyecto de formación. Y a todas aquellas personas que de una u otra forma aportaron conocimiento, experiencia y amistad a lo largo de este proceso.

6 Resumen En el presente documento se da una descripción de las máquinas de aprendizaje redes neuronales artificiales multicapa (MLP) y máquinas de vectores de soporte (SVM) que fueron el pilar fundamental de esta investigación. Las SVM fueron el tema principal de esta investigación y su representación fue usada para el control e identificación de sistemas dinámicos comparando su desempeño con las MLP. Inicialmente se hizo la identificación con MLP y SVM de sistemas dinámicos simulados. Los resultados mostraron que tanto las SVM como las MLP pueden alcanzar prestaciones similares en cuanto al porcentaje de ajuste de las curvas de prueba. Posterior a la fase de identificación se diseñaron controladores por modelo inverso, para terminar con la identificación y control del nivel de un tanque de agua. Las simulaciones realizadas demostraron que las SVM presentan mejor desempeño que las MLP cuando se controla la planta por fuera del rango de la identificación de modelo inverso, y tienen respuestas muy similares si se trabajan en el rango de dicha identificación. En este proyecto el proceso de selección de los parámetros de las máquinas de aprendizaje, utilizadas tanto en la etapa de identificación como en la de control, fue realizado con técnicas de validación cruzada y algoritmos genéticos (AG), donde se observó que los algoritmos genéticos tienen prestaciones similares o superiores a la de la validación cruzada y con menos tiempo computacional. Por último un análisis en la complejidad de la redes obtenidas en las máquinas de aprendizaje y de incertidumbre en sus parámetros, mostró que en la mayoría de los casos los modelos obtenidos con las SVM tienen estructuras más grandes que las de la MLP, y que las estructuras de las SVM son muy sensibles a pequeñas variaciones en los parámetros, a diferencia de las MLP que presentaron mayor robustez a estos cambios.

7 Abstract In this document a description of the learning machines Multilayer Neural Networks (MLP) and Support Vector Machines is presented. The SVM were the main theme of this research and the SVM representation was used for control and identification of dynamic systems comparing their performance to MLP. At the first stage the MLP and SVM carried on identification on simulated dynamic systems. The results showed that SVM and MLP reach similar performance with respect to the percentage of adjustment to the test curves. After identification, controllers were designed by inverse model to end by identifying and controlling a tank water level. The simulations show that SVM present a better performance than MLP when the system is controlled outside the inverse model identification range and they have similar responses inside this range. In this project the parameters selection process of learning machines was executed with cross-validation techniques and genetic algorithms (GA) and it was observed that GA have similar and sometimes better performances than cross-validation with less computational cost. Finally, the analysis of complexity and the uncertainty in the parameters of learning machines showed that in most of the cases the model attained with SVM have larger structures than MLP and that the SVM structures are sensible to small parameter variation in contrast with MLP that presented a higher robustness to these changes.

8 Índice General Introducción Antecedentes Planteamiento del Problema Estructura del documento MARCO TEÓRICO Modelado de sistemas dinámicos Modelos matemáticos Identificación de sistemas Propiedades de los modelos identificados El proceso de identificación de sistemas Métodos de identificación Técnicas de identificación no paramétrica Técnicas de identificación paramétrica La estimación con mínimos cuadrados (LSM) Las máquinas de aprendizaje Las Redes Neuronales Perceptron Multicapa (MLP) Las Máquinas de aprendizaje con Vectores de Soporte (SVM) La SVM para clasificación La SVM de margen suave La SVM para regresión (SVMr) Funciones Kernel Ajuste de parámetros de las máquinas de aprendizaje Validación Cruzada Algoritmos evolutivos Esquema general de un Algoritmo Evolutivo (AE) Búsqueda y optimización El Algoritmo Genético (AG) i

9 ÍNDICE GENERAL Componentes de un AG continuo Resumen Identificación de sistemas con máquinas de aprendizaje Selección del software Estructura para la identificación de sistemas Identificación de sistemas lineales Identificación de un sistema de primer orden Ajuste de parámetros para la MLP Validación cruzada para SVM con Kernel lineal Algoritmos genéticos para SVM con Kernel lineal Ajuste de parámetros para SVM con Kernel polinomial Ajuste de parámetros para SVM con Kernel Gaussiano Identificación de un sistema de segundo orden Ajuste de parámetros para la MLP Ajuste de parámetros para SVM con Kernel lineal Ajuste de parámetros para SVM con Kernel polinomial Ajuste de parámetros para SVM con Kernel gaussiano Identificación de sistemas no lineales Identificación de planta no lineal Ajuste de parámetros para la MLP Ajuste de parámetros para SVM con Kernel lineal Ajuste de parámetros para SVM con Kernel polinomial Validación cruzada para SVM con Kernel gaussiano Identificación de planta no lineal Ajuste de parámetros para la MLP Ajuste de parámetros para SVM con Kernel lineal Ajuste de parámetros para SVM con Kernel polinomial Validación cruzada para SVM con Kernel gaussiano Análisis de incertidumbre en los parámetros y complejidad en la red Conclusiones Control de sistemas con máquinas de aprendizaje Estructura para el control por el modelo inverso Control del sistema no lineal Control del sistema no lineal Identificación y Control de un sistema real Identificación de la planta de nivel Simulación de las SVM con Labview Control de la planta de nivel ii

10 ÍNDICE GENERAL 4.5. Conclusiones Conclusiones y Trabajos Futuros Conclusiones Trabajos Futuros Bibliografía 126 iii

11 Índice de Figuras 2.1. Proceso para obtener identificación paramétrica Ajuste de una función seno con estructuras de diferente orden M Tabla de parámetros ω para estructuras de diferente orden M Ajuste de una función seno con N muestras y estructura de orden M = Variación de λ con estructura de orden M = Tabla de coeficienetes ω para M = Red neuronal artificial multicapa Separación lineal con múltiples soluciones Hiperplano óptimo y margen del conjunto de entrenamiento γ función objetivo 1 2 w w en el espacio R Variables de Holgura ξ Regresión lineal con error máximo ɛ Mapeo de Datos Estructura de las SVM Procedimiento de validación cruzada Función con varios mínimos Estructura de un algoritmo genético modelo autoregresivo con variables exógenas (ARX) Modelo autoregresivo con variables exógenas de primer orden Datos de entrada para la planta de primer orden Error en los cortes de la validación cruzada Datos de salida de la planta de primer orden Datos de prueba para la planta de primer orden Gráfica de respuesta para señal de prueba de la MLP para el sistema de primer orden Gráfica de respuestas de la SVM con Kernel lineal entrenada sin ruido para el sistema de primer orden Gráfica de respuestas de la SVM con Kernel lineal entrenada con ruido para el sistema de primer orden iv

12 ÍNDICE DE FIGURAS Gráfica de respuesta para señal de entrenamiento de la SVM con Kernel polinomial para el sistema de primer orden Gráfica de respuesta para señal prueba de la SVM con Kernel polinomial para el sistema de primer orden Gráfica de respuesta para señal de entrenamiento de la SVM con Kernel gaussiano para el sistema de primer orden Gráfica de respuesta para señal de prueba de la SVM con Kernel gaussiano para el sistema de primer orden Datos de entrada y salida de la planta de segundo orden Datos de prueba para la planta de segundo orden Gráfica de respuesta para señal prueba de la MLP para el sistema de segundo orden Gráficas de respuesta para señal de entrenamiento de la SVM con Kernel lineal para el sistema de segundo orden Gráficas de respuesta para la señal de prueba de la SVM con Kernel lineal para el sistema de segundo orden con ruido Gráfica de respuesta para señal de entrenamiento de la SVM con Kernel polinomial para el sistema de segundo orden Gráfica de respuesta para la señal de prueba de la SVM con Kernel polinomial para el sistema de segundo orden Gráfica de respuesta para señal de entrenamiento de la SVM con Kernel gaussiano para el sistema de segundo orden Gráfica de respuesta para la señal de prueba de la SVM con Kernel gaussiano para el sistema de segundo orden Modelo autoregresivo con variables exógenas para la planta no lineal Datos de entrada para la planta no lineal Datos de salida de la planta no lineal Datos de prueba para la planta de no lineal Gráfica de respuesta para señal de prueba de la MLP para el sistema no lineal Gráficas de respuesta para señal de entrenamiento de la SVM con Kernel lineal para el sistema no lineal Gráficas de respuesta para la señal de prueba de la SVM con Kernel lineal para el sistema no lineal Gráfica de respuesta para señal de entrenamiento de la SVM con Kernel polinomial para el sistema no lineal Gráficas de respuesta para la señal de prueba de la SVM con Kernel polinomial para el sistema no lineal Gráfica de respuesta para señal de entrenamiento de la SVM con Kernel gaussiano para el sistema no lineal Gráficas de respuesta para la señal de prueba de la SVM con Kernel gaussiano para el sistema no lineal v

13 ÍNDICE DE FIGURAS Datos de entrada y salida de la planta no lineal Datos de prueba para la planta de no lineal Gráfica de respuesta para señal de prueba de la MLP para el sistema no lineal Gráficas de respuesta para señal de entrenamiento de la SVM con Kernel lineal para el sistema no lineal Gráficas de respuesta para la señal de prueba de la SVM con Kernel lineal para el sistema no lineal Gráfica de respuesta para señal de entrenamiento de la SVM con Kernel polinomial para el sistema no lineal Gráficas de respuesta para la señal de prueba de la SVM con Kernel polinomial para el sistema no lineal Gráfica de respuesta para señal de entrenamiento de la SVM con Kernel gaussiano para el sistema no lineal Gráficas de respuesta para la señal de prueba de la SVM con Kernel gaussiano para el sistema no lineal Gráficas de respuesta para el sistema no lineal 1 (incertidumbre en parámetros) Comparación en la complejidad de la red SVM y la MLP Control por modelo inverso Esquema de aprendizaje del modelo inverso Control por modelo inverso con Matlab Datos de entrada-salida de la planta no lineal Control por modelo inverso para comparar con Simulink de Matlab Respuesta de los controladores con modelo inverso entrenados con datos sin ruido para la planta no lineal Respuesta de los controladores con modelo inverso entrenados con datos con ruido para la planta no lineal Respuesta de la de la planta no lineal 1 controlada, para escalones fuera del rango de identificación Datos de entrada de la planta no lineal Datos de salida de la planta no lineal Respuesta de los controladores con modelo inverso entrenados con datos sin ruido para la planta no lineal Respuesta de los controladores con modelo inverso entrenados con datos con ruido para la planta no lineal Respuesta de la de la planta no lineal 2 controlada, para escalones fuera del rango de identificación Foto planta de nivel Simulink para la toma de datos de la planta de nivel Simulación del modelo SVM en Labview vi

14 ÍNDICE DE FIGURAS Simulación del modelo SVM en Labview (HMI) Control con SVM en Labview Respuesta de la salida de la planta no nivel vii

15 Capítulo Introducción La obtención de modelos para representar la naturaleza ha sido tema de estudio para matemáticos, físicos e ingenieros desde inicios de la humanidad. El modelado de sistemas permite el desarrollo de pruebas para explicar y hacer predicciones del comportamiento sin la necesidad de experimentar directamente sobre el proceso real, evitando así afectar su normal funcionamiento. En el control automático de procesos el modelo matemático es de gran importancia y está en estrecha relación con el controlador, debido a que una inadecuada representación del sistema entregada por el modelo matemático ocasiona un mal funcionamiento del sistema si el control no está capacitado para corregir este tipo de error. No obstante las múltiples técnicas y procedimientos existentes para obtener el modelo de un sistema, se presenta siempre un cierto grado de discordancia entre el modelo encontrado y el sistema físico real, más aun cuando se tiene poco conocimiento del sistema a modelar. En este tipo de circunstancias cuando el conocimiento del sistema es mínimo se debe recurrir a técnicas de identificación (término que se utiliza para describir la obtención del modelo de forma experimental), para tratar de encontrar el modelo que más se aproxime al sistema real. Adicionalmente el diseño de controladores no-lineales se ha convertido en una rama de la Ingeniería de Control, dada su complejidad. Para construir un controlador no-lineal se hacen suposiciones válidas acerca de la estructura del controlador y del sistema a controlar. Estas suposiciones nos llevan frecuentemente al desarrollo de controladores no lo suficientemente adecuados puesto que los efectos de la incertidumbre no han sido tenidos en cuenta a la hora de diseñar el controlador. Una de las tantas formas de abordar la identificación y el control de los sistemas dinámicos lineales o no lineales es usando las máquinas de aprendizaje, como se expone a continuación Antecedentes La identificación de sistemas se define como el proceso por medio del cual se obtiene un modelo para un sistema dinámico partiendo de la información de la entrada y de la salida del mismo. Para Trejo (2006) las Redes Neuronales Multicapa (MLP) son sin duda en las últimas décadas 1

16 1.2 Antecedentes el método más popular para la identificación de procesos industriales en/o fuera de línea porque son aproximadores universales de cualquier función (lineal o no lineal) como se ha demostrado en Cybenko (1989), en Hornik y otros (1989) y en Leshno y otros (1993). Formalmente esta propiedad se expresa en Haykin (1990), así : Sea ϕ(.) una función no constante, limitada y monótonamente creciente. Sea I p un hipercubo unitario p-dimensional [0, 1] p. El espacio de funciones continuas en I p es denotado por C(I p ). Entonces dada una función f C(I p ) y ɛ > 0, existe un entero M y conjuntos de constantes reales α i, θ i y w i,j donde i = 1,..., M y j = 1,..., p tal que se puede definir F (x 1,..., x p ) = M p ωjx i j θ i (1.1) i=1 j=1 como una realización aproximada de la función f(.); tal que F (x 1,..., x p ) f(x 1,..., x p ) < ɛ (1.2) Para todo x 1,..., x p Ip El teorema anterior garantiza que una red MLP pueda aproximar cualquier función de un espacio de entrada de dimensión P a un espacio de salida de dimensión M. En el artículo clásico de Narendra y Parthasarathy (1990) se usaron las redes neuronales multicapa para la identificación de un sistema dinámico, desde entonces se ha aplicado con éxito dicha estructura para identificar diferentes tipos de sistemas como los que se exponen en Zufiria (1995), Bittanti y Piroddi (1997), Constant y otros (1999), y Doherty (1999), donde el proceso para obtener un modelo neuronal se ha vuelto más preciso y rápido debido al surgimiento de métodos de aprendizaje más sofisticados como los basados en técnicas del gradiente conjugado y el método de Gauss-Newton presentados en Nelles (2001) o aplicando la metodología de Levenberg-Marquardt mostrado en Hagan y Menhaj (1994). La comunidad académica reconoce a las Redes Neuronales MLP como una opción para la identificación de sistemas no-lineales y la obtención de su modelo como se expresa en Sjöberg y otros (1995), Jonas Sjöberg y Juditsky (1995), y Önder Efe y Kaynak (1999). En la literatura se pueden conseguir libros donde se trabaja de manera exhaustiva el uso de este tipo de redes para la identificación y el control de sistemas dinámicos, por ejemplo los expuestos en Hryces (1997) y Norgaard y otros (2000). Adicionalmente las MLP pueden evitar el problema de dimensionalidad para realizar mapeo de sistemas con muchas entradas y salidas (Sistemas MIMO), en contraste con las expansiones polinomiales utilizadas en sistemas de una entrada y una salida (SISO), como se muestra en Barron (1993). Esta propiedad de aproximador universal de cualquier función también ha sido utilizada para el diseño de controladores lineales y no lineales de sistemas dinámicos usando el modelo inverso del sistema a controlar. 2

17 1.2 Antecedentes Para Jonas Sjöberg y Juditsky (1995), los términos como control neuronal adaptativo directo o indirecto, control neuronal óptimo, aprendizaje por refuerzo, control predictivo basado en modelos, y control por modelo interno, se desprenden de las estrategias de control directo basados en modelos con redes neuronales. El primer trabajo en control directo de una planta usando redes neuronales fue desarrollado por Barto y otros (1983), en este se hace control directo de un péndulo invertido a través de una red neuronal con aprendizaje por refuerzo, la cual fue entrenada para aprender el modelo inverso directamente mediante el intercambio de las entradas y las salidas. La primera aplicación de una estrategia de control neuronal basada en modelos es presentada en Nguyen y Widrow (1990) donde se realiza una aplicación para maniobrar un camión con remolque, para este propósito procedió en dos etapas: primero se usó una red entrenada para emular la dinámica del camión-remolque, y posteriormente con este modelo, se entrenó la red backpropagation del controlador neuronal. Dentro del campo industrial se han realizado innumerables aplicaciones encaminadas a la automatización de procesos. Autores como Kuwato y otros (1987) y Holland y Snaith (1991) han trabajado en control de trayectorias de robots industriales aplicando sistemas jerárquicos de redes neuronales. Aunque en las últimas décadas las MLP han sido el método más popular para la identificación de procesos, existen algunos inconvenientes al usarlas tales como: seleccionar la estructura adecuada de la red o la posibilidad de quedarse estancada en un mínimo local e incluso sufrir una convergencia lenta por usar el método de entrenamiento del gradiente descendiente y propagación hacia atrás. Estos inconvenientes han hecho que se busquen otras alternativas como las Máquinas de aprendizaje con Vectores de Soporte (SVM), que son máquinas de aprendizaje lineal que usan algoritmos de entrenamiento estadístico y fueron establecidas por Vapnik (1995) para el problema de reconocimiento de patrones y ampliado posteriormente por él mismo para el problema de estimación regresiones en Vapnik (1998). Las SVM se han fortalecido con el desarrollo de aplicaciones que han demostrado su eficiencia en algunos problemas específicos entre los que están: problemas de detección de rostros Osuna y otros (1997), el reconocimiento de patrones Burgues (1998), la estimación de regresiones Smola y Schölkopf (1998), la categorización de texto Joachims (1999), problemas reconocimiento de voz, Solomonoff y otros (2005), en el análisis de proteínas Kong y otros (2007) y otros. Las SVM al igual que las MLP tienen una excelente capacidad de generalización pero a diferencia de estas son máquinas lineales, por lo que deben de utilizar el operador Kernel ( mapeo de los datos en el espacio de las entradas que no son linealmente separables, a un espacio de características de mayor dimensión pero linealmente separables ) y el principio de minimización del riesgo estructural para producir algoritmos no lineales de aprendizaje supervisado. La aplicación de este operador Kernel para la identificación de un sistema no lineal es mostrado en Zhang y otros (2004), y en Rong y otros (2005) se realizó la comparación entre diferentes Kernel s (Polinomial, Gaussiano, Fourier, Spline), y se demostró que el Kernel Gaussiano tiene ciertas ventajas tanto en la aproximación de la función como computacionales. 3

18 1.3 Planteamiento del Problema Una variación de las SVM de Vapnik usada para identificación de sistemas es mostrada en Ferdinand van der Heijden y Tax (2004) denominada LS-SVM (least squares support vector machine) donde la función costo de optimización no es valor absoluto del error sino el error cuadrático L(y, f(x, ω)) = (y f(x, ω)) 2. En este documento se muestra que mientras las SVM estándar han sido desarrolladas solo para problemas estáticos las LS-SVM han sido extendidas a modelos recurrentes. A pesar de las ventajas expuestas también se muestra que las LS-SVM tienen el inconveniente de dar modelos poco esparcidos, aunque este problema puede ser tratado con un procedimiento de poda, donde gradualmente se omiten los datos menos importantes del conjunto de entrenamiento y re-estimando de nuevo la LS-SVM. Aunque las SVM han sido limitadas a la identificación fuera de línea, algunos trabajos se están realizando para realizar la identificación en línea como en Suykens (2001) y Kivinen y otros (2001). Desde el punto de vista de control las SVM han sido usadas tanto en técnicas de control predictivo en Weimin y Daoying (2005) y Zhejing y otros (2007), como en control por modelo inverso, y control por modelo interno (IMC) no lineal nan Wang y fang Yuan (2007) Planteamiento del Problema Las MLP tienen la propiedad de ser aproximadores universales y son usadas en la identificación y/o control de sistemas dinámicos. Sin embargo en Bishop (2006) se muestran los inconvenientes cuando estas son usadas en la estimación de regresiones. Problemas como pérdida de generalidad por la dificultad de seleccionar en forma precisa la estructura adecuada de la red neuronal por parte del diseñador debido al dilema (bias/variance), por lo cual, si la red es muy pequeña en comparación a la cantidad de datos esta no puede aprender la relación entrada/salida (underfitting), y si es demasiado grande aprende el ruido de la señal (Overfitting). Adicionalmente para el ajuste de los pesos de la red se usan métodos como el gradiente descendiente para la propagación hacia atrás (backpropagation), lo que provoca una convergencia lenta y la posibilidad de quedarse estancada en un mínimo local. Estas limitaciones han hecho que en los últimos años se genere un creciente desarrollo en aplicaciones que usan máquinas de aprendizaje con algoritmos de entrenamiento estadístico denominadas máquinas de aprendizaje con Vectores de Soporte (SVM) que al igual que las redes neuronales pueden aprender cualquier función, pero a diferencia de estas tienen un respaldo amplio desde un punto de vista teórico. Otra diferencia importante de las SVM con respecto a las MLP, es que estas son máquinas de aprendizaje lineal que utilizan operadores Kernel para aplicarlas al aprendizaje de funciones no lineales. A pesar de las ventajas mencionadas las SVM sufren de problemas como la selección de la mejor función Kernel y de problemas computacionales al trabajar la identificación sobre un conjunto muy 4

19 1.4 Estructura del documento poblado de datos ya que para trabajar con las SVM hay que solucionar problemas de optimización con programación cuadrática (funciones de costo convexas como las trabajadas en Platt (1999) y Platt (2000)) que dependen del número de coeficientes el cual es igual al número de entradas o datos de entrenamiento, Cristianini y Shawe-Taylor (2004). El problema de investigación se puede formular como: cuando se aplican a la identificación y el control de sistemas dinámicos de procesos industriales las SVM, se puede obtener un mejor desempeño en la identificación (menor tiempo de entrenamiento, menor error entre la salida real y del modelo, análisis de residuos) y en el control (menor esfuerzo de control, suavidad de la acción de control, menor error entre la referencia y la salida del sistema) al compararse con las MLP? En por esta razón que se planteó como objetivo de estudio analizar el desempeño de las máquinas de aprendizaje con vectores de soporte (SVM) en la identificación y el control de sistemas dinámicos Estructura del documento El presente trabajo consta de cinco capítulos: En el primer capítulo se presentó la introducción al trabajo de investigación, donde se expone la problemática, la importancia y los objetivos del proyecto. En el capítulo dos se presenta el marco teórico necesario para hacer la identificación y control de sistemas, definiendo identificación paramétrica y no paramétrica, y toda la teoría básica necesaria para abordar las máquinas de aprendizaje MLP y SVM. En el capítulo tres se muestran los resultados comparativos entres las RNA y las SVM en la identificación de sistemas simulados usando máquinas de aprendizaje, explicando el procedimiento para realizar este proceso de identificación. En el capítulo cuatro se muestran los resultados comparativos entres las RNA y las SVM en el control de sistemas usando máquinas de aprendizaje, se trabajará con sistemas no lineales simulados y con la identificación y control de un sistema físico, explicando el procedimiento para realizar este proceso de control. En el capítulo cinco se presentan las conclusiones generales del proyecto. 5

20 Capítulo 2 MARCO TEÓRICO El modelado matemático y el control de sistemas dinámicos juegan un papel importante en diversos campos de aplicación que abarcan desde las ciencias sociales hasta las de ingeniería, y tienen muchas facetas y diferentes raíces como: las ciencias fundamentales que rigen los sistemas ya sean físicas, químicas, eléctricas u ópticas como se muestra en Ogata (2003), hasta los importantes aportes de la matemática estadística como en Ferdinand van der Heijden y Tax (2004) y el gran impulso en las últimas décadas de la inteligencia artificial como se muestra en Kecman (2001) Modelado de sistemas dinámicos En Ljung (1999) se define un sistema dinámico como el objeto en el que variables de diferentes clases interactúan y producen señales observables. Las señales observables que son de interés son usualmente llamadas salidas. El sistema es también afectado por estímulos externos. Las señales externas que pueden ser manipuladas por el observador son llamadas entradas. Las otras son llamadas perturbaciones y pueden ser divididas en aquellas que son medidas directamente y aquellas que solo son observadas a través de su influencia en la salida. El uso de modelos matemáticos es inherente en todos los campos de la ingeniería y de la física, de hecho, una gran parte del campo de la ingeniería trata con la elaboración de diseños basados en modelos matemáticos. Estos son instrumentos para simulación y predicción, los cuales son extensivamente usados en todos los campos, incluyendo áreas como Economía, Ecología, y Biología Modelos matemáticos Los modelos matemáticos de sistemas dinámicos pueden ser clasificados de varias formas. Tales modelos describen como el efecto de una señal de entrada influenciará el comportamiento del sistema en el tiempo subsiguiente. En Söderstrom y Stoica (2001) se clasifican como: 6

21 2.2 Identificación de sistemas Modelos de una entrada- una salida (SISO) y modelos multivariables (MIMO). Los modelos SISO se refiere a los procesos donde se entrega una descripción de la influencia de una entrada sobre una salida. Al involucrar más variables se obtiene un modelo multivariable. Modelos lineales y Modelos no-lineales. Un modelo es lineal si la salida depende linealmente de la entrada y posibles perturbaciones, de otra forma es no lineal. En Ogata (2003) se explica el principio de superposición y de homogeneidad, que caracterizan a los sistemas lineales. Modelos invariantes en el tiempo y modelos variantes en el tiempo. Los modelos invariantes en el tiempo son ciertamente los más comunes. Para los modelos variantes en el tiempo son necesarios métodos de identificación especial. En tales casos donde el modelo tiene parámetros que cambian con el tiempo, frecuentemente se habla de seguidores (tracking) o identificación en tiempo real cuando se ajustan los parámetros de modelo. Modelos en el dominio del tiempo y modelos en el dominio de la frecuencia. Ejemplos típicos de modelos en el dominio del tiempo son las ecuaciones diferenciales o en diferencia, mientras que una densidad espectral o un diagrama de bode son ejemplos de modelos en el dominio de la frecuencia. Modelos de tiempo discreto y modelos de tiempo continuo. Un modelo de tiempo discreto describe la relación entre entradas y salidas con puntos discretos en el tiempo. Se asume que estos puntos son equidistantes y que el tiempo entre dos puntos será usado como la unidad de tiempo (periodo de muestreo). Por lo tanto el tiempo t tomará los valores 1, 2, 3,... para modelos de tiempo discreto. Se debe anotar que modelos de tiempo continuo, tales como una ecuación diferencial, pueden ser muy bien ajustados a los datos en tiempo discreto. Modelos de parámetros concentrados y modelos de parámetros distribuidos. Modelos concentrados son descritos por/o basados en un número finito de ecuaciones diferenciales o en diferencias ordinarias. Si el número de ecuaciones es infinita o el modelo es basado en ecuaciones diferenciales parciales, entonces es llamado un modelo de parámetros distribuidos. Modelos deterministas y modelos estocásticos. Para un modelo determinista la salida puede ser exactamente calculada tan pronto como la señal de entrada es conocida. En contraste, un modelo estocástico contiene términos aleatorios que hacen imposible un cálculo exacto. Los términos aleatorios pueden ser vistos como una descripción de perturbaciones Identificación de sistemas Básicamente existen dos formas de construir modelos matemáticos: Modelado matemático. Este es un método analítico. Las leyes básicas de la física (tales como las leyes de Newton y ecuaciones de balance) son usadas para describir el comportamiento 7

22 2.2 Identificación de sistemas dinámico de un fenómeno o un proceso. Buenos libros para este tipo de modelado son Ogata (2003), Dorf y Bishop (2005). Identificación de sistemas. Este es un método experimental. En este caso algunos experimentos son realizados en el sistema; un modelo es entonces ajustado para los datos almacenados por la adecuada asignación de valores numéricos a sus parámetros. Para Ljung (2010) la identificación de sistemas es el arte y ciencia de construir modelos matemáticos de sistemas dinámicos desde los datos observados de entradasalida. Puede ser vista como la interface entre el mundo real de las aplicaciones y el mundo matemático de la teoría del control y el análisis. Es así que, esta es una necesidad ubicua para las aplicaciones exitosas. La identificación de sistemas es un tema bastante amplio, con diferentes técnicas que dependen del carácter del modelo a ser estimado: lineal, no lineal, híbrido, no paramétrico, etc. Al mismo tiempo, el área puede ser caracterizada por un pequeño número de principios rectores, por ejemplo, por la búsqueda de descripciones que soporten las decisiones adecuadas dentro de la complejidad del modelo, la información contenida en los datos, y la validación efectiva. Söderstrom y Stoica (2001) expresa que en muchos casos los procesos son tan complejos que no es posible obtener modelos razonables usando solo conocimientos profundos en física (usando los principios básicos, por ejemplo, ecuaciones de balance). En tales casos se hace necesario usar técnicas de identificación. Frecuentemente ocurre que a pesar de que un modelo es derivado desde las leyes físicas contiene un número de parámetros desconocidos. En este caso pueden ser aplicados métodos de identificación para estimar los parámetros desconocidos Propiedades de los modelos identificados En el libro de Söderstrom y Stoica (2001) se exponen algunas propiedades que tienen los modelos obtenidos usando la identificación de sistemas, en contraste a los modelos basados solamente en el modelado matemático (derivado desde las leyes físicas). Tienen una validez limitada (son validos para un cierto punto de trabajo, un cierto tipo de entrada, un cierto proceso, etc.). Dan poco conocimiento físico, puesto que en la mayoría de los casos los parámetros de modelo no tienen significado físico directo. Los parámetros son solo usados como herramienta para dar una buena descripción del comportamiento del sistema completo. Estos son relativamente fáciles de construir y usar. En este libro también se muestra que la identificación no es una metodología fácil de entender, las razones para esto es porque conlleva. 8

23 2.2 Identificación de sistemas La selección de una estructura apropiada del modelo que puede ser un problema difícil, en especial si la dinámica del sistema es no lineal. Sin duda hay datos imperfectos en la vida real. El hecho de que los datos almacenados estén perturbados por ruido se debe tomar en consideración. El proceso puede variar con el tiempo, lo cual puede causar problemas si se intenta describir con un modelo invariante en el tiempo. Puede ser difícil o imposible medir algunas variables/señales que son de vital importancia para el modelo El proceso de identificación de sistemas Söderstrom y Stoica (2001) explica que en términos generales, un experimento de identificación es realizado excitando el sistema (usando algún tipo de señal de entrada tal como un escalón, una sinusoide o una señal aleatoria) y se observa su entrada y salida sobre un intervalo de tiempo. Estas señales son normalmente almacenadas en un medio masivo de almacenamiento en el computador para el subsecuente procesamiento de la información. Se trata de ajustar un modelo paramétrico del proceso a la secuencia de entradas y salidas almacenadas. El primer paso es determinar una forma apropiada del modelo (típicamente una ecuación diferencial lineal de un cierto orden). Como un segundo paso algún método basado en la estadística es usado para estimar los parámetros desconocidos del modelo (tales como los coeficientes en la ecuación diferencial). En la práctica, la estimación de la estructura y parámetros es hecha de manera iterativa. Esto significa que una estructura tentativa es elegida y los correspondientes parámetros son estimados. El modelo obtenido es entonces validado para ver si es una apropiada representación del sistema. Si este no es el caso, algún modelo de estructura más compleja debe ser considerado, sus parámetros estimados, el nuevo modelo es validado. El procedimiento es ilustrado en la figura 2.1, donde el reinicio después de la validación del modelo da un esquema iterativo Métodos de identificación Para Ljung (1999), un modelo lineal invariante en el tiempo puede ser descrito por su función de transferencia (métodos paramétricos) o por su correspondiente respuesta al impulso (métodos no paramétricos) Técnicas de identificación no paramétrica Para Söderstrom y Stoica (2001), tales métodos de identificación son caracterizados por la propiedad de que los modelos resultantes son curvas o funciones las cuales no son necesariamente representados por un vector de parámetros de dimensión finita. Existen los siguientes métodos: 9

24 2.2 Identificación de sistemas Figura 2.1: Proceso para obtener identificación paramétrica Inicio Diseño del Experimento Conocimiento a priori Uso proyectado del Modelo Realizar el experimento Recolectar Datos Determinar/ Elegir la estructura del modelo Elegir método Estimar parámetros Validación del Modelo No Modelo aceptado? Conjunto de datos nuevos Si Final Söderstrom y Stoica (2001), p. 5. Análisis transitorio. La entrada es un escalón o un impulso y la salida registrada constituye el modelo. Es muy sensible al ruido y puede solo dar un modelo burdo. Es posible hallar la función de transferencia del modelo (modelo paramétrico) desde estas gráficas debido a que esta respuesta por si misma dará algunas propiedades características (constante de tiempo dominante, factor de amortiguamiento, ganancia estática, etc.) del proceso. Análisis en frecuencia. La entrada es una sinusoide que varía su frecuencia en un rango de interés. Para un sistema lineal en estado estable la salida también será sinusoidal. El cambio en amplitud y fase dará la respuesta en frecuencia el cual es el modelo entregado, y puede ser presentado como un diagrama de bode o una representación equivalente. Este requiere más bien un proceso largo de identificación. También es posible hallar una función de transferencia del modelo (modelo paramétrico). Análisis de correlación: La entrada es ruido blanco. Una función normalizada de covarianza cruzada entre la salida y la entrada entregará una estimación de la función de pesos. Este es más bien insensible al ruido aditivo de la señal de salida. 10

25 2.2 Identificación de sistemas Análisis espectral. Puede ser aplicado con entradas arbitrarias. El modelo es obtenida en forma de un diagrama de bode (u otra forma equivalente). La respuesta en frecuencia puede ser estimada para entrada arbitrarias dividiendo el espectro cruzado entre la salida y entrada. Los métodos no paramétricos son fáciles de aplicar pero entregan modelos de precisión moderada. Si se necesita alta precisión se debe usar un método paramétrico. En tales casos los métodos no paramétricos pueden ser usados para conseguir un primer modelo burdo, el cual puede dar información útil sobre cómo aplicar el método paramétrico Técnicas de identificación paramétrica Cuando la información que se tiene de la dinámica de un proceso es mínima o nula se debe construir los modelos matemáticos del sistema y en algunos casos del controlador de forma experimental a través de un proceso de identificación basándose en las entradas y salidas observadas. Este tipo de modelos matemáticos son denominados modelos de caja negra Black Box, Suykens y otros (1995). Para Söderstrom y Stoica (2001), son denominados métodos de mínimos cuadrados. En general, un método paramétrico puede ser caracterizado como el mapeo desde los datos almacenados al de un vector de parámetros estimados. En Ljung (1999) un sistema lineal con perturbación aditiva se expresa como: y(t) = G(q)u(t) + H(q)e(t) (2.1) Donde {e(t)} es una secuencia de variables aleatorias independientes con valor medio cero y varianza λ. G(q) y H(q) son filtros de orden finito que modelan la parte determinista y estocástica del proceso. Con esta representación los errores del modelo en el proceso de identificación se incluyen en el término e(t). La forma mas rápida para parametrizar G y H es representarlos como funciones racionales y hacer los parámetros los coeficientes del numerador y denominador. Para tal propósito se debe entonces escoger una estructura que se denomina caja negra, un número finito de parámetros que relacionan las señales de interés del sistema (entradas, salida y perturbaciones e) y la elección de algún criterio de ajuste de los parámetros. En el libro de Benoît (2005) se muestran varias estructuras tipo caja negra de modelos lineales que relacionan estas señales del sistema, entre estas estructuras están: los modelos de media ajustada (MA), los modelos de error de salida (OE), Modelos autoregresivos con variables exógenas (ARX), los modelos autoregresivos de media móvil y variables exógenas (ARMAX) y los modelos Box-Jenkins (BJ). En la tabla 2.1 se puede observar cómo se relacionan las diferentes señales del sistema para cada una de estas estructuras. En la tabla 2.1 las funciones A(q ( 1) ), B(q ( 1) ), C(q ( 1) ) y D(q ( 1) ), son polinomios en el operador de desplazamiento hacia atrás q ( 1), donde y(t), u(t), y e(t) son las salidas, entradas y ruido, respectivamente. 11

26 2.2 Identificación de sistemas Tabla 2.1: Estructuras lineales para identificación paramétrica ESTRUCTURA FUNCIÓN REPRESENTACIÓN Modelos en el que H(q) = 0 MA y(t) = B(q 1 )u(t nk) + e(t) Se le denomina también modelo de la respuesta al impulso (FIR). e u B F + + y OE y(t) = B(q 1 ) F (q 1 ) u(t nk) + e(t) En este caso G(q 1 ) = B(q 1 ) F (q 1 ) q nk donde F (q 1 ) es un polinomio autoregresivo de orden nf: F (q 1 ) = 1 + f 1 q f nf q nf e u B F + + y Modelos en el que H(q) 0 ARX La relación entrada salida está descrita por una ecuación en diferencia lineal de la forma: e y(k)+a 1 y(k 1)+...+a na y(k n a) = b 1 u(k)+...+b nb u(k n b )+e(k), Se puede representar como: A(q 1 )y(t) = B(q 1 )u(t nk) + e(t) Se u B A y considera que la parte determinista y la parte estocástica tienen el mismo denominador G(q 1 ) = B(q 1 ) A(q 1 ) q nk y H(q 1 ) = 1 A(q 1 ) el polinomio A(q 1 ) es autoregresivo de orden na: A(q 1 ) = 1 + a 1 q a naq na ARMAX A(q 1 )y(t) = B(q 1 )u(t nk) + C(q 1 )e(t) En este caso G(q 1 ) = B(q 1 ) A(q 1 ) q nk y H(q 1 ) = C(q 1 ) A(q 1 ) donde C(q 1 ) es un polomio parecido a A de orden nc e C u B A y BJ y(t) = B(q 1 ) F (q 1 ) u(t nk) + C(q 1 ) D(q 1 ) e(t) donde G(q 1 ) y H(q 1 ) no tienen parámetros comunes e C D u B F + + y 12

27 2.2 Identificación de sistemas El procedimiento para realizar la identificación paramétrica mostrado en la figura 2.1, consiste en primero elegir la estructura deseada del modelo (MA, OE, ARX, etc.), lo cual se facilita en gran medida si se tiene un cierto conocimiento sobre las leyes físicas que rigen el proceso, posteriormente se procede a la estimación de los parámetros de la estructura que mejor ajustan la respuesta del modelo a los datos de entrada-salida obtenidos experimentalmente. Dependiendo de la estructura del modelo elegido, la estimación de estos parámetros ˆθ puede ser obtenido algebraicamente o por un proceso de optimización Benoît (2005). Por ejemplo en los casos FIR y ARX, los modelos son lineales en los parámetros y se pueden ser calculados directamente con el método de mínimos cuadrados. Con los otros modelos se requiere un proceso de optimización numérica La estimación con mínimos cuadrados (LSM) Ciertamente este es un concepto muy común en la estadística. Sus orígenes datan desde Gauss (1809), quien usó esta técnica para calcular la órbita de los planetas. La regresión lineal es el tipo más sencillo de modelo paramétrico. La estructura del modelo correspondiente puede ser escrito como y(t) = ϕ T (t)θ (2.2) Donde y(t) es una cantidad medible, ϕ(t) es un vector n-dimensional de cantidades conocidas y θ un vector n-dimensional de parámetros desconocidos. Los elementos del vector ϕ(t) son frecuentemente llamados variables de regresión o regresores (se escogen valores de entrada y salida atrasadas) mientras que y(t) es llamada variable regresada. Se denomina θ el vector de parámetros. La variable t toma valores enteros. Algunas veces t denota la variable tiempo pero no necesariamente es el caso. Se puede extender directamente el modelo 2.2 al caso multivariable, entonces y(t) = Φ T (t)θ (2.3) Donde y(t) es un vector p-dimensional, Φ(t) una matriz (n,p)-dimensional y θ un vector n-dimensional. Ejemplos de modelos de regresión son: Una tendencia polinomial: Supóngase que el modelo es de la forma y(x) = w 0 + w 1 x w M x M = M j=0 w jx j donde M es el orden del polinomio y w 0,..., w M los coeficientes desconocidos. Se nota que, aunque la función polinomial y es una función no lineal de x, es una función lineal de los coeficientes w. Este tipo de estructuras son llamados modelos lineales y puede ser escrita en la forma 2.2 definiendo ϕ(t) = (1x... x M ) y θ = (w 0 w 1... w M ) T. Tal modelo puede ser usado para describir una tendencia en una serie de tiempo cuando t = x. Cuando M = 0 solo el valor medio es descrito por el modelo. 13