Conceptos Relacionados con Agentes Reactivos. Ana Lilia Laureano-Cruces Universidad Autónoma Metropolitana-Azcapotzalco

Transcripción

1 Conceptos Relacionados con Agentes Reactivos Ana Lilia Laureano-Cruces Universidad Autónoma Metropolitana-Azcapotzalco

2 Qué es un agente? Es algo que puede percibir su entorno a través de sensores y actuar en este entrono a través de sus actuadores. Agente f Entorno 2

3 Carácterísticas Si fuera posible especificar: la acción para cada posible secuencia de percepciones, diríamos que más o menos eso es un agente. Matemáticamente hablando el comportamiento de un agente es una función que mapea cualquier percepción en una secuencia de acciones. 3

4 Carácterísticas El concepto de emergencia Podríamos tratar de seguir toda la secuencia de acciones que producen las percepciones en un determinado agente, esta sería infinita, a menos que colocáramos límites en los rangos de los parámetros percibidos. 4

5 Ejemplo A B 5

6 Percepciones - Acciones Secuencia de Percepciones A, limpio B, limpio A, limpio; A, limpio A, limpio; A, sucio A, limpio; A, limpio, A, limpio A, limpio; A, limpio, A, sucio Secuencia de Acciones MOVDer MOVIzq MOVDer LIMPIAR MOVDer LIMPIAR 6

7 Un buen comportamiento Un buen agente es aquel que hace las cosas correctas Pero, qué es lo correcto Se necesitan medidas de desempeño Con cada percepción, se genera una serie de estados Si esta es deseable, se dice que el agente se ha desenvuelto de forma correcta. 7

8 Un buen comportamiento No se puede contar con criterios subjetivos. De aquí que se deba fijar una medida con base en el objetivo del agente para calificar su comportamiento. En el caso del agente del tamaguchi, se le pueden dar recompensas por tener el piso limpio. O un premio por haberlo hecho bien. 8

9 Un buen comportamiento Una regla para el saber como medir el buen comportamiento es Diseñar las medidas de desempeño con base en lo que se desea pase en el entorno, más que lo que se desea haga el agente. 9

10 Un buen comportamiento En el ejemplo del piso limpio, se basa en las menos limpiezas al día este trabajo podría ser realizado por dos agentes: Mediocre que limpie mas menos bien. Excelente que limpie muy bien pero tarde más en aparecer. 10

11 Racionalidad Esta depende de 4 cosas: La medida de desarrollo que define el criterio de éxito. El conocimiento que el agente tiene del entrono. Las acciones que el agente puede desarrollar. La secuencia de percepciones en curso (temporales). 11

12 Definición de Racionalidad Para cada posible secuencia de percepciones, un agente racional debería seleccionar una acción que se espera maximize el desempeño de su tarea, dada la evidencia que proviene de la secuencia de los perceptores y tal vez construir conocimiento a partir de ello. 12

13 Omnimicencia, aprendizaje y autonomía Ser omnimicente significa, tener un conocimiento total de todo lo que afecta mis acciones y actuar en consecuencia; en realidad esta propiedad es casi imposible (Champs Elysées, 33,000 ft. Boing 747,Jumbo. New York Times, 1989) Racionalidad perfección Ser racionalidad implica que se potencia el desempeño esperado, mientras que la perfección maximiza el desempeño actual. 13

14 Sin embargo existe algo que se llama ayuda. Esto se refiere a que pueden existir otros agentes percibiendo y ellos tienen información que puede ayudarnos a potenciar nuestras acciones. 14

15 Aprendizaje Aprender lo más posible de lo que percibe En una configuración inicial en el conocimiento del agente se representa la experticia en el domino Pero posteriormente se puede agregar aprendizaje maquinal El aprendizaje implica modificar y aumentar la base de conocimiento. 15

16 El diseño de agentes que aprenden se divide en El diseño de este tipo de agentes puede ser dividido en 3 fases: Cuando de primera vez el diseñador le coloca la experticia. Cuando considera la experiencia pasada, y delibera cual puede ser la mejor acción. Y cuando aprende de la experiencia (como el robot de los increíbles); decide como debe modificar su base de conocimiento. 16

17 Autonomía Un agente es autónomo cuando es capaz de modificar el entorno, para alcanzar sus propios objetivos. Si existe una relación entre un agente autónomo y otro no autónomo, entonces hablamos de un sistema MultiAgente. 17

18 Propiedades de los entornos Totalmente Vs. Parcialmente: observables: Si los perceptores son capaces de captar todos los aspectos relevantes, para la elección de la acción,entonces contamos con el primer tipo. Este tipo es deseable debido a que el agente no necesita un estado interno, para mantenerse conectado al mundo. El segundo tipo se puede dar debido a ruido en la entrada de los datos o incertidumbre. Este tipo de agentes necesita un tratamiento especial de la información que considere este aspecto. 18

19 Determinístico Vs. Estocastico Cuando tanto el estado del entrono como la acción ejecutada son completamente determinadas; se dice que pertenecen a un entorno determinístico. Cuando el entorno es parcialmente observado, entonces existe incertidumbre y este se vuelve estocástico. 19

20 Determinístico Vs. Estocastico En el caso de un taxista el entrono es estocástico. En el caso de mundo tamguchi el mundo es determinístico, pero las variaciones en él pueden incluir elementos estocásticos (aparición de basura o que se descomponga la aspiradora). Si el entorno es determinístico, a excepción de las acciones de otros agentes entonces se dice que el entrono es estratégico. 20

21 Episodios Vs. Secuecial En un entorno de tipo episodio, la experiencia del agente es dividida en episodios atómicos. Cada episodio consiste en una vista parcial del entorno y sus correspondientes acciones. En este caso las acciones dependen sólo del estado en curso del entorno, no de lo que haya pasado previamente. Muchas tareas en el mundo real son de este tipo. Por ejemplo un agente que detecta defectos en una línea de ensamble; basa su decisión sólo en la pieza que revisa. 21

22 Episodios Vs. Secuecial En el caso de un entorno secuencial la decisión en curso puede afectar decisiones futuras. Como ejemplos podemos tener los entornos de un taxista y de un juego de ajedrez. En el caso de los entornos por episodios estos son más simples, debido a que los agentes no tienen que pensar por adelantado. 22

23 Statico Vs. Dinámico Si el estado del entorno puede cambiar cuando éste está deliberando entonces se dice que el entrono es dinámico; de otra forma es estático. Los entornos estáticos son fáciles ya que el agente no tiene que estar incorporado (embodiment) y ubicado (situatedness) mientras decide la acción, (el juego de palabras cruzadas). 23

24 Estático Vs. Dinámico En los entornos dinámicos por otro lado el agente no puede estar sin enterarse de lo que pasa en el mundo. Aquí de lo que se trata es de cerrar el tiempo del ciclo que pasa entre la percepción y la acción, (el entorno del taxista). Cuando el entorno no cambia con el paso del tiempo, pero las acciones del agente si entonces se dice que el entorno es semidinámico (juego de ajedrez con reloj). 24

25 Discreto vs. Continuo Este concepto depende de la forma en que el tiempo es manejado con respecto al estado del entorno. Por ejemplo un entorno de estadodiscreto es el juego de ajedrez que tiene un conjunto de estados finito. Así mismo son discretas sus percepciones y acciones. 25

26 Discreto vs. Continuo En el caso del ejemplo del taxista el estado del entorno es continuo y continuo el problema del tiempo. La localización y la velocidad del taxi, así como la velocidad de los otros vehículos se representan por una serie de valores continuos en el tiempo. Sus acciones también son continuas, (giros, frenado, acelerar). 26

27 Agentes con aprendizaje Turing (1950) donde se considera la idea de construir máquinas inteligentes. El método que el propone es construir maquinas que aprendan y posteriormente enseñen. En muchas áreas de IA este es un método utilizado para crear sistemas de estado de arte. 27

28 Agentes con aprendizaje El aprendizaje tiene la ventaja de permitir operar a los agentes en entornos inicialmente desconocidos y volverse competentes conforme pasa el tiempo a partir de su conocimiento inicial. 28

29 Agentes con aprendizaje Un agente con aprendizaje puede ser dividido en cuatro componentes conceptuales: Un elemento de aprendizaje: responsable de desarrollar mejoras. Un elemento de desempeño: responsable de seleccionar las acciones externas con base en las percepciones. 29

30 Agentes con aprendizaje El elemento de aprendizaje utiliza una retroalimentación de la crítica que recibe la actuación del agente y con base en esto determina como debe el elemento de desarrollo ser modificado con el fin de hacerlo mejor en un futuro. 30

31 Agentes con aprendizaje El último componente es el generador de problemas: Este es responsable de sugerir acciones que le conduzcan a experiencias con nueva información. El punto es el siguiente: mientras el elemento de desempeño desarrolla las acciones de acuerdo a su mejor punto de vista. El agente explora otras acciones que a lo mejor no son buenas en corto plazo, pero si en largo plazo. Galileo lo que hacía era tratar de modificar su cerebro para identificar mejor sus teorías. 31