Contribución al estudio de la ingeniería inversa de comportamientos emergentes en sistemas multi-agente

Abstract

Cada vez que se necesita resolver un problema utilizando un sistema multi-agente se deben responder dos preguntas respecto de los agentes involucrados en el mismo: 1. ¿Qué capacidad de sensado debe tener cada uno de ellos? 2. ¿Qué acciones individuales debe tener cada agente para resolver el problema de manera eciente? Responder cada una de estas preguntas es una tarea difícil cuando se esta resolviendo un problema. Cuando se conocen la capacidad de sensado y los comportamientos, el problema a ser resuelto es solamente uno de los posibles comportamientos emergentes del sistema multi-agente en cuestion. El propósito de esta tesis es encontrar un método que permita descubrir cual es la respuesta a cada una de las preguntas anteriores, en orden de obtener un comportamiento emergente dado. Es decir, poder resolver un problema con un grupo de agentes simples con muy baja comunicación entre ellos. Para alcanzar este objetivo, la capacidad de sensado de cada agente es modelada con una función parametrizable, encontrando el valor de estos parametros usando una tecnica de optimización, tal como Algoritmos Geneticos. Después de obtener estos valores, cada agente es entrenado utilizando Aprendizaje por Refuerzo para obtener los apropiados comportamientos individuales. Esta tesis propone un método para obtener tanto la capacidad de sensado como los comportamientos que debe tener cada agente en un enjambre para alcanzar el comportamiento emergente deseado, dentro del grupo de problemas de formacion de patrones. Es decir, resolver esta clase de problema utilizando el paradigma ant-robotic.

Each time a problem needs to be solved using a multi-agent system two questions must be answered about the agents involved: 1. What sensing capability must each of them have? 2. Which individual actions must each agent have for solving the problem e-ciently? Answering each of these questions is a dicult matter when solving a problem. When sensing capability and behaviors are known, the problem to be solved is only one of the possible emergent behaviors of the multi-agent system. The purpose of this thesis is to nd a method to discover what the answer to each question is in order to obtain a given emergent behavior. That is, it aims to solve a problem with a group of simple agents with very low communication among them. To achieve this objective, the sensing capability of each agent is modeled by a parameterized function, nding the value of these parameters using an optimization technique such as Genetic Algorithms. After obtaining these values each agent is thoroughly trained using Reinforcement Learning to obtain the appropriate individual behaviors. This thesis proposes a method to obtain both, the sensing capability and the corresponding behavior for each agent in a swarm to reach the wished emergent behavior within the group of pattern formation problems. That is to say, solving this kinds of problems using the ant-robotic paradigm.