Cultural Algorithms-based learning model for multi-agent systems

Abstract

This paper aims to evaluate the learning model for coordination schemes in multiagent systems (MAS) based on Cultural Algorithms. The model is applied to a case of study in industrial automation, related to the Agents-based System for Fault Management System. The instantiation occurs on the conversations that are defining in the MAS's coordination model, which are characterized by type of conversation that have been previously defined. A conversation can have sub-conversations, and in this case the sub-conversations are characterized by a particular type of conversation. Additionally in these conversations can occur some type of conflict, that can be solved by using different coordination mechanisms existing in the literature. For this, it is developed a model based on cultural algorithms, which is used by the MAS as a learning way in the process to determine which coordination mechanism is more suitable for a given conversation and a given scenario. The results show that the obtained model through this learning guides the MAS to determine which mechanism is better suited for a given conversation. Keywords-cultural algorithms; coordination; collective learning; multi-agent systems I. INTRODUCCIÓNUn sistema multiagente (SMA) está formado por un grupo (comunidad) de agentes que interactúan entre sí utilizando protocolos y lenguajes de comunicación de alto nivel, para resolver problemas que están más allá de las capacidades o del conocimiento de cada uno [1]. Estas interacciones entre agentes pueden ser vistas como conversaciones, que a su vez pueden tener sub-conversaciones. Para caracterizar estas subconversaciones se utilizan tipos de conversación (TCs), los cuales han sido definidos previamente [2], éstos permiten generalizar las interacciones o conversaciones entre agentes de cualquier comunidad. Ahora bien, estas sociedades de agentes pueden enfrentar conflictos a la hora no sólo de comunicarse, sino también a la hora de administrar recursos entre los individuos o a la hora de asignar tareas, etc. Para manejar dichos conflictos, existen los esquemas de coordinación (mecanismos de coordinación, MC) que permiten la resolución de los mismos. En este trabajo se propone un modelo de aprendizaje y optimización de esquemas de coordinación para SMA basado en Algoritmos Culturales (AC). Estos algoritmos permiten compartir experiencias entre los individuos, ya que uno de los componentes principales de estos algoritmos es un espacio común de experiencias, proveyendo así la capacidad de un aprendizaje colectivo basado en el intercambio de conocimientos.Dentro del marco de la coordinación en SMA existe una gran cantidad de trabajos orientados a su estudio, e. g., en el trabajo de [3] se enfocan en diseñar agentes que logren una óptima, eficiente y flexible coordinación. Para lograr esto basan su modelo en la teoría de juegos y derivan una solución llamada Harsanyi-Bellman Ad hoc coordination (HBA), la cual utiliza el equilibrio de Nash Bayesiano para planear procedimientos que lleven a encontrar acciones óptimas en el sent...