Transferência de Aprendizado por Reforçoo em Problemas de Otimização Combinatória

Abstract

O Aprendizado por Reforço (AR) é uma técnica de Machine Learning com importantes aplicações em problemas de otimização combinatória. No entanto, a literatura carece de estudos sobre a transferência de AR entre domínios de otimização. Baseando-se nisso, o objetivo deste trabalho foi aplicar e analisar a transferência de conhecimento do AR entre o Problema do Caixeiro Viajante (TSP) e o Sequential Ordering Problem (SOP). Para isso, foi adotada a biblioteca de instâncias TSPLIB e o algoritmo SARSA. A metodologia proposta compreende: modelagem do sistema de AR, geração da base de conhecimento (QTSP), experimentos para transferência de aprendizado e analise dos resultados. Os resultados obtidos a partir de testes estatísticos, apontam que, em geral, adotar a transferência de conhecimento entre os problemas possibilitou o cáalculo de melhores métricas de desempenho do domínio objetivo (SOP).

AutoML e transferência de aprendizado por reforço entre problemas de otimização combinatória

“…A modelagem do sistema de AR adotada neste trabalho foi inspirada em [18] e [19], a qual considera que:…”

“…em que, R é o reforc ¸o e c ij refere-se ao deslocamento do nó i para o nó j. Ressalta-se que, para atender as restric ¸ões de precedência do SOP, utilizou-se a mesma abordagem de [18], o qual propõe o algoritmo RLSOP que verifica se o nó de destino possui alguma restric ¸ão de precedência. Caso exista restric ¸ão, um novo nó de destino é selecionado e a verificac ¸ão é realizada novamente.…”

“…Nesse aspecto, em [18], os autores realizam a transferência de aprendizado entre problemas da otimizac ¸ão combinatória. No estudo de [18], os mesmos realizam a transferência da matriz de aprendizado entre os problemas estudados, sendo eles: Problema do Caixeiro Viajante (PCV) e Sequential Ordering Problem (SOP).…”

“…Nesse aspecto, em [18], os autores realizam a transferência de aprendizado entre problemas da otimizac ¸ão combinatória. No estudo de [18], os mesmos realizam a transferência da matriz de aprendizado entre os problemas estudados, sendo eles: Problema do Caixeiro Viajante (PCV) e Sequential Ordering Problem (SOP). A abordagem adotada tem como objetivo gerar as matrizes de aprendizado utilizando problemas do PCV assimétrico que sejam relacionados ao SOP e reutilizar as matrizes de aprendizado geradas para o aprendizado do SOP.…”

“…Neste sentido, os autores verificaram o impacto causado pela transferência de aprendizado do PCV para o SOP na distância final obtida e no tempo computacional requerido durante o aprendizado do SOP. No entanto, a transferência de aprendizado proposta por [18] não foi automatizada em um sistema AutoRL.…”