Cuidados No Uso Do Algoritmo De Poda Em Redes Neurais

Abstract

In this paper is researched the relationship between weight elimination procedure, the initial application cycle, the final topology and generalization of a neural network prediction model. Keeping constant the initial parameters we developed several tests using different setups. We observed that the generalization of the different models were very different, sometimes assuming a different set of independent variables. IntroduçãoNa procura da topologia ótima de uma rede neural que minimize os problemas de subparametrização / sobreparametrização surgiram os métodos de poda. Alguns destes iniciam o treinamento com uma topologia muito maior do que a necessária e no decorrer deste vão podando (removendo) partes da rede que não sejam necessárias, facilitando assim a resolução dos problemas de dimensionamento da rede e escolha de variáveis relevantes. Como inicialmente a rede é grande, esta possui graus de liberdade suficientes para acomodar rapidamente as características gerais dos dados de entrada, de uma forma pouco sensível às condições iniciais e aos mínimos locais. Após a acomodação inicial, a rede pode ser podada de forma a realizar um "trade-off" entre a complexidade da rede e seu poder de generalização, eliminando as características não relevantes do conjunto de treinamento favorecendo, desta forma, sua generalização. Algoritmos de PodaA idéia básica dos algoritmos de poda para simplificar a rede é cortar as conexões entre os nós. Pode-se simplesmente zerar o peso de uma conexão e verificar qual a influência disso na função objetivo. Se o erro aumentar muito então restaura-se o peso cortado, caso contrário, remove-se definitivamente o peso. Métodos de Cálculo de SensibilidadeAlguns métodos procuram estimar a sensibilidade da função de erro frente à remoção de uma ligação e então remover as ligações com menor influência. Em geral esses métodos atuam após o treinamento da rede. Ou seja, a rede é treinada para um tamanho maior que o necessário e posteriormente os pesos de menor sensibilidade são retirados.Esses métodos não levam em consideração correlações entre os pesos da rede. A sensibilidade de cada peso wij é calculada como se ele fosse o único candidato a ser retirado. Quando um dos pesos é retirado, as demais sensibilidades calculadas não continuam necessariamente válidas para a nova configuração da rede. Métodos com Termos de PenalizaçãoA idéia central do algoritmo de "backpropagation" é minimizar uma função de custo, geralmente o erro quadrático, na saída da rede. Como a hipótese dos algoritmos de poda é que a menor rede estimada seja capaz de responder aos padrões de treinamento então a mesma apresentará a melhor generalização, deste fato surgiu a idéia de se acrescentar à função de custo tradicional um termo representando o custo devido à complexidade da rede.Esse termo adicional é chamado de termo de penalização, na medida que representa uma penalização que a função de custo sofre devido à complexidade da rede. Os métodos que introduzem esse termo, procuram minimizar uma função de custo que ...