High-Order Neural Network Structure Selection for Function Approximation Applications Using Genetic Algorithms

Rovithakis, George A.; Chalkiadakis, Ioannis; Zervakis, M.

doi:10.1109/tsmcb.2003.811767

Cited by 33 publications

(15 citation statements)

References 16 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Boozarjomehry [109] presented a hybrid method based on genetic algorithm and Lindenmayer system [114,115] for the auto-design of NNs. Rovithakis [116] proposed an approach based on genetic algorithms and a stable update law to determine the structure of high-order NNs, for solving function approximation problems.…”

Section: Neural Network Structure Determinationmentioning

confidence: 99%

An improved dynamic structure-based neural networks determination approaches to simulation optimization problems

Zheng

Tan

Zhang

et al. 2010

Neural Comput & Applic

View full text Add to dashboard Cite

Simulation optimization studies the problem of optimizing simulation-based objectives. This field has a strong history in engineering but often suffers from several difficulties including being time-consuming and NP-hardness. Simulation optimization is a new and hot topic in the field of system simulation and operational research. This paper presents a hybrid approach that combines Evolutionary Algorithms with neural networks (NNs) for solving simulation optimization problems. In this hybrid approach, we use NNs to replace the known simulation model for evaluating subsequent iterative solutions. Further, we apply the dynamic structure-based neural networks to learn and replace the known simulation model. The determination of dynamic structure-based neural networks is the kernel of this paper. The final experimental results demonstrated that the proposed approach can find optimal or close-to-optimal solutions and is superior to other recent algorithms in simulation optimization.

show abstract

Section: Neural Network Structure Determinationmentioning

confidence: 99%

An improved dynamic structure-based neural networks determination approaches to simulation optimization problems

Zheng

Tan

Zhang

et al. 2010

Neural Comput & Applic

View full text Add to dashboard Cite

show abstract

“…Contudo, existem abordagens híbridas que utilizam Algoritmos Genéticos para determinar a arquitetura de uma RNA de alta ordem [1], minimizando as chances da rede não conseguir aproximar a função. Porém, com a inserção de um novo passo no processo de aproximação, o custo computacional aumenta.…”

Section: Introductionunclassified

Implementação De Um Mecanismo Automático De Controle De Vizinhanças Entre Agentes De Uma População Inspirada Em Alcatéia

Pessoa¹,

Neto²,

Leonel³

et al. 2016

Anais Do 9. Congresso Brasileiro De Redes Neurais

View full text Add to dashboard Cite

Resumo -Através de técnicas de Inteligência Artificial, como Sistemas Multi-Agentes e Computação Social -inspirada no comportamento de populações naturais (i.e. uma alcatéia), busca-se propor uma nova ferramenta para a modelagem de contornos de uma dada nuvem de pontos de entrada (que podem representar uma função), de forma a diminuir a representatividade desse conjunto. Foram definidos e construídos o repertório de comportamentos dos lobos, assim como as características da dinâmica do ambiente, cuja saída será a lista de posicionamento e raio final para cada lobo, de modo que representem a nuvem de pontos.Como prova do conceito aqui apresentado, foram realizadas simulações de aproximação com quatro funções diferentes: duas polinomiais e duas trigonométricas. Essas simulações objetivaram determinar o grau de influência no resultado final dos parâmetros escolhidos, além de apresentar os bons resultados obtidos com o algoritmo desenvolvido. Baseado na boa qualidade dos resultados obtidos, este trabalho representa um passo importante para a viabilização de uma inovadora ferramenta inteligente de aproximação de funções baseada em inteligência coletiva.Palavras-chave -Sistemas Multi-Agentes, Computação Natural, Computação Social, Aproximação de Funções. IntroduçãoA aproximação de funções representa uma classe de problemas bastante importante, uma vez que funções podem representar problemas do mundo real ou descrever alguma realidade dada a partir de uma nuvem de pontos. Porém, problemas do mundo real geralmente possuem leis de formação -funções -complexas e, por isso, caras de serem calculadas computacionalmente através de técnicas como Redes Neurais Artificiais (RNA) ou Programação Linear.As RNAs possuem um alto custo computacional (de memória e de processamento) devido as suas diversas fases de treinamento, tempo de execução excessivo, além da possibilidade de acontecer overfitting ou underfitting e a função não ser aproximada corretamente. Contudo, existem abordagens híbridas que utilizam Algoritmos Genéticos para determinar a arquitetura de uma RNA de alta ordem [1], minimizando as chances da rede não conseguir aproximar a função. Porém, com a inserção de um novo passo no processo de aproximação, o custo computacional aumenta.Por sua vez, a Programação Linear com o uso do algoritmo SIMPLEX tem uma complexidade exponencial -O(2 n ) -para o pior caso. Isso é ruim, pois há um grande consumo de recursos computacionais existentes, além de possuírem um alto tempo de execução que escala exponencialmente com o tamanho da entrada do problema de aproximação.Dessa forma, é buscada uma abordagem alternativa e inteligente para a resolução do problema da aproximação de funções. Essa abordagem busca (i) modelar e diminuir a representatividade da nuvem de pontos de entrada e (ii) realizar operações matemáticas para determinar a função aproximada.Então, este trabalho busca utilizar metáforas com o comportamento de caça de uma alcatéia na natureza para modelar a nuvem de pontos de entrada e diminuir a sua representatividade. Com i...

show abstract

“…Instead, input and output data of many systems can be observed easily. Therefore, data approximation becomes one of the most important tasks, which refers to fitting sample data to functions and models (e.g., approximators) [4]. Neuronet was proved to be a universal approximator by various researchers [5]- [8].…”

Section: Introductionmentioning

confidence: 99%

Weights and structure determination of pruning-while-growing type for 3-input power-activation feed-forward neuronet

Zhang

Lao

Yin

et al. 2012

2012 IEEE International Conference on Automation and Logistics

View full text Add to dashboard Cite

In this paper, a new type of 3-input poweractivation feed-forward neuronet (3IPFN) is constructed and investigated. For the 3IPFN, a novel weights-and-structuredetermination (WASD) algorithm is presented to solve data approximation and prediction problems. With the weights-directdetermination (WDD) method exploited, the WASD algorithm can obtain the optimal weights of the 3IPFN between hidden layer and output layer directly. Moreover, the WASD algorithm determines the optimal structure (i.e., the optimal number of hidden-layer neurons) of the 3IPFN adaptively by growing and pruning hidden-layer neurons during the training process. Numerical results of illustrative examples highlight the efficacy of the 3IPFN equipped with the so-called WASD algorithm.

show abstract

High-Order Neural Network Structure Selection for Function Approximation Applications Using Genetic Algorithms

Cited by 33 publications

References 16 publications

An improved dynamic structure-based neural networks determination approaches to simulation optimization problems

An improved dynamic structure-based neural networks determination approaches to simulation optimization problems

Implementação De Um Mecanismo Automático De Controle De Vizinhanças Entre Agentes De Uma População Inspirada Em Alcatéia

Weights and structure determination of pruning-while-growing type for 3-input power-activation feed-forward neuronet

Contact Info

Product

Resources

About