Structural adaptation in mixture of experts

Ramamurti, V.; Ghosh, Joydeep

doi:10.1109/icpr.1996.547656

Cited by 22 publications

(15 citation statements)

References 4 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…We have employed the localized gating network to solve a number of regression problems and have found that the network performs well with just a single layer of experts [20]. By requiring only one gating network, this model is significantly faster to train as compared to an hierarchical model.…”

Section: B a Localized Model For The Gating Networkmentioning

confidence: 97%

“…With such localized regions of expertise, a single layer of linear experts is adequate in practice for function approximation [20]. The gating network proposed in [14] is of the form (2) where (3) Thus the th expert's influence is predominant in a region around Note however that, because of the normalization performed in (2) the " "s are not strictly local, since they always need to sum to one.…”

Section: B a Localized Model For The Gating Networkmentioning

confidence: 99%

“…The drift is performed by mixing the equations for and . The mixing is accomplished with the formula (19) with denoting an exponential drift (20) Example time series segments in mode 1, mode 2, and transition mode are given in [15].…”

Section: Table V On-line Pruning and Growing On 2-d Gabor Functionsmentioning

confidence: 99%

See 2 more Smart Citations

Structurally adaptive modular networks for nonstationary environments

Ramamurti

Ghosh

1999

IEEE Trans. Neural Netw.

Self Cite

View full text Add to dashboard Cite

This paper introduces a neural network capable of dynamically adapting its architecture to realize time variant nonlinear input-output maps. This network has its roots in the mixture of experts framework but uses a localized model for the gating network. Modules or experts are grown or pruned depending on the complexity of the modeling problem. The structural adaptation procedure addresses the model selection problem and typically leads to much better parameter estimation. Batch mode learning equations are extended to obtain on-line update rules enabling the network to model time varying environments. Simulation results are presented throughout the paper to support the proposed techniques.

show abstract

Section: B a Localized Model For The Gating Networkmentioning

confidence: 97%

Section: B a Localized Model For The Gating Networkmentioning

confidence: 99%

See 1 more Smart Citation

Structurally adaptive modular networks for nonstationary environments

Ramamurti

Ghosh

1999

IEEE Trans. Neural Netw.

Self Cite

View full text Add to dashboard Cite

show abstract

“…Moreover, as mentioned in Section III-C, model selection is a hard problem for the HME. Previous methods for model selection applied to the mixture of experts [20] and its hierarchical extension [22] has been addressed by several authors [35], [32], [30], [14]. However, all of these approaches are focused on the use of heuristic bottom-up procedures that start with a small network and grow it adaptively for learning the topology of the network.…”

Section: Discussionmentioning

confidence: 99%

Mixing Linear SVMs for Nonlinear Classification

Robles-Kelly

Zhou

2010

IEEE Trans. Neural Netw.

View full text Add to dashboard Cite

Abstract-In this paper, we address the problem of combining linear Support Vector Machines (SVMs) for classification of large-scale non-linear data sets. The motivation is to exploit both the efficiency of linear SVMs in learning and prediction and the power of non-linear SVMs in classification. To this end, we develop a linear SVM mixture model that exploits a divide-and-conquer strategy by partitioning the feature space into sub-regions of linearly separable data-points and learning a linear SVM for each of these regions. We do this implicitly by deriving a generative model over the joint data and label distributions. Consequently, we can impose priors on the mixing coefficients and do implicit model selection in a top-down manner during the parameter estimation process. This guarantees the sparsity of the learned model. Experimental results show that the proposed method can achieve the efficiency of linear SVMs in the prediction phase while still providing a classification performance comparable to non-linear SVMs.

show abstract

“…Maiores detalhes concernentes a este algoritmo de otimização podem ser encontrados em [15] e em [5]. Assim, as equações do algoritmo wRLS adaptadas ao problema de otimização de são definidas como:…”

Section: Aprendizado Onlineunclassified

Modelo Adaptativo Baseado Em Regras Nebulosas Aplicado À Previsão De Séries Temporais

Luna¹,

Soares²,

Ballini³

2007

L&NLM

View full text Add to dashboard Cite

Resumo -Este trabalho propõe um modelo de aprendizado online baseado em regras nebulosas do tipo Takagi-Sugeno, para modelos de séries temporais. A estrutura do modelo é construída em duas etapas. Na primeira etapa, o modelo é inicializado utilizando um algoritmo de aprendizado construtivo offline, composto por duas regras nebulosas. Na segunda etapa, o modelo é modificado de forma dinâmica, utilizando um algoritmo de aprendizado recursivo baseado no algoritmo de maximização de verossimilhança e em operadores de adição e punição de regras. O aprendizado adaptativo reduz a complexidade do modelo, e define de forma automática a sua estrutura. A proposta é aplicada na construção de um modelo de previsão de vazões semanais e os resultados são comparados com o modelo evolutivo Takagi-Sugeno. O modelo é também utilizado na previsão até dezoito passos à frente de uma série financeira. Os resultados obtidos mostram que a proposta é uma alternativa eficiente para modelos de séries temporais, proporcionando uma estrutura simples e parcimoniosa.Palavras Chaves -Previsão de séries temporais, algoritmo EM, aprendizado adaptativo. IntroduçãoRedes neurais e sistemas nebulosos têm se mostrado eficientes em diversas aplicações, destacando-se os modelos baseados em regras nebulosas, devido a sua simplicidade e eficiência [1]. Existem diversas abordagens para a construção de sistemas baseados em regras. Uma técnica bastante divulgada é a utilização de algoritmos de agrupamento, via a partição nebulosa do espaço de entrada em M sub-regiões, como o algoritmo FCM [2] e o algoritmo da montanha [3]. Por outro lado, existem abordagens baseadas na alocação de modelos locais ou especialistas, as quais estão diretamente vinculadas ao princípio de dividir e conquistar, como é o caso dos modelos de mistura de especialistas [4]. Devido à complexidade dos problemas reais, os quais são em geral, de natureza não linear, torna-se impossível saber com antecedência o número adequado de partições ou especialistas necessários para a construção dos modelos. Como conseqüência, abordagens de aprendizado online tem sido desenvolvidas, fornecendo assim, estratégias de aprendizado com alta capacidade de adaptação a baixo custo computacional.Seguindo esta direção, diversas técnicas de aprendizado adaptativas e não supervisionadas de modelos de redes neurais e de sistemas baseados em regras nebulosas vêm sendo desenvolvidas nos últimos anos. Os trabalhos descritos em [5], [6], [1], e [7] são apenas alguns exemplos deste tipo de aprendizado, sendo que, estas propostas consideram tanto a adaptação dos parâmetros como da estrutura do modelo.Este artigo propõe um sistema adaptativo baseado em regras nebulosas (A-FSM), sendo o algoritmo de aprendizado baseado no algoritmo de maximização da verossimilhança (EM) [4]. A vantagem de adotar técnicas de aprendizado baseadas no algoritmo EM, é a convergência rápida do algoritmo e a obtenção de ótimos locais, quando comparado ao algoritmo de retropropagação temporal [8].Além disso, este trabalho sugere uma versão adaptat...

show abstract

Structural adaptation in mixture of experts

Cited by 22 publications

References 4 publications

Structurally adaptive modular networks for nonstationary environments

Structurally adaptive modular networks for nonstationary environments

Mixing Linear SVMs for Nonlinear Classification

Modelo Adaptativo Baseado Em Regras Nebulosas Aplicado À Previsão De Séries Temporais

Contact Info

Product

Resources

About