Nonsmooth spectral gradient methods for unconstrained optimization

Loreto, Milagros; Aponte, H.; Cores, Debora; Raydan, Marcos

doi:10.1007/s13675-017-0080-8

Cited by 6 publications

(2 citation statements)

References 23 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…The idea of employing a quasi-Newton approach, inspired by the success of quasi-Newton methods in practice for nonsmooth optimization (see [LO13]), has also been explored further in [CQ15,CRZ17]. Another approach, motivated by the encouraging results obtained when employing spectral gradient methods to solve smooth [Fle05,BMR14] and nonsmooth [CLR07] optimization problems, has been to employ a Barzilai-Borwein (BB) strategy for computing initial stepsizes in a GS approach; see [LACR17] and the background in [BB88,Ray93,Ray97]. Using a BB strategy can be viewed as choosing H k = α k I for all k ∈ N where the scalar α k is set according to iterate and gradient displacements in the latest iteration.…”

Section: Second-order-type Variantsmentioning

confidence: 99%

Gradient Sampling Methods for Nonsmooth Optimization

Burke

Curtis

Lewis

et al. 2020

Numerical Nonsmooth Optimization

View full text Add to dashboard Cite

This paper reviews the gradient sampling methodology for solving nonsmooth, nonconvex optimization problems. An intuitively straightforward gradient sampling algorithm is stated and its convergence properties are summarized. Throughout this discussion, we emphasize the simplicity of gradient sampling as an extension of the steepest descent method for minimizing smooth objectives. We then provide overviews of various enhancements that have been proposed to improve practical performance, as well as of several extensions that have been made in the literature, such as to solve constrained problems. The paper also includes clarification of certain technical aspects of the analysis of gradient sampling algorithms, most notably related to the assumptions one needs to make about the set of points at which the objective is continuously differentiable. Finally, we discuss possible future research directions.

show abstract

Section: Second-order-type Variantsmentioning

confidence: 99%

Gradient Sampling Methods for Nonsmooth Optimization

Burke

Curtis

Lewis

et al. 2020

Numerical Nonsmooth Optimization

View full text Add to dashboard Cite

show abstract

“…Embora os métodos de feixe possuam um papel extremamente relevante na minimização de funções não suaves, limitaremos nosso estudo aos métodos de otimização que fazem uso de técnicas amostrais, isto é, somente algoritmos que estejam relacionados às ideas iniciais do método GS. Durante estes mais de doze anos, diversas variantes deste algoritmo foram propostas [12,13,14,15,16,17]. Aqui, estudaremos algumas destas variantes aplicadas a funções largamente conhecidas na literatura de otimização não suave.…”

Section: Introductionunclassified

Estudo do desempenho de métodos de amostragem para minimização irrestrita não suave

Silva¹

View full text Add to dashboard Cite

Este trabalho foi concluído graças a um processo de aprendizagem desde o dia do meu nascimento, sendo que foram muitas as ajudas que recebi para chegar até aqui.Sendo breve nas palavras, agradeço: À minha família, em especial aos meus pais; À minha orientadora, Sandra Augusta Santos, e ao meu coorientador, Lucas Eduardo Azevedo Simões; À UNICAMP, em especial ao IMECC; Ao apoio dos meus colegas, professores e funcionários do IMECC;À CAPES e ao CNPq; E a todas as pessoas que contribuíram com ensinamentos e boas atitudes ao longo de todo o caminho. ResumoA otimização não suave é um ramo da otimização que trabalha com funções objetivo não diferenciáveis em um subconjunto do domínio. Neste trabalho, apresentamos resultados computacionais para a minimização de problemas nos quais as funções objetivo são não diferenciáveis em um subconjunto de medida nula do domínio, e não apresentam restrições. O algoritmo Gradient Sampling (GS) foi proposto recentemente e minimiza a função objetivo com base no gradiente calculado em amostras de pontos gerados uniformemente em uma vizinhança do ponto corrente. Variações deste método envolvendo diferentes direções e diferentes valores de parâmetros foram exploradas. Problemas conhecidos da literatura foram utilizados para analisar comparativamente o comportamento de algumas variantes do método e sua dependência com relação ao número de pontos amostrados. O número de iterações e o valor ótimo obtido foram as medidas de eficiência utilizadas, e pela natureza randômica do método, cada problema foi resolvido diversas vezes, para garantir a relevância estatística dos resultados.

show abstract