Shape autotuning activation function

Zhou, Yuan; Li, Dandan; Huo, Shuwei; Kung, Sun‐Yuan

doi:10.1016/j.eswa.2020.114534

Cited by 23 publications

(3 citation statements)

References 11 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Yapılan bir çalışmada [13] belirtildiği gibi aktivasyon fonksiyonu seçimi, son teknoloji ürünü sinir ağı modelleri oluşturmak için çok önemli bir konudur. Şu anda etkin olan ve en yaygın kullanılan aktivasyon fonksiyonu ReLU'dur.…”

Section: Deney-4unclassified

Sigmoid-Gumbel: Yeni Bir Hibrit Aktivasyon Fonksiyonu

KAYTAN

Aydilek

Yeroğlu

et al. 2022

Bitlis Eren Üniversitesi Fen Bilimleri Dergisi

View full text Add to dashboard Cite

ÖzBu makalede daha önce sunulan aktivasyon fonksiyonlarının olumlu yanlarını birleştiren ve onlardan daha iyi başarım sağlayan ve Sigmoid-Gumbel (SG) olarak adlandırılan yeni bir hibrit aktivasyon fonksiyonu önerilmiştir. Önerilen fonksiyonun başarımını değerlendirmek için dört uygulama yapılmıştır. Yapılan uygulamalarda karşılaştırma fonksiyonları olarak Sigmoid, Gumbel, ReLU ve Adaptive Gumbel fonksiyonları kullanılmıştır. Uygulamalarda MLP ve CNN sinir ağı modelleri kullanılmıştır. MLP ağı derin öğrenmede ikili sınıflandırma sınıf dengesizliği problemi için kullanılmıştır. CNN ağı ise derin öğrenmede görüntü sınıflandırma uygulamaları yapmak üzere tercih edilmiştir. Birinci uygulamada, önerilen fonksiyonun etkinliğini göstermek için MLP ağında 25 dengesiz veri kümesi kullanılmıştır. En yüksek AUC ortalamasını 0.9013 değeri ile SG elde etmiştir. İkinci uygulamada, önerilen fonksiyon CNN ağında MNIST veri kümesi kullanılarak Sigmoid ve Gumbel fonksiyonlarıyla karşılaştırılmıştır. En yüksek ortalama doğruluk değerini 0.9921 ile SG elde etmiştir. Üçüncü uygulamada, önerilen fonksiyonun üç farklı versiyonu karşılaştırılmıştır. Bunun için Fashion-MNIST veri kümesi CNN ağı üzerinde denenmiştir. En yüksek doğruluğu 0.9351 ortalama değeri ile SGv3 elde etmiştir. Dördüncü uygulamada, önerilen fonksiyon CNN ağında MNIST veri kümesi kullanılarak ReLU ve Adaptive Gumbel fonksiyonlarıyla karşılaştırılmıştır. En yüksek başarım 0.9926 değeri ile SG tarafından elde edilmiştir. Yapılan deney sonuçlarına bakıldığında önerilen aktivasyon fonksiyonunun genel olarak daha başarılı olduğu görülmektedir.

show abstract

Section: Deney-4unclassified

Sigmoid-Gumbel: Yeni Bir Hibrit Aktivasyon Fonksiyonu

KAYTAN

Aydilek

Yeroğlu

et al. 2022

Bitlis Eren Üniversitesi Fen Bilimleri Dergisi

View full text Add to dashboard Cite

show abstract

“…The shape autotuning adaptive activation function (SAAAF) 66 is an AAF proposed in [512]. It is defined as…”

Section: Shape Autotuning Adaptive Activation Function (Saaaf)mentioning

confidence: 99%

On Transformative Adaptive Activation Functions in Neural Networks for Gene Expression Inference

Kunc

Kléma²

2019

Preprint

View full text Add to dashboard Cite

Motivation: Gene expression profiling was made cheaper by the NIH LINCS program that profiles only ∼1, 000 selected landmark genes and uses them to reconstruct the whole profile. The D-GEX method employs neural networks to infer the whole profile. However, the original D-GEX can be further significantly improved. Results: We have analyzed the D-GEX method and determined that the inference can be improved using a logistic sigmoid activation function instead of the hyperbolic tangent. Moreover, we propose a novel transformative adaptive activation function that improves the gene expression inference even further and which generalizes several existing adaptive activation functions. Our improved neural network achieves average mean absolute error of 0.1340 which is a significant improvement over our reimplementation of the original D-GEX which achieves average mean absolute error 0.1637

show abstract

“…Newly proposed activation functions SAAF [31] and RSigELU [32] perform better than Swish, but they all include more complex exponential terms that increase computational complexity. The tanhLU [33] is similar to Tanh, and the Smish [34] is similar to Mish; both are better than Swish and have complex exponential terms.…”

Section: Introductionmentioning

confidence: 99%

PolyLU: A Simple and Robust Polynomial-Based Linear Unit Activation Function for Deep Learning

Feng,

Yang

2023

IEEE Access

View full text Add to dashboard Cite

The activation function has a critical influence on whether a convolutional neural network in deep learning can converge or not; a proper activation function not only makes the convolutional neural network converge faster but also can reduce the complexity of convolutional neural network architecture and gets the same or better performance. Many activation functions have been proposed; however, various activation functions have advantages, defects, and applicable network architectures. A new activation function called Polynomial Linear Unit (PolyLU) is proposed in this paper to improve some of the shortcomings of the existing activation functions. The PolyLU meets the following basic properties: continuously differentiable, approximate identity near the origin, unbounded for positive inputs, bounded for negative inputs, smooth, monotonic, and zero-centered. There is a polynomial term for the negative inputs and no exponential terms in the PolyLU that reduces the computational complexity of the network. Compared to those common activation functions like Sigmoid, Tanh, ReLU, LeakyReLU, ELU, Mish, and Swish, the experiments show that the PolyLU has improved some network complexity and has better accuracy over MNIST, Kaggle Cats and Dogs, CIFAR-10 and CIFAR-100 datasets. Test by the CIFAR-100 dataset with batch normalization, PolyLU improves by 0.

show abstract

Shape autotuning activation function

Cited by 23 publications

References 11 publications

Sigmoid-Gumbel: Yeni Bir Hibrit Aktivasyon Fonksiyonu

Sigmoid-Gumbel: Yeni Bir Hibrit Aktivasyon Fonksiyonu

On Transformative Adaptive Activation Functions in Neural Networks for Gene Expression Inference

PolyLU: A Simple and Robust Polynomial-Based Linear Unit Activation Function for Deep Learning

Contact Info

Product

Resources

About