Estimating distributions varying in time in a universal manner

Abstract

Özetçe -Zamanla degişen parametrelere sahip olan dagılımların kestirimini incelemekteyiz. Gerçek olasılık dagılımına karşı en iyi negatif olabilirligi başaran bir algoritma sunuyoruz.Gerçek dagılımın parametrelerinin toplam degişikligi hakkında hiçbir bilgi sahibi olmaksızın bu en iyi pişmanlık performasına ulaşmaktayız. Sonuçlarımızın, temelde var olan diziler hakkında hiçbir varsayım olmaksızın ayrık bir dizi baglamında saglanacagı garanti edilmektedir. Pişmanlık sınırlarının yanı sıra, yapay deneyler ve gerçek hayat deneyleriyle literatürdeki modern olasılık yogunlugu kestirim algoritmalarına göre önemli bir performans sergilemekteyiz.Anahtar Kelimeler-Ardışık yogunluk kestirimi, üstel aile, duragan olmayan kaynak, ayrık dizi biçimi.Abstract-We investigate the estimation of distributions with time-varying parameters. We introduce an algorithm that achieves the optimal negative likelihood performance against the true probability distribution. We achieve this optimum regret performance without any knowledge about the total change of the parameters of true distribution. Our results are guaranteed to hold in an individual sequence manner such that we have no assumptions on the underlying sequences. Apart from the regret bounds, through synthetic and real life experiments, we demonstrate substantial performance gains with respect to the state-of-the-art probability density estimation algorithms in the literature.Keywords-Sequential density estimation, exponential family, nonstationary source, individual sequence manner. I. GİRİŞBu makalede, her t anında sıralı olarak gözlemlenen {x 1 , x 2 , . . .} kullanılarak ögrenilen ve çeşitli makine ögrenme uygulamalarında [1]-[6] karşılaşılan sıralı olasılık kestirimi araştırılmaktadır. Mühendislik sistemlerindeki çogu uygulamada, verinin istatistiksel özellikleri (özellikle büyük veri uygulamalarında) zamanla degişebileceginden dolayı {x t } t≥1 'nin düzensiz hafızasız kaynaktan üretildigi varsayılmaktadır [7]. Bu probleme, karşı tarafın gerçek olasılık dagılımı fonksiyonu oldugu rekabetçi bir bakış açısından yaklaşılmaktadır. Her t anında, bilinmeyen f t (x t )'e göre oluşan örnek bir öznitelik vektörü x t gözlemlenmektedir. Geçmiş gözlemler olan {x τ } t−1 τ ≥1 'e dayanılarak bir tahminf t (x t ) oluşturulmaktadır. Hata fonksiyonu olarak olasılık dagılımları için en yaygın kullanılan logaritmik hata fonksiyonu, − log(f t (x t )), kullanılmaktadır [8]. Ayrık dizi (Individual Sequence) baglamında güvenilir sonuçlar elde etmek için [9], logaritmik hatada "pişmanlık" kavramı kullanılarak performans tanımı yapılmaktadır. Bunun sonucunda t anındaki pişmanlıkiken, T anına kadar olan birikmiş pişmanlık iseolmaktadır. Üstel familyadan en iyi duragan olmayan dagılımın performansının elde edilmesi amaçlanmaktadır. Bu baglamda, dogru dagılımı f t (x t ) tam olarak veya en yakın olacakşekilde temsil eden bir yogunluk fonksiyonu oldugu varsayılmaktadır ve bu fonksiyon muhtemelen degişen bir parametre α t 'e sahip üstel ailenin bir parçasıdır [10]. Üstel aileden gelen dagılımlar özellik...