Entropy, Information and Entropy Correlation Coefficient

Abstract

ÖZET İstatistiksel analizler gözlemlenen verilerin araştırmacı tarafından doğru bir şekilde yorumlanmasına yardımcı olan ve araştırmacının konu hakkında elde ettiği bilgi miktarını artıran yöntemlerdir. Araştırmacılar, gözlemlerden elde ettikleri bilgiyi yorumlamada kararsızlığa düşebilir. Bu karasızlığı belirlemede araştırmacılara kolaylık sağlayabilecek yöntemlerin önerilmesi önemlidir. Bu sayede araştırmacı çalışmanın dizaynını olumlu yönde değiştirebilir. Entropi ve informasyon, araştırmacılara gözlem sonrası elde ettikleri bilginin miktarını veya verideki düzensizliğin bir ölçüsünü göstermesi bakımından önemli kavramlardır. Amaç: Entropi ve informasyon kavramları olasılık açısından değerlendirilerek entropi korelasyon katsayısının yorumlanmasıdır. Gereç ve Yöntemler: Çoğu uygulamada gözlemlenen veride olasılık sadece nispi frekansların yorumlanmasında kullanılmaktadır. Verideki ilgilenilen değişkenin gözlenen olayları ve bu olaylardan edinilen bilgi miktarına göre değişkenin entropisinin hesabı yapılmamaktadır. Çalışmada kullanılacak olan temel yöntem gözlemlenen olaylar yardımıyla tanımlanan değişkenlerin aralarında muhtemel olan ilişkilerin belirlenerek korelasyonlarının ortaya çıkartılmasıdır. Bulgular: Çalışmada elde edilen 2 önemli bulgudan birincisi regresyon hata teriminin entropisinin belirlenmesi, 2.si ise örnek üzerinde gösterilen ve aralarında zayıf ilişki bulunan 4 değişkenin ikişerli ortak entropilerinin yüksek olmasına rağmen ortak entropileri tanımlayan değişkenlerin korelasyonunun yüksek olarak bulunabilmesidir. Sonuç: Çok değişkenli veri yapısı söz konusu olduğunda değişkenlerin bazılarının lineer formu diğer değişkenlerin lineer bir formuyla ilişkili olabilir. Bu durumda 2 lineer formun korelasyonu yüksek olacaktır. Bunun tespit edilebilmesi lineer formların oluşturulması ile mümkündür. Böyle bir durumda entropi korelasyon katsayısı rahatlıkla kullanılabilir.