High‐performance iterative dataflow abstractions in Twister2:TSet

Abstract

Summary The dataflow model is gradually becoming the de facto standard for big data applications. While many popular frameworks are built around this model, very little research has been done on understanding its inner workings, which in turn has led to inefficiencies in existing frameworks. It is important to note that understanding the relationship between dataflow and high performance computing (HPC) building blocks allows us to address and alleviate many of these fundamental inefficiencies by learning from the extensive research literature in the HPC community. In this article, we present TSets, the dataflow abstraction of Twister2, which is a big data framework designed for high‐performance dataflow and iterative computations. We discuss the dataflow model adopted by TSets and the rationale behind implementing iteration handling at the worker level. Finally, we evaluate TSets to show the performance of the framework and the importance of the worker level iteration model.

Dijital Cüzdan: Güvenli ve Maliyet Etkin Bir Altyapı Yaklaşımı

“…Hava araştırma ve tahmin modelleri için provenans veri toplama platformları [23], IoT için büyük veri işleme çerçeveleri [24], sosyal ağlarda yanlış bilgi tespiti [25], makine öğrenimi algoritmalarının büyük veri sistemleri ile entegrasyonu [26], başarısızlık riskinin tahmini [27], büyük veri ve yüksek performanslı bilgisayar sistemlerinde destek vektör makinelerinin eğitim optimizasyonu [28], yüksek performanslı veri mühendisliği [29], yüksek performanslı iteratif veri akışı [30,32], ve büyük veri işleme için iletişim kütüphaneleri [31] gibi çok çeşitli konularda yapılan çalışmalar, dijital cüzdan tasarlanması ve geliştirilmesi alanında gerekli olan teknolojiler için bilgi birikiminin derinliğini ve çeşitliliğini göstermektedir.…”