DSParLib: A C++ Template Library for Distributed Stream Parallelism

Löff, Júnior; Hoffmann, Renato B.; Pieper, Ricardo; Griebler, Dalvan; Fernandes, Luiz Gustavo

doi:10.1007/s10766-022-00737-2

Cited by 3 publications

(2 citation statements)

References 19 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Esta linguagem foi criada reconhecendo os desafios associados à escrita de aplicac ¸ões de stream paralelo de alto desempenho, como o equilíbrio entre a facilidade de uso e o desempenho, e a falta de bibliotecas de alto nível que facilitem a criac ¸ão destas aplicac ¸ões [Griebler et al 2017]. Inicialmente, a SPar possuía como foco apenas a gerac ¸ão de código para sistemas multi-core, porém trabalhos futuros expandiram o escopo para outras arquiteturas, como a DSParLib [Löff et al 2022], que possibilita a gerac ¸ão de código para arquiteturas distribuídas.…”

Section: Introduc ¸ãOunclassified

Tolerância a Falhas para Paralelismo de Stream de Alto Nível

Alf,

Griebler

2024

Anais Da XXIV Escola Regional De Alto Desempenho Da Região Sul (ERAD-RS 2024)

View full text Add to dashboard Cite

Dada a necessidade dos sistemas de processamento de stream serem executados por longos períodos de tempo, possivelmente indefinidamente, realizar o reprocessamento de todos os dados em caso de falha pode ser altamente custoso ou até mesmo inviável. Nesta pesquisa, propomos investigar como fornecer mecanismos de tolerância a falhas e garantias de consistência para paralelismo de stream distribuído em alto nível.

show abstract

Section: Introduc ¸ãOunclassified

Tolerância a Falhas para Paralelismo de Stream de Alto Nível

Alf,

Griebler

2024

Anais Da XXIV Escola Regional De Alto Desempenho Da Região Sul (ERAD-RS 2024)

View full text Add to dashboard Cite

show abstract

“…Inicialmente o SPar focou na gerac ¸ão de código para sistemas multicore usando FastFlow. Trabalhos posteriores expandiram o escopo para outras arquiteturas usando GSParLib [Rockenbach et al 2022] para GPUs e DSParLib [Löff et al 2022] para arquiteturas distribuídas.…”

Section: Introduc ¸ãOunclassified

Proposta de Paralelismo de Stream Multi-GPU em Multi-Cores

Fim,

Griebler

2024

Anais Da XXIV Escola Regional De Alto Desempenho Da Região Sul (ERAD-RS 2024)

View full text Add to dashboard Cite

Considerando a necessidade de tempos de processamento mais rápidos, a utilização de ambientes multi-aceleradores vem se tornando cada vez mais proeminente na literatura, infelizmente programar para estes tipos de ambientes apresenta uma série de desafios que fazem com que o desenvolvimento de códigos direcionados a multi-GPUs exija um maior esforço de programação. Propomos investigar como utilizar anotações C++ para simplificar a geração de código multi-GPU sem comprometer o desempenho.

show abstract

Boosting HPC data analysis performance with the ParSoDA-Py library

Belcastro,

Giampà,

Marozzo

et al. 2024

J Supercomput

View full text Add to dashboard Cite

Developing and executing large-scale data analysis applications in parallel and distributed environments can be a complex and time-consuming task. Developers often find themselves diverted from their application logic to handle technical details about the underlying runtime and related issues. To simplify this process, ParSoDA, a Java library, has been proposed to facilitate the development of parallel data mining applications executed on HPC systems. It simplifies the process by providing built-in scalability mechanisms relying on the Hadoop and Spark frameworks. This paper presents ParSoDA-Py, the Python version of the ParSoDA library, which allows for further support of commonly used runtimes and libraries for big data analysis. After a complete library redesign, ParSoDA can be now easily integrated with other Python-based distributed runtimes for HPC systems, such as COMPSs and Apache Spark, and with the large ecosystem of Python-based data processing libraries. The paper discusses the adaptation process, which takes into consideration the new technical requirements, and evaluates both usability and scalability through some case study applications.

show abstract

DSParLib: A C++ Template Library for Distributed Stream Parallelism

Cited by 3 publications

References 19 publications

Tolerância a Falhas para Paralelismo de Stream de Alto Nível

Tolerância a Falhas para Paralelismo de Stream de Alto Nível

Proposta de Paralelismo de Stream Multi-GPU em Multi-Cores

Boosting HPC data analysis performance with the ParSoDA-Py library

Contact Info

Product

Resources

About