Data-Intensive Workflow Management: For Clouds and Data-Intensive and Scalable Computing Environments

Oliveira, Daniel Ribeiro de; Ji, Liu; Pacitti, Esther

doi:10.2200/s00915ed1v01y201904dtm060

Cited by 26 publications

(24 citation statements)

References 209 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Over the last years, scientific workflows (for the sake of simplicity henceforth named only as workflows) have been used as abstractions to model the steps of complex scientific simulations 1 . Such steps involve the execution of models that are built upon several parameters and input data.…”

Section: Introductionmentioning

confidence: 99%

“…Workflows can be found in several domains of science (e.g., biology, astronomy, chemistry, physics, and engineering) and business (e.g., e‐commerce, data mining, machine learning, and IoT). In many cases, those simulations are part of data‐ and compute‐intensive experiments 1,4 …”

Section: Introductionmentioning

confidence: 99%

“…Since workflow activities commonly process big data, 7 in order to explore data parallelism and parameter sweep, one can consider that each workflow activity may correspond to several executable activations 8 . Each activation is the representation of an atomic execution of an activity, which processes a different set of parameter values or data chunk 1 as presented in Figure 1, where the workflow is composed of three activities ( a , b , and c ) and each activity is mapped to three activations.…”

Section: Introductionmentioning

confidence: 99%

See 2 more Smart Citations

An incremental reinforcement learning scheduling strategy for data‐intensive scientific workflows in the cloud

Nascimento

Silva

Paes

et al. 2021

Concurrency and Computation

View full text Add to dashboard Cite

Summary Most scientific experiments can be modeled as workflows. These workflows are usually computing‐ and data‐intensive, demanding the use of high‐performance computing environments such as clusters, grids, and clouds. This latter offers the advantage of the elasticity, which allows for changing the number of virtual machines (VMs) on demand. Workflows are typically managed using scientific workflow management systems (SWfMS). Many existing SWfMSs offer support for cloud‐based execution. Each SWfMS has its scheduler that follows a well‐defined cost function. However, such cost functions should consider the characteristics of a dynamic environment, such as live migrations or performance fluctuations, which are far from trivial to model. This article proposes a novel scheduling strategy, named ReASSIgN, based on reinforcement learning (RL). By relying on an RL technique, one may assume that there is an optimal (or suboptimal) solution for the scheduling problem, and aims at learning the best scheduling based on previous executions in the absence of a mathematical model of the environment. For this, an extension of a well‐known workflow simulator WorkflowSim is proposed to implement an RL strategy for scheduling workflows. Once the scheduling plan is generated via simulation, the workflow is executed in the cloud using SciCumulus SWfMS. We conducted a throughout evaluation of the proposed scheduling strategy using a real astronomy workflow named Montage.

show abstract

Section: Introductionmentioning

confidence: 99%

Section: Introductionmentioning

confidence: 99%

Section: Introductionmentioning

confidence: 99%

See 1 more Smart Citation

An incremental reinforcement learning scheduling strategy for data‐intensive scientific workflows in the cloud

Nascimento

Silva

Paes

et al. 2021

Concurrency and Computation

View full text Add to dashboard Cite

show abstract

“…A evolução da computação permitiu a popularização de um tipo de experimento baseado em simulações computacionais [de Oliveira et al 2019], os chamados experimentos in silico, que geralmente estão diretamente associadosà execução de uma série de artefatos de software (programas, serviços Web, bibliotecas, etc.) invocados em uma certa ordem.…”

Section: Introductionunclassified

Gerência de Dados de Proveniência Distribuídos de Experimentos Científicos: um Mapeamento Sistemático

Alves¹,

Frota²,

Oliveira³

2020

Anais Do Brazilian E-Science Workshop (BRESCI 2020)

View full text Add to dashboard Cite

Experimentos científicos baseados em simulações (chamados de in silico) são fortemente dependente de recursos computacionais. Muitos experimentos são compostos de centenas ou milhares de invocações de programas. Esses experimentos comumente se beneficiam de ambientes de processamento de alto desempenho (PAD) como clusters e nuvens de computadores para acelerar sua execução. Entretanto, mesmo executando em ambientes de PAD, o volume de dados (dados de execução dos experimentos e dados de proveniência) produzido/consumido e que deve ser gerenciado, pode se tornar um gargalo. A gerência desses dados, se realizada de forma centralizada, pode impactar na análise e validação dos resultados e também no próprio desempenho da execução do experimento. Uma alternativa é armazenar e consultar esses dados de forma distribuída, o que adiciona desafios. Apesar de existirem abordagens para gerência de dados de proveniência distribuídos, não há um padrão de fato. Isso torna muito difícil correlacionar, classificar e comparar as várias abordagens existentes. Ao longo dos anos, mapeamentos sistemáticos e taxonomias foram usados para criar modelos que permitem o levantamento e a classificação de abordagens dentro de um domínio. O principal objetivo deste artigo é aplicar um mapeamento sistemático sobre a área de gerência de dados de proveniência distribuídos e propor uma taxonomia deste domínio, classificando as abordagens existentes de acordo com as classes da taxonomia

show abstract

“…Nos últimos anos, os Workflows Científicos (Wfs) têm se tornado um padrão de fato para representar experimentos científicos baseados em simulações computacionais [de Oliveira et al 2019]. Um Wf é uma abstração capaz de representar uma sequência lógica de invocações de programas e/ou serviços (i.e., atividades) e suas dependências de dados [Mattoso et al 2010].…”

Section: Introductionunclassified

Análise Integrada de Grafos de Proveniência Heterogêneos por meio de uma Abordagem PolyStore

Mendes

Ströele

Oliveira

et al. 2019

Anais Do XXXIV Simpósio Brasileiro De Banco De Dados (SBBD 2019)

View full text Add to dashboard Cite

Dados de proveniência de um workflow são capturados por quase todos os Sistemas de Gerência de Workflows (SGWfs) existentes. Cada SGWf utiliza um formato próprio para representar tais dados, e, comumente, captura e armazena os dados em diferentes granularidades na forma de um grafo. Isso permite cientistas analisarem e validarem resultados de um workflow específico. Entretanto, em cenários mais complexos em que o cientista necessita analisar grafos de proveniência oriundos de múltiplos SGWfs e workflows, um desafio surge. Para resolver esse problema, propomos uma abordagem chamada PolyFlow, que se baseia no conceito de Sistemas PolyStore, sendo capaz de integrar diversos bancos de dados de proveniência heterogêneos adotando um esquema ProvONE global sob demanda, i.e., sem necessidade de conversão prévia dos dados (que pode ser bastante custosa). Os cientistas podem, então, consultar múltiplos grafos de proveniência nesse banco de dados integrado via PolyFlow, explorando e vinculando a proveniência de workflows diferentes. De forma a analisar a viabilidade da abordagem PolyFlow, desenvolvemos mapeamentos para dois SGWf (Swift/T e Kepler) utilizando um experimento real de análise de dados filogenéticos.

show abstract

Data-Intensive Workflow Management: For Clouds and Data-Intensive and Scalable Computing Environments

Cited by 26 publications

References 209 publications

An incremental reinforcement learning scheduling strategy for data‐intensive scientific workflows in the cloud

An incremental reinforcement learning scheduling strategy for data‐intensive scientific workflows in the cloud

Gerência de Dados de Proveniência Distribuídos de Experimentos Científicos: um Mapeamento Sistemático

Análise Integrada de Grafos de Proveniência Heterogêneos por meio de uma Abordagem PolyStore

Contact Info

Product

Resources

About