Avaliação de Desempenho de um Workflow Científico para Experimentos de RNA-Seq no Supercomputador Santos Dumont

Abstract

Experimentos científicos em larga escala são considerados complexos devido à modelagem de suas atividades, execução e análises de grandes volumes de dados. Na bioinformática esses experimentos são modelados como workflows científicos utilizando conceitos de computação de alto desempenho e ciência de dados. Neste artigo apresentamos o workflow ParslRNA-Seq para experimentos de RNA-Seq e análises de desempenho das execuções realizadas no supercomputador Santos Dumont usando dados reais. Os resultados mostram uma melhora no desempenho, quando comparado às execuções realizadas da forma tradicional sem paralelização e via Web, de 3 dias para 11 horas, com reproducibilidade de resultados de dados biológicos sensíveis. A execução multithreading do workflow indica também que a parametrização é dependente do Parsl e da atividade bowtie.

Otimizações em um Workflow Científico de Alto Desempenho

“…As estimativas sugerem um ganho de tempo de processamento para cada pipeline de tarefas do workflow em cerca de 2 minutos, o que para um ambiente paralelo e distribuído com múltiplos usuários pode ser bastante significativo. [Cruz et al 2021] levou as execuc ¸ões do workflow científico ParslRNA-Seq a alcanc ¸arem um ganho em tempo computacional maior do que 65% em relac ¸ão a versão apresentada em [Cruz et al 2020], com três atividades (bowtie, htseq e deseq). No novo trabalho foram adicionadas 3 atividades (sort, split e merge) de forma estratégica sugerindo o uso da técnica de divisão e conquista: com o particionamento do dado, processamento paralelo de dados e combinac ¸ão de resultados gerando a diminuic ¸ão de um Tempo Total de Execuc ¸ão (TTE) de cerca de 3 dias para cerca de 24 minutos.…”