Workflows Científicos de RNA-Seq em Ambientes Distribuídos de Alto Desempenho: Otimização de Desempenho e Análises de Dados de Expressão Diferencial de Genes

Abstract

Apresentamos uma versão do workflow científico ParslRNA-Seq para análises de experimentos de Expressão Diferencial de Genes, acoplada a ambientes de Computação de Alto Desempenho, que mostrou melhoras no tempo total de execução de até 70%. O desempenho ParslRNA-Seq foi validado por meio de uma análise comparativa de dados da EDG em cardiomiócitos de um experimento real de RNA-Seq. Finalmente, o artigo traz discussões sobre a eleição de quais modificações na modelagem do workflow levam à melhora do desempenho e escalabilidade computacional, baseadas em dados de proveniência. ParslRNA-Seq está disponível em https://github.com/lucruzz/rna-seq.

Otimizações em um Workflow Científico de Alto Desempenho

“…Já usando o SSD, a execuc ¸ão dura em média cerca de 15 minutos. O tempo médio da atividade deseq é de cerca 1,4 minutos [Cruz et al 2021]. Ou seja, usando o Lustre o workflow leva cerca de 19 minutos para finalizar a execuc ¸ão e usando o SSD ele leva cerca de 17 minutos.…”

“…O workflow passa então, a ser dividido em duas partes: a primeira, descrita na Figura 1(a); e, a segunda, descrita na Figura 1(b). O conjunto de dados de entrada utilizados são os mesmo de [Cruz et al 2021] e contém ao todo seis arquivos, pertencentes a um experimento real de sequenciamento RNA, com tamanhos variando entre 1.8 GB e 3.0 GB. O ambiente computacional utilizado foi o SDumont e foram alocados seis nós computacionais para execuc ¸ão do workflow, dos quais se compõem por duas CPUs Ivy Bridge Intel Xeon E5-2695v2 (12c @2.4GHz) e 64 GB de memória RAM e um SSD de 128 GB.…”

“…A explorac ¸ão desses fatores, levaram a uma reduc ¸ão no TTE do workflow de cerca de 24 para 19 minutos. Comparativamente a [Cruz et al 2021] e o presente trabalho, podemos notar que alocac ¸ões de nós em blocos únicos, não é compensatória devido à ociosidade dos nós durante tempo excessivo quando terminam de processar os dados de uma pipeline. Com a nova proposta, há a liberac ¸ão de recursos cerca de 6 minutos mais cedo antes do fim do TTE do workflow.…”

“…O presente trabalho é uma continuac ¸ão de [Cruz et al 2021] para a otimizac ¸ão de desempenho do workflow científico desenvolvido, chamado ParslRNA-Seq, e apresenta uma nova proposta quanto ao formato de execuc ¸ão do mesmo para o seu processamento em ambientes distribuídos de alto desempenho. Além da nova proposta de execuc ¸ão, o presente trabalho apresenta também uma análise comparativa acerca do ganho computacional da execuc ¸ão desse workflow fazendo utilizac ¸ão do sistema de Entrada e Saída Paralelo (Lustre) e do disco local do nó computacional, chamado de Solid State Drive (SDD).…”

“…As estimativas sugerem um ganho de tempo de processamento para cada pipeline de tarefas do workflow em cerca de 2 minutos, o que para um ambiente paralelo e distribuído com múltiplos usuários pode ser bastante significativo. [Cruz et al 2021] levou as execuc ¸ões do workflow científico ParslRNA-Seq a alcanc ¸arem um ganho em tempo computacional maior do que 65% em relac ¸ão a versão apresentada em [Cruz et al 2020], com três atividades (bowtie, htseq e deseq). No novo trabalho foram adicionadas 3 atividades (sort, split e merge) de forma estratégica sugerindo o uso da técnica de divisão e conquista: com o particionamento do dado, processamento paralelo de dados e combinac ¸ão de resultados gerando a diminuic ¸ão de um Tempo Total de Execuc ¸ão (TTE) de cerca de 3 dias para cerca de 24 minutos.…”