Towards optimizing the execution of spark scientific workflows using machine learning‐based parameter tuning

Abstract

Summary In the last few years, Apache Spark has become a de facto the standard framework for big data systems on both industry and academy projects. Spark is used to execute compute‐ and data‐intensive workflows in distinct areas like biology and astronomy. Although Spark is an easy‐to‐install framework, it has more than one hundred parameters to be set, besides domain‐specific parameters of each workflow. In this way, to execute Spark‐based workflows efficiently, the user has to fine‐tune a myriad of Spark and workflow parameters (eg, partitioning strategy, the average size of a DNA sequence, etc.). This configuration task cannot be manually performed in a trial‐and‐error manner since it is tedious and error‐prone. This article proposes an approach that focuses on generating interpretable predictive machine learning models (ie, decision trees), and then extract useful rules (ie, patterns) from these models that can be applied to configure parameters of future executions of the workflow and Spark for nonexperts users. In the experiments presented in this article, the proposed parameter configuration approach led to better performance in processing Spark workflows. Finally, the approach introduced here reduced the number of parameters to be configured by identifying the most relevant domain‐specific ones related to the workflow performance in the predictive model.

Definição de Parâmetros do Spark por meio de Aprendizado de Máquina: um Estudo com Dataflows de Astronomia

“…O problemaé formalmente definido em relação aos aspectos relevantes relacionados com a estrutura do dataflow, dados de entrada, parâmetros de configuração e o ambiente DISC, seguindo o formalismo de [de Oliveira et al 2021]. Nesse artigo, um dataflowé modelado como um grafo acíclico dirigido (DAG) W = (A, Dep), onde A são as atividades representadas pelos vértices, e Dep o conjunto de dependências de dados entre as atividades.…”

“…Esse parâmetro pode variar de 1 a 32, (v) Quantidade de Memória por Executor: define a quantidade máxima de memória disponível para cada executor, variando entre 1 e 64 GB, (vi) Número Máximo de Tarefas: define a quantidade máxima de tarefas a ser executada em paralelo por cada executor no Spark, (vii) Tamanho dos Dados de Entrada: esse atributo define o tamanho dos dados de entrada do dataflow, variando de 1 a 24 GB. A escolha dos parâmetros se deu em linha com o trabalho anterior [de Oliveira et al 2021].…”

“…Utilizamos os seguintes métodos no experimento: KNN, Naive Bayes, Redes Neurais Artificiais e Máquina de Vetor de Suporte (SVM). Os resultados foram comparados com o baseline (Árvores de Decisão) utilizado anteriormente em [de Oliveira et al 2021]. A primeira análise realizada foi verificar quais atributos oferecem o maior ganho de informação.…”

“…Isso se dá uma vez que a utilização do programa Spatial Catalog FRAgmeNter (FRANCE) para gerar particionamento Equi-Depth sempre gerou tempos de execução baixos ou médios. O FRANCEé uma aplicação iterativa que particiona os dados em histogramas de mesma profundidade [de Oliveira et al 2021]. Além disso, o número máximo de tarefas define a concorrência em um mesmo executor.…”

“…Tais parâmetros podem ser configurados manualmente, por meio de tentativa e erro, mas esteé um processo entediante e pouco eficiente [Wang et al 2016]. Em um trabalho anterior [de Oliveira et al 2021] utilizamos técnicas de aprendizado de máquina para criar um modelo preditivo que fosse capaz de definir as combinações de valores de parâmetros do Spark, em conjunto com parâmetros específicos do domínio da aplicação, que levassem aos menores tempos de execução. Tal modelo foi treinado a partir de um dataset de dados de proveniência [Freire et al 2008] com dados de mais de 500 execuções de experimentos, e acoplado a uma ferramenta chamada SpaCE [de Oliveira et al 2021] (ferramenta para recomendação de parâmetros no Spark).…”