Run-time performance optimization of a BigData query language

Abstract

JAQL is a query language for large-scale data that connects BigData analytics and MapReduce framework together. Also an IBM product, JAQL's performance is critical for IBM InfoSphere BigInsights, a BigData analytics platform. In this paper, we report our work on improving JAQL performance from multiple perspectives. We explore the parallelism of JAQL, profile JAQL for performance analysis, identify I/O as the dominant performance bottleneck, and improve JAQL performance with an emphasis on reducing I/O data size and increasing (de)serialization efficiency. With TPCH benchmark on a simple Hadoop cluster, we report up to 2x performance improvements in JAQL with our optimization fixes.

Similaridade em big data

“…A quantidade de dados imensa tanto em escala, quanto em complexidade, escopo, distribuição e/ou heterogeneidade produzidos por tais sistemas vem sendo referenciada como big data (CUZZOCREA;DAVIS, 2011;WANG et al, 2016;DUBE;GRAY, 2014;MOISE et al, 2013). Desse modo, é cada vez mais necessário desenvolver novas técnicas para tratar de maneira eficiente e eficaz tipos de dados complexos armazenados em escalas que vão à ordem dos milhares de Petabytes -um petabyte (PB) é 2 50 bytes, o que corresponde à ordem de grandeza de 10 15 bytes.…”

“…Por exemplo, os trabalhos existentes sobre outros critérios de comparação por similaridade (k-vizinhos reversos mais próximos e diversidade) fornecem operadores de busca baseados em algoritmos polinomiais de ordem elevada ou mesmo np-completos, portanto inviáveis para tratar big data. Por outro lado, os trabalhos recentes em big data têm o foco principalmente na eficiência e buscam aprimorar o desempenho da indexação e recuperação, em geral trabalhando com arquiteturas paralelas (BORKAR; CAREY; LI, 2012; PAPADIMITRIOU; SUN, 2008;MOISE et al, 2013;FEGARAS;GUPTA, 2012;SCHADT et al, 2010;VERNICA;LI, 2010;REED, 2012;HALL et al, 2013;DUBE;GRAY, 2014;WANG et al, 2016), mas sem abordar a raiz do problema, que é o aumento da densidade do espaço de busca. De fato, apesar do rápido crescimento do volume de dados, o modelo de busca por similaridade utilizado sempre tem permanecido o mesmo, isto é, utilizam-se sempre os mesmos operadores fundamentais que consideram os dados em espaços "esparsos" (SKOPAL et al, 2009).…”