Inducing Suffix and LCP Arrays in External Memory

Abstract

We consider text index construction in external memory (EM). Our first contribution is an inducing algorithm for suffix arrays in external memory. Practical tests show that this outperforms the previous best EM suffix sorter [Dementiev et al., ALENEX 2005] by a factor of about two in time and I/O-volume. Our second contribution is to augment the first algorithm to also construct the array of longest common prefixes (LCPs). This yields the first EM construction algorithm for LCP arrays. The overhead in time and I/O volume for this extended algorithm over plain suffix array construction is roughly two. Our algorithms scale far beyond problem sizes previously considered in the literature (text size of 80 GiB using only 4 GiB of RAM in our experiments).

Um algoritmo para a construção de vetores de sufixo generalizados em memória externa

“…A complexidade de tempo do algoritmo DC3 para memória externa é O(sort(n)) I/Os, onde sort(n) é o número de I/Os necessários para ordenar todos os sufixos do texto T . Bingmann et al [2013] propuseram o primeiro algoritmo para a construção de vetores de sufixo aumentado com o vetor LCP em memória externa. O algoritmo proposto, chamado de eSAIS, estende o algoritmo de construção de vetores de sufixo em memória interna SAIS [Nong et al, 2011].…”

“…De forma resumida, o algoritmo original SAIS seleciona e ordena um subconjunto dos sufixos de T , e utiliza a ordem desses sufixos já ordenados para induzir a ordem dos sufixos ainda não ordenados [Dhaliwal et al, 2012]. Bingmann et al [2013] reformularam o algoritmo SAIS utilizando apenas leituras sequenciais, ordenação, união e filas de prioridades, os quais podem ser implementados eficientemente por meio da biblioteca STXXL [Dementiev, 2005]. De forma semelhante ao algoritmo DC3 para memória externa (descrito na Seção 4.3), o fluxo de dados do eSAIS é ilustrado na Figura 4.2.…”

“…Figura 4.2: Fluxo de dados: Algoritmo eSAIS, adaptado de [Bingmann et al, 2013] Em particular, os nós na Figura 4.2 são numerados a partir das linhas do algoritmo em [Bingmann et al, 2013]. De forma simplificada, os nós 2 a 10 (parte 1) representam a leitura do texto T , classificação dos sufixos em tipo S * , L e S, e ordenação dos sufixos do tipo S * .…”

“…Em geral, algoritmos desenvolvidos para memória interna executam muitos acessos aleatórios à memória interna, o que impossibilita seu uso em memória externa. Com isso, muitos trabalhos têm sido propostos para construção [Crauser e Ferragina, 1999, 2002Dementiev et al, 2005Dementiev et al, , 2008Bingmann et al, 2013], manipulação e consulta [Cheung, 2003;Sinha et al, 2008;Moffat et al, 2009] em vetores de sufixo em memória externa. Nessa dissertação, o enfoque refere-se à construção de vetores de sufixo generalizados em memória externa.…”

“…Foram utilizados BDBs reais de tamanhos de 0,54 GB à 8,5 GB com 24 à 105 sequências de DNA e 0,7 à 11 milhões de sequências de proteínas. Para os conjuntos de cadeias grandes, foram realizados testes comparativos com o algoritmo eSAIS [Bingmann et al, 2013], o qual representa o trabalho correlato mais eficiente disponível na literatura para construção de vetores de sufixo. Nesses experimentos a entrada do algoritmo eSAIS foi adaptada para a construção de vetores generalizados.…”