Efficiency and Scalability Issues in Metric Access Methods

Dohnal, Vlastislav; Gennaro, Claudio; Zezula, Pavel

doi:10.1007/978-3-540-75767-2_12

Cited by 5 publications

(3 citation statements)

References 31 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Böhm et al [15] present another survey that explores the effects of indexing highdimensional data, focusing on both MAMs and spatial access methods. The work of Dohnal et al [16] discusses scalability issues of disk-based MAMs, and argues that parallel or distributed similarity search techniques should be employed to speed up queries over very large datasets.…”

Section: Related Workmentioning

confidence: 99%

Slicing the metric space to provide quick indexing of complex data in the main memory

Carélo

Pola

Ciferri

et al. 2011

Information Systems

View full text Add to dashboard Cite

Section: Related Workmentioning

confidence: 99%

Slicing the metric space to provide quick indexing of complex data in the main memory

Carélo

Pola

Ciferri

et al. 2011

Information Systems

View full text Add to dashboard Cite

“…Scalability is another important limitation for many indexing methods, that struggle to work with large datasets [25]. Indexes whose design follows a top-down data partition strategy are not prepared for big data problems in distributed systems, where it is unfeasible to centralize metadata in a single node.…”

Section: Introductionmentioning

confidence: 99%

Unconventional application of k-means for distributed approximate similarity search

Vadillo-Ortega¹,

Algar²,

Diego³

et al. 2022

Preprint

View full text Add to dashboard Cite

Similarity search based on a distance function in metric spaces is a fundamental problem for many applications. Queries for similar objects lead to the well-known machine learning task of nearest-neighbours identification. Many data indexing strategies, collectively known as Metric Access Methods (MAM), have been proposed to speed up queries for similar elements in this context. Moreover, since exact approaches to solve similarity queries can be complex and time-consuming, alternative options have appeared to reduce query execution time, such as returning approximate results or resorting to distributed computing platforms. In this paper, we introduce MASK (Multilevel Approximate Similarity search with k-means), an unconventional application of the k-means algorithm as the foundation of a multilevel index structure for approximate similarity search, suitable for metric spaces. We show that inherent properties of k-means, like representing high-density data areas with fewer prototypes, can be leveraged for this purpose. An implementation of this new indexing method is evaluated, using a synthetic dataset and a real-world dataset in a high-dimensional and high-sparsity space. Results are promising and underpin the applicability of this novel indexing method in multiple domains.

show abstract

“…In general, MAMs have been widely used for data retrieval in medical scenarios, so any MAM could be employed. As the Slim-tree has already been employed in the literature (DOHNAL; GENNARO;ZEZULA, 2008;OLIVEIRA et al, 2016;NESSO-JR. et al, 2018) and is implemented in the Arboretum library, this was the MAM used in the experiments. Specifically, we measured the average query time for kNN and Range queries, along with the average building time and disk space usage of the index structures, in the context of Domain Queries across multiple repositories.…”

Section: Methodsmentioning

confidence: 99%

Enriching data analytics with incremental data cleaning and attribute domain management

Oliveira¹

View full text Add to dashboard Cite

A Deus, pela vida, pelas inúmeras bênçãos e por todas as oportunidades concedidas.Aos meus pais, Neiva e Paulo, e irmã, Aline, por nunca medirem esforços para investirem em minha educação, mesmo diante de tantas dificuldades pelas quais passamos, especialmente financeiras. Não poderia deixar de mencionar a ocasião em que venderam pertences para que pudessem pagar pelo meu vestibular. Cada detalhe contribuiu, de alguma maneira, para que eu chegasse até aqui. Obrigado por me ensinarem o valor da integridade e da perseverança.Ao meu companheiro, Rafael, que tanto enriqueceu minha vida nos últimos anos. Sou grato por seu cuidado, pelo seu apoio incondicional e por me permitir aprender, a cada dia, a ser uma pessoa melhor e mais justa.Ao meu orientador, Prof. Dr. Caetano Traina Junior, por ter me recebido para embarcar nessa jornada, por sua paciência e por todos os ricos ensinamentos. À Prof. a Dr. a Agma Juci Machado Traina, por seu apoio em tantos momentos, especialmente com o estágio BEPE.Ao Prof. Dr. Ihab F. Ilyas, pela receptividade e pelos ensinamentos durante meu estágio na Universidade de Waterloo, no Canadá. Aos colegas do Data Systems Group (DSG). À Kayla, amiga tão especial que conheci no Canadá e ganhei para a vida. Ao Prof. Dr. Daniel dos Santos Kaster, por confiar e investir em mim desde o mestrado, pela minha conexão com o Instituto de Ciências Matemáticas e de Computação (ICMC), por seu companheirismo no estágio no Canadá e, principalmente, por sua amizade.Ao Grupo de Bases de Dados e Imagens (GBDI), por todas as colaborações e experiências. Por todas as amizades que fiz. Ao Lucas Scabora e à Mirela Cazzolato, por tantas conversas e por serem ombros amigos nos momentos de dificuldade.Aos amigos e familiares que estiveram comigo em tantos momentos. Às amigas Mayara e Dayane, aos primos Priscyla e Matheus, ao Carlos, à tia Sônia, aos amigos da Universidade Estadual de Londrina (UEL), obrigado por terem me apoiado durante essa jornada.Aos professores e funcionários do ICMC, pelo suporte ao longo desses anos. A todos que, direta ou indiretamente, contribuíram para a realização deste trabalho e para a minha formação.

show abstract

Efficiency and Scalability Issues in Metric Access Methods

Cited by 5 publications

References 31 publications

Slicing the metric space to provide quick indexing of complex data in the main memory

Slicing the metric space to provide quick indexing of complex data in the main memory

Unconventional application of k-means for distributed approximate similarity search

Enriching data analytics with incremental data cleaning and attribute domain management

Contact Info

Product

Resources

About