Efficient Self-similarity Range Wide-joins Fostering Near-duplicate Image Detection in Emergency Scenarios

Abstract

Abstract:Crowdsourcing information is being increasingly employed to improve and support decision making in emergency situations. However, the gathered records quickly become too similar among themselves and handling several similar reports does not add valuable knowledge to assist the helping personnel at the control center in their decision making tasks. The usual approaches to detect and handle the so-called near-duplicate data rely on costly twofold processing. Aimed at reducing the cost and also improving the ability of duplication detection, we developed a framework model based on the similarity wide-join database operator. We extended the wide-join definition empowering it to surpass its restrictions and accomplish the near-duplicate task too.In this paper, we also provide an efficient algorithm based on pivots that speeds up the entire process, which enables retrieving the top similar elements in a single-pass processing. Experiments using real datasets show that our framework is up to three orders of magnitude faster than the competing techniques in the literature, whereas also improving the quality of the result in about 35 percent.

Inclusão de Operadores Físicos de Junção por Similaridade em um SGBD Comercial

“…Por exemplo, Silva et al [15] propuseram um algoritmo chamado Join-Around, que, baseado no algoritmo de junção por ordernação e intercalação, combina as propriedades de abrangência e dos k-vizinhos mais próximos para avaliar dois conjuntos diferentes, concatenando elementos da primeira relação com os elementos mais próximos na segunda relação e retornando os pares distantes até um limiar fornecido na consulta. Já Olmes et al [3] propuseram um algoritmo para juntar k pares elementos mais próximos. O algoritmo possui dois laços aninhados e uma fila de k-pares de elementos, ordenados pela distância de forma decrescente e separados em regiões utilizando pivôs.…”

“…As consultas mais utilizadas são as seleções por similaridade e junções por similaridade, e são utilizadas em especial naárea médica [21], onde a recuperação de imagens por similaridade auxiliam a detecção de anomalias por simetria, em situações emergenciais [3] como incêndio e desastres naturais, nos quais as imagens obtidas via crowdsourcing são processadas e agrupadas pela similaridade das mesmas e também em sistemas biométricos [9]. Apesar disto, Sistemas de Gerenciamento de Bancos de Dados (SGBDs) existentes ainda não possuem suporte adequado para esses consultas.…”

Avaliando Diferentes Implementações Do Descritor De Cor Dominante

“… Dividir a imagem em 16 sub-blocos e, para cada sub-bloco encontrar a cor de maior frequência. Escolher as cores de maior frequência de cada sub-bloco e suas frequências como as características da imagem. POR CONTEÚDO -SISTEMA CBIR Para que um sistema CBIR possa realizar uma busca baseada apenas no conteúdo de uma imagem, é necessário considerar mais outros dois conceitos além da extração de característica das imagens, sendo esses chamados de funções de distância e operadores de consultas por similaridade.Assim, um sistema CBIR de posse dos vetores de características das imagens, utiliza um operador de consulta por similaridade, para recuperar os elementos do conjunto de dados que atendem a um dado critério de similaridade(PEDROSA, 2016;CARVALHO et al, 2016). Os elementos recuperados dependem do elemento de busca (sq), chamado de 'elemento central de busca'.…”

“…Existem vários critérios de similaridade (SANTOS, 2017), sendo que dois são considerados fundamentais: os que expressam as consultas por abrangência e aos k-vizinhos mais próximos. O critério de abrangência é utilizado, tipicamente, em aplicações em que os resultados são enviados para outro algoritmo de mineração de dados ou sumarização(CARVALHO et al, 2016).Neste trabalho, estamos interessados no critério que expressam as consultas aos k-vizinhos mais próximos (k-nearest neighbor query-k-NNq). De forma intuitiva, essa consulta retorna os k elementos mais próximos ao elemento central de busca(SANTOS, 2017).…”

Operadores físicos binários para consultas por similaridade em SGBDR

“…A junção por similaridade é uma das operações mais utilizadas no processamento de consultas, seja para dados tradicionais ou complexos, e tem sido extensivamente investigada [49,84,74,85,55,75,76,17,77,19,20,61,69,26,25,21].…”