Detection of Inconsistencies in Geospatial Data With Geostatistics

Abstract

Abstract:Almost every researcher has come through observations that "drift" from the rest of the sample, suggesting some inconsistency. The aim of this paper is to propose a new inconsistent data detection method for continuous geospatial data based in Geostatistics, independently from the generative cause (measuring and execution errors and inherent variability data). The choice of Geostatistics is based in its ideal characteristics, as avoiding systematic errors, for example. The importance of a new inconsistent detection method proposal is in the fact that some existing methods used in geospatial data consider theoretical assumptions hardly attended. Equally, the choice of the data set is related to the importance of the LiDAR technology (Light Detection and Ranging) in the production of Digital Elevation Models (DEM). Thus, with the new methodology it was possible to detect and map discrepant data. Comparing it to a much utilized detections method, BoxPlot, the importance and functionality of the new method was verified, since the BoxPlot did not detect any data classified as discrepant. The proposed method pointed that, in average, 1,2% of the data of possible regionalized inferior outliers and, in average, 1,4% of possible regionalized superior outliers, in relation to the set of data used in the study. Keywords: Outliers, geoprocessing, LiDAR technology. Resumo:Provavelmente todo pesquisador já se deparou com observações que se "afastam" das demais, sugerindo a existência de inconsistências. O objetivo desse trabalho é propor um novo método de detecção de dados inconsistentes para dados geoespaciais contínuos baseando-se na Geoestatística, independentemente da causa geradora (erros de medição, execução e variabilidade inerente aos dados). A escolha pela Geoestatística está baseada em suas características ideais, como evitar erros

Estimação Do Tamanho Amostral Na Geoestatística Usando Um Modelo De Variograma Gaussiano Na Presença De Outliers

“…Esses dados compreendem pouco mais de 192 mil pontos com altitude conhecidas, densidade de 0,55 pontos/m 2 e um espaçamento de aproximadamente 1,7 e 1,2 metros nas direções X e Y, respectivamente. Santos et al (2017) propuseram um método de detecção de dados inconsistentes, outliers, para dados geoespaciais contínuos baseando-se na geoestatística, independentemente dos fatores geradores da inconsistência (erros de medição, execução ou variabilidade inerente aos dados).…”

“…O conjunto de dados consistiu de 192.017 pontos. Após eliminação dos outliers desse banco de dados, seguindo a proposta feita por Santos et. al (2017), obteve-se um novo conjunto de dados contendo 4067 pontos, com uma altitude média de cerca de 363 metros e variância média de cerca de 62 metros quadrados.…”

“…Metodologias para a detecção de outliers vêm sendo criadas para atender às demandas das diversas áreas do conhecimento científico, como proposto por Barua e Alhajj (2007) para processamento de imagens, Qiao, Haibo e Hong (2013) para dados provenientes de satélites e Appice et al (2014) para fluxo de dados geofísicos. Santos et al (2017) propuseram um método de detecção de outliers para dados geoespaciais contínuos através da geoestatística e teoremas da estatística clássica, independentemente da causa geradora das inconsistências. Estes autores fazem referência a uma Tese de Doutorado de Santos (2016) onde foi feita uma proposta via geoestatística para eliminação de outliers do banco de dados.…”

“…Utilizando a geoestatística associada ao teorema da taxa de Nyquist proposto por Modis e Papaodysseus (2006) e a proposta para eliminação de outliers feita por Santos et. al (2017), o presente trabalho objetivou-se determinar, a partir de um banco de dados contendo outliers, um tamanho ideal de amostragem utilizando uma grade quadrática regular na qual o modelo de dependência espacial é o Gaussiano.…”

Robust Methodology for Detection of Spikes in Multibeam Echo Sounder Data

“…These discrepancies can be considered as outliers and thus undesirable in the set of data to be processed. The term outlier can be defined as an observation that, statistically, differs from the data set to which it belongs, that is, it is an atypical or inconsistent value (Mood et al 1974;Santos et al 2017). In this sense, outliers can be caused by gross errors, by systematic effects or, simply, by random effects, according for example, Santos et al (2016).…”