Sampling for validation of digital soil maps

Abstract

The increase in digital soil mapping around the world means that appropriate and efficient sampling strategies are needed for validation. Data used for calibrating a digital soil mapping model typically are non-random samples. In such a case we recommend collection of additional independent data and validation of the soil map by a design-based sampling strategy involving probability sampling and design-based estimation of quality measures. An important advantage over validation by data-splitting or cross-validation is that model-free estimates of the quality measures and their standard errors can be obtained, and thus no assumptions on the spatial auto-correlation of prediction errors need to be made. The quality of quantitative soil maps can be quantified by the spatial cumulative distribution function (SCDF) of the prediction errors, whereas for categorical soil maps the overall purity and the map unit purities (user's accuracies) and soil class representation (producer's accuracies) are suitable quality measures. The suitability of five basic types of random sampling design for soil map validation was evaluated: simple, stratified simple, systematic, cluster and two-stage random sampling. Stratified simple random sampling is generally a good choice: it is simple to implement, estimation of the quality measures and their precision is straightforward, it gives relatively precise estimates, and no assumptions are needed in quantifying the standard error of the estimated quality measures. Validation by probability sampling is illustrated with two case studies. A categorical soil map on point support depicting soil classes in the province of Drenthe of the Netherlands (268 000 ha) was validated by stratified simple random sampling. Sub-areas with different expected purities were used as strata. The estimated overall purity was 58% with a standard error of 4%. This was 9% smaller than the theoretical purity computed with the model. Map unit purities and class representations were estimated by the ratio estimator. A quantitative soil map, depicting the average soil organic carbon (SOC) contents of pixels in an area of 81 600 ha in Senegal, was validated by random transect sampling. SOC predictions were seriously biased, and the random error was considerable. Both case studies underpin the importance of independent validation of soil maps by probability sampling, to avoid unfounded trust in visually attractive maps produced by advanced pedometric techniques.

Comparação De Esquemas De Amostragem Para Treinamento De Modelos Preditores No Mapeamento Digital De Classes De Solos

“…A estimativa da acurácia dos modelos preditores com uso dos dados independentes e distintos resultou valores de índice kappa e da acurácia geral muito semelhantes, indiferentemente do esquema de amostragem e do tamanho do conjunto de dados independentes. Esses resultados estão em conformidade com a indicação da avaliação com uso de dados independentes e distintos daqueles usados para treinamento dos algoritmos (Grinand et al, 2008;Steyerberg, 2009;Brus et al, 2011).…”

“…Os modelos de predição mais acurados possibilitam gerar mapas digitais de solo mais precisos e, semelhante aos mapeamentos convencionais de solo, os mapas gerados também apresentam erros que devem ser identificados e quantificados (McBratney et al, 2003;Brus et al, 2011). Para isso, Rossiter (2004) abordou diferentes métodos para obter a acurácia de mapas temáticos, sendo a comparação do mapa gerado com um mapa de referência um método comumente empregado no MDS para medir a acurácia, como realizado por Bui e Moran (2003) e Giasson et al (2011).…”

“…Para isso, Rossiter (2004) abordou diferentes métodos para obter a acurácia de mapas temáticos, sendo a comparação do mapa gerado com um mapa de referência um método comumente empregado no MDS para medir a acurácia, como realizado por Bui e Moran (2003) e Giasson et al (2011). Além disso, as estimativas da acurácia podem ser obtidas por métodos avaliação de modelos preditores, que fornecem ao usuário estimativa da acurácia e dos erros da predição ao final da construção do modelo (Chatfield, 1995;Steyerberg, 2009) e em etapa anterior à geração dos mapas digitais (Brus et al, 2011).…”

“…A avaliação da acurácia com uso de dados independentes e distintos daqueles usados para o treinamento é indicada para estudos preditivos de diversas áreas do conhecimento (Grinand et Steyerberg, 2009;Brus et al, 2011). Todavia, no MDS tem sido encontrado o uso de diferentes métodos de avaliação de modelos preditores (Grunwald, 2009 (Kämpf et al, 2004).…”

“…Para proceder ao treinamento dos modelos preditores, as informações dos atributos do terreno e das unidades de mapeamento (UM) foram amostradas em 45000 pontos (1 ponto a cada 2 ha), usando três esquemas de amostragem: aleatória simples; aleatória proporcional à área ocupada por cada UM, em que os pontos amostrais foram distribuídos aleatoriamente sobre o mapa obedecendo o critério da proporcionalidade; e aleatória estratificada pelo número de UM, em que a mesma quantidade de pontos amostrais (4500) foi distribuída aleatoriamente dentro da área de cada uma das 10 UMs. Os modelos preditores gerados para cada esquema de amostragem tiveram suas acurácias estimadas pelos seguintes métodos de avaliação: validação aparente, que se utiliza da totalidade do conjunto de dados usados para treinamento; divisão percentual, sendo 66 % dos dados usados para treinamento e 34 % para avaliação; validação cruzada com 10 subconjuntos, sendo nove subconjuntos para treinamento e um para avaliação, sendo intercalados até que todos os conjuntos sejam usados para treino e para teste (Steyerberg, 2009); validação com dados independentes, utilizando sete conjuntos de dados distintos daqueles usados para treinamento, sendo amostrados aleatoriamente sobre a área de estudo, obedecendo, assim, ao critério de amostragem probabilística (Grinand et al, 2008;Brus et al, 2011). Os dados independentes foram amostrados em diferentes proporções (0,75; 1,5; 3,0; 4,5; 6,0; 7,5; e 9,0 %) em relação ao tamanho total da microbacia, resultando em conjuntos de dados com 7500, 15000, 30000, 45000, 60000, 75000 e 90000 pontos amostrais.…”