Automated weighted outlier detection technique for multivariate data

Abstract

In the chemical and petrochemical industries, spectroscopy-based online analysers are becoming common for process monitoring and control applications. A significant challenge in using these analysers as part of process monitoring and control loops is the large amount of personnel time required for calibration and maintenance of models which involve decision inputs such as whether an observation is an outlier, the number of latent variables in a model, type of pre-processing and when a calibration model has to be updated. Since no one measure works well for all applications, supervision by the process data analyst is required which invariably involves some level of subjectivity. In this paper, we focus on the detection of multivariate outliers in a calibration set. We propose a method which combines multiple outlier detection techniques to identify a set of outlying observations without operator input. Apart from the overall methodology, this work introduces several novelties. The system uses partial least squares (PLS) instead of principal component analysis (PCA) which is normally used for detecting multivariate outliers. A simple modification to the Mahalanobis distance was also proposed which appears to be more sensitive to outliers than the conventional Mahalanobis distance. The methodology also introduces the concept of a desirability function to enable automatic decision making based on multiple statistical measures for outlier detection. The methodology is demonstrated using Raman spectroscopy data collected from an industrial distillation process

Robust chemical process monitoring based on CDC‐MVT‐PCA eliminating outliers and optimally selecting principal component

“…Several robust techniques have been developed to obtain the robust estimates of mean and covariance matrix. [11][12][13][14][15] Moller et al [16] performed a series of comparative tests using numerous robust estimation methods. Some of the most commonly used techniques are multivariate trimming (MVT), [17] minimum covariance determinant (MCD), [18] and other methods based on projection pursuit.…”

“…Several robust techniques have been developed to obtain the robust estimates of mean and covariance matrix . Moller et al performed a series of comparative tests using numerous robust estimation methods.…”

Ressonância magnética nuclear no domínio do tempo, infravermelho próximo e ciência de dados para análise de citros

“…Wang, Hu, & Xie, 2014). (Szostak & Mazurek, 2009;Thennadil et al, 2018;Zhao, Wu, Cheng, Shi, & Qiao, 2016 A tabela 3 mostra que os modelos de calibração desenvolvidos de forma autônoma pelo Python com intervalo de confiança de 95% para exclusão de dados reduziram os valores de RMSECV dos modelos de PLS no conjunto de dados com exclusão de outliers detectados ainda mais. Entretanto, utilizando o limite de confiança de 95% foram removidas 54 amostras, que correspondem aos 6 espectros com ruído adicionados de forma proposital para teste da rotina e mais 11 espectros sem ruídos adicionados de forma proposital e mais 37 amostras da matriz Y que são de origem do laboratório, totalizando assim, 17.64% de dados removidos (Kubiak, Zhang, Ren, Yang, & Roskos, 2018).…”

“…Para conjuntos de dados desta natureza o uso de softwares comerciais mais utilizados como The Unscrambler X (Camo Analytics, 2019) e PLS_Toolbox (Eigenvector Research, 2019) necessita que o usuário seja avançado e que conheça todas as técnicas disponíveis para realizar um tratamento adequado de conjunto de dados tão complexos e extrair apenas os dados válidos para construção dos modelos. Mesmo neste cenário de usuário avançado o tempo demandado para identificar possíveis amostras fora dos intervalos de confiança é demorado e pode estar sujeito a erro humano e por estas razões muitos grupos de pesquisa estudam alternativas automatizadas para esta tarefa Thennadil, Dewar, Herdsman, Nordon, & Becker, 2018) .…”

“…Entretanto, se as colunas no seu conjunto de dados estiverem correlacionadas, o que normalmente ocorre nos conjuntos de NIR, a distância euclidiana entre um ponto e o centro dos pontos pode fornecer informações enganosas sobre o quão perto um ponto realmente está dos demais e levar a falsa identificação de outliers. A base para detecção multivariada de outliers é o cálculo da distância de Mahalanobis (Tao, Wang, Wu, & Lin, 2020;Thennadil et al, 2018). O cálculo é baseado em transformar as colunas em variáveis não correlacionadas, escalar as colunas para variância igual a um e finalmente calcular a distância Euclidiana.…”