Reconstruction-based anomaly detection for the cloud

Abstract

The detection of anomalies in cloud metrics is an important way to identify suspicious data instances that indicate a system problem such as hardware failures, performance bottlenecks or intrusions. Yet, especially in a cloud computing infrastructure where the amount and variety of services is constantly increasing, it is getting more and more challenging to monitor and maintain the system manually. Thus, it is beneficial to use machine learning to detect anomalies at least partially in an automated way. The contribution of this paper is two-folded: firstly, we evaluate three unsupervised, reconstruction-based methods for anomaly detection (PCA, Autoencoder, LSTM-Encoder-Decoder) on the Yahoo! Webscope S5 benchmark dataset. Secondly, we compare our chosen models to a widely-used density-based approach and show that our reconstruction-based approaches outperform the related work. CCS CONCEPTS • Computing methodologies → Anomaly detection; • Networks → Cloud Computing; Network monitoring.

Detecção de anomalias em pavimentos utilizando sensores inerciais.

“…Uma das técnicas mais utilizados nessa área chama-se PCA (Análise das Componentes Principais -Do inglês Principal Component Analysis) [55], na qual o algoritmo de UL tem como finalidade reduzir a dimensionalidade do conjunto de treino e então reconstruir o subespaço original através das componentes principais 𝑆 𝑛𝑜𝑟𝑚𝑎𝑙 , obtendo assim um erro de reconstrução associado a cada amostra, onde idealmente os pontos anômalos terão mais dificuldade de projeção, o que elevará seu valor de erro. Outra técnica amplamente utilizada são as ANN's do tipo autoencoder, que utilizam o conceito de encoder e decoder para reduzir e aumentar a dimensionalidade dos dados de treino em sua arquitetura [56], ou seja, diferente do algoritmo PCA, esse método utiliza neurônios artificiais para fazer esse processo, o que em termos práticos se traduz em diminuir a quantidade de nós em cada camada, concentrando as principais características do conjunto em uma região denominada gargalo e a partir desse ponto aumentar simetricamente as unidades neurais, reconstruindo novamente os dados, de modo que possa se recuperar a entrada do sistema em sua saída.…”

“…Dentre esses métodos, podemos destacar as ANN's LSTM autoencoder, que tem uma topologia especializada em detecção de anomalias em séries temporais [97], pois os mesmos mantém a relação no domínio do tempo dos dados de entrada [55], o que faz desse algoritmo de UL adequado para a utilização no módulo de detecção anteriormente mencionado.…”