A Review of Machine Learning and Deep Learning Techniques for Anomaly Detection in IoT Data

Al-amri, Redhwan; Murugesan, Raja Kumar; Man, Mustafa; Fareed, Alaa; Al-Sharafi, Mohammed A.; Alkahtani, Ammar Ahmed

doi:10.3390/app11125320

Cited by 84 publications

(38 citation statements)

References 77 publications

(159 reference statements)

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Для задач выявления аномалий во временных рядах используется огромное множество различных алгоритмов, классификация которых представлена на рис. 3 [16].…”

Section: методика проведения исследованийunclassified

“…Точечная аномалия возникает, когда какая-либо точка в потоке данных значительно отличается от ожидаемой закономерности распределения этих данных. Такие точки называют выбросами [16].…”

Section: рис 3 классификация алгоритмов машинного обучения методов и ...unclassified

See 1 more Smart Citation

Использование Методов Машинного Обучения «без Учителя» Для Предупреждения Прихватов Бурильной И Обсадной Колонн

Щербаков¹,

Ковалев²

2022

IZVESTIYA

View full text Add to dashboard Cite

Ссылка для цитирования: Щербаков Р.Э., Ковалев А.В. Использование методов машинного обучения «без учителя» для предупреждения прихватов бурильной и обсадной колонн // Известия Томского политехнического университета. Инжиниринг георесурсов. – 2022. – Т. 333. – № 4. – С. 66-78. Актуальность. С каждым годом истощение легкодоступных запасов углеводородов определяет необходимость разработки месторождений, характеризующихся сложными горно-геологическими условиями. Строительство скважин в данных условиях часто сопровождается различными осложнениями и авариями. Повышенные риски их возникновения обусловлены усложнением конструкции скважины, траектории ствола, а также недостаточно достоверными данными о горно-геологических условиях бурения. Прихват бурильной или обсадной колонны является одной из самых сложных аварий, которая оказывает существенное влияние на эффективность бурения и стоимость строительства скважины. Зачастую при возникновении прихвата требуется проведение дорогостоящих мероприятий по его ликвидации. В настоящее время признаки прихвата определяются по параметрам бурения инженерным составом, однако ввиду особенностей человеческого восприятия и сменного режима работы это происходит несвоевременно. Недостатки используемого в настоящий момент подхода предопределили использование алгоритмов машинного обучения. Интеллектуальная система может автоматически анализировать тенденции изменения параметров бурения, обнаруживать аномалии в реальном времени, заблаговременно прогнозировать вероятность возникновения аварии и предупреждать инженера по бурению на ранней стадии, что позволит реализовать превентивные мероприятия до того, как колонна будет прихвачена. Цель: создание алгоритма, позволяющего прогнозировать вероятность возникновения прихвата бурильной или обсадной колонны в процессе бурения скважины на основании анализа данных геолого-технологических исследований. Методы: анализ современных достижений в области определения аномалий во временных рядах при помощи алгоритмов машинного обучения; создание алгоритма прогнозирования прихвата на языке программирования Python с использованием библиотек с открытым исходным кодом. Результаты. Авторами разработан алгоритм прогнозирования прихвата, проведена оценка его эффективности на тестовой выборке, а также масштабируемость на прочие аварии и осложнения, возникающие в процессе бурения. Определены перспективные направления дальнейших исследований.

show abstract

Section: методика проведения исследованийunclassified

Section: рис 3 классификация алгоритмов машинного обучения методов и ...unclassified

Использование Методов Машинного Обучения «без Учителя» Для Предупреждения Прихватов Бурильной И Обсадной Колонн

Щербаков¹,

Ковалев²

2022

IZVESTIYA

View full text Add to dashboard Cite

show abstract

“…However, their review does not provide how DL models can be used to enhance security. In 2021, R. Al-amri et al [32] provide a review of anomaly detection within IoT data and systems using ML and DL. They note that DL models are more suited to anomaly detection for IoT data streams than ML models because DL techniques have the capability of automatically extracting features from this data.…”

Section: Related Previous Review Papersmentioning

confidence: 99%

Application of Deep Learning for Quality of Service Enhancement in Internet of Things: A Review

2021

View full text Add to dashboard Cite

The role of the Internet of Things (IoT) networks and systems in our daily life cannot be underestimated. IoT is among the fastest evolving innovative technologies that are digitizing and interconnecting many domains. Most life-critical and finance-critical systems are now IoT-based. It is, therefore, paramount that the Quality of Service (QoS) of IoTs is guaranteed. Traditionally, IoTs use heuristic, game theory approaches and optimization techniques for QoS guarantee. However, these methods and approaches have challenges whenever the number of users and devices increases or when multicellular situations are considered. Moreover, IoTs receive and generate huge amounts of data that cannot be effectively handled by the traditional methods for QoS assurance, especially in extracting useful features from this data. Deep Learning (DL) approaches have been suggested as a potential candidate in solving and handling the above-mentioned challenges in order to enhance and guarantee QoS in IoT. In this paper, we provide an extensive review of how DL techniques have been applied to enhance QoS in IoT. From the papers reviewed, we note that QoS in IoT-based systems is breached when the security and privacy of the systems are compromised or when the IoT resources are not properly managed. Therefore, this paper aims at finding out how Deep Learning has been applied to enhance QoS in IoT by preventing security and privacy breaches of the IoT-based systems and ensuring the proper and efficient allocation and management of IoT resources. We identify Deep Learning models and technologies described in state-of-the-art research and review papers and identify those that are most used in handling IoT QoS issues. We provide a detailed explanation of QoS in IoT and an overview of commonly used DL-based algorithms in enhancing QoS. Then, we provide a comprehensive discussion of how various DL techniques have been applied for enhancing QoS. We conclude the paper by highlighting the emerging areas of research around Deep Learning and its applicability in IoT QoS enhancement, future trends, and the associated challenges in the application of Deep Learning for QoS in IoT.

show abstract

“…Anomaly detection refers to distinguishing between normal and abnormal samples in data [43,44]. Anomaly detection mainly detects anomalous data or situations in various fields, such as manufacturing, medical care, and image processing [45][46][47][48][49][50].…”

Section: Anomaly Detectionmentioning

confidence: 99%

Anomaly Segmentation Based on Depth Image for Quality Inspection Processes in Tire Manufacturing

Kang

Kim

et al. 2021

Applied Sciences

View full text Add to dashboard Cite

This paper introduces and implements an efficient training method for deep learning–based anomaly area detection in the depth image of a tire. A depth image of 16 bit integer size is used in various fields, such as manufacturing, industry, and medicine. In addition, the advent of the 4th Industrial Revolution and the development of deep learning require deep learning–based problem solving in various fields. Accordingly, various research efforts use deep learning technology to detect errors, such as product defects and diseases, in depth images. However, a depth image expressed in grayscale has limited information, compared with a three-channel image with potential colors, shapes, and brightness. In addition, in the case of tires, despite the same defect, they often have different sizes and shapes, making it difficult to train deep learning. Therefore, in this paper, the four-step process of (1) image input, (2) highlight image generation, (3) image stacking, and (4) image training is applied to a deep learning segmentation model that can detect atypical defect data. Defect detection aims to detect vent spews that occur during tire manufacturing. We compare the training results of applying the process proposed in this paper and the general training result for experiment and evaluation. For evaluation, we use intersection of union (IoU), which compares the pixel area where the actual error is located in the depth image and the pixel area of the error inferred by the deep learning network. The results of the experiment confirmed that the proposed methodology improved the mean IoU by more than 7% and the IoU for the vent spew error by more than 10%, compared to the general method. In addition, the time it takes for the mean IoU to remain stable at 60% is reduced by 80%. The experiments and results prove that the methodology proposed in this paper can train efficiently without losing the information of the original depth data.

show abstract

A Review of Machine Learning and Deep Learning Techniques for Anomaly Detection in IoT Data

Cited by 84 publications

References 77 publications

Использование Методов Машинного Обучения «без Учителя» Для Предупреждения Прихватов Бурильной И Обсадной Колонн

Использование Методов Машинного Обучения «без Учителя» Для Предупреждения Прихватов Бурильной И Обсадной Колонн

Application of Deep Learning for Quality of Service Enhancement in Internet of Things: A Review

Anomaly Segmentation Based on Depth Image for Quality Inspection Processes in Tire Manufacturing

Contact Info

Product

Resources

About