Analysis and Comparative Exploration of Elastic Search, MongoDB and Hadoop Big Data Processing

Kumar, Praveen; Kumar, Parveen; Zaidi, Nabeel; Rathore, V. S.

doi:10.1007/978-981-10-5699-4_57

Cited by 15 publications

(8 citation statements)

References 2 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…In our prior research, we harnessed Elasticsearch as a robust backend infrastructure tailored for handling extensive time series datasets [6]. Elasticsearch's sophisticated capabilities enable swift execution of near real-time queries and pivotal aggregation operations essential for managing voluminous multivariate time series [25,26]. The transition from tabular to Elasticsearch's document-oriented structure simplifies data organization and retrieval processes, fostering enhanced scalability and performance.…”

Section: Time Series Data and Managementmentioning

confidence: 99%

Anomalyzer: A Visual Interface for Multimodal Time Series Anomaly Analysis

Huang,

Zhang

2024

Preprint

View full text Add to dashboard Cite

Multimodal time series data are pervasive across various applications, providing detailed insights into the evolution of dynamic and complex systems with high-dimensional, high-resolution information. Analyzing the statistical characteristics, detecting changes, and uncovering unexpected behaviors over time from these longitudinal data can yield valuable insights. Traditional anomaly detection methods that rely solely on automated algorithms often overlook the context-specific nature of anomalies. To address this challenge, we introduce Anomalyzer, a novel visual interface for anomaly analysis with multimodal time series data at scale. Anomalyzer integrates sequential transformations to extract, refine, and analyze data representations crucial for anomaly analysis in complex multimodal time series data. Our approach offers a simple yet powerful workflow, a purposeful and step-by-step process meticulously crafted to guide users through the identification and analysis of anomalies with precision and clarity. We evaluate the performance of Anomalyzer with a synthetic multi-variate time series dataset, demonstrating the effectiveness of our novel approach in identifying and analyzing anomalies. The preliminary results have shown that Anomalyzer can help users to perform time series visualization and anomaly detection efficiently using its visualization, aggregation, and anomaly detection capabilities.

show abstract

Section: Time Series Data and Managementmentioning

confidence: 99%

Anomalyzer: A Visual Interface for Multimodal Time Series Anomaly Analysis

Huang,

Zhang

2024

Preprint

View full text Add to dashboard Cite

show abstract

“…Lastly, to solve the single point of failure problem of Hadoop and improve the stability of the 24-hour real-time computing of the cluster, the paper builds a highly available distributed cluster on the Linux server, as shown in TABLE 1. In Hadoop, because the NameNode manages the metadata information of the entire HDFS file system, once a single NameNode stops working in the cluster, it will affect the real-time operation of the entire cluster [15][16], making the cluster unable to process data in real time, and it is also not conducive to the cluster upgrade and maintenance, the NameNode is designed in a high-availability mode. Using the high-availability cluster design, even if a master node fails, the standby node can be switched to the working mode immediately through ZKFC (ZKFailoverController) [36][37] process to perform failover and ensure the normal operation of the cluster.…”

Section: Spark Distributed Cluster Based On Highly Available Hadoopmentioning

confidence: 99%

Simulation Research on Fast Matching of Big Data Based on Spark

Song

Leng

et al. 2023

IEEE Access

View full text Add to dashboard Cite

To solve the problem of low efficiency in real-time processing and matching of CNAME records in massive DNS log data, a parallel AC automaton enhancement method based on Spark was proposed. The method is based on the Spark distributed cluster computing engine of Hadoop, which ensures the stability of massive DNS log data storage with high fault tolerance and 24-hour real-time processing. At the same time, the Spark distributed cluster uses the multi-thread parallel computing method combined with the improved AC automaton algorithm, which not only reduces the memory occupied by trie construction, but also improves the efficiency of rapid matching of CNAME records of massive DNS logs. Simulation results show that the proposed method can quickly match CNAME records of massive DNS log data. Compared with the original AC algorithm, the efficiency is significantly improved, and the time complexity and storage space are reduced.

show abstract

“…La gestión y el tratamiento de las amenazas informáticas, es uno de los aspectos más importantes a considerar por parte de las organizaciones modernas, dedicando los recursos necesarios para poder responder a cualquier incidente de seguridad que surja. El sistema de gestión de información y eventos de seguridad (SIEM por sus siglas en inglés Security Information and Event Management Systems) actúa como un repositorio o contenedor de datos, centralizado con bases de datos de gran tamaño para almacenar y gestionar los datos de operación, registrando todos los eventos de los activos de información (Kumar et al, 2018); que se relacionan con la seguridad, usándolos para monitorear, identificar, documentar e incluso responder a dichos incidentes de seguridad (Labrinidis y Jagadish, 2012).…”

Section: Sistema De Gestión De Información Y Eventos De Seguridadunclassified

“…El SIEM comprende la supervisión en tiempo real junto con el análisis de los datos de registro para que la correlación de eventos puede proporcionar la detección, identificación y notificación de anomalías (Kumar et al, 2018). Algunos de los incidentes de seguridad son claros y su identificación podría ser sencilla, pero una gran parte de los incidentes de seguridad, aunque puedan ser obvios, se esconden detrás de la gran cantidad de eventos por segundo que se producen en los activos de información de la organización, y que sin un SIEM serían completa o parcialmente inadvertidos.…”

Section: Sistema De Gestión De Información Y Eventos De Seguridadunclassified

Identificación de amenazas informáticas aplicando arquitecturas de Big Data

Balseca-Chávez

Vargas

Mina

2021

IRJ

View full text Add to dashboard Cite

El uso masivo de las Tecnologías de la Información y Comunicaciones ha ocasionado la interdependencia de la sociedad respecto de estas; sumado a la ausencia de controles eficientes y efectivos a nivel general, incrementan la exposición a los ataques o amenazas informáticas, a las vulnerabilidades en los activos de información de las organizaciones. En este contexto, el presente artículo propone una arquitectura de análisis de datos a través de herramientas de Big Data mediante la utilización de eventos o registros de seguridad, que permitan mejorar la identificación, integración y correlación de eventos. La metodología de la investigación soportada se caracterizó por ser exploratoria y descriptiva. Para el desarrollo de la solución propuesta se empleó las fases del procesamiento de Big Data propuesta por Labrinidis y Jagadish, que permita la identificación de amenazas de informáticas. La arquitectura tecnológica diseñada se basó en la integración de Elastic Stack y sus componentes principales (Elasticsearch, Logstash, Kibana), y tecnologías como Filebeat y Wazuh Security Detection (NIPS/HIDS), gestionando la seguridad en activos de información como equipos de comunicaciones, servidores de datos y aplicaciones, motores de bases de datos, y terminales de usuario final. Su implementación permitiría la supervisión en tiempo real e histórica de una respuesta ágil y efectiva de alertas de seguridad e informes de estado ante incidentes.

show abstract

Analysis and Comparative Exploration of Elastic Search, MongoDB and Hadoop Big Data Processing

Cited by 15 publications

References 2 publications

Anomalyzer: A Visual Interface for Multimodal Time Series Anomaly Analysis

Anomalyzer: A Visual Interface for Multimodal Time Series Anomaly Analysis

Simulation Research on Fast Matching of Big Data Based on Spark

Identificación de amenazas informáticas aplicando arquitecturas de Big Data

Contact Info

Product

Resources

About