Performance evaluation of association mining in Hadoop single node cluster with Big Data

Abstract

Data Mining means extracting unique information from pre-existing large data sets. Data Mining techniques have been applied to almost all areas such as Education, health care, Stock market, etc. Since the data size is getting increased exponentially, maintaining high performance plays a major challenge in the field of data mining. The data may be in structured format or unstructured format and hence the research on extracting the frequent pattern which is repeated in an iterative fashion seems to be really difficult. The paper aims at evaluating the performance of a Hadoop single node cluster with respect to Big Data. Apriori based Association rule mining algorithm was used to find the frequent patterns and then their rules. Finally the time taken to perform the entire data mining task was found and the performance is evaluated.

A Novel Nodesets-Based Frequent Itemset Mining Algorithm for Big Data using MapReduce

“…Asbern and Asha [16] explored different algorithms for FIM that operate on big data using the MapReduce paradigm. Kumar and Mohbey [17] investigated different parallel FIM algorithms that are executed in distributed environments.…”

Mineração em Grandes Massas de Dados Utilizando Hadoop MapReduce e Algoritmos Bio-inspirados: Uma Revisão Sistemática

“…Dentre outros benefícios à comunidade científica, algumas bases de dados para realizar a tarefa de agrupamento são disponibilizadas, http://cs.joensuu.fi/sipu/datasets/. 7 Weka é uma coleção de algoritmos de aprendizado de máquina utilizados em tarefas de mineração de dados. Os algoritmos aplicados diretamente em um conjunto de dados (dataset) ou ser chamado de um código Java [20].…”

“…Ferramentas convencionais como Sistemas de Gerenciamento de Banco de Dados Relacional não conseguem gerenciar Big Data com disponibilidade e desempenho eficientes [48] [19]. Hadoop é um projeto open source criado pela Apache Software Fundation que vem sendo utilizado como ferramenta no contexto Big Data [7]. A utilização dessa ferramenta no contexto Big Data é justificada pelo fornecimento de um framework de processamento em paralelo com tolerância a falhas, fácil escalabilidade e utilização (Hadoop MapReduce) [34] [52], além de um poderoso sistema de arquivos robusto e distribuído (Hadoop Distributed File System (HDFS)).…”