Text document clustering using global term context vectors

Kalogeratos, Argyris; Likas, Aristidis

doi:10.1007/s10115-011-0412-6

Cited by 36 publications

(20 citation statements)

References 22 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…, K que minimiza (ou, em alguns casos, maximiza) a função objetivo. A função objetivo é normalmente definida em função da similaridade ou distância entre os documentos, e, em geral, demanda-se também que a associação γ seja sobrejetiva, a fim de garantir que nenhum dos K grupos esteja vazio [24,28].…”

Section: Agrupamento De Objetos Textuaisunclassified

Avaliação da performance de índices de similaridade aplicados ao agrupamento de objetos textuais

Neto¹,

Negreiros

2017

RBCA

View full text Add to dashboard Cite

Resumo: A captura e o armazenamento de dados em formato digital têm permitido às organizações o acúmulo de um volume de informações extremamente elevado, constituído em maior proporção por dados em formato não estruturado, representados por textos. Neste contexto, as atividades de análise de agrupamentos ou classificação não supervisionada de objetos, se constituem como uma das técnicas de mineração de informações mais frequentemente empregadas no intuito de proporcionar a organização do volume progressivamente crescente de elementos textuais, por meio da disposição dos documentos em grupos de itens semelhantes com base em um índice de similaridade. Neste sentido, este estudo avalia os índices de similaridade distância Euclidiana, distância do coseno, distância de Hamming, coeficiente de Jaccard estendido e coeficiente de correlação de Pearson, sob a perspectiva de seis índices de validação de agrupamentos, observando que a distância do coseno representa, conforme a presente análise, o índice de similaridade mais apropriado ao agrupamento de objetos textuais, convertidos em formato estruturado por intermédio de técnicas de mineração de textos.Palavras-chave: Análise de agrupamentos. Agrupamento de documentos. Índices de similaridade. Abstract:The capture and the digital data store have allowed companies the accumulation of an extremely high volume of information, constituted mainly by unstructured data, represented by texts. In this context, the cluster analysis operations or unsupervised classification of objects, represent one of the most frequently used data mining techniques to provide the organization of the progressively increasing volume of textual elements, by means of arrangement of the documents in groups of similar itens based in a similarity measure . In this sense, this article evaluate the similarity measures Euclidiean distance, cosine distance, Hamming distance, extended Jaccard coefficient and Pearson's correlation coefficient, from the perspective of six clustering validation indexes, noticing that the cosine distance represent, according to this analysis, the similarity measure most appropriate to clustering textual objects, converted into structured format through text mining techniques.Keywords: Clustering analysis. Document clustering. Similarity index 1 Introdução A mineração de dados é um processo de descoberta automática de conhecimento em grandes repositórios de dados. Correspondente a um conjunto de técnicas que atuam sobre grandes bancos de dados a fim de identificar padrões úteis que, de outra forma, permaneceriam desconhecidos. As tarefas da mineração de dados são classificadas em duas categorias principais: tarefas de previsão e tarefas descritivas. As tarefas de previsão têm como objetivo prever o conteúdo de um determinado atributo, nomeado como a variável dependente ou alvo, com base nos valores de outros atributos, conhecidos como variáveis independentes ou explicativas. Já as tarefas descritivas

show abstract

Section: Agrupamento De Objetos Textuaisunclassified

Avaliação da performance de índices de similaridade aplicados ao agrupamento de objetos textuais

Neto¹,

Negreiros

2017

RBCA

View full text Add to dashboard Cite

show abstract

“…A principal contribuição do modeloé o estabelecimento de um arcabouço formal no qual as dependências entre termos possam ser adequadamente representadas, introduzindo novas ideias que são importantes do ponto de vista teórico (Pôssas et al, 2002;Baeza-Yates and Ribeiro-Neto, 2011). Foram propostas na literatura diversas extensões do modelo que visam suprir algumas das deficiências da proposta original, como em Billhardt et al (2002); Farahat and Kamel (2011); Kalogeratos and Likas (2012) ;Cheng et al (2013b). Segundo os autores Baeza-Yates and Ribeiro-Neto (2011), não fica claro em quais situações o modelo GVSM supera o modelo vetorial clássico.…”

Section: Gvsmunclassified

“…Além disso, o modelo bag-of-words não permite identificar os diferentes sentidos que uma mesma palavra pode ter em diferentes contextos, fenômeno conhecido como polissemia, ou compreender e representar a informação de termos diferentes ocorrendo com mesmo significado, fenômeno conhecido como sinonímia. Ainda, esse modelo não reconhece expressões multi-palavras (por exemplo, "inteligência artificial ") (Farahat and Kamel, 2011;Kalogeratos and Likas, 2012;Cheng et al, 2013b).…”

Section: Introductionunclassified

“…Existem muitas evidências na literatura de que representações que incorporam alguma informação de relação entre termos melhora os resultados de tarefas como recuperação de informação (Wong et al, 1985;Billhardt et al, 2002;Pôssas et al, 2002), classificação de textos (Lewis, 1992;Keikha et al, 2009;Figueiredo et al, 2011), agrupamento de textos (Beil et al, 2002;Zhang et al, 2010;Rossi and Rezende, 2011;Marcacini et al, 2012a;Kalogeratos and Likas, 2012;Cheng et al, 2013b) ou extração de tópicos (Wallach, 2006;Wu et al, 2010;Zhu et al, 2012;Lau et al, 2013). Diversos modelos para representação dos documentos foram propostos na literatura visando capturar a informação de relação entre termos, destacando-se os modelos baseados em frases ou termos compostos (Pôssas et al, 2002;Figueiredo et al, 2011;Rossi and Rezende, 2011), o Modelo de Espaço de Vetores Generalizado 6 (MEVG) e suas extensões (Wong et al, 1985;Billhardt et al, 2002;Farahat and Kamel, 2011;Kalogeratos and Likas, 2012;Cheng et al, 2013b), modelos de tópicos não-probabilísticos, como o Latent Semantic Analysis (LSA) (Deerwester et al, 1990) ou o Non-negative Matrix Factorization (NMF) (Lee and Seung, 1999) e modelos de tópicos probabilísticos e suas extensões (Hofmann, 1999;Blei et al, 2003;Wallach, 2006;Kim et al, 2012;Zhu et al, 2012;Lau et al, 2013;Gao et al, 2013).…”

Section: Introductionunclassified

“…Diversos modelos para representação dos documentos foram propostos na literatura visando capturar a informação de relação entre termos, destacando-se os modelos baseados em frases ou termos compostos (Pôssas et al, 2002;Figueiredo et al, 2011;Rossi and Rezende, 2011), o Modelo de Espaço de Vetores Generalizado 6 (MEVG) e suas extensões (Wong et al, 1985;Billhardt et al, 2002;Farahat and Kamel, 2011;Kalogeratos and Likas, 2012;Cheng et al, 2013b), modelos de tópicos não-probabilísticos, como o Latent Semantic Analysis (LSA) (Deerwester et al, 1990) ou o Non-negative Matrix Factorization (NMF) (Lee and Seung, 1999) e modelos de tópicos probabilísticos e suas extensões (Hofmann, 1999;Blei et al, 2003;Wallach, 2006;Kim et al, 2012;Zhu et al, 2012;Lau et al, 2013;Gao et al, 2013). Os modelos de tópicos são as abordagens mais interessantes uma vez que elas apresentam bons resultados 4 Do inglês Vector Space Model -VSM.…”

Section: Introductionunclassified

See 2 more Smart Citations

Extração de tópicos baseado em agrupamento de regras de associação

Santos¹

View full text Add to dashboard Cite

GRAW+: A two‐view graph propagation method with word coupling for readability assessment

Jiang

Yin

et al. 2019

Asso for Info Science & Tech

View full text Add to dashboard Cite

Existing methods for readability assessment usually construct inductive classification models to assess the readability of singular text documents based on extracted features, which have been demonstrated to be effective. However, they rarely make use of the interrelationship among documents on readability, which can help increase the accuracy of readability assessment. In this article, we adopt a graphbased classification method to model and utilize the relationship among documents using the coupled bag-of-words model. We propose a word coupling method to build the coupled bag-of-words model by estimating the correlation between words on reading difficulty. In addition, we propose a two-view graph propagation method to make use of both the coupled bag-of-words model and the linguistic features. Our method employs a graph merging operation to combine graphs built according to different views, and improves the label propagation by incorporating the ordinal relation among reading levels. Experiments were conducted on both English and Chinese data sets, and the results demonstrate both effectiveness and potential of the method.

show abstract

Text document clustering using global term context vectors

Cited by 36 publications

References 22 publications

Avaliação da performance de índices de similaridade aplicados ao agrupamento de objetos textuais

Avaliação da performance de índices de similaridade aplicados ao agrupamento de objetos textuais

Extração de tópicos baseado em agrupamento de regras de associação

GRAW+: A two‐view graph propagation method with word coupling for readability assessment

Contact Info

Product

Resources

About