Centroid-Means-Embedding: An Approach to Infusing Word Embeddings into Features for Text Classification

Sohrab, Mohammad Golam; Misawa, Miwa; Sasaki, Yutaka

doi:10.1007/978-3-319-18038-0_23

Cited by 6 publications

(5 citation statements)

References 13 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Studies to solve multi-class multi-label classification have been summarized in [18], in three smaller data sets with maximum labels of 27 in compare to current front-line of multi-label classification task. Sohrab [14,16] proposed a semantically augmented statistical vector space model (SAS-VSM) by introducing word embedding into feature for single-and multi-label text classification (TC). In this work, the SAS-VSM is introduced in FC and outperformed in compare to VSM.…”

Section: Related Workmentioning

confidence: 99%

“…where in (11)-(13), tf (t i , d) is the number of occurrences of term t i in document d, D denotes the total number of documents in the training corpus, #t i is the number of documents in the training corpus in which term t i occurs at least once, D/#t i is the inverse document frequency (IDF) of term t i , C denotes the total number of predefined categories in the training corpus, c(t i ) is the number of categories in the training corpus in which term t i occurs at least once, and C CS δ (ti) is the inverse class space density frequency (ICS δ F) of term t i . Please refer to [13,14] for more details.…”

Section: Base Algorithmsmentioning

confidence: 99%

“…In general, ML-based TC can be categorized into two classification tasks: a flat classification (FC) [5,13,14,17] by referring to standard binary or multi-class classification problems where parent-child relations are completely omitted. Second is the hierarchical classification (HC) [15,16] -typically a tree, a directed acyclic graph (DAG), or a directed graph (DG) are incorporated, where the classes to be predicted are organized into a class hierarchy.…”

Section: Introductionmentioning

confidence: 99%

See 2 more Smart Citations

EDGE2VEC: Edge Representations for Large-Scale Scalable Hierarchical Learning

Sohrab¹,

Nakata²,

Misawa³

et al. 2018

CyS

Self Cite

View full text Add to dashboard Cite

In present front-line of Big Data, prediction tasks over the nodes and edges in complex deep architecture needs a careful representation of features by assigning hundreds of thousands, or even millions of labels and samples for information access system, especially for hierarchical extreme multi-label classification. We introduce edge2vec, an edge representations framework for learning discrete and continuous features of edges in deep architecture. In edge2vec, we learn a mapping of edges associated with nodes where random samples are augmented by statistical and semantic representations of words and documents. We argue that infusing semantic representations of features for edges by exploiting word2vec and para2vec is the key to learning richer representations for exploring target nodes or labels in the hierarchy. Moreover, we design and implement a balanced stochastic dual coordinate ascent (DCA)-based support vector machine for speeding up training. We introduce a global decision-based top-down walks instead of random walks to predict the most likelihood labels in the deep architecture. We judge the efficiency of edge2vec over the existing state-of-the-art techniques on extreme multi-label hierarchical as well as flat classification tasks. The empirical results show that edge2vec is very promising and computationally very efficient in fast learning and predicting tasks. In deep learning workbench, edge2vec represents a new direction for statistical and semantic representations of features in task-independent networks.

show abstract

Section: Related Workmentioning

confidence: 99%

Section: Base Algorithmsmentioning

confidence: 99%

Section: Introductionmentioning

confidence: 99%

See 1 more Smart Citation

EDGE2VEC: Edge Representations for Large-Scale Scalable Hierarchical Learning

Sohrab¹,

Nakata²,

Misawa³

et al. 2018

CyS

Self Cite

View full text Add to dashboard Cite

show abstract

“…where C denotes the total number of predefined categories in the training corpus, c(t i ) is the number of categories in the training corpus in which term t i occurs at least once, C c(ti) is the ICF of the term t i , and C CS δ (ti) is the (ICS δ F) of term t i . Please refer to [14], [16] for more details.…”

Section: B Term Weighting Approachesmentioning

confidence: 99%

IN-DEDUCTIVE and DAG-Tree Approaches for Large-Scale Extreme Multi-label Hierarchical Text Classification

2016

Self Cite

View full text Add to dashboard Cite

This paper presents a large-scale extreme multilabel hierarchical text classification method that employs a large-scale hierarchical inductive learning and deductive classification (IN-DEDUCTIVE) approach using different efficient classifiers, and a DAG-Tree that refines the given hierarchy by eliminating nodes and edges to generate a new hierarchy. We evaluate our method on the standard hierarchical text classification datasets prepared for the PASCAL Challenge on Large-Scale Hierarchical Text Classification (LSHTC). We compare several classification algorithms on LSHTC including DCD-SVM, SVM perf , Pegasos, SGD-SVM, and Passive Aggressive, etc. Experimental results show that IN-DEDUCTIVE approach based systems with DCD-SVM, SGD-SVM, and Pegasos are promising and outperformed other learners as well as the top systems participated in the LSHTC3 challenge on Wikipedia medium dataset. Furthermore, DAG-Tree based hierarchy is effective especially for very large datasets since DAG-Tree exponentially reduce the amount of computation necessary for classification. Our system with IN-DEDUCIVE and DAG-Tree approaches outperformed the top systems participated in the LSHTC4 challenge on Wikipedia large dataset.

show abstract

“…Abordagens de representações de texto baseadas em word embeddings foram extensivamente estudadas na área de Mineração de Textos (SOHRAB; MIWA; SASAKI, 2015;WANG et al, 2016;REZENDE, 2017), destacando as abordagens tradicionais porque representam cada palavra por um vetor único capaz de agregar um grande volume de informações latentes (COLLOBERT; WESTON, 2008). Basicamente, os modelos de incorporação de palavras permitem descobrir a ocorrência de palavras de acordo com o contexto em Considerando que a maioria dos métodos tradicionais de representação de texto geralmente trata documentos como combinações de termos independentes, a utilização de técnicas de word embeddings possibilita o enriquecimento semântico das representações de texto.…”

Section: Técnica De Extração De Contexto Baseada Em Word Embeddings (unclassified

Extração de contexto de reviews para sistemas de recomendação utilizando mineração de textos e opiniões

Sundermann¹

View full text Add to dashboard Cite

Pelo carinho, afeto, dedicação e cuidado que meus pais me deram durante toda a minha existência, dedico esta tese a eles. Com muita gratidão. AGRADECIMENTOSAgradeço a Deus por tantas oportunidades e pessoas maravilhosas colocadas em minha vida.Agradeço a minha família: meus pais Arnaldo e Cidinha, meu filho Kauê e meu noivo Febirson, pela força e motivação para nunca desistir, mesmo com todas as adversidades enfrentadas nesse período. E com tudo, agradeço pela paciência infinita.Agradeço as minhas amigas, quase irmãs, que só pela presença me confortam e me incentivam a não desanimar. Ivone, Roberta e Jéssica, foram muitos risos, choros, cafés e jogos para distrair. Além do inesquecível show do Coldplay.Agradeço imensamente minha orientadora. Sempre muito amiga e compreensível. Orientando além da vida acadêmica, também a vida pessoal. Dando conselhos e me motivando nas horas mais difíceis. Agradeço pela primeira aula na disciplina de Tópicos Avançados em IA. Foi nesse momento que descobri minha paixão por IA e ganhei uma orientadora de TCC, mestrado e doutorado.Agradeço ao Anand pelas orientações e ensinamentos profissionais e pessoais, além das revisões de artigos em inglês. Não poderia deixar de agradecer ao meu co-orientador Marcos Domingues. Devo muitos agradecimentos pela orientação, pelos ensinamentos e pelas parcerias.Agradeço aos parceiros e colaboradores: Roberta Sinoara, Ivone Matsuno, João Antunes, Ricardo Marcacini, Renan de Pádua, Vítor Tonon, entre outros que foram pessoas relevantes para a realização deste trabalho.Agradeço a todos os amigos do Labic pelos vários anos dividindo tantos momentos. Pelas parcerias, ajudas e risadas compartilhadas.Agradeço à Itera (Val e Marco) pela oportunidade e confiança e a todos meus amigos de trabalho que deixam meus dias mais leves.Agradeço ao ICMC -USP, funcionários e professores pelos quase 13 anos de estudos, aprendizados e crescimento pessoal e profissional.Por fim, mas não menos importante, agradeço à CAPES pelo auxílio financeiro que possibilitou o desenvolvimento deste doutorado e os resultados obtidos. uma técnica de extração de contexto baseada em word embeddings; (iii) uma técnica de extração de contexto baseada em regras de associação, a RulesContext; e (iv) uma técnica de extração de contexto baseada em mineração de opiniões no nível dos aspectos, a CEOM. Essas propostas foram avaliadas considerando a base de reviews Yelp, sistemas de recomendação baseados nos vizinhos mais próximos, sistemas de recomendação baseados em fatoração de matrizes e diferentes baselines. Os resultados demonstraram que o uso das informações extraídas pelas técnicas propostas levaram a geração de recomendações mais precisas.Palavras-chave: Contexto, Sistemas de Recomendação, Mineração de Textos, Mineração de Opiniões.ABSTRACT SUNDERMANN, C. V. Extraction of context from reviews for recommender systems using text and opinion mining. 2020. 153 p. Tese (Doutorado em Ciências -Today, with the information, service and product overload on the Web, users have found it difficult to id...

show abstract

Centroid-Means-Embedding: An Approach to Infusing Word Embeddings into Features for Text Classification

Cited by 6 publications

References 13 publications

EDGE2VEC: Edge Representations for Large-Scale Scalable Hierarchical Learning

EDGE2VEC: Edge Representations for Large-Scale Scalable Hierarchical Learning

IN-DEDUCTIVE and DAG-Tree Approaches for Large-Scale Extreme Multi-label Hierarchical Text Classification

Extração de contexto de reviews para sistemas de recomendação utilizando mineração de textos e opiniões

Contact Info

Product

Resources

About