A new term‐weighting scheme for text classification using the odds of positive and negative class probabilities

Ko, Youngjoong

doi:10.1002/asi.23338

Cited by 16 publications

(8 citation statements)

References 30 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Massive textual data management and mining are usually based on automated text classification technology (Dang and Ahmad, 2014). Term weighting is a fundamental issue in text classification and directly impacts the decision systems (Ko, 2015). Since the standard TF-IDF (term frequency and inverse document frequency) is not entirely accurate for text analysis, researchers have suggested numerous alternatives.…”

Section: Related Workmentioning

confidence: 99%

A new neutrosophic TF-IDF term weighting for text mining tasks: text classification use case

Bounabi

Elmoutaouakil

Satori

2021

IJWIS

View full text Add to dashboard Cite

Purpose This paper aims to present a new term weighting approach for text classification as a text mining task. The original method, neutrosophic term frequency – inverse term frequency (NTF-IDF), is an extended version of the popular fuzzy TF-IDF (FTF-IDF) and uses the neutrosophic reasoning to analyze and generate weights for terms in natural languages. The paper also propose a comparative study between the popular FTF-IDF and NTF-IDF and their impacts on different machine learning (ML) classifiers for document categorization goals. Design/methodology/approach After preprocessing textual data, the original Neutrosophic TF-IDF applies the neutrosophic inference system (NIS) to produce weights for terms representing a document. Using the local frequency TF, global frequency IDF and text N's length as NIS inputs, this study generate two neutrosophic weights for a given term. The first measure provides information on the relevance degree for a word, and the second one represents their ambiguity degree. Next, the Zhang combination function is applied to combine neutrosophic weights outputs and present the final term weight, inserted in the document's representative vector. To analyze the NTF-IDF impact on the classification phase, this study uses a set of ML algorithms. Findings Practicing the neutrosophic logic (NL) characteristics, the authors have been able to study the ambiguity of the terms and their degree of relevance to represent a document. NL's choice has proven its effectiveness in defining significant text vectorization weights, especially for text classification tasks. The experimentation part demonstrates that the new method positively impacts the categorization. Moreover, the adopted system's recognition rate is higher than 91%, an accuracy score not attained using the FTF-IDF. Also, using benchmarked data sets, in different text mining fields, and many ML classifiers, i.e. SVM and Feed-Forward Network, and applying the proposed term scores NTF-IDF improves the accuracy by 10%. Originality/value The novelty of this paper lies in two aspects. First, a new term weighting method, which uses the term frequencies as components to define the relevance and the ambiguity of term; second, the application of NL to infer weights is considered as an original model in this paper, which also aims to correct the shortcomings of the FTF-IDF which uses fuzzy logic and its drawbacks. The introduced technique was combined with different ML models to improve the accuracy and relevance of the obtained feature vectors to fed the classification mechanism.

show abstract

Section: Related Workmentioning

confidence: 99%

A new neutrosophic TF-IDF term weighting for text mining tasks: text classification use case

Bounabi

Elmoutaouakil

Satori

2021

IJWIS

View full text Add to dashboard Cite

show abstract

“…Cada termo no modelo BoW pode se referir a uma única palavra, a duas palavras (bigrama) ou até mesmo uma frase completa. Já a relevância do termo pode ser calculada de diversas formas, incluindo a frequência do termo (do inglês term frequencytf) ou a frequência inversa do termo (do inglês inverse term frequencyidf) [Ko, 2015].…”

Section: Bag Of Wordsunclassified

Recuperação de Informação Multimídia em Big Data Utilizando OpenCV Python

Goularte¹,

Trojahn²,

Kishi³

2019

Minicursos Do XXV Simpósio Brasileiro De Sistemas Multimídia E Web

View full text Add to dashboard Cite

The popularization of systems, applications and devices to produce, view and share multimedia, saw the need to treat a large volume of data arise. In related areas (such as Multimedia Big Data, Data Science and Multimedia Information Retrieval) a key step is commonly referred as Multimedia Indexing or Multimedia Big Data Analysis, where the aim is to represent multimedia content into smaller, more manageable units, allowing the extraction of data features and information essential to the proper performance of the associated services. This mini-course discusses current tools and techniques for indexing, extracting and processing of multimodal multimedia content. The techniques are exemplified in Python OpenCV over different content (like images, audio, text and video), leading to the interest of services like Netflix, Google and YouTube on this subject, attracting the interest of researchers and developers. ResumoA popularização de sistemas, aplicativos e dispositivos para produzir, exibir e compartilhar conteúdo multimídia fez surgir a necessidade de tratar um grande volume de dados. Nas áreas relacionadas (como Multimedia Big Data, Ciência de Dados e Recuperação de Informação Multimídia) um pré-requisito chave é comumente conhecido como Indexação Multimídia (ou Análise Multimídia em Big Data), onde o objetivo é representar o conteúdo em unidades menores e mais gerenciáveis, permitindo a extração de features dos dados e informações essenciais para o bom funcionamento dos serviços associados. Este minicurso aborda ferramentas e técnicas atuais para indexação, extração e processamento de conteúdo multimídia multimodal. As técnicas XXV Simpósio Brasileiro de Sistemas Multimídia e Web: Minicursos Listagem 5.1. Exemplo de código Python utilizando OpenCV. Arquivo exemplo1.py XXV Simpósio Brasileiro de Sistemas Multimídia e Web: Minicursos

show abstract

“…TF-TRR, pozitif ve negatif sınıf dağılımlarını kullanarak iki-sınıflı sınıflandırmaya uygun bir şekilde ağırlıklandırma yapan terim ağırlıklandırma yöntemidir [14]. Ağırlıklandırma formülü Eşitlik-4'teki gibidir.…”

Section: Tf-trrunclassified

“…PIF yönteminin, aralarında TF-IDF, TF-PB ve TF-RF bulunan 7 yönteme kıyasla sınıflandırma doğruluğu ve sınıflandırma zamanı açısından daha üstün olduğunu göstermişlerdir. Ko pozitif ve negatif sınıf dağılımları bilgisinden yararlanarak sınıf bilgisini kullanan TF.TRR terim ağırlıklandırma yöntemini önermiş, TF.IDF'in birkaç varyasyonu ve TF-RF'ten tutarlı bir şekilde daha üstün performans gösterdiğini ifade etmiştir [14]. Bir başka çalışmada ise Sabbah ve arkadaşları doğru web sayfası sınıflandırma için mTF, mTF-IDF, TF-mIDF ve mTF-mIDF adında 4 farklı terim ağırlıklandırma yöntemi önermiş ve Reuters-21578, 20Newsgroups ve WebKB gibi ünlü metin-sınıflandırma veri setleri üzerinde SVM ve KNN de dahil 4 farklı sınıflandırıcı ile performansları test edilmiştir [15].…”

Section: Introductionunclassified

Tıbbi Metin Dokümanlarının Sınıflandırılmasında Terim Ağırlıklandırma Yöntemlerinin Başarımlarının Kıyaslanması

Doğan¹,

Uysal²

2018

acperpro

View full text Add to dashboard Cite

G&uuml;n&uuml;m&uuml;zde metin sınıflandırma &ccedil;alışmalarında elde edilen başarılar, araştırmacıların belirli bir alana y&ouml;nelik metin dok&uuml;manlarının sınıflandırılması konusundaki motivasyonlarını da arttırmaktadır. Tıbbi dok&uuml;manların sınıflandırılması problemi bu kapsamdaki araştırma &ccedil;alışmalarına &ouml;rnek olarak verilebilir. Tıbbi metin dok&uuml;manları denince akla literat&uuml;rde yaygın olarak kullanılan, tıbbi dergilere ait, &ccedil;ok sınıflı ve &ccedil;ok etiketli dok&uuml;manları i&ccedil;eren bibliyografik bir veri tabanı olan MEDLINE gelmektedir. Bu &ccedil;alışmada olduk&ccedil;a dengesiz bir yapıya sahip olan MEDLINE veri tabanında yer alan en fazla dok&uuml;mana sahip ilk 10 sınıf derlenerek oluşturulan veri k&uuml;mesi kullanılmıştır. Literat&uuml;rde T&uuml;rk&ccedil;e dok&uuml;manların sınıflandırılmasına y&ouml;nelik &ccedil;alışmaların az olması sebebiyle; deneyler bu veri k&uuml;mesine ait hem İngilizce hem de T&uuml;rk&ccedil;e dok&uuml;manlar ile ger&ccedil;ekleştirilmiştir. &Ouml;ğrenme algoritması olarak SVM ve KNN olmak &uuml;zere 2 farklı sınıflandırıcının kullanıldığı deneylerde, ağırlıklandırma aşamasında ise 7 farklı terim ağırlıklandırma şeması kullanılmış ve sınıflandırma başarımları hem d&uuml;ş&uuml;k hem de y&uuml;ksek boyutlarda kıyaslanmıştır. TF-IDF, TF-PB, TF-RF, TF-RR, TF-IGM, TF-IDF-ICF ve TF-IDF-ICSDF terim ağırlıklandırma y&ouml;ntemleri ile elde edilen sonu&ccedil;lar, TF-IGM terim ağırlıklandırma y&ouml;nteminin genel olarak diğerlerine nazaran daha iyi performans sergilediğini g&ouml;stermektedir. İki-sınıflı sınıflandırmaya uygun olarak ağırlıklandırma yapan TF-PB ve TF-RF gibi y&ouml;ntemlerin sınıflandırma başarımları ise &ccedil;ok-sınıflı sınıflandırmaya uygun olarak ağırlıklandırma yapan IDF tabanlı y&ouml;ntemlerin olduk&ccedil;a gerisinde kalmıştır.

show abstract

A new term‐weighting scheme for text classification using the odds of positive and negative class probabilities

Cited by 16 publications

References 30 publications

A new neutrosophic TF-IDF term weighting for text mining tasks: text classification use case

A new neutrosophic TF-IDF term weighting for text mining tasks: text classification use case

Recuperação de Informação Multimídia em Big Data Utilizando OpenCV Python

Tıbbi Metin Dokümanlarının Sınıflandırılmasında Terim Ağırlıklandırma Yöntemlerinin Başarımlarının Kıyaslanması

Contact Info

Product

Resources

About