Preliminary Investigation on Using Semi-Supervised Contextual Word Sense Disambiguation for Data Augmentation

Torunoğlu-Selamet, Dilara; İnceoğlu, Arda; Eryiğit, Gülşen

doi:10.1109/ubmk50275.2020.9219389

Cited by 3 publications

(5 citation statements)

References 26 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Toruno ğ lu-Selamet proposed semi-supervised approach that used seed sets and context embeddings. He experimented with 9 different contexts based on language models including ELMo, BERT, and RoBERTa, and investigated their impacts on WSD [18]. Hauer combines semi-supervised and unsupervised methods to construct new corpus, which has been experimentally demonstrated to achieve advanced results on standard WSD model [19].…”

Section: Related Work a Word Sense Disambiguation (Wsd)mentioning

confidence: 99%

Multi-Head Self-Attention Gated-Dilated Convolutional Neural Network for Word Sense Disambiguation

Zhang

2023

IEEE Access

View full text Add to dashboard Cite

Word sense disambiguation (WSD) is to determine correct sense of ambiguous word based on its context. WSD is widely used in text classification, machine translation and information retrieval and so on. In order to improve accuracy of simplified Chinese WSD, a WSD model based on multi-head selfattention and gated-dilated convolutional neural network(AGDCNN) is proposed. Ambiguous word is viewed as the center and 4 adjacent lexical units are extracted successively toward the left and right side. Words, parts of speech, and semantic categories in 4 adjacent lexical units are vectorized and the vectorized results are input into gated-dilated convolutional neural network to get discriminative features. Then, multihead self-attention is adopted to learn the difference and connection among discriminative features fully. Finally, classification weights are output from adaptive average pooling layer. Experiments are conducted on SemEval-2007: Task#5 and SemEval-2021: Task#2. Experimental results show that AGDCNN model has higher accuracy compared with other methods. Our goal is to improve the quality of simplified Chinese WSD as much as possible based on current linguistic resources and machine learning methods. The challenge we face is to extract effective discriminative features and design disambiguation model in high quality. Our novelty lies in that gated-dilated convolution is combined with multi-head self-attention to extract effective discriminative features, and learn their difference and connection from word form, parts of speech, and semantic categories.

show abstract

Section: Related Work a Word Sense Disambiguation (Wsd)mentioning

confidence: 99%

Multi-Head Self-Attention Gated-Dilated Convolutional Neural Network for Word Sense Disambiguation

Zhang

2023

IEEE Access

View full text Add to dashboard Cite

show abstract

“…Alınan ilk sonuçlara neticesinde, önerilen yaklaşımın özellikle DKD'ler yönelik ABG veri kümesi oluşturmak için gelecek vaat eden ettiği gösterilmiştir. Bu makale [18]'deki çalışmamızın genişletilmiş bir versiyonudur.…”

Section: Yapay Zekâ Alanında Son Dönemlerde öNe çıKan Derin öğRenme Mimarilerinin Doğal Dil Işleme Konusunun öNemli Problemlerinden Biri unclassified

“…ABG yaklaşımı için birden fazla yöntem öne atılmış ve test edilmiştir, bunlar: denetimli, denetimsiz ve bilgi-tabanlı [ Bu makalede sunulanlar [18]'deki çalışmamızın genişletilmiş bir versiyonudur. DKD'ler için ABG eğitim verisi bulmanın çok zor olması nedeniyle, [18]'de veri artırımı için yarı-denetimli bağlamsal anlam belirsizliği giderme (daha sonra denetimli öğrenmede eğitim verisi olarak kullanılmak üzere) yaklaşımı önerilmiştir. Ve bu çalışmanın doğruluğunu ispatlamak üzere, önerilen model İngilizce veri kümesi üzerinde test edilmiştir.…”

Section: Introductionunclassified

“…Oluşturduğumuz yarı-denetimli yöntem öbek kümesi (seed set) ve bağlam vektörü (context embeddings) kullanmaktadır. [18]'de anlatıldığı üzere çalışma 9 farklı bağlam-tabanlı dil modelinde test edilmiştir (ELMo, BERT, RoBERTa vb.) ve etkileri incelenmiştir.…”

Section: Introductionunclassified

“…Orijinal çalışmaya ek olarak, öbek kümeleri maksimum ve ortalama benzerlik modelleri belirli bir eşik değerine göre genişletilmiş ve en yüksek başarım veren dil modelinde test edilmiştir. Ek olarak, [18]'de tek bir iterasyon üzerinde gösterilen yöntem burada çoklu iterasyon ile tekrarlanarak önerilen çevrim tamamlanmış ve değerlendirmesi yapılmıştır. Bu ek çalışmanın ek testleri ve sonuçları Bölüm 6'da detaylı olarak anlatılmaktadır.…”

Section: Introductionunclassified

See 2 more Smart Citations

Semi-Supervised Contextual Word Sense Disambiguation for Data Augmentation

Selamet

Eryiğit

2021

Türkiye Bilişim Vakfı Bilgisayar Bilimleri Ve Mühendisliği Dergisi

View full text Add to dashboard Cite

Yapay zekâ alanında son dönemlerde öne çıkan derin öğrenme mimarilerinin, doğal dil işleme konusunun önemli problemlerinden biri olan Anlam Belirsizliği Giderme (ABG) çalışmalarında kayda değer gelişmelere yol açtığı gözlemlenmektedir. Denetimli yöntemler rakiplerine göre daha yüksek performans sergilemektedirler. Bunun en büyük nedeni kullanılan eğitim verilerinin büyüklükleridir. ABG problemi için İngilizce dili üzerinde elle-etiketlenmiş çok miktarda veri çevrim içi olarak erişilebilir durumdadır. Ancak düşük-kaynaklı diller (DKD’ler) probleme uygun veri eksikliği yaşamaktadırlar. Yeterli derecede probleme uygun veri toplamak ve etiketlemek vakit alıcı ve yüksek maliyet gerektiren bir iştir. Bu probleme değinmek ve aşmak üzere, bu çalışmada yarı-denetimli bağlamsal anlam belirsizliği giderme yaklaşımının veri artırımı için (daha sonra denetimli öğrenmede eğitim verisi olarak kullanılmak üzere) kullanılabileceğinin gösterilmesi amaçlanmıştır. Bu bağlamda özellikle DKD’lerde ABG problemi için test verisi bulmanın zor olması nedeniyle yaklaşımın doğruluğunu ve ilerleyen dönemlerde DKD’lerde kullanılabilirliğini ispatlamak amacıyla çevrimiçi bulunan elle-etiketlenmiş İngilizce ABG verisi kullanılmıştır. Oluşturulan yarı-denetimli yöntemde öbek kümesi (seed set) ve bağlam vektörleri (context embeddings) kullanılmaktadır. Yapılan çalışma 9 farklı bağlamsal dil modelinde (ELMo, BERT, RoBERTa vb.) test edilmiş ve her bir dil modelinin ABG problemi üzerindeki etkileri raporlanmıştır. İlk temel yaklaşıma göre sonuçlar üzerinde %28 doğruluk oranında performans artışı sağlanmıştır. (ELMo ile ilk temel yaklaşım ile %50,39 ve ELMo Anlam Öbek Esaslı Ortalama Benzerlik Modeli ile %78,06). Alınan ilk sonuçlara neticesinde, önerilen yaklaşımın özellikle DKD’ler yönelik ABG veri kümesi oluşturmak için gelecek vaat eden ettiği gösterilmiştir. Bu makale [18]’deki çalışmamızın genişletilmiş bir versiyonudur.

show abstract

Disentangled Representation for Long-tail Senses of Word Sense Disambiguation

Zhang

Guo

et al. 2022

Proceedings of the 31st ACM International Conference on Information &Amp; Knowledge Management

View full text Add to dashboard Cite

Preliminary Investigation on Using Semi-Supervised Contextual Word Sense Disambiguation for Data Augmentation

Cited by 3 publications

References 26 publications

Multi-Head Self-Attention Gated-Dilated Convolutional Neural Network for Word Sense Disambiguation

Multi-Head Self-Attention Gated-Dilated Convolutional Neural Network for Word Sense Disambiguation

Semi-Supervised Contextual Word Sense Disambiguation for Data Augmentation

Disentangled Representation for Long-tail Senses of Word Sense Disambiguation

Contact Info

Product

Resources

About