Russian News Similarity Detection with SBERT: pre-training and fine-tuning

Abstract

Computation of text similarity is one of the most challenging tasks in NLP as it implies understanding of semantics beyond the meaning of individual words (tokens). Due to the lack of labelled data this task is often accomplished by means of unsupervised methods such as clustering. Within the DE2021: "Russian News Clustering and Headline Selection" we propose a method of building robust text embeddings based on Sentence Transformers architecture, pretrained on a large dataset of in-domain data and then fine-tuned on a small dataset of paraphrases leveraging GlobalMultiheadPooling.

Akurasi dalam Mengidentifikasi Tingkat Similarity pada Artikel Ilmiah Menggunakan Algorithma Jaro Winkler

“…Kedua string tersebut dimasukkan ke dalam fungsi matematis tertentu untuk mengetahui jarak antara keduanya [3]. Menghitung jumlah kemiripan kata adalah tugas umum, namun memberikan peran yang sangat penting dalam berbagai aplikasi Natural Language Processing (NLP), seperti mesin pencari, detektor plagiarisme, sistem penjawab pertanyaan, dan lainnya [4]. Tentu saja menghitung jumlah kemiripan kata sangat bisa digunakan untuk mendeteksi tingkat plagiat pada artikel ilmiah, mengingat karya ilmiah merupakan hasil pemikiran seseorang yang dituangkan dalam belum teks.…”