The solution of the problem of unknown words under neural machine translation of the Kazakh language

Turganbayeva, Aliya; Tukeyev, Ualsher

doi:10.1080/24751839.2020.1838713

Cited by 3 publications

(6 citation statements)

References 8 publications

(7 reference statements)

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Созданный морфологический анализатор был взять в основу морфологического анализатора сделанное в «nlacslab« [4]. Морфологический анализатор возвращает для данного слова следующий триплет: <словарная форма>, <часть речи> и <грамматические характеристики>, т.е.…”

Section: рисунок 1 модель задачи определения неизвестных слов при постредактировании машинного переводаunclassified

“…Первый случайпроцесс, требующий значительных ресурсов; Во втором случае возможны различные подходы к созданию синтетических параллельных пакетов. На качество нейронного машинного перевода также влияет проблема неизвестных слов, то есть слов, находящихся за пределами словаря системы машинного перевода (Out Of Vocabulary -OOV) [3,4].…”

unclassified

“…Третья категория подходов изменяет саму единицу ввода/вывода со слов на более низкое разрешение, такое как символы или байтовые коды [8,9 ]. Главное преимущество этого подхода заключающееся в том, что может меньше страдать от проблемы неизвестных слов, обучение обычно становится намного более трудным, поскольку длина последовательностей значительно увеличивается [4].…”

unclassified

“…На этапе подстановки редкие слова в тестовом предложении заменяются по подобным словарным словам на основе модели подобия, полученной из одноязычных данных. На этапах перевода и восстановления предложение будет переведено с помощью модели, обученной новым двуязычным данным с заменой редких слов [4].…”

unclassified

See 3 more Smart Citations

Development of a model and software solution for the problem of determining unknown words in post-editing machine translation

Rakhimova¹,

Pazylkhan²,

Kulzhanova³

et al. 2021

Vest KazNRTU

View full text Add to dashboard Cite

Аннотация. Машинный переводэто технология последовательного перевода текстов с одного языка на другой компьютерной программой. В результате машинного перевода всегда есть определенные недостатки, которые можно решить постредактированием. Постредактированиечеловеческая обработка текста после машинного перевода. Сегодня многие поставщики языковых услуг активно развивают это направление, разрабатывая методы обучения редакторов и методы постредактирования. В работе представлен обзор современных проблем систем машинного перевода. В данной работе рассматривается задача определения неизвестных слов при постредактировании машинного перевода для казахского языка. Проведен анализ существующих методов нахождения неизвестных слов при постредактировании машинного перевода. Представлены модель определения неизвестных слов при постредактировании машинного перевода для англо-казахского и русско-казахского языка, ппрактические результаты и программная реализация.Ключевые слова: машинный перевод, NLTK, мморфологический анализ, неизвестные слова, постредактирование машинного перевода.

show abstract

unclassified

See 2 more Smart Citations

Development of a model and software solution for the problem of determining unknown words in post-editing machine translation

Rakhimova¹,

Pazylkhan²,

Kulzhanova³

et al. 2021

Vest KazNRTU

View full text Add to dashboard Cite

show abstract

“…Under low-resource conditions, this method can help improve machine translation performance. Data augmentation methods include a variety of techniques, such as synonym replacement, sentence rearrangement, word insertion and deletion, and back-translation [13][14][15][16][17][18]. By leveraging these techniques, the original dataset can be expanded to provide more training samples, thereby improving machine translation performance under low-resource conditions.…”

Section: Introductionmentioning

confidence: 99%

A Chinese–Kazakh Translation Method That Combines Data Augmentation and R-Drop Regularization

Liu,

Silamu,

2023

Applied Sciences

View full text Add to dashboard Cite

Low-resource languages often face the problem of insufficient data, which leads to poor quality in machine translation. One approach to address this issue is data augmentation. Data augmentation involves creating new data by transforming existing data through methods such as flipping, cropping, rotating, and adding noise. Traditionally, pseudo-parallel corpora are generated by randomly replacing words in low-resource language machine translation. However, this method can introduce ambiguity, as the same word may have different meanings in different contexts. This study proposes a new approach for low-resource language machine translation, which involves generating pseudo-parallel corpora by replacing phrases. The performance of this approach is compared with other data augmentation methods, and it is observed that combining it with other data augmentation methods further improves performance. To enhance the robustness of the model, R-Drop regularization is also used. R-Drop is an effective method for improving the quality of machine translation. The proposed method was tested on Chinese–Kazakh (Arabic script) translation tasks, resulting in performance improvements of 4.99 and 7.7 for Chinese-to-Kazakh and Kazakh-to-Chinese translations, respectively. By combining the generation of pseudo-parallel corpora through phrase replacement with the application of R-Drop regularization, there is a significant advancement in machine translation performance for low-resource languages.

show abstract

A Chinese-Kazakh Translation Method That Combines Data Augmentation and R-drop Regularization

Liu,

Silamu,

2023

Preprint

View full text Add to dashboard Cite

Low-resource languages often face the problem of insufficient data, which leads to poor quality in machine translation. One approach to address this issue is data augmentation. Data augmentation involves creating new data by transforming existing data through methods such as flipping, cropping, rotating, and adding noise. Traditionally, pseudo-parallel corpora are generated by randomly replacing words in low-resource language machine translation. However, this method can introduce ambiguity as the same word may have different meanings in different contexts. This study proposes a new approach for low-resource language machine translation, which involves generating pseudo-parallel corpora by replacing phrases. The performance of this approach is compared with other data augmentation methods, and it is observed that combining it with other data augmentation methods further improves performance. To enhance the robustness of the model, R-Drop regularization is also used. R-Drop is an effective method for improving the quality of machine translation. The proposed method was tested on Chinese-Kazakh (Latin script) translation tasks, resulting in performance improvements of 4.99 and 7.7 for Chinese-to-Kazakh and Kazakh-to-Chinese translations, respectively.

show abstract

The solution of the problem of unknown words under neural machine translation of the Kazakh language

Cited by 3 publications

References 8 publications

Development of a model and software solution for the problem of determining unknown words in post-editing machine translation

Development of a model and software solution for the problem of determining unknown words in post-editing machine translation

A Chinese–Kazakh Translation Method That Combines Data Augmentation and R-Drop Regularization

A Chinese-Kazakh Translation Method That Combines Data Augmentation and R-drop Regularization

Contact Info

Product

Resources

About