Faster Re-translation Using Non-Autoregressive Model For Simultaneous Neural Machine Translation

Han, Hyojung; Indurthi, Sathish Reddy; Zaidi, Mohd Abbas; Lakumarapu, Nikhil Kumar; Lee, Beomseok; Kim, Sang-Ha; Kim, Chanwoo; Hwang, Inseok

doi:10.48550/arxiv.2012.14681

Cited by 3 publications

(2 citation statements)

References 15 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…However, different from it, we center more on neural machine translation and inspect this field with decent insight from two new perspectives: dependency management on the target side and training arrangement for NAT models. Other than delivering quantitative description and qualitative comparison for various methods, we also anticipate promising future directions for this area, following up the latest findings, including simultaneous translation [15,16], automatic speech recognition [17][18][19], speech translation [20][21][22], image caption [23], and text editing [24][25][26][27][28][29], as well as the emerging large language models [30,31].…”

Section: Referencementioning

confidence: 99%

A Survey of Non-Autoregressive Neural Machine Translation

Chen

Zhang

2023

Electronics

View full text Add to dashboard Cite

Non-autoregressive neural machine translation (NAMT) has received increasing attention recently in virtue of its promising acceleration paradigm for fast decoding. However, these splendid speedup gains are at the cost of accuracy, in comparison to its autoregressive counterpart. To close this performance gap, many studies have been conducted for achieving a better quality and speed trade-off. In this paper, we survey the NAMT domain from two new perspectives, i.e., target dependency management and training strategies arrangement. Proposed approaches are elaborated at length, involving five model categories. We then collect extensive experimental data to present abundant graphs for quantitative evaluation and qualitative comparison according to the reported translation performance. Based on that, a comprehensive performance analysis is provided. Further inspection is conducted for two salient problems: target sentence length prediction and sequence-level knowledge distillation. Accumulative reinvestigation of translation quality and speedup demonstrates that non-autoregressive decoding may not run fast as it seems and still lacks authentic surpassing for accuracy. We finally prospect potential work from inner and outer facets and call for more practical and warrantable studies for the future.

show abstract

Section: Referencementioning

confidence: 99%

A Survey of Non-Autoregressive Neural Machine Translation

Chen

Zhang

2023

Electronics

View full text Add to dashboard Cite

show abstract

“…Han ve arkadaşlarının yaptığı simültane çeviri uygulaması, makine çevirisi üzerine farklı bir uygulama olarak gösterilebilir. Amaç olarak yabancı bir dilde yapılan konuşma, video görüntüsü, ses kaydı gibi girdi değerlerini anlık olarak hedef dile çevirmeyi amaçlamıştır [21].…”

Section: Doğal Dil Işlemenin Uygulama Alanlarıunclassified

Doğal dil işleme yöntemleriyle metinden SQL sorgusu tahmini üzerine bir çalışma

Yüksel¹,

Karabıyık

2022

NÖHÜ Müh. Bilim. Derg.

View full text Add to dashboard Cite

Bilgisayar bilimlerinde, kalıcı bilgiler sistematik bir şekilde veri tabanlarında tutulmaktadır. Veri tabanlarındaki bilgilere ulaşılabilmesi için belirli teknik birikimlere sahip olunması gerekmektedir. Çalışmamızda, doğal dille yapılmış sorgulardan SQL sorgusu tahmini yapılmıştır. Bu sayede teknik bir bilgi birikimi olmadan veri tabanları üzerinde sorgulamalar yapılabilmesi hedeflenmektedir. Çalışmamızda doğal dil işleme tekniklerinden faydalanmıştır. Doğal dil işlemenin ana konularından biri olan çoklu dil desteği, uygulamaya entegre edilmiştir. Doğal dilden SQL tahmini için uygulanan model, LSTM ağı kullanılarak spider veri setiyle eğitilmiştir. Yapılan SQL sorgusu tahminlerinde, %75 başarı oranına ulaşmıştır. Çoklu dil desteğiyle yapılan genel sistem değerlendirmesinde, başarı oranı %69,4’ e ulaşmıştır.

show abstract