Approaches to Human and Machine Translation Quality Assessment

QUES: A Quality Estimation System of Arabic to English Translation

“…How to determine whether a translation is good or bad is one of the intriguing questions that is connected with any translation. Researchers agree that there is no unified method to measure the quality of a translation [11,15]. However, longstanding studies and models with different evaluation measurements have been developed over recent decades.…”

“…Human Translation (HT) is the process of translating source text in one language into target text in another language which is performed by humans. The separation between HT and MT is increasingly indistinct nowadays due to the availability and widespread of Computer-Aided Tools and accordingly it is not possible to distinguish between a translated text produced by humans, machines, or post-edited machine translations [11]. Consequently, researchers argue that approaches and measures for evaluating translation quality could be unified [11].…”

一场持续性颠覆变革？ 统计机器翻译向神经机器翻译的转化

“…Translation Quality Assessment (TQA) is a vast area that has been studied for decades. There are multiple ways to evaluate both human and machine translation, discussion of which goes beyond the scope of this article (for an overview of approaches, see Castilho et al, 2018), and metrics tend to differ between academia, commercial production environments, and MT research and development laboratories.…”

O Jogo Da Avaliação: Um Estudo Prático Sobre Tradução Automática

“…Por fim, lembra que, embora as métricas de avaliação funcionem melhor com várias referências, normalmente apenas um golden é fornecido. Além disso, por ignorar a sentença-fonte, as métricas não oferecem uma visão abrangente da qualidade da TA, tampouco fornecem uma indicação imediata dos tipos de problemas contidos no texto-alvo(Castilho et al, 2018), algo que só é oferecido pela avaliação humana.A definição de categorias de erros de tradução (ou de alterações na tradução, dependendo da abordagem), por exemplo, é uma das estratégias mais comuns para a avaliação humana de traduções. Para Ellis (1993), a categorização "simplifica a complexidade da experiência ao reduzir uma variedade infinita [de fatos] a um conjunto finito de categorias".…”

“…Procuramos descrever os estudos como jogos de linguagem, identificando os jogadores, o ambiente, a dinâmica, a finalidade e os objetivos, de forma a ter subsídios para comparação entre esses trabalhos e nossos jogos de avaliação, descritos no capítulo 5.4.1. Modelos de avaliação de traduçãoNo contexto atual, em que a TA e a pós-edição de TA estão cada vez mais presentes, notadamente em domínios técnicos e especializadas e na localização de softwares e conteúdo para a internet, os novos processos de tradução exigem novas abordagens de avaliação que contemplem os avanços tecnológicos.Nesse cenário tão complexo e fascinante, parece legítimo argumentar que, embora até agora as noções de qualidade sejam diferentes para TH [tradução humana] e TA, é provável que, em algum momento, ocorra uma convergência a até uma unificação das metodologias e abordagens usadas para a avaliação de qualidade de tradução, como resultado da crescente integração entre as diferentes formas de traduzir(Castilho et al, 2018).O estudo realizado por O'Brien (2012) em colaboração com a TAUS é uma das primeiras tentativas de se propor um novo modelo de avaliação que levasse em PUC-Rio -Certificação Digital Nº 1612517/CA…”