O Jogo Da Avaliação: Um Estudo Prático Sobre Tradução Automática

Abstract

A minha mãe, Olga, meu padrasto, Fernando, minha sogra, Iade, e meu cunhado, João Jacques, obrigado por todo o apoio que vocês sempre me deram. À minha orientadora Cláudia Freitas, pela parceria, pelos caminhos apontados, pela diligência e pelas aulas incríveis que me estimularam a fazer este trabalho. E também pela paciência com esse orientando enrolado. À professora Helena Martins, pelas aulas inspiradoras e por me apresentar à filosofia de Ludwig Wittgenstein, que simplesmente mudou minha maneira de pensar e ver o mundo. A CAPES e FAPERJ, pelas bolsas que possibilitaram a realização deste estudo. O presente trabalho foi realizado com o apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior -Brasil (CAPES) -Código de Financiamento 001. À PUC-Rio, pela excelente estrutura e pelo maravilhoso ambiente de estudos. A todo o pessoal da secretaria do Departamento de Letras, em especial à Chiquinha, pela presteza e simpatia. A todos os professores do mestrado em Letras da PUC-Rio, e principalmente aos professores do núcleo de tradução, Marcia Martins, Maria Paula Frota, Paulo Henriques Britto e à coordenadora do PPGEL, Erica Rodrigues. Às professoras do Curso de Formação de Tradutores da PUC-Rio, que me abriram os caminhos da tradução ainda em 2005 e me ajudaram a abraçar esse ofício que eu tanto amo, com especial carinho a Adriana Rieche, Carolina Alfaro, Lourdes Sette e Teresa Dias Carneiro. PUC-Rio -Certificação Digital Nº 1612517/CA Aos queridos colegas Daniel Estill, pelo debate no CDL em 2017 e por todos os momentos em que dedicou um tempo para ajudar este ex-aluno, Jorge Davidson, pelas trocas de ideias sempre frutíferas, e Ricardo Souza, cuja defesa das tecnologias de tradução aguçou a minha curiosidade pela tradução automática lá no início deste mestrado.À Flávia, minha mulher, minha companheira de tradução e minha melhor amiga, cada passo do caminho fica mais fácil sabendo que você está ao meu lado.A Aurora e Tarsila, minhas filhas, por todas as pequenas e grandes alegrias. AbstractTeixeira, Michel de Sousa; Freitas, Cláudia (Advisor).This work discusses translation assessment practices, most importantly machine translation (MT) assessment. Relevant literature for MT assessment is discussed, from MT systems assessment to the design of error typologies for MT assessment. The study encompasses a series of three MT quality assessment experiments based on the language games as described by Wittgenstein in his work Philosophical Investigations. Game 1 encompassed post-editing two patent documents using different MT systems, and further evaluating translator's productivity and analyzing the edits made. The quantitative results showed the positive impact of using MT in productivity. The qualitative results included a typology of the edits made during the PE task in both MT systems, and the results achieved showed that increased productivity did not affect translation quality level. Game 2 compares two translations of the same text produced several years apart by the same translator. The former was prod...