A statistical approach to sense disambiguation in machine translation

Brown, Peter F.; Pietra, Stephen A. Della; Pietra, Vincent J. Della; Mercer, R.L.

doi:10.3115/112405.112427

Cited by 180 publications

(168 citation statements)

References 3 publications

Supporting

Mentioning

160

Contrasting

Unclassified

Order By: Relevance

“…Due to Bayes theorem (which is defined by (2)) and since the denominator here is independent of e, finding ê is the same as finding e. So, to make the product P(e)P(f |e) as large as possible, equation (3) is presented [6,8,9].…”

Section: Basic Theory Of Statistical Machine Translationmentioning

confidence: 99%

A new model for persian multi-part words edition based on statistical machine translation

Zahedi

Arjomandzadeh

2016

JAIDM

View full text Add to dashboard Cite

Multi-part words in English language are hyphenated and hyphen is used to separate different parts. Persian language consists of multi-part words as well. Based on Persian morphology, half-space character is needed to separate parts of multi-part words where in many cases people incorrectly use space character instead of half-space character. This common incorrectly use of space leads to some serious issues in Persian text processing and text readability. In order to cope with the issues, this work proposes a new model to correct spacing in multi-part words. The proposed method is based on statistical machine translation paradigm. In machine translation paradigm, text in source language is translated into a text in destination language on the basis of statistical models whose parameters are derived from the analysis of bilingual text corpora. The proposed method uses statistical machine translation techniques considering unedited multi-part words as a source language and the space-edited multi-part words as a destination language. The results show that the proposed method can edit and improve spacing correction process of Persian multi-part words with a statistically significant accuracy rate.

show abstract

Section: Basic Theory Of Statistical Machine Translationmentioning

confidence: 99%

A new model for persian multi-part words edition based on statistical machine translation

Zahedi

Arjomandzadeh

2016

JAIDM

View full text Add to dashboard Cite

show abstract

“…They are at the basis of the generation component of the statistical machine translation models proposed by Brown et al (1990). Bags of complex lexical signs have also been used in the machine translation approach described by Beaven (1992) and Whitelock (1992), called shake-and-bake.…”

Section: Representations Of Finite Languagesmentioning

confidence: 99%

“…In order to represent these constraints, extra machinery must be introduced. For instance, Brown et al (1990) impose, for each word in the bag, a probabilistic distribution delimiting its position in the target string, on the basis of the original position of the source word in the input string to be translated. In the shake and bake approach, bags are defined over functional structures, each representing complex lexical information from which constraints can be derived.…”

Section: Representations Of Finite Languagesmentioning

confidence: 99%

“…These include bags of words (Brown et al, 1990) and bags of complex lexical representations (Beaven, 1992;Brew, 1992;Whitelock, 1992), word lattices (Knight & Hatzivassiloglou, 1995;Langkilde & Knight, 1998;Bangalore & Rambow, 2000), and non-recursive context-free grammars (Langkilde, 2000). As will be discussed in detail in Section 2, word lattices and non-recursive context-free grammars allow encoding of precedence constraints and choice among different words, but they both lack a primitive for representing strings that are realized by combining a collection of words in an arbitrary order.…”

Section: Introductionmentioning

confidence: 99%

See 1 more Smart Citation

IDL-Expressions: A Formalism for Representing and Parsing Finite Languages in Natural Language Processing

Nederhof¹,

Satta²

2004

jair

View full text Add to dashboard Cite

We propose a formalism for representation of finite languages, referred to as the class of IDL-expressions, which combines concepts that were only considered in isolation in existing formalisms. The suggested applications are in natural language processing, more specifically in surface natural language generation and in machine translation, where a sentence is obtained by first generating a large set of candidate sentences, represented in a compact way, and then filtering such a set through a parser. We study several formal properties of IDL-expressions and compare this new formalism with more standard ones. We also present a novel parsing algorithm for IDL-expressions and prove a non-trivial upper bound on its time complexity.

show abstract

“…A técnica de alinhamento de textos surgiu na área de tradução (Brown et al, 1990), em que são alinhados segmentos textuais entre um texto e sua versão traduzida para outra língua. Com esses alinhamentos, é possível obter regras e modelos para auxiliar na tradução automática.…”

Section: Alinhamentounclassified

Alinhamento automático de textos e sumários multidocumento

Agostini¹

View full text Add to dashboard Cite

AgradecimentosAgradeço ao meu orientador, pelo ensinamento e pelas palavras de apoio; aos meus pais, pelo apoio constante e indispensável; aos meus amigos, que muito ouviram e me ajudaram; à Renata, pela parceria em duas anotações de córpus; ao Roque, pela ajuda com o desenvolvimento das abordagens propostas neste trabalho; aos colegas de laboratório e a todos que me ajudaram de alguma forma a concluir este trabalho de mestrado.VI VII "...before tomorrow comes, you could change everything…" VIII IX ResumoCom o excesso de informação disponível online, a Sumarização Automática tornou-se uma área de bastante interesse na grande área da Inteligência Artificial.Alguns autores tentaram caracterizar o processo de sumarização para compreender melhor como sumarizadores o realizam. O alinhamento de um sumário e seus textos fonte pode ser encarado como uma caracterização desse processo. Com relação à sumarização automática, a técnica de alinhamento consiste em obter relações entre segmentos de um ou vários textos e seu sumário e, da forma que o conteúdo de um segmento esteja contido no outro. Uma vez obtidas essas relações, torna-se possível (i) aprender como sumarizadores profissionais realizam a sumarização, (ii) explicitar regras e modelos para a sumarização, e (iii) criar métodos automatizados utilizando as regras e modelos explicitados, o que traz uma contribuição à Sumarização Automática.Neste trabalho, foram propostas três abordagens dentro das abordagens superficiais e profundas do Processamento de Língua Natural para realizar os alinhamentos de forma automática. A primeira utiliza três métodos superficiais, sendo eles Word overlap, tamanho relativo e posição relativa. A segunda caracteriza-se em uma técnica de alinhamento com mais conhecimento linguístico, pois nela foi utilizada uma teoria discursiva, a CST (Cross-Document Structure Theory). A terceira utiliza Aprendizado de Máquina, caracterizando uma abordagem híbrida dada a característica de seus atributos superficiais e profundos, relativo à primeira e à segunda abordagem. Uma avaliação comparativa entre elas, e também entre um trabalho da literatura, foi realizada. Quando os dados do aprendizado de máquina eram balanceados, foi atingido o valor de 97,2% de medida-F, maior valor encontrado. O método superficial Word overlap também obteve um bom resultado, sendo ele 66,2% de medida-F. A atividade de produzir sumários (resumos) é uma atividade comum que as pessoas realizam diariamente, por exemplo, quando alguém deseja narrar uma história para outra pessoa. A sumarização é útil também quando alguém procura saber do que se trata um livro, um filme ou mesmo um artigo ou uma dissertação, lendo, dessa forma, um sumário sobre o conteúdo dos mesmos.Além disso, sumários são bastante úteis, pois é sabido que nem toda parcela de informação é relevante a quem procura, e muito do que os meios de comunicação provêm são informações repetidas e até contraditórias. Nesse contexto, torna-se útil a produção automática de sumários provenientes de mais de um texto. A sumarização ...

show abstract

A statistical approach to sense disambiguation in machine translation

Abstract: We describe ~ statisticM technique for assigning senses to words. An instance of ~ word is assigned ;~ sense by asking a question about the context in which the word ~tppears. The qttestlou is constructed to ha, re high mutua,1 i~fformation with the word's translations.

Cited by 180 publications

References 3 publications

A new model for persian multi-part words edition based on statistical machine translation

A new model for persian multi-part words edition based on statistical machine translation

IDL-Expressions: A Formalism for Representing and Parsing Finite Languages in Natural Language Processing

Alinhamento automático de textos e sumários multidocumento

Contact Info

Product

Resources

About