Identification of Multiword Expressions in Technical Domains: Investigating Statistical and Alignment-Based Approaches

Abstract

Multiword Expressions (MWEs) are one of the stumbling blocks for more precise Natural Language Processing (NLP) systems. The lack of coverage of MWEs in resources can impact negatively on the performance of tasks and applications, and can lead to loss of information or communication errors; especially in technical domains where MWE are frequent. This paper investigates some approaches to the identification of MWEs in technical corpora based on: association measures, part-of-speech and lexical alignment information. We examine the influence of some factors on their performance such as sources of information for identification and evaluation. While the association measures emphasize recall, the alignment method focuses on precision.

Hash Tables for a Digital Lexicon

“…Um método para o desenvolvimento de ferramentas lexicais são as tabelas hash que necessariamente têm as informações centralizadas nessa estrutura de dados sendo eficientes para acessar grande volume de informações de modo rápido e otimizado, com potencial para resolver problemas de buscas Hash Tables for a Digital Lexicon de multipalavras [8]. Exemplos de ferramentas com tabelas hash tem-se o léxico Urdu [9], o qual foi feito para uma língua indo-europeia amplamente falada no Paquistão e na Índia que se mostrou eficiente tanto para o tempo de pesquisa como nos requisitos de espaço e armazenamento, e o sistema Morphological Analyzer using Hash Table, ou apenas MAHT, o qual é um analisador morfológico para a Língua Espanhola que possui uma base de conhecimento lexical de quase cinco milhões de palavras, conseguindo atingir uma velocidade média de processamento de mais de 275 mil palavras por segundo, exatamente por usar tabelas hash na memória principal.…”