Resumo-Este artigo apresenta um arcabouço para reconhecimento de palavras em LIBRAS (Língua Brasileira de Sinais) em sequências de vídeo. A extração de características é baseada em subamostragem de imagens residuais, obtidas pela subtração de quadros sucessivos e a classificação é feita com o auxílio do algoritmo k-NN. Outra contribuição deste trabalho é uma base de dados (em expansão) contendo 24 palavras em LIBRAS executadas por diversos voluntários com 3 tipos de planos de fundo. Todo o sistema de reconhecimento foi desenvolvido no ambiente Matlab. O sistema proposto neste trabalho possui uma taxa de acerto média de 75%, o que indica que as técnicas descritas aqui são bastante promissoras. Palavras-Chave-LIBRAS, linguagem de sinais, visão computacional, processamento de imagens.