Integration of eye detection and tracking in videoconference sequences using temporal consistency and geometrical constraints

Abstract

In this work, we propose a novel approach to detect and track, in videoconference sequences, six landmarks on eyes: the four corners and the pupils. Detection is based on the Inner Product Detector (IPD), and tracking on the Lucas-Kanade (LK) technique. The novelty of our method consists in the integration between detection and tracking, the evaluation of the temporal consistency to decrease the false positive rates, and the use of geometrical constraints to infer the position of missing points. In our experiments, we use five high definition video sequences with four subjects, different types of background, fast movements, blurring and occlusion. The obtained results have shown that the proposed technique is capable of detecting and tracking landmarks with good reliability.

Bagging de Detectores por Produto Interno para Detecção de Olhos

“…Em alguns casos, em cada imagem de teste, dois ou mais pontos podem ser reconhecidos pela maioria dos classificadores. Estes casos podem serúteis quandoé desejável manter os candidatos mais prováveis ou quando o bagging IPD for utilizado como etapa anterior de outro método [7]. Entretanto, para este trabalho, umúnico pontoé desejado.…”

“…O Inner Product Detector (IPD) [6], [7] tem sido utilizado, com sucesso, para a detecção de olhos de humanos. O IPD e um classificador linear, mas não há evidências de que os objetos de interesse sejam linearmente separáveis no espaço de características.…”

“…Por essa razão são necessárias modificações na função discriminante que acarretam maior custo computacional. Esse artigoé uma extensão dos trabalhos em [6], [7], simplificando a função discriminante e utilizando um ensemble de classificadores com o intuito de tratar a natureza nãolinear do problema. Para tal, a técnica ensemble bootstrap aggregating (bagging) [8], [9], [10], [11]é utilizada para gerar múltiplos conjuntos de treinamento.…”

Rastreamento Robusto de Olhos Usando Consistência Temporal e Restrições Geométricas

“…A detecc ¸ão e o rastreamento de olhos, por exemplo, tem sido usada para controlar smartphones [1]. Em [2], tratamos do problema de detecc ¸ão e rastreamento robusto de pontos fiduciais nos olhos.…”

“…Na Sec ¸ão III, descrevemos como é feita a integrac ¸ão entre o IPD e o KL através da consistência temporal. Na Sec ¸ão IV, descrevemos o método de estimac ¸ão dos pontos faltantes proposto em [2], bem como as melhorias introduzidas neste trabalho. Os procedimentos experimentais, resultados obtidos e discussões estão na Sec ¸ão V. Na Sec ¸ão VI, concluímos e apresentamos algumas sugestões para trabalhos futuros.…”