Uncalibrated visual servoing of robots using a depth-independent interaction matrix

Abstract

Abstract-This paper presents a new adaptive controller for image-based dynamic control of a robot manipulator using a fixed camera whose intrinsic and extrinsic parameters are not known. To map the visual signals onto the joints of the robot manipulator, this paper proposes a depth-independent interaction matrix, which differs from the traditional interaction matrix in that it does not depend on the depths of the feature points. Using the depth-independent interaction matrix makes the unknown camera parameters appear linearly in the closed Index Terms-Adaptive control, robot manipulator, uncalibrated camera parameters, visual servoing.

Convolutional Neural Network-Based Robot Control for an Eye-in-Hand Camera

“…In vision-based control tasks, the parameters of depth information between the features and the camera could not be adapted together with other kinematic parameters due to the non-linearity property. To overcome this problem, a depth-independent control method was developed in [13]. Later on, it was found in [14] that the parameters of the depth information could be updated separately based on the concept of modular adaptive law.…”

A Study on Vision-Based Backstepping Control for a Target Tracking System

“…Obviously, the visual data are acquired from a camera or a set of cameras, which is either fixed in the workspace or directly mounted on the controlled system. Applications of visual servoing are becoming popular in robotics, where the pose of a robot manipulator end-effector is estimated and controlled with 6 degrees-of-freedom (DoF), such as in [3][4][5]. In outdoor applications, thanks to their ability to perceive the surrounding environment, camera systems have been widely applied for controlling the motion wheeled robots [6,7] and attitudes of unmanned vehicles [8][9][10].…”

Estudo e implementação de um método de cinemática inversa baseado em busca heurística para robôs manipuladores

“…Porém, a obtenção precisa da pose do robô de forma indireta, depende de um ajuste preciso dos seus parâmetros cinemáticos e do modelamento preciso da tarefa a ser realizada no espaço de trabalho [2]. Isso se deve ao fato de que nenhum parâmetro físico pode ser determinado de forma exata e a obtenção do modelo cinemático fica extremamente dificultada quando o robô realiza tarefas de manipulação de objetos complexos, com tamanhos e orientações variáveis [16].…”

“…Para evitar tais problemas, é desejável do ponto de vista prático a inclusão de esquemas de sensoriamento que sejam menos dependentes de variações dos parâmetros da máquina, e que permitam uma maior adaptabilidade do sistema de controle. Para lidar com o problema de incertezas cinemáticas e dinâmicas várias técnicas foram propostas recentemente [17,18,19,16,20,21]. Tais técnicas são também baseadas em cinemática diferencial, cujos parâmetros são ajustados durante a evolução do processo para que o sistema de controle possa obter resultados satisfatórios.…”

“…Sendo assim, Malis [62] desenvolveu um método de controle servo visual robusto a variações nos parâmetros intrínsecos da câmera. Nessa mesma linha, Liu et al [16] desenvolveram um esquema de controle servo visual dinâmico baseado em imagem que se fundamenta numa matriz de iteração que não depende da profundidade. Este esquema não depende de qualquer calibração de câmera e apresenta bons resultados práticos.…”