Enhancing Perception with Tactile Object Recognition in Adaptive Grippers for Human–Robot Interaction

Abstract

The use of tactile perception can help first response robotic teams in disaster scenarios, where visibility conditions are often reduced due to the presence of dust, mud, or smoke, distinguishing human limbs from other objects with similar shapes. Here, the integration of the tactile sensor in adaptive grippers is evaluated, measuring the performance of an object recognition task based on deep convolutional neural networks (DCNNs) using a flexible sensor mounted in adaptive grippers. A total of 15 classes with 50 tactile images each were trained, including human body parts and common environment objects, in semi-rigid and flexible adaptive grippers based on the fin ray effect. The classifier was compared against the rigid configuration and a support vector machine classifier (SVM). Finally, a two-level output network has been proposed to provide both object-type recognition and human/non-human classification. Sensors in adaptive grippers have a higher number of non-null tactels (up to 37% more), with a lower mean of pressure values (up to 72% less) than when using a rigid sensor, with a softer grip, which is needed in physical human–robot interaction (pHRI). A semi-rigid implementation with 95.13% object recognition rate was chosen, even though the human/non-human classification had better results (98.78%) with a rigid sensor.

Visual–tactile object recognition of a soft gripper based on faster Region-based Convolutional Neural Network and machining learning algorithm

“…In the application of existing tactile sensors to the soft grippers, Homberg et al 34 were the first ones to use bending sensors for a haptic recognition that provides configuration estimations to distinguish among a set of objects. Gandarias et al 35 used the high-precision array type tactile sensor to detect the tactile images of the two-finger flexible gripper in contact with an object. Chen et al 36 embedded the bending sensor into the soft pneumatic gripper and established the relationship between the diameter of the grasping ball and the output value of the bending sensor by curve fitting.…”

Monitorización de víctimas con manipuladores aéreos en operaciones de búsqueda y rescate

“…De igual forma, los avances en la interacción robothumano hacen que sea la colocación de dispositivos sensoriales en personas mediante manipuladores robóticos pueda realizarse de forma segura [3]. Con el uso de robots para operaciones SAR, la rápida localización y la monitorización continua de víctimas es posible.…”

“…El manipulador es un brazo de tres grados de libertad tipo delta adaptado a un octocóptero de Atyges.Gracias al auge de los microcontroladores de bajo coste y las comunicaciones, es cada vez más factible el uso de redes sensoriales que permitan la monitorización de diversos parámetros, como son las constantes vitales de una persona [8]. Así pues, los avances en electrónica permiten la integración de sensores en espacios cada vez más reducidos, siendo posible colocarlos en objetos cotidianos [1].De igual forma, los avances en la interacción robothumano hacen que sea la colocación de dispositivos sensoriales en personas mediante manipuladores robóticos pueda realizarse de forma segura [3]. Con el uso de robots para operaciones SAR, la rápida localización y la monitorización continua de víctimas es posible.…”

Diseño de una pinza subactuada híbrida soft-rigid con sensores hápticos para interacción física robot-humano

“…Para llevar a cabo este tipo de tareas es necesario disponer de una mano o pinza robótica con un diseño adaptativo que presente a la vez un agarre firme de la persona y pueda controlar su fuerza y movimientos para garantizar la seguridad. En [11,12,13] se utiliza información de la presión ejercida durante el agarre que, mediante técnicas de aprendizaje automático (Machine Learning), se puede utilizar para obtener información de alto nivel, clasificar el contacto, e incluso reconocer objetos.…”