Recognition of learning-centered emotions using a convolutional neural network

González-Hernández, Francisco; Zataraín-Cabada, Ramón; Barrón-Estrada, María Lucia; Rangel, Héctor Rodríguez

doi:10.3233/jifs-169514

Cited by 28 publications

(14 citation statements)

References 24 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…In addition, it can guarantee a balanced number of samples per class. As consequence, there have not been good results when translating the knowledge extracted from these databases to real contexts [8]. In contrast, the data bases with spontaneous records show information with emotional content that does not belong to a single class, but a mixture of them.…”

Section: Motivationmentioning

confidence: 97%

Methodology for Automatic Identification of Emotions in Learning Environments

González-Meneses¹,

Guerrero-García²,

García³

et al. 2019

RCS

View full text Add to dashboard Cite

This paper presents a methodological proposal for automatic identification of emotions in educational environments using machine learning algorithms and physiological and behavioral signal acquisition technologies to identify relations between emotions and learning. Four of the main learningcentered emotions are considered [1]: engagement, boredom, confusion and frustration. It is proposed to make a fusion of data from two physiological and behavioral signal acquisition technologies with the objective of achieving the identification of emotions in the most precise manner. Therefore, considering the stages of the proposed methodology, the first of them is presented and the design of the experiment that will be executed for data collection. The development of an appropriate database with elements belonging to a learning environment for the study of emotions is an essential task.

show abstract

Section: Motivationmentioning

confidence: 97%

Methodology for Automatic Identification of Emotions in Learning Environments

González-Meneses¹,

Guerrero-García²,

García³

et al. 2019

RCS

View full text Add to dashboard Cite

show abstract

“…Las técnicas de reconocimiento de emociones también han sido utilizadas en conjunto con ambientes de aprendizaje utilizando diferentes clasificadores de DL. En [9] se utilizó minería de opiniones para obtener datos relacionados con el proceso de aprendizaje de Twitter para entrenar una CNN-LSTM para la clasificación de emociones. De la misma manera se ha utilizado el reconocimiento de emociones en el rostro para la clasificación de emociones utilizando diferentes técnicas de extracción de características y reconocimiento de expresiones faciales [10].…”

Section: Trabajos Relacionadosunclassified

“…A continuación, se describen los tres corpus de manera breve, así como una pequeña explicación de su metodología de creación. Una descripción más detallada de la metodología de creación de estos corpus de imagen se puede observar en [9] y de texto en [10].…”

Section: Descripción De Los Corpusunclassified

Reconocimiento multimodal de emociones orientadas al aprendizaje

Zataraín-Cabada¹,

Barrón-Estrada²,

Lopez³

2019

RCS

View full text Add to dashboard Cite

Resumen. Las emociones centradas en el aprendizaje tienen un rol significativo en el proceso pedagógico del estudiante. Por esta razón, es relevante en los ambientes de aprendizaje virtual tomar en consideración no solo los aspectos cognitivos del estudiante si no también los aspectos afectivos. Algunos métodos como el auto reporte, observacional y las imágenes de actividad neuronal, han sido usados extensivamente para medir emociones. Sin embargo, hoy en día otros métodos de análisis de sentimientos y reconocimiento facial usando inteligencia artificial han demostrado ser una mejor alternativa para el reconocimiento automatizado de afecto. Los resultados son superiores cuando se combinan diferentes métodos para combinar el reconocimiento de expresiones faciales, expresiones textuales, aplicadas en ambientes de aprendizaje. Para la implementación de reconocedores, utilizamos nuestro propio corpus para la clasificación que emplea técnicas de aprendizaje profundo. Evaluamos la eficiencia de tres métodos de fusión comparándolas contra métodos unimodales de reconocimiento de emociones. La mejora de uno de los métodos (Representación basada en embebidos) de fusión fue de 4% (precisión de 86.20% y perdida 1.35%). Los resultados son muy prometedores y pensamos que serán mejor con tres o más reconocedores participando en el sistema multimodal.Palabras clave: reconocimiento de emociones, reconocimiento multimodal, método de fusión.Abstract. Learning-centered emotions have a significant role in the pedagogical process of a student. For this reason, it is relevant that virtual learning environments take into account not only the cognitive aspects of the student but also the affective ones. Some approaches such as self-report, observational, and neuroimaging have been used extensively to measure emotions. However, today other methods of artificial intelligence such as the recognition of facial expressions and sentimental analysis have proven to be a better alternative in the automatic recognition of affect, and the results are superior when we combine and integrate several modes of recognition. In this work, we present three different methods to combine the recognition of facial expressions and textual expressions, applied to virtual learning environments. For the implementation of recognizers, we use our own corpora with classifiers that employ deep learning techniques. We evaluate the efficiency of the three fusion methods by comparing them against unimodal methods of emotion recognition. The improvement of one 153

show abstract

“…En la Figura 1 se presenta la arquitectura que fue diseñada para esta aplicación, la cual está formada por los componentes Vista, Control y Reconocedor. La capa Reconocedor fue implementada mediante una red neuronal convolucionada (CNN) utilizada para identificar las emociones a través de imágenes tomadas a los estudiantes [14]. La CNN contiene tres capas convolucionales, tres capas de tipo "max-pooling" y tres redes neuronales con conexiones intermedias de tipo "dropout" (ver Figura 2).…”

Section: Arquitecturaunclassified

“…Para poder realizar realidad aumentada se requiere de diversos elementos: una cámara que capte una imagen del espacio real, un programa que interprete y reconozca la imagen captada y que pueda hacer la fusión con el entorno real, y una pantalla donde se pueda observar la combinación de la realidad con elementos virtuales y los marcadores [14]. Para conseguirlo se utiliza el entorno Unity 2017 [15] con Vuforia 7.2 [16].…”

Section: Arquitecturaunclassified

Cuerpos y planos geométricos usando realidad aumentada y computación afectiva

Zataraín-Cabada¹,

Barrón-Estrada²,

Ibáñez³

et al. 2018

RCS

View full text Add to dashboard Cite

Resumen. La adquisición de competencias en Ciencia, Tecnología, Ingeniería y Matemáticas será esencial para que las nuevas generaciones puedan enfrentar el competitivo mundo donde les tocará desenvolverse. Si bien nuestros estudiantes están rodeados de estímulos tecnológicos que los apasionan y a veces distraen, los sistemas de aprendizaje no están aprovechando estas tecnologías para atraer la atención de los estudiantes, facilitarles la comprensión de los temas abstractos propios de estas asignaturas. El trabajo que aquí se presenta pretende contribuir a la enseñanza de los temas "Cuerpos y Planos Geométricos" facilitando el aprendizaje gracias a las posibilidades de visualización tridimensional e interacción en tiempo real que ofrece la tecnología de realidad aumentada e incrementando el nivel de motivación utilizando técnicas de computación afectiva. A partir de los requerimientos educativos realizados por 7 profesores de diferentes escuelas secundarias, se diseñaron actividades en un entorno de realidad aumentada para facilitar el aprendizaje de "Cuerpos y Planos Geométricos". Las actividades están integradas en un entorno educativo utilizando técnicas de computación afectiva.Palabras clave: realidad aumentada, inteligencia artificial, computación afectiva, reconocimiento de emociones, aprendizaje móvil.Abstract. The acquisition of competences in Science, Technology, Engineering and Mathematics will be essential so that the new generations can face the competitive world where they will have to progress. Although our students are surrounded by technological stimuli that are passionate and sometimes distracting, the learning systems are not taking advantage of these technologies to attract the attention of the students, to facilitate their understanding of the abstract topics of these subjects. The work presented here aims to contribute to the teaching of the topics "Geometric Shapes and Planes" by facilitating learning thanks to the possibilities of three-

show abstract

Recognition of learning-centered emotions using a convolutional neural network

Cited by 28 publications

References 24 publications

Methodology for Automatic Identification of Emotions in Learning Environments

Methodology for Automatic Identification of Emotions in Learning Environments

Reconocimiento multimodal de emociones orientadas al aprendizaje

Cuerpos y planos geométricos usando realidad aumentada y computación afectiva

Contact Info

Product

Resources

About