A Learning Analytics Methodology for Detecting Sentiment in Student Fora: A Case Study in Distance Education

Abstract

Online fora have become not only one of the most popular communication tools in e-learning environments, but also one of the key factors of the learning process, especially in distance learning, as they can provide to the students involved, motivation for collaboration in order to achieve a common goal. The purpose of this study is to analyse data related to the participation of postgraduate students in the online forum of their course at the Hellenic Open University. The content of the messages posted is analysed by using text mining techniques, while the network through which the students interact is processed through social network analysis techniques. Furthermore, sentiment analysis and opinion mining is applied on the same dataset. Our aim is to study students' attitude towards the course and its features, as well as to model their sentiment behaviour over time, and finally to detect if and how this affected their overall performance. The combined knowledge attained from the aforementioned techniques can provide tutors with practical and valuable information for the structure and the content of the students' exchanged messages, the patterns of interaction among them, the trend of sentiment polarity during the course, so as to improve the educational process. Abstract in GreekΟι διαδικτυακές ομάδες συζήτησης (Forum) είναι ένα από τα δημοφιλέστερα εργαλεία επικοινωνίας σε μαθησιακά περιβάλλοντα. Αποτελούν έναν από τους βασικούς παράγοντες της μαθησιακής διαδικασίας, ειδικά στην εκπαίδευση από απόσταση, καθώς παρέχουν στους συμμετέχοντες εκπαιδευόμενους τα απαραίτητα κίνητρα συνεργασίας για την επίτευξη κοινών μαθησιακών στόχων. Σκοπός αυτής της εργασίας είναι η ανάλυση δεδομένων από τη συμμετοχή μεταπτυχιακών φοιτητών του Ελληνικού Ανοικτού Πανεπιστημίου σε διαδικτυακή ομάδα συζήτησης στα πλαίσια μαθημάτων του Προγράμματος Σπουδών τους. Το περιεχόμενο των δημοσιευμένων μηνυμάτων των συμμετεχόντων αναλύθηκε χρησιμοποιώντας μεθόδους και τεχνικές εξόρυξης κειμένου, ενώ η αλληλεπίδραση των φοιτητών μελετήθηκε μέσω τεχνικών ανάλυσης κοινωνικών δικτύων. Επιπλέον, στο ίδιο σύνολο δεδομένων εφαρμόστηκαν τεχνικές ανάλυσης συναισθήματος και εξόρυξης γνώμης. Στόχος μας είναι η μελέτη της συμπεριφοράς των φοιτητών απέναντι στο μάθημα και τα χαρακτηριστικά του, καθώς και η μοντελοποίηση της συναισθηματικής τους συμπεριφοράς με την πάροδο του χρόνου και, τέλος, η ανίχνευση του αν και κατά πόσο αυτή επηρεάζει την συνολική τους επίδοση στις σπουδές τους. Ο συνδυασμός των γνώσεων που προκύπτουν από τις προαναφερθείσες τεχνικές μπορεί να προσφέρει στους εκπαιδευτές πολύτιμες και πρακτικές πληροφορίες για τη δομή και το περιεχόμενο των μηνυμάτων που αντάλλαξαν οι φοιτητές, για τον τρόπο αλληλεπίδρασης μεταξύ των φοιτητών, για την τάση της συναισθηματικής πολικότητας τους κατά τη διάρκεια των σπουδών τους, έτσι ώστε να βελτιωθεί η εκπαιδευτική διαδικασία.

Impact of using learning analytics in asynchronous online discussions in higher education

“…The authors themselves recognized this limitation, claiming that real-time analysis, which DIANA 2.0 does, would have enriched the results. Kagklis, Karatrantou, Tantoula, and Panagiotakopoulos (2015) had similar results, and the reason is the same lack of real-time analysis as in the previous case. To support this argument, we found a correlation of 68% between grades and level of participation.…”

Learner satisfaction, engagement and performances in an online module: Implications for institutional e-learning policy

“…Ma et al ( 2015 ) used learning analytics to track data related to teaching and learning activities to build an interaction-activity model to demonstrate how the instructor’s role has an impact on students’ engagement activities. An analysis of student emotions through their participation in forums and their performance in online courses can serve as the basis to model student engagement (Kagklis et al 2015 ). They further observed that the students’ participation in forums was not directly associated with their performances.…”

Learner satisfaction, engagement and performances in an online module: Implications for institutional e-learning policy

“…Ma et al (2015) used learning analytics to track data related to teaching and learning activities to build an interaction-activity model to demonstrate how the instructor's role has an impact on students' engagement activities. An analysis of student emotions through their participation in forums and their performance in online courses can serve as the basis to model student engagement (Kagklis et al 2015). They further observed that the students' participation in forums was not directly associated with their performances.…”