Troubleshooters for Tasks of Introductory Programming MOOCs

Abstract

Learning programming has become more and more popular and organizing introductory massive open online courses (MOOCs) on programming can be one way to bring this education to the masses. While programming MOOCs usually use automated assessment to give feedback on the submitted code, the lack of understanding of certain aspects of the tasks and feedback given by the automated assessment system can be one persistent problem for many participants. This paper introduces troubleshooters, which are help systems, structured like decision trees, for giving hints and examples of certain aspects of the course tasks. The goal of this paper is to give an overview of usability (benefits and dangers) of, and the participants’ feedback on, using troubleshooters. Troubleshooters have been used from the year 2016 in two different programming MOOCs for adults in Estonia. These MOOCs are characterized by high completion rates (50–70%), which is unusual for MOOCs. Data is gathered from the learning analytics integrated into the troubleshooters’ environment, letters from the participants, questionnaires, and tasks conducted through the courses. As it was not compulsory to use troubleshooters, the results indicate that only 19.8% of the users did not use troubleshooters at all and 10% of the participants did not find troubleshooters helpful at all. The main difference that appeared is that the number of questions asked from the organizers about the programming tasks during the courses via helpdesk declined about 29%.

Análise dos padrões comportamentais de estudantes de um MOOC sobre Iniciação à Programação para a plataforma Arduíno

“…Em [27] foi apresentada e testada uma ferramenta implantada em MOOCs de iniciação à programação que fornece suporte na resolução de exercícios de programação. Inicialmente os autores explicam que desenvolveram um "helpdesk" em que instrutores e estudantes universitários ofereciam suporte aos participantes de MOOCs de programação, posteriormente, as perguntas mais frequentes recebidas pelo helpdesk foram utilizadas para criar categorias de problemas e soluções que auxiliassem os estudantes, gerando uma ferramenta fundamentada em árvores de decisão denominada "Murelahendaja".…”

“…A Murelahendaja é utilizada para registrar problemas e sugerir dicas que apoiem as resoluções de exercícios. O sistema também disponibiliza botões para os alunos sinalizarem se a solução fornecida funcionou [27]. Os resultados da pesquisa de [27] apontaram sucesso no aumento na taxa de conclusão de dois MOOCs de iniciação a programação, todavia, os autores revelaram que trabalhar com algoritmos que fornecem respostas para as dificuldades em tarefas de programação levam a obstáculos navegacionais, pois as ramificações que compõem a árvore de decisões de soluções aumentam continuamente.…”

“…O sistema também disponibiliza botões para os alunos sinalizarem se a solução fornecida funcionou [27]. Os resultados da pesquisa de [27] apontaram sucesso no aumento na taxa de conclusão de dois MOOCs de iniciação a programação, todavia, os autores revelaram que trabalhar com algoritmos que fornecem respostas para as dificuldades em tarefas de programação levam a obstáculos navegacionais, pois as ramificações que compõem a árvore de decisões de soluções aumentam continuamente. As iniciativas referentes ao ensino e aprendizagem de programação por meio de MOOCs descritas nessa seção revelam que os cursos on-line fornecem oportunidades de aprender diferentes tipos de linguagens de programação, havendo a possibilidade de explorar metodologias de ensino e de avaliação diferenciadas e com a contribuição de alcançar inúmeros participantes.…”

MOOC Quality Design Criteria for Programming and Non-Programming Students

“…On the other hand, some studies focus more on the assessment aspect (Ullah, 2018;Lepp, Palts, Luik, Papli, Suviste, Säde, & Tõnisson, 2018) of programming MOOCs. According to Ullah (2018), a student needs continuous feedback on their progress, which can obviously be provided through assessment.…”

“…Hence, feedback from educators on students' errors is essential to enhance their knowledge. Lepp et al (2018) developed an integrated help system called Troubleshooters (similar to IT support services) that provides clues and coding examples to help students with their programming tasks. To evaluate Troubleshooter, they collected feedback from 792 students attending About Programming MOOC.…”