Pupils’ prior knowledge about technological systems: design and validation of a diagnostic tool for primary school teachers

Abstract

This study aimed to develop and validate, based on the Evidence Centered Design approach, a generic tool to diagnose primary education pupils’ prior knowledge of technological systems in primary school classrooms. Two technological devices, namely the Buzz Wire device and the Stairs Marble Track, were selected to investigate whether theoretical underpinnings could be backed by empirical evidence. Study 1 indicated that the tool enabled pupils to demonstrate different aspects of their prior knowledge about a technological system by a wide variety of work products. Study 2 indicated that these work products could be reliably ranked from low to high functionality by technology education experts. Their rank order matched the Fischer-scale-based scoring rules, designed in cooperation with experts in skill development. The solution patterns fit the extended non-parametric Rasch model, confirming that the task can reveal differences in pupils’ prior knowledge on a one-dimensional scale. Test–retest reliability was satisfactory. Study 3 indicated that the diagnostic tool was able to capture the range of prior knowledge levels that could be expected of 10 to 12 years old pupils. It also indicated that pupils’ scores on standardised reading comprehension and mathematics test had a low predictive value for the outcomes of the diagnostic tool. Overall, the findings substantiate the claim that pupils’ prior knowledge of technological systems can be diagnosed properly with the developed tool, which may support teachers in decisions for their technology lessons about content, instruction and support.

A avaliação pedagógico-curricular no ensino primário: Uma revisão sistemática da literatura

“…Artigos analisados 2021 Afandi et al, 2021;Allal, 2021;Amendum et al, 2021;Basu et al, 2021;Buckley-Walker & Lipscombe, 2021;Butler et al, 2021;Chin et al, 2021;Earle, 2021;Fitzgerald et al, 2021;Gane et al, 2021;Gezer et al, 2021;Glušac & Milić, 2021;Herbert, 2021;Hogenboom et al, 2021;Ibourk & Kendrick, 2021;Jong & Tan, 2021;Julião et al, 2021;Kalykbayeva et al, 2021;Kim & Lee, 2021;McFeetors et al, 2021;Mitsiakiet al, 2021;Mohamed et al, 2021;Monteiro et al, 2021;Nicholas et al, 2021;Omasta et al, 2021;OrdazVillegas & AcleTomasini, 2021;Pedasteet al, 2021;Roberts & Brugar, 2021;Sayac & Veldhuis, 2021;Schelling & Rubenstein, 2021;Schmitzet al, 2021;Syzdykbayeva et al, 2021;Tirado-Olivares et al, 2021;Torregrosa et al, 2021;Turner et al, 2021;van den Heuvel-Panhuizenet al, 2021;Wammes et al, 2021;Wikmanet al, 2021 2022 Amador et al, 2022;Bellindo-Garcia et al, 2022;Carrillo López ...…”

“…Esta amplitude de eixos de estudo evidencia o interesse investigativo na avaliação, ilustrando, por um lado, a complexidade das ações associadas à avaliação formativa e, por outro, a diversidade destas ações nas diferentes organizações escolares. Embora com menor expressão, há, igualmente, estudos focados na autoavaliação (Allal, 2021;Ryan et al, 2022;Torregrosa et al, 2021) e coavaliação (Allal, 2021;Torregrosa et al, 2021), na avaliação diagnóstica (Wammes et al, 2021(Wammes et al, , 2022 e na avaliação autêntica (McFeetors et al, 2021), isto é, estratégias de avaliação "concebidas de modo que haja similitude entre a tarefa de aprendizagem e a tarefa de avaliação" (McFeetors et al, 2021, p. 3). Estas opções investigativas convergem com a progressiva importância atribuída às dimensões pedagógicas de avaliação, estabelecendo-se uma mais sólida relação com o pensamento e a ação educativa (Duarte, 2021).…”

“…À semelhança do que acontece em relação às crianças, também estes estudos são plurais nas suas intenções ou pontos de interesse. Alguns optam por um foco disciplinar, associado, por exemplo, ao modo como os educadores perspectivam a avaliação no âmbito no ensino do inglês (Mohamed et al, 2021), da educação física (Kim & Lee, 2022) ou da educação Matemática (Gamboa-Araya et al, 2022;Martin et al, 2022;Takele & Melese, 2022); outros estudos há que privilegiam trabalhos de investigação que ora procuram melhor esclarecer o modo como, genericamente, os docentes perspectivam as práticas ou finalidades de avaliação (Bellindo-Garcia et al, 2022;Monteiro et al, 2021), nomeadamente a avaliação diagnóstica (Mitsiaki et al, 2021;Wammes et al, 2022), ora visam analisar como grupos concretos constroem estes referenciais, como professores jovens (Amador et al, 2022). Qualquer uma das opções revela, pelo menos de forma implícita, a centralidade das concepções destes profissionais nas opções de avaliação (Duarte, 2021;Rosales López, 2014;Santos Guerra, 2014), afirmando-se como uma alternativa indireta para a compreensão do fenómeno.…”

“…Num sentido contrário, as propostas de avaliação contidas nos manuais escolares, parecem privilegiar problemas de menor interesse pedagógico, correspondendo a exercícios predominantemente fáceis, por vezes de resolução mecânica (Tárraga-Mínguez & Tarín-Ibáñez, 2022). Complementando o indicado, um dos estudos evidencia a dificuldade de os professores da educação primária desenvolverem práticas de avaliação, no âmbito das competências e dos conhecimentos técnicos, apresentando alguns preconceitos de género em relação à proficiência no domínio da leitura e da Matemática (Wammes et al, 2022), assim como parece haver evidência de que ainda são utilizados, por alguns profissionais, "métodos de avaliação que continuam a promover a etiquetagem e o nivelamento dos alunos, de acordo com um único teste de avaliação instantâneo" (Fitzgerald et al, 2021, p. 104), evidenciando que os conceitos prévios dos docentes influenciam o modo como perspetivam a avaliação em Matemática (Sayac & Veldhuis, 2021). A este propósito, existem igualmente evidências de que os docentes, no início da sua carreira, valorizam os conhecimentos e práticas de avaliação, embora revelem alguma dificuldade em diversificar as estratégias de avaliação na prática educativa, sendo essa dificuldade mais notória nas aulas de ciências do que nas aulas de Matemática (Amador et al, 2022).…”