Onze anos de teste de progresso na UNICAMP

Abstract

vem testando o acúmulo cognitivo de seus alunos há mais de uma década e o volume de dados gerados já possibilita fazer uma análise da utilidade do teste como estratégia de apoio a decisões pegagógicas e apontar principais ameaças à validade do exame. OBJETIVOS -Analisar dados de 11 anos de realização do teste de progresso (TP) no curso de Medicina da Unicamp, para determinar a validade do teste. Para essa análise de validade, o trabalho terá como objetivos específicos (1) promover uma análise crítica do processo de validação do teste de progresso da escola de Medicina da Universidade Estadual de Campinas; (2) determinar uma curva de crescimento cognitivo para a referida escola; (3) determinar o grau de fidedignidade da medida da curva de crescimento; (4) identificar as principais ameaças à validade do TP-Unicamp. MÉTODOS -Estudo observacional retrospectivo de uma série histórica de sucessivos testes escritos realizados para analisar o acúmulo cognitivo de estudantes do curso de Medicina da Unicamp, abrangendo o período de 2006 a 2016, totalizando 11 anos e 6 turmas consecutivas de Medicina.Em cada momento de medida (aplicação do teste), o estudo utiliza um modelo misto onde a exposição (realização do teste) e o desfecho (escore do teste) são avaliados no mesmo ponto de tempo, caracterizando um estudo transversal (cross-sectional) cujos resultados sucessivos irão originar as curvas de crescimento cognitivo. Nessa técnica de modelo misto, cada unidade amostral pode ser expressa como um vetor de proficiência média em Medicina (variável resposta) em cada edição das seis provas realizadas (variáveis explicativas). RESULTADOS -A série histórica estudada permitiu a análise de 11 versões do TP entre os anos de 2006 e 2016, período no qual 6 turmas integralizaram sua formação médica (turmas formadas entre o período de 2011 até 2016), representando 574 alunos que tiveram pelo menos 5 momentos de testagem. Baseados no modelo longitudinal linear misto observou-se um acúmulo cognitivo em torno de 6 pontos percentuais a cada nova testagem. Os estudantes ao completarem o 6° ano obtiveram um acerto de cerca de 65,7% (± 9,1). A cada testagem foi determinado um "efeito piso" para identificar alunos com rendimento abaixo da média, que em geral situou-se em cerca de 1,5 DP abaixo da média da respectiva turma. CONCLUSÕES -O TP-Unicamp oferece dados confiáveis para apoiar importantes decisões pedagógicas, tais como a identificação de alunos em risco acadêmico por baixa performance, critérios para progressão e desempenho cognitivo ao final do curso. As principais ameaças à validade do TP Unicamp são (1) falta de utilidade dos testes na tomada de decisões que tenham consequências mais significativas na vida do acadêmico de Medicina e (2) consistência dos resultados, já que os escores só passaram a ter valores confiáveis a partir da quarta testagem. Como confiabilidade sofre influência da amostragem, o aumento do número de itens de cada teste e o aumento da frequência de testagem podem ser estratégias a serem tomadas para superar essas l...