Testes Adaptativos Computadorizados Aplicados em Avaliações Educacionais

Abstract

Os avanços na área da tecnologia contribuíram para aumentar a eficiência da avaliação do processo ensino-aprendizagem com o uso dos Testes Adaptativos Computadorizados (CAT). Esses testes adaptam a avaliação ao nível de conhecimento do respondente e apresentam inúmeras vantagens sobre os testes aplicados de forma convencional, denominados de papel e lápis – P&P (acrônimo em inglês – Paper & Pencil), principalmente para os programas que aplicam testes longos, como é o caso do Exame Nacional do Ensino Médio (Enem). Assim, este artigo visa apresentar as vantagens do uso desses testes e compará-los com os escores obtidos via P&P para o teste da área de Matemática e suas Tecnologias do Enem 2012, composto por 45 itens. Para tanto, uma simulação com dados reais foi realizada. Os escores via aplicação P&P foram divididos em intervalos para melhor análise da precisão e definição do comprimento do CAT. A partir dos resultados, definiu-se um comprimento de 33 itens para o CAT, o que gera uma redução de pelo menos 26,6% no comprimento do teste e, consequentemente, redução no tempo do teste e fadiga dos respondentes. Análises sobre o uso dos itens que compõem o banco de itens, também são apresentadas.

Comparação de Regras de Seleção de Itens em Testes Adaptativos Computadorizados: um estudo de caso no ENEM

“…A regra de seleção F foi a que selecionou, em média, um maior número de itens para um determinado grupo deθ e a M P W I foi a que selecionou menos, totalizando 35 e 18 itens, respectivamente. Praticamente todas as médias máximas de itens selecionados foram encontradas no intervalo de 1 a 1.5, exceto para a regra de seleção M LW I. O resultado obtido para a regra Fé similar ao resultado em [Spenassato et al 2016], no qual a média máxima de itens foi 33. A Figura 3 traz o desempenho de cada regra em relação ao número de questões selecionadas para cada grupo deθ estimado.…”

“…Para cada participante, são calculadas quatro proficiências, uma para cada macroárea. A provaé dicotômica, com possibilidade de múltipla escolha e o Modelo Logístico utilizado pela IRTé o de três parâmetros (ML3), com escala estabelecida em 500 e desvio-padrão 100 [Spenassato et al 2016].…”

“…A amostra inicial foi composta por 1000.000 respondentes da prova Rosa de Matemática e suas tecnologias. Os valores dos parâmetros a, b e c dos 45 itens foram retiradas do trabalho [Spenassato et al 2016]. Esses parâmetros serviram de base para estimar o nível de habilidade dos respondentes com o software ICL [Hanson 2002].…”

“…O método para a estimação foi o Esperança a Posteriori (do inglês, Expected a Posteriori -EAP ), com 10 pontos de quadratura, o mesmo utilizado pelo trabalho [Spenassato et al 2016]. Essas estimativas são aqui consideradas como os escores verdadeiros.…”

“…Intervalo dos θs verdadeiros Foi adotada a estratégia de [Spenassato et al 2016] para identificar o comprimento do CAT. Esta etapa identifica o ponto de estabilidade, ou seja, o momento da execução da prova onde a estimativa da habilidade do respondente j tende a se manter estável.…”