A correct method to calculate the IDD value-added indicator in the Brazillian higher education quality assurance framework

Abstract

This paper investigates the value-added indicator used in the Brazilian higher education quality assurance framework, the so-called IDD indicator for undergraduate programmes (“Indicator of the difference between observed and expected outcomes''). The two main claims are that since 2014 this indicator is calculated incorrectly and that this mistake has relevance for public policy. INEP, the educational statistical agency responsible for educational quality indicators in Brazil, incorrectly uses multilevel modeling in their value-added analysis. The IDD indicator is calculated by estimating a varying intercept linear mixed model, but instead of identifying the intercepts with the value added of courses, INEP uses the mean of the student residuals. That this was indeed the error made is shown by reproducing exactly INEP’s published values using the incorrect method with the microdata for the 2019 assessment cycle. I then compare these values to the ones obtained with the same model and same data, but using the correct value-added measure. A comparison of reliability estimates for both methods shows that this measure of internal consistency is indeed higher for the correct method. As an example of policy relevance, I calculate the number of courses that would change from “satisfactory” to “unsatisfactory” and vice-versa, using the usual criteria established by INEP, if the correct method is applied.

Os desafios da gestão da qualidade numa universidade pública brasileira: a experiência da Unicamp

“…(Lemaitre et al, 2018) "O exame Enade no Brasil é o único exemplo, em um sistema de ensino superior de grande escala, de exames externos em larga escala, que são obrigatórios para os alunos e utilizados diretamente na garantia de qualidade de programas e instituições" (Lemaitre et al, 2018, p. 57) Indicador de Ganho Presumido de Aprendizagem -IDD "A combinação da ousadia dos pressupostos subjacentes, o design inadequado do Enade e a influência potencial de fatores fora do controle do programa sobre o desempenho dos alunos significam que o IDD fornece apenas informações limitadas sobre a qualidade do programa. É, portanto, altamente questionável se deve responder por 35% do peso em um indicador composto utilizado como base para a renovação do reconhecimento do programa" (Lemaitre et al, 2018, p. 130 "A forma como calculado pelo Inep distorce completamente os resultados, gerando uma classificação equivocada dos cursos considerados satisfatórios" (Haar, 2021). Índice Geral dos Cursos das Instituições -IGC "Fornece sinais limitados sobre a qualidade institucional com baixo poder discriminatório.…”

Instrumentos de accountability na educação superior: A presença dos rankings acadêmicos na Comissão Parlamentar de Inquérito de Gestão das Universidades Públicas de São Paulo

“…O CPC inclui uma métrica de valor agregado para mensurar a contribuição adicional das instituições de ensino na aprendizagem dos alunos. Denominado Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD), o IDD utiliza modelagem multinível para calcular a performance individual dos estudantes no ENADE como função de suas notas no ENEM(Haar, 2021).…”