Rethinking Teacher Evaluation: A Conversation about Statistical Inferences and Value-Added Models

Abstract

In this article, the authors provide a methodological critique of the current standard of value-added modeling forwarded in educational policy contexts as a means of measuring teacher effectiveness. Conventional value-added estimates of teacher quality are attempts to determine to what degree a teacher would theoretically contribute, on average, to the test score gains of any student in the accountability population (i.e., district or state). Everson, Feinauer, and Sudweeks suggest an alternative statistical methodology, propensity score matching, which allows estimation of how well a teacher performs relative to teachers assigned comparable classes of students. This approach more closely fits the appropriate role of an accountability system: to estimate how well employees perform in the job to which they are actually assigned. It also has the benefit of requiring fewer statistical assumptions—assumptions that are frequently violated in value-added modeling. The authors conclude that this alternative method allows for more appropriate and policy-relevant inferences about the performance of teachers.

Un Estudio Sobre la Calidad Docente en Chile: El Rol del Contexto en Donde Enseña el Profesor y Medidas de Valor Agregado

“…Diversos autores (Bryk, Harding & Greenberg, 2012;Darling-Hammond, 2012;Moore Johnson, 2012) señalan que la calidad de la enseñanza -los resultados del proceso educativo-está fuertemente influenciada por el contexto de instrucción y que los profesores deberían ser evaluados considerando la institución, la población estudiantil y los recursos con los que trabajan (Everson et al, 2013).…”

“…Si bien no se pretende postular que el desempeño docente no debiera medirse, es importante explorar formas en que el rol del contexto sea apropiadamente incluido en dicha medición. Para ello podrían considerarse propuestas recientes ("Symposium: Teacher Effectiveness", 2013), tales como la implementación de metodologías estadísticas complejas para la evaluación de profesores (Everson et al, 2013) o el desarrollo de pautas de observación más holísticas que permitan capturar dimensiones de la práctica docente situadas en el contexto de cada profesor y centradas en contenidos relevantes (Hill & Grossman, 2013). …”

“…También se ha estudiado el papel que las características de los alumnos y la escuela juegan en estas estimaciones (Newton, Darling-Hammond, Haertel & Thomas, 2010). No menos importante pero sí menos explorado es el rol del contexto educacional en el que se desempeña el docente, el que considera factores tales como la escuela y el municipio (Everson, Feinauer & Sudweeks, 2013;Graue, Delaney & Karch, 2013).…”

O valor adicionado dos cursos de ciências contábeis: um estudo na região Sudeste do Brasil

“…Dessa forma, é preciso cuidado no desenvolvimento, na interpretação e utilização de medidas de Valor Adicionado da eficácia da escola (Ladd & Walsh, 2002;Yunker, 2005;Bacolod & Tobias, 2006). Everson, Feinauer e Sudweeks (2013) sugerem a não utilização de medidas de valor adicionado para a avaliação e classificação de professores, diante das dúvidas que ainda existem sobre o método. Papay (2012) afirma que modelos de Valor Adicionado que incluem apenas pontuações dos alunos em testes para medir desempenho podem estar sujeitos a muitas limitações.…”

interpretative phenomenological analysis exploring teacher experiences of educator evaluation in Massachusetts

“…Furthermore, Lee (2011) found that often the teachers, as the individuals who are most impacted by educational policy decisions, are 15 left out of the conversations pertaining to school reform. Indeed, the use of performance ratings and reliance on student achievement data to evaluate educators undermines the larger purpose many teachers assign to education (Everson, Feinauer, & Sudweeks, 2013;Lee, 2011).…”