Value-added Teacher Estimates as Part of Teacher Evaluations: Exploring the Effects of Data and Model Specifications on the Stability of Teacher Value-added Scores

Abstract

If teacher value-added estimates (VAEs) are to be used as indicators of individual teacher performance in teacher evaluation and accountability systems, it is important to understand how much VAEs are affected by the data and model specifications used to estimate them. In this study we explored the effects of three conditions on the stability of VAEs and evaluated their relative impact. We varied how we accounted for differences among students in their prior learning; whether we epaa aapeValue-added teacher estimates as part of teacher evaluation 2 estimated VAEs from single or multiple cohorts of students; and the number of students contributing to the VAE for each teacher. Using data from one of the largest school districts in the nation, we created a single, complete data set and used it to estimate several sets of VAEs for each of the 3651 5th grade mathematics teachers. We found that approximately two thirds of teachers' were stable in that they remained in the same performance group across all conditions. We also found that differences in number of students used for VAEs accounted for up to one third of teacher reclassifications into different performance groups; single versus multiple cohort models accounted for about one fifth; and different methods for controlling for student prior learning accounted for about one sixth (16%) of teacher reclassifications. We relate our findings to characteristics of our data and discuss implications for educational policy. Keywords: Value-added Analysis, Value-added Models; Value-added Estimates; Stability; Teacher Evaluations; Accountability.Las estimaciones de valor agregado docente como parte de las evaluaciones docentes: Explorando los efectos de los datos y las especificaciones de los modelos en la estabilidad de las puntuaciones de valor agregado docentes Resumen: Si estimaciones de valor añadido docente (VADs) van a ser utilizadas como indicadores de rendimiento de los docentes en cada evaluación de los profesores y en los sistemas rendición de cuentas, es importante entender cómo los VADs son afectados por los datos recogidos y las especificaciones de los modelos utilizados para estimarlos. En este estudio hemos explorado los efectos de tres condiciones para la estabilidad de VADs y evaluar sus impactos relativos. Hemos variado cómo se estimaron las diferencias entre los estudiantes en sus aprendizajes previos; hemos estimado VADs de una o múltiples promociones de estudiantes; y el número de estudiantes que contribuyen a la de cada uno de los VADs de los profesores. Utilizando los datos de uno de los mayores distritos escolares de la nación, hemos creado un conjunto único de datos completo y lo utilizamos para estimar varios conjuntos de único para cada uno de los 3651 profesores de matemáticas de 5to. Grado. Encontramos que aproximadamente dos terceras partes de los maestros se mantuvieron estables y que permanecieron en el mismo grupo de rendimiento a lo largo de todas las condiciones. También encontramos que las diferencias en el número de alumnos u...

Deconstructing Louisiana’s Legislative Report on Value-Added Modeling

“…It also showed that the correlations for teachers from year-to-year significantly varied by subject matter, posing additional concerns about the fairness of VAM for all teachers. Furthermore, since we do not have sufficient information about the model, we are left with the myriad concerns related to model specification and fit that are prevalent in the research on VAM (e.g., Amrein-Beardsley, 2008;Goldhaber et al, 2013;Hill et al, 2011;Kersting et al, 2013;Schochet& Chiang, 2011).…”

“…Research on VAM has consistently found issues that should give pause to policymakers implementing VAMs for evaluative purposes. Studies have shown there are myriad concerns with the validity of VAM due to issues with model specification (e.g., Amrein-Beardsley, 2008;Goldhaber et al, 2013;Hill et al, 2011;Kersting et al, 2013;Schochet& Chiang, 2011) as well as the validity threats posed by other matters like test selection and timing (Papay, 2011). Bearing this body of research in mind, it is critical for state policies regarding VAM to be closely scrutinized.…”

Negotiating White science in a racially and ethnically diverse United States

“…Although I recognize that students' performance can be measured in various ways, such as students' efficacy (Griggs, Rimm-Kaufman, Merritt, & Patton, 2013;Jansen, Scherer, & Schroeders, 2015) and via nontraditional assessment methods (Robinson, Dailey, Hughes, & Cotabish, 2014), academic student achievement data has implications for teacher evaluations (Berliner, 2013;Kersting, Chen, & Stigler, 2013), district funding (Niven, Holt, & Thompson, 2014;Ostrander, 2015), and public perceptions of effective teaching and learning (Popham, 1999). Therefore, for this paper, I define student achievement in terms of how students score on standardized tests.…”

Un Estudio Sobre la Calidad Docente en Chile: El Rol del Contexto en Donde Enseña el Profesor y Medidas de Valor Agregado

“…Las estimaciones del efecto profesor han resultado atractivas, debido a lo intuitivo de su interpretación, al estar directamente relacionadas con mediciones de aprendizaje, y debido al amplio rango de desempeño identificado, en comparación con mediciones de calidad basadas en criterios de desempeño profesional, que se caracterizan por resultados más homogéneos (Kersting, Chen & Stigler, 2013;Milanowski, 2011, Abril).…”

“…En este modelo el efecto del profesor corresponde a la predicción del efecto aleatorio μ oj , término que captura la diferencia entre el desempeño estimado de los alumnos de un profesor y el desempeño observado para ese grupo de alumnos. Si bien esta conceptualización se ha utilizado en otros estudios (Kersting et al, 2013;Newton et al 2010), es importante explicitar que podría contar con un problema de endogeneidad en la estimación (para más detalles ver Manzi, San Martin & Van Bellegem, 2014). El análisis de estabilidad de las estimaciones se realiza mediante la comparación de modelos de dos niveles que incorporan progresivamente diversas variables, primero en el nivel del alumno y luego en el nivel del profesor/sala de clases.…”