Econometric methods for causal evaluation of education policies and practices: a non‐technical guide

Abstract

Standard-Nutzungsbedingungen:Die Dokumente auf EconStor dürfen zu eigenen wissenschaftlichen Zwecken und zum Privatgebrauch gespeichert und kopiert werden.Sie dürfen die Dokumente nicht für öffentliche oder kommerzielle Zwecke vervielfältigen, öffentlich ausstellen, öffentlich zugänglich machen, vertreiben oder anderweitig nutzen.Sofern die Verfasser die Dokumente unter Open-Content-Lizenzen (insbesondere CC-Lizenzen) zur Verfügung gestellt haben sollten, gelten abweichend von diesen Nutzungsbedingungen die in der dort genannten Lizenz gewährten Nutzungsrechte. Education policy-makers and practitioners want to know which policies and practices can best achieve their goals. But research that can inform evidence-based policy often requires complex methods to distinguish causation from accidental association. Avoiding econometric jargon and technical detail, this paper explains the main idea and intuition of leading empirical strategies devised to identify causal impacts and illustrates their use with real-world examples. It covers six evaluation methods: controlled experiments, lotteries of oversubscribed programs, instrumental variables, regression discontinuities, differencesindifferences, and panel-data techniques. Illustrating applications include evaluations of earlychildhood interventions, voucher lotteries, funding programs for disadvantaged, and compulsory-school and tracking reforms. Terms of use: Documents inJEL Code: I20, C01.

Methods for evaluating educational programs: Does Writing Center Participation affect student achievement?

“…The Difference-in-Differences (DiD) estimator combines the ideas of the cross-sectional and the before-after comparison and makes use of both longitudinal and cross-sectional information in the data (Schlotter et al, 2011;Wooldridge, 2010). As can be seen in Figure 3, in a first step the difference in grades between participants (continuous line) and non-participants (dashed line) both before (C-D) and after (A-B) WrC visitation and introduction, respectively are calculated.…”

“…Whereas the pooled DiD carries out pooled OLS regressions (thus, ignoring that a single student is featured several times in the data set), the FEDiD estimator considers the change of each person in the course of time. It is especially designed to avoid biased estimators due to unobserved timeinvariant heterogeneity (Wooldridge, 2010;Schlotter et al, 2011). In our case, one might assume the individuals' unobserved cognitive talent not fully captured by AvGrade to be correlated with both the decision to participate in the WrC and students' grades.…”

La Perspectiva «qué Funciona» en Educación: Algunas Aplicaciones

“…En este caso, la asistencia a grupos-clase reducidos podría asociarse con malos resultados, no tanto por el nivel de ocupación del aula, sino por el perfil de su composición. Pero podríamos encontrarnos con la situación contraria: las familias con más recursos y más preocupadas por la escolarización de sus hijos, bien escogen aquellos centros que priorizan los grupos-clase reducidos, bien presionan a los centros escogidos para que procedan de esta manera (Schlotter, Schwerdt, & Woessmann, 2010). En ambos casos, la eventual asociación entre clases reducidas y buenos resultados se explicaría por la extracción privilegiada de los alumnos que tenderían a concentrarse en ellas.…”

“…Otros títulos recientes ofrecen panorámicas y ejemplos interesantes de diseños y métodos de evaluación capaces de proporcionar evidencias robustas de la efectividad (o inefectividad) de las políticas y los programas educativos (Schlotter, Schwerdt, & Woessmann, 2010;Schneider, Carnoy, Kilpatrick, Schmidt, & Shavelson, 2007). Nos conformamos aquí con las notas que vienen a continuación, primero sobre la evaluación experimental, segundo sobre uno de los métodos cuasiexperimentales de mayor proyección en el ámbito que nos ocupa.…”

The National Educational Panel Study (NEPS) in Germany: An Overview of Design, Research Options and Access, with a Focus on Lower-Secondary School

“…The current academic discussion agrees that conditioning techniques on observable variables in cross-sectional settings is a rather weak approach to estimating causal effects (Morgan & Winship, 2007;Schneider et al, 2007;Murnane & Willett, 2011;Schlotter et al, 2011). Longitudinal analyses circumvent allocation and selection mechanisms, because they allow us to study change and development.…”