The contribution of policy design to realist evaluation

Abstract

The literature on policy design provides insightful resources to improve policy evaluation. We compare how this literature addresses causation, evaluation, instrumentation, and intervention, based on different methodologies. Then, we explain how the realist approach can contribute to theory-based evaluation with multi-methods. We go through the process leading from the adoption of policy aims to the production of a policy outcome by a causal mechanism linking agenda setting to policy formulation, cross-sectorial coordination, political interplays, and this policy’s outcome. This hypothesis is then tested against a typology of policy instruments classified by the State resources. These instruments are hereby treated as expected empirical observations that provide an empirical basis to assess the theoretical process following a Bayesian logic. We eventually present a five-step protocol aimed at making realist policy evaluation easier, which includes process theorization and operationalization, empirical tests design, case selection and justification, congruence analysis, and deep within-case study.

La participación ciudadana en la gestión del agua y saneamiento

“…Sin embargo, este intento carece de una base teórica sólida puesto que "la selección de instrumentos no es un ejercicio mecánico de ajustar problemas claros con soluciones bien definidas, sino un proceso intelectual de comprensión de una realidad compleja y el intento de trabajar en ella para mejorarla" (Hernández, 2019: 75). La evaluación se constituye en el tercer elemento del diseño de políticas en donde, más allá de buscarse evaluaciones experimentales para detectar regularidades (Fontaine, 2020), se pretende que "los diseñadores de políticas sean más explícitos acerca de los valores que ellos buscan lograr a través de la política diseñada" (Peters, 2018: 22). Finalmente, la intervención alude a la implementación de la política a través de las instituciones que operan dentro de un contexto determinado (Hernández, 2019: 78).…”

Ordenando el caos: cuatro enfoques metodológicos para investigar en políticas públicas

“…El término neopositivismo suele asociarse rápidamente al uso extensivo de modelización econométrica, semiexperimentos y análisis coste-beneficio (Fontaine, 2020); en definitiva, lo que se considera corriente dominante (mainstream) dentro del campo de las políticas públicas. Sin embargo, más allá de este tipo de investigaciones y métodos derivados de la escuela de la elección pública (Blankart y Koester, 2006), se encuentran un conjunto de teorías para analizar las políticas que fueron formuladas siguiendo argumentos metodológicos neopositivistas.…”

How and how well do workplace assessments work? Using contextual variations in a theory-based evaluation with a largeN

“…This pragmatist position has consequences in relation to some of the distinctions found in some parts of realist evaluation. Great advances have been made in the development of methodological approaches to detecting causality in small-N studies (De Souza, 2013;Fontaine, 2020;Harris et al, 2019;Wauters and Beach, 2018), but the justification for these studies has sometimes been undergirded by dichotomies which privilege one side of these dichotomies (such as qualitative over quantitative studies, process-based studies over variance-based studies and deterministic causality over probabilistic causality). By doing so, realist evaluation has focused on how interventions work at the expense of how well they work.…”