Meta-Evaluation as a Tool for Learning: A Case Study of the European Structural Fund Evaluations in Finland

Abstract

Meta-evaluation has many definitions. Some use it to describe aggregating information from several individual evaluations, others define it as a systematic tool for the quality control of evaluation studies. This article aims at elaborating the latter approach by introducing a more learning-oriented interpretation of the concept of meta-evaluation. In this sense, meta-evaluation should be part of an open dialogue between various parties in the evaluation process. Making evaluation as transparent as possible enhances the preconditions of organizational learning through meta-evaluation. The empirical basis for this article is a meta-evaluation study based on 15 midterm evaluations of European Structural Fund programmes in Finland. The article concludes that critical analysis of single evaluations serves both policy and organizational learning. By policy learning we refer to the mechanisms of knowledge dissemination in various policy arenas, and by organizational learning to continuous and reflexive evaluative inquiry.

Les conditions gagnantes et les défis pour une participation active des parties prenantes dans un contexte d’évaluation de programmes d’intervention psychosociale

“…Mal heureusement, aucun père ne participe au Comité de pilotage de Relais-Pères, ceci étant principalement dû aux difficultés de recrutement. L'une des contributions d'un projet tel que l'accompagnement de RLP dans une démarche évaluative est celle d'accéder à un niveau supérieur d'analyse cri tique de l' évaluation, ce que l' on pourrait qualifier d'un certain type de méta analyse (Uusikylä et Virtanen, 2000). Le souci d'arrimage entre les devis proposés aux différents RLP incite à bien circonscrire à la fois, les spécificités des milieux et leurs similitudes.…”

“…De plus, lorsque les meilleures pratiques sont implantées dans certains milieux d'intervention, elles ne font pas nécessairement l' objet d'une évaluation des retombées pour la clientèle. Il s'agit d'un problème important puisque même les programmes conçus en s'appuyant sur les connaissances scientifiques peuvent produire des effets iatrogènes qui passeront inaperçus s'ils ne sont pas évalués (Moos, 2005;Poulin, Dishion et Burraston, 2001;Werch et Owen, 2002). Par ailleurs, une analyse des retombées d'une pratique jugée prometteuse sans égard aux caractéristiques d'implantation, notamment les conditions de réussite de celle-ci et la fidélité de son application, peut discréditer une intervention pourtant efficace (Thornicroft et coll., 2013).…”

Data‐ and literature‐based reflections on western european evaluation standards and practices

“…As the output criteria are used for intermediary reports, they can acquire the character of minimum standards, although unforeseen circumstances are considered. Meanwhile, they have also been used for metaevaluations on a national level (Uusikylä and Virtanen, 2000). In the MEANS handbooks from 1999, output criteria were rated on four-mark scales, with two marks being negative and two being positive.…”

Concurrent Meta-Evaluation

“…Several studies in the literature claim to report meta-evaluations, but they are more metaanalytic in nature than meta-evaluative (Ashworth, Cebulla, Greenberg, & Walker, 2004;Brandon, 1998;Uusikyla & Virtanen, 2000;Woodside & Sakai, 2001). Meta-evaluation assesses the merit and worth of an evaluation, whereas meta-analysis is a form of quantitative synthesis of studies addressing a common research question (Stufflebeam, 2001;Stufflebeam & Shinkfield, 2007).…”