Des barèmes génériques pour évaluer les impacts de la recherche sur la société : l'exemple des impacts politiques

Abstract

Évaluer les impacts des recherches en agriculture sur la société : outils, méthodes, études de cas. Résumé -La recherche agricole doit contribuer à la résolution des multiples défis auxquels est confrontée l'agriculture du XXI e siècle. Il est donc nécessaire d'évaluer son impact sociétal à cette aune. L'approche ASIRPA (Analyse socio-économique des impacts de la recherche publique agronomique) a été développée à l'Institut national de la recherche agronomique (Inra) dans cet objectif, et permet, par la réalisation d'études de cas standardisées, de mieux comprendre les mécanismes générateurs d'impact, et de rendre compte des impacts sociétaux de la recherche. Cet article présente la méthode développée par ASIRPA pour construire des barèmes de notation d'impact. Ces barèmes sont un des outils qui composent l'approche globale d'évaluation développée dans ASIRPA. Appliqués à une collection croissante d'études de cas, ces barèmes permettent de produire une image robuste de l'impact d'un organisme de recherche. La conception de ces barèmes s'appuie sur la construction d'un cadre analytique, sur son application à des études de cas pilotes, et sur une discussion de la notation de ces cas avec un panel d'experts. Le barème consiste en une échelle de notation de 1 à 5 de l'intensité de l'impact, accompagnée de critères génériques pour chacun des niveaux. Il permet une auto-notation des cas. La démarche est illustrée par le travail effectué pour l'établissement du barème de notation de l'impact politique. L'article conclut en évoquant quelques utilisations possibles de tels barèmes. Il évoque également certaines limites de l'approche et de futures pistes de développement.Mots clés : évaluation ex post / impact sociétal / métrique / panel d'experts / ASIRPA Abstract -Grading scales to assess the impacts of research on society: the example of political impacts. Agricultural research must contribute to addressing the diversity of challenges faced by agriculture today and in the future, which includes assessing its societal impact. The ASIRPA approach (Socioeconomic analysis of public agricultural research impacts) was developed at the French National Institute for Agricultural Research (INRA) to this aim. Based on a series of standardized case studies, the method offers an understanding of impact-generating mechanisms and reports on the societal impacts of research. This paper presents the method developed by ASIRPA to build rating scales. These rating scales are one of the tools developed in the whole ASIRPA approach. They are applied to a growing number of cases to build a robust picture of the impact of a research organization. The design of these scales relied on i) building an analytical framework, ii) applying the framework to pilot cases, and iii) further discussing it with a panel of experts. The resulting metric is a 1 to 5 grading scale measuring the intensity of impact, with generic criteria associated to each level of the scale. We found that the metric could be used for the self-assessment of case studies. We il...

Impact of public policies and research and development on Brazilian agriculture

“…The field of impact evaluation in agriculture has evolved and expanded over time, including the development of new methods and approaches to study the effects of technological innovations in agriculture on various aspects of society. The investigation of impacts in agriculture carried out by research institutions or government agencies, but not yet by the academia, dates back to the early 1950s and has long been concerned with the economic impacts of a given innovation (Colinet et al, 2014;Colinet, 2021).…”

Um Olhar Alternativo Sobre a Avaliação Da Investigação Científica: A Perspectiva Do Impacto Societal Pela Análise Das Vias De Impacto

“…A possibilidade de comunicação por meio de um guia visual é um aspecto interessante da análise das vias de impacto. Facilmente, percebem-se os principais resultados e impactos da pesquisa, bem como os atores envolvidos, algo que pode ser bastante positivo para o alcance dos usuários primários, bem como da sociedade em geral (COLINET et al, 2014(COLINET et al, , 2017.…”

Évaluer les impacts des recherches en agriculture sur la société et les écosystèmes : outils, méthodes, études de cas

“…Cette démarche permet de générer des apprentissages collectifs, portant sur les raisons et les façons d'utiliser les résultats de recherche et sur la détection d'outcomes imprévus. L'article de Colinet et al (2017) propose une méthode pour établir des barèmes génériques de mesure des principales dimensions d'impact des recherches, sur la base de descripteurs locaux exprimés par les bénéficiaires. Les auteurs illustrent la méthode de construction de tels barèmes par une application sur la mesure des impacts politiques des recherches de l'Inra.…”