Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva

Abstract

Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva Parameters and paradigms for meta-evaluation: an exploratory and reflective review Resumo A avaliação da avaliação não é um simples jogo de palavras ou uma indagação sobre quem avalia a avaliação. Muito mais do que isso, tratase de avaliar os diversos componentes de um processo avaliativo e os próprios avaliadores. No presente artigo, pretendemos abordar algumas possibilidades da meta-avaliação no campo da avaliação de programas e serviços: fomentar a interação entre a produção teórica e prática no campo; auxiliar no balizamento de métodos e estratégias em uma área marcada por interesses políticos e pela profusão de possibilidades metodológicas; e fomento do rigor ético e científico das práticas avaliativas. Concluiremos esta resenha exploratória da literatura discutindo algumas questões históricas e políticas envolvendo a avaliação e a meta-avaliação de programas e serviços, apresentando crí-ticas às pretensões universalistas e igualitárias presentes em alguns posicionamentos. Palavras-chave Meta-avaliação, Avaliação de programas e serviços, Epistemologia Abstract The evaluation of an evaluation is not a mere play on words or simply an investigation into the person who evaluates the evaluation. It is far more than that. It is about how to evaluate the diverse components of the evaluation process and the evaluators per se. In this paper, we discuss some promising possibilities for meta-evaluation in the field of evaluation of programs and services. These include fostering interaction between theoretical and practical production in fieldwork and supporting the definition of methods and strategies in a sector imbued with political interests and a profusion of methodological possibilities, and promoting ethical and scientific rigor in the evaluation practices. We conclude this exploratory and reflective review by raising some historical and political questions related to evaluation and metaevaluation of programs and services and by criticizing the universalist and egalitarian pretensions contained in some evaluation approaches.

Indicadores para avaliação dos Centros de Atenção Psicossocial tipo III: resultados de um desenho participativo

“…The collective analyzes of the indicators and their preliminary applications in the services corroborate their satisfactory performance. In addition, the obtained results demonstrate that these instruments are in accordance with the definition of a good evaluation by the American Association of Evaluation lePerriere, 2012).…”

O uso de uma avaliação por gestores da atenção primária em saúde: um estudo de caso no Sul do Brasil

“…Por fim, retomam-se as três potencialidades da avaliação que devem ser levadas em consideração na meta-avaliação: auxiliar a qualificação do objeto avaliado, empoderar os grupos envolvidos e gerar subsídios para o contínuo aprimoramento teórico e prático do campo avaliativo 13 . A apresentação da opinião do ente avaliado convida ao seu empoderamento por meio do diá-logo com o avaliador para a melhoria contínua do processo, e também possibilita responder ao questionamento básico da meta-avaliação: Qual a capacidade da intervenção produzir informações e julgamentos necessários para a melhoria do desempenho dos sistemas de saúde?…”

“…A aplicação dos critérios não resume o conceito de meta-avaliação, uma vez que são bastante genéricos e compreendem na sua origem uma cultura diferente da brasileira, baseada nas experiências norte-americanas. A finalidade maior da meta-avaliação é ajudar a avaliação a alcançar três potencialidades: auxiliar a qualificação da intervenção avaliada, instrumentalizar os grupos de interesse envolvidos, e gerar subsídios para o aprimoramento do campo da avaliação 13 .…”

Meta-avaliação de uma avaliação participativa desenvolvida por gestores municipais de saúde com foco no padrão "Utilidade"

“…Entrevistas individuais semiestruturadas e grupos focais foram utilizados como método de coleta de dados primários. Em todos os munícipios, com exceção do município polo, o convite para os informantes foi feito à totalidade daqueles que: (1) figuravam em uma listagem de espera para vaga de cirurgia no Hospital Estadual localizado no município polo, ou nos registros das Unidades Básicas de Saúde (UBS) e Regulação; (2) puderam ser acessados por contato telefônico. No caso do município polo, procurou-se contemplar usuários de Unidades Tradicionais e da Estratégia Saúde da Família, dispersos segundo tempo de espera no período entre 2011 e 2014, ou, de acordo com o segundo critério, que realizaram a cirurgia até dois anos antes.…”