Avaliação de programas sociais: comparando estratégias de análise de dados

Abstract

RESUMO -Este artigo apresenta uma discussão sobre questões metodológicas em relação à avaliação de programas sociais, tomando como exemplo o caso do Plano Nacional de Qualificação do Trabalhador -PLANFOR. O delineamento da pesquisa foi de um estudo quase-experimental, com três grupos: dois experimentais e um controle. A pesquisa foi realizada durante os anos de 2001 a 2004, com coleta de dados antes e depois do programa, englobando 360 instituições, sendo uma por município, cobrindo todas as regiões brasileiras. Para a coleta de dados, utilizou-se um instrumento com indicadores quantitativos (sociais e econômicos). Foram comparadas quatro estratégias de análise de dados: análise de variância (ANOVA) de mensurações repetidas (pré e pós-teste), ANOVA com escores de ganho, ANOVA com categorização dos sujeitos no pré-teste (blocking) e análise de covariância (ANCOVA). Foram ainda consideradas interpretações alternativas para os efeitos encontrados. Por fim, discutiu-se a adequação de tais estratégias para a avaliação de programas sociais.Palavras-chave: avaliação de programas sociais; qualificação do trabalhador; discussão metodológica. Social Programs Evaluation: A Comparison of Data Analysis StrategiesABSTRACT -This article presents a discussion about methodological questions related to social programs evaluation, taking as an example the case of the National Worker Qualification Plan -PLANFOR. The present study used a quasi-experimental design containing three groups: two experimental groups and one control group. The research was realized from 2001 to 2004, with data collection before and after the program, and comprising 360 organizations, one per city, from all Brazilian regions. For data collection, it was used an instrument with quantitative indicators (social and economic). Four data analysis strategies were compared: analysis of variance (ANOVA) of repeated measurement (pre-and post-test scores), ANOVA with gain scores, ANOVA after subjects' categorization on their pre-test (blocking), and analysis of covariance (ANCOVA). Alternative explanations of the observed effects were considered. Finally, the suitability of these strategies to the evaluation of social programs was discussed.Keywords: social program evaluation; worker qualification; methodological discussion. O Estado tem determinadas funções sociais, com destaque, sobretudo, para aquelas relativas à educação, saúde, segurança, proteção aos desamparados e responsabilidade na geração de condições que impeçam a manutenção e o crescimento da pobreza. A experiência dos países desenvolvidos ensina que nem a sociedade civil e nem os mercados foram capazes de reduzir a pobreza. O ator principal da promoção de uma sociedade mais justa nos países do primeiro mundo, sobretudo a partir da Segunda Guerra Mundial, foi o Estado. Para cumprir suas funções sociais, o Estado estabelece políticas públicas que são executadas por meio de projetos e programas, para os quais são estabelecidos objetivos e metas. Mas será que esses objetivos e metas estão sendo atingidos? Q...