Qualis 2011-2013: os três erres

Abstract

O intenso debate suscitado pela implantação do Novo-Qualis, que regeu a avaliação CAPES relativa ao triênio 2008-2010 evidencia as dúvidas e controvérsias geradas na comunidade científica. Não cabe agora retomar aquela temática, pois águas passadas não movem moinhos. Porém, o debate patrocinado pela FAPESP e pela BIREME em 12 de setembro passado levantou questões que parecem ser de consenso e que talvez devessem ser objeto de cuidadosa análise ao longo do próximo triênio. As principais podem ser assim resumidas: 1. Metade das áreas de pós-graduação usou o Impact Factor do Journal of Citation Reports (ISI-Thomson) como único critério para avaliar a produção científica de pósgraduandos e seus orientadores; 2. Outras métricas de avaliação existem e podem ser levadas em consideração; 3. Centenas de periódicos científicos brasileiros podem ter sido classificados abaixo dos níveis adequados.O uso do Impact Factor ISI como métrica única para avaliação de mérito científico de artigos individuais é extrapolação injustificada de sua aplicabilidade. Foi publicado no fascículo 65(10) da Revista Clinics, de outubro de 2010, um editorial [1] que merece consideração.O argumento básico reflete um conceito emitido há décadas por Eugene Garfield, o inventor desta métrica: o Impact Factor mede (imperfeitamente) a qualidade dos periódicos, mas em nenhuma hipótese a qualidade de cada artigo ali publicado. Teoricamente, seria muito mais adequado contar o número de citações recebidas por cada artigo como medida de sua qualidade. No entanto, este procedimento teria limitada aplicabilidade para avaliação da produção cientifica dos pós-graduandos e seus orientadores: a produção destes poderia (e deveria) ser assim avaliada, mas a dos pós-graduandos sofreria as consequências do noviciado.O uso de outras métricas existentes sofre das mesmas limitações: a extrapolação de métrica de periódico ao artigo ali publicado não resiste a qualquer análise teórica. Mas, faute de mieux, sabemos que dificilmente irá o CTC-ES renunciar de todo ao uso de alguma métrica quantitativa para avaliar as ciências duras.No entanto, seria prudente introduzir corretores de rota para o próximo triênio. A produção científica dos orientadores deveria se basear no número de citações de sua produção. Mas não é de se esperar que CAPES abdique de métricas como o fator de impacto para avaliar a produção dos pós-graduandos no campo das ciências duras. No entanto, uma série de medidas corretivas impõe-se para atenuar a insuficiência teórica contida no QUALIS 2008-2010. Para fixar ideias, pensei num slogan-síntese, que se reflete no título deste editorial. O próximo QUALIS deve, no mínimo, contemplar TRÊS ERRES.• ERRE-1: REMOVER periódicos de revisão do sistema QUALIS. Examinei os primeiros 2000 periódicos da coleção JCR-ISI em ordem decrescente de Impact Factor, à procura de periódicos contendo qualquer das seguintes expressões em seus títulos: Reviews, Recent Progress, Critical Evaluation, Advances, etc. O resultado é o que se poderia esperar; artigos de revisão são normalme...