Avaliação com itens abertos: validade, confiabilidade, comparabilidade e justiça

Abstract

Resumo As avaliações em larga escala, dependendo da área na qual estão sendo aplicadas, são responsáveis por orientar decisões importantes. Nos exames educacionais, os objetivos podem estar direcionados para as diferenças individuais, monitorando o desempenho dos estudantes em diversas situações, como também para a apreciação de programas ou de projetos educacionais, subsidiando ou justificando alguma ação na esfera política. A validade das medidas e suas interpretações são de suma importância, com consequências que podem afetar a população envolvida e até mesmo a sociedade. As questões consideradas fundamentais para uma avaliação em larga escala eficiente consistem em validade, confiabilidade, comparabilidade e justiça. Esses termos devem ser considerados sempre que decisões de valores são tomadas com base nas avaliações. São feitas considerações sobre os conceitos de validade e de confiabilidade e a relação existente entre eles. A comparação entre avaliações com itens abertos consiste atualmente em uma das questões de maior preocupação para os especialistas, fato esse provocado pela intensificação da utilização de matrizes comuns de referência desenvolvidas para orientar os currículos em todos os níveis de ensino em diversas nações. Discute-se também a justiça nas avaliações, que está relacionada com a igualdade de condições a todos os seus participantes. Uma avaliação de qualidade deve permitir às pessoas oportunidades de respostas que assegurem inferências corretas sobre seu desempenho em relação ao construto medido. O objetivo deste trabalho é descrever as principais teorias presentes nas avaliações em larga escala, fornecendo subsídios para uma correta interpretação dos conceitos envolvidos em seus processos.

Caminhos trilhados em três décadas de avaliação em larga escala no Brasil

“…Alinhado a tal ótica, Toffoli et al (2016) mencionam que uma avaliação de qualidade deve permitir às pessoas oportunidades de respostas que assegurem inferências corretas de seu desempenho em relação ao construto medido. Werle (2011) delineia o panorama da educação brasileira, destacando aspectos da consolidação da política de ALE.…”

“…Por sua vez, Alves (2009) confirma o efeito das variáveis contextuais e que a composição de um alunado interessado pelos estudos é altamente favorável às escolas nas avaliações em larga escala. Toffoli et al (2016), ao tratar da eficácia da avaliação, defendem a justiça nas avaliações relacionada à igualdade de condições a todos os seus participantes. Um conjunto de artigos teve como foco os efeitos da política na proficiência dos estudantes.…”

Análise da qualidade de uma prova de matemática do Exame Nacional do Ensino Médio

“…O autor afirma ainda que esses conceitos não se resumem a princípios de medição. São valores sociais com significado, não simples medidas, e devem ser considerados sempre que decisões de valores são tomadas com base nas avaliações (TOFFOLI et al, 2016).…”

“…Aliás, os procedimentos relacionados a todas as etapas -elaboração, aplicação e classificação dos participantes de avaliações em larga escala -são amplamente debatidos na literatura científica que trata do assunto (TOFFOLI et al, 2016;TOFFOLI, 2015). Podese, por meio da qualidade constatada nessa prova, intuir que procedimentos importantes estão sendo negligenciados.…”

A questão da validade na avaliação educacional brasileira

“…Outros estudos de validação de instrumentos no âmbito da Educação (CUNHA;SASAKI, 2020;DAVOGLIO;SANTOS; LETTNIN, 2016;FERREIRA, 2019;LIMA;SILVA, 2020; SILVA et al, 2017; SOUSA et al, 2018), também seguiram na mesma direção, ora tratando o conceito de validade de forma fragmentada, predominantemente considerando as características psicométricas, ora tratando o conceito como a capacidade de medir o que se propõe.Por outro lado, os estudos realizados porToffoli et al (2016), assim como por Jesus, Rêgo e Souza (2018), ao tratar sobre o conceito de validade, utilizaram a visão mais atualizada, convergente com a última edição dos Standards (AERA; APA; NCME 2014).Nesse cenário, considerando o conceito atual de validade, adotado nos Standards, que contempla cinco fontes de evidências de validade, o objetivo do presente estudo é analisar como o atual conceito e as fontes de evidências de validade são utilizados no âmbito da avaliação educacional em larga escala no Brasil. Para tanto, foi realizada análise documental dos relatórios das avaliações nacionais publicados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), a qual é apresentada a seguir.2 Análise…”