Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros

Abstract

Resumo Por meio das escalas de avaliação do Celpe-Bras, um construto de proficiência oral em língua portuguesa para falantes de outras línguas é operacionalizado e mensurado. Na prova oral, sete itens compõem duas escalas por meio das quais o avaliador-interlocutor e o avaliador-observador atribuem uma nota para cada um dos seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. Com objetivo de analisar a dimensionalidade das escalas, apresento a análise fatorial exploratória do conjunto de notas de 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O coeficiente de determinação R2 foi de 0.9617 e o índice Tucker-Lewis (TLI) foi de 0.896. Os valores de carga fatorial dos itens da escala variaram de 0.65 a 0.94, sugerindo que os itens possam estar explicando o mesmo fator. O resultado da análise aponta que a nota da prova é uma medida unidimensional. A partir dos valores de comunalidade, apenas o item compreensão ficou ligeiramente abaixo 0.5, apontando a necessidade de investigação do item. Os valores de peso para cada um dos itens são, do maior para o menor; para nota do entrevistador, 0.36; adequação lexical, 0.19; fluência, 0.18; adequação gramatical, 0.13; competência interacional, 0.09; pronúncia, 0.06; compreensão, 0.04. Por meio da análise fatorial, apresento uma proposta de composição da nota da prova oral e discuto as implicações da mudança de peso dos itens na nova proposta para a classificação dos participantes por faixas de certificação.

A questão da validade na avaliação educacional brasileira

“…Outros estudos de validação de instrumentos no âmbito da Educação (CUNHA;SASAKI, 2020;DAVOGLIO;SANTOS; LETTNIN, 2016;FERREIRA, 2019;LIMA;SILVA, 2020; SILVA et al, 2017; SOUSA et al, 2018), também seguiram na mesma direção, ora tratando o conceito de validade de forma fragmentada, predominantemente considerando as características psicométricas, ora tratando o conceito como a capacidade de medir o que se propõe.Por outro lado, os estudos realizados porToffoli et al (2016), assim como por Jesus, Rêgo e Souza (2018), ao tratar sobre o conceito de validade, utilizaram a visão mais atualizada, convergente com a última edição dos Standards (AERA; APA; NCME 2014).Nesse cenário, considerando o conceito atual de validade, adotado nos Standards, que contempla cinco fontes de evidências de validade, o objetivo do presente estudo é analisar como o atual conceito e as fontes de evidências de validade são utilizados no âmbito da avaliação educacional em larga escala no Brasil. Para tanto, foi realizada análise documental dos relatórios das avaliações nacionais publicados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), a qual é apresentada a seguir.2 Análise…”