Evidências de validade de conteúdo da prova de psicologia do Enade

Abstract

<p>O presente estudo tem como objetivo analisar evidências de validade com base no conteúdo da prova de psicologia aplicada no Exame Nacional de Desempenho dos Estudantes (Enade) de 2015. Foi utilizada a blueprint, ferramenta recomendada pela literatura internacional que embasa o planejamento dos testes. Houve divergência significativa entre as competências e habilidades apresentadas na matriz de referência e a demanda cognitiva solicitada na maior parte das questões objetivas. Há habilidades presentes na matriz que não foram contempladas na prova e outras foram contempladas com apenas um único item, o que compromete a confiabilidade da medida. As análises mostraram a necessidade do uso de técnicas que podem melhorar essa fonte primária de evidência</p><p>Validade, Exame Nacional de Desempenho dos Estudantes (Enade), Blueprint, Demanda Cognitiva.</p><p> </p><p>Evidencias de validez de contenido de la prueba de psicología del Enade</p><p>El presente estudio tiene el propósito de analizar evidencias de validez en base al contenido de la prueba de psicología aplicada en el Exame Nacional de esempenho dos Estudantes (Enade) del 2015. Se utilizó la blueprint, herramienta recomendada por la literatura internacional que sirve como base para la planificación de las pruebas. Hubo divergencia significativa entre las competencias y habilidades presentadas en la matriz de referencia y la demanda cognitiva solicitada en la mayoría de las preguntas objetivas. Hay habilidades presentes en la matriz que no se tuvieron en cuenta en la prueba y otras fueron contempladas con tan solo un ítem, lo que compromete la confiabilidad de la medida. Los análisis mostraron la necesidad del uso de técnicas que pueden mejorar esa fuente primaria de evidencia.</p><p>Validez, Exame Nacional de Desempenho dos Estudantes (Enade), Blueprint, Demanda Cognitiva.</p><p> </p><p>Evidence of Content Validity of the Enade Psychology Assessment</p><p>This study aims to analyze evidence of validity based on the content of the psychology test applied in the Exame Nacional de Desempenho dos Estudantes (Enade) [National Exam of Student Proficiency] of 2015. We used Blueprint, a tool recommended in the international literature for test design. There were significant discrepancies between the skills and abilities presented in the test specifications, and in the cognitive demand demanded in almost all multiple-choice questions. Furthermore, there are skills and abilities presented in test specifications that were not in the test, and other skills and abilities that were represented by only one item, which compromise measurement reliability. We conclude that the evidence based on the content for this test shows the necessity to use tools to improve this primary source of evidence.</p><p>Validity, National Exam of Student Proficiency (Enade), Blueprint, Cognitive Demand.</p>

Prova da OBMEP: Uma análise de evidências de validade de conteúdo

“…De acordo com os Standards (AERA; APA e NMCE, 2014), a validade pode ser definida como o "grau com que a evidência e a teoria apoiam as interpretações dos escores para determinado uso do teste" (MESSICK, 1989 apud JESUS;REGO;SOUZA, 2018). Os Standards apresentam a propriedade de validade dependente de cinco fontes de evidências, as quais servem para orientar os desenvolvedores de testes acerca do processo de validação.…”