An Empirical Link of Content and Construct Validity Evidence

Abstract

Since the 1940s, measurement specialists have called for an empirical validation technique that combines content-and construct-related evidence. This study investigated the value of such a technique. A self-assessment instrument designed to cover four traditional foreign language skills was administered to 1,404 college-level foreign language students. Four subject-matter experts were asked to provide item dissimilarity judgments, using whatever criteria they thought appropriate. The data from the students and the experts were examined separately using multidimensional scaling followed by cluster and discriminant analyses. Results showed that the structure of the data underlying both the student and expert scaling solutions corresponded closely to that specified in the instrument blueprint. In addition, using canonical correlation, a comparison of the two scaling solutions revealed a high degree of similarity in the two solutions.

Evidencias sobre la Validez de Contenido: Avances Teóricos y Métodos para su Estimación [Content Validity Evidences: Theoretical Advances and Estimation Methods]

“…Poco después, Deville (1996) amplió este método teniendo en cuenta tanto la relevancia otorgada a cada ítem como las respuestas de los participantes a cada elemento y aplicando el escalamiento multidimensional sobre estos datos. Con esta propuesta, Deville, va un poco más allá relacionando tanto la validez de contenido como de constructo.…”

La metodología Delphi como técnica de estudio de la validez de contenido

“…Aunque hay varios procedimientos para valorar la validez de contenido de un cuestionario, como la aplicación de técnicas de escalamiento multidimensional, análisis cluster (Deville, 1996;Oltman, Stricker y Barrows, 1990) análisis factorial (Dorans y Lawrence, 1987), modelos de ecuaciones estructurales (Ding y Hershberger, 2002), etc; el procedimiento más habitual se basa en el trabajo con jueces expertos en el tema que se pretende estudiar (Sireci, 1998). Se han desarrollado diversos índices basados en el trabajo con expertos para valorar la validez de contenido.…”

Evidências de validade de conteúdo da prova de psicologia do Enade

“…A preocupação com as evidências de validade com base no conteúdo tem levado pesquisadores a desenvolver métodos que possibilitem analisar a representação do construto de forma mais confiável (DEVILLE, 1996;LYNN, 1986;POLIT;BECK;OWEN, 2007;GEISINGER, 1992). Entende-se construto como uma característica que não pode ser observada ou medida diretamente, visto que não há um único referente ou um conjunto de referentes que cubram o construto como um todo (CRONBACH;MEEHL, 1955).…”

“…Um problema comum no estudo de evidências de validade com base no conteúdo é que esse tipo de avaliação é geralmente qualitativo e intuitivo, sem o uso de protocolos padronizados e, geralmente, não passa por nenhuma análise empírica. No entanto, existem recomendações para que outros tipos de análise sejam realizados, empregando técnicas mais rigorosas que quantifiquem, com certa precisão, a congruência entre as avaliações dos especialistas e a especificação do construto (DEVILLE;PROMETRIC, 1996;LYNN, 1986;POLIT;BECK;OWEN, 2007;GEISINGER, 1992).…”