Funcionamento diferencial dos itens (DIF): estudo com analogias para medir o raciocínio verbal

Abstract

Resumo Este estudo objetivou determinar o funcionamento diferencial de 30 analogias destinadas à avaliação do raciocínio verbal, considerando a variável sexo. Utilizou-se uma amostra de 730 alunos do Ensino Médio, com idade média de 17,74 anos (dp= 3,12 anos). A maioria procedia de escolas públicas (58,5%) e era do sexo feminino (53,2%). Os grupos organizados para a investigação foram compostos por homens (n=342) e mulheres (n=388). Os parâmetros métricos dos itens foram determinados pelo modelo TRI de dois parâmetros logísticos. Para a verificação do DIF foram comparados os parâmetros métricos dos itens. Os resultados indicaram a presença de cinco itens com DIF. Palavras-chave: Funcionamento diferencial dos itens (DIF); teoria da resposta ao item (TRI); raciocínio verbal; avaliação psicológica.

Breve Retrospectiva Acerca Dos Estudos Que Abordam O Viés Dos Itens De Testes Psicológicos

“…Não podemos esquecer que sobre a interpretação da pontuação, seja no âmbito psicológico ou educativo, reside toda a credibilidade e reputação da investigação e da avaliação (Downing & Haladyna, 1997). Assim, está plenamente justificada a relevância das pesquisas que estudam o DIF, sobretudo, aquelas que buscam identificar suas causas (Andriola, 2000).…”

Uso dos métodos Mantel-Haenszel para a detecção do funcionamento diferencial dos itens e software relacionado

“…), desenvolvida por Mantel e Haenszel (1959). Também foi formulada uma abordagem bayesiana ao procedimento MH para itens dicotômicos (Zwick, Thayer, & Lewis, 1999, 2000, mas essas estatísticas não demonstraram nenhuma vantagem adicional em relação à estatística χ 2 ΜΗ (Fidalgo, Hashimoto, Bartram, & Muñiz, 2007). No caso de itens politômicos, as estatísticas com base no trabalho original de Mantel Haenszel também têm sido utilizadas para a detecção do DIF: o teste generalizado de Mantel-Haenszel (GMH;Mantel & Haenszel, 1959;Zwick, Donoghue, & Grima, 1993) e o teste de Mantel (Mantel, 1963;Zwick et al, 1993).…”

“…A crescente padronização dos métodos de avaliação, o aumento da formação psicométrica e a introdução de novos modelos de medida como a Teoria da Resposta ao Item (TRI), têm levado psicólogos, educadores e pesquisadores brasileiros a publicar um número crescente de revisões (Andriola, 2001;Sisto, 2006a;Valle, 2002) e estudos sobre a detecção do funcionamento diferencial dos itens (Differential item functioning [DIF], Andriola, 2000Andriola, , 2008Marin Rueda, 2007;Sisto, 2006b;Sisto, Bartholomeu, Angeli dos Santos, Marin Rueda, & Suehiro, 2006;Soares, Gamerman, & Goncalves, 2007;Soares, Genovez, & Galvão, 2005;Traebert, Teline de Lacerda, Thomson, Page, & Locker, 2010). Esta tendên-cia certamente aumentará nos próximos anos.…”

Análise do funcionamento diferencial dos itens do Exame Nacional do Estudante (ENADE) de psicologia de 2006

“…Já se pode notar na literatura nacional a incorporação de estudos DIF na criação de instrumentos (Andriola, 2000(Andriola, , 2001Karino, Laros & Jesus, no prelo;Rueda, 2007;Sisto, 2006a;Sisto, Bartholomeu, Santos, Rueda & Suehiro, 2008). Em sistemas de avaliação em larga escala os estudos DIF assumem uma importância muito grande, dadas as implicações que tais medidas possuem para a gestão pública.…”