Review of Item Response Theory Practices in Organizational Research

Abstract

In this article, we review recent psychometric practices to determine how item response theory (IRT) has been used in organizational research. We identified and coded 63 articles that used IRT on empirical data published in industrial-organizational and organizational behavior journals since 2000. Results show that typical usage for IRT conforms to best practices in several ways; however, in other ways, such as testing for and reporting model fit, there is still significant room for improvement. Next, we surveyed academic and practitioner members of the Society for Industrial-Organizational Psychology (SIOP) on their experiences and attitudes toward IRT. We conclude that IRT is one area where practice outpaces science. There is a cadre of practitioners that consider IRT essential to their professional life. For others, however, IRT is seen as less relevant. Based on our coding analyses and survey results, we provide suggestions on how to better incorporate IRT into organizational research and practice.

Measuring Perceived Corporate Hypocrisy: Scale Development in the Context of U.S. Retail Employees

“…IRT is a statistical framework for psychological measurement that models the probability of a given response based on a set of relevant items within a scale [56]. It provides the advantage of making scale items and their parameters invariant of the population and offers independence between the scale and its items, thus making scale construction more meaningful for organizational, behavioral, and psychological research [57]. Literature on psychological assessments recommends the IRT approach over classical scaling methods, such as Classical Test Theory (CTT), since the IRT model-based approach recognizes that measurement precision might not be constant for all people [58].…”

“…According to the second assumption, there should not be any residual correlations among the items after controlling for the effect of the dominant dimension. In this study, the Q 3 statistics [57] of all items of the item bank, represented by the lower triangle of the residual correlation matrix, were used to detect local independence violations. The recommended critical value of 0.2 was used to identify local dependence, such that any residual correlations among items above 0.2, after controlling for the dominant dimension, would indicate violation of the second assumption.…”

Redução da Escala Tendência Empreendedora Geral (TEG-FIT) a partir do Coeficiente de Validade de Conteúdo (CVC) e Teoria da Resposta ao Item (TRI)

“…Os participantes leem cada um dos itens e os respondem de acordo com o solicitado. As evidências apontam que o formato de resposta mais típico é o de escalas graduais, seguido por respostas do tipo "concordo" ou "discordo" (Foster, Min, & Zickar, 2017 Os resultados destes instrumentos permitem verificar o papel desempenhado por variáveis sociais, demográficas e econômicas no processo de resposta. Sabe-se que comportamentos empreendedores são influenciados, dentre outras características, pelo sexo do participante (Zampetakis, Bakatsaki, Litos, Kafetsios, & Moustakis, 2017), sua faixa etária, escolaridade, área profissional (Anunciação et al, 2017;Espíritu-Olmos & Sastre-Castillo, 2015;Gathungu, 2014), contexto econômico e pela força e consistência de seu grupo de apoio social e familiar (Gathungu, 2014).…”

“…Isto, em parte, pode comprometer a validade dos achados, uma vez que, segundo Foster et al (2017), a literatura aponta que TRI permite resultados mais confiáveis.…”

“…Tais modelos foram impulsionados por volta de 1950 e apresentam especial interesse na avaliação individual de cada um dos itens, implementando técnicas que tratam esses dados pelo nível de medida categórico (Pasquali et al, 2003). A TRI é vista como técnica de primeira escolha em pesquisas sobre atitudes (Foster et al, 2017), mas, no Brasil, ela ainda não apresenta a mesma popularidade que já alcançou em outros locais (Zanon et al, 2016), Os modelos da TRI lidam tanto com apenas uma habilidade psicológica (unidimensional), quanto com duas ou mais habilidades (multidimensionais) e assumem uma relação não-linear entre a habilidade psicológica de um respondente (traço latente, apresentado pela letra grega θ) e as características (parâmetros) dos itens (Furr & Bacharach, 2008;Reise & Revicki, 2015;Van Der Linden & Hambleton, 1997). A estimativa é feita regredindo a resposta aos itens (entendido como variável dependente) no traço latente, independentemente de quais itens tenham sido respondidos.…”