Construct validity, Polychoric correlations, Pearson correlation, Factor analysis,

Resumen En Psicología, para obtener evidencias sobre validez de constructo mediante Análisis Factorial Confirmatorio es habitual trabajar con variables ordinales que presentan asimetría. En este estudio de simulación se analiza el comportamiento del método de Mínimos Cuadrados no Ponderados (ULS) en escalas tipo Likert con base en los índices χ2 de razón de verosimilitud (C2) y RMSEA. Para ello, se han manipulado cuatro factores experimentales: el número de factores o dimensiones (2, 3, 4, 5, 6), número de puntos de respuesta (3, 4, 5, 6), grado de asimetría de la distribución de respuestas (simétrica, asimétrica moderada y severa) y tamaño muestral (100, 150, 250, 450, 650, 850) de los modelos simulados. Según los principales resultados, el índice C2 muestra siempre un error Tipo I mayor que RMSEA, con independencia de los factores experimentales analizados. Finalmente, se discuten diferentes alternativas de acción y se presentan futuras líneas de investigación. AbstractIn order to obtain evidences about construct validity through Confirmatory Factor Analysis in Social Sciences, working with skewed ordinal variables has been usual. In this simulation study the performance of Unweighted Least Squares (ULS) method in Likert scales according to Likelihood Ratio Test (C2) and RMSEA indices is analysed through Type I error. For this purpose, four experimental factors have been manipulated: the number of factors or dimensions (2, 3, 4, 5, 6), the number of response points (3, 4, 5, 6), the degree of skewness of the responses distribution (symmetric, moderately and severely asymmetric) and the sample size (100, 150, 250, 450, 650, 850) of the simulated models. According to the main results, C2 index always shows a bigger Type I error than RMSEA, regardless of the experimental factors analysed. Finally, different action alternatives are discussed and future research lines are presented.

Resumen: La evaluación de programas se aplica frecuentemente en ámbi-tos de intervención no estandarizados. Esto conlleva, entre otras, las carencias de: a) modelo teórico validado previamente; b) instrumentos de medida estándares; c) fiabilidad de las medidas. En este trabajo, se plantea que el Análisis Factorial con correlaciones policóricas y el Análisis Multinivel puede ser un procedimiento adecuado hacia el logro de la validez de constructo en contextos no estandarizados de evaluación donde, además, las variables suelen ser no cuantitativas y estar anidadas. El estudio empírico se realiza sobre una muestra de 2754 trabajadores de la Universidad de Sevilla que han respondido a una encuesta de satisfacción elaborada ad-hoc sobre la formación recibida en distintos cursos encaminados a capacitarlos para el correcto desempeño de sus funciones. Cabe destacar la complementariedad entre ambas técnicas de análisis para examinar la variabilidad diferencial aportada por variables explicativas de distinto nivel jerárquico en la predicción de la satisfacción percibida. Palabras claves: Validez; evaluación de programas; satisfacción; Análisis Factorial; Análisis Multinivel.Title: Training program evaluation in non-standardized context: Complementarity across Factorial and Multilevel Analysis to obtain construct validity evidences. Abstract: Program evaluation is usually applied to non-standardized intervention contexts. This implies, among others, deficiencies of: a) validated theoretical models; b) non-standard measurement instruments; c) reliable measures. In this work, we show that Factor Analysis with polychoric correlations and Multilevel Analysis could be an adequate procedure to gain construct validity evidence in non-standard evaluative contexts, where the measures are not quantitative and usually are nested. The empirical study is carried out on a sample of 2754 workers of the University of Seville. They have completed a satisfaction questionnaire about training courses aimed to prepare them for the correct performance of their jobs. We highlight the complementarities between both analytical techniques to study the differential variability provided by explained variables nested in different hierarchical level to predict the perceived satisfaction.