Validity of performance assessment in mathematics for early adolescents.

Abstract

This study reports validity evidence for a large-scale and "low-stakes" performance assessment involving 905 Grade 8 students. A subsample of 198 students was used to study the relationship of performance measures with conventional achievement and affective measures. Confirmatory factor analysis indicated that the eight math performance tasks were unidimensional. Generalizability and dependability coefficients were .72 and .68, respectively. Also provided is other empirical validity evidence. Performance scores produced large and significant correlations with the achievement variables. Gender differences were significant for the total performance score as well as for the two components: concepts, procedures, and relationships, and applications and problem solving. Results are related to theory and practice. R4sum6Cette 6tude fait 6tat de la validit6 d'une 6valuation de performance a grande 6chelle et a ,, enjeux faibles ,, men6e aupr6s de 905 616ves de huiti6me ann6e. Un sous-6chantiUon de 198 616ves a servia 6tudier le rapport des mesures de performance avec les r6alisations traditionnelles et les mesures affectives. L'analyse du facteur de confirmation indique que huit taches de performance en math6matiques sont unidimensionnelles. Les coefficients de g6n6ralisation et de fiabilit6 sont de l'ordre de 0,72 et 0,68, respectivelnent. L'6tude pr6sente aussi d'autres preuves de validit6 empirique. Les 6valuations de performance permettent d'6tablir des corr61ations importantes et significatives avec les variables des r6alisations. Les diff6rences entre les sexes sont significatives en ce qui concerne l'6valuation de la performance globale et des deux composantes : les concepts, les proc6dures et les rapports ainsi que les applications et la r6solution de probl6mes. Les r6sultats sont li6s ~ la th6orie et ~l la pratique.

The Gender Confidence Gap in Fractions Knowledge: Gender Differences in Student Belief–Achievement Relationships

“…Canadian data reported in Programme for International Student Assessment (PISA) found a male achievement advantage in 1999 (Edgerton, Peter, & Roberts, 2008) and in 2003 (Bassani, 2008; Else‐Quest et al., 2010). But studies using samples drawn from single Canadian provinces show a trivial male advantage, typically around .05 standard deviations ( SD s), or no difference at all (Lloyd et al., 2005; Ma & Klinger, 2000; Randhawa & Hunter, 2001; Rogers et al., 2006; Ross & Kostuch, 2011; Stringer & Heath, 2008).…”

Fiabilité d’un dispositif d’évaluation de l’habileté à déterminer le résultat d’une chaîne d’opérations chez des élèves québécois du secondaire

“…En comparant son importance relative à celle des autres sources de variation, les résultats du tableau 8 montrent que sa valeur (0,01571) représente 79 % de la variance d'erreur relative et 54 % de la variance d'erreur absolue. La source d'erreur la plus importante après (Lane, Liu, Ankenmann, & Stone, 1996;Randhawa & Hunter, 2001;Shavelson, Baxter, & Gao, 1993), soulève une inquiétude au sujet de la méthodologie de l'évaluation : le rendement des élèves varierait d'un problème à l'autre, et ce, indépendam-ment de leur habileté à déterminer le résultat d'une chaîne d'opérations et du degré de difficulté des problèmes à résoudre. Dans ce contexte, il devient alors souhaitable, comme l'a suggéré l'étude d'optimisation, de recourir à un nombre plus élevé de problèmes que n'en contient le dispositif d'évaluation pour évaluer l'habileté des élèves à déterminer le résul-tat d'une chaîne d'opérations.…”