La généralisabilité des seuils de performance établis par des appréciateurs : étude de trois procédés

Abstract

Revue des sciences de l'éducationLa généralisabilité des seuils de performance établis par des appréciateurs : étude de trois procédés Scallon, G. (1981). La généralisabilité des seuils de performance établis par des appréciateurs : étude de trois procédés. Revue des sciences de l'éducation, 7(1) La généralisabilité des seuils de performance établis par des appréciateurs : étude de trois procédés Gérard Scallon* Résumé -Cette recherche avait pour but de comparer trois procédés faisant appel à des appréciateurs pour déterminer le seuil de performance à un examen de dix questions : les procédés d'Angoff, d'Ebel et de Nedelsky. D'après les résultats de l'analyse de la variance, les seuils obtenus ne sont pas comparables d'un procédé à l'autre ni d'un appréciateur à l'autre. Toutefois, la concordance entre les appréciateurs est apparue la plus élevée dans le cas du procédé de Nedelsky. De plus, d'après l'étude de généralisabilité, la différenciation entre les questions s'est avérée fiable et ce, quels que soient les appréciateurs et les procédés. Bien que cette recherche ait mis en évidence la subjectivité qui caractérise la détermination d'un seuil de performance par des appréciateurs, les résultats obtenus suggèrent des avenues à explorer, tant du côté de l'analyse des questions d'un examen que du côté de la notion de compétence minimale.Abstract -This study compared three procedures in which the test evaluators determine the threshold of performance on a ten item exam, namely, the procedures of Angoff, Ebel and Nedelsky. Analysis and variance results showed that the thresholds varied from one evaluator to another and from one procedure to another. However, the concordance among evaluators using the Nedelsky procedure was the highest. Moreover, according to the generalizability study, the differentiation between the questions proved to be reliable for all evaluators and all procedures. Although this research has substantiated the subjectivity characteristic of procedures in which evaluators determine the threshold of performance, the results indicate areas of further research both in item analysis and in the concept of minimal competence.Resumen -Esta investigacion tenia por objeto comparar très procedimientos mediante la utilization de apreciadores que determinen el nivel de desempeno en un examen de diez preguntas : los procedimientos de Angoff, de Ebel y de Nedelsky. Segûn los resultados del analisis de la varianza, los nivelés obtenidos no son comparables ni de un procedimiento a otro, ni de un apreciador a otro. De todas formas la concordancia entre los apreciadores fué mas elevada en el caso del procedimiento de Nedelsky. Ademâs, segùn el estudio de generalidad, la diferenciaciôn entre las preguntas se mostraron comparables sean cuales fueren los apreciadores y los procedimientos. Aun cuando esta investigacion puso en evidencia la subjetividad que caracteriza la determinaciôn de un nivel de desempeno por los apreciadores, los resultados obtenidos sugieren nuevas vias a explorar, tanto del lado del analisis ...