Reliability of the Analytic Rubric and Checklist for the Assessment of Story Writing Skills: G and Decision Study in Generalizability Theory

Abstract

The purpose of study is to examine the reliability of analytical rubrics and checklists developed for the assessment of story writing skills by means of generalizability theory. The study group consisted of 52 students attending the 5th grade at primary school and 20 raters in Mersin University. The G study was carried out with the fully crossed hxpxg (story x rater x performance task) design, where the scoring keys were determined as fix facet. Decision Study was carried out by changing the task facet conditions. As a result, it was observed in both scoring keys that the sources of variance related to the stories had a high variance percentage in the main effects while "hp (story and rater interaction effects)" a high variance percentage in the interaction effects. The highest variance in the design belongs to the interaction effect "hpg (story, rater and performance task interaction effects)". This can be an indicator for the existence of different sources of variability and error, which are not included in the design. Examining the G and phi coefficients calculated for both scoring keys, it was determined that scoring with analytic rubrics is more reliable and generalizable. According to the decision studies, it was decided that the number of tasks used in this study is to be most appropriate.

Recursos de evaluación de textos narrativos en educación primaria y análisis del feedback docente

“…Los distintos exámenes de acceso a las diferentes enseñanzas, las clases guiadas por libros de texto o la realización de trabajos académicos son algunos ejemplos. De esta manera, se puede afirmar que el aprendizaje y el éxito escolar se verán influenciados, en gran medida, por la competencia escritora y lectora que desarrolle el alumnado (Fang & Wang, 2011;Jøll, 2014;Uzun et al, 2019), siendo necesario preguntarse cómo los docentes llevan a cabo la instrucción de dichas habilidades y cuál es el grado de adquisición y dominio del alumnado.…”

“…Sin embargo, la escritura posibilita la recogida y transmisión de dicha información, fomentando su examen y el establecimiento de conexiones entre ideas, encontrándose las mismas accesibles para ser revisadas y evaluadas (Applebee, 1984). Esta necesidad de llevar a cabo procesos de organización y planificación (Uzun et al, 2019), junto a la atención requerida en la construcción del significado, al mismo tiempo que se contemplan las convenciones de la propia escritura (Scull et al, 2020), convierte a esta en una de las habilidades más complejas dentro de la lengua, y de la cual depende el desarrollo del resto de disciplinas en la misma (Hyland, 2003). Así, se podría afirmar que el éxito escolar y las competencias lectoras y, especialmente, escritoras se encuentran íntimamente relacionados.…”

“…Por otro lado, se ha de tener en cuenta que este tipo de evaluación directa, en la que el docente evalúa un texto escrito del estudiante, se ve afectada por muy diferentes aspectos en su puesta en marcha, influyendo estos en la variabilidad de su calificación (Uzun et al, 2019). Por tanto, las dificultades a la que se enfrenta el docente a la hora de evaluar ya no solo residen en el conocimiento de este para realizarla y, por consiguiente, en aquello que evalúa, sino también en los múltiples aspectos que intervienen en la fiabilidad de la evaluación que ha realizado.…”

“…Por tanto, las dificultades a la que se enfrenta el docente a la hora de evaluar ya no solo residen en el conocimiento de este para realizarla y, por consiguiente, en aquello que evalúa, sino también en los múltiples aspectos que intervienen en la fiabilidad de la evaluación que ha realizado. De este modo, Uzun et al (2019) apuntan al propio evaluador como uno de los elementos más decisivos que atañen a la variabilidad en la evaluación. A modo de ejemplo puede citarse la disparidad de opiniones entre docentes, encontrada por Skar & Jølle (2017) en relación con las características significativas que debían poseer los tipos de textos evaluados en dicha investigación, narrativo y expositivo.…”

“…Asimismo, la investigación llevada a cabo por Uzun et al (2019) examinó las diferencias entre la utilización para la evaluación de la escritura de la lista de control y la rúbrica, mostrando la segunda de ellas como la más fiable y generalizable. Este último estudio señaló, además, algunas de las fuentes de error más comunes en el manejo de estos instrumentos, como son la insuficiente formación de los docentes en el uso de los mismos o la necesidad de descansos frecuentes en el proceso.…”