Assessing short summaries with human judgments procedure and latent semantic analysis in narrative and expository texts

Abstract

In the present study, we tested a computer-based procedure for assessing very concise summaries (50 words long) of two types of text (narrative and expository) using latent semantic analysis (LSA) in comparison with the judgments of four human experts. LSA was used to estimate semantic similarity using six different methods: four holistic (summary-text, summary-summaries, summary-expert summaries, and pregraded-ungraded summary) and two componential (summary-sentence text and summary-main sentence text). A total of 390 Spanish middle and high school students (14-16 years old) and six experts read a narrative or expository text and later summarized it. The results support the viability of developing a computerized assessment tool using human judgments and LSA, although the correlation between human judgments and LSA was higher in the narrative text than in the expository, and LSA correlated more with human content ratings than with human coherence ratings. Finally, the holistic methods were found to be more reliable than the componential methods analyzed in this study.

Evaluación de resúmenes en español con Análisis Semántico Latente: Una implementación posible

“…Otro ejemplo, del uso del LSA en la evaluación de resúmenes en español es la investigación realizada por León et al (2006). En ella los investigadores evalúan resúmenes muy concisos (50 palabras de largo) provenientes de textos con predominancia narrativa y expositiva, mediante el LSA, y comparan estos resultados con las evaluaciones de cuatro evaluadores expertos humanos.…”

“…Este resultado, que aporta predictibilidad al estudio, es congruente con lo presentado por León et al (2006) para los textos en español, a pesar de que tanto la conformación del espacio semántico como de su dimensionalidad son diferentes. En el caso de León et al (2006) fue de 337 dimensiones y en el nuestro de 297 dimensiones.…”

“…Este resultado, que aporta predictibilidad al estudio, es congruente con lo presentado por León et al (2006) para los textos en español, a pesar de que tanto la conformación del espacio semántico como de su dimensionalidad son diferentes. En el caso de León et al (2006) fue de 337 dimensiones y en el nuestro de 297 dimensiones. Esto implica, que el algoritmo funciona de modo similar, sin necesariamente tener un espacio semántico constituido por los textos del mismo dominio temático (ni dimensionalidad), lo que confirma, entre otras cosas, la decisión de utilizar un espacio semántico de dominio general.…”

“…Estos estudios han mostrado que los métodos basados en LSA son efectivos en la evaluación automatizada de ensayos y resúmenes. Sin embargo, en el ámbito de la evaluación automatizada de resúmenes en lengua española, los estudios que utilizan el LSA aún son insuficientes (Pérez, Alfonseca, Rodríguez, Gliozzo, Strapparava & Magnini, 2005;León, Olmos, Escudero, Cañas & Salmerón, 2006;Venegas, 2005Venegas, , 2006aVenegas, , 2007Venegas, , 2009aVenegas, , 2009bSilva, 2008;Órdenes, 2009).…”

New algorithms assessing short summaries in expository texts using latent semantic analysis

“…In fact, LSA permits comparison of semantic similarity between different pieces of textual information, such as sentences or paragraphs (Foltz, 1996;Landauer, 1998;Landauer & Dumais, 1997;, as well as summaries (Foltz, 1996;E. Kintsch, Steinhart, Stahl, & LSA Research Group, 2000;León, Olmos, Escudero, Cañas, & Salmerón, 2006). LSA measures the similarity between two pieces of text with the cosine between the two vectors.…”