Evaluación de resúmenes en español con Análisis Semántico Latente: Una implementación posible

Abstract

Resumen: Evaluar resúmenes es una tarea compleja debido a que presenta problemas relacionados con la sistematicidad en la evaluación y con la dedicación de gran cantidad de tiempo por parte de los evaluadores. Estos problemas han motivado la indagación de métodos confiables de evaluación automatizada de resúmenes. En este contexto, el objetivo de este trabajo es identificar un método eficiente de evaluación automatizada de resúmenes, basado en el Análisis Semántico Latente (LSA). Los resúmenes fueron realizados por estudiantes de educación secundaria de la ciudad de Valparaíso, Chile. Para llevar a cabo esta tarea se correlacionan los puntajes de la evaluación realizada por tres docentes a 224 resúmenes provenientes de textos predominantemente expositivos, y 129 resúmenes provenientes de textos predominantemente narrativos con los puntajes entregados por tres métodos computacionales, basados en el LSA. Los métodos utilizados son los siguientes: 1) comparación de los resúmenes con el texto fuente de donde provienen, 2) comparación de los resúmenes con un resumen consensuado por lingüistas y 3) comparación de los resúmenes con resúmenes construidos por los tres docentes evaluadores a partir de los mismos textos fuente. Los resultados generales indican que los puntajes de los métodos 2 y 3 son similares estadísticamente a los puntajes asignados por los docentes evaluadores, cuando los resúmenes evaluados provienen de textos predominantemente narrativos. Sin embargo, esta similitud no se replica cuando los resúmenes provienen de textos predominantemente expositivos.Palabras Clave: Evaluación automatizada de resúmenes, similitud semántica, Análisis Semántico Latente, textos narrativos, textos expositivos. Revista Signos 2011, 44(75) 86 Abstract: Summary assessment is a complex task, due to the problems related to sistematicity and to the time it takes. These problems have motivated the study of reliable automatized assessment methods. In this scenario, the aim of this work is to identify an efficient method for assessing summaries, based on Latent Semantic Analysis (LSA). The summaries were written by students from secondary school in the city of Valparaíso, Chile. To acomplish the mentioned aim, we correlated the scores asigned by three teachers to 244 summaries of predominantly expository texts and 129 summaries of predominantly narrative texts with the scores provided by three computational methods, based on LSA. The methods are: 1) comparison of summaries with the source text, 2) comparison of summaries with a summary developed by the consensus of a group of linguists, and 3) comparison of summaries with three summaries constructed by three language teachers. General results show that the scores asigned by method 2 and 3 are statistically similar to the scores asigned by the teachers, when the source texts are predominantly narrative. However, this similarity is not so when the source text is predominantly expositive. Evaluación de resúmenes en español con

Integrating Text Classification in Topic Discovery with Semantic Embedding Models

“…The reduction of attributes or dimensions of a document produces a recovery of the semantics of the original documents. The LSA dimensionality reduction process captures more important terms or topics [29]. Figure 3 shows the matrix generated by LSA model.…”

Comprensión escrita en estudiantes de primero y cuarto año de Filosofía

“…La competencia para reformular las ideas en un resumen sin alterar el contenido esencial del texto base es uno de los indicadores más seguros de comprensión flexible (Fuchs, 1994; Alvarado y Arnoux, 1999, citados en Arnoux et al, 2006;Viramonte, 2000). El resumen pone en evidencia cuánto y cómo se comprende, por lo que es una de las técnicas más utilizadas para evaluar la comprensión de los textos (Farr y Carey, 1986; Peronard, 1997; Zipitria et al, 2004, citados en Venegas, 2011).…”

Organización retórica de la sección resultados en artículos científicos de educación

“…El discurso académico es el modo de comunicación privilegiado en el contexto universitario para vehicular los conocimientos consolidados o en proceso de elaboración (Venegas, 2006;Parodi, 2008;Beke, 2008). Entre los géneros académicos se encuentra el artículo de investigación, artículo original o artículo científico, que es definido como "un medio para, por una parte, hacer público el trabajo del investigador, y por otra, permitir a los pares evaluar los conocimientos generados por dicho trabajo" (Shiro y D'Avolio, 2011, p. 77).…”

“…Este género tiene como objetivo fundamental persuadir a las comunidades discursivas para que acepten el nuevo conocimiento (Swales, 1990) y está conformado por una serie de secciones con sus respectivos propósitos comunicativos (Moyano, 2014). Sin embargo, dado que es un "género retóricamente dinámico que no se circunscribe a una sola estructura global" (Sánchez, 2018, p. 21), el modelo IMRD (introducción, métodos, resultado y discusión) descrito por Swales (1990) puede variar entre las disciplinas o culturas académicas, sea diacrónicamente, de acuerdo con las características contextuales, normas de publicación de las revistas científicas (Swales, 2004;Venegas, 2006;Sánchez, 2018) o según la experticia de los investigadores.…”

“…Por su trascendencia en la comunicación científica y al ser uno de los géneros prototípicos del discurso académico, el artículo de investigación se ha estudiado ampliamente (Sánchez, 2006). Las investigaciones se centran en la descripción funcional orientada a la identificación de movimientos retóricos obligatorios u opcionales, sea en su totalidad o en secciones específicas (Swales, 1990;Salager Meyer, 1991;Brett, 1994;Williams, 1999;Nwogu, 1997;Hyland, 2000;Samraj, 2002;Ciapuscio y Otañi, 2002;Yang y Allison, 2003;Kanoksilapatham, 2005;Venegas, 2006;Acosta, 2006;Swales y Feak, 2009;Sabaj, Toro y Fuentes, 2011;Peacock, 2011;Sánchez, 2012a;Doró, 2013;Fuentes, 2013;Moyano, 2014;Stagnaro, 2015;Quintanilla, 2016;Blanco, 2019;Perdomo, 2021;Oliveros, 2021).…”