Using latent semantic analysis to assess knowledge: Some technical considerations

Rehder, Bob; Schreiner, Michael; Wolfe, Michael; Laham, Darrell; Landauer, Thomas K.; Kintsch, Walter

doi:10.1080/01638539809545031

Cited by 93 publications

(49 citation statements)

References 3 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Consequently, a total of 791 rated Another plausible cause for the lack of coreferential identification of probable topic sentences in Experiment 1 stems from the widely acknowledged confound that overlap indices tend to be overly influenced by text length (Dennis, 2007;McCarthy, Rus, et al, 2007;McNamara, Ozuru, Graesser, & Louwerse, 2006;Penumatsa et al, 2006;Rehder et al, 1998). That is, when longer texts (in this case, sentences) are compared, there is greater likelihood that the same (or similar) words will be identified.…”

Section: Resultsmentioning

confidence: 99%

Identifying topic sentencehood

McCarthy

Renner

Duncan

et al. 2008

Behavior Research Methods

View full text Add to dashboard Cite

Section: Resultsmentioning

confidence: 99%

Identifying topic sentencehood

McCarthy

Renner

Duncan

et al. 2008

Behavior Research Methods

View full text Add to dashboard Cite

“…Comme la méthode est basée essentiellement sur le vocabulaire et ses relations avec le contexte, il doit y avoir un lien étroit entre le sujet des textes contenus dans l'espace sémantique et le sujet des textes produits par les humains. Les publications récentes au sujet de la LSA (Foltz, 1996 ;Landauer, Foltz, & Laham, (1998) ;Rehder et al, 1998) suggèrent qu'idéalement, on devrait retrouver dans l'espace sémantique l'ensemble des mots utilisés par les humains dans leurs textes.…”

Section: L'espace Sémantiqueunclassified

View Entire Issue

Editor¹

2009

CJLT / RCAT

View full text Add to dashboard Cite

“…Entre los diversos métodos computacionales existentes se destacan aquellos basados en algoritmos de procesamiento del lenguaje natural (PLN), en particular el Análisis Semántico latente (LSA por su sigla en inglés), para evaluar automatizadamente diversos productos textuales, entre ellos los resúmenes escritos en lengua inglesa (Landauer, Laham, Rehder & Schreiner, 1997;Rehder, Schreiner, Wolfe, Laham, Landauer & Kintsch, 1998;Kintsch, Steinhart, Stahl, LSA Research Group, Matthews & Lamb, 2000;Landauer & Psotka, 2000;Landauer, Laham & Foltz, 2003). Estos estudios han mostrado que los métodos basados en LSA son efectivos en la evaluación automatizada de ensayos y resúmenes.…”

Section: Introductionunclassified

Evaluación de resúmenes en español con Análisis Semántico Latente: Una implementación posible

Venegas

2011

Rev. signos

View full text Add to dashboard Cite

Resumen: Evaluar resúmenes es una tarea compleja debido a que presenta problemas relacionados con la sistematicidad en la evaluación y con la dedicación de gran cantidad de tiempo por parte de los evaluadores. Estos problemas han motivado la indagación de métodos confiables de evaluación automatizada de resúmenes. En este contexto, el objetivo de este trabajo es identificar un método eficiente de evaluación automatizada de resúmenes, basado en el Análisis Semántico Latente (LSA). Los resúmenes fueron realizados por estudiantes de educación secundaria de la ciudad de Valparaíso, Chile. Para llevar a cabo esta tarea se correlacionan los puntajes de la evaluación realizada por tres docentes a 224 resúmenes provenientes de textos predominantemente expositivos, y 129 resúmenes provenientes de textos predominantemente narrativos con los puntajes entregados por tres métodos computacionales, basados en el LSA. Los métodos utilizados son los siguientes: 1) comparación de los resúmenes con el texto fuente de donde provienen, 2) comparación de los resúmenes con un resumen consensuado por lingüistas y 3) comparación de los resúmenes con resúmenes construidos por los tres docentes evaluadores a partir de los mismos textos fuente. Los resultados generales indican que los puntajes de los métodos 2 y 3 son similares estadísticamente a los puntajes asignados por los docentes evaluadores, cuando los resúmenes evaluados provienen de textos predominantemente narrativos. Sin embargo, esta similitud no se replica cuando los resúmenes provienen de textos predominantemente expositivos.Palabras Clave: Evaluación automatizada de resúmenes, similitud semántica, Análisis Semántico Latente, textos narrativos, textos expositivos. Revista Signos 2011, 44(75) 86 Abstract: Summary assessment is a complex task, due to the problems related to sistematicity and to the time it takes. These problems have motivated the study of reliable automatized assessment methods. In this scenario, the aim of this work is to identify an efficient method for assessing summaries, based on Latent Semantic Analysis (LSA). The summaries were written by students from secondary school in the city of Valparaíso, Chile. To acomplish the mentioned aim, we correlated the scores asigned by three teachers to 244 summaries of predominantly expository texts and 129 summaries of predominantly narrative texts with the scores provided by three computational methods, based on LSA. The methods are: 1) comparison of summaries with the source text, 2) comparison of summaries with a summary developed by the consensus of a group of linguists, and 3) comparison of summaries with three summaries constructed by three language teachers. General results show that the scores asigned by method 2 and 3 are statistically similar to the scores asigned by the teachers, when the source texts are predominantly narrative. However, this similarity is not so when the source text is predominantly expositive. Evaluación de resúmenes en español con

show abstract

Using latent semantic analysis to assess knowledge: Some technical considerations

Cited by 93 publications

References 3 publications

Identifying topic sentencehood

Identifying topic sentencehood

View Entire Issue

Evaluación de resúmenes en español con Análisis Semántico Latente: Una implementación posible

Contact Info

Product

Resources

About