Ensemble Named Entity Recognition (NER): Evaluating NER Tools in the Identification of Place Names in Historical Corpora

Abstract

The field of Spatial Humanities has advanced substantially in the past years. The identification and extraction of toponyms and spatial information mentioned in historical text collections has allowed its use in innovative ways, making possible the application of spatial analysis and the mapping of these places with geographic information systems. For instance, automated place name identification is possible with Named Entity Recognition (NER) systems. Statistical NER methods based on supervised learning, in particular, are highly successful with modern datasets. However, there are still major challenges to address when dealing with historical corpora. These challenges include language changes over time, spelling variations, transliterations, OCR errors, and sources written in multiple languages among others. In this article, considering a task of place name recognition over two collections of historical correspondence, we report an evaluation of five NER systems and an approach that combines these through a voting system. We found that although individual performance of each NER system was corpus dependent, the ensemble combination was able to achieve consistent measures of precision and recall, outperforming the individual NER systems. In addition, the results showed that these NER systems are not strongly dependent on preprocessing and translation to Modern English.

Uma utilidade para o reconhecimento de topónimos em documentos medievais

“…Canosa (2017) comparou o desempenho de ferramentas para um corpus em inglês do século XVII atingindo resultados do 68% na medida-F com uma ferramenta estatística treinada em corpora modernos e do 62% com um sistema de regras provisto duma lista específica. Resultados similares, com a melhor medida-F próxima a 70%, foram de novo obtidos na comparativa de cinco ferramentas NERC contemporâneas sobre córpora históricos também do inglês em Won et al (2018). Estes mesmos autores apresentam um experimento novidoso em que se combinam as anotações das distintas ferramentas NERC para escolher o mais provável em caso de divergência, atingindo um 73,3% na medida-F como melhor resultado.…”

“…Dado que as ferramentas NERC foram desenvolvidas a partir de corpora contemporâneos (Won et al, 2018), a aplicação em variedades históricas da língua vê comprometido o desempenho em função da divergência a respeito dos usos linguísticos atuais. No caso galegoportuguês medieval, ainda conservando uma estrutura gramatical e regularidade morfológica próximaàs soluções contemporâneas, a dificuldade vem dada pelo grande número de variantes dos topónimos, limitando a aplicabilidade das listas (ex.…”

Mapeado digital de lugares en la novela bizantina española

“…Desde el punto de vista técnico, y relacionado con los reparos metodológicos, los límites del NER con otras lenguas que no sean el inglés, con un corpus del Siglo de Oro, con lugares de la ficción y con variantes toponímicas son evidentes (Bornet y Kaplan 2017;Won et al 2018). El método de agrupación en las visualizaciones no es directamente controlado por el usuario al generar la visualización y la geocalización automatizada tiene también sus límites, sobre todo con la desambiguación, aunque algunos proyectos como Recogito 17 permiten realizarla manualmente.…”

Arqueología de los medios II / Humanidades digitales II

“…El corpus pertenece al género de la novela bizantina (González 1996) o helenizante (Torres 2009), novelas del siglo xvi y xvii con un cronotopo marcado por travesías marítimas, piratas, exotismo, naufragios, encuentros transculturales, etc. Determinante en sus estrategias narrativas es su dependencia de la cartografía histórica.…”