Exploring Finnic written oral folk poetry through string similarity

Abstract

Suomen Kansan Vanhat Runot (Old Poems of the Finnish People) is a collection of nearly 90,000 oral folk poems written down between 1564 and the early 20th century. It is characterized by frequent reoccurrence of similar pieces of text on various levels (from entire poems, through passages to single verses and collocations). However, finding these similarities is challenging due to a high degree of orthographical, morphological, and compositional variation. In this article, we propose a method for automatically identifying equivalent verses, i.e. verses conveying the same meaning with the same words, using a clustering based on cosine similarity of character bigram vectors. The method achieves around 81% F-score and has been successfully used for identifying similarities across the entire SKVR corpus on the level of verse, passage, and poem. The results can be browsed through a Web interface.

Sähköistetty koeluenta vanhoihin runoihin

“…Octavo on Eetu Mäkelän humanistisen ja yhteiskuntatieteellisen tutkimuksen tueksi luoma hakuliittymä, joka mahdollistaa aineiston etsimisen esimerkiksi runsaasti kielellisesti varioivasta tekstikorpuksesta monipuolisen tekstihaun lisäksi metatietoja rajaamalla (Kallio, Mäkelä ja Janicki 2021). Maciej Janicki on puolestaan kehittänyt Runoregi-käyttöliittymän, joka mahdollistaa aineistojen lähiluvun ja perustuu lingvistiseen samankaltaisuuslaskentaan eli vierekkäisten merkkien avulla tekstien yhdenmukaisuutta vertailevaan menetelmään (Janicki, Kallio ja Sarv 2023). Käyttöliittymää ja sen toimivuutta testataan myös islantilaisen Þulur-runouden kanssa.…”

“…Laajemmin metatiedotettuja aineistoja on myös mahdollista hakea monipuolisemmin, kun käytössä on sana-, tekijä-ja vuosihaun lisäksi laajempi kattaus erilaisia vaihtoehtoja. Kun aineisto on käytettävyydeltään aiempaa paremmassa muodossa, tutkijalle jää varsinaista tutkimustyötä tehdessä enemmän resursseja käytettäväksi -ellei satu käymään niin, että erilaisten runoklustereiden eli riittävän yhdenmukaisiksi ryhmiteltyjen runojen (Janicki, Kallio ja Sarv 2023), yhdenmukaisuusprosenttien, dendrogrammien ja formuloiden verkostojen viehätys vie mennessään, jolloin helposti on taas yksi työpäivä kulunut niitä sillä hetkellä hieman epäolennaisempia johtolankoja seuraillessa.…”