Аннотация. Работа посвящена разработке метода выделения сюжетов в новостях на русском языке. Сюжетом мы считаем группу новостей про одно событие реальног о мира. Предлагается двухэтапная схема кластеризации, при которой результаты первого «грубого» шага уточняются с помощью бинарного классификатора на парах новостей. В рамках работы создан размеченный на принадлежность сюжетам корпус новостей на русском языке, доступный для скачивания. На этом наборе данных показывается, что предложенный метод превосходит существующие решения по основным внешним метрикам кластеризации.
This paper is devoted to event detection as part of news stream analysis. An event is regarded as a group of news texts dedicated to one real-world fact or situation. We analyze news from Russian news agencies. A two-stage clustering method is proposed, which combines a rough clustering algorithm used at the first stage and a refinement classifier used at the second stage. In addition, we present an open labeled dataset for news event detection, which is based on the Yandex News service. Empirical evaluation of the proposed method on this dataset proves its effectiveness for event detection in news texts.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.