The Comparison of Distributive Semantics Models Applied to the Task of Short Job Requirements Clustering for the Russian Labor Market

Abstract

In this article we compare different vector models (tf-idf, word2vec, fasttext, lda, lsi, artm) in the short text clustering task, using a dataset of job vacancy descriptions in Russian. A two-step experiment is proposed to determine the best model and its hyperparameters based on the quality of the resulting short text clusters. In the first stage, we investigate how various hyperparameters of each model can affect the clusters, produced by training a K-means model on each of the vector representations. In particular, we consider in detail, how the size of the output vector representation in each of our models can influence the quality of the final clusters. We also provide an extensive analysis of the effects of various regularization options for clusters, learned using the vectors produced by the ARTM algorithm. During the second stage, the models showing the best results in the previous step (word2vec, fasttext) are analyzed in greater detail. We compare the effectiveness of these models against datasets of different sizes, as well as using different structures of the source fragments (partial elements or full texts of vacancy descriptions). In our experiments, the highest quality of clusters (evaluated using the ARI metric) was achieved by word2vec, closely followed by the fasttext model. Finally, we perform a topic analysis for each of the resulting clusters and evaluate their homogeneity.

Professional standards and demand in the labor market in the sphere of higher management in Russia

“…Место профессиональных стандартов на рынке труда и процесс устаревания ЗУН ◆ Анализ кейсов [Петерсен, Йепсен, 2015;Спивак, 2017;Дудырев и др., 2019;Tūtlys, Spoettl, 2017;Lester, Koniotaki, Religa, 2018;Chulanova, 2019;Sochneva, Isner, Chervyakov, 2019;Lee, Jacobs, 2020;Azman Shah, Haron, Mahrin, 2021] Трансформация ЗУН и цифровизация экономики ◆ Классификация ◆ Тематическое моделирование ◆ Кластерный анализ [Wowczko, 2015;Föll, Thiesse, 2017;Boselli et al, 2018;De Mauro et al, 2018;Lovaglio et al, 2018;Dubey, Tiwari, 2020;Alekseeva et al, 2021] Спрос на ЗУН в сфере менеджмента ◆ Контент-анализ ◆ Тематическое моделирование ◆ Кластерный анализ [Litecky, Igou, Aken, 2012;Atolagbe, Floyd, 2020;Poba-Nzaou, Uwizeyemungu, Clarke, 2020;Zheng, Wen, Qiang, 2020;Roscher, 2021] Анализ спроса на основе данных об онлайн-вакансиях в России ◆ Классификация ◆ Кластерный анализ [Botov et al, 2019;Belov et al, 2020;Nikolaev, Ryazanov, Botov, 2020;Sozykin et al, 2021] Вестник СПбГУ. Менеджмент.…”

“…Однако малоизученными остаются аспекты, связанные с сопоставлением профессиональных стандартов и требуемых ЗУН на рынке труда, в частности на примере России. Так, в [Botov et al, 2019;Belov et al, 2020;Nikolaev, Ryazanov, Botov, 2020;Sozykin et al, 2021] анализируются популярные ЗУН на агрегаторах онлайн-вакансий для России и предлагаются прототипы процедур сопоставления образовательных программ и профессиональных стандартов; приводятся примеры образовательных планов, полученных по результатам извлечения популяр ных ЗУН для сферы информационных технологий. При этом ставится вопрос о необходимости дальнейших исследований и разработки подходов для соотнесения образовательных результатов, требуемых работодателями ЗУН и профессиональных стандартов.…”

“…По итогам работы алгоритмов кластерного анализа эмпирически проверяется количество групп, обеспечивающее стабильное разбиение. Например, в смежных исследованиях, посвященных анализу рынка труда, итоговое количество групп в среднем варьируется от 5 до 8 [De Mauro et al, 2018;Nikolaev, Ryazanov, Botov, 2020;Poba-Nzaou, Uwizeyemungu, Clarke, 2020;Zheng, Wen, Qiang, 2020].…”

“…В исследованиях, посвященных анализу объявлений о вакансиях, авторами получены схожие модели соотнесения профессиональных стандартов и запросов рынка труда (см., напр. : [Botov et al, 2019;Belov et al, 2020;Nikolaev, Ryazanov, Botov, 2020;Sozykin et al, 2021]). В них указаны возможности сопоставить профессиональные стандарты с образовательными программами в сферах информационных технологий, отмечается необходимость разделять «мягкие» и «жесткие» навыки для специалистов различного уровня.…”

Comparison of transformer architecture neural network models based on evaluating the vector representation compactness of semantically similar texts in the European classification skills ESCO

“…Благодаря развитию инструментов для анализа текстов на естественном языке отдельными группами ученых делаются попытки анализировать изменения рынка труда по текстам вакансий из открытых источников [4][5][6][7][8][9]. Такой подход имеет ряд преимуществ, так как позволяет выявлять изменения на уровне отдельных профессий/специальностей, отдельных требований работодателей, например: позволяет осуществлять мониторинг онлайн-вакансий в отдельных регионах и странах в режиме реального времени; производить прогнозирование востребованности, мониторинг изменений отдельных навыков, компетенций и технологий в рамках отдельной профессии или целой отрасли, проводить оперативное сравнение аналогичных рынков труда в разных странах и регионах.…”