Семантический Анализ И Способы Представления Смысла Текста В Компьютерной Лингвистике

Abstract

Статья посвящена проблемам семантического анализа текстов. Рассмотрены различные методы: диаграммы зави-симостей и семантические сети, подходы, основанные на лексических функциях и тематических классах, фреймовые и онтологические модели, логические модели представления знаний. На данный момент существуют различные ме-тоды представления смысла высказываний.Создание новых методов семантического анализа текстов актуально для решения многих задач компьютерной лингвистики, таких как машинный перевод, автореферирование, классификация текстов и других. Не менее важна разработка новых инструментов, позволяющих автоматизировать семантический анализ.Несмотря на то, что некоторые научные и технические идеи в области обработки текстов развиваются довольно быстро, многие проблемы семантического анализа остаются нерешенными. Большинство исследователей пришло к выводу, что словарь для поддержки семантического анализа должен оперировать смыслами и, следовательно, описы-вать свойства и отношения понятий, а не слов. Но возникает вопрос, как правильно структурировать и представлять информацию в подобных словарях, чтобы поиск по ним был удобным и быстрым, а кроме того, можно было бы учи-тывать изменения в естественном языке (исчезновение старых и возникновение новых понятий). В данной статье пред-принята попытка систематизировать известные достижения в области семантического анализа и в какой-то мере найти ответ на этот и другие вопросы.Ключевые слова: семантический анализ, автоматическая обработка текста, извлечение информации, семанти-ческие сети, логика предикатов, представление знаний, смысл высказывания.Помимо знаний о структуре языка, семантика тесно связана с философией, психологией и дру-гими науками, так как неизбежно затрагивает во-просы о происхождении значений слов, их отноше-нии к бытию и мышлению. При семантическом анализе необходимо учитывать социальные и куль-турные особенности носителя языка. Процесс че-ловеческого мышления, как и язык, который явля-ется инструментом выражения мыслей, очень гиб-кий и трудно поддается формализации. Поэтому семантический анализ по праву считается самым сложным этапом автоматической обработки тек-стов.На данный момент существует много методов представления смысла высказываний, однако ни один из них не является универсальным. Над соот-несением смысла тексту работали многие исследо-ватели. Так, И.А. Мельчук [1] ввел понятие лекси-ческой функции, развил понятия синтаксических и семантических валентностей и рассмотрел их в контексте толково-комбинаторного словаря, кото-рый представляет собой языковую модель. Он по-казал, что значения слов соотносятся не непосред-ственно с окружающей действительностью, а с представлениями носителя языка об этой действи-тельности. В.Ш. Рубашкин и Д.Г. Лахути [2] ввели иерархию синтаксических связей для более эффек-тивной работы семантического анализатора. Са-мыми важными являются обязательные ролевые связи, далее идут связи кореференции, затем факультативные ролевые связи и только потом предметно-ассоциативные. Известный лингвист Е.В. Падучева [3] предлагае...

Application of Methods of Semantic Analysis in Neural Machine Translation

“…Тематическое моделирование включает в себя как задачу кластеризации документов по темам, так и задачу кластеризации слов по темам. При решении чаще всего используют мягкую кластеризацию, когда документ принадлежит нескольким темам, аналогично одно и то же слово может принадлежать нескольких темам [2]. Построение тематической модели позволяет выявлять множество латентных (скрытых) тем и используется для решения дополнительных прикладных задач: разбиение документа на тематические фрагменты; определение тематики творчества автора (если каждый из документов корпуса имеет определенный список авторов); тематический поиск (то есть ранжирование документов по степени соответствия определенной теме); создание тематического каталога документов с определенной иерархией (а также определение правил каталогизации документов); поиск и ранжирование документов в зависимости от степени сходства с некоторым документом.…”

Features and Tools of the Nevod Library in Solving Problems of Extracting Temporal Markers in the Text

“…Эффективность словарной поддержки в системах семантического анализа является ключевым аспектом. При проектировании таких систем возникает вопрос, как правильно структурировать и представлять информацию в подобных словарях, чтобы поиск по ним был удобным и быстрым, к тому же, была возможность учитывать изменения в естественном языке -исчезновение старых и возникновение новых понятий, терминов, аббревиатур [13].…”

Explication of the Investment Policy Essence by the Case of Metallurgical Sector Complex

“…По данным на 13.05.2020. URL: https://www.forbes.com/global2000/#4da8c998335d (дата обращения: 10.12.2020) 3. URL: https://www.severstal.com/rus/about/strategy/ (дата обращения: 10.12.2020).…”