Речь, являясь многоаспектным явлением, не теряет своей актуальности в лингвистических исследованиях. Известно, что вербальная коммуникация появилась эволюционно позднее невербальной формы, тем не менее мультимодальный подход к моделированию языкового общения на базе спонтанного диалога только начинает развиваться в отечественной лингвистике. Целью статьи являются предоставление данных о соотношении вербального и невербального компонентов в моменты затруднений развертывания устного спонтанного дискурса между двумя коммуникантами и их последующая систематизация в виде основных мультимодальных паттернов. Материалом исследования послужили 16 видеофрагментов спонтанных диалогов носителей русского языка, общий хронометраж которых составил 90 минут. Анализируемый видеоматериал относится к студенческому спонтанному диалогическому дискурсу. Темы диалогических выступлений условно можно разделить на два блока – общение друзей/коллег и общение между клиентом и обслуживающим персоналом. Каждый видеофрагмент проаннотирован в программе ELAN v. 6.2. Представленные результаты основаны на общелингвистических описательном и сравнительно-сопоставительном методах, а также методе анализа когнитивного события. При описании когнитивного события и приведении статистических данных представлены основные мультимодальные паттерны, характеризующиеся наиболее частотными видами речевых сбоев и воспроизводимым набором невербальной реакции на их образование. Настоящее исследование строится на идее жестовой воспроизводимости. В результате анализа выявлены основные типы речевых сбоев, разделенных на пять блоков. Каждый из блоков сопровождают основные повторяющиеся мультимодальные паттерны, реализуемые в разных каналах, – мануальный, окуломоторный и целографический. Количество речевых сбоев, регистрируемых на внешнем уровне, прямо зависит от темы и не всегда от уровня компетенции говорящих, так как все диалоги являются импровизацией студентов, имеющих пресуппозиции относительно развертывания дискурса в зависимости от заданной роли. Речевые сбои и принципы их компенсации в разных мультимодальных каналах зависят как от внутренних (когнитивных), так и от внешних факторов (перекрестная речь, перебивания), которые представляют взаимопроникающую неделимую систему.
Speech as a multidimensional phenomenon still remains relevant in linguistics studies. It is known that verbal communication evolved later than non-verbal one, however, a multimodal approach to language communication modeling based on spontaneous dialogues is only gaining momentum in Russian linguistics studies. The aim of the article is to provide data on principles of verbal and non-verbal correlation at times of difficulty during the development of spoken discourse between two speakers, as well as to systematize them in the most frequent multimodal patterns. The material of the article is 16 video clips of spontaneous dialogues of Russian native speakers, the total timing is 1.5 hours. The annotated video materials are students’ spontaneous dialogic discourse. The topics of dialogues can be divided into two groups – communication between friends/colleagues and communication between the client and service staff. Each video clip is annotated in ELAN v.6.2. The presented results are based on general linguistic methods of description and comparison, as well as a method of analyzing a cognitive event. Analyzing cognitive events and providing statistics on the subject, we describe the main multimodal patterns, which have been classified by the frequent nature of some speech disfluencies and non-verbal response to them. Our study is based on the gestural repetition concept. As a result, the most common speech disfluencies have been identified and divided into five large blocks. Each of the blocks is accompanied by the main multimodal patterns, implemented in different channels – manual channel, gaze channel and cephalic channel. The number of speech disfluencies recorded at the external level directly depends on the topic and not always on the level of competence of the speakers, since all dialogues are improvised by students who only have presuppositions regarding the deployment of discourse depending on the given role. Speech disfluencies and the principles of their compensation in different multimodal channels depend on both internal (cognitive) and external factors (overlapping and interruptions), which represent an interpenetrating indivisible system.
