Инструкция по проведению мультимодального анализа по работе с жестами, мимикой и просодией в PRAAT

На сегодняшний день каждый третий индивид имеет некоторые отклонения или особенности в развитии, связанные с общением, взаимодействием, выстраиванием коммуникаций и передачей информации. Согласно статистике, более трети человек испытывают сложности в установлении контакта или начале беседы, около четверти молодых людей отмечают нервозность и некие несвойственные им в спокойном расположении манеры поведения. Подобные феномены становятся центром НИР по психологии, логопедии и пр. Основа таких исследований формируется при помощи мультимодального анализа по работе с жестами, мимикой и просодией в PRAAT.

Понятие и особенности проведения мультимодального анализа по работе с жестами, мимикой и просодией

Понятие и особенности

Мультимодальный анализ представляет собой специальный инструмент, который позволяет грамотно оценить и воспринять поступающую от человека информацию, учитывая не только саму речь, но и особенности ее преподнесения: жесты, мимика, интонация и пр. То есть посредством такого подхода пользователи учитывают не только контекст материала, но и тонкости его передачи: внешние и внутренние коммуникационные факторы, особенности собеседника и т.д. Такой подход помогает лучше понять, что хотел сказать индивид, оценить вербальные и невербальные компоненты.

Среди особенностей мультимодального подхода можно отметить следующие моменты. Во-первых, такой способ ориентирован на изучение комплекса элементов. Благодаря этому он обеспечивает максимально корректное восприятие сути, точность передачи информации от одного лица другим.

Во-вторых, благодаря учету вербальных и невербальных каналов связи происходит уточнение деталей по исследуемому вопросу: интонация, разбор доказательной базы, оценка предположений, оценка мнений, ориентации и особенностей материалов и т.д.

В-третьих, рассматриваемая парадигма имеет многоуровневый характер. То есть он предполагает выстраивание определённой последовательности элементов, признаков, по которым будет проводиться оценка материалов.

Этот способ исследования текста или речи основан на понятии модальности. Оно предполагает выделение определенных уровней или блоков, направлений, в рамках которых будет проводиться оценка поступающего материала. Чаще всего студенты изучают:

• Вербальные нюансы (текстовые особенности, словесный контекст),
• Кинесические тонкости. Они связаны с расшифровкой, анализом и оценкой жестов, мимики, движений и поз;
• Паралингвистическая модальность, которая характеризует фонетические тонкости информации (произношение, слог и пр.);
• Проксемическая основа. Она призвана оценить расстояние между коммуникаторами, разницу в социокультурном плане, особенности информации во времени (актуальность и т.д.);
• И др.

То есть преподносимый индивидом материал будет подвергаться целому спектру экспертиз, каждый из которых сосредоточит внимание на соответствующих манерах, тенденциях, признаках и особенностях.

Принципы воспроизведения

Мультимодальный метод исследования данных опирается на следующие принципы:

1. Комплексность и многоуровневость. Согласно этому правилу, объект исследования будет оцениваться с учетом массы критериев, а сам процесс изучения и разбора данных будет разложен на определенные блоки, уровни с соответствующими нюансами, правилами и пр.
2. Планомерность. Действия исследователя по изучению и разбору материала будут тщательно продуманными. Здесь важно не просто выделить суть, но и исследовать текст целенаправленно, распределив шаги и действия, оценив каждый результат отдельно и в общем.
3. Синхронность фиксации. Это правило предполагает, что все замеченные модальности будут зафиксированы сразу, моментально, по мере их возникновения и проявления или восприятия. Фиксация возможна всеми доступными способами.
4. Принцип координации предполагает, что все замеченные особенности будут оцениваться в определённых границах: по времени совпадения (например, отслеживание сути текста и совпадение с ними жестов выступающего), семантического совпадения (оценка степени совпадения движений, мимики, жестов с озвучиваемым), компенсаторные параметры (определение роли и силы влияния модальности, определение зависимостей между модальностями и пр.).
5. Контекст. Согласно этому правилу, основное внимание уделяется смысловой нагрузке информации, оценке степени соответствия между текстом и невербальными каналами, подходами к интерпретации и пр. Здесь важно учитывать социокультурный уровень пользователей, особенности взаимодействия между лицами, эмоции и пр.
6. Принцип современности. Он предполагает, что для оценки текста или речи будет привлекаться не только возможности восприятия и ручной обработки, но и использование компьютерных и цифровых технологий. С их помощью можно зафиксировать и проанализировать материал.

Мультимодальный метод ориентирован на комплексное изучение материалов с целью определения особенностей его воспроизведения, истолкования. Передачи, влияния внутренних и внешних факторов на его качество и скорость обмена.

Роль подхода

Рассматриваемый инструмент выполняет целый спектр полезных функций. Во-первых, информационная. Она проявляется в том, что благодаря такому подходу пользователи глубже проникают в суть материала, разбираются в его содержании, эмоциональном фоне и пр.

Во-вторых, лингвистическая. Ее миссия заключается в определении особенностей в построении текста, оценке лексического состава, синтаксических и структурных особенностей, выделении мотивов, основной сюжетной линии и пр.

В-третьих, эмоциональная. Она основана на оценке интонации, мимики, жестов и иных проявлениях эмоционального состава докладчика или автора, влияния эмоций на качество текста, совпадение тех или иных движений с конкретными моментами по тексту и пр.

В-четвертых, интеграционная. Ее суть состоит в сборе всей информации по освещаемой теме для получения объективных представлений. То есть исследовать нужно первоисточник (с учетом особенностей в выступлении докладчика), а также иные сведения по заявленному теме или вопросу (ля оценки качества данных, восполнения пробелов, наилучшего восприятия и пр.).

Сфера применения мультимодального способа по исследованию информации широк. Он успешно задействуется в лингвистике для оценки особенностей построения и воспроизведения устной речи, докладов. В психологии с его помощью определяют эмоциональное состояние выступающего, роль и место жестов, жестикуляции, мимики и пр. В педагогике такой инструмент позволяет оценить эффективность коммуникационных каналов ученик-ученик и ученик-педагог и пр. В криминалистике при помощи такого инструмента проводят фактчекинг, удостоверяясь в качестве и надежности показаний, располагаемых фактов и пр. В логопедии этот подход подчеркивает речевую развитость и проблемы, особенности социализации и общения.

Таким образом, мультимодальный метод представляет собой уникальный подход к изучению информации с учетом внутриличностных и внешних факторов. Оценки коммуникационных каналов, вербальных и невербальных парадигм. Он позволяет точнее определить контекст и выделить особенности в интерпретации и воспроизведении данных в ходе дискуссии, выступления.

Специфика и функционал программы PRAAT

Если вы полагали, что изучение речи, текста – дело сугубо личное, частное, ручное, то вы глубоко ошибались привлечение дополнительного инструментария повышает точность и качество анализа данных, выделение специфических лингвистических и иных признаков характеристик. Одним из таких ПО является PRAAT.

PRAAT представляет собой специальную программу, которая ориентирована на анализ и оценку речи. То есть она помогает пользователю тщательнее услышать и понять материал, оценить его контекст, особенности, интонацию, эмоции и пр.

Рассматриваемый инструмент располагает следующими опциями-функциями:

• Звуковой мониторинг. Он предполагает, что платформа проведет аудирование доклада: запишет материал, повторно воспроизведёт по мере необходимости, обрежет до определённых фрагментов и моментов или объединит несколько файлов в один и пр., конвертирует в определенный формат для дальнейшей переработки.
• Уточняющая – на основе визуализации акустических сигналов. Эта опция призвана уловить тон, колебания звука или голоса. Чаще всего здесь во внимание принимают высота звука, тональность повествования, интенсивность и скорость речи, оценка спектрограмм и осциллограмм.
• Оценивающая с выделением конкретных параметров текста, доклада и пр. В данном случае устанавливают четкие критерии для исследования материала: стабильность голова и изменения (дрожание, прерывистость, акцент и пр.), длительность сегментов, скорость воспроизведения материала, интенсивность выступления, тональность и особенности смены тона и т.д.
• Корректирующая. С помощью этой программы пользователь может изменить тон речи, исправить ошибки в повествовании (акцент, паузы и пр.), подготовить более «чистую» запись, устранив зафиксированные недочеты.
• Аналитическая. В данном случае программа на основе методов статистического анализа и моделирования оценивает частотность употребления слов, проводит многомерное шкалирование, определяет основные структурные и содержательные компоненты текста, проводит дискриминантный анализ.

Фактически, PRAAT представляет собой цифровой инструмент по обработке устных материалов. Он позволяет идентифицировать каждое слово, суть выражений и фрагментов, а также выделить особенности раскрытия темы с учетом невербальных и вербальных характеристик, схематически изобразить логику и тонкости интерпретации, отметить простоту и доступность данных для целевой аудитории.

Данный сервис считается общепризнанным в научной и экспертной среде. Пользователь легко может настроить параметры обработки данных, целенаправленно выставить соответствующие фильтры и опции. С помощью этого инструмента студенту удается более точно измерить речь/текст, установить соответствующие тенденции и особенности в раскрытии и повествовании (воспроизведении), собрать доказательную базу и пр.

Сфера применения PRAAT огромна. Данный способ задействуют в лингвистике для структурного анализа речи, определения фонетического и эмоционального строя и тенденций, голосовых особенностей воспроизведения текста. В медицине с помощью такого подхода проводят дополнительную диагностику пациентов для уточнения диагноза, связанного с логоневрозами, инсультами, врожденными недугами и пр. В IT-технологиях с помощью PRAAT подчеркивают индивидуальность речи и выделяют особенности голоса, возможностей по применению для повышения мер безопасности и пр.

Как проводить анализ просодии в PRAAT?

Просодия представляет собой лингвистический раздел, который связан с изучением фонетических особенностей в построении текстов и речи. Он напрямую связан с такими параметрами, как акцент, особенности произношения материалов и звуков, артикуляция.

Оценка фонетических особенностей в материале может производиться различными способами:

• Внутрислоговой. В этом случае изучаются послоговые сочетания и переходы в словах.
• Внешний. Во внимание принимается как отдельный звук, слог или слово так и оценка целой фразы или предложения на предмет сложности прочтения, понимания (восприятия), произношения и пр.

Просодия акцентирует внимание на таких особенностях речи, как слоговый ритм и тон, ударение, сложности в произношении, сочетаемость звуков, особенности в воспроизведении текста (шепелявость, «проглатываемость» или «западание» звуков и пр.).

Анализ просодии с помощью PRAAT предполагает прохождение следующих этапов:

1. Загрузка материала. В данном случае пользователю предстоит предоставить запись соответствующего выступления или прочтения текста на специальную платформу или ПО.
2. Идентификация и визуализация данных. Программа воспроизведет загруженный файл и постарается оценить его состав, фонетические характеристики. После этого приступит к отображению результатов обработки с помощью осциллограммы и спектрограммы. Первый инструмент призван показать амплитуду колебаний звука, а второй – определить частоту употребления отдельных фонем.
3. Выделение контура частоты основного тона. Он показывает фактически или усредненную траекторию звука, все скачки и пр. Также пользователь может пометить минимальную и максимальную высоту тона, звука в рамках выделенного фрагмента или отрезка выступления.
4. Оценка интенсивности. Здесь программа помогает установить корректность постановки ударения в словах и акцента в тексте для выделения сути, а также понять эмоциональные особенности устного воспроизведения рукописи, выделить те или иные литературные приемы с помощью голоса и пр.

Проведение той или иной оценки речи в PRAAT происходит с помощью специальных функций, которые расположены на панели задач.

Интерпретация собранных показателей происходит следующим образом. Если наблюдается восходящий тон повествования, о программа подчеркивает незавершенность в тексте или вопросительную форму. При нисходящем тональном движении отмечается завершённость и утвердительный характер повествования.

Анализ темпоральных характеристик помогают сделать вывод относительно эмоциональной окраски речи, детализировать те или иные художественные и иные лингвистические приемы по выделению сути, отдельных моментов в тексте. Оценка пауз подчеркивает общую продолжительность выступления, синтаксические границы материала и пр.

С помощью статистических метрик PRAAT пользователю легче показать особенности построения речи, собрать доказательную базу, определить особенности и недостатки материала.

При проведении анализа просодии важно учитывать ряд дополнительных условий: тип голоса и половую принадлежность, соотносить смену тона с интенсивностью, проводить сравнительный анализ речи с лингвистическими правилами и т.д.

Особенности анализа жестов и мимики с помощью PRAAT

Следует отметить, что рассматриваемая программа в целом не предназначена для обработки жестов и мимики. Лона напрямую связана с голосовой оценкой текста, проведением акустического мониторинга. Но все же несмотря на существующие рекомендации ограничения, многие универсанты на ее основе оценивают тонкости жестикуляции и мимики.

Оценить непосредственно жесты и мимику в устной речи с помощью PRAAT. Но на основе располагаемых метрик, можно косвенно оценить жестикуляцию и мимические особенности повествования:

• Оценка основного тона поможет понять, насколько выступающий способен или понять, определить его эмоциональный фон. В частности, если программа зафиксирует вибрации и дрожь голоса, то это может свидетельствовать о высоком уровне волнения докладчика.
• Изменение громкости в речи также подчёркивает те или иные мотивы и состояния оратора. Они могут подчеркивать соответствующие синтаксические и пунктуационные характеристики воспроизводимой рукописи или указывать на увлеченность, волнение, раздражение и пр.
• Оценка пауз способна установить степень владения материалом и скорость информационной ориентации. В частности, при длительных паузах оратор обычно подчёркивает слабое владение текстом, сложности с поиском ответа на поставленный вопрос, нерешительность.
• Оценка спектральных параметров текста способствует установлению артикуляционных модификаций, смене эмоционального фона или состояния докладчика и пр.

То есть оценка результатов измерения программой отдельных параметров способно косвенно подчёркивать особенности в поведении оратора.

Плюсы и минусы, ограничения мультимодального подхода с применением PRAAT

Применение PRAAT обладает как достоинствами, так и изъянами, которые очень важно учесть при интерпретации собранных данных, фактов и метрических характеристик.

Плюсы	Минусы
Точность контекстуального восприятия материала, детализация и акцентирование внимание на отдельных фрагментах	Поддерживает только аудиоформаты
Надёжность и качество информации	Не все аудиоформаты воспроизводятся. Программа работает с конкретными расширениями
Всестороннее погружение в речь, текст	Предназначен только акустической (фонетической) оценки информационных ресурсов. Не позволяет точно оценить жесты, мимику и пр.
Качественная характеристика материала, глубина анализа	Не всегда интерпретация данных и метрик оказывается точной и достоверной
Гибкость и скорость обработки данных	Описание метрик напрямую зависит от возможностей пользователей
Широкая сфера применения, доступность	Важно владеть предметной областью исследования при описании тенденций
Подчеркивание связей между модальностями	Не всегда удается установить явную метрическую связь между модальностями

PRAAT – это программа, которая позволяет конкретизировать ход мультимодального анализа речи, текста. Среди явных преимуществ этого сервиса можно отметить его некоммерческий характер и доступность. Благодаря открытому коду такой инструмент применим в самых разных направлениях. Но при этом точность результатов такой обработки варьируется и во многом зависит то точности научной (предметной) области исследования.

Благодаря такому сервису пользователь может легко и просто, а главное – быстро переработать большой поток информации. При этом качество интерпретации материала повышается, так как происходи углубленное погружение в контекст, разбор слов, фонем, оценка интонаций и контекста и пр.

В то же время PRAAT имеет ряд существенных пробелов, которые ограничивают возможности его применения. В частности, данный сервис работает только с аудиоматериалами. Видеоформат он не поддерживает. То есть он нацелен на фонетический мониторинг и не позволяет доподлинно, точно оценить жестикуляцию, мимику, поведенческие особенности оратора, связь текста и жестов и пр. Поэтому может пострадать и точность интерпретации результатов метрической оценки устной речи.

При задействовании PRAAT учитывайте эти особенности, чтобы обеспечить корректность и максимальную точность интерпретации данных.

Рекомендации по проведению мультимодального анализа по работе с жестами, мимикой и просодией в PRAAT

Внимательно ознакомьтесь с правилами работы в программе. Изучите предоставляемые руководства. Почитайте инструкции, чаты и пр.

Разберитесь в интерфейсе и предназначении каждой опции.

Постарайтесь использовать записи с хорошим уровнем качества. Такие первоисточники повысят уровень точности, идентификации данных.

Разбирая метрические параметры, установленные сервисом, учитывайте «человеческий фактор» и индивидуальные особенности в поведении оратора.

Учитывайте формальные ограничения по применению PRAAT: какие форматы и файлы поддерживает, цель анализа данных и пр.

По необходимости можно подключать дополнительные сервисы для всеобщей оценки рассказа или доклада: задействовать специальные инструменты по оценке видеоматериалов. Например, для анализа просодии можно подключить дополнительный плагин prosobox.

Экспортируйте результаты анализа в Эксель, PDF и постарайтесь грамотно расшифровать все отмеченные тенденции, характеристики доклада.