Блог

Jun 02, 2023

Классификация эмоциональных состояний с помощью трансдермальных сердечно-сосудистых пространственно-временных паттернов лица с использованием мультиспектрального видео лица

Scientific Reports, том 12, номер статьи: 11188 (2022) Цитировать эту статью 1869 Доступов 1 Цитирований 18 Подробности об альтметрических метриках Автор Исправление к этой статье было опубликовано 19 августа 2022 г.

Научные отчеты, том 12, Номер статьи: 11188 (2022) Цитировать эту статью

Доступы 1869 г.

1 Цитаты

18 Альтметрика

Подробности о метриках

Авторская поправка к этой статье опубликована 19 августа 2022 г.

Эта статья обновлена

Мы описываем новый метод дистанционной оценки эмоционального состояния с использованием мультиспектральных видеороликов лица и представляем наши результаты: уникальные трансдермальные, сердечно-сосудистые и пространственно-временные паттерны лица, связанные с различными эмоциональными состояниями. Этот метод не опирается на стереотипные выражения лица, но использует чувствительность к различным длинам волн (видимый спектр, ближний инфракрасный и длинноволновый инфракрасный диапазон) для измерения коррелятов активности вегетативной нервной системы, пространственно и временно распределенных по лицу человека (например, кровоток, концентрация гемоглобина и температура). Мы провели эксперимент, в котором 110 участников просмотрели 150 коротких видеороликов, вызывающих эмоции, и рассказали о своих эмоциональных переживаниях, а три камеры записывали видео с лицами на разных длинах волн. Пространственно-временные мультиспектральные характеристики из мультиспектральных видео использовались в качестве входных данных для модели машинного обучения, которая была способна классифицировать эмоциональное состояние участников (т. е. веселье, отвращение, страх, сексуальное возбуждение или отсутствие эмоций) с удовлетворительными результатами (средний показатель ROC AUC 0,75), обеспечивая при этом анализ важности функций, который позволяет анализировать проявления на лице в зависимости от эмоционального состояния. Мы обсуждаем результаты, касающиеся различных пространственно-временных паттернов, связанных с разными эмоциональными состояниями, а также различные преимущества текущего метода перед существующими подходами к обнаружению эмоций.

Эмоции занимают центральное место в человеческом опыте и функционировании и, как таковые, представляют первостепенный интерес в фундаментальных психологических исследованиях, клинической практике и прикладных условиях. Поскольку эмоции включают аспекты, которые преимущественно субъективны и трудно наблюдаемы, существует серьезная проблема в измерении этих субъективных аспектов объективным и надежным способом.

В последние годы многие исследования пытались разработать технологии точного распознавания эмоций. Основная цель исследований по обнаружению эмоций направлена ​​на попытку измерить эмоциональные переживания людей удаленно (т. е. не полагаясь на контактное оборудование, такое как фМРТ или электроэнцефалограф [ЭЭГ]). Большинство современных технологий, целью которых является классификация эмоциональных состояний, на самом деле измеряют явные выражения лица, а не оценивают субъективные эмоциональные состояния участников1,2,3. Выражения лица относительно легко обнаружить и классифицировать с помощью алгоритмов благодаря их известному внешнему виду и значительным пространственным различиям между выражениями разных эмоций. Действительно, методы, основанные на этом подходе, обычно дают более 90% успеха в распознавании выражений1,2. Видимые выражения лица часто предоставляют полезную информацию об эмоциональном состоянии людей; однако многие исследования в области психологии показывают, что выражения лица в основном служат коммуникативным целям — они представляют то, что люди хотят передать, а не отражают их внутреннее состояние3.

В свете этого было предпринято несколько попыток разработать методы дистанционного распознавания эмоций, не основанные на стереотипных выражениях лица. Один из таких сигналов включает в себя тонкие быстрые и спонтанные движения мышц лица, известные как микровыражения, которые характеризуются короткой продолжительностью в диапазоне от десятков до нескольких сотен миллисекунд4,5. Как и в случае с видимыми выражениями лица, микровыражения могут предоставить полезную информацию для обнаружения эмоций; однако нет надежных доказательств того, в какой степени микровыражения могут служить диагностикой фактического эмоционального состояния участников6.

Другой подход к распознаванию эмоций предполагает измерение активности вегетативной нервной системы (ВНС), которая, как известно, связана с субъективными эмоциональными состояниями людей7. Однако большинство современных методов обнаружения физиологических изменений, связанных с эмоциями (например, фотоплетизмография [PPG]8, ЭЭГ9,10, измерение артериального давления, проводимости кожи и электрокардиограмма [ЭКГ]11) предполагают прямой контакт (т.е. подключение людей к измерительному прибору) .