Новости

Mar 18, 2024

Классификация эмоциональных состояний с помощью трансдермальных сердечно-сосудистых пространственно-временных паттернов лица с использованием мультиспектрального видео лица

Scientific Reports, том 12, номер статьи: 11188 (2022) Цитировать эту статью 1829 Доступов 1 Цитирований 18 Подробности об альтметрических метриках Автор Исправление к этой статье было опубликовано 19 августа 2022 г.

Научные отчеты, том 12, Номер статьи: 11188 (2022) Цитировать эту статью

1829 Доступов

1 Цитаты

18 Альтметрика

Подробности о метриках

Авторская поправка к этой статье опубликована 19 августа 2022 г.

Эта статья обновлена

Мы описываем новый метод дистанционной оценки эмоционального состояния с использованием мультиспектрального видео лица и представляем наши результаты: уникальные трансдермальные, сердечно-сосудистые и пространственно-временные паттерны лица, связанные с различными эмоциональными состояниями. Этот метод не основан на стереотипных выражениях лица, а использует чувствительность к различным длинам волн (видимый спектр, ближний инфракрасный и длинноволновый инфракрасный диапазон) для измерения коррелятов активности вегетативной нервной системы, пространственно и временно распределенных по лицу человека (например, кровоток, концентрация гемоглобина и температура). Мы провели эксперимент, в котором 110 участников просмотрели 150 коротких видеороликов, вызывающих эмоции, и рассказали о своих эмоциональных переживаниях, а три камеры записывали видео с лицами на разных длинах волн. Пространственно-временные мультиспектральные характеристики из мультиспектральных видео использовались в качестве входных данных для модели машинного обучения, которая была способна классифицировать эмоциональное состояние участников (т. е. веселье, отвращение, страх, сексуальное возбуждение или отсутствие эмоций) с удовлетворительными результатами (средний показатель ROC AUC 0,75), обеспечивая при этом анализ важности функций, который позволяет анализировать проявления на лице в зависимости от эмоционального состояния. Мы обсуждаем результаты, касающиеся различных пространственно-временных паттернов, связанных с разными эмоциональными состояниями, а также различные преимущества текущего метода перед существующими подходами к обнаружению эмоций.

Эмоции занимают центральное место в человеческом опыте и функционировании и, как таковые, представляют первостепенный интерес в фундаментальных психологических исследованиях, клинической практике и прикладных условиях. Поскольку эмоции включают аспекты, которые преимущественно субъективны и трудно наблюдаемы, существует серьезная проблема в измерении этих субъективных аспектов объективным и надежным способом.

В последние годы многие исследования пытались разработать технологии точного распознавания эмоций. Основная цель исследований по обнаружению эмоций сосредоточена на попытке измерить эмоциональные переживания людей удаленно (т. е. не полагаясь на контактное оборудование, такое как фМРТ или электроэнцефалограф [ЭЭГ]). Большинство современных технологий, целью которых является классификация эмоциональных состояний, на самом деле измеряют явные выражения лица, а не оценивают субъективные эмоциональные состояния участников1,2,3. Выражения лица относительно легко обнаружить и классифицировать с помощью алгоритмов благодаря их известному внешнему виду и значительным пространственным различиям между выражениями разных эмоций. Действительно, методы, основанные на этом подходе, обычно дают более 90% успеха в распознавании выражений1,2. Видимые выражения лица часто предоставляют полезную информацию об эмоциональном состоянии людей; однако многие исследования в области психологии показывают, что выражения лица в основном служат коммуникативным целям — они представляют то, что люди хотят передать, а не отражают их внутреннее состояние3.

В свете этого было предпринято несколько попыток разработать методы дистанционного распознавания эмоций, не основанные на стереотипных выражениях лица. Один из таких сигналов включает в себя тонкие быстрые и спонтанные движения лицевых мышц, известные как микровыражения, которые характеризуются короткой продолжительностью в диапазоне от десятков до нескольких сотен миллисекунд4,5. Как и в случае с видимыми выражениями лица, микровыражения могут предоставить полезную информацию для обнаружения эмоций; однако нет надежных доказательств того, в какой степени микровыражения могут служить диагностикой фактического эмоционального состояния участников6.

Другой подход к распознаванию эмоций предполагает измерение активности вегетативной нервной системы (ВНС), которая, как известно, связана с субъективными эмоциональными состояниями людей7. Однако большинство современных методов обнаружения физиологических изменений, связанных с эмоциями (например, фотоплетизмография [PPG]8, ЭЭГ9,10, измерение кровяного давления, проводимости кожи и электрокардиограмма [ЭКГ]11) предполагают прямой контакт (т.е. подключение людей к измерительному прибору) .