Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
AI AWARDS 2026: аналитическую основу премии формирует iFORA НИУ ВШЭ
Высшая школа экономики вошла в число партнеров премии AI AWARDS 2026, которая пройдет 29 апреля в Москве. Проект, реализуемый командой «Билайн Big Data & AI», посвящен практическому применению искусственного интеллекта и объединяет компании, технологии и команды, которые уже сегодня влияют на развитие новой цифровой экономики. Вклад номинантов AI AWARDS в развитие ИИ анализируется на основе данных, поэтому качество аналитической базы и прозрачность методологии становятся для рынка принципиально важными.
Будущее кардиогенетики — с искусственным интеллектом
Исследователи Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ (Институт ИИиЦН) создали программу, которая способна анализировать участки генома человека, ранее недоступные для точной интерпретации при генетическом тестировании. Программа адаптирует большие генеративные модели (ГенИИ) под задачи кардиогенетики, чтобы предсказывать, как мутация влияет на работу конкретного гена.
НИУ ВШЭ и Альфа-Банк запускают исследовательские проекты в сфере искусственного интеллекта
НИУ ВШЭ и Альфа-Банк объявили о старте трех совместных проектов в области искусственного интеллекта. Они направлены на развитие аналитических инструментов для банковских сервисов — от более точных прогнозов до новых подходов к управлению рисками и персонализации клиентского опыта.
Участники «Я — профессионал» разработают ИИ-агентов для бизнеса на Весенней экономической школе Вышки и Сбера
На площадке СберУниверситета стартовала Весенняя экономическая школа, организованная Высшей школой экономики и Сбером для участников Всероссийской олимпиады студентов «Я — профессионал» Президентской платформы «Россия — страна возможностей». С 22 по 24 апреля студенты будут работать над созданием ИИ-агента для бизнеса — от идеи и научной гипотезы до прототипа, готового к защите перед экспертами.
Уже не выбор, а реальность: трансформация мира под влиянием ИИ
Искусственный интеллект уже не воспринимается как технология будущего: он стремительно меняет процессы принятия решений, рынок труда и социальные практики. Вместе с тем он несет с собой не только новые грандиозные возможности, но и системные риски, связанные с ростом зависимости от данных, трансформацией профессий и изменением человеческого поведения. В НИУ ВШЭ создали семантическую карту разломов, которая показала ключевые тренды в развитии технологий.
Почему искусственный интеллект не способен поработить человечество
1 апреля на факультете математики НИУ ВШЭ встретили российского ученого, преподавателя и специалиста по информационной безопасности Андрея Масаловича, известного как КиберДед. Он представил студентам Вышки свои «Двадцать вопросов искусственному интеллекту» и поделился ответами, раскрывающими суть проблем в сфере развития ИИ, а также рассказал, почему тот никогда не сможет захватить человечество.
Ученые Вышки научили нейросеть «слышать» неисправности в электродвигателях
Ученые Института искусственного интеллекта и цифровых наук (ИИиЦН) факультета компьютерных наук НИУ ВШЭ разработали метод Signature-Guided Data Augmentation (SGDA), который способен с точностью 99% определять неисправность двигателей и с точностью 86% классифицировать типы возникших поломок. Применение этой разработки может снизить расходы на ремонт промышленного оборудования, уменьшить простои и сделать производство безопаснее. Результаты исследования опубликованы в журнале Engineering Applications of Artificial Intelligence.
«Подготовка инженеров нового поколения невозможна без интеграции инструментов ИИ в отраслевые ОП»
26 февраля в Уфе на площадке Межвузовского студенческого кампуса Евразийского научно-образовательного центра прошла защита итоговых проектов пилотного курса образовательной программы «ИИ-инженерия в нефтегазовой отрасли». Эксперты НИУ ВШЭ оценили студенческие проекты в сфере искусственного интеллекта, выполненные для «Газпрома» в рамках федерального проекта «Экономика данных и цифровая трансформация государства».
Стартует набор на онлайн-программу повышения квалификации «Основы ИИ-агентов для автоматизации процессов»
В Центре непрерывного образования факультета компьютерных наук НИУ ВШЭ открыт набор на новую онлайн-программу повышения квалификации «Основы ИИ-агентов для автоматизации процессов». Программа разработана для тех, кто стремится перейти от базового использования нейросетей в формате чат-ботов к созданию прикладных интеллектуальных инструментов для автоматизации бизнес-задач. Курс ориентирован на слушателей, заинтересованных в практическом освоении современных подходов к разработке автономных ИИ-агентов на базе больших языковых моделей и их внедрении в рабочие процессы.
Ученые НИУ ВШЭ научились сжимать большие языковые модели без потерь в качестве
Исследователи из Института искусственного интеллекта и цифровых наук (Институт ИИиЦН) ФКН НИУ ВШЭ разработали новый метод сжатия больших языковых моделей, таких как GPT и LLaMA, который позволяет уменьшить их объем на 25–36% без дополнительного обучения и значительной потери в точности. Это первый подход, который использует математические преобразования — вращения весов модели, — чтобы сделать модели более удобными для сжатия с помощью структурированных матриц. Результаты исследования опубликованы в ACL Findings 2025. Код метода доступен на GitHub.