Как повторит сигма-фейс или мимику как у Патрика Бэйтмена
Дарья Новожилова
Пользователи тиктока создают туториалы по сигма-фейсу, чтобы скопировать мимику Патрика Бэйтмана из «Американского психопата». В роликах парни и девушки показывают, как превратиться в самоуверенного персонажа без фотошопа и фильтров.
Что такое сигма-фейс. В тиктоке пытаются сделать лицо как у сигма-самца, которое выражает уверенность в себе и своей мужественности. Понятие о сигма появилось благодаря теории о социальной иерархии и используется по отношению к успешным и брутальным парням.
Одним из ярких примеров сигма-самцов стал герой фильма «Американский психопат» Патрик Бэйтман в исполнении актёра Кристиана Бэйла.
Именно мимика персонажа вдохновила интернет-пользователей на создание сигма-фейса.
Теперь желающие походить на брутального сигма-самца повторяют выражение лица по кадрам из «Американского психопата», а опытные сигма снимают туториалы, в которых учат других парней делать лицо как у Патрика Бэйтмана.
Как повторить сигма-фейс. В тиктоке можно встретить тысячи роликов, в которых парни пошагово копируют выражение лица Патрика Бэйтмана. Авторы туториалов предлагают несколько вариантов сделать сигма-фейс.
Вариант 1.
Растяните губы в ухмылке и нахмурьтесь. Одобрительно кивните головой несколько раз.
Вариант 2.
Сдвиньте брови и попробуйте сделать сердитое лицо.
Вариант 3.
Изобразите расстроенное или жалостливое лицо и улыбнитесь. Далее вытяните губы, будто пытаетесь произнести букву «у». Кивните и снова ухмыльнитесь.
Повторить сигма-фейс пытаются также девушки. В тиктоке образовался целый флешмоб, посвящённый имитации мимики Бэйтмана.
После череды разборов и мемов про сигма-самцов в Сети появились туториалы по созданию выражения лица как у настоящих сигм. Теперь брутальный образ можно повторить, внимательно изучив мимику героя «Американского психопата» и его адептов.
Ранее Medialeaks рассказал, как сделать чадфейс. Во флешмобе пользователи Сети имитируют мимику брутального Гигачада.
В другом материале Medialeaks можно узнать вопросы для игры «Он/Она 10, но». Участники тренда оценивают качества вымышленных партнёров по 10-балльной шкале.
Мимика и жесты — PanARMENIAN.Net
PanARMENIAN.Net — Мимика и жесты человека передают его истинное настроение и самые потаенные, скрываемые даже от себя, мысли.
Интуитивно человек понимает невербальные посылы, однако, чтобы понимать все нюансы человеческих реакций необходимо более глубокое понимание человеческой психики и опыт. «Вычитывание» психологического состояния называется калибровкой. Итак, приступим:
Положение головы
Поднятая голова говорит об уверенности в себе, готовности к коммуникации и открытости к окружающему миру.
Подчеркнуто высоко поднятая голова свидетельствует о высокомерии и самолюбовании.
Запрокинутая голова — это вызов окружающим, готовность к активным действиям.
Склоненная набок голова — готовность идти на компромисс, отказ от лидерства, согласие на роль подчиненного.
Свисающая вниз голова — это слабость, безволие.
Мимика лица и глаз
Полностью открытые глаза соответствуют живости характера, хорошей восприимчивости человека.
Прикрытые глаза — это либо сильное утомление, либо признак инертности, равнодушия, пассивности.
Прищуренный взгляд означает либо пристальное внимание, либо хитрость, коварные планы, злой умысел.
Прямой взгляд, обращенный к собеседнику, показывает интерес, доверие, открытость, готовность к сотрудничеству.
Взгляд сбоку уголками глаз демонстрирует скептическое настроение, недоверие, выражает сомнения.
Взгляд снизу при склоненной голове свидетельствует о некоторой агрессии, которая может быть приведена в действие.
Взгляд снизу при согнутой спине означает покорность, услужливость.
Взгляд сверху вниз в психологии жестов — это всегда чувство превосходства и высокомерия, демонстрация презрительного отношения к партнеру.
Если в мимике собеседника Вы улавливаете уклоняющийся взгляд, то, скорее всего, это неуверенность в себе, робость или чувство вины, или нежелание к контакту.
Опущенные вниз уголки рта на языке мимики означают негативное отношение к жизни, пессимизм.
Приподнятые уголки рта — это символ позитивного, живого и веселого характера.
Язык жестов: руки
В психологии жестов рукам отводится очень большое значение. А связано это с тем, что жестикулируя руками, человек передает множество тех чувств и эмоций, которые не может передать словами.
Ладонь, открытая кверху, — символ объяснения, убеждения.
Руки, свисающие вдоль тела, — пассивность, безволие.
Руки, заложенные за спину, — неготовность к действиям, робость, застенчивость, сомнения.
Руки, спрятанные в карманах, — попытка скрыть, неуверенность в себе.
Рука, сжатая в кулак, — концентрация внимания, самоутверждение.
Потирание рук означает прилив положительных эмоций и удовлетворенность.
Движение рук, закрывающее глаза или лицо, — это стремление что-то скрыть, уйти от разговора.
Язык жестов: плечи
Высоко поднятые плечи и сутулая спина на языке жестов означают нерешительность, беспомощность, нервозность. Существуют и другие примеры, относящиеся к группе жестов неуверенности, которые человек невольно демонстрирует, если сомневается в принятии решения, совершении выбора, если его что-то беспокоит или тревожит.
Плечи, спадающие вперед — знак слабости и подавленности, символ комплекса неполноценности.
Свободное движение плечами — уверенность в себе, внутренняя свобода.
Отведение плеч назад — в психологии жестов и мимики это стремление действовать.
Выпяченная грудная клетка означает завышенную самооценку, жизненную активность.
Впалая грудная клетка — признак замкнутости и угнетенности.
Походка
Согласно данным психологов, характер человека и его личностные качества отражаются на осанке человека, его походке и его любимых позах. Давайте рассмотрим эти моменты более подробно.
Быстрая походка с размахивающими руками соответствует таким качествам, как целеустремленность, уверенность, активность.
Походка с руками в карманах и «волочением ног» свидетельствует о скрытом характере и угнетенном состоянии духа.
Широкие шаги при ходьбе означают ясность целей, предприимчивость, энергичность.
Короткие шаги — признак сдержанности, осторожности, расчетливости.
Ритмичная походка с выраженным движением бедер выдает самоуверенную и самовлюбленную личность.
В человеке, шаркающем ногами, психология отмечает вялость, леность и медлительность.
Угловатая «деревянная» походка — признак самодостаточного и позитивного человека.
Картинки с выражением лица (бесплатно!)
Мне очень нравятся эти вырезки! Это отличный (БЕСПЛАТНЫЙ) способ помочь детям, которые борются с распознаванием выражения лица.
В дополнение к этим забавным и простым в использовании вырезам, обязательно ознакомьтесь со всеми моими удивительными продуктами, помогающими развивать различные навыки у детей, нажав здесь!!
Распознавание выражений лица может быть трудной задачей, потому что ребенок находится в спектре аутизма, но также может быть и то, что ребенку просто трудно читать социальные сигналы. Многие типично развивающиеся дети также нуждаются в небольшой дополнительной помощи, чтобы научиться распознавать выражения лица и понимать эмоции. В дополнение к практике с вырезками выражения лица, еще один отличный способ развить понимание эмоций — это мой многодневный увлекательный набор планов уроков — Calm Caterpillars. Непосредственное обучение маленьких детей идентификации и распознаванию выражения лица может быть чрезвычайно полезным для поддержки их эмоционального развития.
Существует множество способов научить ребенка понимать эмоции и определять выражение лица. Несколько идей для простых стратегий приведены ниже, вы можете найти больше идей для развития эмоциональных навыков на моем веб-сайте — нажмите здесь, чтобы узнать об обучении гибкому мышлению, здесь, чтобы узнать, как помочь детям успокоиться, и здесь, чтобы помочь детям принять свои ошибки.
без разочарования! В приведенных ниже стратегиях используются предметы, которые у вас, вероятно, уже есть под рукой. Кроме того, для дополнительной практики можно использовать изображения выражений лица, включенные в конце этого поста. Разнообразные стратегии использования этих распечатываемых изображений выражения лица также можно найти в конце этого поста!
Выражение лица и развитие ребенка
Обучение детей распознаванию выражений лица является важной вехой в развитии ребенка. Дети начинают понимать, что у других людей есть чувства и что эти чувства отличаются от их собственных. Чтобы узнать, какие чувства испытывает другой человек, ребенок учится, что должен искать подсказки, такие как выражение лица или язык тела человека. Хотя дети начинают осознавать важность чтения выражений лица других людей, им часто требуется небольшая поддержка, чтобы научиться делать это на самом деле. Приведенные ниже упражнения — это веселые и простые способы обучения мимике.
Обучение распознаванию выражения лица
Книги с картинками — отличный способ попрактиковаться в понимании эмоций.
Использовать книжки с картинками . Когда вы сидите с ребенком и читаете книжку с картинками, остановитесь, чтобы указать на лица персонажей (людей или животных). Спросите ребенка, что чувствует персонаж. Если ребенок изо всех сил пытается определить правильное чувство, найдите время, чтобы указать на конкретные черты, которые могут быть хорошими подсказками. Вы можете сказать: «Посмотрите, она улыбается, значит, она чувствует…» и посмотрите, может ли ваш ребенок перечислить это чувство или «Его голова смотрит вниз, а руки крепко обхватили его тело, это, вероятно, означает, что он чувствует…» Указывая на знаки лица и тела, которые дают персонажи, ваш ребенок может определить чувство. Если ваш ребенок все еще борется, дайте ответ. Можно сказать: «Она улыбается, значит, она счастлива!» или «Его голова опущена, а руки обвиты вокруг него, что обычно означает, что кому-то грустно». Связав чувство с сигналами, вы поможете ребенку начать видеть связи.
Создавайте простые карточки-шарады, чтобы тренировать выражение лица.
Играйте в шарады с выражением лица. Составьте список чувств и по очереди проигрывайте их, используя только свое лицо. Для детей, которые не умеют читать, рассмотрите возможность использования картинок с выражением лица, распечатанных из Интернета или простых нарисованных вами лиц. Попросите ребенка по очереди угадывать чувства, которые вы показываете, и проигрывать их.
Воспроизведение выражения лица горячее/холодное . Вы когда-нибудь играли в горячее или холодное, чтобы помочь вашему ребенку что-то найти? Когда она приближается к предмету, вы начинаете говорить: «Ты становишься теплым, супер теплым, ты закипаешь!» или когда он отойдет еще дальше, вы скажете: «Тебе становится все холоднее, намного холоднее, ты ледяной!» Эта игра работает так же, но вместо слов «теплее» или «холоднее» вы будете использовать выражение лица. В этой игре тепло радует, а холод печалит (или злит). Когда ребенок подходит ближе, ваше лицо выглядит слегка счастливым, счастливым, очень счастливым, очень взволнованным.
По мере того, как ребенок продвигается дальше, вы выглядите нейтральным, слегка грустным, очень грустным, притворяясь, что плачете. Ваш ребенок должен не забывать постоянно проверять ваше лицо, когда он или она ходит в поисках объекта, что побуждает много смотреть на людей и обращать внимание на их лица. После нескольких попыток позвольте вашему ребенку что-то спрятать и дать вам подсказки, чтобы найти это, используя его или ее выражение лица!
Используйте печатные формы. Еще один отличный способ научить эмоциям — использовать картинки с выражением лица, включенные в этот пост. Вы можете использовать изображения выражения лица для создания страниц с изображением глаз, бровей и рта, которые можно смешивать и сочетать, чтобы создать множество различных эмоций.
Когда вы будете готовы использовать распечатанные изображения выражения лица, попробуйте несколько разных способов игры!
- Назовите эмоцию (например, «счастье») и предложите ребенку использовать различные картинки с выражением лица, чтобы создать выражение лица, соответствующее названной вами эмоции.
- Назовите ситуацию (например, вы потеряли свою любимую игрушку) и попросите вашего ребенка использовать картинки с выражением лица, чтобы создать лицо, соответствующее эмоциям, которые он испытал бы в описанной вами ситуации.
- Сделайте эмоциональное лицо, используя распечатанные изображения выражений лица, и попросите ребенка определить показанное чувство.
- Прочтите книгу и, пока вы читаете, остановитесь и попросите ребенка использовать распечатанные изображения выражения лица, чтобы они соответствовали тому, как определенные персонажи чувствовали бы себя в каждом крупном сюжетном событии.
- Создавайте магниты, распечатывая изображения выражения лица, ламинируя их и прикрепляя магнитную ленту к обратной стороне. Поместите их на холодильник или другую магнитную поверхность и получайте удовольствие, играя с лицами и наблюдая, сколько разных эмоций вы можете создать.
Обучение пониманию эмоций — сложный, но важный навык! Ключевой частью этого навыка является способность распознавать общие выражения лица.
Практикуясь с распечатанными изображениями выражения лица или играя в описанные игры, вы можете помочь своему ребенку научиться понимать эмоции веселым и увлекательным способом!
Хотите узнать больше о социально-эмоциональных навыках? Проверьте эту страницу, заполненную ссылками! Получите доступ к моей многодневной учебной программе, ориентированной на эмоции: Calm Caterpillars. Откройте для себя различные виды поддержки для родителей здесь. Я также написал несколько гостевых постов, посвященных эмоциям — нажмите здесь, чтобы посмотреть мои гостевые посты! Или ознакомьтесь с моей загружаемой книгой по управлению эмоциональными/поведенческими проблемами у детей здесь!
Выражение лица Версия для печатиНажмите, чтобы скачать
Нравится:
Нравится Загрузка…
Распознавание выражений лиц людей с помощью машинного обучения
Системы машинного обучения можно научить распознавать выражения эмоций на изображениях человеческих лиц с высокой степенью точности во многих случаях.
Однако внедрение может оказаться сложной задачей. Технология находится на относительно ранней стадии. Наборы данных высокого качества может быть трудно найти. И есть различные ловушки, которых следует избегать при разработке новых систем.
В этой статье представлено введение в область, известную как распознавание выражения лица (FER). После объяснения общих особенностей и проблем, составляющих эту область, в этой статье будут рассмотрены общие наборы данных, архитектуры и алгоритмы FER. Кроме того, в нем будут изучены производительность и точность систем FER, чтобы показать, как эти результаты определяют новые траектории для тех, кто изучает автоматическое распознавание эмоций с помощью машинного обучения.
Откуда взялся наш опыт
Информация, представленная в этой статье, основана на сочетании опыта проекта и научных исследований. В Thoughtworks мы создали инструментарий FER под названием EmoPy, поддерживая художницу и режиссера Карен Палмер во время ее пребывания в Thoughtworks Arts.
В качестве ведущего разработчика этого проекта я работал с командой, чтобы помочь Карен создать новую версию ее эмоционального фильма RIOT. Мы создали EmoPy с нуля, чтобы удовлетворить требования системы RIOT к распознаванию эмоций.
Карен Палмер использует инструментарий EmoPy в своих работах.EmoPy публикуется как проект с открытым исходным кодом, помогая расширить публичный доступ к технологии, которая часто остается за закрытыми дверями. В этой последующей статье я расскажу больше о создании набора инструментов EmoPy и объясню, почему и как вы можете использовать его в своих собственных проектах.
До прихода в Thoughtworks я окончил Стэнфорд по специальности «Искусственный интеллект». Большая часть моих исследований была посвящена сравнительным подходам к проблемам машинного обучения, включая рассмотрение систем FER.
Обзор, представленный в этой статье, основан на обоих этих опытах, в Стэнфорде и в Thoughtworks Arts.
Классификация изображений как эмоций
Распознавание выражения лица — это проблема классификации изображений, относящаяся к более широкой области компьютерного зрения.
Задачи классификации изображений — это задачи, в которых изображениям необходимо алгоритмически присвоить метку из дискретного набора категорий. В частности, в системах FER изображения представляют собой человеческие лица, а категории представляют собой набор эмоций.
Для всех подходов машинного обучения к FER требуется набор примеров обучающих изображений, каждый из которых помечен одной категорией эмоций. Часто используется стандартный набор из семи классификаций эмоций:
- Гнев
- Отвращение
- Страх
- Счастье
- Грусть
- Сюрприз
- Нейтральный
Эти классификации эмоций проиллюстрированы на изображении ниже, где показаны репрезентативные образцы изображений, взятые из этой статьи 2014 года о распознавании выражений.
Классификация изображения на основе его изображения может быть сложной задачей для машин. Людям несложно посмотреть на изображение велосипеда и понять, что это велосипед, или посмотреть на лицо человека и понять, что он улыбается и счастлив.
Когда компьютеры смотрят на изображение, они «видят» просто матрицу значений пикселей. Чтобы классифицировать изображение, компьютер должен обнаружить и классифицировать числовые закономерности в матрице изображения.
Эти шаблоны могут быть изменчивыми, и их трудно определить по нескольким причинам. Некоторые человеческие эмоции можно различить только по тонким различиям в чертах лица, при этом такие эмоции, как гнев и отвращение, часто выражаются очень похожими способами. Выражение эмоций каждого человека может быть очень своеобразным, с определенными причудами и мимическими репликами. На фотографиях, подлежащих классификации, может быть большое разнообразие расходящихся ориентаций и положений голов людей.
По этим причинам FER сложнее, чем большинство других задач классификации изображений. Однако хорошо спроектированные системы могут дать точные результаты, если во время разработки учитываются ограничения.
Например, более высокая точность может быть достигнута при классификации небольшого подмножества хорошо различимых выражений, таких как гнев, счастье и страх.
Более низкая точность достигается при классификации больших подмножеств или небольших подмножеств с менее различимыми выражениями, такими как гнев и отвращение.
Компоненты анализа общих выражений
Как и большинство систем классификации изображений, системы FER обычно используют предварительную обработку изображений и извлечение признаков с последующим обучением на выбранных обучающих архитектурах . Конечным результатом обучения является создание модели , способной назначать категории эмоций вновь предоставленным примерам изображений.
Часто используемые системные архитектуры FER Этап предварительной обработки изображений может включать преобразования изображений, такие как масштабирование, обрезка или фильтрация изображений. Он часто используется для выделения важной информации об изображении, например, обрезка изображения для удаления фона. Его также можно использовать для дополнения набора данных, например, для создания нескольких версий исходного изображения с применением различной обрезки или преобразования.
Этап извлечения признаков идет дальше в поиске более описательных частей изображения. Часто это означает поиск информации, которая может быть наиболее показательной для определенного класса, например, края, текстуры или цвета.
Этап обучения происходит в соответствии с определенной архитектурой обучения , которая определяет комбинации слоев, которые взаимодействуют друг с другом в нейронной сети. Архитектуры должны быть разработаны для обучения с учетом состава этапов извлечения признаков и предварительной обработки изображений. Это необходимо, потому что некоторые архитектурные компоненты лучше работают с другими, когда применяются по отдельности или вместе.
Например, некоторые типы извлечения признаков бесполезны в сочетании с алгоритмами глубокого обучения. Они оба находят в изображениях соответствующие функции, такие как края, и поэтому их совместное использование излишне. Применение извлечения признаков до алгоритма глубокого обучения не только не нужно, но и может даже негативно повлиять на производительность архитектуры.
Сравнение алгоритмов обучения
После завершения любого этапа выделения признаков или предварительной обработки изображения алгоритм обучения создает обученную модель прогнозирования. Существует ряд вариантов обучения моделей FER, каждый из которых имеет сильные и слабые стороны, что делает их более или менее подходящими для конкретных ситуаций.
В этой статье мы сравним некоторые из наиболее распространенных алгоритмов, используемых в FER:
- Многоклассовые машины опорных векторов (SVM)
- Сверточные нейронные сети (CNN)
- Рекуррентные нейронные сети (RNN)
- Сверточная долговременная кратковременная память (ConvLSTM)
Мультикласс Машины опорных векторов (SVM) — это контролируемые алгоритмы обучения, которые анализируют и классифицируют данные, и они хорошо работают при классификации выражений лица человека. Однако они делают это только тогда, когда изображения создаются в контролируемых лабораторных условиях с последовательными позами головы и освещением.
SVM менее эффективны при классификации изображений, снятых «в дикой природе» или в спонтанных, неконтролируемых условиях. Таким образом, все последние изучаемые архитектуры обучения представляют собой глубокие нейронные сети, которые лучше работают в этих обстоятельствах. Сверточные нейронные сети (CNN)
в настоящее время считаются наиболее подходящими нейронными сетями для классификации изображений, поскольку они обнаруживают закономерности в небольших частях изображения, таких как изгиб брови.CNN применяют ядра, которые представляют собой матрицы, меньшие, чем изображение, к частям входного изображения. Применяя ядра к входным данным, новые матрицы активации, иногда называемые картами признаков, генерируются и передаются в качестве входных данных на следующий уровень сети. Таким образом, CNN обрабатывают более детализированные элементы изображения, что позволяет им лучше различать две похожие классификации эмоций.
Альтернативно, Рекуррентные нейронные сети (RNN) используют динамическое временное поведение при классификации изображения.
Это означает, что когда RNN обрабатывает входной пример, она не просто просматривает данные из этого примера — она также просматривает данные из предыдущих входов, которые используются для предоставления дополнительного контекста. В FER контекстом могут быть предыдущие кадры изображения видеоклипа.
Идея этого подхода состоит в том, чтобы зафиксировать переходов между чертами лица с течением времени, позволяя этим изменениям стать дополнительными точками данных, поддерживающими классификацию. Например, можно фиксировать изменения краев губ по мере того, как выражение лица меняется от нейтрального к счастливому при улыбке, а не только края улыбки из отдельного кадра изображения.
Комбинации для большего эффекта
Сила CNN в извлечении локальных данных может сочетаться со способностью RNN использовать временной контекст с использованием Convolutional Long Short Term Memory (ConvLSTM) . Эти системы используют сверточные слои для извлечения признаков и слои LSTM для фиксации изменений в последовательностях изображений.
Поскольку глубокие нейронные сети хорошо выявляют закономерности в изображениях, их также можно использовать для извлечения признаков. Некоторые подходы FER используют CNN для создания векторов признаков, которые затем отправляются в SVM для классификации. Этот подход может привести к более точным результатам, но представляет собой более сложную архитектуру, которая требует дополнительных усилий по программированию и увеличения времени обработки для каждого классифицированного изображения.
Производительность любого из этих подходов зависит от входных данных, параметров обучения, набора эмоций и системных требований. По этим причинам важно экспериментировать с различными обучающими архитектурами и наборами данных, оценивая точность и полезность каждой комбинации.
Поиск правильных данных
Как описано выше, модели FER должны быть обучены на наборе помеченных изображений, прежде чем их можно будет использовать для классификации новых входных изображений.
Для обучения этим приложениям требуются большие наборы данных изображений лиц, каждое из которых отображает отдельную эмоцию — чем больше помеченных изображений, тем лучше.
Принятие решения о том, на каком наборе данных обучать сеть, — непростая задача, особенно потому, что трудно найти высококачественные наборы данных FER. Немногие такие наборы данных находятся в открытом доступе, а те, что есть, имеют особенности, которые необходимо понимать и принимать во внимание.
Изображения из набора данных Кона-Канаде (описано ниже)Наиболее важными моментами, которые следует учитывать при выборе набора данных, являются размер и качество набора. Размер, пожалуй, самый важный, а также самый простой для объяснения. В идеале набор данных должен содержать тысячи, а лучше миллионы изображений.
Многие общедоступные наборы данных FER содержат только сотни, а иногда и тысячи изображений. Напротив, база данных эмоций Affectiva, содержащая более 5 миллионов лиц, используется для коммерческих продуктов классификации эмоций.
Однако эти данные не являются общедоступными.
Качество набора данных можно оценивать по-разному. Одним из ключевых соображений является уровень представления данных классификаций эмоций. Во многих наборах данных некоторые эмоции обычно непропорционально представлены недостаточно или чрезмерно представлены по сравнению с другими. Например, наборы данных обычно содержат гораздо меньше примеров отвращения, чем счастья или гнева.
Еще одним аспектом качества является то, как стимулировались эмоции, выраженные в наборах данных. Приказано ли актерам «разыгрывать» эмоции? Или люди подвергались подлинным эмоциональным переживаниям, которые затем записывались? Эти два подхода могут привести к очень разным результатам.
Еще одно соображение касается позы головы. Каков диапазон поз головы и ориентаций в наборе данных? Важно: как этот диапазон соотносится с диапазоном поз головы, ожидаемых в вашей производственной среде?
Каков диапазон изменчивости освещенности объекта на каждом изображении и как это связано с вашей целевой средой? Как изображения были помечены при создании набора данных и кем? Есть ли какая-либо предвзятость в ярлыках, которая увеличит предвзятость вашей модели?
Все это вопросы качества набора данных, которые следует учитывать при выборе набора данных.
Наборы данных и целевые эмоции
Выбор набора данных должен проводиться с учетом набора целевых эмоций для классификации. Как упоминалось ранее, некоторые эмоциональные выражения похожи друг на друга. Кроме того, тонкие выражения, такие как презрение, бывает очень трудно уловить. Следовательно, некоторые наборы данных будут превосходить другие для определенных эмоциональных наборов.
Нейронные сети, обученные на ограниченном наборе эмоций, как правило, дают более высокие показатели точной классификации. Чтобы привести самый экстремальный пример, обучение на наборе данных, содержащем только примеры счастья и гнева, имеет тенденцию давать очень высокую точность. Две такие разные целевые классификации означают, что перекрытие в мимическом выразительном диапазоне сведено к минимуму.
Когда нейронные сети обучаются на наборах данных, содержащих недопредставленные эмоции, такие как отвращение, они, как правило, неправильно классифицируют эти эмоции. Это происходит потому, что несколько эмоций могут иметь схожие черты лица, а набор данных не содержит достаточно больших наборов примеров одной эмоции, чтобы найти четкие отличительные закономерности.
Перенос обучения и дополнение данных
Все эти проблемы усложняют процесс выбора набора данных и приводят к необходимости искусственного улучшения любого набора данных, который вы решите использовать. Это заставляет некоторых исследовать технику, называемую трансферным обучением, подход, который использует знания, полученные при решении одной проблемы, и применяет эти знания к другой, но связанной проблеме.
Идея трансферного обучения заключается в том, чтобы не начинать обучение с нуля. Вместо этого стройте модели нейронных сетей, которые ранее были обучены на большом количестве аналогичные данные для решения какой-либо другой аналогичной проблемы. Эти модели уже поставляются с набором предварительно обученных классификационных весов, которые можно использовать в качестве отправной точки и которые можно повторно обучить с новым набором данных, использующим новый набор классификаций.
В случае FER можно использовать нейронные сети, которые были предварительно обучены на большом количестве изображений для решения общих задач классификации изображений, таких как модель Google Inception-V3.
Эта модель обучается на наборе данных ImageNet, содержащем около 80 000 изображений 1000 классов, таких как «зебра», «далматин» и «посудомойка», с использованием CNN.
Тем не менее, есть много возможностей для улучшения моделей трансферного обучения для FER, поскольку такие модели очень трудно обобщать для наборов данных. Модель, обученная на одном наборе данных, может плохо работать при использовании для классификации изображений из второго набора данных.
Другой подход заключается в использовании увеличения данных для искусственного увеличения размера наборов данных. Этот подход создает копии оригинальных изображений с измененным освещением, примененными поворотами и зеркальным отображением, а также другими преобразованиями. Этот подход может повысить точность нейронных сетей за счет увеличения диапазона состояний, в которых встречаются исходные признаки во время обучения.
Производительность на практике
В таблицах ниже показаны результаты точности для нескольких последних архитектур моделей глубоких нейронных сетей, обученных на двух разных общедоступных наборах данных:
- Расширенный Cohn-Kanade, выпущенный в 2010 г. , и
- Оулу-CASIA, выпуск 2009 г.
, иТаблицы взяты из академического исследования 2017 года, в котором собственные результаты, показанные в строке «Наш-финал», сравниваются с другими архитектурами, упомянутыми в документе.
| Метод | Точность |
|---|---|
| АУРФ [105] | 92,22 % |
| АУДН [106] | 93,7 % |
| СТМ-Эксплет [107] | 94,2 % |
| ЛОмо [108] | 95,1 % |
| ВДТ+ФВ [109] | 95,8 % |
| Сеть глубокого убеждения [78] | 96,7 % |
| CNN с нулевым смещением [110] | 98,4 % |
| Наш-Финал | 98,7 % |
Однако важно отметить, что эти модели были обучены и протестированы на наборе данных Кона-Канаде, который содержит менее 500 образцов изображений с выражениями лица, и что эти выражения были «отыграны», а не аутентично выражены.Сыгранные выражения лица обычно более преувеличены, чем то, что мы видим в реальном мире. Если бы мы классифицировали новые изображения с помощью этих моделей, они, скорее всего, оказались бы хуже. Системы, обученные на наборах данных, созданных в контролируемой лаборатории, обычно не могут обобщать наборы данных.
| Метод | Точность |
|---|---|
| ДАТГН [111] | 81,46 % |
| ЛОмо [108] | 82,1 % |
| ППДН [112] | 84,59 % |
| FN2EN [98] | 87,71 % |
| Наш-Финал | 89,60 % |
Набор данных Oulu-CASIA состоит из шести выражений: удивление, счастье, печаль, гнев, страх и отвращение.
Записанные изображения взяты у группы из 80 человек, большинство из которых были мужчинами. Пятьдесят испытуемых были финны и тридцать китайцы.
Выражения не только разыгрывались, но испытуемым давали изображения выражений лица, которые они использовали в качестве примеров для подражания. Это еще один пример набора данных с чрезвычайно контролируемым процессом создания, что приводит к отсутствию обучающего разнообразия и модели, которая не может обобщать.
Разработка новых проектов в FER
Эти примеры помогают проиллюстрировать основную проблему, возникающую при разработке системы FER — возможность обобщения. Как можно добиться высокой точности для нескольких наборов данных, содержащих изображения с несколькими вариантами позы, освещения и других отличительных признаков?
Эти вопросы привели нас к разработке нашего собственного общего инструментария FER, основанного на лучших доступных общедоступных данных и использующего описанные выше методы для получения точных результатов.
EmoPy — это система с открытым исходным кодом, готовая для общего использования.
При внедрении новых систем необходимо искать слабые места и анализировать особенности вашего конкретного варианта использования. Это может привести к неожиданным решениям, например, когда мы записали собственный набор данных, максимально соответствующий целевой производственной среде, для тестирования обученных моделей.
Мы определили, что лучший способ добиться высокой точности в нашем проекте — это обучить нашу модель на небольшом наборе данных, который максимально соответствует ожидаемым условиям художественной инсталляции.
Видео создания набора данных Карен Палмер Эти условия могут быть изменчивы, так как опыт позиционируется по-разному на каждой выставке работ, но, как правило, мы ожидаем темные комнаты с светом, сияющим на лицах участников под большим углом. Также мы ожидаем, что выражения лица участников будут более тонкими, чем «постановочные» или отыгрываемые выражения.