Что такое фейс трекинг
Отслеживание лиц в реальном времени в браузере с использованием TensorFlow.js. Часть 1
Такие приложения, как Snapchat, предлагают удивительное разнообразие фильтров для лиц и объективов, которые позволяют накладывать интересные эффекты на фотографии и видео. Если вы когда-либо дарили себе виртуальные собачьи уши или праздничную шляпу, вы знаете, насколько это может быть весело!
Задумывались ли вы о возможности создания таких фильтров с нуля? Что ж, теперь у вас есть возможность научиться всему, используя только веб-браузер! В этой серии статей мы узнаем, как создавать в браузере фильтры в стиле Snapchat, обучать модель искусственного интеллекта (ИИ) понимать выражения лиц и добиваться ещё большего, используя библиотеку Tensorflow.js и отслеживание лиц.
Вы можете загрузить демоверсию этого проекта. Для обеспечения необходимой производительности может потребоваться включить в веб-браузере поддержку интерфейса WebGL. Вы также можете загрузить код и файлы для этой серии. Предполагается, что вы знакомы с JavaScript и HTML и имеете хотя бы базовое представление о нейронных сетях.
Первый шаг к созданию фильтра для лиц с нуля – это обнаружение и локализация лиц на изображениях. Поэтому мы можем начать отсюда.
Лица можно отслеживать с помощью библиотеки TensorFlow.js и модели обнаружения ориентиров лиц, которая за пару миллисекунд может дать нам 486 различных ключевых точек в пространстве для каждого лица на изображении или в видеокадре. Особенно замечательно то, что эта модель может работать в рамках веб-страницы, поэтому вы также сможете отслеживать лица на мобильных устройствах, используя тот же код.
Давайте настроим проект, чтобы загрузить модель и запустить отслеживание лиц в видеопотоке с веб-камеры.
Отправная точка
Вот начальный шаблон веб-страницы, который мы будем использовать для отслеживания лиц.
Этот шаблон содержит:
библиотеки TensorFlow.js, необходимые для этого проекта;
индекс эталонной сетки для лица, заданный в файле triangles.js (включён в код проекта);
элемент canvas для визуализированных выходных данных;
скрытый элемент video для веб-камеры;
текстовый элемент статуса и служебная функция setText ;
служебные функции drawLine и drawTriangle для элементов canvas.
Использование API веб-камеры в HTML5 с TensorFlow.js
В JavaScript довольно просто запустить веб-камеру, если у вас есть для неё фрагмент кода. Вот служебная функция запуска веб-камеры и запроса доступа у пользователя:
Мы можем вызвать функцию setupWebcam в блоке async в нижней части нашего кода и заставить её воспроизводить видео веб-камеры после загрузки.
Затем давайте настроим выходной элемент canvas и подготовимся к рисованию линий и треугольников для ограничивающего прямоугольника и каркаса лица.
Контекст canvas будет использоваться для вывода результатов отслеживания лиц, поэтому мы можем сохранить их глобально за пределами блока async. Обратите внимание, что мы зеркально отразили изображение веб-камеры по горизонтали, чтобы поведение было более естественным, как в настоящем зеркале.
Давайте отследим некоторые лица
Теперь мы готовы! Всё, что нам нужно, – это загрузить модель обнаружения ориентиров лица TensorFlow и применить её к кадрам нашей веб-камеры, чтобы показать результаты.
Во-первых, нам нужна глобальная переменная model для сохранения загруженной модели:
Затем мы можем загрузить модель в конец блока async и задать текст статуса, чтобы указать на готовность нашего приложения для отслеживания лиц:
Наконец, мы можем запустить первый кадр для отслеживания, вызвав эту функцию в конце нашего блока async:
Финишная прямая
Полный код должен выглядеть так:
Можно ли с помощью отслеживания лиц добиться большего?
Объединив модель обнаружения ориентиров лица TensorFlow с видео с веб-камеры, мы смогли отслеживать лица в режиме реального времени прямо в браузере. Наш код отслеживания лиц также работает с изображениями, а ключевые моменты могли бы сказать нам больше, чем мы могли бы ожидать. Может быть, нам следует попробовать применить этот код к набору данных лиц, например FER+ Facial Expression Recognition (распознавание выражений лиц)?
В следующей статье этой серии мы используем глубокое обучение на отслеженных лицах из набора данных FER+ и попытаемся точно определить эмоции человека по точкам лица в браузере с помощью TensorFlow.js. До встречи завтра, в это же время.
Узнайте подробности, как получить Level Up по навыкам и зарплате или востребованную профессию с нуля, пройдя онлайн-курсы SkillFactory со скидкой 40% и промокодом HABR, который даст еще +10% скидки на обучение.
Опознать каждого: как в столице внедряют технологии фейс-трекинга
В центрах «Мои документы» планируют протестировать технологии искусственного интеллекта – распознавание речи и образов. Это поможет оценить впечатления посетителя от работы сотрудников лучше, чем традиционные кнопки «понравилось/не понравилось».
Технология похожа на фейс-трекинг, или распознавание лиц. «Цифровая Москва» решила выяснить, в каких еще сферах это применяется и где подобные системы стоит ожидать в ближайшем будущем.
Как работает фейс-трекинг
Видеокамера захватывает лицо человека и разбивает по отдельным признакам – нос, рот, глаза, брови и прочее. Нейросети перебирают по этим элементам снимки, имеющиеся в базе данных, и по источнику находят человека.
Важно, что систему не обмануть прической и очками: строение черт лица индивидуально (кроме близнецов). По похожей схеме работают пограничники: они не обращают внимания на растительность на лице или прическу, зато сравнивают, скажем, расстояние между глазами или величину промежутка между носом и верхней губой.
Как его применяют …
В банках
ТАСС/Сергей Фадеичев
В январе этого года один из крупных российских банков объявил о запуске системы распознавания лиц для ускорения обслуживания клиентов.
Механизм выглядит так: пока клиент ждет приема у специалиста, нейронная сеть его опознает и передает кредитную историю менеджеру заранее, то есть обслуживание будет происходить быстрее.
В магазинах
Система распознавания лиц опознает посетителя, только входящего в магазин. Продавец уже знает, кто это, и за несколько секунд видит его историю покупок, размер одежды или обуви и любимые марки.
Таким образом, покупателю будут предлагать только то, что подходит ему, что сэкономит время и, как ожидается, улучшит качество обслуживания.
На стадионах
ТАСС/Артем Коротаев
Как рассказал эксперт Битрикс24 Сергей Кулешов, фейс-трекинг на фанатском футбольном секторе или на подходах к стадиону позволяет нейросетям вычислить известных болельщиков. Система подаст сигнал полиции и службе безопасности стадиона при обнаружении человека, который находится в черном списке.
После такого, считает Кулешов, даже традиционное затягивание капюшона, бейсболка и прочие методы маскировки не помогут лидеру «фирмы»: программа зафиксирует его образ и будет вести камерами.
В интернет-магазинах
Недавно один из крупнейших российских онлайн-продавцов заявил о внедрении системы видеозахвата и распознавания операции по упаковке каждого заказа. Это позволяет менеджеру ввести в систему номер заказа и система покажет видео упаковки и отправки вплоть до погрузки посылки в машину курьера.
С такими возможностями можно отследить путь вещи в случае ошибки: например, если упаковщик взял не тот пакет со стеллажа.
Как игровые технологии и face tracking изменят коммерческую съёмку
Технологии захвата движения в кинематографе используют уже давно, но качественная передача мимики до недавнего момента оставалась доступной лишь мировым киностудиям. Новые IPhone и игровой движок Unreal Engine 4 (UE4) изменили правила игры. C помощью TrueDepth камеры смартфона можно отслеживать движения лица актёра и переносить их на 3D-персонажа в режиме реального времени. А ещё это очень дёшево. О перспективах технологии в коммерческой съёмке фантазирует видеопродакшен LISPAKO.
Unreal Engine разработали в Epic Games в 1998 году и изначально это был исключительно игровой движок для шутеров от первого лица. Но технология оказалась настолько вариативной, что постепенно его адаптировали для других игровых жанров, а к четвёртой версии он стал использоваться и в киноиндустрии.
Самым знаменитым примером стал сериал «Мандалорец». Там UE4 использовали для создания адаптивного фона вместо хромакея. Зелёный фон в студии заменили на большие LED-экраны, куда в реальном времени рендерится фон. Преимущество такого подхода в том, что движок сам поменяет положение объектов, освещение и фокусировку в зависимости от угла съёмки, что значительно сэкономит время на пред- и постпродакшене. Прямо в процессе съёмок можно дорисовывать необходимые объекты и менять время суток. Также UE4 позволяет создать VR-среду для актёров и группы, где всё может меняться прямо в процессе съёмок.
Движок даёт и неограниченные возможности для 3D-анимации. Помимо фонов, разработчики уже попробовали рендерить в реальном времени физические объекты, например, автомобили. На конференции GDC Epic Games показали создание Chevrolet Camaro на основе реальной модели без кузова.
Если технологию захвата движений тела уже неплохо усовершенствовали в кино и играх, то мимика оставалась серьёзной проблемой. Для считывания движения лица используют тяжёлую, неповоротливую и дорогую аппаратуру, данные с которой всё равно приходится дорабатывать вручную. Помощь пришла с рынка портативных устройств.
Начиная с IPhone X Apple использует в смартфонах TrueDepth камеру для распознавания лиц. Камера отслеживает положение 51 точки на лице и присваивает каждой значение от 0 до 1, в зависимости от интенсивности движения. Эти данные можно экспортировать в UE4 и примерить на готового персонажа в режиме реального времени. Риг будет повторять не только движение мышц, но и направление взгляда актёра. Технология позволяет очень качественно перенести мимику с человека на персонажа, при этом не требуя серьёзного оборудования и долгого постпродакшена.
Создание персонажа напоминает игру в Sims. Можно выбрать одного из готовых ригов и изменить форму глаз, ушей, носа, цвет кожи и волос. А затем примерить на него собственную мимику. На всё уйдёт не более часа. Пока технология находится в бета-тестировании, но в скором времени её откроют для всех.
Пока перенос мимики возможен лишь на анимированных людей, для всех персонажей также прописан человеческий «скелет». Но после завершения тестирования пользователи ожидают появления возможности создавать и фантастических персонажей или животных. Правда, будет ли настолько же легко переносить на них движения тела, пока не ясно.
Мы уверены, что выход технологии из бета-тестирования обрушит стоимость анимирования 3D-персонажей. Для этого есть несколько причин: доступность оборудования, бесплатный доступ к движку и сокращение времени на постпродакшен.
Значительно удешевит стоимость производства и сокращение затрат на постпродакшен. Раньше всю анимацию лиц приходилось доделывать вручную, поэтому работа над сценой длиной в несколько секунд могла занимать несколько часов. Описанный способ позволяет создать полность готового к экспорту в среду персонажа за час.
Локомотивом изменений в производстве видеоконтента, конечно, становятся большие киностудии. Учитывая, что они уже заявили проекты, полностью поставленные на UE4, вскоре мы увидим, как применяют face tracking в полном метре. Энтузиасты уже используют Unreal Engine для воссоздания сцен из любимых фильмов, а также снимают собственные короткометражные мультфильмы. Осталось дождаться первых рекламных роликов.
Отдельные возможности UE4 уже используются в коммерческой съёмке. Например, можно снять виртуальную студию с LED-экранами вместо хромакея под свой проект или даже устроить там виртуальный ивент. Так, МТС во время карантина успела провести в расширенной реальности целый музыкальный фестиваль, где зрители могли взаимодействовать с артистами.
Среди клиентов LISPAKO несколько IT-компаний, который организуют митапы и конференции. Мы планируем экспериментировать с созданием для них виртуальных локаций и переносом в них 3D-моделей спикеров. А ещё вместе с нашими партнёрами мы планируем заменить интервьюера роботом. Как мы тренируемся, смотрите в коротком ролике:
Если вы уже использовали UE4 и face tracking в проектах для коммерческих клиентов или пока только вынашиваете такую идею, расскажите в комментариях. Давайте пофантазируем о будущем вместе.
Представьте, что вы продаёте музыкальные диски. К вам в магазин заходит посетитель. Хотите обратиться к нему по имени и сказать, что у его любимой группы Depeche Mode вышел новый альбом? Новый инструмент от Битрикса, Face-tracker, позволяет это сделать. Он использует новейшие технологии нейронных сетей для распознавания лиц и поиска клиентов в сети интернет. Мы протестировали эту передовую технологию и расскажем кому будет полезен Face-tracker Битрикс24.
Что такое face-tracker и нейронные сети:
В двух словах нейронная сеть это специальный алгоритм построенный по принципу функционирования нервной системы человека. Одним из главных преимуществ нейронных сетей перед традиционными алгоритмами является возможность обучения (машинное обучение). Даже простые нейронные сети могут решать сложные прикладные задачи. В том числе распознавать лица.
Face-tracker Битрикс24 использует нейронные сетей и машинное обучение для распознавания лиц через веб-камеру, подключенную к компьютеру. Алгоритм работы следующий:
Как использовать
Все очень просто, никаких настроек не требуется. Идем в раздел CRM, там находим Face-tracker.
В открывшемся окне вы увидите вид с камеры, если она подключена. Камера автоматически будет искать лица и фиксировать их, если не убрать соответствующую галочку.
После того как лицо человека будет распознано, можно найти его в vk или добавить в CRM.
Если нажать на ссылку Найти профиль Вконтакте, откроется окно с результатами поиска. Они отсортированы по проценту попадания. По результатам поиска нужно выбрать конкретный профиль. Руководствоваться при выборе можно процентом попадания, фото, именем или городом, указанным в профиле.
Из 10 сфотографированных коллег, трекер смог найти только четырех. Интересно, что поиск осуществляется очень быстро и по всем фотографиям пользователя, а не только по аватарке. При автоматическом фотографировании трекер не всегда точно “узнаёт” пользователя, которого уже видел, т.к. фотография не всегда получается в нужном ракурсе.
Face-tracker Битрикс24 — пять примеров реального применения
Подсчет посетителей магазина
Хотите посчитать сколько новых посетителей к вам приходит ежедневно? Разместите веб-камеру перед входом в ваш магазин и настройте face-tracker Битрикс24. В конце дня вы сможете посмотреть, сколько людей зашло в магазин. И даже найти Вконтакте ту милую брюнетку.:)
Идентификация повторных посетителей
Хотите распознать повторного посетителя, чтобы улучшить качество обслуживания? Face-tracker сделает это за вас. Вы будете знать сколько раз этот клиент был у вас и когда он был в последний раз.
Хотите улучшить качество обслуживания и сделать его более персонифицированным? Установите веб-камеру и найдите своих клиентов в социальных сетях с помощью Face-tracker. Узнайте когда у ваших клиентов день рождения или какую музыку они любят слушать. Эта информация поможет вам стать еще ближе к своим клиентам, повысив эффективность бизнеса.
Автоматизация заполнения CRM на массовых мероприятиях
Проводите специальную акцию, семинар или двусторонние встречи? Каждый посетитель это потенциальный клиент и вы знаете, как важно занести информацию о его участии в CRM. Теперь не нужно записывать вручную всю сотню лидов. Установите камеру в удобном месте и ваша CRM будет знать кто и когда посетил мероприятие.
Быстрое создание лидов при приеме посетителей
У вас частная клиника или салон красоты и вы хотите быстро создавать лиды при приеме посетителей? Создавайте лиды прямо со страницы Face-tracker’а на основе информации о распознанных посетителях. Дополните лид информацией, полученной из социальных сетей и лично от потенциального клиента.
Идентификация проблемных клиентов
Допустим, в один из офисов вашей компании обращался клиент, посещение которого вызвало определенные проблемы (клиент не заплатил за заказ, хамил и грубил сотрудникам). Об этом были сделаны комментарии в CRM. Если он обратится в другой офис вашей компании, то трекер его распознает. И тогда сотрудники будут заранее уведомлены, что с клиентом могут быть проблемы.
Заключение
Битрикс24 не стоит на месте и все время развивается. Постоянно появляются новые инструменты для автоматизации бизнеса. Не у всех есть время и возможность в них разобраться, но вы всегда можете обратиться к нашей компании, как к опытному веб-интегратору. Мы регулярно применяем все новейшие инструменты и техники на практике. Позвоните — обсудим ваши задачи, предложим интересные и эффективные решения.
Обзор технологий трекинга: AR Маски
Всем привет. Меня зовут Дядиченко Григорий, и я люблю трекинг. За последние годы технологии трекинга развивались семимильными шагами и становились всё более и более демократичными. Появилось много технологий самого разного плана. Мне повезло поработать с огромным количеством технологий разного рода, поэтому данные знания хочется несколько структурировать. По большей части мы будем разбирать технологии трекинга совместимые с Unity или Web. Так что, если эта тема вам интересна. Добро пожаловать под кат!
Трекинг в общем — это очень объёмная тема. Существует множество технологий трекинга, про которые хочется рассказать в этой серии статей. Но сегодня хочется поговорить про Face Landmark Recognition. В целом в плане распознавания лица существует множество других прикольных технологий и задач, которые они решают, типа того же Face Recognition в FaceID и подобных кейсах безопасности, но в контексте работы с графикой и интерактивных визуализаций самой интересной, пожалуй, является именно технология определения ключевых точек на лице.
Применение AR масок
AR маски наверное самый распространённый вид применения дополненной реальности. Иногда даже складывается впечатление, что многие не воспринимают его, как AR. Первое же что приходит в голову — это социальные сети. Маски с дополненной реальностью уже неотъемлемая часть того же Instagram и TikTok. Но это далеко не единственное использование технологии. Приведу ещё немного примеров.
Face Tracking в продакшене
В 2020 году у нас состоялась интересная сделка. В статье, конечно, говорится о том, что могут использовать для реалтайм эмоций игроков в фортнайт. Это возможно, но есть и другая сторона вопроса. В игровой разработке и в видео продакшене многие пытаются перейти от дорогостоящего производства лицевых анимаций с помощью Motion Capture технологий, таких как Faceware, к более простым инструментам. FaceRig используется VTuber’ами. Да и во многих случаях не нужна точность, которую предоставляют дорогостоящие технологии захвата движений. Даже в проектах, которые мне когда-то нужно было разработать встречался такой подход, что часть лицевых анимаций записывались с помощью трекинга ARKit. Поэтому одно из применений это упрощённый демократичный путь производства, который подходит тем же инди студиям, у которых нет бюджета на закупку оборудования за несколько тысяч долларов. Хотя сравнительно недавно у Faceware появилось предложение для инди.
AR Маски в рекламе
Реализация довольно похожа на то, что мы видим в социальных сетях. Макси используются для продвижения какого-либо продукта или привлечения аудитории. Так же для создания аудиторией собственного контента. Ещё несколько примеров:
Помимо данных примеров эту технологию можно использовать в AR стойках в торговых центрах и подобных проектах. И в целом этим применение технологии не ограничивается, но тогда статья получится про применение, а мы же пришли поговорить про реализации технологии.
Технологии
Большая часть разбираемых технологий будет совместима с Unity, но кроме того я встречал интересные решения для веба, да и некоторые нельзя просто обойти стороной. Отфильтрованы были те, у которых нельзя скачать SDK для того, чтобы самостоятельно проверить работу SDK или же которые не совсем понятно, каким образом можно купить (если технология платная).
SparkAR
Поддерживаемые платформы: Android/IOS
Совместимость с Unity: Нет, но можно сделать ссылку в приложении
Поддержка устройств: Большое количество устройств
Говоря про маски, нельзя не упомянуть Spark. Спарк — это прекрасная технология, которая позволяет создавать свои Instagram маски. Если вас устраивают ограничения политик фейсбука и маски ориентированы в первую очередь на шейринг — это отличный выбор, так как в вашем приложении можно разместить ссылку на маску и дать её пользователям. В любом случае пользователи будут делиться вашей маской в инстаграм, фейсбук и т.п. Широкая поддержка устройств является основным плюсом. Кроме того, большое количество обучающих материалов по сбору масок.
ARFoundation (ARKit/ARCore)
Поддерживаемые платформы: Android/IOS
Совместимость с Unity: Есть
Вес SDK в билде: Около 2МБ
Поддержка устройств: Маленькое количество устройств
В версии ARFoundation 4.1 Face tracking поддерживается уже и ARCore и ARKit (Достаточно долгое время ARFoundation поддерживал только ARKit). Отдельно на самих технологиях останавливаться не хочется, так как они имеют не так много различий и, по сути, объединены общим API в AR Foundation. Из плюсов встраиваемость в Unity приложение, стабильная работа, относительная простота интеграции и бесплатность. Основным же минусом является небольшое количество поддерживаемых устройств.
В целом крутое SDK, если проект делается для заготовленного списка устройств, которые покупаются под определённые цели и так же для прототипирования лицевых анимаций, чтобы быстро разработать для себя подобный инструмент. Работает хорошо, правда только на очень ограниченном числе флагманских устройств.
OpenCV + Dlib
Поддерживаемые платформы: Android/IOS/WebGL/Win/Mac/Linux/Hololens/MagicLeap
Совместимость с Unity: Есть
Вес SDK в билде: около 9МБ (без классификаторов, но их можно скачать по сети)
Поддержка устройств: Зависит от требуемого функционала
XZIMG
Поддерживаемые платформы: Android/IOS/WebGL/Win
Вес SDK в билде: около 2МБ
Совместимость с Unity: Есть
Поддержка устройств: Большое количество устройств
ARGear
Цена: Бесплатно/от 25$ в месяц
Поддерживаемые платформы: Android/IOS
Совместимость с Unity: Есть
Вес SDK в билде: около 9МБ
Поддержка устройств: Большое количество устройств
BRFv5
Поддерживаемые платформы: Web/Android(Chrome)/IOS(Safari)
Совместимость с Unity: Нет
Единственное целиком и полностью веб SDK с непонятным ценообразованием, которое в первую очередь понравилось мне своим качеством. Пример его работы можно посмотреть тут. Но как же оно хорошо работает. Я протестировал его и на своих тест устройствах на смартфонах (важно: на андроид работает именно в хроме) и на пк погонял, и для 68 лендмарок — это прям круто. В плюс к тому это веб. Прям даже интригующе. Качество трекинга в разы лучше, чем у того же Media Pipe графа для построения меша лица.
В заключении
Из не вошедших, пожалуй, стоит упомянуть Banuba и Deepar. Бануба не вошла, так как у неё непонятное ценообразование и как бы там ни было сложная схема получения триала. А Deepar так как у него отсутствует SDK для Unity, и при этом он мне не показался особо интересным.
В целом существует достаточно много самых разных технологий, которые можно использовать в своих проектах. На разный кошелёк и с разными подходами по отношению к лицензиям. Со своими плюсами и минусами. Но тем не менее сам принцип технологии очень крутой и имеет много любопытных применений. Конечно, я большой фанат OpenCV и более менее хардкорных технологий компьютерного зрения, но к сожалению, в плане юнити, благодаря платности плагина, особо репозитории с примерами не поделаешь. Может потом придумаю, как это красиво оформить, чтобы не нарушать ни чью лицензию.
Всем спасибо за внимание, поддержите если материал был интересен и стоит продолжать эту серию. Пока в планах стоит ещё маркерный трекинг, SLAM, системы оптического трекинга и т.п.