Каким способом работает распознавание лиц в мобильных устройствах

Почему мы выбираем разблокирование по лицу

В последние времена определение физиономий стало одной из самых распространённых возможностей для открытия смартфонов. Лишь несколько лет тому назад основная масса юзеров довольствовались PIN-кодами, паролями или датчиками отпечатков пальцев. Но с появлением таких технологий, например вулкан россия, нам вполне просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь обуславливает эту особенность такой востребованной? Для начала, это комфортно: не нужно запоминать трудные пароли или искать правильный палец в мраке. Кроме того, это мгновенно: современные алгоритмы распознают лицо практически за мгновение. В-третью очередь, это чувство футуристичности — будто в фильмах про казино вулкан агентов.

Однако за данной видимой легкостью таится полный вселенная сложных методов и инженерных разработок. Попробуем исследовать, как именно функционирует фейсканирование в актуальных смартфонах, какие применяются технологии, насколько они надёжны и что нас предстоит.

Сжатая повествование развития технологии

Идентификация лиц как методика имеется уже более пятидесяти годов. Изначальные пробы машинного изучения лица были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ могли лишь обозначать силуэты черепа и вычислять расстояния между глазами и устами на ахроматических снимках.

Начальные торговые системы появились в девяностых годах, но они были несовершенны: действовали неспешно и часто давали сбои. Только с эволюцией искусственных сетей и таких систем, как вулкан россии, сильных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные решения.

Главные этапы работы механизма определения

Процесс определения лица можно условно сегментировать на несколько основных этапов:

1. Идентификация лица — камера распознает существование гуманного образа в снимке.
2. Извлечение признаков — алгоритм исследует черты облика: очертания глаз, обонятельного органа, уст, позицию надбровных дуг.
3. Построение структуры — создаётся особенный виртуальный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со образцом — сформированный шаблон сверяется со записанной при внесении биометрической данными владельца.
5. Принятие выбора — если соответствие достаточно высокое, смартфон открывается.

Каждый из этих этапов требует особых методов и оптимизаций для оперативной работы непосредственно на девайсе.

Аппаратные элементы: что прячется внутри них

Обычная селфи камера.

Простейший простой вариант определения облика применяет исключительно переднюю камеру смартфона смартфона. Подобный метод внедрён во многочисленных недорогих версиях Android-устройств.

Положительные стороны:

• Не требует дополнительные сенсоров.
• Быстро работает при хорошем освещённости.

Слабые стороны:

• Несложно одурачить изображением или видеозаписью.
• Плохо работает при слабом свете или непривычных углах обзора.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более продвинутые системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс составляет базу Face ID от Apple.

Каким образом это функционирует:

• Точечный проекционный прибор проецирует на лицо использующего невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 точек).
• ИК устройство регистрирует искривление этой решетки по плоскости лица.
• Создаётся трёхмерная глубинная карта глубины, которая почти что неосуществима для фальсификации стандартной фотографией или маскировкой.

Достоинства

• Надёжная деятельность даже в полной неосвещённости.
• Высокая защита к фальсификациям.
• Точность распознавания более 99%.

Дополнительные сенсорные устройства

В определённых устройствах используются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые определяют время распространения света до цели и обратно; Цветные-датчики глубины; специальные оптические измерители расстояния для формирования более точной 3D-модели физиономии.

Эти разработки встречаются чаще всего во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: синтетический интеллект на действии

Нынешние системы идентификации лиц невозможны без применения artificial intelligence и machine learning. Именно вследствие таким технологиям, как вулкан россии, аппарат способно распознавать владельца даже при изменениях внешнего вида: новая причёска, щетина, оптика или макияж не становятся помехой для открытия.

Детектирование лица

На начальном стадии алгоритм должна мгновенно распознать ликовое изображение в пределах целого изображения с камеры. Для данной цели применяются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены находить человеческие лица среди множества других объектов.

Пример: процесс MTCNN способен находить лицо даже с неполном перекрытии (например, платком или ладонью).

Определение ключевых точек

После обнаружения лица механизм, такая как вулкан россии, устанавливает расположение основных точек: края глаз, верхушка носа, границы губ и так далее. Обычно применяется от 68 до 128 основных меток на лице.

Данное требуется для нормализации визуала: если юзер удерживает смартфон под наклоном, или повернул голову, программа корректирует изображение до нормального состояния для дальнейшего анализа.

Формирование биометрического идентификатора шаблона

Далее искусственная сеть строит уплотненное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот шаблон крайне трудно сфальсифицировать: он не сохраняет непосредственно картинку пользователя, а лишь особенные черты его вида, что делает его оптимальным для таких площадок, как vulkan russia.

Сопоставление и вынесение заключения

Если человек хочет разлочить телефон глазами, механизм повторяет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный порог (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ блокируется.

Привыкание к изменениям внешности

Увлекательная черта актуальных системы — возможность самообучения. Если вы постоянно открываете телефон с новой укладкой или оптикой, алгоритм постепенно обновляет базовый модель вашего облика для повышения точности работы без снижения уровня безопасности.

Безопасность биометрических информации.

Большинство клиенты боятся хранить свои биометрические данные на смартфоне из-за угрозы утечки данных или взлома гаджета. Некоторые компании, например vulkan russia, предлагают варианты для увеличения безопасности сведений пользователей.

• Локальное сбережение: Преимущественно аппаратов записывает биометрические модели исключительно внутри безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из аппарат и не доступны в том числе создателю.

• Шифрование: Все сведения сохраняются только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы внешних девелоперов не обладают прямого доступа к биометрическим; они могут лишь требовать подтверждение верификации личности через системный API.

Необходимо подчеркнуть значимую подробность: если кто-либо достанет физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании реализуют меры безопасности от неосознанного разблокирования — к примеру, просят открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют категории идентификации лиц?

В настоящее время можно определить различить три ключевых подхода к выполнению этой функции:

Софтверное 2D определение

Эксплуатируется только лицевая видеокамера без дополнительных датчиков дистанции. Подобный способ встречается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота воплощения; умеренная стоимость; оперативная деятельность при достаточном свете.
Минусы: несложно ввести в заблуждение снимком; неустойчивая работа ночью; низкая безопасность.

Аппаратное 3D сканирование

Использует ИК видеокамеру + проекционный модуль пикселей + датчики дистанции (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: значительная достоверность; нельзя подделать изображение/видеозапись; устойчивая работа при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с ИИ-дополнением

Применяют комбинацию софтверных методов + техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие товары, как вулкан россии и Google Pixel Face Unlock современных поколений, комбинируют фронталку c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Образцы эксплуатации разных техник

• iPhone линейки X/11/12/13/14 задействуют только физическое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition первый раз внедрил эквивалент Face ID среди Android.
• Samsung Galaxy S10 версия/S20 поддерживают как софтверное плоское распознавание по фото фронтальной камерой, так и сканер ириса глаза.
• Huawei Mate20 Pro применяет систему из ИК-инфракрасного света + Dot Projector + ToF-датчик

Вопросы безопасности и ложные сигналы

Несмотря на впечатляющий прогресс технологий за недавние лет, безупречных системы пока не имеется:

1. Возможность мошенничества: Доступные смартфоны просто “разблокируются” высококачественной фотографией владельца или роликом с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые безупречные механизмы могут спутать между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
3. Трансформации внешнего вида: Внезапное похудение/набор веса, косметические процедуры или повреждения порой требуют повторной регистрации биометрических данных.
4. Условия записи: Яркая засветка солнцем или глубокая затенение могут снизить аккуратность распознавания признаков.

Ниже несколько советов для защищённому использованию:

• Для важных операций всегда применяйте двухфакторную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
• Постоянно апгрейдите ПО смартфона для обеспечения безопасности от актуальных атак;
• Включайте настройку “Требовать открытых глаз” везде, где она доступна.

В каких областях также применяется технологии помимо смартфонов?

Несмотря на то, что тема нашей публикации посвящена конкретно смартфонам и планшетам, следует отметить альтернативных областях использования технологии:

• Контроль доступа в офисах и жилых домах;
• Платёжные аппараты банков (“Face Pay”);
• Цифровые идентификационные документы современного образца;
• Комплексы видеомониторинга городских подразделений;
• Механизация регистрации присутствия образовательных учреждений/институтов;
• Авторизация юзеров персональных компьютеров/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по лицу (“Face Pay”) — нужно лишь пройти через турникет без пластика или мобильника! Аналогичные проекты развиваются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как изменяется техпроцесс сегодня?

Каждый годик проявляются новые концепции для усовершенствования качества деятельности систем распознавания лиц:

1. Увеличивается детализация сенсорных устройств — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс ошибки;
2. Развиваются нейросети — современные архитектуры типа MobileNetV3 дают возможность быстро адаптироваться к дополнительным характеристикам облика пользователя прямо на устройстве без отправки данных в облако.
3. Улучшаются методы антиспуфинга — теперь телефоны способны различать подлинные живые лица от неподвижных фотографий/маскировок по незаметным движениям кожи.
4. Взаимодействие со интеллектуальными приборами — интеллектуальные часы могут авто закрыть доступ к смартфон, если пользователь ушёл далеко.
5. Возникают комбинированные механизмы — в частности комбинирующие голосовую идентификацию + облик + отпечаток пальца.

Здесь, те тренды очень популярны в данный момент:

1) Уменьшение деталей

Компании намереваются сократить габариты выреза (“чёлки”) под датчики на экране за счёт встраивания маленьких ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на аппарате

Для улучшения личной безопасности всё более вычислений осуществляется внутри устройства без передачи данных во внешний облачный услугу.

3) Упорядочивание норм

Гугл энергично продвигает стандарт BiometricPrompt API, с целью чтобы аналогичные платформы, вроде вулкан россия, и любые Android-программы могли работать с любыми видами биометрии унифицированно.

Какое подобрать сегодня?

В случае если вам нужна предельная безопасность информации, выбирайте передовые модели со встроенным ИК-излучателем или же ToF-датчиком глубины.

• iPhone всех существующих последних поколений
• Huawei Companion/P серии
• Mix Pro
• Vivo X серии
• Oppo Find Икс линейки.

Если бюджет ограничен – лучше отдавать предпочтение традиционным средствам защиты (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в вулкан россия, задействовать только как опциональную возможность комфорта.

Каким образом улучшить удобство функционирования возможности?

Есть несколько лайфхаков для людей, кто уже применяет функцию распознавания лица:

1. Часто меняйте свою фотографию-шаблон, если значительно меняется внешность.
2. Не забывайте чистить объектив передней камеры – пятна могут уменьшить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает фотоаппарат когда вы поднимаете его.
4. Во время регистрационного процесса постарайтесь удерживать лицевую часть неподвижно перед камеры исключая резкого наклона головы.
5. Используйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвели взгляд от дисплея.

Будущее эволюции инноваций

В предстоящие времена можно ожидать развития полностью безконтактных способов распознавания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + шаги + движения рук!

Также возможно появление свежих подходов защиты конфиденциальности – скажем, изменяющееся модификация цифрового образца после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее интересных инноваций нашего времени! Она предоставляет интеракцию со телефоном удобнее чем до этого, и такие программы, как vulkan russia, могут значительно повысить ваш опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы знаете, как устроена эта система в деталях, – сможете более осмысленно подбирать свой будущий устройство!