Как функционирует распознавание лицевых образов в телефонах

Почему мы выбираем разблокировку по лицевому распознаванию

В недавние годы идентификация лиц является одной из самых распространённых возможностей для открытия мобильных телефонов. Всего пару лет тому назад основная часть использующих обходились пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам достаточно просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект обуславливает эту конкретную особенность такой востребованной? Прежде всего, это практично: не нужно удерживать в памяти трудные пароли или отыскивать верный палец в тьме. Кроме того, это оперативно: современные алгоритмы узнают лицо практически за доли секунды. В-третьих, это чувство футуристичности — будто в кинолентах про admiral x разведчиков.

Однако за такой кажущейся простотой таится весь вселенная комплексных методов и инженерных концепций. Позвольте нам разобраться, как конкретно функционирует распознавание лиц в современных смартфонах, какие бывают технологии, насколько они защищены и что нас предстоит.

Краткая повествование эволюции инноваций

Распознавание лиц как методика имеется уже более пятидесяти лет. Начальные пробы автоматического исследования лица были осуществлены еще в 1960-х годах в лабораториях США. Тогда вычислительные машины умели лишь обозначать силуэты лица и измерять расстояния между зрачками и ртом на черно-белых снимках.

Начальные торговые системы возникли в 1990-х годах, но они были далеки от совершенства: функционировали медленно и нередко ошибались. Только с развитием синтетических сетей и таких платформ, как адмирал х, высокопроизводительных мобильных процессоров определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным распознаванием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие начали интегрировать собственные решения.

Основные этапы действия системы определения

Процесс определения лица можно примерно поделить на несколько основных этапов:

1. Идентификация лиц — камера распознает присутствие человеческого образа в снимке.
2. Извлечение характеристик — система исследует особенности облика: форму зрительных органов, носа, уст, расположение надбровных дуг.
3. Построение структуры — создаётся особенный электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со эталоном — полученный шаблон сравнивается с сохранённой при внесении биометрической данными владельца.
5. Принятие решения — если совпадение достаточно значительное, смартфон деблокируется.

Каждый из данных стадий требует особых алгоритмов и оптимизаций для оперативной работы прямо на устройстве.

Технические компоненты: что находится в их недрах

Обычная селфи камера.

Простейший несложный вариант идентификации облика использует только лицевую видеокамеру смартфона. Данный подход внедрён во многочисленных доступных вариантах Android-устройств.

Плюсы:

• Не нуждается в требует дополнительных датчиков.
• Оперативно работает при хорошем свете.

Слабые стороны:

• Несложно обмануть изображением или видео.
• Неправильно работает при низком освещении или нестандартных ракурсах.

Инфракрасная камера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология составляет базу Face ID от Apple.

Каким способом это работает:

• Точечный проектор показывает на облик юзера невидимую сетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 точек).
• Инфракрасная камера фиксирует изменение формы этой сетки по поверхности лица.
• Получается 3D глубинная карта глубины, которая почти что неподвластна для подделки обычной снимком или маской.

Преимущества

• Надёжная деятельность даже в полной тьме.
• Высокая сопротивляемость к имитациям.
• Точность определения свыше 99%.

Добавочные сенсоры

В некоторых устройствах применяются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период распространения света до объекта и обратно; Цветные-датчики дальности; специальные оптические измерители расстояния для формирования более точной 3D-модели лица.

Эти технологии встречаются наиболее часто во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искусственный разум на работе

Нынешние устройства идентификации физиономий неосуществимы в отсутствие эксплуатации artificial intelligence и машинного обучения. Именно благодаря таким технологиям, как адмирал х, устройство способно узнавать пользователя даже при метаморфозах облика: новая причёска, щетина, линзы или косметика не становятся помехой для разблокировки.

Распознавание лиц

На стартовом шаге система необходимо быстро обнаружить ликовое изображение в пределах полного кадра с камеры. Для этого используются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые “обучены” распознавать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN в состоянии распознавать физиономию даже в случае частичном перекрытии (например, платком или ладонью).

Идентификация основных аспектов

После идентификации лица система, такая как адмирал х, вычисляет расположение основных точек: уголки глаз, верхушка носа, границы губ и так далее. Как правило задействуется от 68 до 128 основных маркеров на лицевой поверхности.

Это действие требуется для нормализации изображения: если юзер удерживает телефон под наклоном, или наклонил головку, программа “выпрямляет” изображение до обычного угла для последующего изучения.

Построение биометрии шаблона

Далее нейронная сеть строит сжатое числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 чисел с плавающей запятой.

Этот формат очень трудно сфальсифицировать: он не сохраняет само картинку юзера, а лишь исключительные черты его облика, что делает его идеальным для таких площадок, как admiral-x.

Сопоставление и принятие заключения

Когда пользователь хочет открыть мобильник взглядом, система воспроизводит все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный порог (обычно превышает 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Привыкание к метаморфозам облика

Интересная характеристика актуальных системы — способность самостоятельного обучения. Если ты часто доступаете к смартфон с новой прической или оптикой, алгоритм постепенно обновляет базовый шаблон вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрических данных данных.

Большинство клиенты опасаются сохранять свои био-идентификационные данные на мобильном устройстве из-за угрозы потери данных или взлома гаджета. Иные организации, например admiral-x, предлагают варианты для улучшения защиты информации клиентов.

• Локальное хранение: Основная часть устройств записывает биометричные шаблоны только внутри безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не выходят из аппарат и закрыты в том числе изготовителю.

• Шифрование: Все сведения сберегаются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Программы внешних разработчиков не обладают прямого возможности доступа к биометрическим данным; они могут лишь требовать подтверждение верификации личности через системный API.

Стоит упомянуть важную подробность: в случае, если кто-либо получит доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство изготовители реализуют защиту от неосознанного разблокирования — к примеру, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают типы идентификации лиц на изображениях?

Сегодня можно выделить определить три основных способа к выполнению этой функции:

Программируемое плоское распознавание

Эксплуатируется только лицевая видеокамера без экстра детекторов глубины. Подобный метод используется обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность воплощения; низкая затраты; быстрая функционирование при качественном освещении.
Минусы: просто одурачить фотографией; неустойчивая деятельность ночью; слабая охрана.

Оборудование для объёмное оцифровка

Использует инфракрасную камеру + проектор пикселей + сенсоры глубины (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: большая достоверность; не получится подделать фото/видео; постоянная деятельность в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с ИИ-дополнением

Задействуют комбинацию софтверных методов + техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как адмирал х и Google Pixel Face Unlock современных версий, объединяют фронтальную камеру c ИК сенсором мобильности Soli Radar для предотвращения от подделок руками/масками/видеоэкранами чужих устройств.

Образцы использования разнообразных методов

• iPhone серии X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз внедрил эквивалент Face ID в ряду Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как программное обеспечение 2D идентификацию по фото фронтальной камерой, так и датчик глазного ириса.
• Huawei Mate20 Pro использует набор из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы охраны и ошибочные сигналы

Несмотря на поразительный прогресс техники за недавние годы, идеальных механизмов пока не существует:

1. Вероятность подвоха: Доступные мобильники просто “разблокируются” высококачественной изображением хозяина или же видеозаписью с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые идеальные механизмы могут перепутать между монозиготными близнецами либо семьями с очень похожей внешностью.
3. Изменения облика: Резкое снижение веса/увеличение массы тела, косметические процедуры или повреждения в некоторых случаях требуют перерегистрации биометрических данных.
4. Условия съёмки: Яркая подсветка солнечным светом или же плотная темнота могут уменьшить аккуратность определения признаков.

Ниже пара подсказок по безопасному применению:

• Для важных операций всегда применяйте двухфакторную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Постоянно апгрейдите прошивку мобильного устройства для защиты от новых видов атак;
• Включайте настройку “Требовать распахнутых глаз” в тех местах, где она доступна.

Где также используется технология помимо мобильных телефонов?

Пускай тема этой работы сосредоточена на конкретно мобильным устройствам, необходимо сказать о альтернативных областях использования технологии:

• Мониторинг прохода в офисах и жилых домах;
• Платёжные аппараты банков (“Face Pay”);
• Виртуальные удостоверения личности современного типа;
• Системы видеоконтроля городских подразделений;
• Автоматизация учёта посещаемости образовательных учреждений/университетов;
• Аутентификация юзеров компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — хватит пройти через барьер без пластика или телефона! Схожие инициативы реализуются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как трансформируется технология сегодня?

Каждый годик возникают новые идеи для улучшения стандарта работы систем лицевого распознавания:

1. Увеличивается чёткость датчиков — чем больше деталей фиксируется фотоаппаратом/датчиками глубины, тем меньше шанс ошибки;
2. Улучшаются нейронные сети — передовые архитектуры вида MobileNetV3 позволяют быстро адаптироваться к новым чертам облика пользователя прямо на устройстве без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь мобильные устройства могут различать подлинные живые облики от статичных снимков/масок по мельчайшим движениям кожи.
4. Синхронизация со умными устройствами — смарт-часы могут самостоятельно блокировать телефон, если обладатель ушёл далеко.
5. Появляются смешанные системы — к примеру объединяющие аудио опознание + облик + отпечаток пальца.

Итак, какие направления особенно актуальны сейчас:

1) Уменьшение компонентов

Изготовители стараются сократить размер прорези (“чёлки”) для сенсоры на дисплее за счёт интеграции маленьких ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на девайсе

Для повышения приватности всё больше вычислений выполняется локально без пересылки информации во сторонний облачный сервис.

3) Упорядочивание стандартов

Google интенсивно продвигает норму BiometricPrompt API, для того чтобы такие платформы, вроде admiral x, и все Android-приложения были совместимы с различными типами биометрии единообразно.

Какое выбрать сегодня?

В случае если вам всем важна максимальная сохранность данных, выбирайте передовые аппараты с интегрированным ИК-проектором либо ToF-сенсором глубины.

• iPhone всех последних поколений
• Huawei Partner/P линейки
• Mi Expert
• Vivo X линейки
• Оппо Найти Х серий.

Если средства невелик – лучше отдавать предпочтение обычным методам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, применять только как второстепенную опцию комфорта.

Каким способом увеличить удобство функционирования возможности?

Есть несколько лайфхаков для пользователей, кто уже применяет разблокировку через лицо:

1. Часто обновляйте свою фотографию-шаблон, если кардинально изменяется облик.
2. Не забывайте чистить линзу фронтальной камеры – пятна могут уменьшить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам запускает камеру когда вы поднимаете его.
4. При регистрации старайтесь держать лицо неподвижно перед камеры без резкого наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвернулись от экрана.

Перспективы развития инноваций

В ближайшие времена можно предвкушать развития полностью безконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + шаги + движения рук!

Также предполагается возникновение свежих подходов защиты приватности – например, переменное корректировка диджитал паттерна после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее интересных технологий нашего периода! Она обеспечивает общение со смартфоном комфортнее чем до этого, и такие программы, как admiral-x, могут существенно улучшить ваш опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как работает эта система изнутри, – сможете вдумчиво выбирать свой будущий устройство!