СПОСОБ ОПРЕДЕЛЕНИЯ ПОДЛИННОСТИ ЛИЦА ПО МАСКАМ СЕГМЕНТАЦИИ Российский патент 2021 года по МПК G06K9/50 G06T7/194 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности, к способам определения подлинности лица субъекта на системах контроля и управления доступом с использованием масок сегментации.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известно решение, выбранное в качестве наиболее близкого аналога, RU 2714096 C1, опубл. 11.02.2020. В данном решении раскрыт способ распознавания лица для определения того, является ли изображение, которое включает в себя лицо, живым изображением или неживым изображением, причем способ содержит этапы, на которых: обучают первую модель глубокого обучения посредством контролируемого обучения по множеству общих изображений лиц, общие изображения лиц содержат изображения живых лиц, собранные посредством съемки живого лица и помеченные как положительные образцы, и изображения неживых лиц, собранные посредством съемки неживого лица, которое является изображением лица или моделью лица, и помеченные как отрицательные образцы; обучают множество вторых моделей глубокого обучения посредством контролируемого обучения по множеству извлеченных изображений лиц, вырезанных из общих изображений лиц, вторые модели глубокого обучения содержат модель глубокого обучения для глаза и модель глубокого обучения для носа, соответствующие глазному и носовому типу области лица соответственно, извлеченные изображения лиц содержат изображения живых лиц, помеченные как положительные образцы, и изображения неживых лиц и помеченные как отрицательные образцы, при этом первая модель глубокого обучения и каждая из вторых моделей глубокого обучения являются моделями классификации, и при этом после обучения модели классифицируют изображения лиц на категорию изображения живого лица или категорию изображения неживого лица; выполняют обнаружение витальности лица по первому общему изображению лица с помощью обученной первой модели глубокого обучения, чтобы получать первую оценку прогнозирования, и множества обученных вторых моделей глубокого обучения, чтобы получать вторые оценки прогнозирования, причем данный этап содержит этапы, на которых: получают первое общее изображение лица, собранное для обнаружения витальности лица, вводят первое общее изображение лица в обученную первую модель глубокого обучения для обработки, чтобы получать первую оценку прогнозирования, получают множество извлеченных изображений лиц, вырезанных из первого общего изображения лица, причем извлеченные изображения лиц содержат изображение области с изображением глаза и изображение области с изображением носа, и вводят извлеченные изображения лиц в соответствующие обученные вторые модели глубокого обучения для обработки, причем вторые модели глубокого обучения содержат модель глубокого обучения для глаза и модель глубокого обучения для носа, чтобы получать вторые оценки прогнозирования, формируют результат оценки прогнозирования на основе первой оценки прогнозирования и вторых оценок прогнозирования и сравнивают результат оценки прогнозирования с пороговым значением, чтобы определять, является ли первое общее изображение лица живым изображением или неживым изображением.

Приведенное выше известное из уровня техники решение направлено на решение проблемы обнаружения витальности лица.

Предлагаемое техническое решение направлено на устранение недостатков современного уровня техники и отличается от известных ранее тем, что предложенное решение обеспечивает высокоскоростное, но при этом точное определение подлинности лица субъекта на системах контроля и управления доступом с использованием масок сегментации.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное решение, является создание способа определения подлинности лица субъекта на системах контроля и управления доступом с использованием масок сегментации.

Технический результат заключается в повышении безопасности защищаемых объектов.

Заявленный результат достигается за счет осуществления способа определения подлинности лица субъекта на системах контроля и управления доступом с использованием масок сегментации, содержащего этапы, на которых:

с транслируемого видеопотока, направляемого с неподвижно установленной камеры, располагаемой на системе контроля и управления доступом, фиксируют и сохраняют изображение субъекта, на котором запечатлеваются передний и фоновый планы;

на сохранённом изображении осуществляют определение положения лица субъекта посредством модуля детекции лиц;

посредством модели извлечения силуэта субъекта, осуществляют извлечение маски сегментации силуэта субъекта на сохраненном изображении;

посредством модели извлечения силуэта рук субъекта, осуществляют извлечение маски сегментации силуэта рук субъекта на сохраненном изображении;

посредством модели извлечения переднего плана, осуществляют извлечение маски сегментации переднего плана на сохраненном изображении;

извлеченные маски сегментации объединяются в один набор и передаются на вход модели оценки подлинности, посредством которой осуществляются конечные вычисления для определения подлинности лица субъекта.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг. 1, иллюстрирует структурную блок-схему способа.

Фиг. 2, иллюстрирует пример общей схемы вычислительного устройства.

Фиг. 3, иллюстрирует пример масок сегментации переднего плана, силуэта рук субъекта и силуэта субъекта для подделки и подлинного изображений.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

В настоящее время к различным объектам (например: объектам, требующим повышенной степени защиты, офисным зданиям, многоквартирным домам и т.д.) доступ предоставляется посредством примитивных и недостаточно безопасных систем защиты объектов. Современные системы контроля и управления доступом не обладают возможностью в автоматическом режиме своевременно обнаруживать злоумышленников, за счет чего уровень безопасности защищаемых объектов значительно понижается.

Системы контроля и управления доступом, как правило, представляют собой турникеты или другие, оснащенные необходимыми техническими элементами, пропускные пункты, на которых установлены видеокамеры, связанные с системами распознавания лица.

Настоящее техническое решение обеспечивает повышенную защиту объекта от попыток мошенничества, а именно от злоумышленников, осуществляющих демонстрацию перед видеокамерой поддельных биометрических шаблонов людей, имеющих доступ к проходу на защищаемый объект.

Настоящее техническое решение осуществляет определение различий силуэта человека и переднего плана для реальных и поддельных субъектов, тем самым предотвращая проникновение злоумышленника на защищаемый объект.

Силуэт человека и переднего плана для реальных людей идентичен, однако, силуэт человека и переднего плана для злоумышленников отличается, например, в том случае если злоумышленник демонстрирует перед видеокамерой биометрический шаблон на планшете. В таком случае передний план будет иметь прямоугольную форму, повторяющую контуры планшета, при этом силуэт человека будет повторять силуэт шаблона. Кроме этого, добавляется силуэт руки, поскольку на зафиксированных изображениях со злоумышленниками часто можно увидеть руку, держащую подделку, что является полезным признаком для определения подлинности.

Предлагаемый способ определения подлинности лица субъекта на системах контроля и управления доступом, содержит следующие существенные этапы:

с транслируемого видеопотока, направляемого с неподвижно установленной камеры, располагаемой на системе контроля и управления доступом, фиксируют и сохраняют изображение субъекта, на котором запечатлеваются передний и фоновый планы;

на сохранённом изображении осуществляют определение положения лица субъекта посредством модуля детекции лиц;

посредством модели извлечения силуэта субъекта, осуществляют извлечение маски сегментации силуэта субъекта на сохраненном изображении;

посредством модели извлечения силуэта рук субъекта, осуществляют извлечение маски сегментации силуэта рук субъекта на сохраненном изображении;

посредством модели извлечения переднего плана, осуществляют извлечение маски сегментации переднего плана на сохраненном изображении;

извлеченные маски сегментации объединяются в один набор и передаются на вход модели оценки подлинности, посредством которой осуществляются конечные вычисления для определения подлинности лица субъекта.

Видеопоток с неподвижно установленной камеры, располагаемой на системе контроля и управления доступом, может транслироваться на вычислительное устройство (локальный компьютер-сервер) располагаемое непосредственно на пропускном пункте, где данные могут обрабатываться локально (без доступа к интернету).

Маска сегментации (Фиг. 3) в настоящем техническом решении представляет собой черно-белое (бинарное) изображение, отображающее целевой силуэт белым цветом, а фон - черным.

Модель извлечения силуэта человека представляет собой неглубокую нейронную сеть, обученную сегментировать изображение на две области – силуэт человека и оставшаяся часть изображения. Модель обучается по размеченной выборке данных, полученных из открытых источников. Структура нейронной сети представляет собой облегченную версию стандартных архитектур сегментации.

Модель извлечения силуэта руки представляет собой неглубокую нейронную сеть, обученную сегментировать изображение на две области – силуэт человека и оставшаяся часть изображения. Модель обучалась по размеченной выборке данных, полученных из открытых источников. Структура нейронной сети идентична структуре модели извлечения силуэта человека.

Модель извлечения переднего плана представляет собой неглубокую нейронную сеть, обученную находить отличия между двумя изображениями, т.е. выделять передний план. Модель обучалась на парах изображений, которые изображают одну и ту же сцену, но на втором изображении дополнительно присутствует сторонний объект. Структура нейронной сети аналогична структуре модели извлечения силуэта человека, за исключением первого слоя, который обрабатывает не одно изображение, а два склеенных.

После обучения вышеперечисленных моделей сегментации, была сформирована обучающая выборка для задачи определения подлинности, размеченная на два класса: «подлинный», «поддельный». Выборка состоит из пар изображений «текущий кадр» – «фон», полученных из видеозаписей камер, установленных на системах контроля и управления доступом. Фоновое изображение для текущего кадра формируется методом усреднения 300 кадров, предшествующих текущему кадру. Данный метод получения фонового изображения позволяет отображать условия типа текущей освещенности помещения, при этом игнорируя временные объекты (которые при усреднении кадров пропадают).

Модель оценки подлинности была обучена на сформированной выборке и представляет собой неглубокую нейронную сеть. Архитектура сети содержит в себе четыре блока, при этом каждый блок состоит из сверточного слоя 3х3, оператора макс-пулинга и нелинейности (Relu). Количество слоев в блоках – 8, 16, 32, 64 соответственно. Архитектура сети была выбрана таким образом, чтобы обеспечить работу в режиме реального времени на низкопроизводительном процессоре. Модель принимает на вход три объединенные маски сегментации переднего плана, силуэта человека, силуэта рук и выдает оценку подлинности «живой»-«поддельный». Модуль оценки подлинности состоит из вышеперечисленных обученных моделей сегментации и оценки подлинности, принимая на вход центрированное изображение лица и соответствующее ему фоновое изображение, и возвращает оценку подлинности в виде бинарного ответа «подлинный»/ «поддельный».

МОДЕЛИ СЕГМЕНТАЦИИ.

Модель сегментации силуэта субъекта представляет собой нейронную сеть, принимающую на Вход: текущее изображение в формате RGB в виде матрицы размера 224x224x3 и предсказывающую Выход: черно-белую(бинарную) маску сегментации силуэта субъекта в виде матрицы размера 224х224х1.

Нейронная сеть обучается на парах Вход: «Изображение» - Разметка: «маска сегментации». Маски сегментации для обучающей выборки были размечены разметчиками. В процессе обучения веса нейронной сети оптимизируются так, чтобы Выход совпадал с Разметкой. Для этого используется классический аппарат машинного обучения – минимизация функции потерь, которая представляет собой L2 расстояние между соответствующими значениями пикселей Выхода и Разметки. После процесса обучения полученную нейросеть можно использовать для предсказаний масок сегментации силуэта субъекта на произвольном изображении.

Абсолютно аналогично устроена модель сегментации силуэта рук субъекта, только в качестве Разметки используются маски сегментации рук.

Модель сегментации переднего плана представляет собой нейронную сеть, принимающую на Вход: Объединенная матрица размера 224х224х6, состоящая из текущего изображения в формате RGB размера 224x224x3, изображения фона размера 224х224х3 и предсказывающая Выход: черно-белую(бинарную) маску сегментации переднего плана размера 224х224х1.

Данные для обучения модели сегментации переднего плана сгенерированы синтетически. Для этого из набора размеченных масок сегментации силуэтов различных объектов выбирался случайный объект и накладывался на случайное изображение фона. Таким образом, обучение состояло из пар «Случайный фон + случайный объект на этом фоне» - «Маска сегментации этого объекта».

МОДЕЛЬ ОПРЕДЕЛЕНИЯ ПОДЛИННОСТИ.

Модель оценки подлинности представляет собой нейронную сеть, принимающую на Вход: матрицу размера 224х224х3, полученную путем конкатенации трех масок сегментации (каждая размера 224х224х1), извлеченных из одного и того же кадра.

Нейронная сеть обучается на парах «Объединенная матрица масок сегментации» - «Оценка подлинности». Где оценка подлинности = 1, если маски сегментации были извлечены для подлинного изображения и 0, если маски были извлечены для поддельного изображения. После обучения сети ее можно использовать для предсказания оценки подлинности на произвольном изображении.

Для получения масок сегментации силуэта человека, рук и переднего плана используются неглубокие нейронные сети, обученные по размеченным выборкам изображений. Для вычисления оценки подлинности используется неглубокая нейронная сеть, обученная на собранной выборке изображений подлинных и поддельных лиц. Нейронная сеть принимает на вход объединенные маски сегментации и на выходе выдает оценку подлинности. Таким образом, настоящее изобретение обеспечивает повышенную точность и скорость работы в режиме реального времени за счет анализа различий в силуэтах аутентичного субъекта и злоумышленника.

На Фиг. 2 далее будет представлена общая схема вычислительного устройства (200), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае устройство (200) содержит такие компоненты, как: один или более процессоров (201), по меньшей мере одну память (202), средство хранения данных (203), интерфейсы ввода/вывода (204), средство В/В (205), средства сетевого взаимодействия (206).

Процессор (201) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (200) или функциональности одного или более его компонентов. Процессор (201) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (202).

Память (202), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

Средство хранения данных (203) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (203) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.

Интерфейсы (204) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

Выбор интерфейсов (204) зависит от конкретного исполнения устройства (200), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств В/В данных (205) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (206) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (205) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства (200) сопряжены посредством общей шины передачи данных (210).

На Фиг 3. представлены примеры масок сегментации для поддельного и подлинного изображений.

В случае подлинного изображения:

- Маски сегментации переднего плана и силуэта субъекта часто совпадают или очень похожи;

- Маска сегментации рук часто либо пустая, либо силуэт руки на маске находится естественно по отношению к силуэту субъекта.

Для поддельного изображения:

- Маски сегментации переднего плана и силуэта субъекта часто очень различны;

- Маска сегментации силуэта руки часто выглядит неестественно.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Настоящее техническое решение относится к области вычислительной техники. Технический результат заключается в повышении точности определения подлинности лица субъекта на системах контроля. Технический результат достигается за счёт осуществления способа определения подлинности лица субъекта на системах контроля и управления доступом с использованием масок сегментации, содержащего этапы, на которых: с транслируемого видеопотока, направляемого с неподвижно установленной камеры, располагаемой на системе контроля и управления доступом, фиксируют и сохраняют изображение субъекта, на котором запечатлеваются передний и фоновый планы; на сохранённом изображении осуществляют определение положения лица субъекта посредством модуля детекции лиц; посредством модели извлечения силуэта субъекта осуществляют извлечение маски сегментации силуэта субъекта на сохраненном изображении; посредством модели извлечения силуэта рук субъекта осуществляют извлечение маски сегментации силуэта рук субъекта на сохраненном изображении; посредством модели извлечения переднего плана осуществляют извлечение маски сегментации переднего плана на сохраненном изображении; извлеченные маски сегментации объединяются в один набор и передаются на вход модели оценки подлинности, посредством которой осуществляются конечные вычисления для определения подлинности лица субъекта. 3 ил.

Способ определения подлинности лица субъекта на системах контроля и управления доступом с использованием масок сегментации, содержащий этапы, на которых:

с транслируемого видеопотока, направляемого с неподвижно установленной камеры, располагаемой на системе контроля и управления доступом, фиксируют и сохраняют изображение субъекта, на котором запечатлеваются передний и фоновый планы;

на сохранённом изображении осуществляют определение положения лица субъекта посредством модуля детекции лиц;

посредством модели извлечения силуэта субъекта осуществляют извлечение маски сегментации силуэта субъекта на сохраненном изображении;

посредством модели извлечения силуэта рук субъекта осуществляют извлечение маски сегментации силуэта рук субъекта на сохраненном изображении;

посредством модели извлечения переднего плана осуществляют извлечение маски сегментации переднего плана на сохраненном изображении;

извлеченные маски сегментации объединяются в один набор и передаются на вход модели оценки подлинности, посредством которой осуществляются конечные вычисления для определения подлинности лица субъекта.