СПОСОБ ОТСЛЕЖИВАНИЯ, ОБНАРУЖЕНИЯ И ИДЕНТИФИКАЦИИ ИНТЕРЕСУЮЩИХ ОБЪЕКТОВ И АВТОНОМНОЕ УСТРОЙСТВО C ЗАЩИТОЙ ОТ КОПИРОВАНИЯ И ВЗЛОМА ДЛЯ ИХ ОСУЩЕСТВЛЕНИЯ Российский патент 2023 года по МПК G06V40/16 G06F21/71 G06N3/02 

Заявленная группа изобретений относится к области вычислительной техники, в частности к способам и устройствам отслеживания обнаружения и идентификации лиц, и может быть использована в качестве автономной системы видеоаналитики для распознавания, отслеживания, оценки пола и возраста лиц, а также подсчета лиц в магазинах, офисах, промышленных предприятиях и др.

В настоящее время системы видеоаналитики широко используются в области ритейла (распознавание человека для контроля очередей, анализ траектории движения покупателей, тепловые карты, сбор демографических данных о посетителях магазина), промышленности (детектор присутствия человека в опасных зонах, контроль выполнения операций, биометрический контроль доступа, проверка соблюдения техники безопасности), транспорта (распознавание лиц и детекция человека для аналитики пассажиропотока, поиска правонарушителей, контроль действий и состояния водителя).

Известны способы обнаружения человеческих объектов в видео (RU 2635066 C2, 08.11.2017), содержащие определение пикселей видеоизображения, которые являются приоритетными пикселями, группой приоритетных пикселей, составляющих набор приоритетных блобов одного или нескольких приоритетных блобов, для каждой из N предопределенных форм в соответствующих местоположениях из N местоположений в видеоизображении, где N - целое число, сравнение соответствующей предопределенной формы с набором приоритетных блобов для получения соответствующей вероятности нахождения человека в этом соответствующем предопределенном местоположении, получая, таким образом, N вероятностей, соответствующих N местоположениям, использование N вероятностей, определение X людей, представленных набором приоритетных блобов, где X - целое число, и выдачу по меньшей мере одного из отчетов предупреждения и обнаружения события на основании определенного представления X людей (по первому пункту формулы) или для каждого из N предопределенных форм в соответствующем местоположении из N предопределенных местоположений видеоизображения, сравнение соответствующей предопределенной формы с набором приоритетных блобов для определения X людей, представленных набором приоритетных блобов, и местоположение каждого человека из этих X людей определяется как местоположение в горизонтальной плоскости реального мира; и выдачу по меньшей мере одного из отчетов предупреждения и обнаружения события, когда плотность толпы превышает порог, на основании определения представления X людей.

Недостатком этой группы способов является невозможность получения статистической информации по результатам оценки пола и возраста лиц, а также идентификации интересующих лиц.

Известен способ и система распознавания образов из видеопотока (RU 2714901 C1, 02.20.2020), который выполняется, по меньшей мере, одним вычислительным устройством и в котором получают из по меньшей мере одной камеры по меньшей мере один кадр, содержащий по меньшей мере один товар из киоска, причем каждый кадр разделяет виртуальная линия кассы; передают полученный на предыдущем шаге, по меньшей мере, один кадр с товаром на вход обученной искусственной нейронной сети, которая идентифицирует на кадре по меньшей мере один товар посредством получения координат товара и класса, к которому относится данный товар; определяют посредством вычислительного устройства, находится ли центр товара за виртуальной линией кассы или снаружи, причем, если по меньшей мере один товар появился в зоне кассы и пересек линию, данный товар добавляется в виртуальную корзину; направляют содержимое виртуальной корзины, сформированное на предыдущем шаге на сервер для выполнения расчетов с пользователем за по меньшей мере один извлеченный товар.

Недостатком способа и системы является возможность анализа только одной области интереса - внутри виртуальной линии кассы.

Известны способ и система обеспечения безопасности посредством биометрической идентификации лиц (WO 2008081051 A1, 10.07.2008). Система включает следующие этапы: считывание биометрических данных; составление сообщения с идентификацией терминала, биометрическим считыванием и инструкцией; шифрование сообщения; отправка их через виртуальную частную сеть в Интернете; прием сообщения серверным компьютером и его расшифровка; идентификация личности; сопоставление с базой данных идентификатора терминала, идентификатора человека и идентификатора инструкции; отправка зашифрованного сообщения средствам безопасности, определенным базой данных, в случае положительного совпадения. Система безопасности включает средства безопасности, управляемые с терминалов с биометрическим считывателем; устройство шифрования и устройство для связи через Интернет с одним или несколькими серверными компьютерами посредством виртуальной частной сети.

Недостатками данных способа и системы являются необходимость тратить вычислительную мощность на шифрование и дешифрование биометрических данных, хранение данных на удаленных ресурсах пусть и в зашифрованном, но не обезличенном виде, что создает предпосылки к неправомерному доступу через Интернет к биометрическим данным, а также невозможность работы системы и реализации данного способа при отсутствии доступа в Интернет.

Известны способ и устройство распознавания возраста и метод обучения и устройство модели распознавания возраста (CN111914772 A, 10.11.2020), которые включают этапы: ввод изображения в предварительно обученную модель распознавания возраста после получения изображений, содержащих подлежащие распознаванию лица, при этом модель распознавания возраста распознает пол подлежащих распознаванию лиц на основе признаков, за исключением гендерных признаков, подлежащих распознаванию лиц, вывод результатов распознавания возраста подлежащих распознаванию лиц, согласно методу, когда распознаются возрасты подлежащих распознаванию лиц, распознавание возраста осуществляется на основе признаков, не имеющих отношения к полу, устраняются гендерные факторы, существенно влияющие на результат распознавания возраста, с одной стороны, повышается точность распознавания возраста, между тем облегчается обучение модели и улучшается способность к обобщению модели распознавания возраста.

Недостатком является необходимость проведения предварительного распознавания пола и исключения гендерных признаков.

Известно электронное устройство для распознавания идентичности лица и атрибутов лица на изображении с помощью дополненной сверточной нейронной сети (KR 20200010993 A, 31.01.2020), содержащее: память, хранящую сверточную нейронную сеть (CNN), обученную извлекать идентификационный признак для идентификации лица, включенного по меньшей мере в одно изображение, на основе обучающих данных, включая множество изображений, и ввод изображения в CNN для получения по меньшей мере одного идентификационного признака для входного изображения, ввод полученного идентификационного признака по меньшей мере в один скрытый слой, к которому применяется регуляризация отсева, а также идентификация и распознавание свойства лица, включенного во входное изображение, через один или несколько независимых полностью связанных слоев на основе вывода скрытого слоя в соответствии с вводом признака.

Недостатками является необходимость использования идентификационного признака, включенного по меньшей мере в одно изображение, и то, что возраст и пол людей измеряются с помощью прогностического расчета для отдельных фотографий обрабатываемого кластера.

Известны система и способ для проведения оценки возраста и/или распознавания пола на основе особенностей лица (CN 110991256 A, 10.04.2020), включающие следующие этапы: получение изображения, перехваченного фронтальным оборудованием в качестве входного изображения, обнаружение и калибровка лиц осуществляются через сеть обнаружения и калибровки лиц по входному изображению, а обработка баланса белого осуществляется по данным изображения после обнаружения и калибровки, отправка обработанных данных изображения в модель для извлечения признаков человеческого лица для получения признаков человеческого лица на изображении; сопоставление полученных признаков лица и того же количества признаков мужского и женского лица в одном и том же многомерном пространстве, вычисление расстояния между точками признаков и оценка суммы расстояний между точками признаков и чертами мужского и женского лица для получения пола, между тем, сопоставляя полученные черты лица и черты лица каждой возрастной группы в одно и то же многомерное пространство, вычисляя расстояние между характерными точками и оценивая расстояние между характерными точками и каждой возрастной группой, чтобы получить возрастную группу, к которой принадлежат характерные точки.

Недостатком является невозможность проверки уникальности лица на перехваченном изображении.

Известен способ проверки личности человека с использованием портативного носителя данных, на котором были сохранены кодированные сигналы персональной идентификационной информации (US4532508A, 30.07.1985), который включает в себя следующие этапы: распознавание личных характеристик указанного лица, подлежащих идентификации, получение текущих информационных сигналов, указывающих на упомянутые ощущаемые личные особенности, разработка ключа шифрования из упомянутых имеющихся информационных сигналов, получение первого набора сигналов сравнения из упомянутых имеющихся информационных сигналов, обнаружение упомянутых кодированных сигналов персональной идентификационной информации, хранящихся на упомянутом портативном носителе данных, декодирование упомянутых кодированных информационных сигналов персональной идентификации, считанных с упомянутого портативного носителя данных, причем упомянутый ключ скремблирования используется для декодирования упомянутых сигналов персональной идентификационной информации, получение второго набора сигналов сравнения из упомянутых декодированных информационных сигналов личной идентификации и сравнение упомянутого первого и упомянутого второго набора содержащихся сигналов для проверки личности упомянутого человека.

Недостатком также является необходимость тратить вычислительную мощность на кодирование и декодирование информационных сигналов персональной идентификации, а также хранение данных пусть и в зашифрованном, но не обезличенном виде, что создает предпосылки к неправомерному доступу к персональной идентификационной информации.

Общим недостатком выявленных технических решений является то, что распознавание и отслеживание (трекинг) лиц требует установки высокопроизводительных компьютеров и взаимодействия с ними видеокамер, с которых формируются видеопотоки данных. Существующие решения распознавания образов не обеспечивают эффективного автономного распознавания лиц, пола, возраста оборудованием с низкой себестоимостью и малыми размерами и энергопотреблением. Также не обеспечивается защита от копирования и взлома установленного программного обеспечения.

В качестве прототипа для способа отслеживания и способа обнаружения и идентификации интересующих лиц можно рассматривать известный способ одновременного распознавания атрибутов лиц и идентификации личности при организации фотоальбомов (RU2710942C1, 14.01.2020), основанный на модификации эффективной сверточной нейронной сети, которая извлекает представления лиц, пригодные для выполнения задач идентификации лиц и распознавания атрибутов (возраст, пол, этническая принадлежность, эмоции и т.д.). Способ позволяет решать все задачи одновременно, не требуя дополнительных сверточных нейронных сетей, в результате чего обеспечивается очень быстрая система анализа лиц. В одном из зависимых пунктов этого способа на одном или нескольких входных изображениях детектируют области, ассоциированные с лицами, и используют эти области в качестве, по меньшей мере, частей одного или нескольких входных изображений для извлечения с помощью слоев базовой сверточной нейронной сети характерных признаков, приходных для идентификации лиц.

Недостатком является отсутствие возможности хранения данных в обезличенном виде.

В качестве прототипа для автономного устройства для осуществления способа отслеживания и способа обнаружения и идентификации интересующих лиц можно рассматривать известное электронное устройство для распознавания идентичности лица и атрибутов лица на изображении с помощью дополненной сверточной нейронной сети (KR20200010993A, 31.01.2020), реализованное для автоматического анализа пола, возраста и т.д., то есть клиентской базы, путем автоматического распознавания лица клиента в то время, когда клиент посещает магазин и покупает продукт, находясь за рулем самостоятельно, и к способу этого. В устройстве блок камеры улавливает приближение клиента и фокусирует лицо клиента на фотографии, блок распознавания лиц распознает лицо клиента, сфотографированное блоком камеры, и кэширует данные изображения лица, блок анализа клиентской базы анализирует клиентскую базу путем извлечения характерных точек из данных изображения лица, кэшированных блоком распознавания лиц, а блок хранения данных хранит данные клиентской базы, проанализированные блоком анализа клиентской базы.

Недостатком является отсутствие возможности хранения данных в обезличенном виде.

Технической задачей является создание эффективной автономной системы видеоаналитики с защитой от копирования и взлома на основе оборудования с низкой себестоимостью и малыми размерами и энергопотреблением, реализующей функции отслеживания, обнаружения и идентификации интересующих лиц, а также разработка быстродействующих способов отслеживания, обнаружения и идентификации интересующих лиц, в которых определяется общее количество лиц, количество уникальных лиц, пол и возраст лиц, а также данные о количестве интересующих лиц, попавших в зону обзора видеокамеры.

Технический результат заявленной группы изобретений состоит в снижении требуемых вычислительных возможностей автономной системы видеоаналитики, уменьшении числа ошибок при распознавании, повышении скорости отслеживания, а также обнаружения и идентификации интересующих лиц, включая определение общего количества лиц, количества уникальных лиц, пола и возраста лиц, а также данных о количестве интересующих лиц, попавших в зону обзора видеокамеры. Другой технический результат состоит в обеспечении защиты нейронной сети от копирования и взлома и обеспечении защиты персональных данных.

Указанные технические результаты достигаются за счет использования следующих существенных признаков.

Способ отслеживания включает в себя предварительную установку программного обеспечения, включающего набор взаимосвязанных алгоритмов нейронных сетей, с помощью локально подключаемого к вычислительному устройству компьютера, обучение программного обеспечения, проведение модификации весовых коэффициентов глубинных нейронных сетей, до уровня, когда становится невозможным осуществление операций распознавания лиц и определения их свойств, но сохраняется возможность выполнить большую часть требуемого объема вычислений, введение модифицированных весовых коэффициентов глубинных нейронных сетей в выделенную область памяти вычислительного устройства и задание размера цикла обработки N, равного целому числу кадров. Далее, непосредственно в ходе выполнения отслеживания получают видеопоток изображений из одной или нескольких матричных видеокамер, посредством вычислительного устройства выполняют обнаружение на кадре лиц, на кадрах видеопотока изображений, кроме каждого N-го, в режиме реального времени посредством вычислительного устройства отфильтровывают зоны движения, формируют очередь модуля детектора из каждых N-х кадров видеопотока изображений с отфильтрованными зонами движения, для каждой отфильтрованной зоны движения формируют поток обнаружения лиц, посредством вычислительного устройства в каждом потоке обнаружения лиц в режиме реального времени выполняют обнаружение на кадре лиц, из кадров с обнаруженными лицами формируют очередь модуля слежения, которую подают в поток модуля слежения (трекинга), в потоке модуля слежения (трекинга) формируют последовательности изображений лиц одного и того же человека, для каждой последовательности изображений лиц одного и того же человека формируют очередь произведенного трекинга, осуществляют фильтрацию очереди произведенного трекинга с целью отбора лучших изображений путем отбора по параметрам размера изображения, ориентации лица на изображении, степени выраженности дефектов изображения, отобранные изображения из очереди произведенного трекинга подают в поток распознавания, в потоке распознавания в режиме офлайн посредством вычислительного устройства и обученной первой нейронной сети определяют сигнатуру изображения лица в виде вектора из вещественных чисел, посредством вычислительного устройства и второй обученной нейронной сети определяют возраст человека по изображению лица и посредством вычислительного устройства и третьей обученной нейронной сети определяют пол человека по изображению. После этого выполняют сравнение сигнатуры изображения лица с сигнатурами изображений лиц в памяти вычислительного устройства, причем, если сходство сигнатуры, полученной в потоке распознавания, с сигнатурами изображений лиц в памяти вычислительного устройства меньше заданного порога, то сигнатуру изображения лица вносят в память вычислительного устройства, затем в память вычислительного устройства вносят данные об общем количестве лиц, количестве уникальных лиц, поле и возрасте лиц.

Способ обнаружения и идентификации интересующих лиц выполняет те же действия, что и способ отслеживания, но в отличие от него включает предварительное введение изображения интересующих лиц в выделенную область памяти вычислительного устройства и определение сигнатуры изображения интересующего лица. Для того, чтобы указать, что лицо принадлежит к группе интересующих лиц, по меньшей мере один из элементов вектора, описывающего сигнатуру, используют в качестве указателя. При этом одно лицо может одновременно входить в несколько групп, для каждой из которых может использоваться отдельный указатель. Если сходство сигнатуры, полученной в потоке распознавания, с сигнатурами изображений лиц в памяти вычислительного устройства больше заданного порога, а сигнатура, полученная в потоке распознавания, содержит указатель принадлежности к группе интересующих лиц, то данные о количестве интересующих лиц, попавших в зону обзора видеокамеры, вносят в память вычислительного устройства.

Статистические данные об общем количестве лиц, количестве уникальных лиц, поле и возрасте лиц, а в случае реализации способа обнаружения и идентификации интересующих лиц, данные о количестве интересующих лиц, попавших в зону обзора видеокамеры, могут быть переданы в память вычислительного устройства на подключаемый дисплей или подключаемый USB накопитель.

Автономное устройство c защитой от копирования и взлома для их осуществления содержит корпус, в котором размещены вычислительное устройство, матричная видеокамера с объективом, выполненная с возможностью захвата изображения зоны контроля и подключенная к вычислительному устройству, карта памяти, подключенная к вычислительному устройству, элемент питания, подключенный к вычислительному устройству, на вычислительное устройство установлено программное обеспечение, содержащее программный набор взаимосвязанных программ и алгоритмов нейронных сетей для обнаружения на изображении лиц, определения сигнатур изображений лиц, определения возраста и пола лиц, внутри корпуса размещен программируемый логический контроллер, подключенный к вычислительному устройству через один из интерфейсов ввода-вывода вычислительного устройства, причем программируемый логический контроллер осуществляет защиту программного обеспечения и хранимых сигнатур.

При этом упомянутая в способе отслеживания последовательность действий, когда на кадрах видеопотока изображений, кроме каждого N-го, в режиме реального времени посредством вычислительного устройства отфильтровывают зоны движения, формируют очередь модуля детектора из каждых N-х кадров видеопотока изображений с отфильтрованными зонами движения, для каждой отфильтрованной зоны движения формируют поток обнаружения лиц, посредством вычислительного устройства в каждом потоке обнаружения лиц в режиме реального времени выполняют обнаружение на кадре лиц, из кадров с обнаруженными лицами формируют очередь модуля слежения, которую подают в поток модуля слежения (трекинга), в потоке модуля слежения (трекинга) формируют последовательности изображений лиц одного и того же человека, для каждой последовательности изображений лиц одного и того же человека формируют очередь произведенного трекинга, осуществляют фильтрацию очереди произведенного трекинга с целью отбора лучших изображений путем отбора по параметрам размера изображения, ориентации лица на изображении, степени выраженности дефектов изображения, позволяет осуществлять экономию вычислительных ресурсов и повышать точность распознавания лиц путем предварительного отбора тех изображений лиц, которые наилучшим образом подходят для расчета сигнатуры. Экономия же вычислительных ресурсов позволяет повысить скорость отслеживания, а также обнаружения и идентификации интересующих лиц.

Это происходит вследствие того, что, во-первых, вычислительные мощности устройства для расчета сигнатур не используются для некачественных изображений и, во-вторых, для повышения качества распознавания из потока трекинга отбираются наиболее подходящие для этого изображения. При этом в качестве критериев отбора используются:

- размер изображения, когда выбирается изображение наибольшего размера, удовлетворяющее всем прочим условиям;

- ориентация лица на изображении, которая оценивается двумя способами - по характеристическим точкам лица (найденным в процессе выравнивания изображения лица) и по информации, получаемой в процессе работы детектора лиц (если она доступна для данного конкретного изображения), причем при прочих равных условиях предпочтение отдается фронтальным лицам;

- качество изображения, когда производится оценка дефектов изображения - уровня его засветки, смазанности и т.д., причем при прочих равных условиях выбирается наиболее качественное изображение из трека.

Подобный отбор позволяет примерно на 40% снизить вычислительную нагрузку на устройство и на 15% уменьшить число ошибок при распознавании.

Как выполнение обнаружения на кадре лиц посредством вычислительного устройства на параллельно работающих ядрах центрального процессора вычислительного устройства, так и выполнение определения сигнатуры изображения лица посредством вычислительного устройства на параллельно работающих ядрах графического процессора вычислительного устройства позволяют еще больше увеличить скорость отслеживания, а также обнаружения и идентификации интересующих лиц.

При этом упомянутая в способе отслеживания последовательность действий, когда предварительно однократно проводят модификацию весовых коэффициентов глубинных нейронных сетей, до уровня, когда становится невозможным осуществление операций распознавания лиц и определения их свойств, но сохраняется возможность выполнить большую часть требуемого объема вычислений, модифицированные весовые коэффициенты глубинных нейронных сетей вводят в выделенную область памяти вычислительного устройства, а затем в потоке распознавания в режиме офлайн посредством вычислительного устройства и обученной первой нейронной сети определяют сигнатуру изображения лица в виде вектора из вещественных чисел, а также использование в автономном устройстве программируемого логического контроллера, осуществляющего защиту программного обеспечения и хранимых сигнатур, обеспечивает достижение технического результата по защите нейронной сети от копирования и взлома и по обеспечению защиты персональных данных за счет использования обезличенных данных для сбора статистической информации.

Осуществление группы изобретений может быть проиллюстрировано с помощью чертежей:

фиг. 1 - многопоточная модель программного обеспечения, использующая CPU и GPU;

фиг. 2 - схема процесса анализа Appearance модулем статистики;

фиг. 3 - метод искажения весовых коэффициентов;

фиг. 4 - реализация метода искажения весовых коэффициентов;

фиг. 5 - график количества обнаруженных лиц с использованием нейронной сети с искаженными коэффициентами (синий - с ключом защиты, оранжевый - без ключа защиты);

фиг. 6 - диаграмма времени расчета выходов нейронной сети с искаженными коэффициентами и времени восстановления правильного выходного вектора;

фиг. 7 - автономное устройство с защитой от копирования и взлома для осуществления способа отслеживания и способа обнаружения и идентификации интересующих лиц;

фиг. 8 - график общего количества посетителей и количества уникальных посетителей на основе статистической информации, получаемой в ходе выполнения заявленных способов;

фиг. 9 - распределение персон по возрасту;

фиг. 10 и 11 - примеры физического исполнения автономного устройства.

Обучение программного обеспечения может быть выполнено с использованием набора данных для обучения и тестирования моделей распознавания лиц (Labeled Faces in the Wild, LFW) [1].

Размер цикла обработки, равный целому числу кадров, выбирается в диапазоне от 2 до 16. При этом уменьшение этого числа за пределы диапазона приводит к повышению нагрузки на процессор вычислительного устройства и снижению быстродействия, а увеличение - к возможности потери лица на кадре из-за его выхода за пределы области обзора видеокамеры при быстром движении.

Вектор из вещественных чисел для сигнатуры изображения лица выбирается, например, в размере 256 чисел. При этом снижение размера сигнатуры снижает точность идентификации, а увеличение приводит к повышению нагрузки на процессор вычислительного устройства, снижению быстродействия и увеличению необходимого объема хранимой в памяти вычислительного устройства обезличенной информации. Сравнение сигнатур выполняется по косинусной мере.

Программное обеспечение, реализующее способ отслеживания, функционирует на базе многопоточной модели. В данной модели весь процесс обработки разбивается на отдельные задачи: главный цикл, обнаружение лиц, слежение за лицами, распознавание (фиг. 1). Каждая задача выполняется в отдельном потоке CPU. Для задачи детекции используется пул потоков CPU. Задача распознавания в процессе работы использует GPU для расчетов. Для обмена данными между потоками применяются очереди с приоритетами. Технически такая модель позволяет использовать ресурсы CPU/GPU параллельно и тем самым повысить производительность работы.

Общая схема работы программного обеспечения в многопоточной модели: в главном цикле из одной матричной видеокамеры получают видеопоток изображений. На кадрах видеопотока изображений, кроме каждого N-го, в режиме реального времени посредством вычислительного устройства отфильтровывают зоны движения, формируют очередь из каждых N-х кадров видеопотока изображений с отфильтрованными зонами движения. Сформированные кадры с отфильтрованными зонами движения подаются в очередь модуля детектора. Каждый поток модуля детекции проверяет очередь и обрабатывает кадр с отфильтрованными зонами движения параллельно с другими потоками детекции. Основной задачей модуля детекции является обнаружение лиц. Модуль детекции в режиме реального формирует кадры с обнаруженными лицами и передает их в очередь для модуля слежения (трекинга). В потоке модуля слежения (трекинга) выполняется формирование Appearances - последовательности структур данных Appearance, в которых выделено место под запись изображения лица, сигнатуру, возраст и пол. Во время формирования Appearances в него выполняется запись изображений лиц одного и того же человека. Сформированные модулем слежения Appearances поступают в очередь модуля распознавания.

Модуль слежения выполняет слежение за лицами, найденными модулем детекции лиц. Модуль одновременно может выполнять слежение за множеством лиц. В качестве базового алгоритма слежения за одним лицом используется корреляционный алгоритм DSST (Discriminative Scale Space Tracker tracking algorithm). Для каждой последовательности лица используется отдельный трекер. Для слежения за множеством лиц сначала формируется матрица соответствия между существующими трекерами и найденными лицами. В качестве меры соответствия используется функция, которая включает в себя компоненты: местоположение, размер, LBP-дескриптор (local binary pattern), время. Далее выполняется анализ матрицы соответствия для формирования лучших соответствий между существующими трекерами и найденными лицами. После этого происходит обновление существующих трекеров с использованием информации о найденных лицах, либо создаются новые трекеры, если для найденных лиц не было найдено соответствия. Трекеры прекращают слежение, если длина формируемого appearance превышает заданный порог, или было резкое изменение объекта слежения (например перекрытие другим лицом, другими объектами сцены).

В результате на выходе модуля слежения формируются последовательности изображений лиц одного и того же человека. Далее из последовательностей изображений лиц одного и того же человека выбираются лица, которые могут быть хорошо распознаны. Такой подход позволяет снизить вычислительную нагрузку на модуль распознавания и повысить производительность системы в целом. Для выбора лиц используются критерии: освещенности, ориентации (лицо должно быть фронтальным), смазанности (слишком смазанные лица плохо распознаются).

Далее выбранные лица распознаются в модуле распознавания - формируются сигнатуры лиц, определяется пол и возраст. Найденные сигнатуры лиц, пол и возраст записываются в Appearances.

После распознавания Appearances поступают в модуль статистики, в котором выполняется их анализ для определения уникальности лиц, добавления в локальную базу данных, расположенную в памяти вычислительного устройства.

На вход модуля статистики поступают Appearances, содержащие сигнатуры лиц. Для каждого Appearance выполняется процесс анализа (фиг. 2). Сначала выполняется поиск лучшей персоны по локальной базе данных. В процессе поиска для сопоставления двух сигнатур используется косинусная метрика. Если была найдена лучшая персона (далее - BestPerson), то выполняется проверка возможности объединения Appearance и найденной персоны BestPerson: если найденное значение похожести по косинусной метрики меньше заданного порога, то выполняется объединение Appearance с BestPerson. При объединении к BestPerson добавляются только такие сигнатуры лиц, которые сильно отличаются от уже записанных в BestPerson.

Если BestPerson не была найдена или невозможно объединить BestPerson с Appearance, то из Appearance создается новая персона, которая записывается в локальную базу данных.

В памяти вычислительного устройства хранятся модифицированные весовые коэффициенты нейронной сети, не позволяющие использовать данную сеть напрямую для распознавания, обеспечивает устойчивость предлагаемых способов отслеживания, обнаружения и идентификации лиц к взлому посредством «состязательных атак» (Adversarial attack). Суть подобных атак состоит в поиске таких входных сигналов для нейронной сети (в данном случае изображений), на которых сеть будет выдавать некорректный выходной сигнал. Так как даже при наличии доступа к вычислительному устройству получить исходные (не модифицированные) весовые коэффициенты нейронной сети из его памяти невозможно, то подбор требуемых для «состязательной атаки» входных сигналов становится чрезвычайно сложной, и в большинстве случаев, невыполнимой задачей.

Для защиты нейронной сети распознавания лиц от незаконного использования разработан и применяется метод искажения весовых коэффициентов (фиг. 3).

В данном методе из нейронной сети N извлекаются веса (W) и смещения (B) полносвязного слоя. Веса W представляются в 32-битном формате IEEE754 (1 бит - знак, 8 бит - экспонента, 23 бита- мантисса). Для всех весов извлекаются знаки весов W. Далее с помощью генератора случайных чисел генерируется секретный ключ K, размерность которого равна числу выходов слоя. Извлеченные (истинные) смещения B, знаки весов S и секретный ключ K записываются в память контроллера ПЛК. Далее выполняется модификация весов W, смещений B и знаков весов W. В процессе модификации смещениям и знакам весов присваиваются нулевые значения. Также выполняется модификация заданной функцией F(W,K) экспоненты весов W с использованием секретного ключа K. Новые значения весов (W_new), смещений (B_new) сохраняются обратно в полносвязный слой и новая защищенная сеть N_s записывается на диск.

Нейронные сети c искаженными весовыми коэффициентами используются следующим образом (фиг. 4).

Сначала загружается нейронная сеть N_s с искаженными весовыми коэффициентами. Далее из контроллера ПЛК в полносвязный слой выгружаются правильные знаки весов. Далее выполняется расчет выходов сети в обычном режиме (может выполняться с использованием CPU, GPU). Выход (O) такой сети является искаженным. Восстановление истинного выхода O_true=F_r(O,B,K) выполняется на контроллере ПЛК (STM32) c использованием искаженного выходного вектора сети O, смещений B и секретного ключа K и заданной функции восстановления Fr.

В случае, когда контроллер ПЛК недоступен, устройство может продолжать функционировать, но выходы нейронных сетей сильно искажены, что приводит и к резкому сокращению числа обнаруженных уникальных людей (фиг. 5), и к уменьшению корректности распознавания лиц, пола или возраста.

Предложенный метод искажения не вызывает сильного увеличения времени расчета выходов нейронной сети и не вызывает уменьшения точности распознавания. Восстановление правильного выходного вектора занимает не более 1% времени от общего времени расчета (фиг. 6).

В качестве примера реализации вычислительное устройство в составе заявленного автономного устройства может быть выполнено на базе одноплатного компьютера Odroid XU4Q с установленной операционной системой Ubuntu 16.04, имеющего 8 ядер CPU и 6 ядер GPU (фиг. 7). Видеокамера выполнена с объективом Gaona-291 и подключена к вычислительному устройству через порт USB вычислительного устройства. Программируемый логический контроллер выполнен на основе отладочной платы Core405R и подключен к вычислительному устройству через порт USB вычислительного устройства. В качестве карты памяти используется карта Samsung EVO Plus microSDXC 64Gb. Элемент питания используется литиевый (CR2032), предназначен для сохранения системных часов компьютера и подключен к вычислительному устройству через разъем RTC Battery Connector вычислительного устройства. Для вывода статистических результатов и (или) визуализации к вычислительному устройству могут быть подключены дисплей (через разъем HDMI вычислительного устройства) и USB накопитель (через разъем USB вычислительного устройства). Подключение внешнего компьютера для установки программного обеспечения и вывода статистических результатов может быть осуществлено либо через разъем Ethernet вычислительного устройства, либо через GSM-модем, подключаемый к разъему USB вычислительного устройства.

Разработанное автономное, компактное устройство позволяет идентифицировать до 10000 персон, при этом подсчитывается общее количество посетителей и количество уникальных посетителей. Пример графиков общего количества посетителей и количества уникальных посетителей на основе статистической информации, получаемой в ходе выполнения заявленных способов, показан на фиг. 8, где графики показывают почасовое количество посетителей в среднем за 30 дней. Пример статистически обработанных результатов идентификации изображений лиц по полу и возрасту показан на фиг. 9, где выведено распределение персон по возрасту менее 20 лет, от 20 до 30 лет, от 30 до 40 лет, от 40 до 50 лет, от 50 и более лет.

Проверка точности распознавания осуществлялась на действующем образце устройства с помощью теста на наборе данных для обучения и тестирования моделей распознавания лиц [1] и составила для лиц - 98.3%, для пола - 95%, для возраста - 80%.

Примеры физического исполнения автономного устройства для осуществления способа отслеживания и способа обнаружения и идентификации интересующих лиц показаны на фиг. 10 и 11.

Список использованных источников.

1. Learned-Miller, E., Huang, G.B., RoyChowdhury, A., Li, H., Hua, G.: Labeled faces in the wild: A survey. In: Advances in face detection and facial image analysis. Springer (2016), P. 189-248

контроллере ПЛК (STM32) c использованием искаженного выходного вектора сети O, смещений B и секретного ключа K и заданной функции восстановления Fr.

В случае, когда контроллер ПЛК недоступен, устройство может продолжать функционировать, но выходы нейронных сетей сильно искажены, что приводит и к резкому сокращению числа обнаруженных уникальных людей (фиг. 5), и к уменьшению корректности распознавания лиц, пола или возраста.

Предложенный метод искажения не вызывает сильного увеличения времени расчета выходов нейронной сети и не вызывает уменьшения точности распознавания. Восстановление правильного выходного вектора занимает не более 1% времени от общего времени расчета (фиг. 6).

В качестве примера реализации может быть выполнено вычислительное устройство в составе заявленного автономного устройства (фиг. 7), где обозначены

1 - одноплатный компьютер Odroid XU4Q с установленной операционной системой Ubuntu 16.04, имеющий 8 ядер CPU и 6 ядер GPU,

2 - внешний блок питания,

3 - видеокамера с объективом Gaona-291,

4 - программируемый логический контроллер на основе отладочной платы Core405R,

5 - карта памяти Samsung EVO Plus microSDXC 64Gb,

6 - элемент питания литиевый (CR2032) предназначенный для сохранения системных часов компьютера и подключенный к вычислительному устройству через разъем RTC Battery Connector вычислительного устройства,

7 - дисплей, подключенный через разъем HDMI вычислительного устройства для визуализации,

8 - USB накопитель, подключенный через разъем USB вычислительного устройства для вывода статистических результатов,

9 - внешний компьютер для установки программного обеспечения и вывода статистических результатов, подключенный либо через разъем Ethernet вычислительного устройства, либо через GSM-модем, подключаемый к разъему USB вычислительного устройства.

Разработанное автономное, компактное устройство позволяет идентифицировать до 10000 персон, при этом подсчитывается общее количество посетителей и количество уникальных посетителей. Пример графиков общего количества посетителей и количества уникальных посетителей на основе статистической информации, получаемой в ходе выполнения заявленных способов, показан на фиг. 8, где графики показывают почасовое количество посетителей в среднем за 30 дней. Пример статистически обработанных результатов идентификации изображений лиц по полу и возрасту показан на фиг. 9, где выведено распределение персон по возрасту менее 20 лет, от 20 до 30 лет, от 30 до 40 лет, от 40 до 50 лет, от 50 и более лет.

Проверка точности распознавания осуществлялась на действующем образце устройства с помощью теста на наборе данных для обучения и тестирования моделей распознавания лиц [1] и составила для лиц - 98.3%, для пола - 95%, для возраста - 80%.

Примеры физического исполнения автономного устройства для осуществления способа отслеживания и способа обнаружения и идентификации интересующих лиц показаны на фиг. 10 и 11.

Список использованных источников.

1. Learned-Miller, E., Huang, G.B., RoyChowdhury, A., Li, H., Hua, G.: Labeled faces in the wild: A survey. In: Advances in face detection and facial image analysis. Springer (2016), P. 189-248.

Изобретение относится к способам и устройствам отслеживания, обнаружения и идентификации лиц. Технический результат заключается в снижении требуемых вычислительных возможностей автономной системы видеоаналитики, уменьшении числа ошибок при распознавании, повышении скорости идентификации интересующих лиц, обеспечении защиты нейронной сети. Технический результат достигается за счет того, что способ обнаружения интересующих лиц включает следующие этапы: модификацию весовых коэффициентов глубинных нейронных сетей до уровня, когда становится невозможным распознавание лиц, но сохраняется возможность выполнить большую часть требуемого объема вычислений; задание размера цикла обработки N; фильтрацию зон движения; формирование потока обнаружения лиц; формирование очереди модуля слежения; формирование последовательности изображений лиц одного и того же человека; формирование очереди произведенного трекинга; фильтрацию очереди произведенного трекинга с целью отбора лучших изображений; в потоке распознавания определение сигнатуры изображения лица; определение возраста и пола человека; сравнение сигнатуры изображения лица с сигнатурами изображений лиц в памяти вычислительного устройства; сохранение полученных данных. 3 н. и 10 з.п. ф-лы, 11 ил.

1. Способ отслеживания интересующих лиц, в котором:

устанавливают программное обеспечение, включающее набор взаимосвязанных алгоритмов нейронных сетей, исполняемое при помощи высокопроизводительных вычислений;

получают видеопоток изображений из одной или нескольких матричных видеокамер;

посредством вычислительного устройства выполняют обнаружение на кадре лиц,

отличающийся тем, что

предварительно однократно проводят модификацию весовых коэффициентов глубинных нейронных сетей до уровня, когда становится невозможным осуществление операций распознавания лиц и определения их свойств, но сохраняется возможность выполнить большую часть требуемого объема вычислений;

вводят модифицированные весовые коэффициенты глубинных нейронных сетей в выделенную область памяти вычислительного устройства;

задают размер цикла обработки N, равный целому числу кадров;

на кадрах видеопотока изображений, кроме каждого N-го, в режиме реального времени посредством вычислительного устройства отфильтровывают зоны движения;

формируют очередь модуля детектора из каждых N-х кадров видеопотока изображений с отфильтрованными зонами движения;

для каждой отфильтрованной зоны движения формируют поток обнаружения лиц;

обнаружение на кадре лиц выполняют посредством вычислительного устройства в каждом потоке обнаружения лиц в режиме реального времени;

из кадров с обнаруженными лицами формируют очередь модуля слежения,

очередь модуля слежения подают в поток модуля слежения (трекинга);

в потоке модуля слежения (трекинга) формируют последовательности изображений лиц одного и того же человека;

для каждой последовательности изображений лиц одного и того же человека формируют очередь произведенного трекинга;

осуществляют фильтрацию очереди произведенного трекинга с целью отбора лучших изображений путем отбора по параметрам размера изображения, ориентации лица на изображении, степени выраженности дефектов изображения;

отобранные изображения из очереди произведенного трекинга подают в поток распознавания;

в потоке распознавания определяют посредством вычислительного устройства и обученной первой нейронной сети сигнатуру изображения лица в режиме офлайн в виде вектора из вещественных чисел, причём для определения сигнатуры изображения лица посредством вычислительного устройства и обученной первой нейронной сети дополнительно к основному процессору вычислительного устройства задействуют микропроцессор подключённого к вычислительному устройству программируемого логического контроллера с функцией шифрования прошивки;

определяют посредством вычислительного устройства и второй обученной нейронной сети возраст человека по изображению лица в режиме офлайн;

определяют посредством вычислительного устройства и третьей обученной нейронной сети пол человека по изображению лица в режиме офлайн;

выполняют сравнение сигнатуры изображения лица с сигнатурами изображений лиц в памяти вычислительного устройства, причём, если сходство сигнатуры, полученной в потоке распознавания, с сигнатурами изображений лиц в памяти вычислительного устройства меньше заданного порога, то вносят сигнатуру изображения лица в память вычислительного устройства;

вносят данные об общем количестве лиц, количестве уникальных лиц, поле и возрасте лиц в память вычислительного устройства.

2. Способ отслеживания по п. 1, отличающийся тем, что размер цикла обработки N задают в диапазоне от 2 до 16.

3. Способ отслеживания по п. 1, отличающийся тем, что сигнатуру изображения лица определяют на выходе первой обученной нейронной сети в виде вектора из 256 вещественных чисел.

4. Способ отслеживания по п. 1, отличающийся тем, что обнаружение на кадре лиц посредством вычислительного устройства выполняют на параллельно работающих ядрах центрального процессора вычислительного устройства.

5. Способ отслеживания по п. 1, отличающийся тем, что определение сигнатуры изображения лица посредством вычислительного устройства выполняют на параллельно работающих ядрах графического процессора вычислительного устройства.

6. Способ обнаружения и идентификации интересующих лиц, в котором

выполняют способ отслеживания по п. 1,

отличающийся тем, что

предварительно вводят изображения интересующих лиц в выделенную область памяти вычислительного устройства, после чего посредством вычислительного устройства и обученной первой нейронной сети определяют сигнатуру изображения интересующего лица в виде вектора из вещественных чисел и вносят сигнатуру изображения интересующего лица в память вычислительного устройства, причем по меньшей мере один из элементов вектора, описывающего сигнатуру, используют в качестве указателя принадлежности к группе интересующих лиц;

если сходство сигнатуры, полученной в потоке распознавания, с сигнатурами изображений лиц в памяти вычислительного устройства больше заданного порога, а сигнатура, полученная в потоке распознавания, содержит указатель принадлежности к группе интересующих лиц, то вносят данные о количестве интересующих лиц, попавших в зону обзора видеокамеры, в память вычислительного устройства.

7. Автономное устройство с защитой от копирования и взлома для осуществления способа отслеживания и способа обнаружения и идентификации интересующих лиц, содержащее корпус, в котором размещены:

вычислительное устройство,

матричная видеокамера с объективом, выполненная с возможностью захвата изображения зоны контроля и подключенная к вычислительному устройству,

карта памяти, подключенная к вычислительному устройству,

элемент питания, подключенный к вычислительному устройству,

отличающееся тем, что

на вычислительное устройство установлено программное обеспечение, содержащее программный набор взаимосвязанных программ и алгоритмов нейронных сетей для обнаружения на изображении лиц, определения сигнатур изображений лиц, определения возраста и пола лиц;

внутри корпуса размещён программируемый логический контроллер, подключенный к вычислительному устройству через один из интерфейсов ввода-вывода вычислительного устройства, причём программируемый логический контроллер имеет функцию защиты от копирования и взлома прошивки;

вычислительное устройство содержит многоядерные центральный и графический процессоры.

8. Автономное устройство по п. 7, отличающееся тем, что вычислительное устройство выполнено на базе одноплатного компьютера Odroid XU4Q с установленной операционной системой Ubuntu 16.04.

9. Автономное устройство по п. 8, отличающееся тем, что видеокамера подключена к вычислительному устройству через USB-порт вычислительного устройства.

10. Автономное устройство по п. 7, отличающееся тем, что программируемый логический контроллер выполнен на основе отладочной платы Core405R.

11. Автономное устройство по п. 7, отличающееся тем, что программируемый логический контроллер подключен к вычислительному устройству через USB-порт вычислительного устройства.

12. Автономное устройство по п. 7, отличающееся тем, что элемент питания подключен к вычислительному устройству через разъём RTC Battery Connector вычислительного устройства.

13. Автономное устройство по п. 7, отличающееся тем, что к вычислительному устройству через разъём HDMI вычислительного устройства подключен дисплей для вывода статистических результатов и (или) визуализации.