УСТРОЙСТВО АВТОМАТИЗИРОВАННОГО РАСПОЗНАВАНИЯ ЛИЦ ПРИ ОБРАБОТКЕ ГРУППОВОЙ ФОТОГРАФИИ Российский патент 2015 года по МПК G06K9/62 

Описание патента на изобретение RU2541918C2

Изобретение относится к области вычислительной техники и может быть использовано в цифровых телевизионных и фотосистемах глобальных систем позиционирования и наблюдения.

Математическая модель наблюдаемого изображения I определяется следующим выражением:

I=α1I1+(1-α1)·(α2I2+(1-α2)(…+(1-αN-1)·IN)) (1)

где I1,…IN - набор слоев изображения, разделенных с помощью альфа-каналов αN∈[0,1], размерность I1,…,IN и αN совпадают. Альфа-каналы αN представляют собой маски, позволяющие выделять отдельные объекты сцены. Решением задачи распознавания лица на групповой цифровой фотографии является установление соответствия каждого IN образа заданному изображению лица человека.

Основная решаемая задача - распознавание лица человека на групповой фотографии.

Значительный интерес в области компьютерного зрения занимает задача детектирования и распознавания лиц при обработке многомерных сигналов (изображений и видеопоследовательностей). Областью применения решения данной задачи являются системы предупреждения преступлений и идентификация преступников, верификация человека в аэропортах, автоматические охранные системы с «фейсконтролем», персонализация бытовых устройств, криминалистическая экспертиза фото- и видеосъемок, виртуальная реальность, компьютерные игры и т.п.

Существующие методы распознавания делятся на два класса: методы на основе поиска и сопоставления локальных особенностей лица (формирование вектора дескрипторов на основе локальных признаков) и разложение локальной области изображения лица на ортогональные составляющие (метод EigenFace на основе получения главных компонент). Как правило, использование рассматриваемых методов применимо к многомерным сигналам (изображениям), содержащим только одно лицо на однородном фоне. Использование данных методов для обработки групповых изображений людей крайне ограничено. В связи с этим актуальным является решение задачи распознавания группы лиц на изображениях с текстурированным фоном.

Известен способ идентификации личности человека по цифровому изображению лица [Патент №2431191, МПК G06K 9/00]. Изобретение относится к автоматике и вычислительной технике и может быть использовано в системах искусственного интеллекта: системах контроля доступа, робототехнических системах, взаимодействующих с человеком-оператором в условиях производства и других системах. Техническим результатом является повышение точности и оперативности распознавания изображения лица человека. Способ идентификации личности человека по цифровому изображению лица содержит этапы поиска лица человека в кадре, масштабирования выделенного изображения до заданного размера, выравнивания яркости и цветности изображения, формирования вектора входного изображения (Р1), загрузки из базы данных изображения для сравнения (Р2), разбиения изображения на блоки и осуществления первичного поиска по совпадению этих блоков, осуществления вторичного поиска, на основе чего принимают решение о соответствии, причем после загрузки изображения производится выравнивание яркости и цветности, затем формируется вектор входного изображения, после чего масштабируют изображение до заданного размера, после чего разбивают изображение по связности элементов, формируют интегральный индекс, осуществляют первичный и вторичный поиски, после чего принимается решение о соответствии.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: распознавание лица человека на изображении.

Недостатками известного способа и системы являются:

- требование априорного знания порога ошибок, представляющего собой допустимое расстояние в индексном пространстве от рассматриваемых точек до точки запросного индекса;

- требование априорного значения ширины лица для пропорционального масштабирования изображения.

Известна система для идентификации человека по изображению лица [Патент №2382408, МПК G06K 9/00]. Изобретение относится к области идентификации человека по изображению лица. Технический результат заключается в ускорении процедуры и повышении достоверности идентификации человека. Этот результат достигается тем, что видеоизображение с лицом идентифицируемого человека получают во фронтальном ракурсе; фрагменты с изображением глаз выделяют путем предварительного выделения первичных признаковых точек, соответствующих местоположению глаз, и сравнения с заранее заданными эталонами правого и левого глаза; выделение информационно значимых участков в выделенном фрагменте информационного поля осуществляют с помощью применения функции Гаусса в эллипсе; построение эталонов лиц идентифицируемых людей производят с использованием не менее чем двух типов ортогональных базисных функций для предварительного поиска и распознавания, для детального распознавания и построения дополнительных эталонов для окончательного распознавания; идентифицируют человека по интегральной оценке меры сходства для каждого анализируемого фрагмента за счет двухэтапной процедуры сравнения эталонов для предварительного поиска и распознавания и сравнения эталонов для детального и окончательного распознавания.

Признаки системы-аналога, совпадающие с признаками заявляемого технического решения, следующие: распознавание лица человека и его поиск на изображении.

Недостатками известной системы являются: необходимость предварительного обучения системы.

Известен способ обнаружения лиц на изображении с применением каскада классификаторов [Патент №2427911, МПК G06K 9/62]. Изобретение относится к области обработки цифровых изображений, осуществляет поиск произвольно ориентированных лиц на цифровых изображениях. Техническим результатом изобретения является повышение быстродействия и точности обрабатываемых данных при обнаружении лиц на изображении. Технический результат достигается благодаря тому, что в способе обнаружения лиц на изображении, включающем в себя применение каскада однородных классификаторов, каждый классификатор используют для разделения входного вектора на два класса «лицо», «нелицо», причем каждый классификатор характеризуется более высокой точностью классификации по сравнению с предыдущим классификатором в каскаде, выполняют поиск окружностей на входном изображении с помощью преобразования Хафа для окружностей, формируют набор фрагментов в областях изображения, где были обнаружены окружности, путем разделения областей на набор фрагментов одинакового размера, применяют каскад классификаторов к каждому фрагменту и определяют, содержит он лицо или нет, причем для принятия решения о наличии лица все классификаторы должны отнести соответствующий входной вектор, построенный по фрагменту, к классу «лицо».

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: нахождение произвольно ориентированных лиц на цифровых изображениях.

Недостатками известного способа являются: необходимость предварительного обучения системы, не производит идентификацию. Известна система для распознавания лица с учетом списка людей, не подлежащих проверке [Патент №2381553, МПК G06K 9/00, G06K 9/62]. Изобретение относится к биометрическим системам идентификации личности по изображению лица человека. Техническим результатом является распознавание личности в условиях неравномерного освещения и для широкого диапазона углов поворота лица на изображении. В способе формируют галерею изображений «отрицательных» лиц - тех людей, которые не подлежат проверке, формируют галерею известных персон с преобразованием изображения лица во внутреннее представление, принятое для алгоритмов распознавания, реализованных в способе, детектируют лицо человека на входном изображении, осуществляют подготовку сегментированного региона, содержащего лицо, к проведению распознавания путем нормализации положения лица в соответствии с позицией глаз, масштабирования к заданным размерам, нормализации интенсивности, выполняют базовые алгоритмы распознавания лиц, способные вычислять меры схожести двух изображений, выбирают подмножество «отрицательных» лиц, на основе которого определяют выбор нового алгоритма распознавания, формируют новый алгоритм распознавания на основе преобразования мер близости базового алгоритма с учетом сформированной галереи «отрицательных» лиц, выполняют классификацию по множеству зарегистрированных изображений.

Признаки системы-аналога, совпадающие с признаками заявляемого технического решения, следующие: распознавание лица человека на изображении.

Недостатками известной системы являются: необходимость выбора подмножества «отрицательных» лиц.

Наиболее близким к изобретению является устройство распознавания рельефности лица [Патент №2431190, МПК G06K 9/00].

Рассматриваемое устройство-прототип предполагает:

- формирование двух изображений объекта, при этом одно из изображений формируется при включенной подсветке, а второе - при выключенной;

- обнаружение на каждом из двух изображений объекта области, содержащие лица, определение координаты областей, содержащих лица;

- сопоставление обнаруженных областей, вырезание области исходных изображений в соответствии с координатами областей, содержащих лица, нормализация, определение координаты характерных точек лица, выравнивание вырезанных областей относительно друг друга так, чтобы координаты соответствующих характерных точек совпали;

- провидение анализа изменения интенсивностей пикселов сопоставленных областей, построение карты распределения интенсивностей;

- формирование решения о рельефности представленного на изображениях лица.

Для функционирования устройства необходимо нахождение, по меньшей мере, одной пары характерных точек, выбранных из набора характерных точек, содержащего центры и уголки глаз, крылья носа, уголки рта.

Для функционирования устройства необходимо проведение анализа изменения интенсивности пикселов сопоставленных областей, при этом сравнивали интенсивности пикселов на выровненных вырезанных областях и вычисляли вектор статистических оценок изменения интенсивностей соответствующих участков данных областей.

Для функционирования устройства необходимо формирование решения о рельефности лица на изображении, при этом применяли бинарную решающую функцию к вектору статистических оценок.

Рассматриваемое устройство-прототип содержит:

- лампу подсветки;

- средство формирования изображений объекта;

- средство обнаружения областей, содержащих лица, выполненное с возможностью определения координат областей, содержащих лицо;

- средство сопоставления обнаруженных областей, выполненное с возможностью формирования сопоставленных обнаруженных областей посредством вырезания найденных областей из исходных изображений, нормализации, определения характерных точек лица и выравнивания областей относительно друг друга по координатам соответствующих характерных точек;

- средство проведения анализа изменения интенсивности пикселов сопоставленных областей сформированных изображений, выполненное с возможностью построения карт распределения интенсивностей;

- средство формирования решения о рельефности представленного на изображениях лица.

Признаки устройства-прототипа, совпадающие с признаками заявляемого технического решения, следующие: распознавание лица человека; идентификация человека по изображению его лица.

Недостатками известного устройства являются:

1. выделенная область лица может содержать фрагменты фона, что приводит к ошибкам распознавания

2. набор характерных точек изображения лица может не содержать индивидуальных особенностей лица.

Структурная схема устройства, реализующего рассмотренный алгоритм, содержит блок захвата изображения, блок поиска областей, содержащих лица, блок выделения и сопоставления областей, блок анализа изменений областей, блок формирования решения.

Предлагаемое устройство автоматизированного распознавания лиц при обработке групповой фотографии позволяет решить задачу распознавания группы лиц на изображениях с текстурированным фоном. Устройство реализует следующий алгоритм:

1) получение потока групповых фотографий I, содержащих лица нескольких человек;

2) получение тестового изображения, содержащего лицо идентифицируемого человека;

3) локализация лиц на групповых фотографиях из потока I с помощью детектора лиц Виолы-Джонса;

4) выделение локализованных лиц на групповых фотографиях из потока I с помощью алгоритма разделения изображения на фон и объект ('matting');

5) нормализация полученных изображений, каждое изображение содержит лицо человека на черном фоне;

6) формирование вектора признаков полученных изображений лиц и тестового изображения с помощью метода главных компонент. Суть метода главных компонент состоит в формировании матрицы Xm, которая состоит из всех примеров изображений лиц обучающего набора (векторов X). Ковариационная матрица Σ набора Xm разлагается на собственные вектора и собственные значения:

Λ=СT·Σ·С, (1)

где С - матрица собственных векторов, Λ - диагональная матрица собственных чисел. Из С выбирается подматрица СМ, соответствующая М наибольшим собственным числам матрицы Λ. Преобразование:

Y = C М T X ˜ ,  (2)

(где X ˜ = X X ¯ - нормализованный вектор с нулевым математическим ожиданием), характеризует большую часть общей дисперсии и показывает самые значительные изменения Xm. Выбор первых М главных компонент разбивает векторное пространство на главное пространство F = { C i } i = 1 M , содержащее главные компоненты, и его ортогональное дополнение F = { C i } i = M + 1 M .

7) сравнение вектора признаков тестируемого изображения лица с векторами признаками всех остальных изображений лиц на групповых фотографиях из потока I на основе евклидовой метрики.

Устройство автоматизированного распознавания лиц при обработке групповой фотографии (фиг.1) содержит блок локализации областей лиц 1, блок задержки 7, блок управления 9, входы которых являются информационными входами устройства. Выход блока локализации областей лиц 1 подключен к входу блока разделения изображения на фон и объект 2, выход которого подключен к первому входу блока нормализации изображения 3. Выход блока управления 9 подключен ко второму входу блока нормализации изображения 3, выход которого подключен к входу блока формирования векторов признаков лиц 4, выход которого подключен к входу блока буфера 5, выход которого подключен к первому входу блока сравнения 6. Выход блока задержки 7 подключен к входу блока формирования векторов признаков лица 8, выход которого подключен к второму входу блока сравнения 6, выход которого является информационным выходом устройства.

Устройство автоматизированного распознавания лиц при обработке групповой фотографии работает следующим образом. На вход блока локализации лиц 1 поступает поток изображений, на которых представлены лица нескольких человек. Одновременно на вход блока задержки 7 и блока управления 9 поступает изображение с лицом идентифицируемого человека. С помощью блока разделения изображения на фон и объект 2 выделяются области лиц на изображениях из потока. В блоке нормализации 3 происходит масштабирование выделенных областей лиц к изображению идентифицируемого человека. Информация о разрешении идентифицируемого человека подается с блока управления 9 на второй вход блока нормализации 3. В блоках формирования векторов признаков лиц 4 и 8 с помощью метода главных компонент формируется собственные вектора и собственные значения выделенных областей лиц и лица идентифицируемого человека. В блоке буфере 5 хранятся вектора признаков выделенных областей лиц. В блоке сравнения 6 происходит сравнение векторов признаков выделенных областей лиц с вектором признаков лица идентифицируемого человека.

Технический результат - автоматизированное распознавание лиц при обработке групповой фотографии.

Похожие патенты RU2541918C2

название год авторы номер документа
СПОСОБ ИДЕНТИФИКАЦИИ ЧЕЛОВЕКА ПО ИЗОБРАЖЕНИЮ ЕГО ЛИЦА 2006
  • Морзеев Юрий Витальевич
  • Осипов Александр Александрович
  • Ладаев Дмитрий Валерьевич
  • Байгарова Наталия Степановна
RU2304307C1
СПОСОБ ИДЕНТИФИКАЦИИ ПЕЧАТИ НА ЦИФРОВОМ ИЗОБРАЖЕНИИ 2014
  • Шишкин Николай Викторович
  • Битков Евгений Николаевич
  • Битков Алексей Николаевич
  • Радаев Сергей Владимирович
  • Пронкин Алексей Александрович
  • Романишин Геннадий Валерьевич
  • Субботенко Александр Владимирович
  • Дамм Дмитрий Викторович
RU2560789C1
СПОСОБ И УСТРОЙСТВО РАСПОЗНАВАНИЯ РЕЛЬЕФНОСТИ ИЗОБРАЖЕНИЯ ЛИЦА 2013
  • Ефимов Илья Николаевич
  • Косолапов Александр Михайлович
RU2518939C1
СПОСОБ И УСТРОЙСТВО РАСПОЗНАВАНИЯ РЕЛЬЕФНОСТИ ЛИЦА 2009
  • Ирматов Анвар Адхамович
  • Буряк Дмитрий Юрьевич
  • Чердаков Дмитрий Владимирович
  • Кузнецов Виктор Дмитриевич
  • Янг Хае Кванг
  • Ли Донгсунг
RU2431190C2
СПОСОБ ИДЕНТИФИКАЦИИ ЛИЧНОСТИ ЧЕЛОВЕКА ПО ЦИФРОВОМУ ИЗОБРАЖЕНИЮ ЛИЦА 2009
  • Бочков Максим Вадимович
  • Васинев Дмитрий Александрович
  • Черепанов Алексей Валерьевич
RU2431191C2
СПОСОБ И СИСТЕМА ДЛЯ ИДЕНТИФИКАЦИИ ЧЕЛОВЕКА ПО ИЗОБРАЖЕНИЮ ЛИЦА 2007
  • Тельных Александр Александрович
  • Еремин Евгений Викторович
  • Разумов Владимир Автандилович
  • Беллюстин Николай Сергеевич
  • Шемагина Ольга Владимировна
  • Краева Татьяна Анатольевна
  • Калафати Юрий Дмитриевич
  • Джейн Аджай Кумар
  • Рохаджи Упендра Сингх
  • Яхно Владимир Григорьевич
RU2382408C2
Способ распознавания лиц 2016
  • Стоянов Юрий Павлович
RU2610682C1
СПОСОБ РАСПОЗНАВАНИЯ ОБРАЗОВ НА ЦИФРОВОМ ИЗОБРАЖЕНИИ 2013
  • Босов Юрий Олегович
  • Зегжда Дмитрий Петрович
  • Москвин Дмитрий Андреевич
RU2536677C2
СПОСОБ ИДЕНТИФИКАЦИИ ЭЛЕМЕНТОВ СЛОЖНОЙ СИСТЕМЫ В ПЕРЕМЕННЫХ УСЛОВИЯХ 2020
  • Стародубцев Юрий Иванович
  • Курило Андрей Александрович
  • Вершенник Елена Валерьевна
  • Иванов Сергей Александрович
  • Вершенник Алексей Васильевич
  • Закалкин Павел Владимирович
  • Стародубцев Петр Юрьевич
RU2726027C1
УСТРОЙСТВО ПОИСКА ДУБЛИКАТОВ ИЗОБРАЖЕНИЙ 2013
  • Марчук Владимир Иванович
  • Воронин Вячеслав Владимирович
  • Письменскова Марина Михайловна
  • Морозова Татьяна Владимировна
RU2538319C1

Реферат патента 2015 года УСТРОЙСТВО АВТОМАТИЗИРОВАННОГО РАСПОЗНАВАНИЯ ЛИЦ ПРИ ОБРАБОТКЕ ГРУППОВОЙ ФОТОГРАФИИ

Изобретение относится к области вычислительной техники и может быть использовано в системах анализа и обработки изображений. Техническим результатом является автоматизированное распознавание лиц при обработке групповой фотографии. Устройство автоматизированного распознавания лиц при обработке групповой фотографии содержит блок поиска областей, содержащих лица, блок формирования решения, причем выход блока локализации областей лиц (1) подключен к входу блока разделения изображения на фон и объект (2), выход которого подключен к первому входу блока нормализации изображения (3); выход блока управления (9) подключен ко второму входу блока нормализации изображения (3), выход которого подключен к входу блока формирования векторов признаков лиц (4), выход которого подключен к входу блока буфера (5), выход которого подключен к первому входу блока сравнения (6); выход блока задержки (7) подключен к входу блока формирования векторов признаков лица (8), выход которого подключен ко второму входу блока сравнения (6), выход которого является информационным выходом устройства. 1 ил.

Формула изобретения RU 2 541 918 C2

Устройство автоматизированного распознавания лиц при обработке групповой фотографии, содержащее блок поиска областей, содержащих лица, блок формирования решения, отличающееся тем, что выход блока локализации областей лиц (1) подключен к входу блока разделения изображения на фон и объект (2), выход которого подключен к первому входу блока нормализации изображения (3); выход блока управления (9) подключен ко второму входу блока нормализации изображения (3), выход которого подключен к входу блока формирования векторов признаков лиц (4), выход которого подключен к входу блока буфера (5), выход которого подключен к первому входу блока сравнения (6); выход блока задержки (7) подключен к входу блока формирования векторов признаков лица (8), выход которого подключен ко второму входу блока сравнения (6), выход которого является информационным выходом устройства.

Документы, цитированные в отчете о поиске Патент 2015 года RU2541918C2

СПОСОБ И УСТРОЙСТВО РАСПОЗНАВАНИЯ РЕЛЬЕФНОСТИ ЛИЦА 2009
  • Ирматов Анвар Адхамович
  • Буряк Дмитрий Юрьевич
  • Чердаков Дмитрий Владимирович
  • Кузнецов Виктор Дмитриевич
  • Янг Хае Кванг
  • Ли Донгсунг
RU2431190C2
СПОСОБ ИДЕНТИФИКАЦИИ ЛИЧНОСТИ ЧЕЛОВЕКА ПО ЦИФРОВОМУ ИЗОБРАЖЕНИЮ ЛИЦА 2009
  • Бочков Максим Вадимович
  • Васинев Дмитрий Александрович
  • Черепанов Алексей Валерьевич
RU2431191C2
Способ приготовления лака 1924
  • Петров Г.С.
SU2011A1
Станок для изготовления деревянных ниточных катушек из цилиндрических, снабженных осевым отверстием, заготовок 1923
  • Григорьев П.Н.
SU2008A1

RU 2 541 918 C2

Авторы

Марчук Владимир Иванович

Шерстобитов Александр Иванович

Воронин Вячеслав Владимирович

Семенищев Евгений Александрович

Приходченко Владислав Александрович

Тимофеев Дмитрий Витальевич

Гапон Николай Валерьевич

Даты

2015-02-20Публикация

2013-06-18Подача