СПОСОБ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ ЛИЦ И СИСТЕМА ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2015 года по МПК G06K9/80 

Изобретение относится к автоматике и вычислительной технике и может быть использовано для распознавания по скетчам (фотороботам, рисованным, рисованно-композиционным портретам) оригинальных изображений лиц в системах машинного зрения, биометрических системах контроля доступа, видеонаблюдения, интерактивных системах человек - компьютер и других системах. Техническим результатом является повышение быстродействия распознавания изображений лиц и повышение его универсальности.

Динамика развития компьютерных биометрических технологий в последние годы позволила приступить к проблеме поиска оригинального изображения лица в большой базе данных по скетчу, нарисованному по описаниям свидетелей или участников некоторого события (в том числе и криминального характера). Однако стабильное распознавание скетчей и устойчивый поиск соответствующих им фотопортретов в специальных базах является на сегодня практически не достижимым, что показано в Klare В. F. et al. Matching Forensic Sketches to Mug Shot Photos - IEEE Transactions on PAMI, 2011, Vol.33, №3, pp.639-646 и Han Hu et al. Matching Composite Sketches to Face Photos: A Component-Based Approach - IEEE Transactions on Information Forensics and Security, Vol.8, №3, Jan. 2013, pp.191-204.

Этот факт является следствием трех основных причин: неприспособленности «старых баз фотопортретов» преступников к современным компьютерным технологиям, используемым в лицевой биометрии; отсутствием необходимых баз скетчей, для моделирования и исследования задач сравнения скетчей и оригинальных фотопортретов; неразвитостью технологии сравнения изображений скетч/фотопортрет, что связано с отсутствием простых и эффективных методов для решения данного рода задач.

Именно поэтому в последние годы постоянно растет интерес к проблеме автоматического распознавания по скетчам оригинальных изображений лиц в больших базах, а исследователи обратились к проблемам не только создания баз скетчей, но и в значительной степени разработке методов, учитывающих особенности и скетчей, и изображений лиц.

Известен способ (Wang X. and Tang X. Face Photo-Sketch Synthesis and Recognition, IEEE Transactions on PAMI, 2009, Vol.31, no.11, pp.1955-1967) распознавания изображений лиц, основанный на использовании библиотеки связанных фрагментов лиц фотопортретов и соответствующих им скетчей и построении моделей фото→скетч в рамках многомерных Марковских случайных полей, использующий линейные и собственные преобразования, классификатор по типу LDA. Способ требует библиотеки парных изображений фото-скетч для построения моделей, которые потом используются для синтеза скетчей из новых фото, а также средства анализа и локализации фрагментов из исходных изображений лиц и соответствующих им скетчей. Недостатком способа является необходимость использования библиотеки, связанных фрагментов лиц из пар фото/скетч, сложные процедуры обработки исходных данных, используемые для создания полной библиотеки связанных фрагментов изображений лиц, охватывающих все возможные варианты локальных областей лиц и, как следствие этого, - невозможность обеспечения высокого качества синтеза скетчей на все возможные типы лиц, что снижает результат распознавания.

Известен способ (Abhishek Sharma, David W. Jacobs. Bypassing synthesis: PLS for face recognition with pose, low-resolution and sketch, In The 24th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2011, Colorado Springs, CO, USA, 20-25 June 2011, pages 593-600), основанный на трансформации набора изображений фото и соответствующих им набора скетчей в собственное подпространство на основе PLS и построении билинейной регрессии. Недостатком способа является необходимость повторной трансформации исходных изображений при изменении эталонов, а также существенные вычислительные затраты, требуемые для выполнения матричных преобразований.

Общим недостатком перечисленных способов является высокая вычислительная сложность и вследствие этого невозможность распознавания скетчей в режиме реального времени непосредственно по заданной базе изображений лиц.

Наиболее близким является способ «Методы сравнения фотопортрета-оригинала и скетча» (Кухарев Г.А. и др. Известия СПбГЭТУ «ЛЭТИ», 2013, №6, с.64-78), который заключается в разделении на регистрацию и распознавание, при которых, в регистрации вводятся исходные цветные изображения лиц, выполняется преобразование цветных изображений в полутоновые, выполняется выбор области интереса на полученных полутоновых изображениях, выполняется для всех выбранных областей интереса одномерный PCA (PCA - principal component analysis) по строкам, выполняется для всех выбранных областей интереса одномерный PCA по столбцам, полученные изображения преобразуются в спектры с помощью двумерного преобразования Карунена-Лоэва (2D KLT), удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, полученные спектры записываются в базу эталонов, а в распознавании вводятся скетчи, выполняется для всех скетчей одномерный PCA по строкам, выполняется для всех скетчей одномерный PCA по столбцам, полученные скетчи преобразуются в спектры с помощью двумерного преобразования Карунена-Лоэва (2D KLT), удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, выполняется сравнение полученных тестовых спектров со спектрами, хранящимися в базе эталонов, принимается решение о распознавании по критерию минимума расстояния.

Система для осуществления способа состоит из последовательно соединенных устройства регистрации и устройства распознавания, при этом первый вход системы является входом устройства регистрации, а второй вход системы является входом устройства распознавания, выходом системы является выход устройства распознавания, причем устройство регистрации содержит последовательно соединенные блок преобразования цветных изображений в полутоновые, блок выбора области интереса, два блока одномерного PCA, блок 2DKLT, соединенный с входом блока базы эталонов, выход которого является выходом устройства регистрации и соединен с вторым входом устройства распознавания, а также последовательно соединенные второй вход системы, два блока одномерного PCA, блок 2DKLT, соединенный с вторым входом блока классификатора, выход которого является выходом системы.

Недостатком решения является его низкая универсальность, связанная с невозможностью его применения в условиях динамики изменения баз эталонов, поскольку дополнение баз новыми эталонами или исключение из баз не актуальных эталонов потребует повторной трансформации исходных изображений в новое пространство признаков на основе метода 2DPCA/2DKLT, что прервет работу системы распознавания. Кроме того, использование методов двумерной проекции на основе 2DPCA, принятое в прототипе, требует выполнения условий равенства размеров всех изображений лиц (как эталонных, так и тестовых), использования трудоемких методов решения задач на собственные значения и соответствующих им процедур регуляризации. Наконец, в данном решении, этап 2DKLT не может быть выполнен по схеме «быстрых алгоритмов», что вместе с затратами на этапе 2DPCA приводит к существенным вычислительным затратам, снижающим уровень быстродействия устройства.

Техническим результатом, на который направлено изобретение, является повышение быстродействия распознавания по скетчам (фотороботам, рисованным, рисованно-композиционным портретам) оригинальных изображений лиц и повышение его универсальности за счет исключения процедуры выбора области интереса и использовании вместо нее сглаживающей фильтрации, исключения процедур 2DPCA/2DKLT и использования вместо них процедур двумерного косинус-преобразования (2DDCT).

Указанный технический результат достигается за счет того, что распознавание изображений лиц разбивается на регистрацию и распознавание, причем при регистрации вводятся исходные цветные изображения лиц, выполняется преобразование цветных изображений в полутоновые, выполняется сглаживающая фильтрация полутоновых изображений, полученные изображения преобразуются в спектры с помощью двумерного косинус-преобразования, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, и полученные спектры записываются в базу эталонов, при распознавании вводятся скетчи, выполняется преобразование скетчей в спектры с помощью двумерного косинус-преобразования, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, выполняется сравнение полученных тестовых спектров со спектрами, хранящимися в базе эталонов, принимается решение о распознавании по критерию минимума расстояния, а система для осуществления способа состоит из последовательно соединенных устройства регистрации и устройства распознавания, при этом первый вход системы является входом устройства регистрации, а второй вход системы является входом устройства распознавания, выходом системы является выход устройства распознавания, причем устройство регистрации содержит последовательно соединенные блок преобразования цветных изображений в полутоновые, блок сглаживающей фильтрации, блок двумерного косинус-преобразования, соединенный с входом блока базы эталонов, выход которого является выходом устройства регистрации, а устройство распознавания содержит последовательно соединенные второй вход системы, блок двумерного косинус-преобразования, соединенный с вторым входом блока классификатора, первый вход блока классификатора соединен с выходом устройства регистрации, выход блока классификатора соединен с выходом устройства распознавания.

Указанный результат достигается за счет того, что процедуры 2DDCT, как единственный инструмент трансформации исходных данных в спектральное пространство признаков, не требуют проведения предварительного анализа исходных данных, реализуются на основе быстрых алгоритмов и адаптированы к переменному размеру исходных изображений, а сглаживающая фильтрация позволяет элиминировать возможные неточности (небольшие искажения пропорций лица и размеров его частей), допущенные при составлении исходного скетча по описаниям свидетелей или участников некоторого события (в том числе и криминального характера).

Сущность изобретения поясняется на фиг.1 - где изображена функциональная схема системы, фиг.2 - где представлены примеры изображений лиц и соответствующих им скетчей, фиг.3 - где представлены результаты распознавания скетчей, фиг.4 - где представлены примеры скетчей, нарисованных художниками по исходным фото, и скетчей, сгенерированных автоматически из исходных фото и дорисованных художниками.

Способ осуществляется с помощью системы, функциональная схема которой изображена на фиг.1, состоящей из последовательно соединенных устройства регистрации 1 и устройства распознавания 2, при этом первый вход системы является входом устройства регистрации 1, а второй вход системы является входом устройства распознавания 2, выходом системы является выход устройства распознавания 2, причем устройство регистрации 1 содержит последовательно соединенные блок 3 преобразования цветных изображений в полутоновые, блок 4 сглаживающей фильтрации, блок 5 двумерного косинус-преобразования, соединенный с входом блока 6 базы эталонов, выход которого является выходом устройства регистрации 1, а устройство распознавания 2 содержит последовательно соединенные второй вход системы, блок 7 двумерного косинус-преобразования, соединенный с вторым входом блока классификатора 8, первый вход блока классификатора 8 соединен с выходом устройства регистрации 1, выход блока классификатора соединен с выходом устройства распознавания 2.

Способ осуществляется следующим образом.

На первый вход системы устройства регистрации 1 подаются исходные цветные цифровые изображения.

В блоке 3 выполняется преобразование цветных изображений в полутоновые.

В блоке 4 выполняется сглаживающая фильтрация.

В блоке 5 выполняется двумерное дискретное косинус-преобразование, преобразующее изображения, полученные в блоке 4, в спектр. Здесь же выполняется селекция спектральных компонент с тем, чтобы удалить высокочастотные составляющие, близкие по значениям к нулю. При выполнении селекции учитывается следующий факт: косинус-преобразование достаточно точно представляет исходные изображения с лицами малым числом признаков - спектральных компонент DCT. Это основано на том, что энергетически значимые спектральные компоненты DCT концентрируются в левом верхнем углу матрицы - результата DCT. Поэтому при формировании вектора признаков используются только компоненты из верхнего левого угла спектральной матрицы. В каждом векторе признаков оставляются только d(d+1)/2 симметричных относительно главной диагонали спектральных компонент, выбранных так, что в него попадут компоненты с координатами (1,1), (2,1), (1,2), (3,1), (2,2), (1,3), (4,1), (3,2), (2,3), (1,4) и т.д. При этом d - параметр, определяющий квадрат со стороной d, размещенный в левом верхнем углу спектральной матрицы.

Определим 2D DCT в следующей матричной форме:

где I - исходное изображение размера M×N; Y - результат преобразования; F1 и F2 - матрицы проекции размером d₁×M и N×d₂, причем:

Блок 6 сохраняет спектральные признаки в базе эталонов в форме векторов.

На вход 2 системы устройства распознавания 2 подаются цифровые изображения скетчей (фотороботы, рисованные, рисованно-композиционные, фотокомпозиционные портреты), предназначенные для распознавания.

В блоке 7 выполняется двумерное дискретное косинус-преобразование, преобразующее каждое изображение скетча в спектр по формуле (1). Здесь же выполняется селекция спектральных компонент с тем, чтобы удалить высокочастотные составляющие, близкие по значениям к нулю.

Блок 8 решает задачу классификации распознаваемых скетчей (их принадлежности оригинальным изображениям лиц) по критерию минимума расстояний. Здесь вычисляются расстояния между вектором признаков распознаваемого изображения и всеми К векторами признаков из базы эталонов. Индекс k∈K, соответствующий минимуму расстояния, будет означать соответствие распознаваемого изображения эталону с порядковым номером k.

Основными отличительными признаками заявляемого способа являются:

- использование простой предобработки исходных изображений с целью уменьшения влияния возможных неточностей (небольших искажений пропорций лица и размеров его частей), допущенных при составлении исходного скетча по описаниям свидетелей или участников некоторого события (в том числе и криминального характера);

- использование метода двумерного дискретного косинус-преобразования как единственного инструмента трансформации исходных данных в спектральное пространство признаков;

- исключение из состава спектральных признаков тех составляющих, которые связаны с шумами на распознаваемых изображениях.

Результативность распознавания скетчей по предлагаемому способу доказана компьютерным моделированием и экспериментами, выполненными на базе скетчей CUFS - CUHK Face Sketch database (Student Sketch Database: http://mmlab.ie.cuhk.edu.hk/facesketch.html), специально предназначенной для тестирования методов распознавания изображений лиц по скетчам. Примеры изображений лиц и соответствующих им скетчей представлены на фиг.2.

Модель экспериментов имеет следующий вид:

Здесь приняты следующие обозначения:

CUFS (100/1/1) - использована база изображений, состоящая из 100 классов: 1 эталон на класс и 1 скетч (тестовый образ) на класс;

BlurF - выполняется сглаживающая фильтрация эталонных изображений;

2DDCT - выполняется двумерное косинус-преобразование (то есть преобразования выполнены только на этапе проекции эталонных и тестовых данных);

M×N→d(d+1)/2 - представлены размеры исходных изображений и размерность результата проекции после редукции размерности пространства признаков (M=250; N=200, d=30), параметр «d» определен в ходе решения вариационной задачи;

KMP/L1/rank=1 - использован классификатор по минимуму расстояния с метрикой L1, а результат оценивается по первому месту (rank=1).

Результаты распознавания скетчей приведены в таблице на фиг.3. Полученный при этом результат составил 91% по рангу=1 для скетчей, нарисованных художниками по исходным фото (Art Sketches), и 99,27% для скетчей, сгенерированных автоматически из исходных фото и дорисованных художниками (Viewed Sketches). Примеры Art Sketches и Viewed Sketches приведены на фиг.4.

Предпочтительным вариантом реализации устройства является его использование для распознавания и поиска по скетчам (фотороботам, рисованным, рисованно-композиционным портретам), полученным по описаниям свидетелей или участников некоторого события (в том числе и криминального характера), оригинальных изображений лиц в большой базе данных для повышения эффективности существующих систем видеонаблюдения и создания нового класса интеллектуальных систем, рассчитанных на следующие типы приложений: интеллектуальное видеонаблюдение, биометрические системы идентификации личности и контроля доступа, системы технического зрения.

При этом прибор реализуется в виде платы устройств, в состав которой входит, по крайней мере, один сигнальный процессор.

Таким образом, предложенный способ распознавания изображений лиц имеет более низкую вычислительную сложность вычислений, все преобразования реализуются на основе быстрых алгоритмов, что обеспечивает повышение быстродействия, обладает универсальностью за счет возможности адаптации к переменному размеру исходных изображений и использования сглаживающей фильтрации, элиминирующей возможные неточности при составлении скетча, что делает возможным его использование в системах реального времени.

Изобретение относится к способу и системе распознавания изображений лиц. Техническим результатом является повышение быстродействия распознавания изображений лиц по скетчам и повышение его универсальности. Способ распознавания изображений лиц заключается в разделении распознавания на регистрацию и распознавание, причем при регистрации вводятся исходные цветные изображения лиц, выполняется преобразование цветных изображений в полутоновые, выполняется сглаживающая фильтрация полутоновых изображений, полученные изображения преобразуются в спектры с помощью двумерного косинус-преобразования, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, и полученные спектры записываются в базу эталонов, при распознавании вводятся скетчи, выполняется преобразование скетчей в спектры с помощью двумерного косинус-преобразования, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, выполняется сравнение полученных тестовых спектров со спектрами, хранящимися в базе эталонов, принимается решение о распознавании по критерию минимума расстояния. 2 н.п. ф-лы, 4 ил.

1. Способ распознавания изображений лиц, состоящий из регистрации и распознавания, причем при регистрации вводятся исходные цветные изображения лиц, выполняется преобразование цветных изображений в полутоновые, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, и полученные спектры записываются в базу эталонов, а при распознавании вводятся скетчи, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, выполняется сравнение полученных тестовых спектров со спектрами, хранящимися в базе эталонов, принимается решение о распознавании по критерию минимума расстояния, отличающийся тем, что при регистрации для полученных полутоновых изображений выполняется сглаживающая фильтрация, полученные изображения преобразуются в спектры с помощью двумерного косинус-преобразования, а при распознавании скетчи преобразуются в спектры с помощью двумерного косинус-преобразования.

2. Система для осуществления способа по п.1, состоящая из последовательно соединенных устройства регистрации и устройства распознавания, при этом первый вход системы является входом устройства регистрации, а второй вход системы является входом устройства распознавания, выходом системы является выход устройства распознавания, причем устройство регистрации содержит блок преобразования цветных изображений в полутоновые, вход которого соединен с входом устройства регистрации, и блок базы эталонов, выход которого является выходом устройства регистрации, а устройство распознавания содержит блок классификатора, первый вход которого является вторым входом устройства распознавания, соединенным с выходом устройства регистрации, выход блока классификатора соединен с выходом устройства распознавания, отличающаяся тем, что устройство регистрации дополнительно содержит последовательно соединенные блок сглаживающей фильтрации и блок двумерного косинус-преобразования, выход которого соединен с входом блока базы эталонов, а устройство распознавания дополнительно содержит блок двумерного косинус-преобразования, выход которого соединен со вторым входом блока классификатора, а вход является первым входом устройства распознавания.