Способ автоматической реконструкции фотопортретов из скетчей и система для его осуществления Российский патент 2017 года по МПК G06T3/00 G06T7/00 G06K9/36 G06F17/16 

Изобретение относится к автоматике и вычислительной технике и может быть использовано для создания баз фотопортретов, предназначенных для решения задач регистрации и поиска изображений лиц по скетчам (фотороботам); поиска лиц в биометрических системах, системах видеонаблюдения и системах технического зрения.

Известны способ автоматической генерации скетчей и система для его осуществления (Патент РФ №2541132, МПК G06K 9/36, дата приоритета 26.07.2013 г., опубликовано 10.02.2015 г.), предназначенные для генерации популяции фотопортретов. Способ и система основаны на модификации области лица фотопортрета (путем изменения ширины, длины и симметрии), что позволяет создавать новые изображения лиц, имитируя получение новых данных от группы из L свидетелей. В состав системы входят блок формирования негатива, блок формирования полутонового изображения, а также генератор случайных чисел. Недостатком способа и осуществляющей его системы является то, что для генерации популяции фотопортретов необходимо располагать исходной фотографией. Таким образом, не решается обратная задача - генерация популяций фотографий из заданного скетча.

Известны способ и система для синтеза скетча из фотографии (Заявка на получение патента США № US 201013820729, МПК G06K 9/66, дата приоритета 03.09.2010 г., опубликовано 21.11.2013 г.), основанные на использовании библиотеки связанных фрагментов скетчей и соответствующих им фотопортретов и построении по ним моделей связи скетч-фото. При этом для создания новых скетчей необходим набор связанных фрагментов исходных пар скетч-фото, который используется в процессе генерации скетча. Выбор фрагментов, используемых для построения нового скетча, осуществляется с помощью Случайных Марковских Полей (СМП). При этом для повышения качества результирующего изображения применяются модели формы лица. В состав системы входят: блок деления фотографии на части, блок формирования СМП, блок оптимизации СМП и блок синтеза скетча из библиотеки фрагментов. Недостатком данного способа и системы является практическая сложность создания полной библиотеки связанных фрагментов изображений лиц, охватывающих всевозможные фенотипические особенности (тон кожи, форма глаз, носа, рта). Кроме того, данные способ и система не решают задачу генерации фотографий по скетчам. И, наконец, они предназначены только для создания одного скетча, а не их популяции.

Известен способ генерации фотографии по скетчу (Заявка на получение патента КНР №20131250354, МПК G06T 3/40, G06T 5/00, дата приоритета 21.06.2013 г., опубликовано 04.09.2013 г.), выполняющий преобразование в несколько этапов. Сначала производится предварительная реконструкция фотографии по соответствующему скетчу с помощью трансформации в локальные собственные подпространства (с использованием обучающей выборки, содержащей пары скетч-фото). Далее реализуется процедура модификации этого варианта фотографии, основанная на ее геометрической коррекции по глобальным параметрам лица (контур и форма прически) и деформации по локальным параметрам лица (примитивам и/или выбранным контрольным точкам), в результате чего получается новый вариант фотографии («псевдофото»). После этого «псевдофото» подвергается коррекции с участием специалиста-оператора. Недостатками этого способа является неполная автоматизация процесса реконструкции и его неприспособленность для генерации популяции изображений лиц.

Основными недостатками перечисленных способов являются необходимость использования специальных библиотек, составленных из связанных фрагментов лиц для пар «фотография-скетч»; необходимость участия оператора в процессе формирования фотографии по скетчу; использование дополнительных процедур сравнения и обработки изображений по глобальным и локальным параметрам области лиц, влияющих на качество получаемых изображений лиц. Эти недостатки ограничивают возможность автоматического создания фотографии по заданному скетчу и, следовательно, неприменимы в режиме реального времени. Кроме того, ни один из этих способов не предусматривает формирование популяции фотографии по заданному скетчу, поскольку главные критерии, по которым в них генерируются фотографии, - это высокое подобие оригиналу, который в общем случае неизвестен.

Наиболее близким к изобретению являются способ и система генерации фотографий из скетчей (Заявка ВОИС на получение патента № WO 2003CN00797, МПК G06K 9/00, дата приоритета 19.09.2002 г., опубликовано 01.04.2004 г.). Способ реализует реконструкцию фотографий по моделям взаимной трансформации из собственного подпространства для скетчей в смешанное подпространство (скетч и фотография), причем базисы обоих подпространств формируют на основе анализа главных компонент (Principal Component Analysis, РСА) и вычисляют для обучающих выборок S и Р, состоящих из K пар цифровых изображений (K скетчей и K соответствующих им фотографии). Преобразование каждого скетча выборки 5 в фотографию выполняют в два этапа. На первом этапе по исходным выборкам S и Р вычисляют средние значения и (здесь S_i и P_i - i-e фотографии/скетчи из выборок S и Р соответственно), затем исходные выборки S и Р центрируют относительно средних, преобразуя их в и , и по результату выполняют анализ главных компонент, вычисляя собственные числа и собственные векторы матрицы Грама и нормированные собственные векторы ковариационной матрицы . На втором этапе решают задачу реконструкции фотографии из заданного скетча: сначала из него вычитают среднее значение m_S, после чего на основе преобразования Карунена-Лоэва выполняют его проекцию в собственное подпространство с использованием нормированных собственных векторов, а полученный при этом вектор-результат умножают сначала на диагональную матрицу собственных чисел Λ_S, возведенную в степень -(1/2), а затем на матрицу собственных векторов V_S, в результате чего получают вектор весовых коэффициентов промежуточного представления заданного скетча, который умножают на , а к результату умножения добавляют среднее значение m_P, завершая процесс формирования фотографии из заданного скетча. Система, осуществляющая данный способ, включает блок анализа главных компонент (БАГК), выполняющий вычисление собственных векторов и собственных чисел, блок центрирования (БЦ), выполняющий центрирование исходной выборки фотографий, блок вычисления спектра в собственном базисе (БВС), выполняющий центрирование заданного скетча и вычисление преобразования Карунена-Лоэва, блок вычисления весовых коэффициентов (БВВК), выполняющий вычисление вектора весовых коэффициентов промежуточного представления заданного скетча, блок формирования фотографии (БФФ), выполняющий умножение весовых коэффициентов на и добавление среднего значения m_P к результату. Вход БАГК является первым входом системы, на которую поступает исходный набор скетчей; его первый выход соединен с первым входом БВС; его второй выход соединен с первым входом БВВК. Вход БЦ является вторым входом системы, на который поступает исходный набор фотографий; его выход соединен с первым входом БФФ. Второй вход БВС является третьим входом системы, на который поступает заданный скетч; его выход соединен со вторым входом БВВК. Выход БВВК соединен со вторым входом БФФ. Выход БФФ является выходом системы, с которого поступает фотография, сформированная из заданного скетча. Одним из недостатков способа и системы является то, что операции матричного умножения (в том числе умножение вектора весовых коэффициентов на центрированную матрицу исходных фотографий ), выполняемые в БВВК и БФФ для вычисления весовых коэффициентов и формирования фотографии, производятся для каждого нового заданного скетча, что требует существенных вычислительных затрат при реконструкции каждой фотографии. Кроме того, способ и система не предусматривают получение популяции фотографии из заданного скетча.

Решается задача повышения быстродействия и обеспечения универсальности способа и системы реконструкции фотопортретов из скетчей.

Поставленная задача решается за счет того, что способ автоматической реконструкции фотопортретов из скетчей заключается в вычислении по исходным выборкам скетчей S и фотографий Р средних значений m_S и m_P, центрировании относительно средних исходных выборок S и Р, в результате чего они преобразуются в и , выполнении анализа главных компонент по , в результате которого вычисляются собственные числа и соответствующие им собственные векторы для матрицы Грама, которые пересчитываются в собственные векторы ковариационной матрицы, вычислении для заданного скетча спектра в базисе, образованном собственными векторами ковариационной матрицы, с помощью прямого преобразования Карунена-Лоэва; и отличается от известного технического решения тем, что вычисляют базис взаимной трансформации скетча в фотографию, используя при этом собственные числа, соответствующие им собственные векторы для матрицы Грама и центрированную выборку исходных фотографий , модифицируют спектр заданного скетча L раз путем добавления случайного шума к каждой его компоненте, получая L модифицированных спектров, из которых формируют популяцию из L фотографий, соответствующих заданному скетчу, посредством умножения на матрицу, содержащую векторы базиса взаимной трансформации, и добавления среднего значения фотографий m_P, причем формируют базис взаимной трансформации скетча в фотографию один раз и используют повторно для любых заданных скетчей. Система автоматической реконструкции фотопортретов из скетчей включает блок анализа главных компонент (БАГК), первый выход которого соединен с первым входом блока вычисления спектра в собственном базисе (БВС) и блок центрирования (БЦ), при этом вход БАГК является первым входом системы, вход БЦ является вторым входом системы, а второй вход БВС является третьим входом системы; и отличается от известного технического решения тем, что введены блок вычисления базиса взаимной трансформации (БВБ), генератор случайных векторов (ГСВ), сумматор векторов (СВ), блок формирования популяции фотографий (БФПФ), причем второй выход БАГК соединен с первым входом БВБ, первый выход БЦ соединен со вторым входом БВБ, второй выход БЦ соединен с первым входом БФПФ, выход БВС соединен с первым входом СВ, выход БВБ соединен со вторым входом БФПФ, выход ГСВ соединен со вторым входом СВ, выход СВ соединен с третьим входом БФПФ, а выход БФПФ является выходом системы.

Повышение быстродействия способа автоматической реконструкции фотопортретов из скетчей достигается за счет вычисления базиса взаимной трансформации скетча в фотографию, причем этот базис формируют один раз и повторно используют для любых заданных скетчей. Универсальность способа реконструкции фотопортретов из скетчей обеспечивается за счет того, что модифицируют спектр заданного скетча L раз путем добавления случайного шума к каждой его компоненте, получая L модифицированных спектров, из которых формируют популяцию из L фотографий (а не единственную фотографию), соответствующих заданному скетчу, посредством умножения на матрицу, содержащую векторы базиса взаимной трансформации, и добавления среднего значения фотографий m_P. Повышение быстродействия системы автоматической реконструкции фотопортретов из скетчей достигается за счет введения в ее состав БВБ и БФПФ и соединения выхода БВБ со вторым входом БФПФ, что позволяет повторно использовать базис взаимной трансформации скетча в фотографию, формируемый в БВБ, для любых заданных скетчей. Универсальность системы реконструкции фотопортретов из скетчей обеспечивается введением в ее состав ГСВ и СВ, что позволяет L раз модифицировать спектр заданного скетча и сформировать популяцию из L фотографий (а не единственную фотографию), соответствующих заданному скетчу.

Сущность изобретения поясняется рисунками:

на фиг. 1 изображена структурная схема системы;

на фиг. 2 представлены примеры изображений баз «фотография-скетч»: CUHK/CUFS, CUHK/CUFSF, изображения из статьи Chen Н. et al. Example-based composite sketching of human portraits // Proceedings of the 3rd international symposium on non-photorealistic animation and rendering. ACM, 2004. P. 95-153;

на фиг. 3 представлены средние изображения базы обучения CUHK/CUFS, собственные числа для выборок S и P, примеры реконструкции фотографии по скетчу, полученные по описанному способу;

на фиг. 4 представлены примеры реконструкции фотографии из скетча для базы обучения;

на фиг. 5 представлены примеры реконструкции фотографии из скетчей, не входящих в базу обучения;

на фиг. 6 представлены примеры реконструкции фотографии из неоригинального скетча (не входящего в базу обучения), популяции из девяти реконструированных фотографий и отображение сгенерированной популяции фотографий в трехмерном подпространстве;

на фиг. 7 представлены две сформированные популяции фотографий: сгенерированные изображения и их представления в трехмерном подпространстве.

Изображенная на фиг. 1 система автоматической реконструкции фотопортретов из скетчей, которая содержит блок анализа главных компонент (БАГК) 1, блок центрирования (БЦ) 2, блок вычисления спектра в собственном базисе (БВС) 3, блок вычисления базиса взаимной трансформации (БВБ) 4, генератор случайных векторов (ГСВ) 5, сумматор векторов (СВ) 6, блок формирования популяции фотографий (БФПФ) 7, причем вход БАГК 1 является первым входом системы, вход БЦ 2 является вторым входом системы, второй вход БВС 3 является третьим входом системы, первый выход БАГК 1 соединен с первым входом БВС 3, второй выход БАГК 1 соединен с первым входом БВБ 4, первый выход БЦ 2 соединен со вторым входом БВБ 4, второй выход БЦ 2 соединен с первым входом БФПФ 7, выход БВС 3 соединен с первым входом СВ 6, выход БВБ 4 соединен со вторым входом БФПФ 7, выход ГСВ 5 соединен со вторым входом СВ 6, выход СВ 6 соединен с третьим входом БФПФ 7, выход БФПФ 7 является выходом системы.

Способ автоматической реконструкции фотопортретов из скетчей осуществляется следующим образом. Исходные выборки из K фотографий и K скетчей (изображений, содержащих М строк и N столбцов) представлены в виде матриц S и Р, имеющих размеры MN×K; каждый столбец матриц получен путем конкатенации столбцов исходных изображений. Прежде всего, вычисляют средние значения и (здесь S_i и P_i - i-e столбцы матриц S и Р соответственно); после чего производят центрирование относительно этих средних: , (- матрица размера 1×K с единичными элементами). Вычисление m_P и выполняется в БЦ 2. Далее выполняют анализ главных компонент, для чего для матрицы Грама (размера K×K) находят матрицу собственных векторов V_S и диагональную матрицу собственных чисел Λ_S (которые также имеют размеры K×K); после чего вычисляют матрицу размера MN×K, содержащую K собственных векторов ковариационной матрицы . Вычисление матриц Λ_S, V_S, W_S и вектора m_S выполняется в БАГК 1. Затем вычисляют матрицу базиса взаимной трансформации , имеющую размер MN×K. Вычисление матрицы F_SP выполняется в БВБ 4. Полученные таким образом матрицы W_S, F_SP и векторы m_S, m_P используют для генерации популяции фотографий по произвольному заданному скетчу S_new, представленному в форме вектора размера MN×1. Для этого вычисляют центрированную версию заданного скетча , после чего вычисляют его спектр в собственном базисе, выполняя преобразование Карунена-Лоэва: (вектор-столбец с K элементами). Вычисление вектора Y выполняется в БВС 3. Далее генерируют L векторов случайных чисел размерности K, образующих матрицу R размера K×L. Генерация матрицы R выполняется в ГСВ 5. После этого вычисляют матрицу , содержащую L модифицированных версий спектра заданного скетча: . Матрица вычисляется в СВ 6. Затем формируют матрицу популяции размера MN×L. Каждый столбец матрицы преобразуют в изображение размера М×N посредством операции, обратной конкатенации столбцов (последовательное заполнение матрицы по столбцам элементами из вектора). Полученный набор L изображений образует популяцию фотографий, реконструированную из скетча S_new. Матрица и популяция, содержащая L фотографий, формируются в БФПФ 7.

При этом если K велико, то те столбцы матриц V_S, W_S и Λ_S, которые отвечают малым собственным числам, могут быть опущены. В этом случае размерность генерируемых векторов случайных чисел, размещаемых в матрице R, должна совпадать с количеством сохраненных столбцов матриц V_S, W_S и Λ_S. Это позволит добиться дальнейшего повышения быстродействия.

Все перечисленные выше блоки, входящие в систему, могут быть реализованы на основе существующих электронных компонентов: микроконтроллеров, сигнальных процессоров, программируемых логических интегральных схем (ПЛИС). Кроме того, система может быть смоделирована на электронной вычислительной машине (ЭВМ).

Описанные способ и систему можно использовать также для решения задач реконструкции скетчей по фотографиям и применять их для генерации популяции скетчей по заданной фотографии. Для этого необходимо поменять местами исходные выборки фотографий и скетчей (на первый вход системы подать фотографии обучающего набора Р, а на второй вход системы подать скетчи обучающего набора S). Это также расширяет универсальность предложенного способа и системы.

Возможность получения указанного технического результата при осуществлении изобретения подтверждается проведенными экспериментами. Фиг. 2-7 иллюстрируют результаты этих экспериментов.

На фиг. 2 приведены примеры пары фотографий и соответствующих им скетчей из различных источников. Такие пары изображений могут входить как в обучающие, так и тестовые выборки.

На фиг. 3 представлены средние изображения базы обучения CUHK, собственные числа для выборок S и Р, оригинальные фотографии базы и примеры реконструкции по описанному способу фотографий из скетчей, входящих в базу обучения. Сравнивая результат реконструкции фотографии с оригинальной фотографией, можно обнаружить их полное соответствие.

На фиг. 4 представлены примеры реконструкции фотографий из скетчей для базы обучения. Несмотря на различную форму лиц и прическу, представленную в скетчах, реконструированные фотографии точно отражают их фенотипические признаки.

На фиг. 5 представлены примеры реконструкции фотографий из тестовых скетчей, не входящих в обучающую выборку. Здесь верхняя и средняя строки - тестовые скетчи и результат реконструкции по ним фотографий, а нижняя строка - фотографии-оригиналы. Несмотря на то что между фотографиями-оригиналами и соответствующими им реконструированными фотографиями нет полного сходства, частичное подобие между ними сохраняется.

На фиг. 6 представлены примеры реконструкции фотографии из неоригинального скетча (не входящего в базу обучения), сформированная по описанному способу популяция из девяти фотографий и отображение этой популяции в трехмерном подпространстве.

На фиг. 7 представлены две сформированные из одного скетча популяции фотографий: сгенерированные изображения и их представление в смешанном трехмерном подпространстве. Здесь визуально определяется различие изображений в отдельных популяциях и между ними при сохранении фенотипических признаков. Характеристики фотографий в трехмерном подпространстве формально представляют это различие как внутри популяций, так и между ними.

Исходя из представленных экспериментов, можно утверждать, что описанные способ и система действительно позволяют формировать популяции фотографий по заданным скетчам.

Изобретение может быть применено для дополнения известных баз фото-скетч новыми популяциями фотографий; для создания дополнительных баз фотографий, предназначенных для решения задач регистрации и поиска изображений лиц по скетчу, нарисованному по описаниям свидетелей или участников некоторого события (в том числе и криминального характера); для повышения эффективности существующих систем видеонаблюдения; для создания нового класса интеллектуальных систем, рассчитанных на следующие типы приложений: интеллектуальное видеонаблюдение, биометрическая идентификация личности, системы технического зрения.

Изобретение относится к автоматике и вычислительной технике. Технический результат – повышение быстродействия реконструкции фотопортретов из скетчей. Способ автоматической реконструкции фотопортретов из скетчей заключается в вычислении по исходным выборкам скетчей S и фотографий Р средних значений m_S и m_P; центрировании относительно средних исходных выборок S и Р, в результате чего они преобразуются в и ; выполнении анализа главных компонент по , в результате чего вычисляются собственные числа и соответствующие им собственные векторы для матрицы Грама, которые пересчитываются в собственные векторы ковариационной матрицы; вычислении для заданного скетча спектра в базисе, образованном собственными векторами ковариационной матрицы, с помощью прямого преобразования Карунена-Лоэва; причем вычисляют базис взаимной трансформации скетча в фотографию, используя собственные числа, собственные векторы для матрицы Грама и центрированную выборку исходных фотографий , модифицируют спектр заданного скетча L раз путем добавления случайного шума к каждой его компоненте, получая L модифицированных спектров, из которых формируют популяцию из L фотографий, соответствующих заданному скетчу. 2 н.п. ф-лы, 7 ил.

1. Способ автоматической реконструкции фотопортретов из скетчей, заключающийся в вычислении по исходным выборкам скетчей S и фотографий Р средних значений m_S и m_P, центрировании относительно средних исходных выборок S и Р, в результате чего они преобразуются в и , выполнении анализа главных компонент по , в результате которого вычисляются собственные числа и соответствующие им собственные векторы для матрицы Грама, которые пересчитываются в собственные векторы ковариационной матрицы, вычислении для заданного скетча спектра в базисе, образованном собственными векторами ковариационной матрицы, с помощью прямого преобразования Карунена-Лоэва, отличающийся тем, что вычисляют базис взаимной трансформации скетча в фотографию, используя при этом собственные числа, соответствующие им собственные векторы для матрицы Грама и центрированную выборку исходных фотографий , модифицируют спектр заданного скетча L раз путем добавления случайного шума к каждой его компоненте, получая L модифицированных спектров, из которых формируют популяцию из L фотографий, соответствующих заданному скетчу, посредством умножения на матрицу, содержащую векторы базиса взаимной трансформации, и добавления среднего значения фотографий m_P, причем формируют базис взаимной трансформации скетча в фотографию один раз и используют повторно для любых заданных скетчей.

2. Система автоматической реконструкции фотопортретов из скетчей, включающая блок анализа главных компонент (БАГК), первый выход которого соединен с первым входом блока вычисления спектра в собственном базисе (БВС) и блок центрирования (БЦ), при этом вход БАГК является первым входом системы, вход БЦ является вторым входом системы, а второй вход БВС является третьим входом системы, отличающаяся тем, что введены блок вычисления базиса взаимной трансформации (БВБ), генератор случайных векторов (ГСВ), сумматор векторов (СВ), блок формирования популяции фотографий (БФПФ), причем второй выход БАГК соединен с первым входом БВБ, первый выход БЦ соединен со вторым входом БВБ, второй выход БЦ соединен с первым входом БФПФ, выход БВС соединен с первым входом СВ, выход БВБ соединен со вторым входом БФПФ, выход ГСВ соединен со вторым входом СВ, выход СВ соединен с третьим входом БФПФ, а выход БФПФ является выходом системы.