СПОСОБ И УСТРОЙСТВО ДЛЯ ОБУЧЕНИЯ МОДЕЛИ РАСПОЗНАВАНИЯ ЛИЦА И УСТРОЙСТВО ДЛЯ ОПРЕДЕЛЕНИЯ КЛЮЧЕВОЙ ТОЧКИ ЛИЦА Российский патент 2022 года по МПК G06K9/62 G06N20/00 

Ссылка на родственную заявку

[0001] Данная заявка испрашивает приоритет по заявке на патент Китая №201811367129.0, поданной 16 ноября 2018 года, содержание которой полностью включено в настоящий документ посредством ссылки.

Область техники, к которой относится настоящее изобретение

[0002] Варианты осуществления настоящего изобретения относятся к области технологий обработки данных, в частности, к способу обучения модели распознавания лица, способу определению ключевой точки лица, устройству для обучения модели распознавания лица, устройству для определению ключевой точки лица, устройству и носителю данных.

Предшествующий уровень техники настоящего изобретения

[0003] С развитием Интернет-технологий появляются различные видеоприложения, и с помощью этих видеоприложений люди могут осуществлять коммуникацию на более интуитивном уровне.

[0004] В процессе потоковой передачи видео или записи коротких видеороликов пользователям обычно необходимо выполнить обработку видеоизображений для получения спецэффектов, таких как повышение привлекательности лица, навешивание стикеров на лицо и добавление в видео других спецэффектов. Добавление указанных спецэффектов зависит от ключевых точек глаз, рта, носа и прочих частей лица. Следовательно, для обработки видеоизображений с целью получения спецэффектов особое значение принимает точность определения ключевых точек лица. Одним из родственных способов определения ключевой точки лица является способ прямой регрессии. Координаты каждой ключевой точки возвращаются в исходное состояние путем ввода изображения лица в сверточную нейронную сеть (CNN). Другим способом является иерархический способ, который повышает точность за счет многократного прогнозирования координат ключевых точек. За счет использования координат ранее спрогнозированной ключевой точки в качестве начала координат может быть обеспечено кадрирование множества изображений, после чего множество частичных изображений вводятся в сеть CNN для возврата к окончательным координатам ключевой точки.

[0005] Однако при обучении сети CNN возникает такая ситуация, когда при большом угле лица на изображении лица в обучающей выборке некоторые части лица оказываются скрытыми, и эти скрытые части должны быть проанализированы и помечены в ручном режиме, что дает в результате неточные данные для обучения и создает проблему, которая заключается в неточных координатах ключевых точек, выдаваемых сетью CNN.

Краткое раскрытие настоящего изобретения

[0006] Вариантами осуществления настоящего изобретения предложен способ обучения модели распознавания лица, способ определения ключевой точки лица, устройство для обучения модели распознавания лица, устройство для определения ключевой точки лица, устройство и носитель данных, которые предотвращают неточное определение ключевой точки лица, как в случае использования родственных способов определения ключевой точки лица, и повышают точность определения ключевой точки лица.

[0007] Согласно первому аспекту настоящего изобретения одним из вариантов его осуществления предложен способ обучения модели распознавания лица. Этот способ предусматривает: получение обучающего изображения лица; осуществление трехмерной реконструкции обучающего изображения лица на основании заданной трехмерной модели лица и получение обучающей трехмерной модели лица; генерирование обучающей координатной UV-сетки, содержащей трехмерные координаты обучающей трехмерной модели лица, на основании обучающей трехмерной модели лица; и обучение сети семантической сегментации с использованием обучающего изображения лица и обучающей координатной UV-сетки и получение модели распознавания лица, причем модель распознавания лица выполнена с возможностью генерирования координатной UV-сетки, содержащей трехмерные координаты.

[0008] Согласно второму аспекту настоящего изобретения одним из вариантов его осуществления предложен способ определения ключевой точки лица. Этот способ предусматривает: получение целевого изображения лица; ввод целевого изображения лица в предварительно обученную модель распознавания лица для генерирования координатной UV-сетки целевого изображения лица, причем координатная UV-сетка содержит множество пиксельных точек, а каждая пиксельная точка координатной UV-сетки включает в себя трехмерные координаты; получение шаблонного UV-изображения, содержащего предварительно помеченную ключевую точку лица; и определение пиксельной точки, соответствующей ключевой точке лица в координатной UV-сетке, для детектирования трехмерных координат ключевой точки лица.

[0009] Согласно третьему аспекту настоящего изобретения одним из вариантов его осуществления предложено устройство для обучения модели распознавания лица. Это устройство включает в себя: модуль получения обучающего изображения лица, выполненный с возможностью получения обучающего изображения лица; модуль трехмерной реконструкции, выполненный с возможностью осуществления трехмерной реконструкции обучающего изображения лица на основании заданной трехмерной модели лица и получения обучающей трехмерной модели лица; модуль генерирования обучающей координатной UV-сетки, выполненный с возможностью генерирования обучающей координатной UV-сетки, содержащей трехмерные координаты обучающей трехмерной модели лица, на основании обучающей трехмерной модели лица; и модуль обучения, выполненный с возможностью обучения сети семантической сегментации с использованием обучающего изображения лица и обучающей координатной UV-сетки и получения модели распознавания лица, причем модель распознавания лица выполнена с возможностью генерирования координатной UV-сетки, содержащей трехмерные координаты.

[0010] Согласно четвертому аспекту настоящего изобретения одним из вариантов его осуществления предложено устройство для определения ключевой точки лица. Это устройство включает в себя: модуль получения целевого изображения лица, выполненный с возможностью получения целевого изображения лица; модуль генерирования координатной UV-сетки, выполненный с возможностью ввода целевого изображения лица в предварительно обученную модель распознавания лица для генерирования координатной UV-сетки целевого изображения лица, причем координатная UV-сетка содержит множество пиксельных точек, а каждая пиксельная точка координатной UV-сетки включает в себя трехмерные координаты; модуль получения шаблонного UV-изображения, выполненный с возможностью получения шаблонного UV-изображения, содержащего предварительно помеченную ключевую точку лица; и модуль определения трехмерных координат ключевых точек лица, выполненный с возможностью определения пиксельной точки, соответствующей ключевой точке лица в координатной UV-сетке, для детектирования трехмерных координат ключевой точки лица.

[0011] Согласно пятому аспекту настоящего изобретения одним из вариантов его осуществления предложено устройство. Это устройство включает в себя по меньшей мере один процессор и запоминающее устройство для хранения по меньшей мере одной программы, причем при выполнении по меньшей мере одной программы по меньшей мере одним процессором этот по меньшей мере один процессор может реализовать по меньшей мере один из таких способов, как способ обучения модели распознавания лица и способ определения ключевой точки лица согласно любому из вариантов осуществления настоящего изобретения.

[0012] Согласно шестому аспекту настоящего изобретения одним из вариантов его осуществления предложен машиночитаемый носитель данных. В машиночитаемом носителе данных хранится компьютерная программа, причем при выполнении этой программы процессором реализуется по меньшей мере один из таких способов, как способ обучения модели распознавания лица и способ определения ключевой точки лица согласно любому из вариантов осуществления настоящего изобретения.

Краткое описание фигур

[0013] На фиг.1 представлена блок-схема, иллюстрирующая способ обучения модели распознавания лица согласно одному из вариантов осуществления настоящего изобретения;

[0014] На фиг.2A представлена блок-схема, иллюстрирующая другой способ обучения модели распознавания лица согласно одному из вариантов осуществления настоящего изобретения;

[0015] На фиг.2B показана схема выравнивания трехмерной модели лица согласно одному из вариантов осуществления настоящего изобретения;

[0016] На фиг.2C показана схема генерирования обучающей трехмерной модели лица методом трехмерной реконструкции согласно одному из вариантов осуществления настоящего изобретения;

[0017] На фиг.3A представлена блок-схема, иллюстрирующая способ определения ключевой точки лица согласно одному из вариантов осуществления настоящего изобретения;

[0018] На фиг.3B схематически показана координатная UV-сетка, выданная моделью распознавания лица, согласно одному из вариантов осуществления настоящего изобретения;

[0019] На фиг.3C схематически показано шаблонное UV-изображение согласно одному из вариантов осуществления настоящего изобретения;

[0020] На фиг.4 схематически показана структура устройства для обучения модели распознавания лица согласно одному из вариантов осуществления настоящего изобретения;

[0021] На фиг.5 схематически показана структура устройства для определения ключевой точки лица согласно одному из вариантов осуществления настоящего изобретения; и

[0022] На фиг.6 схематически показана структура устройства согласно одному из вариантов осуществления настоящего изобретения.

Подробное раскрытие настоящего изобретения

[0023] На фиг.1 представлена блок-схема, иллюстрирующая способ обучения модели распознавания лица согласно одному из вариантов осуществления настоящего изобретения. Этот вариант осуществления настоящего изобретения применим к ситуации обучения модели распознавания лица для генерирования координатной UV-сетки с изображением текстуры u, v, содержащей трехмерные координаты. Предложенный способ может быть реализован устройством для обучения модели распознавания лица. Это устройство может быть реализовано по меньшей мере одним из таких средств, как программные средства и аппаратные средства, встроенные в устройство, которое реализует указанный способ. Как показано на фиг.1, предложенный способ может предусматривать выполнение стадий S101-S104.

[0024] На стадии S101 обеспечивается получение обучающего изображения лица.

[0025] Обучающее изображение лица может представлять собой двухмерное изображение, содержащее лицо. Двухмерное изображение может храниться в форматах BMP, JPG, PNG, TIF и прочих форматах. Формат BMP (растровое изображение) представляет собой стандартный формат файла изображения в операционной системе Windows. BMP использует побитовый формат хранения. Глубина изображения BMP-файлов включает в себя 1 бит, 4 бита, 8 битов и 24 бита. Формат JPG расшифровывается как формат Объединенной группы экспертов в области фотографии. Формат JPEG сохраняет единое растровое изображение в 24-битном цвете. Формат JPEG представляет собой платформонезависимый формат.Формат переносимой сетевой графики (PNG) представляет собой формат хранения растровых файлов. Формат PNG может быть использован для хранения изображений в оттенках серого цвета, глубина которых может достигать 16 битов, цветных изображений, глубина которых может достигать 48 битов, и до 16 битов данных альфа-канала. Формат TIF (тегированный формат файлов изображений) представляет собой гибкий растровый формат и используется, главным образом, для хранения изображений, включая фотографии и открытки.

[0026] В сферах практического применения обучающее изображение лица может быть выбрано из группы локально сохраненных изображений, или же в качестве обучающего изображения лица может быть использовано изображение лица, находящееся в открытом доступе и извлеченное из сети, или же в качестве обучающего изображения лица может быть использовано изображение лица, захваченное в видео. Ни формат хранения обучающего изображения лица, ни способ получения обучающего изображения лица в вариантах осуществления настоящего изображения не носит ограничительного характера.

[0027] На стадии S102 обеспечивается получение обучающей трехмерной модели лица путем выполнения трехмерной реконструкции обучающего изображения лица на основании заданной трехмерной модели лица.

[0028] Заданная трехмерная модель лица может быть предназначена для получения трехмерных данных сканирования реального лица путем выполнения трехмерного сканирования реального лица. Трехмерные данные сканирования образуют трехмерную модель лица. Путем выполнения трехмерного сканирования множества реальных лиц может быть получено множество трехмерных моделей лица для генерирования библиотеки трехмерных моделей лица. Разумеется, трехмерной моделью лица может также служить трехмерная модель лица, находящаяся в открытом доступе.

[0029] В этом варианте осуществления настоящего изобретения может быть проанализировано большое количество заданных трехмерных моделей лица для получения главного компонента и собственного значения трехмерной модели лица. С помощью главных компонентов и путем подбора разных собственных значений могут быть получены разные трехмерные модели лица. Следовательно, для обучающего изображения лица могут быть подобраны разные собственные значения, чтобы можно было выполнить трехмерную реконструкцию для генерирования обучающей трехмерной модели лица, соответствующей обучающему изображению лица. За счет получения множества обучающих изображений лица для генерирования соответствующей трехмерной модели лица можно избежать такой ситуации, когда затраты на выполнение трехмерного сканирования реальных лиц с целью получения трехмерной модели лица оказываются слишком высокими, а данные по общедоступной трехмерной модели лица - разреженными и не способными обеспечить достаточный объем обучающих данных для обучения модели распознавания лица. Следовательно, можно повысить эффективность получения обучающих данных и сократить затраты на получение обучающих данных.

[0030] На стадии S103 генерируется обучающая координатная UV-сетка, содержащая трехмерные координаты обучающей трехмерной модели лица, на основании обучающей трехмерной модели лица.

[0031] Аббревиатура UV представляет собой сокращенное обозначение координат текстуры (U, V), где U обозначает горизонтальную координату, а V - вертикальную координату. С помощью двухмерной координатной UV-сетки каждая точка на изображении в системе координат U-V может быть перенесена на поверхность трехмерной модели лица. Иначе говоря, каждая точка на трехмерной модели лица соответствует уникальной точке на координатной UV-сетке, и с помощью координатной UV-сетки может быть восстановлена трехмерная модель лица. В одном из вариантов осуществления настоящего изобретения координатная UV-сетка может представлять собой двухмерный план, в котором хранятся трехмерные координаты обучающей трехмерной модели лица. Координатная UV-сетка может представлять собой трехмерный массив. Например, для массива 226×226×3 первыми двумя измерениями данных служит положение пиксельной точки координатной UV-сетки на координатной UV-сетке, а последнее измерение данных отображает трехмерные координаты, соотносимые с пиксельной точкой. Трехмерные координаты представляют собой трехмерные координаты точки на обучающей трехмерной модели лица.

[0032] В одном из вариантов осуществления настоящего изобретения обучающая трехмерная модель лица может представлять собой набор вершин. Каждая вершина задает трехмерные координаты. По вершинам трехмерной модели лица может быть сгенерирована соответствующая обучающая координатная UV-сетка. Пиксельные точки на обучающей координатной UV-сетке находятся во взаимно-однозначном соответствии с вершинами на обучающей трехмерной модели лица. Каждая пиксельная точка соотносится с трехмерными координатами соответствующей ей вершины.

[0033] На стадии S104 обеспечивается получение модели распознавания лица путем обучения сети семантической сегментации с использованием обучающего изображения лица и обучающей координатной UV-сетки, причем модель распознавания лица выполнена с возможностью генерирования координатной UV-сетки, содержащей трехмерные координаты.

[0034] В одном из вариантов осуществления настоящего изобретения модель распознавания лица может сгенерировать координатную UV-сетку, содержащую трехмерные координаты, на основании входного изображения лица. При обучении модели распознавания лица обучающее изображение лица может быть использовано в качестве обучающих данных. Обучающая координатная UV-сетка, соответствующая обучающему изображению лица, используется в качестве обучающей метки. Обучающее изображение лица вводится в сеть семантической сегментации. После этого анализируются трехмерные координаты каждой пиксельной точки обучающего изображения лица и положение каждой пиксельной точки в координатной UV-сетке для генерирования прогнозной координатной UV-сетки. Зетам, по прогнозной координатной UV-сетке и обучающей координатной UV-сетке, соответствующей введенному обучающему изображению лица, вычисляется интенсивность потерь и выполняется коррекция параметров сети для получения окончательной обученной модели распознавания лица. После ввода нового изображения в модель распознавания лица может быть обеспечено получение координатной UV-сетки, соответствующей изображению лица, обученной моделью распознавания лица. Каждая пиксельная точка на координатной UV-сетке соответствует пиксельной точке на изображении лица и содержит трехмерные координаты.

[0035] В этом варианте осуществления настоящего изобретения после получения обучающего изображения лица обеспечивается получение трехмерной модели лица путем выполнения трехмерной реконструкции обучающего изображения лица на основании заданной трехмерной модели лица, и на основании обучающей трехмерной модели лица генерируется обучающая координатная UV-сетка, содержащая трехмерные координаты обучающей трехмерной модели лица; и обеспечивается получение модели распознавания лица путем обучения сети семантической сегментации с использованием обучающего изображения лица и обучающей координатной UV-сетки. В этом варианте осуществления настоящего изобретения трехмерная реконструкция выполняется по обучающему изображению лица, а обучающая координатная UV-сетка генерируется обучающей трехмерной моделью лица, сгенерированной после выполнения трехмерной реконструкции, в целях получения обучающих данных для обучения сети семантической сегментации и получения модели распознавания лица без маркирования обучающего изображения лица в ручном режиме, что позволяет избежать ситуации, в которой анализ и маркировка обучающих данных должны осуществляться в ручном режиме, как на предшествующем уровне техники, с получением в итоге неточных обучающих данных и неточных координат ключевых точек лица, выдаваемых сетью CNN, и благодаря этому повышается эффективность модели распознавания лица, а также повышается точность детектирования ключевых точек лица.

[0036] Модель распознавания лица может сгенерировать координатную UV-сетку, содержащую трехмерные координаты, и определить трехмерные координаты ключевых точек, благодаря чему детектированные ключевые точки лица содержат данные о глубине, и расширяется спектр сценариев применения ключевых точек.

[0037] На фиг.2A представлена блок-схема, иллюстрирующая другой способ обучения модели распознавания лица согласно одному из вариантов осуществления настоящего изобретения. Опираясь на вариант осуществления настоящего изобретения, описанный выше, этот вариант осуществления настоящего изобретения совершенствует трехмерную реконструкцию и генерирование обучающей координатной UV-сетки. Как показано на фиг.2A, этот способ может предусматривать выполнение стадий S201-S208.

[0038] На стадии S201 обеспечивается получение обучающего изображения лица.

[0039] На стадии S202 выбираются трехмерные модели лица числом M.

[0040] В этом варианте осуществления настоящего изобретения трехмерные модели лица числом M могут быть выбраны из библиотеки заданных трехмерных моделей лица. Выбранные трехмерные модели лица подвергаются предварительной обработке. Предварительно обработанные трехмерные модели лица выравниваются методом оптического потока для получения выровненных трехмерных моделей лица.

[0041] Трехмерная модель лица может быть сгенерирована методом трехмерного сканирования. Разные сканеры работают на разных принципах формирования изображений. Некоторые области трехмерной модели лица могут характеризоваться наличием неполных данных. Для трехмерной модели лица с неполными данными может быть предусмотрена обработка по заполнению дыр. В альтернативном варианте для устранения или уменьшения негладкости поверхности трехмерной модели лица, обусловленной небольшими изменениями условий освещенности в процессе сканирования, трехмерная модель лица может быть подвергнута обработке по сглаживанию поверхности. Разумеется, трехмерные координаты вершин локальных областей также могут быть подвергнуты корректирующей обработке. Способ обработки в вариантах осуществления настоящего изобретения не носит ограничительного характера.

[0042] Кроме того, во избежание различий между разными трехмерными моделями лица, обуславливающих несоответствия в количестве вершин, в количестве вставок и в структурах данных трехмерных моделей лица после предварительно обработки, трехмерные модели лица могут быть выровнены методом оптического потока с тем, чтобы трехмерные модели лица имели векторы одинаковых размеров, а вершины с идентичной семантической информацией соответствовали одному и тому же векторному положению.

[0043] В одном из вариантов осуществления настоящего изобретения предполагается, что вершина на трехмерной модели лица представлена цилиндрическими координатами в виде I (h, φ), где величина h обозначает высоту вершины в цилиндрических координатах, а величина (обозначает угол вращения. Согласно определению метода оптического потока при небольшом смещении вершины ее яркость остается неизменной. Исходя из этого, может быть получено следующее математическое выражение величин h и φ:

[0044], где величины ν_h и ν₍обозначают оптический поток и могут быть приближенно заменены величинами Δh и Δφ; величина R обозначает прилегающую область 5×5 с центром (h, φ); а величина ||.||² обозначает норму L2. Для каждой вершины (h, φ) указанная функция E должна быть максимально небольшой.

[0045] Частные производные и , решаемые указанной функцией, обозначены величинами Ih и Iφ; и, соответственно, новое положение (h', φ') каждой вершины (h, φ) записывается следующим образом:

, .

[0046] Как показано на фиг.2B, если исходить из того, что шаблон лица записывается как S₀=(x₁y₁z₁, x₂y₂z₁₂, … …, x_ky_kz_k), то после выравнивания нового лица по шаблону лица оно будет записано как S=(x₁y₁z₁, x₂y₂z₁₂, … …, x_ky_kz_k). Иначе говоря, все трехмерные лица имеют k-мерные векторы, а вершины с идентичной семантической информацией соответствуют одним и тем же векторным положениям. Например, точки на носу в изображениях S₀ и S сохраняются в положении k-ого вектора, благодаря чему обеспечивается выравнивание трехмерных моделей лица.

[0047] На стадии S203 обеспечивается получение матрицы главных компонентов и матрицы собственных значений путем выполнения анализа главных компонентов трехмерных моделей лица числом M.

[0048] Анализ главных компонентов (PCA) представляет собой метод многопараметрового статистического анализа, при котором осуществляется линейное преобразование множества переменных для выбора небольшого количества значимых переменных. В одном из вариантов осуществления настоящего изобретения матрица главных компонентов и матрица собственных значений трехмерных моделей лица числом M могут быть получены путем выполнения анализа главных компонентов трехмерных моделей лица числом M.

[0049] В одном из примеров осуществления настоящего изобретения для каждой трехмерной модели лица S₁, S₂, … S_m среднее значение рассчитывается по следующей формуле:

[0050], где величина обозначает среднее значение трехмерных моделей лица, т.е. усредненной модели лица; величина m обозначает количество выбранных трехмерных моделей лица; а величина S_i обозначает трехмерную модель лица.

[0051] Затем решается отклонение a_i=S_i - каждой трехмерной модели S_i лица, и может быть получена матрица A=(a_i), состоящая из отклонений. В результате ковариационная матрица A имеет следующий вид:

[0052] После выполнения разложения ковариационной матрицы по собственным значениям могут быть получены первые матрицы s=(s₁, s₂, … …, s_m) главных компонентов числом m и матрицы a=(a₁, a₂, … …, a_m) собственных значений путем ранжирования собственных значений от меньших к большим. После этого любая трехмерная модель S_i лица может быть приближенно выражена по линейному закону с использованием матрицы s главных компонентов и матрицы a собственных значений.

[0053] На стадии S204 для каждого обучающего изображения лица обеспечивается получение обучающей трехмерной модели лица путем выполнения трехмерной реконструкции с использованием матрицы главных компонентов и матрицы собственных значений, соответствующей каждому обучающему изображению лица.

[0054] В одном из вариантов осуществления настоящего изобретения может быть задана исходная матрица собственных значений и исходная матрица параметров проекции, и с использованием исходной матрицы главных компонентов и исходной матрицы собственных значений может быть построена исходная трехмерная модель лица.

[0055] Например, задается исходная матрица a'=(, a, … …, a) собственных значений, и на основании исходной матрицы a' собственных значений и матрицы s главных компонентов строится исходная трехмерная модель S'=a's=s₁+as₂+…+as_n лица.

[0056] После построения исходной трехмерной модели лица может быть получено спроецированное изображение лица исходной трехмерной модели лица в двумерном пространстве на основании исходной матрицы параметров проекции.

[0057] В одном из вариантов осуществления настоящего изобретения при проецировании исходной трехмерной модели лица на двумерное пространство должны приниматься во внимание такие моменты, как перенос лица, поворот лица, освещение и прочие моменты подобного рода. Зададим координаты переноса как (t_x, t_y, t_z); параметр поворота лица - как (ϕ, θ, γ); интенсивность естественного освещения - как (r_amb, g_amb, b_amb); интенсивность направленного сета - как (r_dir, g_dir, b_ambdir); а направление источника освещения - как (ϕ_amb, θ_amb). Указанные параметры проекции представлены матрицей ρ.

[0058] Зададим исходную матрицу (параметров проекции; при этом исходная трехмерная модель S' лица проецируется на двумерную плоскость для получения спроецированного изображения лица (I_model=ρS') исходной трехмерной модели лица. Зададим обучающее изображение лица как I_input; при этом, чем меньше разница между спроецированным изображением I_model лица и обучающим изображением I_input лица, тем ближе исходная трехмерная модель лица к реальному лицу, соответствующему обучающему изображению лица.

[0059] Следовательно, может быть рассчитано значение расхождения между спроецированным изображением лица и обучающим изображением лица. Исходная матрица собственных значений и исходная матрица параметров проекции могут быть итеративно оптимизированы с использованием метода стохастического градиентного спуска на основании значения расхождения. При схождении значения расхождения может быть получена матрица собственных значений и матрица параметров проекции, которые рассматриваются, соответственно, в качестве целевой матрицы собственных значений и целевой матрицы параметров проекции. Целевая матрица собственных значений может восприниматься в качестве матрицы собственных значений, соответствующей обучающему изображению лица.

[0060] В одном из вариантов осуществления настоящего изобретения значение расхождения между спроецированным изображением I_model лица и обучающим изображением I_input лица может быть рассчитано по следующей формуле:

[00601], где величина E₁ обозначает значение расхождения; величина I_input (x, y) обозначает пиксельную точку на обучающем изображении лица; а величина ||.||² обозначает норму L2.

[0062] Если величина E₁ превышает заданное пороговое значение, то необходимо оптимизировать исходную матрицу a' собственных значений и исходную матрицу (параметров проекции, реконструировать трехмерную модель лица на основании оптимизированной исходной матрицы a' собственных значений и исходной матрицы (параметров проекции для осуществления проекции и рассчитывать значение E₁ расхождения до тех пор, пока значение E₁ расхождения не сойдется.

[0063] В одном из вариантов осуществления настоящего изобретения для оптимизации может быть использован алгоритм стохастического градиентного спуска (SGD). Например, для первых N циклов итеративной оптимизации осуществляется произвольная выборка характерных точек числом K из обучающего изображения лица и спроецированного изображения лица. Значение расхождения между спроецированным изображением лица и обучающим изображением лица может быть рассчитано на основании характерных точек числом K. Некоторые собственные значения в исходной матрице собственных значений и исходная матрица параметров проекции могут быть оптимизированы итеративно с использованием метода стохастического градиентного спуска на основании значения расхождения. После N циклов итеративной оптимизации все собственные значения в матрице собственных значений после N-ого количества циклов итерации и матрица параметров проекции после N-ого количества циклов итерации могут быть оптимизированы с использованием метода стохастического градиентного спуска. После схождения значения расхождения обеспечивается получение матрицы собственных значений и матрицы параметров проекции, которые рассматриваются, соответственно, в качестве целевой матрицы собственных значений и целевой матрицы параметров проекции.

[0064] Например, при каждой итерации первых K циклов из обучающего изображения I_input лица и спроецированного изображения I_model лица выбираются характерные точки числом Κ=40 для последующей оптимизации. Характерные точки представляют собой ключевые пиксельные точки, которые описывают контуры характерных черт лица. Характерными точками могут служить пиксельные точки глаз, рта или контуров лица. За счет выбора меньшего числа характерных точек для вычисления значения расхождения с целью оптимизации исходной матрицы a' собственных значений и исходной матрицы ρ параметров проекции можно избежать избыточности вычислений, обусловленной каждой итерацией при оптимизации и увеличить скорость оптимизации.

[0065] Вместе с тем можно сначала оптимизировать большие собственные значения в исходной матрице a' собственных значений во избежание чрезмерно близкой подгонки, обусловленной подбором малых значений в первых N циклах итераций. Следовательно, в первых N циклах итераций может быть обеспечен подбор более значимых собственных значений. Например, в первых 100 циклах итераций оптимизируются 10 больших собственных значений и матрица ρ параметров проекции. После 100 циклов итераций все собственные значения и матрица ρ параметров проекции становятся оптимизированными. После схождения значения E₁ расхождения обеспечивается получение целевой матрицы собственных значений. По целевой матрице собственных значений и матрице главных компонентом может быть сгенерирована обучающая трехмерная модель лица.

[0066] Как показано на фиг.2C, обучающая трехмерная модель S лица генерируется путем подбора главных компонентов в матрице главных компонентов и собственных значений в целевой матрице собственных значений. Иначе говоря, обучающая трехмерная модель лица может быть получена путем выполнения трехмерной реконструкции обучающего изображения лица на основании заданной трехмерной модели лица. При этом можно избежать ситуации, когда затраты на выполнение трехмерного сканирования лиц с целью получения трехмерной модели лица оказываются слишком высокими, а данные по общедоступной трехмерной модели лица - разреженными и не способными обеспечить достаточный объем обучающих данных для обучения модели распознавания лица, благодаря чему можно повысить эффективность получения обучающих данных и сократить затраты на получение обучающих данных.

[0067] На стадии S205 обеспечивается получение множества вершин обучающей трехмерной модели лица, причем каждая из этих вершин характеризуется трехмерными координатами.

[0068] В этом варианте осуществления настоящего изобретения обучающая трехмерная модель лица может представлять собой совокупность вершин, причем каждая из этих вершин имеет заданные трехмерные координаты в обучающей трехмерной модели лица. Например, обучающая трехмерная модель лица записывается как S=(x₁y₁z₁, x₂y₂z₁₂, … …, x_ky_kz_k). Иначе говоря, обучающая трехмерная модель лица содержит k вершин.

[0069] На стадии S206 множество вершин проецируется на заданную сферическую поверхность, и обеспечивается получение множества точек проекции, которые находятся на заданной сферической поверхности и соответствуют множеству вершин.

[0070] В одном из вариантов осуществления настоящего изобретения на сферическую поверхность с заданным радиусом может быть спроецировано множество вершин методом сферической проекции. Например, каждая вершина трехмерной модели лица соединяется с центром сферы, и точка пересечения этого соединения со сферической поверхностью является проекцией вершины на сферу. После завершения проецирования множества вершин обучающей трехмерной модели лица может быть предусмотрено проецирование на сферу нерегулярной обучающей трехмерной модели лица.

[0071] На стадии S207 предусмотрено выполнение процесса развертки на сфере, содержащей множество точек проекции, для генерирования обучающей координатной UV-сетки, содержащей множество точек проекции, причем каждая точка проекции в обучающей координатной UV-сетке соотносится с трехмерными координатами соответствующей вершины.

[0072] В одном из вариантов осуществления настоящего изобретения координатная UV-сетка может быть получена путем развертки заданной сферической поверхности на двумерную плоскость. Координатная UV-сетка содержит трехмерные координаты множества вершин обучающей трехмерной модели лица. Иначе говоря, каждая пиксельная точка в координатной UV-сетке соответствует только одной вершине на обучающей трехмерной модели лица. Обучающая трехмерная модель лица может быть восстановлена по пиксельным точкам в координатной UV-сетке. Пиксельные точки в координатной UV-сетке представляют собой точки проекции, причем пиксельные точки и точки проекции находятся во взаимно-однозначном соответствии друг с другом.

[0073] На стадии S208 обеспечивается получение модели распознавания лица путем обучения сети семантической сегментации с использованием обучающего изображения лица и обучающей координатной UV-сетки, причем модель распознавания лица выполнена с возможностью генерирования координатной UV-сетки, содержащей трехмерные координаты.

[0074] В этом варианте осуществления настоящего изобретения сеть семантической сегментации может обучаться, воспринимая обучающее изображение лица в качестве обучающих данных, и воспринимая обучающую координатную UV-сетку, соответствующую обучающему изображению лица, в качестве обучающей метки.

[0075] В одном из вариантов осуществления настоящего изобретения обучающее изображение лица может извлекаться случайным образом. Прогнозная координатная UV-сетка может быть извлечена путем ввода обучающего изображения лица в сеть семантической сегментации. Интенсивность потерь прогнозной координатной UV-сетки может быть рассчитана с использованием заданной функции потерь и обучающей координатной UV-сетки. Используя показатель интенсивности потерь, можно рассчитать градиент.Затем определяется, удовлетворяет ли этот градиент заданному условию итерации. На основании результата оценки, говорящего о том, что градиент удовлетворяет заданному условию итерации, сеть семантической сегментации может быть определена в качестве модели распознавания лица. Если градиент не удовлетворяет заданному условию итерации, то в отношении сетевого параметра сети семантической сегментации осуществляется градиентный спуск с использованием градиента и заданной скорости обучения, и происходит возврат к стадии извлечения обучающего изображения лица.

[0076] В сферах практического применения сеть семантической сегментации может представлять собой такую сеть семантической сегментации, как FCN, SegNet, U-Net или иную сеть подобного рода. В этом варианте осуществления настоящего изобретения сеть семантической сегментации может быть обучена посредством произвольного градиентного спуска.

[0077] В одном из вариантов осуществления настоящего изобретения прогнозная координатная UV-сетка может быть извлечена путем ввода обучающего изображения лица в сеть семантической сегментации. В одном из вариантов осуществления настоящего изобретения прогнозная координатная UV-сетка имеет такое же разрешение, что и входное обучающее изображение лица, например, 226×226. Каждая пиксельная точка на прогнозной координатной UV-сетке соотносится с трехмерными координатами. Затем может быть получена обучающая координатная UV-сетка, соответствующая обучающему изображению лица. С помощью прогнозной координатной UV-сетки, обучающей координатной UV-сетки, заданной функции потерь и заданного веса потерь может быть рассчитана интенсивность потерь прогнозной координатной UV-сетки. Заданный вес потерь представляет собой заданный вес потерь характерной точки в обучающей координатной UV-сетке. Характерная точка представляет собой ключевую пиксельную точку, которая описывает контуры характерных черт лица, например, пиксельную точку глаз, рта, носа или контура лица.

[0078] В одном из вариантов осуществления настоящего изобретения заданная функция потерь записывается следующим образом:

[0079], где величина P(u, v) обозначает обучающую координатную UV-сетку; величина (u, v) обозначает прогнозную координатную UV-сетку; а величина W(u, v) обозначает заданный вес потерь. Для обучающей координатной UV-сетки P(u, v) и прогнозной координатной UV-сетки (u, v) могут быть, соответственно, извлечены трехмерные координаты, соотносимые с пиксельными точками в одном том же положении, для расчета значения расхождения, после чего может быть получено значение расхождения каждой пиксельной точки. Если пиксельная точка находится в области ключевой точки лица, например, в области глаз, рта, носа или иной аналогичной части лица, то заданный вес потерь может быть повышен. Например, если пиксельная точка (u, v) находится в ключевой области глаз, рта, носа или иной части лица, то величина W(u, v) устанавливается на 4, а если она находится в других областях, то величина W(u, v) устанавливается на единицу с целью повышения точности.

[0080] После вычисления интенсивности потерь может быть рассчитана частная производная каждого сетевого параметра w_t с учетом функции потерь (Loss) для получения градиента:

[0081], где величина ∇(обозначает градиент; величина Loss обозначает функцию потерь; величина w_t обозначает сетевой параметр; а величина (предназначена для решения частной производной.

[0082] Если градиент не удовлетворяет условию итерации, например, если разница между последовательными градиентами превышает или равна заданному пороговому значению расхождения, или если не достигнуто требуемое количество итераций, то в отношении сетевого параметра сети семантической сегментации выполняется градиентный спуск по следующей формуле с использованием градиента и заданной скорости обучения:

[0083], где величина w_t+1 обозначает сетевой параметр после обновления; величина w_t обозначает сетевой параметр перед обновлением; величина lr обозначает скорость обучения; а величина ∇(обозначает градиент.

[0084] Если градиент удовлетворяет условию итерации, например, если разница между последовательными градиентами меньше или равна заданному пороговому значению расхождения, или если достигнуто требуемое количество итераций, то обучение заканчивается, выдается сетевой параметр w_t, и обеспечивается получение модели распознавания лица.

[0085] В этом варианте осуществления настоящего изобретения выполняется трехмерная реконструкция обучающего изображения лица для генерирования обучающей трехмерной модели лица, и по обучающей трехмерной модели лица генерируется обучающая координатная UV-сетка с тем, чтобы получить обучающие данные с целью обучения сети семантической сегментации, и чтобы получить модель распознавания лица без маркирования обучающего изображения лица и обучающей координатной UV-сетки в ручном режиме, что позволяет избежать ситуации, в которой анализ и маркировка обучающих данных должны осуществляться в ручном режиме, как на предшествующем уровне техники, с получением в итоге неточных обучающих данных и неточных координат ключевых точек лица, выдаваемых сетью CNN, и благодаря этому повышается эффективность модели распознавания лица, а также повышается точность детектирования ключевых точек лица.

[0086] Модель распознавания лица может сгенерировать координатную UV-сетку, содержащую трехмерные координаты, и может детектировать трехмерные координаты ключевых точек, благодаря чему детектированные ключевые точки лица содержат данные о глубине, и расширяется спектр сценариев применения ключевых точек.

[0087] На фиг.3A представлена блок-схема, иллюстрирующая способ определения ключевой точки лица согласно одному из вариантов осуществления настоящего изобретения. Этот вариант осуществления настоящего изобретения применим к ситуации определения ключевой точки лица по изображению лица. Предложенный способ может быть реализован устройством для определения ключевой точки лица. Это устройство может быть реализовано по меньшей мере одним из таких средств, как программные средства и аппаратные средства, встроенные в устройство, которое реализует указанный способ. Как показано на фиг.3A, предложенный способ может предусматривать выполнение стадий S301-S304.

[0088] На стадии S301 обеспечивается получение целевого изображения лица.

[0089] В этом варианте осуществления настоящего изобретения целевое изображение лица может представлять собой изображение лица, к которому должен быть добавлен видеоэффект.Например, в процессе видеотрансляции или записи коротких видеороликов предусмотрено, что когда пользователь выбирает операцию добавления видеоэффектов, такую как добавление косметических контактных линз, добавление стикеров, подтяжка лица или иную операцию подобного рода, приложение потокового видео детектирует пользовательскую операцию и фиксирует кадр изображения, содержащий лицо, из видеокадров, зафиксированных камерой, в качестве целевого изображения лица. Целевое изображение лица может также представлять собой подлежащее аутентификации изображение лица, полученное устройством аутентификации лиц во время аутентификации лица; оно может также представлять собой изображение лица при выполнении пользователем обработки локально сохраненных изображений; и оно может также представлять собой другое изображение, ключевые точки которого подлежат детектированию. В вариантах осуществления настоящего изобретения способ получения целевого изображения лица не носит ограничительного характера.

[0090] На стадии S302 целевое изображение лица вводится в предварительно обученную модель распознавания лица с целью генерирования координатной UV-сетки целевого изображения лица, причем координатная UV-сетка содержит множество пиксельных точек, а каждая пиксельная точка в координатной UV-сетке содержит трехмерные координаты.

[0091] В этом варианте осуществления настоящего изобретения модель распознавания лица может обучаться путем выполнения стадий S3021-S3024.

[0092] На стадии S3021 обеспечивается получение обучающего изображения лица.

[0093] На стадии S3022 обеспечивается получение обучающей трехмерной модели лица путем выполнения трехмерной реконструкции обучающего изображения лица на основании заданной трехмерной модели лица.

[0094] На стадии S3023 генерируется обучающая координатная UV-сетка, содержащая трехмерные координаты обучающей трехмерной модели лица, на основании обучающей трехмерной модели лица.

[0095] На стадии S3024 обеспечивается получение модели распознавания лица путем обучения сети семантической сегментации с использованием обучающего изображения лица и обучающей координатной UV-сетки, причем модель распознавания лица выполнена с возможностью генерирования координатной UV-сетки, содержащей трехмерные координаты.

[0096] В отношении способа обучения модели распознавания лица дается ссылка на раскрытый выше вариант осуществления настоящего изобретения, который далее по тексту подробно не описывается.

[0097] Как показано на фиг.3B, после ввода целевого изображения лица в предварительно обученную модель распознавания лица может быть сгенерирована координатная UV-сетка целевого изображения лица, показанного на фиг.3B. Координатная UV-сетка содержит множество пиксельных точек. Каждая пиксельная точка в координатной UV-сетке содержит трехмерные координаты. В одном из примеров осуществления разрешение выдаваемой координатной UV-сетки такое же, что и разрешение целевого изображения лица.

[0098] На стадии S303 обеспечивается получение шаблонной UV-сетки, причем шаблонная UV-сетка содержит предварительно помеченную ключевую точку лица.

[0099] Шаблонная UV-сетка может представлять собой двухмерную сетку, полученную путем суммирования большого количества координатных UV-сеток. В шаблонной UV-сетке, пригодной для определения ключевых точек большинства лиц, помечена ключевая точка лица.

[00100] На фиг.3C схематически представлено изображение шаблонной UV-сетки согласно одному из вариантов осуществления настоящего изобретения. В шаблонной UV-сетке предварительно помечена ключевая точка лица. Например, в шаблонной UV-сетке предварительно помечены такие ключевые точки лица, как глаза, нос, рот и контуры лица.

[00101] На стадии S304 в координатной UV-сетке определяется пиксельная точка, соответствующая ключевой точке лица, для определения трехмерных координат ключевой точки лица.

[00102] В одном из вариантов осуществления настоящего изобретения разрешение координатной UV-сетки аналогично разрешению шаблонной UV-сетки, а ее пиксели находятся во взаимно-однозначном соответствии друг с другом. В координатной UV-сетке может быть определена пиксельная точка, соответствующая ключевой точке лица, предварительно помеченной в UV-шаблоне, с целью определения трехмерных координат ключевой точки лица, что повышает эффективность определения ключевой точки лица.

[00103] Например, к предварительно помеченной ключевой точке в шаблонной UV-сетке может быть добавлен классификационный индекс на основании разных эксплуатационных требований для удовлетворения потребностей пользователей в различных услугах. Например, ключевые точки глаз помечены индексом A; ключевые точки носа классифицированы как точки B; ключевые точки рта помечены индексом C; и т.д. Когда при видеотрансляции пользователю необходимо добавить к глазам какой-либо спецэффект, действительны ключевые точки лица, помеченные индексом A в координатной UV-сетке; затем в координатной UV-сетке могут быть детектированы пиксельные точки, соответствующие ключевым точкам лица с индексом A, после чего обеспечивается получение трехмерных координат, соотносимых с пиксельными точками, для определения ключевых точек лица таким образом, чтобы можно было реализовать спецэффекты на основании трехмерных координат ключевых точек лица.

[00104] В этом варианте осуществления настоящего изобретения координатная UV-сетка целевого изображения лица генерируется путем ввода целевого изображения лица в предварительно обученную модель распознавания лица; обеспечивается получение шаблонной UV-сетки, содержащей предварительно помеченной ключевой точки лица; и в координатной UV-сетке определяется пиксельная точка, соответствующая ключевой точки лица, для определения трехмерных координат ключевой точки лица. Модель распознавания лица в этом варианте осуществления настоящего изобретения не требует ручного маркирования обучающего изображения лица и обучающей координатной UV-сетки, что позволяет избежать ситуации, в которой анализ и маркировка обучающих данных должны осуществляться в ручном режиме, как на предшествующем уровне техники, с получением в итоге неточных обучающих данных и неточных координат ключевых точек лица, выдаваемых сетью CNN, и благодаря этому повышается эффективность модели распознавания лица, а также повышается точность детектирования ключевых точек лица.

[00105] Каждая пиксельная точка в координатной UV-сетке содержит трехмерные координаты, и эти трехмерные координаты пиксельной точки могут быть детектированы, вследствие чего детектированная ключевая точка лица содержат данные о глубине, и расширяется спектр сценариев применения ключевых точек.

[00106] На фиг.4 схематически показана структура устройства для обучения модели распознавания лица согласно одному из вариантов осуществления настоящего изобретения. Как показано на фиг.4, это устройство включает в себя модуль 401 получения обучающего изображения лица, модуль 402 трехмерной реконструкции, модуль 403 генерирования обучающей координатной UV-сетки и обучающий модуль 404.

[00107] Модуль 401 получения обучающего изображения лица выполнен с возможностью получения обучающего изображения лица.

[00108] Модуль 402 трехмерной реконструкции выполнен с возможностью получения обучающей трехмерной модели лица путем выполнения трехмерной реконструкции обучающего изображения лица на основании заданной трехмерной модели лица.

[00109] Модуль 403 генерирования обучающей координатной UV-сетки выполнен с возможностью генерирования обучающей координатной UV-сетки, содержащей трехмерные координаты обучающей трехмерной модели лица, на основании обучающей трехмерной модели лица.

[00110] Обучающий модуль 404 выполнен с возможностью получения модели распознавания лица путем обучения сети семантической сегментации с использованием обучающего изображения лица и обучающей координатной UV-сетки, причем модель распознавания лица выполнена с возможностью генерирования координатной UV-сетки, содержащей трехмерные координаты.

[00111] В одном из вариантов осуществления настоящего изобретения модуль 402 трехмерной реконструкции содержит подмодуль выбора трехмерных моделей лица, подмодуль анализа главных компонентов и подмодуль трехмерной реконструкции.

[00112] Подмодуль выбора трехмерной модели лица выполнен с возможностью выбора трехмерных моделей лица числом M.

[00113] Подмодуль анализа главных компонентов выполнен с возможностью получения матрицы главных компонентов и матрицы собственных значений путем выполнения анализа главных компонентов (PCA) трехмерных моделей лица числом M.

[00114] Подмодуль трехмерной реконструкции выполнен с возможностью получения - для каждого обучающего изображения лица - обучающей трехмерной модели лица путем выполнения трехмерной реконструкции каждого обучающего изображения лица с использованием матрицы главных компонентов и матрицы собственных значений, соответствующей каждому обучающему изображению лица.

[00115] В одном из вариантов осуществления настоящего изобретения модуль 402 трехмерной реконструкции дополнительно включает в себя подмодуль предварительной обработки трехмерных моделей лица и подмодуль выравнивания трехмерных моделей лица.

[00116] Подмодуль предварительной обработки трехмерных моделей лица выполнен с возможностью предварительной обработки выбранных трехмерных моделей лица.

[00117] Подмодуль выравнивания трехмерных моделей лица выполнен с возможностью получения выровненных трехмерных моделей лица путем выравнивания предварительно обработанных трехмерных моделей лица с использованием метода оптического потока.

[00118] Предварительная обработка предусматривает по меньшей мере одну из таких операций, как сглаживание, заполнение дыр и коррекция координат.

[00119] В одном из вариантов осуществления настоящего изобретения модуль трехмерной реконструкции включает в себя блок установки исходных параметров, блок построения исходной трехмерной модели лица, блок проецирования исходной трехмерной модели лица, блок вычисления значения расхождения, блок оптимизации и блок генерирования обучающей трехмерной модели лица.

[00120] Блок установки исходных параметров выполнен с возможностью задания исходной матрицы собственных значений и исходной матрицы параметров проекции.

[00121] Блок построения исходной трехмерной модели лица выполнен с возможностью построения исходной трехмерной модели лица с использованием исходной матрицы собственных значений и матрицы главных компонентов.

[00122] Блок проецирования исходной трехмерной модели лица выполнен с возможностью получения спроецированного изображения лица исходной трехмерной модели лица в двумерном пространстве на основании исходной матрицы параметров проекции.

[00123] Блок вычисления значения расхождения выполнен с возможностью вычисления значения расхождения между спроецированным изображением лица и обучающим изображением лица.

[00124] Блок оптимизации выполнен с возможностью итеративной оптимизации исходной матрицы собственных значений и исходной матрицы параметров проекции с использованием метода стохастического градиентного спуска на основании значения расхождения; и, когда значение расхождения сходится, получения матрицы собственных значений и матрицы параметров проекции и восприятие матрицы собственных значений и матрицы параметров проекции, соответственно, в качестве целевой матрицы собственных значений и целевой матрицы параметров проекции и восприятие целевой матрицы собственных значений в качестве матрицы собственных значений, соответствующей обучающему изображению лица.

[00125] Блок генерирования обучающей трехмерной модели лица выполнен с возможностью генерирования обучающей трехмерной модели лица с использованием целевой матрицы собственных значений и матрицы главных компонентов.

[00126] В одном из вариантов осуществления настоящего изобретения блок оптимизации включает в себя подблок выбора характерных точек, подблок вычисления значения расхождения, подблок первой итеративной оптимизации и подблок второй итеративной оптимизации.

[00127] Подблок выбора характерных точек выполнен с возможностью произвольного выбора - для первых N циклов итеративной оптимизации - характерных точек числом K из обучающего изображения лица и спроецированного изображения лица. Характерные точки могут представлять собой ключевые пиксельные точки, описывающие контуры бровей, глаз, носа, рта и ушей, или пиксельные точки в контурах глаз, рта или овала лица.

[00128] Подблок вычисления значения расхождения выполнен с возможностью вычисления значения расхождения между спроецированным изображением лица и обучающим изображением лица на основании характерных точек числом K.

[00129] Подблок первой итеративной оптимизации выполнен с возможностью итеративной оптимизации части собственных значений в исходной матрице собственных значений и исходной матрицы главных компонентов с использованием метода стохастического градиентного спуска на основании значения расхождения.

[00130] Подблок второй итеративной оптимизации выполнен с возможностью - после N циклов итеративной оптимизации - оптимизации всех собственных значений в матрице собственных значений после N циклов оптимизации и матрицы параметров проекции после N циклов оптимизации с использованием метода стохастического градиентного спуска; и, когда значение расхождения сходится, получения матрицы собственных значений и матрицы параметров проекции и восприятие матрицы собственных значений и матрицы параметров проекции в качестве целевой матрицы собственных значений и целевой матрицы параметров проекции.

[00131] В одном из вариантов осуществления настоящего изобретения модуль 403 генерирования обучающей координатной UV-сетки включает в себя подмодуль получения вершин, подмодуль проецирования и подмодуль генерирования обучающей координатной UV-сетки.

[00132] Подмодуль получения вершин выполнен с возможностью получения множества вершин обучающей трехмерной модели лица, причем каждая их этих вершин имеет трехмерные координаты.

[00133] Подмодуль проецирования выполнен с возможностью проецирования множества вершин на заданную сферическую поверхность и получения множества точек проекции, соответствующих множеству вершин на заданной сферической поверхности.

[00134] Подмодуль генерирования обучающей координатной UV-сетки выполнен с возможностью развертки сферической поверхности, содержащей множество точек проекции, для генерирования обучающей координатной UV-сетки, содержащей множество точек проекции, причем каждая точка проекции в обучающей координатной UV-сетке соотносится с трехмерными координатами соответствующей вершины.

[00135] В одном из вариантов осуществления настоящего изобретения обучающий модуль 404 включает в себя подмодуль извлечения обучающего изображения лица, подмодуль извлечения прогнозной координатной UV-сетки, подмодуль вычисления интенсивности потерь, подмодуль вычисления градиента, подмодуль оценки условия итерации, подмодуль определения модели распознавания лица и подмодуль установки сетевого параметра.

[00136] Подмодуль извлечения прогнозной координатной UV-сетки выполнен с возможностью извлечения обучающего изображения лица.

[00137] Подмодуль извлечения прогнозной координатной UV-сетки выполнен с возможностью ввода обучающего изображения лица в сеть семантической сегментации с целью извлечения прогнозной координатной UV-сетки.

[00138] Подмодуль вычисления интенсивности потерь выполнен с возможностью вычислении интенсивности потерь прогнозной координатной UV-сетки с использованием заданной функции потерь и обучающей координатной UV-сетки.

[00139] Подмодуль вычисления градиента выполнен с возможностью вычисления градиента с использованием показателя интенсивности потерь.

[00140] Подмодуль оценки условия итерации выполнен с возможностью определения, удовлетворяет ли градиент условию итерации.

[00141] Подмодуль определения модели распознавания лица выполнен с возможностью определения сети семантической сегментации в качестве модели распознавания лица.

[00142] Подмодуль установки сетевого параметра выполнен с возможностью выполнения градиентного спуска в отношении сетевого параметра сети семантической сегментации с использованием градиента и заданной скорости обучения, и возврата к стадии извлечения обучающего изображения лица.

[00143] В одном из вариантов осуществления настоящего изобретения подмодуль вычисления интенсивности потерь включает в себя блок обучающей координатной UV-сетки и блок вычисления интенсивности потерь.

[00144] Блок обучающей координатной UV-сетки выполнен с возможностью получения обучающей координатной UV-сетки, соответствующей обучающему изображению лица.

[00145] Блок вычисления интенсивности потерь выполнен с возможностью вычисления интенсивности потерь прогнозной координатной UV-сетки с использованием обучающей координатной UV-сетки, прогнозной координатной UV-сетки, заданной функции потерь и заданного веса потерь, причем заданный вес потерь представляет собой вес потерь характерной точки в обучающей координатной UV-сетке. Характерные точки в данном случае могут представлять собой ключевые пиксельные точки, описывающие контуры бровей, глаз, носа, рта и ушей, или пиксельные точки в контурах глаз, рта или овала лица.

[00146] Устройство для обучения модели распознавания лица согласно этому варианту осуществления настоящего изобретения может реализовывать способ обучения модели распознавания лица согласно любому из вариантов осуществления настоящего изобретения.

[00147] На фиг.5 схематически показана структура устройства для определения ключевой точки лица согласно одному из вариантов осуществления настоящего изобретения. Как показано на фиг.5, это устройство включает в себя модуль 501 получения целевого изображения лица, модуль 502 генерирования координатной UV-сетки, модуль 503 получения шаблонного изображения и модуль 504 определения трехмерных координат ключевых точек лица.

[00148] Модуль 501 получения целевого изображения лица выполнен с возможностью получения целевого изображения лица.

[00149] Модуль 502 генерирования координатной UV-сетки выполнен с возможностью ввода целевого изображения лица в предварительно обученную модель распознавания лица для генерирования координатной UV-сетки целевого изображения лица, причем координатная UV-сетка содержит множество пиксельных точек, а каждая пиксельная точка координатной UV-сетки содержит трехмерные координаты.

[00150] Модуль 503 получения шаблонного изображения выполнен с возможностью получения шаблонного UV-изображения, содержащего предварительно помеченную ключевую точку лица.

[00151] Модуль 504 определения трехмерных координат ключевых точек лица выполнен с возможностью определения пиксельных точек, соответствующих ключевым точкам лица в координатной UV-сетке, для определения трехмерных координат ключевых точек лица.

[00152] Устройство для определения ключевой точки лица согласно этому варианту осуществления настоящего изобретения может реализовывать способ определения ключевой точки лица согласно любому из вариантов осуществления настоящего изобретения, снабжено функциональными модулями для выполнения соответствующих способов, и может создавать соответствующие положительные эффекты.

[00153] На фиг.6 схематически показана структура устройства согласно одному из вариантов осуществления настоящего изобретения. Как показано на фиг.6, это устройство включает в себя: процессор 60, память 61, экран 62 дисплея с сенсорной функцией, устройство 63 ввода, устройство 64 вывода и устройство 65 связи. Количество процессоров 60 в устройстве может быть равно по меньшей мере одному. На фиг.6 приведен пример с одним процессором 60. Количество блоков памяти 61 в устройстве может быть равно по меньшей мере одному. На фиг.6 приведен пример с одним блоком памяти 61. Процессор 60, память 61, экран 62 дисплея, устройство 63 ввода, устройство 64 вывода и устройство 65 связи могут быть соединен посредством шины или иным образом. На фиг.6 приведен пример с соединением посредством шины.

[00154] В качестве машиночитаемого носителя данных память 61 выполнена с возможностью хранения программных продуктов, исполняемых компьютером программ и модулей, таких как программные команды/модули, соответствующие способу обучения модели распознавания лица согласно любому из вариантов осуществления настоящего изобретения (например, модуль 401 получения обучающего изображения лица, модуль 402 трехмерной реконструкции, модуль 403 генерирования обучающей координатной UV-сетки и обучающий модуль 404 описанного выше устройства для обучения модели распознавания лица), или программные команды/модули, соответствующие способу определения ключевой точки лица любому из вариантов осуществления настоящего изобретения (например, модуль 501 получения целевого изображения лица, модуль 502 генерирования координатной UV-сетки, модуль 503 получения шаблонного изображения и модуль 504 определения трехмерных координат ключевых точек лица описанного выше устройства для определения ключевой точки лица). Память 61 может включать в себя, главным образом, область хранения программ и область хранения данных. В области хранения программ может храниться операционная программа и приложение, необходимое для выполнения по меньшей мере одной функции; а в области хранения данных могут храниться данные, созданные с учетом сферы применения терминала, и пр. Кроме того, память 61 может включать в себя быстродействующее оперативное запоминающее устройство, и может дополнительно включать в себя энергонезависимое запоминающее устройство, такое как по меньшей мере одно запоминающее устройство на магнитных дисках, флеш-память или иные энергонезависимые твердотельные блоки памяти. В некоторых примерах память 61 может дополнительно включать в себя блоки памяти, расположенные на удалении от процессора 60, и эти удаленные блоки памяти могут соединяться с устройством 10 по сети. Примерами сети могут служить, помимо прочего, сеть Интернет, сеть Интранет, локальная вычислительная сеть, сеть мобильной связи и сочетания перечисленных сетей.

[00155] Экраном 62 дисплея служит экран 62 дисплея с сенсорной функцией, который может представлять собой емкостной экран, электромагнитный экран или инфракрасный экран. В общем, экран 62 дисплея выполнен с возможностью отображения данных по командам процессора 60 и с дополнительной возможностью восприятия касаний экрана 62 дисплея и передачи соответствующих сигналов на процессор 60 или иные устройства. В одном из вариантов осуществления настоящего изобретения в случае, если экран 62 дисплея представляет собой инфракрасный экран, экран 62 дисплея дополнительно включает в себя инфракрасную сенсорную рамку. Инфракрасная сенсорная рамка располагается по периметру экрана 62 дисплея и выполнена с возможностью приема инфракрасного сигнала и передачи инфракрасного сигнала на процессор 60 или другие устройства.

[00156] Устройство 65 связи выполнено с возможностью установления коммуникационного соединения с другими устройствами, и может представлять собой по меньшей мере одно из таких устройств, как проводное устройство связи и беспроводное устройство связи.

[00157] Устройство 63 ввода выполнено с возможностью приема входной цифровой или буквенно-цифровой информации и генерирования основных входных сигналов, связанных с пользовательскими настройками и функциональным управлением компьютерным устройством, и оно дополнительно сконфигурировано в виде камеры для получения изображений и звукоприемного устройства для получения аудиоданных. Устройство 64 вывода может включать в себя аудиоустройство, такое как динамик. Следует отметить, что состав устройства 63 ввода и устройства 64 вывода может быть определен с учетом фактических условий.

[00158] Процессор 60 приводит в исполнение различные функциональные приложения и осуществляет обработку данных путем прогона программных продуктов, исполнения команд и модулей, хранящихся в памяти 61, для реализации указанного способа обработки задач на базе нейронной сети.

[00159] Согласно шестому аспекту настоящего изобретения одним из вариантов его осуществления предложен машиночитаемый носитель данных. В машиночитаемом носителе данных хранится компьютерная программа, причем при выполнении этой программы процессором реализуется по меньшей мере один из таких способов, как способ обучения модели распознавания лица и способ определения ключевой точки лица согласно любому из вариантов осуществления настоящего изобретения.

[00160] Одним из вариантов осуществления настоящего изобретения дополнительно предложен машиночитаемый носитель данных. Команда, хранящаяся в носителе данных, при ее исполнении процессором устройства инициирует реализацию устройством способа аудиодетектирования согласно описанному выше варианту осуществления настоящего изобретения.

[00161] Следует отметить, что представлено относительно простое описание вариантов осуществления устройств и носителя данных, поскольку эти элементы по существу аналогичны вариантам осуществления способов. С сопутствующими деталями можно ознакомиться в части описания вариантов осуществления способов.

[00162] После ознакомления с представленным описанием вариантов осуществления настоящего изобретения специалистам в данной области техники должно быть очевидно, что заявленное изобретение может быть реализовано аппаратными средствами или программными средствами с необходимыми универсальными аппаратными средствами, и, разумеется, оно может быть реализовано аппаратными средствами. Исходя из этого понимания, описанные выше технические решения заявленного изобретения - в целом или в тех своих частях, которые улучшают известный уровень техники - могут быть представлены по существу в виде программного продукта. Компьютерный программный продукт хранится в машиночитаемом носителе данных и содержит несколько команд, инициирующих реализацию компьютерным устройством (которым может служить робот, персональный компьютер, сервер или сетевое устройство) способа аудиодетектирования согласно любому из вариантов осуществления настоящего изобретения, причем носителем данных служит гибкий магнитный диск для компьютеров, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), флеш-память, жесткий диск, оптический диск или иное устройство подобного рода.

[00163] Стоит отметить, что в описанном выше устройстве для аудиодетектирования разделение всех блоков и модулей, входящих в его состав, основано только на их функциональной логике и не ограничено описанным выше разделением при условии, что эти блоки и модули могут реализовывать соответствующие функции. Кроме того, названия каждого функционального модуля представлены исключительно для удобства проведения различия между этими модулями и не претендуют на ограничение объема правовой охраны настоящего изобретения.

[00164] Следует отметить, что каждая часть данной заявки может быть реализована аппаратными средствами, программными средствами, встроенными программами или сочетанием этих средств. В описанных выше вариантах осуществления настоящего изобретения множество стадий или способов может быть реализовано с помощью программных средств или встроенных программ, которые хранятся в памяти и выполняются системой обработки команд. Например, если они реализованы аппаратными средствами, как в другом варианте осуществления настоящего изобретения, то они могут быть реализованы с использованием любой одной или сочетания следующих технологий, известных на данном ровне техники: дискретной логической схемы с вентильной цепью, содержащей логические элементы, для реализации логических функций информационных сигналов; специализированной заказной интегральной схемы с подходящей комбинационной вентильной цепью; программируемой логической матрицы (PGA); программируемой логической интегральной схемы типа FPGA; и пр.

[00165] В описании настоящего изобретения описание соответствующих терминов, таких как «один из вариантов осуществления», «некоторые варианты осуществления», «один из примеров осуществления», «конкретный пример осуществления» и «некоторые примеры осуществления» объединяет конкретные признаки, структуры, материалы или характеристики, описанные в привязке к вариантам или примерам осуществления заявленного изобретения и включенные по меньшей мере в один из вариантов или пример осуществления заявленного изобретения. В этом описании схематическое представление указанных терминов не обязательно относится к одному и тому же варианту или примеру осуществления настоящего изобретения. Более того, описанные конкретные признаки, структуры, материалы или характеристики могут быть должным образом объединены с любым одним или несколькими вариантами или примерами осуществления настоящего изобретения.

Изобретение относится к области технологий обработки данных, в частности к способам обучения распознавания лица по ключевым точкам. Техническим результатом является повышение точности определения координат ключевых точек при распознавании лица. Технический результат заявляемого технического решения достигается тем, что в заявленном решении предусмотрена возможность получения обучающего изображения лица; трехмерной реконструкции обучающего изображения лица; генерирования обучающей координатной UV-сетки; ввода обучающего изображения лица в сеть семантической сегментации для извлечения прогнозной координатной UV-сетки; вычисления интенсивности потерь прогнозной координатной UV-сетки; вычисления градиента с использованием показателя интенсивности потерь; определения сети семантической сегментации в качестве модели распознавания лица. 8 н. и 5 з.п. ф-лы, 10 ил.

1. Способ обучения модели распознавания лица, предусматривающий:

получение обучающего изображения лица;

осуществление трехмерной реконструкции обучающего изображения лица на основании заданной трехмерной модели лица и получение обучающей трехмерной модели лица;

генерирование обучающей координатной UV-сетки, содержащей трехмерные координаты обучающей трехмерной модели лица, на основании обучающей трехмерной модели лица;

извлечение обучающего изображения лица;

ввод обучающего изображения лица в сеть семантической сегментации для извлечения прогнозной координатной UV-сетки;

вычисление интенсивности потерь прогнозной координатной UV-сетки с использованием заданной функции потерь и обучающей координатной UV-сетки;

вычисление градиента с использованием показателя интенсивности потерь;

определение того, удовлетворяет ли градиент заданному условию итерации;

определение сети семантической сегментации в качестве модели распознавания лица, если градиент удовлетворяет заданному условию итерации; и

выполнение градиентного спуска в отношении сетевого параметра сети семантической сегментации с использованием градиента и заданной скорости обучения и возврат к стадии извлечения обучающего изображения лица, если градиент не удовлетворяет заданному условию итерации;

при этом выполнение трехмерной реконструкции обучающего изображения лица на основании заданной трехмерной модели лица и получение обучающей трехмерной модели лица предусматривает:

выбор М трехмерных моделей лица;

выполнение анализа главных компонентов М трехмерных моделей лица и получение матрицы главных компонентов и матрицы собственных значений; и

выполнение трехмерной реконструкции каждого обучающего изображения лица с использованием матрицы главных компонентов и матрицы собственных значений и получение обучающей трехмерной модели лица.

2. Способ по п. 1, отличающийся тем, что перед выполнением анализа главных компонентов М трехмерных моделей лица и получения матрицы главных компонентов этот способ дополнительно предусматривает:

предварительную обработку выбранных трехмерных моделей лица и

выравнивание предварительно обработанных трехмерных моделей лица с использованием метода оптического потока и получение выровненных трехмерных моделей лица;

при этом предварительная обработка предусматривает по меньшей мере одну из таких операций, как сглаживание, заполнение дыр и коррекция координат.

3. Способ по п. 1 или 2, в котором выполнение трехмерной реконструкции каждого обучающего изображения лица с использованием матрицы главных компонентов и матрицы собственных значений и получение обучающей трехмерной модели лица предусматривает:

задание исходной матрицы собственных значений и исходной матрицы параметров проекции;

построение исходной трехмерной модели лица с использованием исходной матрицы собственных значений и матрицы главных компонентов;

получение спроецированного изображения лица исходной трехмерной модели лица в двумерном пространстве на основании исходной матрицы параметров проекции;

вычисление значения расхождения между спроецированным изображением лица и обучающим изображением лица;

итеративную оптимизацию исходной матрицы собственных значений и исходной матрицы параметров проекции с использованием метода стохастического градиентного спуска на основании значения расхождения, получение матрицы собственных значений и матрицы параметров проекции, когда значение расхождения сходится, и восприятие матрицы собственных значений и матрицы параметров проекции соответственно в качестве целевой матрицы собственных значений и целевой матрицы параметров проекции; и

генерирование обучающей трехмерной модели лица с использованием целевой матрицы собственных значений и матрицы главных компонентов.

4. Способ по п. 3, в котором итеративная оптимизация исходной матрицы собственных значений и исходной матрицы параметров проекции с использованием метода стохастического градиентного спуска на основании значения расхождения и получение матрицы собственных значений и матрицы параметров проекции, когда значение расхождения сходится, и восприятие матрицы собственных значений и матрицы параметров проекции соответственно в качестве целевой матрицы собственных значений и целевой матрицы параметров проекции предусматривает:

произвольную выборку K характерных точек из обучающего изображения лица и спроецированного изображения лица для первых N циклов итеративной оптимизации;

вычисление значения расхождения между спроецированным изображением лица и обучающим изображением лица на основании K характерных точек;

итеративную оптимизацию части собственных значений в исходной матрице собственных значений и исходной матрицы параметров проекции с использованием метода стохастического градиентного спуска на основании значения расхождения; и

оптимизацию - после N циклов итеративной оптимизации - всех собственных значений и исходной матрицы параметров проекции с использованием метода стохастического градиентного спуска, получение матрицы собственных значений и матрицы параметров проекции после схождения значения расхождения и восприятие матрицы собственных значений и матрицы параметров проекции в качестве целевой матрицы собственных значений и целевой матрицы параметров проекции.

5. Способ по любому из предшествующих пп. 1 и 2, в котором генерирование обучающей координатной UV-сетки, содержащей трехмерные координаты обучающей трехмерной модели лица, на основании обучающей трехмерной модели лица предусматривает:

получение вершины обучающей трехмерной модели лица, причем эта вершина имеет трехмерные координаты;

проецирование вершины на заданную сферическую поверхность и получение точки проекции, соответствующей вершине на заданной сферической поверхности; и

развертку сферической поверхности, содержащей точку проекции, для генерирования обучающей координатной UV-сетки, содержащей точку проекции, причем каждая точка проекции в обучающей координатной UV-сетке соотносится с трехмерными координатами вершины.

6. Способ по п. 1, в котором вычисление интенсивности потерь прогнозной координатной UV-сетки с использованием заданной функции потерь и обучающей координатной UV-сетки предусматривает:

получение обучающей координатной UV-сетки, соответствующей обучающему изображению лица; и

вычисление интенсивности потерь с использованием обучающей координатной UV-сетки, прогнозной координатной UV-сетки, заданной функции потерь и заданного веса потерь, причем заданный вес потерь представляет собой вес заданной характерной точки.

7. Способ определения ключевой точки лица, предусматривающий: получение целевого изображения лица;

ввод целевого изображения лица в предварительно обученную модель распознавания лица для генерирования координатной UV-сетки целевого изображения лица, причем каждая пиксельная точка координатной UV-сетки содержит трехмерные координаты;

получение шаблонного UV-изображения, содержащего предварительно помеченную ключевую точку лица; и

определение пиксельной точки, соответствующей ключевой точке лица в координатной UV-сетке, для определения трехмерных координат ключевой точки лица;

при этом модель распознавания лица обучается с использованием способа обучения модели распознавания лица по любому из предшествующих пп. 1-6.

8. Устройство для обучения модели распознавания лица, включающее в себя:

модуль получения обучающего изображения лица, выполненный с возможностью получения обучающего изображения лица;

модуль трехмерной реконструкции, выполненный с возможностью выполнения трехмерной реконструкции обучающего изображения лица на основании заданной трехмерной модели лица и получения обучающей трехмерной модели лица;

модуль генерирования обучающей координатной UV-сетки, выполненный с возможностью генерирования обучающей координатной UV-сетки, содержащей трехмерные координаты обучающей трехмерной модели лица, на основании обучающей трехмерной модели лица и

обучающий модуль, выполненный с возможностью обучения сети семантической сегментации с использованием обучающего изображения лица и обучающей координатной UV-сетки и получения модели распознавания лица, причем модель распознавания лица выполнена с возможностью генерирования координатной UV-сетки, содержащей трехмерные координаты;

при этом обучающий модуль включает в себя:

подмодуль извлечения прогнозной координатной UV-сетки, выполненный с возможностью извлечения обучающего изображения лица;

подмодуль извлечения прогнозной координатной UV-сетки, выполненный с возможностью ввода обучающего изображения лица в сеть семантической сегментации с целью извлечения прогнозной координатной UV-сетки;

подмодуль вычисления интенсивности потерь, выполненный с возможностью вычислении интенсивности потерь прогнозной координатной UV-сетки с использованием заданной функции потерь и обучающей координатной UV-сетки;

подмодуль вычисления градиента, выполненный с возможностью вычисления градиента с использованием показателя интенсивности потерь;

подмодуль оценки условия итерации, выполненный с возможностью определения, удовлетворяет ли градиент заданному условию итерации;

подмодуль определения модели распознавания лица, выполненный с возможностью определения сети семантической сегментации в качестве модели распознавания лица; и

подмодуль установки сетевого параметра, выполненный с возможностью выполнения градиентного спуска в отношении сетевого параметра сети семантической сегментации с использованием градиента и заданной скорости обучения и возврата к стадии извлечения обучающего изображения; и

при этом модуль трехмерной реконструкции включает в себя:

подмодуль выбора трехмерной модели лица, выполненный с возможностью выбора М трехмерных моделей лица;

подмодуль анализа главных компонентов, выполненный с возможностью получения матрицы главных компонентов и матрицы собственных значений путем выполнения анализа главных компонентов М трехмерных моделей лица; и

подмодуль трехмерной реконструкции, выполненный с возможностью получения - для каждого обучающего изображения лица - обучающей трехмерной модели лица путем выполнения трехмерной реконструкции каждого обучающего изображения лица с использованием матрицы главных компонентов и матрицы собственных значений.

9. Устройство для определения ключевой точки лица, включающее в себя:

модуль получения целевого изображения лица, выполненный с возможностью получения целевого изображения лица;

модуль генерирования координатной UV-сетки, выполненный с возможностью ввода целевого изображения лица в предварительно обученную модель распознавания лица для генерирования координатной UV-сетки целевого изображения лица, причем каждая пиксельная точка координатной UV-сетки содержит трехмерные координаты;

модуль получения шаблонного изображения, выполненный с возможностью получения шаблонного UV-изображения, содержащего предварительно помеченную ключевую точку лица; и

модуль определения трехмерных координат ключевых точек лица, выполненный с возможностью определения пиксельной точки, соответствующей ключевой точке лица в координатной UV-сетке, для определения трехмерных координат ключевой точки лица;

при этом модель распознавания лица обучается с использованием способа обучения модели распознавания лица по любому из предшествующих пп. 1-6.

10. Устройство для обучения модели распознавания лица, содержащее: по меньшей мере один процессор и

запоминающее устройство для хранения по меньшей мере одной программы;

причем при выполнении по меньшей мере одной программы по меньшей мере одним процессором этот по меньшей мере один процессор может реализовать способ обучения модели распознавания лица по любому из предшествующих пп. 1-6.

11. Машиночитаемый носитель данных, в котором хранится компьютерная программа, причем при выполнении этой программы процессором реализуется способ обучения модели распознавания лица по любому из предшествующих пп. 1-6.

12. Устройство для определения ключевой точки лица, содержащее: по меньшей мере один процессор и

запоминающее устройство для хранения по меньшей мере одной программы;

причем при выполнении по меньшей мере одной программы по меньшей мере одним процессором этот по меньшей мере один процессор может реализовать способ определения ключевой точки лица по п. 7.

13. Машиночитаемый носитель данных, в котором хранится компьютерная программа, причем при выполнении этой программы процессором реализуется способ определения ключевой точки лица по п. 7.