СПОСОБ, КОМПЬЮТЕРНОЕ УСТРОЙСТВО И СЧИТЫВАЕМЫЙ КОМПЬЮТЕРОМ НОСИТЕЛЬ ДЛЯ ПОЛУЧЕНИЯ ИЗОБРАЖЕНИЯ ЛИЦА С ДОБАВЛЕННЫМ ОСВЕЩЕНИЕМ Российский патент 2024 года по МПК G06T15/04 G06T15/60 G06T5/00 

Область техники, к которой относятся изобретение

[1] Настоящее изобретение относится к области обработки изображений, а более конкретно - к способу получения изображения лица с добавленным освещением, а также к соответствующим компьютерному устройству и считываемому компьютером носителю. Изобретение может быть использовано, например, в устройствах для формирования и/или обработки изображений, таких как камера или смартфон.

Уровень техники

[2] При фотографировании лица без использования специального осветительного оборудования (например, студийного осветительного оборудования) зачастую трудно получить качественное изображение лица в силу возможного наличия нежелательных теней и других эффектов от естественных или искусственных источников света, положение которых относительно лица зачастую невозможно изменить желаемым образом. При этом в большинстве повседневных применений (фотографирование, фотографирование себя (селфи), видеоконференцсвязь) использование специального осветительного оборудования затруднительно или невозможно. Кроме того, даже при наличии специального осветительного оборудования получение желаемого эффекта от освещения может быть затруднительным в связи с необходимостью перемещения в пространстве источников света для изменения эффекта освещения. В связи с эти возникает потребность в возможности получения изображения лица с добавленным освещением, способным устранять нежелательные тени и другие нежелательные эффекты освещения исходного изображения лица и тем самым улучшать качество изображения лица.

[3] Из уровня техники известен способ для визуализации «повторно освещенного» (англ. relighted) 3D-портрета человека, раскрытый в источнике US11823327B2, опубликованном 21.11.2023. Известный способ предусматривает получение облака точек на основе последовательности изображений, формируемой движущейся камерой с использованием вспышки, а также нейронных сетей при формировании изображения портрета. Данный известный способ является сложным в реализации и требует особых действий для подготовки исходных данных (последовательность изображений), в связи с чем он не применимым при повседневном использовании (обычное фотографирование, селфи, видеоконференцсвязь) и не может быть использован для обработки уже существующих одиночных фотографий лица. Поскольку способ предусматривает применение нейронной сети, могут потребоваться дополнительные специализированные вычислительные компоненты, такие как нейронный процессор (Neural Processing Unit, NPU).

[4] Из уровня техники известен способ «повторного освещения» фотографий с использованием глубоких нейронных сетей и достоверного обучения, раскрытый в источнике US11776095B2, опубликованном 03.10.2023. Известный способ предусматривает использование предварительно обученной сверточной нейронной сети для получения фотографии с «повторным освещением» на основе исходной фотографии и модели освещения (lighting model). Результата применения известного способа зависит от исходных данных, использованных для обучения нейронной сети. Физическая достоверность полученных таким образом «повторно освещенных» изображений не гарантируется. Поскольку способ предусматривает применение нейронной сети, могут потребоваться дополнительные специализированные вычислительные компоненты, такие как нейронный процессор.

[5] Задачей, на решение которой направлено данное изобретение, является предоставление способа получения изображения лица с добавленным освещением, применимого к отдельным изображениям, по возможности простого, не требующего специализированных вычислительных компонентов и обеспечивающего высокое качество и достоверность (иными словами, реалистичность) получаемого изображения лица с добавленным освещением.

Сущность изобретения

[6] Согласно первому аспекту настоящего изобретения предложен способ получения изображения лица с добавленным освещением, выполняемый компьютерным устройством, содержащий: получение исходного изображения лица; формирование обрезанного изображения лица на основе исходного изображения лица; формирование карты глубины лица, соответствующей исходному изображению лица, на основе обрезанного изображения лица; формирование трехмерной сетки, представляющей лицо пользователя, на основе карты глубины лица; формирование виртуальной сцены, содержащей упомянутую трехмерную сетку и виртуальную камеру и соответствующей исходному изображению лица; добавление по меньшей мере одного виртуального источника света в виртуальную сцену; формирование карты дополнительного освещения путем визуализации виртуальной сцены; формирование изображения лица с добавленным освещением на основе исходного изображения лица и карты дополнительного освещения.

[7] Согласно варианту осуществления первого аспекта, формирование карты глубины лица, соответствующей исходному изображению лица, на основе обрезанного изображения лица содержит обнаружение и сегментацию лица.

[8] Согласно варианту осуществления первого аспекта, формирование карты дополнительного освещения путем визуализации виртуальной сцены содержит выполнение физически корректного рендеринга.

[9] Согласно варианту осуществления первого аспекта, компьютерное устройство представляет собой одно из следующего: смартфон, компьютерное устройство, видеокамера, специализированная микросхема, система на кристалле.

[10] Согласно варианту осуществления первого аспекта, способ дополнительно содержит формирование исходного изображения лица посредством камеры, при этом получение исходного изображения лица содержит прием исходного изображения лица от камеры.

[11] Согласно варианту осуществления первого аспекта, формирование карты глубины лица содержит формирование карты глубины путем оценки глубины на основе обрезанного изображения лица.

[12] Согласно варианту осуществления первого аспекта, добавление по меньшей мере одного виртуального источника света в виртуальную сцену осуществляется на основе ввода пользователя.

[13] Согласно варианту осуществления первого аспекта, формирование изображения лица с добавленным освещением на основе исходного изображения лица и карты дополнительного освещения содержит попиксельное сложение пикселей исходного изображения лица и пикселей карты дополнительного освещения.

[14] Согласно второму аспекту настоящего изобретения предложено компьютерное устройство для получения изображения лица с добавленным освещением, содержащее по меньшей мере один процессор и память, при этом память содержит программные инструкции, при этом, при выполнении программных инструкций посредством упомянутого по меньшей мере одного процессора, выполняется способ согласно первому аспекту.

[15] Согласно третьему аспекту настоящего изобретения предложен считываемый компьютером носитель данных, содержащий программные инструкции, которые, при их выполнении посредством по меньшей мере одного процессора компьютера, предписывают упомянутому по меньшей мере одному процессору выполнять способ согласно первому аспекту.

Краткое описание чертежей

[16] На фиг. 1 показана примерная схема структуры предложенного компьютерного устройства для получения изображения лица с добавленным освещением.

[17] На фиг. 2 показана примерная схема последовательности операций предложенного способа получения изображения лица с добавленным освещением.

[18] На Фиг. 3 схематически показаны данные, формируемые при реализации способа получения изображения лица с добавленным освещением.

[19] На фиг. 4 показана примерная схема структуры виртуальной сцены.

Подробное описание изобретения

[20] Далее предлагаемое изобретение описывается подробно и со ссылкой на прилагаемые чертежи.

[21] Согласно первому аспекту изобретения предложен способ получения изображения лица с добавленным освещением.

[22] Предложенный способ выполняется посредством компьютерного устройства 101, структура которого схематически изображена на фиг. 1. В качестве неограничивающего примера, компьютерное устройство может представлять собой смартфон, цифровую камеру (например, цифровую фотокамеру или цифровую видеокамеру), персональный компьютер, сервер, специализированную микросхему, систему на кристалле и т.п., либо комбинацию из упомянутого выше.

[23] Предполагается, что компьютерное устройство содержит по меньшей мере один процессор 102 и память 103. Кроме того, компьютерное устройство, в зависимости от реализации, может дополнительно содержать одно или более из следующего: камера, средство ввода/вывода, средство связи, шина данных, графический процессор (не показаны на фиг. 1), и т.п. Процессор 102 может быть объединен с памятью (например, при реализации в виде системы на кристалле), либо процессор 102 и память 103 могут представлять собой отдельные компоненты. Кроме того, в некоторых реализациях одна часть памяти 103 может быть встроена в процессор 102 (например, кэш-память центрального процессора), а другая часть памяти 103 может быть представлена в виде одного или нескольких отдельных компонентов (например, модули оперативной памяти персонального компьютера). Память 103 может содержать одно или более из следующего: оперативная память (англ. Random Access Memory, RAM), флэш-память, стираемый программируемый постоянный запоминающее устройство (англ. Erasable Programmable ROM, EPROM), электрически стираемое программируемое постоянное запоминающее устройство (англ. Electrically EPROM, EEPROM), регистр, жесткий диск, съемный жесткий диск, постоянное запоминающем устройстве на компакт-диске (CD-ROM) и т.п. Память 103 содержит программные инструкции в форме, например, программного (англ. software) или микропрограммного (англ. firmware) обеспечения, инструктирующие процессору 102 при их выполнении осуществлять предложенный способ получения изображения лица с добавленным освещением. Средство ввода/вывода может содержать одно или более из следующего: дисплей, сенсорный дисплей клавиатура, мышь, и т.п. Средство связи может содержать устройство проводной связи (например, Ethernet-адаптер), устройство беспроводной связи (например, модуль Wi-Fi, модуль Bluetooth и т.п.). Процессор 102 может включать в себя один или более отдельных вычислительных элементов. В качестве примера, процессор 102 может представлять собой центральный процессор (CPU). В качестве другого примера, процессор 102 может содержать центральный процессор и одну или более специализированных интегральных микросхем (ASIC), соединенных между собой с возможность передачи данных посредством, например, шины данных.

[24] Предложенный способ получения изображения лица с добавленным освещением содержит следующие этапы:

[25] Этап S101 - получение исходного изображения лица (фиг. 3, поз. 201). В качестве неограничивающего примера, исходное изображение лица может быть получено (иными словами - сформировано) посредством камеры, если устройство обработки оснащено камерой. Кроме того, исходное изображение лица может быть получено от внешнего источника (например - внешней камеры или устройства, оснащенного камерой) через средство связи или любым другим образом, в зависимости от конкретной реализации. Термин «изображение лица», используемый здесь, не исключает наличие других объектов окружающего пространства на изображении (например, фон или объекты на заднем плане изображения, объекты на переднем плане изображения и т.п.).

[26] Предложенное изобретение не исключает наличия множества лиц на изображении лица. Далее изобретение описывается так в контексте присутствия одного лица на изображении, хотя ясно, что предложенное изобретение применимо и к изображениям, содержащим множество лиц.

[27] Этап S102 - получение обрезанного изображения лица (фиг. 3, поз. 202). Под обрезанным изображением лица здесь понимается изображение лица, полученное на основе исходного изображения лица, в котором все пиксели, не относящиеся к лицу на изображении лица (то есть, относящиеся, например, к фону или другим посторонним объектам) помечены как не относящиеся к лицу. Таким образом, обрезанное изображение лица содержит информацию об области исходного изображения лица (иными словами - совокупности пикселей исходного изображения лица), относящейся к лицу.

[28] Изобретение не ограничено конкретной формой представления обрезанного изображения лица. В качестве примера, обрезанное изображение лица может быть получено на основе исходного изображения лица путем присвоения всем пикселям, не относящимся к лицу, значения заранее заданного кодового цвета (например, черного цвета, т.е. цвета RGB (0,0,0) согласно цветовой модели RGB). В качестве другого примера, обрезанное изображение лица может быть получено на основе исходного изображения лица путем добавления к нему карты прозрачности (например, бинарной маски) таким образом, чтобы все пиксели, не относящиеся к лицу, были абсолютно прозрачными, а все пиксели, относящиеся к лицу (т.е. все оставшиеся пиксели изображения), были абсолютно непрозрачными.

[29] В качестве примера, при выполнении этапа S102 к исходному изображению лица может быть применен метод обнаружения и сегментации лица (англ. face detection and segmentation), для получения информации об области лица на изображении (иными словами - сегменте изображения, относящегося к лицу). Затем на основе исходного изображения лица и информации об области лица на изображении может быть получено обрезанное изображение лица, в качестве примера, путем закрашивания всех пикселей, не относящихся к области лица, кодовым цветом, либо, в качестве другого примера, путем формирования и добавления и изображению карты прозрачности, сформированной на основе информации об области лица на изображении.

[30] Этап S103 - формирование карты глубины лица (фиг. 3, поз. 203) на основе обрезанного изображения лица. Карта глубины лица представляет собой изображение или канал изображения, содержащий информацию о расстояниях от точки зрения (точки положения камеры на момент съемки) до лица для каждого пикселя обрезанного изображения лица, относящегося к лицу.

[31] Предложенное изобретение не ограничено конкретным способом формирования карты глубины лица на основе обрезанного изображения лица. В качестве примера, формирование карты глубины лица может осуществляться путем применения подходящего метода оценки глубины изображения (англ. image depth estimation) к обрезанному изображению лица. В качестве более конкретного примера, может использоваться метод монокулярной оценки глубины (англ. monocular depth estimation). В качестве другого примера, формирование карты глубины лица может осуществляться путем применения к обрезанному изображению лица соответствующей заранее обученной нейронной сети. Нейронные сети соответствующего назначения известны из уровня техники, в связи с чем подробности здесь не приводятся.

[32] Предложенное изобретение не ограничено конкретной формой представления информации о расстояниях от точки зрения до лица. В качестве примера, карта глубины лица может представлять собой растровое изображение, имеющее ширину и высоту, соответствующие ширине и высоте обрезанного изображения лица, в котором цвет каждого пикселя однозначно соответствует некоторому расстоянию.

[33] За счет того, что при формировании карты глубины используется обрезанное изображение лица, вычислительная сложность выполнения данной обработки может быть уменьшена.

[34] Этап S104 - формирование трехмерной сетки, представляющей лицо (фиг. 3, поз. 204), на основе карты глубины лица. Трехмерная сетка, представляющая лицо, может также для краткости именоваться трехмерной сеткой лица.

[35] Трехмерная сетка лица может быть сформирована следующим образом. Для каждого пикселя карты глубины лица на основе координат пикселя может быть «восстановлен» луч в трехмерном пространстве, исходящий из точки зрения (точки положения камеры). Информация о «глубине» соответствующего пикселя, содержащаяся в карте глубины лица, позволяет восстановить соответствующую точку лица, лежащую на упомянутом луче в трехмерном пространстве в системе координат, связанной с камерой. Таким образом, для каждого пикселя карты глубины лица может быть восстановлена соответствующая точка лица в трехмерном пространстве в системе координат, связанной с камерой. А на основе множества пикселей и, соответственно, точек лица может быть получена трехмерная сетка (3d mesh), представляющая лицо. Для получения трехмерной сетки из упомянутого множества точек может быть использован любой подходящий способ реконструкции поверхности (англ. 3d surface reconstruction). Предложенное изобретение не ограничено конкретным способом.

[36] Предполагается, что при формировании трехмерной сетки лица может использоваться информация о параметрах камеры, используемой для съемки исходного изображения лица, хотя это не является обязательным. Использование информации о параметрах камеры, отражающей параметры камеры как оптической системы, может улучшить точность восстановления лучей трехмерном пространстве и, соответственно, точность трехмерной сетки, представляющей лицо.

[37] Формирование и использование далее в процессе получения изображения лица с добавленным освещением трехмерной сетки, представляющей лицо, позволяет более достоверно симулировать освещение лица и повысить качество и реалистичность изображения лица с добавленным освещением.

[38] Этап S105 - формирование виртуальной сцены 301, содержащей трехмерную сетку 302 и виртуальную камеру 303, соответствующей исходному изображению лица. Под виртуальной сценой 301 здесь понимается математическая модель пространства, представленная в виде структуры данных и включающая в себя описание упомянутых трехмерной сетки 301, виртуальной камеры 303 и других объектов, таких как материалы и виртуальные источники света 304, необходимых для формирования изображения путем выполнения процесса визуализации. Под формированием виртуальной сцены понимается формирование упомянутой структуры данных в памяти 103 компьютерного устройства 101. На фиг. 4 показано схематическое представление виртуальной сцены 301. Под тем, что виртуальная сцена соответствуют исходному изображению лица, здесь понимается то, что положение виртуальной камеры относительно сетки соответствует положению реальной камеры (которая использовалась при получении исходного изображения лица) относительно лица при съемке, а параметры виртуальной камеры (в частности, углы обзора по горизонтали и вертикали) соответствуют параметрам реальной камеры, используемой при съемке. Ввиду упомянутого соответствия виртуальной сцены исходному изображению лица, изображение трехмерной сетки, полученное при визуализации виртуальной сцены, будет в точности соответствовать исходному изображению лица. То есть при совмещении упомянутых изображений, изображение сетки, представляющей лицо, совместится с изображением лица на исходном изображении лица.

[39] Предполагается, что сцена, сформированная на этапе S105, содержит информацию о следующем: положении сетки лица, положении виртуальной камеры, направлении оптической оси камеры (т.е. о направлении взгляда камеры), ориентации виртуальной камеры (т.е., например, о направлении «вверх» виртуальной камеры), горизонтальном и вертикальном углах обзора виртуальной камеры. На этапе S105 также может быть сформирована и включена в сцену информация о материале, впоследствии применяемом к сетке лица на этапе S107 формирования карты дополнительного освещения.

[40] Изобретение не ограничено конкретной формой представления структуры данных виртуальной сцены. Например, структура данных виртуальной сцены может соответствовать конкретному используемому методу визуализации, используемому на этапе S107 формирования карты дополнительного освещения, т.е. быть совместимой с конкретным используемым методом визуализации.

[41] Под положением виртуальной камеры и положением сетки лица понимается их положение в системе координат сцены. Изобретение не ограничено конкретным видом системы координат сцены, в которой «размещаются» трехмерная сетка лица, камера и один или более источников света, которые добавляются в сцену на этапе S106.

[42] Этап S106 - добавление по меньшей мере одного виртуального источника света 304 в виртуальную сцену 301. Под добавлением виртуального источника света в виртуальную сцену здесь понимается включение в структуру данных виртуальной сцены модели, описывающей виртуальный источник света (т.е. описывающей, например, положение в сцене, тип, геометрические параметры, интенсивность света и цвет света для виртуального источника света). Предложенное изобретение не ограничено конкретным способом добавления виртуального источника света в виртуальную сцену.

[43] В качестве неограничивающего примера, виртуальный источник света может быть добавлен в сцену согласно заранее заданному алгоритму на основе анализа исходного изображения лица. Например, упомянутый заранее заданный алгоритм может обеспечивать оценку наличия нежелательных теней лица на исходном изображении лица и размещение виртуального источника света таким образом, чтобы устранить нежелательные тени, уменьшить их, либо обеспечить другой эффект дополнительного освещения.

[44] В качестве другого неограничивающего примера, добавление по меньшей мере одного виртуального источника света в виртуальную сцену может осуществляться на основе ввода пользователя. Компьютерное устройство может иметь сенсорный дисплей. Компьютерное устройство может отображать пользовательский интерфейс, показывающий результат применения к исходному изображению лица дополнительного виртуального источника света и элементы управления, позволяющие пользователю изменить положение и/или параметры виртуального источника света. В примерной реализации пользователь может в интерактивном режиме изменять положения и/или параметры виртуального источника света, видеть результаты изменений, и обеспечить желаемое положение виртуального источника света для получения изображения лица с добавленным освещением наилучшим образом. Предполагается, что при такой примерной реализации после каждого изменения положения и/или параметров виртуального источника света в ответ на ввод пользователя выполняются этапы S107 и S108 или этапы, подобные им. В качестве примера, могут выполняться этапы, подобные этапам S107 и S108, но отличающиеся менее ресурсоемкими алгоритмами обработки или параметрами алгоритмов обработки, предназначенными для формирования изображения предварительного просмотра с меньшим качеством, использование которых может обеспечить более высокую степень интерактивности. В результате пользователь после каждого изменения положения виртуального источника света может увидеть изображение лица с добавленным освещением, либо, например, изображение предварительного просмотра лица с добавленным освещением. Оценивая изображение лица с добавленным освещением, пользователь может в интерактивном режиме изменять положение и/или параметры виртуального источника света до получения желаемого результата (иными словами - эффекта) применения добавленного освещения.

[45] Предложенное изобретение не ограничено конкретным типом виртуального источника света. Например, виртуальным источником света может быть точечный источник света (англ. point light source), направленный источник света (англ. directional light source), прямоугольный источник света (англ. area light source) и т.п. Ясно, что способ добавления, размещения в сцене виртуального источника света и задания его параметров могут зависеть от конкретного типа виртуального источника света.

[46] Этап S107 - формирование карты дополнительного освещения (фиг. 3, поз. 205) путем визуализации виртуальной сцены. Под картой дополнительного освещения здесь понимается двухмерное изображение, содержащее информацию о дополнительном освещении лица посредством упомянутого по меньшей мере одного виртуального источника света, полученное в результате визуализации виртуальной сцены. В уровне техники широко известны различные методы визуализации виртуальных сцен, в связи с чем данный этап здесь подробно не описывается. Предложенное изобретение не ограничено конкретным способом визуализации виртуальной сцены для формирования карты дополнительного освещения.

[47] В качестве неограничивающего примера, для визуализации может быть использован метод физически корректного рендеринга (англ. physically based rendering, PBR), обеспечивающий моделирование потока света в реальном мире. Применение для формирования карты дополнительного освещения метода физически корректного рендеринга позволяет получить карту дополнительного освещения, максимально приближенную к реальности (то есть, такая карта дополнительного освещения, примененная к исходному изображению, позволит получить эффект освещения, максимально приближенный к реальному размещению источника света в заданном месте относительно лица), что позволяет повысить качество и реалистичность изображения лица с добавленным освещением.

[48] Предполагается, что при применении метода физически корректного рендеринга или иного метода визуализации к трехмерной сетке может применяться (т.е. может быть назначен трехмерной сетке для визуализации) так называемый «материал», имитирующий реальные оптические свойства кожи, такие как, например, поглощение, рассеяние, альбедо, подповерхностные рассеяние и др. Под материалом здесь понимается структура данных, содержащая упомянутые оптические и другие свойства, ассоциированные с трехмерной сеткой, используемые визуализатором в процессе визуализации трехмерной сетки. Параметры материала могут быть заданы заранее. Параметры материала могут быть определены или уточнены на основе исходного изображения лица согласно заранее заданному алгоритму. В качестве примера, свойства материала могут быть уточнены на она основе результата оценки тона кожи лица, выполненной в отношении исходного изображений лица, что позволяет повысить качество и реалистичность изображения лица с добавленным освещением.

[49] Поскольку виртуальная сцена не содержит сеток, относящихся к посторонним объектам, кроме лица, вычислительная сложность выполнения визуализации виртуальной сцены может быть уменьшена.

[50] Ясно, что конкретный способ и/или параметры визуализации виртуальной сцены и/или конкретная форма представления карты дополнительного освещения могут зависеть от конкретного способа реализации этапа S108 формирования изображения лица с добавленным освещением, например - от способа объединения исходного изображения лица и карты дополнительного освещения на этапе S108.

[51] Этап S108 - формирование изображения лица с добавленным освещением (фиг. 3, поз. 206) на основе исходного изображения 201 лица и карты 205 дополнительного освещения. На данном этапе осуществляется обработка исходного изображения лица и карты дополнительного освещения согласно заранее заданному алгоритму для получения изображения лица с добавленным освещением. Предложенное изобретение не ограничено конкретным способом реализации данного этапа. В качестве неограничивающего примера, изображение лица с добавленным освещением может быть сформировано как результат объединения (именуемого также смешением, англ. blending) исходного изображения лица и карты дополнительного освещения. В качестве более конкретного примера, упомянутое объединение может представлять собой сложение изображений, при котором каждая цветовая компонента каждого пикселя изображения лица с добавленным освещением определяется как сумма соответствующих цветовых компонент соответствующих пикселей исходного изображения лица и карты дополнительного освещения.

[52] В результате выполнения этапов S101-S108 обеспечивается получение изображения лица с добавленным освещением.

[53] Согласно другому аспекту настоящего изобретения предложено компьютерное устройство 101, предназначенное для выполнения описанного выше способа получения изображения лица с добавленным освещением, содержащее по меньшей мере один процессор 102 и память 103. Поскольку компьютерное устройство 101 уже описано в контексте предложенного способа получения изображения лица с добавленным освещением, подробности здесь повторно не приводятся.

[54] Согласно другому аспекту настоящего изобретения Считываемый компьютером носитель данных, содержащий программные инструкции, которые, при их выполнении посредством по меньшей мере одного процессора компьютера, предписывают упомянутому по меньшей мере одному процессору выполнять способ получения изображения лица с добавленным освещением. Считываемый компьютером носитель данных может представлять собой одно из следующего: оперативная память (англ. Random Access Memory, RAM), флэш-память, стираемый программируемый постоянный запоминающее устройство (англ. Erasable Programmable ROM, EPROM), электрически стираемое программируемое постоянное запоминающее устройство (англ. Electrically EPROM, EEPROM), регистр, жесткий диск, съемный жесткий диск, постоянное запоминающем устройстве на компакт-диске (CD-ROM) и т.п. Поскольку способ получения изображения лица с добавленным освещением описан выше, подробности здесь повторно не приводятся.

Таким образом, настоящее изобретение предлагает эффективный способ получения реалистичного изображения лица с добавленным освещением, не требующий использование специализированных вычислительных компонентов, таких как нейронные процессоры, применимый к одиночным изображениям лица и не требующий дополнительных данных (таких как набор дополнительных изображений лица и т.п.), не требующий специальных условий съемки исходных изображений.

Изобретение относится к области обработки изображений. Технический результат направлен на повышение точности восстановления лучей трехмерного пространства для получения более реалистичного изображения. Способ получения изображения лица с добавленным освещением, выполняемый компьютерным устройством, содержащий: получение исходного изображения лица, формирование обрезанного изображения лица на основе исходного изображения лица, формирование карты глубины лица, формирование трехмерной сетки, представляющей лицо пользователя, на основе карты глубины лица, формирование виртуальной сцены, содержащей упомянутую трехмерную сетку и виртуальную камеру и соответствующей исходному изображению лица, добавление по меньшей мере одного виртуального источника света в виртуальную сцену, формирование карты дополнительного освещения путем визуализации виртуальной сцены, формирование изображения лица с добавленным освещением на основе исходного изображения лица и карты дополнительного освещения. 3 н. и 7 з.п. ф-лы, 4 ил.

1. Способ получения изображения лица с добавленным освещением, выполняемый компьютерным устройством, содержащий:

получение исходного изображения лица;

формирование обрезанного изображения лица на основе исходного изображения лица;

формирование карты глубины лица, соответствующей исходному изображению лица, на основе обрезанного изображения лица;

формирование трехмерной сетки, представляющей лицо пользователя, на основе карты глубины лица;

формирование виртуальной сцены, содержащей упомянутую трехмерную сетку и виртуальную камеру и соответствующей исходному изображению лица;

добавление по меньшей мере одного виртуального источника света в виртуальную сцену;

формирование карты дополнительного освещения путем визуализации виртуальной сцены;

формирование изображения лица с добавленным освещением на основе исходного изображения лица и карты дополнительного освещения.

2. Способ по п. 1, в котором формирование карты глубины лица, соответствующей исходному изображению лица, на основе обрезанного изображения лица содержит обнаружение и сегментацию лица.

3. Способ по п. 1, в котором формирование карты дополнительного освещения путем визуализации виртуальной сцены содержит выполнение физически корректного рендеринга.

4. Способ по п. 1, в котором компьютерное устройство представляет собой одно из следующего: смартфон, компьютерное устройство, видеокамера, специализированная микросхема, система на кристалле.

5. Способ по п. 1, дополнительно содержащий формирование исходного изображения лица посредством камеры, при этом получение исходного изображения лица содержит прием исходного изображения лица от камеры.

6. Способ по п. 1, в котором формирование карты глубины лица содержит формирование карты глубины путем оценки глубины на основе исходного изображения лица.

7. Способ по п. 1, в котором добавление по меньшей мере одного виртуального источника света в виртуальную сцену осуществляется на основе ввода пользователя.

8. Способ по п. 1, в котором формирование изображения лица с добавленным освещением на основе исходного изображения лица и карты дополнительного освещения содержит попиксельное сложение пикселей исходного изображения лица и пикселей карты дополнительного освещения.

9. Компьютерное устройство для получения изображения лица с добавленным освещением, содержащее по меньшей мере один процессор и память, при этом память содержит программные инструкции, при этом, при выполнении программных инструкций посредством упомянутого по меньшей мере одного процессора, выполняется способ по любому из пп. 1-8.

10. Считываемый компьютером носитель данных, содержащий программные инструкции, которые, при их выполнении посредством по меньшей мере одного процессора компьютера, предписывают упомянутому по меньшей мере одному процессору выполнять способ по любому из пп. 1-8.