Область техники, к которой относится изобретение
Варианты осуществления настоящего раскрытия относятся, в общем, к области компьютерных и сетевых коммуникационных технологий и, в частности, к способу отображения информации, устройству и носителю информации.
Уровень техники
В связи с быстрым распространением нового коронавируса эпидемия оказала определенное влияние на повседневную жизнь, социальное общение и работу пользователей во всем мире. Например, пользователям необходимо носить маски, когда нельзя гарантировать социальную дистанцию. Лицевые маски стали предметами, которые в настоящее время будут использоваться пользователями по всему миру.
В настоящее время приложение (Application, APP) на терминальном устройстве, такое как APP короткого видео, может обеспечить интересный интерактивный опыт за счет распознавания лица пользователя и ношения виртуальной лицевой маски для пользователя. Однако, когда пользователь находится в особом сценарии, например, когда ему необходимо надеть лицевую маску во время поездки на транспорте или в общественном месте в помещении, в текущем APP отсутствует интерактивная операция, что приводит к плохому восприятию пользователя.
Раскрытие сущности изобретения
Варианты осуществления настоящего раскрытия обеспечивают способ отображения информации, устройство и носитель информации для решения задачи, которая состоит в том, что пользователь не может использовать лицевой специальный эффект или выражать информацию после ношения лицевой маски, тем самым улучшая восприятие пользователя при ее использовании.
В первом аспекте вариант осуществления настоящего раскрытия предусматривает способ отображения информации, включающий в себя:
получение первого изображения, включающего в себя первый объект на видео;
определение того, присутствует ли второй объект на первом изображении;
когда определено, что второй объект присутствует на первом изображении и что второй объект удовлетворяет заданному позиционному соотношению с первым объектом, наложение первого материала на область, где расположен второй объект на первом изображении.
Во втором аспекте вариант осуществления настоящего раскрытия предусматривает устройство отображения информации, включающее в себя:
модуль получения, выполненный с возможностью получения первого изображения, включающего в себя первый объект на видео;
модуль обработки, выполненный с возможностью определения того, присутствует ли второй объект на первом изображении;
модуль отображения, выполненный с возможностью наложения первого материала на область, где расположен второй объект на первом изображении, когда определено, что второй объект присутствует на первом изображении и что второй объект удовлетворяет заданному позиционному соотношению с первым объектом.
В третьем аспекте вариант осуществления настоящего раскрытия предусматривает электронное устройство, включающее в себя:
по меньшей мере один процессор и память;
где в памяти хранятся машиноисполняемые инструкции;
по меньшей мере один процессор исполняет машиноисполняемые инструкции, хранящиеся в памяти, которые предписывают по меньшей мере одному процессору исполнять способ отображения информации согласно вышеупомянутому первому аспекту и различным возможным вариантам реализации первого аспекта.
В четвертом аспекте вариант осуществления настоящего раскрытия предусматривает машиночитаемый носитель информации, где машиночитаемый носитель информации хранит машиноисполняемые инструкции, и, когда процессор исполняет машиноисполняемые инструкции, реализуется способ отображения информации согласно вышеупомянутому первому аспекту и различным возможным вариантам реализации первого аспекта.
В пятом аспекте вариант осуществления настоящего раскрытия предусматривает компьютерный программный продукт, включающий в себя компьютерную программу, где способ отображения информации согласно вышеупомянутому первому аспекту и различным возможным вариантам реализации реализуется тогда, когда процессор исполняет компьютерную программу.
В шестом аспекте вариант осуществления настоящего раскрытия также предусматривает компьютерную программу, где способ отображения информации согласно вышеупомянутому первому аспекту и различным возможным вариантам реализации первого аспекта реализуется тогда, когда процессор исполняет компьютерную программу.
Варианты осуществления настоящего раскрытия обеспечивают способ отображения информации, устройство и носитель информации. Способ включает в себя: получение первого изображения, включающего в себя первый объект на видео, определение того, присутствует ли второй объект на первом изображении, и наложение первого материала на область, где расположен второй объект на первом изображении, когда определено, что второй объект присутствует на первом изображении и что второй объект удовлетворяет заданному позиционному соотношению с первым объектом. При использовании вышеописанного способа реализуется то, что, после обнаружении второго объекта на изображении, любой материал накладывается на область, где расположен второй объект, во избежание проблемы, связанной с невозможностью использовать часть специальных эффектов или выражать информацию тогда, когда второй объект удовлетворяет заданным позиционным соотношениям с первым объектом.
Краткое описание чертежей
Для более ясного пояснения технических решений вариантов осуществления настоящего раскрытия или предшествующего уровня техники ниже будут кратко представлены сопроводительные чертежи, которые необходимо использовать при описании вариантов осуществления или предшествующего уровня техники. Очевидно, что чертежи в последующем описании представляют собой некоторые варианты осуществления настоящего раскрытия, и для специалистов в данной области техники другие чертежи также могут быть получены в соответствии с этими чертежами без приложения творческих усилий.
Фиг. 1 - блок-схема последовательности операций способа отображения информации, предусмотренного вариантом осуществления настоящего раскрытия.
Фиг. 2 - блок-схема последовательности операций способа отображения информации, предусмотренного вариантом осуществления настоящего раскрытия.
Фиг. 3 - схематичное представление внутренней структуры модели распознавания лицевых масок, предусмотренной вариантом осуществления настоящего раскрытия.
Фиг. 4а - схематичное представление способа обработки изображения, предусмотренного вариантом осуществления настоящего раскрытия.
Фиг. 4b - схематичное представление способа обработки изображения, предусмотренного вариантом осуществления настоящего раскрытия.
Фиг. 4c - схематичное представление способа обработки изображения, предусмотренного вариантом осуществления настоящего раскрытия.
Фиг. 4d - схематичное представление способа обработки изображения, предусмотренного вариантом осуществления настоящего раскрытия.
Фиг. 5 - схематичное представление изменения интерфейса, предусмотренного вариантом осуществления настоящего раскрытия.
Фиг. 6 - блок-схема обучения модели распознавания лицевых масок, предусмотренной вариантом осуществления настоящего раскрытия.
Фиг. 7 - схематичное представление аннотации ключевых точек лицевой маски, предусмотренной вариантом осуществления настоящего раскрытия.
Фиг. 8 - схематичное представление исходного изображения, содержащего маску лица и маску изображения, предоставленную вариантом осуществления настоящего раскрытия.
Фиг. 9 - схематичное представление изменения интерфейса, предусмотренного вариантами осуществления настоящего раскрытия.
Фиг. 10 - блок-схема последовательности операций способа отображения информации, предусмотренного вариантом осуществления настоящего раскрытия.
Фиг. 11 - схематичное представление интерфейса, предусмотренного вариантами осуществления настоящего раскрытия.
Фиг. 12 - схематичное представление изменения интерфейса, предусмотренного вариантами осуществления настоящего раскрытия.
Фиг. 13 - структурная блок-схема устройства отображения информации, предусмотренного вариантом осуществления настоящего раскрытия.
Фиг. 14 - схематичное представление аппаратной структуры электронного устройства согласно варианту осуществления настоящего раскрытия.
Осуществление изобретения
Чтобы сделать технические задачи, технические решения и преимущества вариантов осуществления настоящего раскрытия более понятными, технические решения в вариантах осуществления настоящего раскрытия будут описаны ясно и всесторонне со ссылкой на чертежи в вариантах осуществления настоящего раскрытия. Очевидно, что описанные варианты осуществления являются частью вариантов осуществления настоящего раскрытия, а не всеми из них. Основываясь на вариантах осуществления, представленных в настоящем раскрытии, все другие варианты осуществления, полученные обычными специалистами в данной области техники без творческих усилий, относятся к объему охраны настоящего раскрытия.
В контексте нормализации глобальной эпидемии, вызванной новым коронавирусом, лицевые маски стали обычными предметами, используемыми пользователями во всем мире в их повседневной жизни, социальном общении и работе. До вспышки эпидемии пользователи могли визуально выражать свои эмоции, выражения, статус и тому подобное при использовании приложений на терминальных устройствах для видеосъемки, видеочата или прямой трансляции. Однако с нормализацией глобальной эпидемии, когда пользователи находятся в особых условиях, например, в общественном транспорте или в закрытых общественных местах, пользователям необходимо носить лицевые маски, чтобы закрыть лицо. В настоящее время пользователи не могут использовать некоторые лицевые специальные эффекты в приложениях, и они также не могут визуально выражать свои эмоции, выражения, статус и т.д. Варианты осуществления настоящего раскрытия обеспечивают способ отображения информации для решения вышеупомянутых задач.
Вариант осуществления настоящего раскрытия предусматривает способ отображения информации, включающий в себя: определение того, надета ли лицевая маска на лицо человека на изображении, путем получения изображения, включающего в себя лицо, и выполнения анализа изображения в области лица на изображении, и подсказку пользователю надеть лицевую маску, когда будет установлено, что лицевая маска не надета на лицо на изображении для того, чтобы отобразить заданную информацию или определенную пользователем информацию, такую как отображение наклеек, текста, выражений и т.п., на лицевой маске, которую носит пользователь, чтобы понять, что пользователь выражает эмоции, выражения, состояния и т.п. при ношении лицевой маски, тем самым улучшая восприятие пользователя при ее использовании.
В дополнение к сценарию, где пользователь носит лицевую маску на лице, реальные сценарии применения могут также включать в себя пользователя, носящего солнцезащитные очки на глазах, пользователя, носящего шляпу на голове и т.д., что не ограничивается вариантами осуществления настоящего раскрытия. Для более широкого сценария применения вариант осуществления настоящего раскрытия также предусматривает способ отображения информации, включающий в себя: получение изображения, включающего в себя первый объект на видео, определение того, присутствует ли второй объект на изображении, и, когда определено, что второй объект присутствует на изображении, и второй объект удовлетворяет заданному позиционному соотношению с первым объектом, наложение заданной информации или определяемой пользователем информации на область, где находится второй объект на изображении, например, отображая наклейки, текст, выражения и например, во избежание проблемы, связанной с невозможностью использовать часть специальных эффектов или выражать информацию тогда, когда второй объект удовлетворяет заданным позиционным соотношениям с первым объектом.
Следует отметить, что способ отображения информации, предусмотренный вариантами осуществления настоящего раскрытия, может применяться к сценарию видеочата, сценарию съемок, сценарию прямой трансляции и т.п., и, конечно, может также применяться к другим сценариям, в которых необходимо захватывать изображения лиц людей, что не ограничивается вариантами осуществления настоящего раскрытия.
Технические решения согласно настоящему раскрытию будут подробно описаны ниже с использованием конкретных вариантов осуществления. Приведенные ниже конкретные варианты осуществления могут быть объединены друг с другом, и в некоторых вариантах осуществления одни и те же или подобные концепции или процессы могут не повторяться.
Например, на фиг. 1 показана блок-схема последовательности операций способа отображения информации, предусмотренного вариантом осуществления настоящего раскрытия. Способ согласно этому варианту осуществления можно применять в терминальном устройстве или на сервере. Как показано на фиг. 1, способ отображения информации включает в себя следующие этапы.
Этап 101, получение первого изображения, включающего в себя первый объект на видео.
Этап 102, определение того, присутствует ли второй объект на первом изображении.
В этом варианте осуществления первый объект может быть любой частью тела, такой как лицо, голова, рука человека, и второй объект может быть любым объектом, который удовлетворяет заданному позиционному соотношению с частью тела. Например, первый объект представляет собой лицо человека, и вторым объектом могут быть такие объекты, как лицевая маска, солнцезащитные очки, шляпа и т.д.
В варианте осуществления настоящего раскрытия можно определить то, присутствует ли второй объект на первом изображении, с использованием модели распознавания второго объекта. Модель распознавания может использовать любые модели глубокого обучения или упрощенные модели машинного обучения. Разные вторые объекты соответствуют разным моделям распознавания, и конкретные примеры можно найти в последующих вариантах осуществления.
Этап 103, наложение первого материала на область, где расположен второй объект на первом изображении, когда определено, что второй объект присутствует на первом изображении и что второй объект удовлетворяет заданному позиционному соотношению с первым объектом.
В этом варианте осуществления второй объект удовлетворяет заданному позиционному соотношению с первым объектом, который включает в себя следующие формы:
Если первый объект представляет собой лицо человека, и второй объект представляет собой лицевую маску, то удовлетворение заданного позиционного соотношения может состоять в том, что лицевая маска надета на лицо человека. Если первый объект представляет собой лицо человека, и второй объект представляет собой солнцезащитные очки, то заданное позиционное соотношение может состоять, в частности, в том, что солнцезащитные очки надеты на лицо человека. Если первый объект представляет собой руку, и второй объект представляет собой перчатку, то удовлетворение заданного позиционного отношения может состоять в том, что перчатка надета на руку человека. Вышеупомянутые примеры являются только иллюстративными, и другие позиционные соотношения между первым объектом и вторым объектом находятся в пределах объема охраны вариантов осуществления настоящего раскрытия.
При необходимости в некоторых вариантах осуществления, после наложения первого материала на область, где расположен второй объект на первом изображении, способ дополнительно включает в себя: когда определяется, что второй объект не присутствует на втором изображении после первого изображения, удаление первого материала и наложение второго материала на второе изображение, где второй материал отличается от первого материала.
При необходимости в некоторых вариантах осуществления, после наложения первого материала на область, где расположен второй объект на первом изображении, способ дополнительно включает в себя: получение операции переключения пользователя для первого материала, отображаемого на первом изображении; удаление первого материала и наложение третьего материала на второе изображение после первого изображения в ответ на операцию переключения, где третий материал отличается от первого материала.
При необходимости операция переключения включает в себя любое из следующего: операцию жеста, действие лица, движение головы, голосовое управление, операцию выбора в области выбора материала интерфейса и операцию ввода в области ввода текста интерфейса.
При необходимости третий материал представляет собой текстовую информацию или выражение, введенное пользователем в области ввода текста интерфейса.
Как видно из приведенного выше описания, способ отображения информации, предусмотренный этим вариантом осуществления, включает в себя: получение первого изображения, включающего в себя первый объект на видео, определение того, присутствует ли второй объект на первом изображении, и наложение первого материала на область, где расположен второй объект на первом изображении, когда определено, что второй объект присутствует на первом изображении и что второй объект удовлетворяет заданному позиционному соотношению с первым объектом. При использовании вышеупомянутого способа, реализуется то, что, после обнаружения второго объекта на изображении, любой материал накладывается на область, где расположен второй объект, во избежание проблемы, связанной с невозможностью использовать часть специальных эффектов или выражать информацию тогда, когда второй объект удовлетворяет заданным позиционным соотношениям с первым объектом.
Решение для отображения информации, предусмотренное вариантом осуществления настоящего раскрытия, будет подробно описано ниже, принимая, в качестве примера, лицо человека в качестве первого объекта и лицевую маску в качестве второго объекта. В этом сценарии то, что второй объект удовлетворяет заданному позиционному соотношению с первым объектом, конкретно относится к тому, что лицевая маска надета на лицо человека.
Например, на фиг. 2 показана блок-схема последовательности операций способа отображения информации, предусмотренного вариантом осуществления настоящего раскрытия. Способ согласно этому варианту осуществления можно применять в терминальном устройстве или на сервере. Как показано на фиг. 2, способ отображения информации включает в себя следующие этапы.
Этап 201, получение первого изображения, включающего в себя лицо человека на видео.
В частности, получается первое изображение, которое захватывает камера терминального устройства и включает в себя лицо человека, и на изображении лицевая маска может быть надета или не надета на лицо человека.
Этап 202, определение того, надета ли лицевая маска на лицо человека на первом изображении.
В варианте осуществления настоящего раскрытия определение того, надета ли лицевая маска на лицо человека на первом изображении, включает в себя: получение целевого изображения, включающего в себя лицо человека на первом изображении; ввод целевого изображения в модель распознавания лицевых масок для получения результата распознавания, где результат распознавания используется для указания то, надета ли лицевая маска на лицо человека. Используя предварительно обученную модель распознавания лицевых масок, можно повысить эффективность и точность распознавания того, надета ли лицевая маска на лицо человека на первом изображении.
Следует отметить, что вышеуказанное целевое изображение может быть непосредственно первым изображением или изображением области лица человека после предварительной обработки первого изображения. В отношении конкретного процесса предварительной обработки, который здесь не будет подробно описываться, следует обратиться к последующим вариантам осуществления.
В варианте осуществления настоящего раскрытия для модели распознавания лицевых масок может использоваться модель глубокого обучения, такая как VGG, ResNet, GoogleNet, MobileNet, ShuffleNet и т.д. Объем вычислений в разных моделях различен. Варианты осуществления настоящего раскрытия не налагают на это никаких ограничений.
В варианте осуществления настоящего раскрытия упрощенная модель машинного обучения может использоваться для модели распознавания лицевых масок с тем, чтобы удовлетворить требования к обработке изображений мобильного терминала, то есть на мобильном терминале может быть развернута простая модель с небольшим объемом вычислений и высокой вычислительной эффективностью.
При необходимости упрощенная модель машинного обучения, такая как MobileNet и ShuffleNet, может использоваться для модели распознавания лицевых масок в этом варианте осуществления, и внутренняя структура модели показана на фиг. 3. Внутренняя структура модели включает в себя модуль канала перемешивания (shuffle channel), модуль среза (slice) канала, модуль свертки 1×1 (точечная свертка), модуль свертки 3×3 (глубокая свертка), модуль свертки 1×1 (точечная свертка) и модуль объединения (concat) каналов, где пакетная нормализация (Batch Normalization, BN) и ReLU могут быть включены как между модулем свертки 1×1 и модулем свертки 3×3, так и между модулем свертки 1×1 и модулем объединения каналов. BN представляет собой линейное преобразование характеристик распределения статистических данных, и ReLU представляет собой простую и эффективную нелинейную функцию активации.
Основная идея приведенной выше модели состоит в том, чтобы превратить традиционную свертку в сепарабельную свертку, то есть свертку по глубине и свертку по точкам, с целью уменьшения объема вычислений. Канал перемешивания используется для улучшения возможностей выражения модели. В дополнение к этому, инвертированные остатки (Inverted Residuals) можно использовать для улучшения возможности извлечения признаков глубокой свертки. Следует отметить, что схема подключения модулей внутри модели распознавания лицевых масок, показанной на фиг. 3, является только примером, и внутренняя структура модели может быть скорректирована в соответствии с требованиями приложения, которые не ограничиваются этим вариантом осуществления.
В варианте осуществления настоящего раскрытия целевое изображение может быть непосредственно первым изображением, и тогда этап 202 конкретно включает в себя: ввод первого изображения в модель распознавания лицевых масок для получения результата распознавания.
Например, на фиг. 4а показано схематичное представление способа обработки изображения, предусмотренного вариантом осуществления настоящего раскрытия. Как показано на фиг. 4а, первое изображение вводится в модель распознавания лицевых масок, и результат распознавания первого изображения выводится посредством анализа изображения модели распознавания лицевых масок. Результат распознавания используется для определения того, надета ли лицевая маска на лицо человека на первом изображении.
В качестве примера, результат распознавания включает в себя метку, указывающую то, надета ли лицевая маска на лицо человека на первом изображении, которая, например, может быть значением метки, причем диапазон значений значения метки находится в диапазоне от 0 до 1. В частности, значение метки, равное 0, указывает то, что лицевая маска не надета на лицо человека на первом изображении; значение метки, равное 1, указывает то, что лицевая маска надета на лицо человека. Можно понять, что чем ближе значение метки к 1, тем выше вероятность того, что лицевая маска надета на лицо человека на первом изображении.
В качестве другого примера, результат распознавания включает в себя метку для указания того, что лицевая маска надета на лицо человека, и информацию о положении лицевой маски, которая надета на лицо человека на первом изображении.
При необходимости информация о положении лицевой маски в результате распознавания включает в себя по меньшей мере одну из: информации о ключевых точках лицевой маски и информации об изображении маски (mask) для лицевой маски.
Информация о ключевых точках лицевой маски может быть выражена нормированными значениями координат ключевой точки лицевой маски, и также может быть выражена в форме тепловой карты (heatmap), которая не имеет ограничений в этом варианте осуществления.
Например, модель напрямую выводит нормированные координаты xy ключевой точки лицевой маски, такие как (0,25, 0,5), и, если лицевая маска имеет N ключевых точек, выводится матрица N×2.
Например, модель выводит тепловую карту ключевых точек лицевой маски, и каждая ключевая точка соответствует одной тепловой карте. Тепловая карта имеет тот же размер, что и исходное изображение модели. Диапазон значений каждого пикселя на тепловой карте составляет от 0 до 1, и положение пикселя с максимальным значением на тепловой карте представляет собой положение ключевой точки лицевой маски.
Информация о маске изображения лицевой маски может быть бинарным изображением, и изображение маски, выводимое моделью, имеет тот же размер, что и входное изображение модели. Например, входное изображение модели представляет собой изображение с разрешением 128×128, и выходные данные модели включают в себя изображение маски 128×128. Диапазон значений каждого пикселя на изображении маски также составляет от 0 до 1, что представляет вероятность того, что каждый пиксель попадает на лицевую маску.
В варианте осуществления настоящего раскрытия вышеупомянутое целевое изображение может быть изображением области лица человека после предварительной обработки первого изображения, и получение целевого изображения, включающего в себя лицо человека на первом изображении, может включать в себя: ввод первого изображения в первую модель распознавания лица человека для получения первого изображения области лица человека на первом изображении и использования первого изображения в качестве целевого изображения.
Следует отметить, что первое изображение, полученное с использованием первой модели распознавания лица человека, включает в себя изображения лица человека под разными углами, такие как изображения лица человека спереди, сбоку, лица, наклоненного влево и вправо, бокового вида лица, наклоненного вверх и вниз и т.д.
Например, на фиг. 4b показано схематичное представление способа обработки изображения, предусмотренного вариантом осуществления настоящего раскрытия. Как показано на фиг. 4b, сначала первое изображение вводится в первую модель распознавания лица человека для получения изображения области лица человека на первом изображении. Затем изображение области лица человека на первом изображении вводится в модель распознавания лицевых масок, и результат распознавания лицевой маски выводится посредством анализа изображения модели распознавания лицевых масок. Результат распознавания является таким же, как и в приведенном выше примере, который не будет здесь повторяться. Вышеупомянутая первая модель распознавания лица человека используется для распознавания лица человека на изображении и положения лица человека на изображении, и первая модель распознавания лица человека может использовать любую из вышеупомянутых моделей глубокого обучения или упрощенных моделей машинного обучения, что не ограничивается в этом варианте осуществления.
Как видно из приведенного выше описания, по сравнению с первым примером (примером, показанным на фиг. 4a), во втором примере (примере, показанном на фиг. 4b), добавляется распознавание лица человека на первом изображении, и в модель распознавания лицевых масок вводится изображение лица, что позволяет значительно сократить объем вычислений модели распознавания лицевых масок и повысить скорость и точность обнаружения лицевой маски.
В варианте осуществления настоящего раскрытия вышеупомянутое целевое изображение может быть изображением области лица человека после предварительной обработки первого изображения, и получение целевого изображения, включающего в себя лицо человека на первом изображении, может включать в себя: ввод первого изображения во вторую модель распознавания лица человека для получения первого изображения области лица человека на первом изображении и информации о ключевых точках области лица человека; выполнение обработки, связанной с поворотом первого изображения, в соответствии с информацией о ключевых точках для того, чтобы получить второе изображение, и использование первого изображения в качестве целевого изображения.
Следует отметить, что при использовании второй модели распознавания лица человека, в дополнение к получению первого изображения области лица человека на первом изображении, также включена информация о ключевых точках на первом изображении, то есть информация о положении ключевых частей область лица человека (например, координаты положения глаз, носа, бровей, рта и других частей лица). Второе изображение может быть стандартным изображением передней стороны или лицевой стороны. Например, когда лицо человека на первом изображении наклонено влево, после обработки, связанной с поворотом, может быть получено скорректированное изображение лица человека при виде спереди. Когда первое изображение представляет собой изображение бокового лица человека, и лицо наклонено вверх, после обработки, связанной с поворотом, может быть получено изображение бокового лица человека с исправленным направлением.
Например, на фиг. 4c показано схематичное представление способа обработки изображения, предусмотренного вариантом осуществления настоящего раскрытия. Как показано на фиг. 4c, сначала первое изображение вводится во вторую модель распознавания лица человека для получения изображения области лица человека на первом изображении и информации о ключевых точках области лица человека. Затем изображение лица человека на первом изображении поворачивается, исходя из информации о ключевых точках, для получения стандартного изображения лица человека. Затем стандартное изображение лица человека вводится в модель распознавания лицевых масок, и результат распознавания лицевой маски выводится посредством анализа изображения модели распознавания лицевых масок. Результат распознавания является таким же, как и в приведенном выше примере, который не будет здесь повторяться. Вышеупомянутая вторая модель распознавания лица человека используется для распознавания лица человека на изображении и положения ключевых частей лица человека. Вторая модель распознавания лиц может использовать любую из вышеперечисленных моделей глубокого обучения или упрощенных моделей машинного обучения, что не ограничивается этим вариантом осуществления.
При необходимости в возможной реализации, вышеупомянутая вторая модель распознавания лица человека включает в себя первую модель распознавания лица человека и модель обнаружения ключевых точек лица человека, как показано на фиг. 4d. Как показано на фиг. 4d, сначала первое изображение вводится в первую модель распознавания лиц для получения изображения области лица человека на первом изображении, и затем изображение области лица человека на первом изображении вводится в модель обнаружения ключевых точек лица человека для получения информации о положении ключевых частей лица человека. Затем изображение области лица человека поворачивается на основе информации о положении ключевых частей лица человека для получения стандартного изображения лица. Затем стандартное изображение лица вводится в модель распознавания лицевых масок, и результат распознавания лицевой маски выводится посредством анализа изображения модели распознавания лицевых масок.
Можно понять, что сложность распознавания лицевой маски для стандартного изображения лица человека ниже, чем для других поз.
Как видно из приведенного выше описания, по сравнению с первыми двумя примерами (примером, показанным на фиг. 4a, или примером, показанным на фиг. 4b), в последних двух примерах (в примере, показанном на фиг. 4c или в примере, показанном на фиг. 4d), добавлено обучение ключевых частей изображения лица, тем самым снижая сложность распознавания последующей модели распознавания лицевых масок, уменьшая объем вычислений модели распознавания лицевых масок и повышая скорость и точность обнаружения лицевой маски.
При необходимости в некоторых вариантах осуществления, перед вводом изображения в модель распознавания лицевых масок, модель распознавания лица человека или модель обнаружения ключевых точек лица человека, вводимое изображение также может быть предварительно обработано. Предварительная обработка включает в себя вырезание, масштабирование, поворот и т.п. изображения, тем самым обеспечивая соответствие входного изображения входным требованиям различных моделей.
В этом варианте осуществления этап 203 выполняется тогда, когда определяется, что лицевая маска не надета на лицо человека, и этап 204 выполняется тогда, когда определяется, что лицевая маска надета на лицо человека.
Этап 203, отображение информации подсказки на первом изображении, где информация подсказки используется для подсказки пользователю надеть лицевую маску.
В этом варианте осуществления информация подсказки может отображаться в любой позиции на первом изображении, например, в верхней, центральной, нижней и других позициях первого изображения. Цель информации подсказки состоит в том, чтобы заставить пользователя надеть лицевую маску, и конкретная форма информации подсказки не ограничивается этим вариантом осуществления. Например, информация подсказки может быть следующей: «Наденьте лицевую маску», «Пожалуйста, наденьте лицевую маску, посмотрите эффект» и другая текстовая информация подсказки, и также может быть голосовой информацией подсказки.
Этап 204, наложение первого материала на область лица человека на первом изображении.
В этом варианте осуществления первый материал может быть заданным материалом или определяемым пользователем материалом, который не ограничивается этим вариантом осуществления. Следует отметить, что заданный материал может быть установлен с учетом культурных особенностей разных регионов и предпочтений разных людей.
Формат материала, предоставляемого этим вариантом осуществления, включает в себя, но не ограничивается ими, такие форматы, как изображение, видео, анимация, текст и т.д. Материал, предоставляемый этим вариантом осуществления, включает в себя 2D-материал и 3D-материал, и материал может быть динамическим материалом или статическим материалом, что не ограничивается этим вариантом осуществления.
Например, на фиг. 5 показано схематичное представление изменения интерфейса, предусмотренного вариантом осуществления настоящего раскрытия. Как показано на фиг. 5, когда обнаруживается, что лицевая маска не надета на лицо человека на текущем изображении, информация подсказки «Наденьте лицевую маску» может быть наложена в любом месте на текущее изображение. Например, информация подсказки «Наденьте лицевую маску» накладывается на центр текущего изображения, показанного на фиг. 5. На последующем изображении, если обнаруживается, что лицевая маска надета на лицо человека, материал отображения, такой как наклейка с рисунком, показанная на фиг. 5, может быть наложена на область лицевой маски, которую носит пользователь. Например, область меню также может быть включена в нижнюю часть интерфейса, показанного на фиг. 5. Область меню включает в себя область выбора материала, ввод текста области и т.д. Подробности смотри в следующих вариантах осуществления, которые здесь не рассматриваются.
Как видно из приведенного выше описания, используя способ отображения информации, предусмотренный этим вариантом осуществления, получается первое изображение, включающее в себя лицо человека на видео; определяется то, надета ли лицевая маска на лицо человека на первом изображении; когда определено, что лицевая маска не надета на лицо человека, на первом изображении отображается информация подсказки, причем информация подсказки используется для подсказки пользователю надеть лицевую маску; и, когда определено, что лицевая маска надета на лицо человека, первый материал накладывается на область лица человека первого изображения. В этом варианте осуществления пользователю может быть предложено надеть лицевую маску, когда пользователь использует камеру для фотосъемки, и после того, как пользователь наденет лицевую маску, на лицевую маску, которую носит пользователь, накладывается заданный материал или материал, определенный пользователем, во избежание проблемы, связанной с тем, что пользователь не может использовать лицевые специальные эффекты или передавать информацию после ношения лицевой маски, тем самым улучшая восприятие пользователя при ее использовании.
Исходя из приведенных выше вариантов осуществления понятно, что для повышения эффективности и точности распознавания того, надета ли лицевая маска на лицо человека на изображении, можно использовать предварительно обученную модель распознавания лицевых масок для обработки и анализа изображения. Процесс обучения модели распознавания лицевых масок подробно описан ниже.
Например, на фиг. 6 показана блок-схема обучения модели распознавания лицевых масок, предусмотренной вариантом осуществления настоящего раскрытия. Способ обучения согласно этому варианту осуществления может быть применен в терминальном устройстве или на сервере. Как показано на фиг. 6, способ обучения модели включает в себя следующие этапы.
Этап 301, создание исходной модели распознавания лицевых масок. Модель распознавания может использовать любые модели глубокого обучения или упрощенные модели машинного обучения.
Этап 302, получение образцов позитивных и негативных изображений и результатов аннотирования образцов позитивных и негативных изображений. На лица людей, включенные в образцы позитивных изображений, надеты лицевые маски, и на лица людей, включенные в образцы негативных изображений, не надеты лицевые маски. Результаты аннотации включают в себя метки, указывающие то, надеты ли лицевые маски на лица людей в образцах изображений, и информацию о положении лицевых масок.
В этом варианте осуществления образцы позитивных изображений представляют собой изображения людей в лицевых масках при различных условиях съемки, и образцы негативных изображений представляют собой изображения людей без лицевых масок при различных условиях съемки. В частности, образцы позитивных изображений, собранные в этом варианте осуществления, включают в себя: изображения людей в лицевых масках под разными углами съемки, такими как вид спереди, вид сверху, вид сверху и т.д.; изображения в различных позах лица человека, таких как анфас, полубок, бок и т.д.; изображения при различных условиях освещения, таких как желтый свет в помещении, белый свет, солнечный свет на улице, тень и т.д.; изображения различных типов лицевых масок, таких как медицинские хирургические лицевые маски, лицевые маски N95, хлопчатобумажные лицевые маски и т.д.; и изображения различных форм лицевых масок, таких как квадратные лицевые маски, круглые лицевые маски и т.д., чтобы полностью собрать различные сцены людей, носящих лицевые маски.
Работа по аннотированию приведенных выше образцов изображений может выполняться командой аннотаторов; или это можно сделать, выполнив грубую аннотацию с использованием способов распознавания изображений, и затем выполнив коррекцию вручную; или это можно выполнить путем классификации изображений с последующим выполнением единообразных аннотаций к образцам классифицированных изображений. Приведенная выше аннотация может использоваться отдельно или в сочетании. Для изображения человека в лицевой маске в основном аннотируются несколько ключевых точек лицевой маски, например, аннотируются несколько ключевых точек на горизонтальной осевой линии лицевой маски и несколько ключевых точек на вертикальной осевой линии лицевой маски, что можно увидеть на фиг. 7.
В качестве примера, метка для указания того, надета ли лицевая маска на лицо человека на образце изображении, может конкретно представлять собой значение метки, и значение метки может включать 0 и 1, где 0 указывает то, что лицевая маска не надета на лицо человека на образце изображения, и 1 указывает то, что лицевая маска надета на лицо человека на образце изображения.
Информация о положении лицевой маски в вышеупомянутом результате аннотации включает в себя, по меньшей мере одну из информации о ключевых точках лицевой маски и информации о маске изображения для лицевой маски. Например, аннотированные вручную ключевые точки могут включать в себя несколько ключевых точек на горизонтальной средней линии лицевой маски и несколько ключевых точек на вертикальной средней линии лицевой маски. Информация о маске изображения лицевой маски относится к бинарному изображению лицевой маски в образце изображения, которое можно использовать для указания информации о положении лицевой маски на изображении, и для получения подробной информации можно обратиться к фиг. 8.
Этап 303, обучение исходной модели распознавания лицевых масок с использованием образцов позитивных и негативных изображений в качестве входных данных модели распознавания лицевых масок и результатов аннотирования образцов позитивных и негативных изображений в качестве выходных данных модели распознавания лицевых масок для того, чтобы получить модель распознавания лицевых масок.
При необходимости оптимизатор adam может использоваться для модели распознавания лицевых масок. Установив скорость обучения (например, 0,01) и штрафное значение весов (например, 1e-5), используя многошаговую кривую для снижения тенденции скорости обучения и установив размер партии (например, 96), в итоге получается обученная модель распознавания лицевых масок.
Как видно из приведенного выше описания, процесс обучения модели распознавания лицевых масок, предусмотренной этим вариантом осуществления, требует получения большого количества выборок изображения. Образцы изображений должны охватывать различные условия съемки, в том числе различные углы съемки, позы лица человека, условия освещения, стили лицевых масок и т.д. Обучение модели выполняется после ручной аннотации для того, чтобы обучить модель с хорошим эффектом распознавания.
Основываясь на варианте осуществления, показанном фиг. 2, для персонализированных требований пользователей, носящих лицевые маски, пользователи могут настроить первый материал, отображаемый на лицевой маске при ношении лицевой маски, и, кроме того, персонализированные настройки второго материала, отображаемого на лицевой маске можно добавить тогда, когда лицевая маска не надета.
В варианте осуществления настоящего раскрытия, после наложения первого материала на область, где расположен второй объект на первом изображении, способ отображения информации дополнительно включает в себя: когда определяется, что лицевая маска не надета на лицо человека на втором изображении после первого изображения, удаление первого материала и наложение второго материала на второе изображение, где второй материал отличается от первого материала.
Второй материал может быть определяемым пользователем материалом или материалом по умолчанию на сервере. При необходимости второй материал может быть наложен на любую позицию второго изображения. Например, второй материал может быть наложен на область лица человека, область головы человека, область фона и другие положения на втором изображении. Формат материала и конкретная форма выражения второго материала являются такими же, как те, которые описаны на этапе 204 приведенного выше варианта осуществления, и выше можно найти подробности, которые здесь повторяться не будут. Конечно, второй материал можно также рассматривать как другие специальные эффекты, такие как определяемые пользователем эффекты макияжа, эффекты подтяжки лица и т.д.
Например, на фиг. 9 показано схематичное представление изменения интерфейса, предусмотренного вариантом осуществления настоящего раскрытия. Как показано на фиг. 9, когда пользователь снимает лицевую маску на левом изображении и отображает все свое лицо, модель распознавания лицевых масок может обнаружить то, что на лицо пользователя на текущем изображении (правом изображении) не надета лицевая маска, затем можно удалить наклейку с рисунком, отображаемую на левом изображении, и на область лица пользователя на текущем изображении можно наложить новый материал, например, наклейку в виде звезды на область под глазами пользователя, показанную на фиг. 9. Наложенный новый материал представляет собой вышеупомянутый второй материал.
Как видно из приведенного выше описания, пользователь может настроить первый материал, отображаемый на лицевой маске при ношении лицевой маски, и также настроить второй материал, отображаемый на изображении, когда лицевая маска не надета. При использовании приведенных выше примеров, реализуется операция, интересующая пользователя, носящего лицевую маску, который позволяет улучшить восприятие пользователя при ее использовании.
В варианте осуществления настоящего раскрытия, основанном на варианте осуществления, показанном на фиг. 2, чтобы удовлетворить индивидуальные требования различных пользователей, можно добавить операцию переключения пользователя для текущего материала области лицевой маски, тем самым добавив интересующую операцию и улучшив восприятие пользователя при использовании маски.
На фиг. 10 показана блок-схема последовательности операций способа отображения информации, предусмотренного вариантом осуществления настоящего раскрытия. Как показано на фиг. 10, после этапа 204 варианта осуществления на фиг. 2, то есть после наложения первого материала на область лица человека на первом изображении, способ отображения информации может дополнительно включать в себя следующие этапы.
Этап 205, получение операции переключения пользователя для первого материала, отображаемого на первом изображении.
Этап 206, удаление первого материала и наложение третьего материала на второе изображение после первого изображения в ответ на операцию переключения.
Третий материал отличается от первого материала. Третий материал может быть предварительно установленным на сервере материалом или определяемым пользователем материалом, что не ограничивается этим вариантом осуществления. При необходимости третий материал может быть наложен на любую позицию второго изображения. Формат и конкретная форма выражения третьего материала такие же, как описано на этапе 204 приведенного выше варианта осуществления, и подробности можно найти выше, которые здесь не повторяются. Конечно, под третьим материалом можно рассматривать и другие специальные эффекты, такие как определяемые пользователем эффекты макияжа, эффекты подтяжки лица и т.д.
В этом варианте осуществления операция переключения пользователя для первого материала, отображаемого на первом изображении, используется для инициирования переключения материала изображения, и операция переключения включает в себя следующие возможные реализации.
В варианте осуществления настоящего раскрытия получение операции переключения пользователя для первого материала, отображаемого на первом изображении, включает в себя: получение операции жеста пользователя на первом изображении, где операция жеста используется для запуска переключения материала изображения. Например, когда пользователь носит лицевую маску и первый материал накладывается на лицевую маску, пользователь может инициировать переключение материала на лицевой маске с использованием операции жеста, такой как создание сердечка в виде руки, жест ножницами или раскрывающаяся ладонь. В этом примере намерение пользователя определяется с использованием технологии распознавания жестов; материал, соответствующий намерению пользователя, отыскивается в библиотеке материалов; и переключается материал на лицевой маске.
Для достижения приведенного выше эффекта, при необходимости информация подсказки может отображаться на первом изображении, и информация подсказки используется для подсказки пользователю выполнить операцию жеста. Например, такие тексты, как «Попробуйте сделать сердечко из рук» и «Попробуйте открыть ладонь», могут отображаться в любом месте на первом изображении, и стикеры «Сделайте сердечко из рук», «Ладонь» и т.п. могут отображаться в любом месте на первом изображении. При необходимости пользователю также может быть предложено выполнить операцию жеста, воспроизводя голосовую подсказку.
В варианте осуществления настоящего раскрытия получение операции переключения пользователя для первого материала, отображаемого на первом изображении, включает в себя: получение действия лица пользователя на первом изображении, где действие лица используется для запуска переключения материала изображения. Например, когда пользователь носит лицевую маску и первый материал накладывается на лицевую маску, пользователь может инициировать переключение материала на лицевой маске с использованием мимических действий, таких как моргание, поднятие бровей. В этом примере намерение пользователя определяется с использованием технологии распознавания лиц; материал, соответствующий намерению пользователя, отыскивается в библиотеке материалов; и материал на лицевой маске переключается.
В варианте осуществления настоящего раскрытия получение операции переключения пользователя для первого материала, отображаемого на первом изображении, включает в себя: получение действия головы пользователя на первом изображении, где действие головы используется для запуска переключения материала изображения. Например, когда пользователь носит лицевую маску и первый материал накладывается на лицевую маску, пользователь может инициировать переключение материала на маске для лица посредством движения головы, такого как кивок или качание головой. В этом примере намерение пользователя определяется с использованием технологии распознавания рук; материал, соответствующий намерению пользователя, отыскивается в библиотеке материалов; и переключается материал на лицевой маске.
В варианте осуществления настоящего раскрытия получение операции переключения пользователя для первого материала, отображаемого на первом изображении, включает в себя: получение голосовых данных пользователя на первом изображении, где голосовые данные используются для инициирования переключения материала изображения. Например, когда пользователь носит лицевую маску и первый материал накладывается на лицевую маску, пользователь может инициировать переключение материала на маске для лица с использованием голосового управления. Например, лицевая маска, которую на данный момент носит пользователь, накладывается на наклейку с рисунком, показанную на фиг. 5, и, когда пользователь вводит голосовую команду «Продолжайте улыбаться», наклейка с рисунком на лицевой маске переключается на наклейку со смайликом. В этом примере намерение пользователя определяется с использованием технологии распознавания голоса; материал, соответствующий намерению пользователя, отыскивается в библиотеке материалов; и переключается материал на лицевой маске.
В варианте осуществления настоящего раскрытия получение операции переключения пользователя для первого материала, отображаемого на первом изображении, включает в себя: получение операции выбора пользователя в области выбора материала интерфейса, где операция выбора используется для запуска переключения материала изображения. Область выбора материалов включает в себя различные виды материальных ресурсов. На фиг. 11 показано схематичное представление интерфейса, предусмотренного вариантом осуществления настоящего раскрытия. Как показано на фиг. 11, область выбора материалов в нижней части интерфейса включает в себя материалы 1, 2, 3, 4 и 5 (следует отметить, что фактическое отображение материалов на чертеже является предварительным просмотром материалов). Текущим материалом, отображаемым на лицевой маске пользователя, является материал 3, и пользователь может выбрать другие материалы в области выбора материала, чтобы вызвать переключение материала 3 на текущей лицевой маске.
В варианте осуществления настоящего раскрытия получение операции переключения пользователя для первого материала, отображаемого на первом изображении, включает в себя: получение операции ввода пользователя в области ввода текста интерфейса, где операция ввода используется для запуска переключения материала изображения. Например, когда пользователь носит лицевую маску и первый материал накладывается на лицевую маску, пользователь может инициировать переключение материала на маске для лица путем ввода текстовой информации или выражения в области ввода текста интерфейса.
При необходимости третьим материалом может быть текстовая информация или выражение, введенное пользователем в области ввода текста интерфейса. Текстовая информация включает в себя по меньшей мере одно из: числа, буквы, символа и знака.
Например, на фиг. 12 показано схематичное представление изменения интерфейса, предусмотренного вариантом осуществления настоящего раскрытия. Как показано на фиг. 12, когда пользователь носит лицевую маску и первый материал накладывается на лицевую маску, пользователь может щелкнуть по области ввода текста в нижней части интерфейса, чтобы вызвать всплывающую виртуальную клавиатуру. Пользователь вводит текстовую информацию на виртуальной клавиатуре, например, пользователь вводит английское слово «smile» (улыбка). После нажатия «ОК» наклейка с рисунком на лицевой маске переключается на текст «улыбка», введенный пользователем.
Как видно из приведенного выше описания, когда лицевая маска пользователя была наложена на материал, пользователь также может переключать материал на маске для лица человека на изображении с использованием заданного способа операции, такого как операция жеста, движение лица, движение головы, голосовое управление, ввод текста, выбор интерфейса материала или других способов. При использовании приведенного выше примера, достигается операция интересующая пользователя, носящего лицевую маску, который позволяет улучшить восприятие пользователя при ее использовании.
Согласно способу отображения информации вышеупомянутых вариантов осуществления, на фиг. 13 показана структурная блок-схема устройства отображения информации, предусмотренного вариантом осуществления настоящего раскрытия. Для удобства объяснения показаны только части, относящиеся к вариантам осуществления настоящего раскрытия. Как показано на фиг. 13, устройство 400 отображения информации, предусмотренное в этом варианте осуществления, включает в себя: модуль 401 получения, модуль 402 обработки и модуль 403 отображения.
Где
модуль 401 получения выполнен с возможностью получения первого изображения, включающего в себя первый объект на видео;
модуль 402 обработки выполнен с возможностью определения того, присутствует ли второй объект на первом изображении;
модуль отображения выполнен с возможностью наложения первого материала на область, где расположен второй объект на первом изображении, когда определено, что второй объект присутствует на первом изображении и что второй объект удовлетворяет заданному позиционному соотношению с первым объектом.
В варианте осуществления настоящего раскрытия первый объект представляет собой лицо человека, и второй объект представляет собой лицевую маску; заданное позиционное соотношение представляет собой, в частности то, что: лицевая маска надета на лицо человека.
В варианте осуществления настоящего раскрытия модуль 401 получения специально выполнен с возможностью получения целевого изображения, включающего в себя лицо человека на первом изображении;
модуль 402 обработки специально выполнен с возможностью ввода целевого изображения в модель распознавания лицевых масок для получения результата распознавания, где результат распознавания используется для указания того, надета ли лицевая маска на лицо человека, и модель распознавания лицевых масок является упрощенной модель машинного обучения.
В варианте осуществления настоящего раскрытия модель распознавания лицевых масок включает в себя модуль канала перемешивания, модуль среза канала, два модуля свертки 1×1, модуль свертки 3×3 и модуль объединения каналов.
В варианте осуществления настоящего раскрытия модуль 402 обработки специально выполнен с возможностью:
ввода первого изображения в первую модель распознавания лица человека для того, чтобы получить первое изображение области лица на первом изображении, и использовать первое изображение в качестве целевого изображения.
В варианте осуществления настоящего раскрытия модуль 402 обработки специально выполнен с возможностью:
ввода первого изображения во вторую модель распознавания лица человека для того, чтобы получить первое изображение области лица на первом изображении и информацию о ключевых точках области лица;
выполнения обработки, связанной с поворотом первого изображения, в соответствии с информацией о ключевых точках для того, чтобы получить второе изображение, и использования второго изображения в качестве целевого изображения.
В варианте осуществления настоящего раскрытия модуль 401 получения дополнительно выполнен с возможностью:
получения установленной исходной модели распознавания лицевых масок;
получения образцов позитивных и негативных изображений и результатов аннотирования образцов позитивных и негативных изображений, где на лица людей, включенные в образцы позитивных изображений, надеты лицевые маски, и на лица людей, включенные в образцы негативных изображений, не надеты лицевые маски, и результаты аннотации включают в себя метки для указания того, надеты ли лицевые маски на лица людей в образцах изображений, и информацию о положении лицевых масок;
модуль 402 обработки дополнительно выполнен с возможностью: обучения исходной модели распознавания лицевых масок с использованием образцов позитивных и негативных изображений в качестве входных данных модели распознавания лицевых масок и результатов аннотирования образцов позитивных и негативных изображений в качестве выходных данных модели распознавания лицевых масок для того, чтобы получить модель распознавания лицевых масок.
В варианте осуществления настоящего раскрытия, после того как модуль 403 отображения накладывает первый материал на область, где расположен второй объект на первом изображении, модуль 403 отображения дополнительно выполнен с возможностью удаления первого материала и наложения второго материала на втором изображении после первого изображения, когда модуль 402 обработки определяет то, что второй объект отсутствует на втором изображении, где второй материал отличается от первого материала.
В варианте осуществления настоящего раскрытия, после того как модуль 403 отображения накладывает первый материал на область, где расположен второй объект на первом изображении, модуль 401 получения дополнительно выполнен с возможностью:
получения операции переключения пользователя для первого материала, отображаемого на первом изображении;
модуль 403 отображения дополнительно выполнен с возможностью удаления первого материала и наложения третьего материала на второе изображение после первого изображения в ответ на операцию переключения, где третий материал отличается от первого материала.
В варианте осуществления настоящего раскрытия операция переключения включает в себя любое из следующего: операцию жеста, действие лица, движение головы, голосовое управление, операцию выбора в области выбора материала интерфейса и операцию ввода в области ввода текста интерфейса.
В варианте осуществления настоящего раскрытия третьим материалом является текстовая информация или выражение, введенное пользователем в области ввода текста интерфейса.
В варианте осуществления настоящего раскрытия, когда модуль 402 обработки определяет то, что второй объект отсутствует на первом изображении, модуль 403 отображения дополнительно выполнен с возможностью отображения информации подсказки на первом изображении, где информация подсказки используется для того, чтобы предложить пользователю надеть второй объект.
Устройство отображения информации, предусмотренное в этом варианте осуществления, может использоваться для выполнения технических решений вышеописанных вариантов осуществления способа, и его принципы реализации и технические эффекты аналогичны и не будут повторяться здесь в этом варианте осуществления.
Обращаясь к фиг. 14, на фиг. 14 показана структурная схема электронного устройства 500, подходящего для реализации вариантов осуществления настоящего раскрытия. Электронное устройство 500 может быть терминальным устройством или сервером. Терминальное устройство может включать в себя, но без ограничений: мобильный терминал, такой как мобильный телефон, ноутбук, цифровой широковещательный приемник, персональный цифровой помощник (Personal Digital Assistant, PDA), портативное устройство Android (Portable Android Device, PA), портативный медиаплеер (Portable Media Player, PMP), автомобильный терминал (например, автомобильный навигационный терминал) и т.д., и стационарный терминал, такой как цифровой телевизор, настольный компьютер и т.д. Электронное устройство, показанное на фиг. 14, является только примером и не должно ограничивать функции и диапазон использования вариантов осуществления настоящего раскрытия.
Как показано на фиг. 14, электронное устройство 500 может включать в себя устройство обработки (такое как центральный процессор, графический процессор и т.д.) 501, которое может выполнять различные соответствующие действия и обработку в соответствии с программой, хранящейся в постоянном запоминающем устройстве (Read Only Memory, ROM) 502 или программой, загруженной в оперативное запоминающее устройство (Random Access Memory, RAM) 503 из запоминающего устройства 508. В RAM 503 также хранятся различные программы и данные, необходимые для работы электронного устройства 500. Устройство 501 обработки, ROM 502 и RAM 503 соединены друг с другом через шину 504. Интерфейс 505 ввода/вывода (I/O) также подключен к шине 504.
Как правило, к интерфейсу 505 ввода-вывода могут быть подключены следующие устройства: устройство 506 ввода, включающее в себя, например, сенсорный экран, сенсорную панель, клавиатуру, мышь, камеру, микрофон, акселерометр, гироскоп и др.; устройство 507 вывода, включающее в себя, например, жидкокристаллический дисплей (Liquid Crystal Display, LCD), динамик, вибратор и т.д.; запоминающее устройство 508, включающее в себя, например, магнитную ленту, жесткий диск и т.д.; и устройство 509 связи. Устройство 509 связи может позволять электронному устройству 500 осуществлять беспроводную или проводную связь с другими устройствами для обмена данными. Хотя на фиг. 14 показано электронное устройство 500, имеющее различные устройства, следует понимать, что не требуется реализовывать или иметь все показанные устройства. В качестве альтернативы, может быть реализовано или предусмотрено большее или меньшее количество устройств.
В частности, согласно вариантам осуществления настоящего раскрытия процессы, описанные выше со ссылкой на блок-схемы последовательностей операций, могут быть реализованы в виде компьютерной программы. Например, вариант осуществления настоящего раскрытия включает в себя компьютерный программный продукт, включающий в себя компьютерную программу, хранящуюся на машиночитаемом носителе информации, где компьютерная программа содержит программный код для исполнения способов, показанных на блок-схемах последовательностей операций. В таком варианте осуществления компьютерная программа может быть загружена и установлена из сети через устройство 509 связи, или установлена из запоминающего устройства 508 или установлена из ROM 502. Когда компьютерная программа исполняется устройством 501 обработки, исполняются вышеуказанные функции, определенные в способах вариантов осуществления настоящего раскрытия.
Вариант осуществления настоящего раскрытия дополнительно включает в себя компьютерную программу, где компьютерная программа хранится на машиночитаемом носителе информации, из которого один или несколько процессоров электронного устройства могут считывать компьютерную программу, и один или несколько процессоров исполняют компьютерную программу, предписывающую электронному устройству исполнять решение, предусмотренное любым из вышеупомянутых вариантов осуществления.
Следует отметить, что вышеуказанный машиночитаемый носитель информации в настоящем раскрытии может быть машиночитаемым носителем сигналов или машиночитаемым носителем информации или любым их сочетанием. Машиночитаемый носитель информации может быть, например, но без ограничений, электрической, магнитной, оптической, электромагнитной, инфракрасной или полупроводниковой системой, аппаратным устройством или устройством или любым сочетанием вышеперечисленного. Более конкретные примеры машиночитаемого носителя информации могут включать в себя, но без ограничений, электрическое соединение с использованием одного или нескольких проводом, портативный компьютерный диск, жесткий диск, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое постоянное запоминающее устройство (EPROM или флэш-память), оптическое волокно, портативное постоянное запоминающее устройство на компакт-диске (CD-ROM), оптическое запоминающее устройство, магнитное запоминающее устройство или любое подходящее сочетание вышеперечисленного. В настоящем раскрытии машиночитаемый носитель информации может быть любым материальным носителем, содержащим или хранящим программу, где программа может использоваться (или использоваться совместно) с системой, аппаратным устройством или устройством исполнения инструкций. К тому же, в настоящем раскрытии машиночитаемый носитель сигнала может включать в себя сигнал данных, распространяемый в основной полосе частот или как часть несущей волны, в которой переносится машиночитаемый программный код. Такой распространяемый сигнал данных может принимать различные формы, включая, но без ограничений, электромагнитный сигнал, оптический сигнал или любое подходящее сочетание вышеперечисленного. Машиночитаемый носитель сигналов также может быть любым машиночитаемым носителем, отличным от машиночитаемого носителя информации, и машиночитаемый носитель сигналов может отправлять, распространять или передавать программу для использования (или использования совместно) с системой, аппаратным устройством или устройством исполнения инструкций. Программный код, содержащийся на машиночитаемом носителе информации, может быть передан с использованием любого подходящего носителя, включая, но без ограничений, электрический провод, оптический кабель, РЧ (радиочастоту) и т.п., или любое подходящее сочетание вышеперечисленного.
Вышеупомянутый машиночитаемый носитель информации может быть включен в вышеуказанное электронное устройство или может существовать сам по себе, без сборки в электронное устройство.
Вышеупомянутый машиночитаемый носитель информации содержит одну или несколько программ и одну или несколько программ программного обеспечения. Когда электронное устройство исполняет одну или несколько программ, это электронное устройство предписывает исполнять способы, показанные в приведенных выше вариантах осуществления.
Код компьютерной программы для исполнения операций согласно настоящему раскрытию может быть написан на одном или нескольких языках программирования или их комбинации, где языки программирования включают в себя объектно-ориентированные языки программирования, такие как Java, Smalltalk, C++, и также включают в себя обычные процедурные языки программирования, такие как язык «C» или аналогичные языки программирования. Программный код может исполняться полностью на пользовательском компьютере, частично на пользовательском компьютере, в виде автономного программного пакета, частично на пользовательском компьютере и частично на удаленном компьютере или полностью на удаленном компьютере или сервере. В случае с удаленным компьютером удаленный компьютер может быть подключен к пользовательскому компьютеру через любой тип сетей, включая локальную сеть (Local Area Network, LAN) или глобальную сеть (Wide Area Network, WAN for short), или может быть подключен к внешнему компьютеру (например, подключен через Интернет с помощью интернет-провайдера).
Блок-схемы последовательностей операций и блок-схемы, показанные на чертежах, иллюстрируют архитектуры, функции и операции возможных реализаций систем, способов и компьютерных программных продуктов согласно различным вариантам осуществления настоящего раскрытия. На этом этапе каждый блок блок-схем последовательностей операций или блок-схем может представлять модуль, программный сегмент или часть кода, содержащую одну или несколько исполняемых инструкций для реализации заданной логической функции. Следует также отметить, что в некоторых альтернативных реализациях функции, отмеченные в блоках, могут также встречаться в другом порядке, чем тот, который представлен на чертежах. Например, два блока, показанные один за другим, фактически могут выполняться по существу параллельно, или иногда они могут выполняться в противоположном порядке, в зависимости от задействованных функций. Тем не менее следует отметить, что каждый блок на блок-схемах последовательностей операций и/или блок-схемах и комбинация блоков в блок-схемах и/или блок-схемах последовательностей операций могут быть реализованы с использованием специализированной аппаратной системы, которая выполняет определенные функции или операции, или может быть реализованы с использованием комбинации специализированных аппаратных средств и компьютерных инструкций.
Задействованные модули, описанные в вариантах осуществления настоящего раскрытия, могут быть реализованы с помощью программного обеспечения или аппаратных средств. В некоторых случаях названия модулей не являются ограничением блоков как таковых. Например, первый блок получения также может быть описан как «блок для получения по меньшей мере двух адресов Интернет-протокола».
Вышеописанные функции, описанные в данном документе, могут выполняться, по меньшей мере частично, одним или более компонентами аппаратной логики. Например, но без ограничений, примерные типы аппаратных логических компонентов, которые могут быть использованы, включают в себя: программируемую пользователем вентильную матрицу (FPGA), специализированную интегральную схему (ASIC), специализированный стандартный продукт (ASSP), систему на микросхеме (SOC), сложное программируемое логическое устройство (CPLD) и др.
В контексте настоящего раскрытия, машиночитаемый носитель информации может быть материальным носителем, который может содержать или хранить программу для использования (или для использования совместно) с системой, устройством или устройством исполнения инструкций. Машиночитаемый носитель информации может быть машиночитаемым носителем сигналов или машиночитаемым носителем информации. Машиночитаемый носитель информации может включать в себя, но без ограничений, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, аппаратное устройство или устройство или любую подходящую комбинацию из вышеупомянутого содержания. Более конкретные примеры машиночитаемого носителя информации могут включать в себя электрическое соединение на основе одного или нескольких проводов, портативный компьютерный диск, жесткий диск, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), электрически программируемое постоянное запоминающее устройство (EPROM или флэш-память), оптическое волокно, портативное постоянное запоминающее устройство на компакт-диске (CD-ROM), оптическое запоминающее устройство, магнитное запоминающее устройство или любую подходящую комбинацию из вышеупомянутого содержания.
В первом аспекте, согласно одному или более вариантам осуществления настоящего раскрытия, предусмотрен способ отображения информации, включающий в себя:
получение первого изображения, включающего в себя первый объект на видео;
определение того, присутствует ли второй объект на первом изображении;
когда определено, что второй объект присутствует на первом изображении и что второй объект удовлетворяет заданному позиционному соотношению с первым объектом, наложение первого материала на область, где расположен второй объект на первом изображении.
Согласно одному или более вариантам осуществления настоящего раскрытия первый объект представляет собой лицо человека, и второй объект представляет собой лицевую маску; заданное позиционное соотношение представляет собой, в частности: лицевая маска надета на лицо человека.
Согласно одному или более вариантам осуществления настоящего раскрытия определение того, присутствует ли второй объект на первом изображении, включает в себя:
получение целевого изображения, включающего в себя лицо человека на первом изображении;
ввод целевого изображения в модель распознавания лицевых масок для получения результата распознавания, где результат распознавания используется для указания того, надета ли лицевая маска на лицо человека, и модель распознавания лицевых масок является упрощенную моделью машинного обучения.
Согласно одному или более вариантам осуществления настоящего раскрытия, модель распознавания лицевых масок включает в себя: модуль канала перемешивания, модуль среза канала, два модуля свертки 1×1, модуль свертки 3×3 и модуль объединения каналов.
Согласно одному или более вариантам осуществления настоящего раскрытия получение целевого изображения, включающего в себя лицо человека на первом изображении, включает в себя:
ввод первого изображения в первую модель распознавания лица человека для получения первого изображения области лица на первом изображении и использования первого изображения в качестве целевого изображения.
Согласно одному или более вариантам осуществления настоящего раскрытия получение целевого изображения, включающего в себя лицо человека на первом изображении, включает в себя:
ввод первого изображения во вторую модель распознавания лица человека для получения первого изображения области лица на первом изображении и информации о ключевых точках области лица;
выполнение обработки, связанной с поворотом первого изображения, в соответствии с информацией о ключевых точках для того, чтобы получить второе изображение, и использование второго изображения в качестве целевого изображения.
Согласно одному или более вариантам осуществления настоящего раскрытия процесс обучения модели распознавания лицевых масок включает в себя:
установку исходной модели распознавания лицевых масок;
получение образцов позитивных и негативных изображений и результатов аннотирования образцов позитивных и негативных изображений, где лицевые маски надеты на лица людей, включенные в образцы позитивных изображений, и лицевые маски не надеты на лица людей, включенные в образцы негативных изображений, и результаты аннотации включают в себя метки для указания того, надеты ли лицевые маски на лица людей в образцах изображений лицевой маски, и информацию о положении лицевых масок;
обучение исходной модели распознавания лицевых масок с использованием образцов позитивных и негативных изображений в качестве входных данных модели распознавания лицевых масок и результатов аннотирования образцов позитивных и негативных изображений в качестве выходных данных модели распознавания лицевых масок для того, чтобы получить модель распознавания лицевых масок.
Согласно одному или более вариантам осуществления настоящего раскрытия, после наложения первого материала на область, где расположен второй объект на первом изображении, способ дополнительно включает в себя:
когда определено, что второй объект отсутствует на втором изображении после первого изображения, удаление первого материала и наложение второго материала на втором изображении, причем второй материал отличается от первого материала.
Согласно одному или более вариантам осуществления настоящего раскрытия, после наложения первого материала на область, где расположен второй объект на первом изображении, способ дополнительно включает в себя:
получение операции переключения пользователя для первого материала, отображаемого на первом изображении;
удаление первого материала и наложение третьего материала на второе изображение после первого изображения в ответ на операцию переключения, где третий материал отличается от первого материала.
Согласно одному или более вариантам осуществления настоящего раскрытия, операция переключения включает в себя любое из следующего: операцию жеста, действие лица, движение головы, голосовое управление, операцию выбора в области выбора материала интерфейса и операцию ввода в области ввода текста интерфейса.
Согласно одному или более вариантам осуществления настоящего раскрытия, третий материал представляет собой текстовую информацию или выражение, введенное пользователем в области ввода текста интерфейса.
Согласно одному или более вариантам осуществления настоящего раскрытия способ дополнительно включает в себя:
когда определено, что второй объект отсутствует на первом изображении, отображение информации подсказки на первом изображении, где информация подсказки используется для подсказки пользователю надеть второй объект.
Во втором аспекте, согласно одному или более вариантам осуществления настоящего раскрытия, предусмотрено устройство отображения информации, включающее в себя:
модуль получения, выполненный с возможностью получения первого изображения, включающего в себя первый объект на видео;
модуль обработки, выполненный с возможностью определения того, присутствует ли второй объект на первом изображении;
модуль отображения, выполненный с возможностью наложения первого материала на область, где расположен второй объект на первом изображении, когда определено, что второй объект присутствует на первом изображении и что второй объект удовлетворяет заданному позиционному соотношению с первым объектом.
Согласно одному или более вариантам осуществления настоящего раскрытия первый объект представляет собой лицо человека, и второй объект представляет собой лицевую маску; заданное позиционное соотношение представляет собой, в частности то, что: лицевая маска надета на лицо человека.
Согласно одному или более вариантам осуществления настоящего раскрытия модуль получения специально выполнен с возможностью получения целевого изображения, включающего в себя лицо человека на первом изображении;
модуль обработки специально выполнен с возможностью ввода целевого изображения в модель распознавания лицевых масок для получения результата распознавания, где результат распознавания используется для указания того, надета ли лицевая маска на лицо человека, и модель распознавания лицевых масок представляет собой упрощенную модель машинного обучения.
Согласно одному или более вариантам осуществления настоящего раскрытия, модель распознавания лицевых масок включает в себя: модуль канала перемешивания, модуль среза канала, два модуля свертки 1×1, модуль свертки 3×3 и модуль объединения каналов.
Согласно одному или более вариантам осуществления настоящего раскрытия модуль обработки специально выполнен с возможностью:
ввода первого изображения в первую модель распознавания лица человека для того, чтобы получить первое изображение области лица на первом изображении, и использования первого изображения в качестве целевого изображения.
Согласно одному или более вариантам осуществления настоящего раскрытия модуль обработки специально выполнен с возможностью:
ввода первого изображения во вторую модель распознавания лица человека для того, чтобы получить первое изображение области лица на первом изображении и информацию о ключевых точках области лица;
выполнения обработки, связанной с поворотом первого изображения, в соответствии с информацией о ключевых точках для того, чтобы получить второе изображение, и использования второго изображения в качестве целевого изображения.
Согласно одному или более вариантам осуществления настоящего раскрытия модуль получения дополнительно выполнен с возможностью:
получения установленной исходной модели распознавания лицевых масок;
получения образцов позитивных и негативных изображений и результатов аннотирования образцов позитивных и негативных изображений, где лицевые маски надеты на лица людей, включенные в образцы позитивных изображений, и лицевые маски не надеты на лица людей, включенные в образцы негативных изображений, и результаты аннотации включают в себя метки для указания того, надеты лицевые маски на лица людей в образцах изображений лицевой маски, и информацию о положении лицевых масок;
модуль обработки дополнительно выполнен с возможностью обучения исходной модели распознавания лицевых масок с использованием образцов позитивных и негативных изображений в качестве входных данных модели распознавания лицевых масок и результатов аннотирования образцов позитивных и негативных изображений в качестве выходных данных модели распознавания лицевых масок для того, чтобы получить модель распознавания лицевых масок.
Согласно одному или более вариантам осуществления настоящего раскрытия, после того как модуль отображения накладывает первый материал на область, где расположен второй объект на первом изображении, модуль отображения дополнительно конфигурируется для удаления первого материала и наложения второго материала на втором изображении после первого изображения, когда модуль обработки определяет то, что второй объект отсутствует на втором изображении, где второй материал отличается от первого материала.
Согласно одному или более вариантам осуществления настоящего раскрытия, после того как модуль отображения накладывает первый материал на область, где расположен второй объект на первом изображении, модуль получения дополнительно выполнен с возможностью:
получения операции переключения пользователя для первого материала, отображаемого на первом изображении;
модуль отображения дополнительно выполнен с возможностью удаления первого материала и наложения третьего материала на второе изображение после первого изображения в ответ на операцию переключения, где третий материал отличается от первого материала.
Согласно одному или более вариантам осуществления настоящего раскрытия, операция переключения включает в себя любое из следующего: операцию жеста, действие лица, движение головы, голосовое управление, операцию выбора в области выбора материала интерфейса и операцию ввода в области ввода текста интерфейса.
Согласно одному или более вариантам осуществления настоящего раскрытия, третий материал представляет собой текстовую информацию или выражение, введенное пользователем в области ввода текста интерфейса.
Согласно одному или более вариантам осуществления настоящего раскрытия, когда модуль обработки определяет то, что второй объект отсутствует на первом изображении, модуль отображения дополнительно конфигурируется для отображения информации подсказки на первом изображении, где информация подсказки используется для того, чтобы предложить пользователю надеть второй объект.
В третьем аспекте, согласно одному или более вариантам осуществления настоящего раскрытия, предусмотрено электронное устройство, которое включает в себя: по меньшей мере один процессор и память;
где в памяти хранятся машиноисполняемые инструкции;
по меньшей мере один процессор исполняет машиноисполняемые инструкции, хранящиеся в памяти, которые предписывают по меньшей мере одному процессору исполнять способ отображения информации согласно вышеупомянутому первому аспекту и различным возможным вариантам реализации первого аспекта.
В четвертом аспекте, согласно одному или более вариантам осуществления настоящего раскрытия, предусмотрен машиночитаемый носитель информации, где машиночитаемый носитель информации хранит машиноисполняемые инструкции, и, когда процессор исполняет машиноисполняемые инструкции, реализуется способ отображения информации согласно вышеупомянутому первому аспекту и различным возможным вариантам реализации первого аспекта.
В пятом аспекте, согласно одному или более вариантам осуществления настоящего раскрытия, предусмотрен компьютерный программный продукт, включающий в себя компьютерную программу, где способ отображения информации согласно вышеупомянутому первому аспекту и различным возможным вариантам реализации первого аспекта реализуется тогда, когда процессор исполняет компьютерную программу.
В шестом аспекте, согласно одному или более вариантам осуществления настоящего раскрытия, предусмотрена компьютерная программа, в которой способ отображения информации согласно вышеупомянутому первому аспекту и различным возможным вариантам реализации первого аспекта реализуется тогда, когда процессор исполняет компьютерную программу.
Приведенное выше описание является только описанием предпочтительных вариантов осуществления настоящего раскрытия и применяемых технических принципов. Специалистам в данной области техники должно быть понятно, что объем настоящего раскрытия, включенный в настоящее раскрытие, не ограничивается техническим решением, образованным конкретной комбинацией вышеупомянутых технических признаков, но также охватывает другие технические решения, образованные любой комбинацией вышеупомянутых технических признаков или эквивалентных им признаков без, не отступая от вышеупомянутой концепции настоящего раскрытия. Например, техническое решение, образованное заменой вышеупомянутых признаков техническими признаками с аналогичными функциями, раскрытыми (но без ограничений) в настоящем раскрытии.
В дополнение к этому, хотя операции изображены в определенном порядке, его не следует рассматривать как требование того, чтобы операции выполнялись в определенном показанном порядке или в последовательном порядке. При определенных обстоятельствах могут быть предпочтительны многозадачность и параллельная обработка. Аналогичным образом, хотя в приведенное выше обсуждение включены некоторые конкретные детали реализации, их не следует интерпретировать как ограничения объема настоящего раскрытия. Некоторые признаки, описанные в контексте отдельного варианта осуществления, также могут быть реализованы в одном варианте осуществления в виде комбинации. Напротив, различные признаки, описанные в контексте одного варианта осуществления, также могут быть реализованы во множестве вариантов осуществления по отдельности или в любой подходящей комбинации.
Хотя предмет изобретения был описан на языке, характерном для структурных признаков и/или логических действий способов, следует понимать, что предмет изобретения, ограниченный в прилагаемой формуле изобретения, не обязательно ограничивается конкретными признаками или действиями, описанными выше. Напротив, описанные выше конкретные признаки и действия являются лишь примерными формами реализации формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| УСТРОЙСТВА, СИСТЕМЫ И СПОСОБЫ ВИРТУАЛИЗАЦИИ ЗЕРКАЛА | 2014 |
|
RU2668408C2 |
| СПОСОБ ВИЗУАЛИЗАЦИИ 3D ПОРТРЕТА ЧЕЛОВЕКА С ИЗМЕНЕННЫМ ОСВЕЩЕНИЕМ И ВЫЧИСЛИТЕЛЬНОЕ УСТРОЙСТВО ДЛЯ НЕГО | 2021 |
|
RU2757563C1 |
| СПОСОБ АУДИОВИЗУАЛЬНОГО РАСПОЗНАВАНИЯ СРЕДСТВ ИНДИВИДУАЛЬНОЙ ЗАЩИТЫ НА ЛИЦЕ ЧЕЛОВЕКА | 2022 |
|
RU2791415C1 |
| СПОСОБ ОПРЕДЕЛЕНИЯ ПОДЛИННОСТИ ЛИЦА ПО МАСКАМ СЕГМЕНТАЦИИ | 2021 |
|
RU2758966C1 |
| СПОСОБ ОТОБРАЖЕНИЯ ТРЕХМЕРНОГО ЛИЦА ОБЪЕКТА И УСТРОЙСТВО ДЛЯ НЕГО | 2017 |
|
RU2671990C1 |
| СПОСОБ АДАПТИВНОГО КВАНТОВАНИЯ ДЛЯ КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ РАДУЖНОЙ ОБОЛОЧКИ | 2016 |
|
RU2628201C1 |
| СПОСОБ БИОМЕТРИЧЕСКОЙ АУТЕНТИФИКАЦИИ ПОЛЬЗОВАТЕЛЯ И ВЫЧИСЛИТЕЛЬНОЕ УСТРОЙСТВО, РЕАЛИЗУЮЩЕЕ УПОМЯНУТЫЙ СПОСОБ | 2018 |
|
RU2697646C1 |
| УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ И ПРОГРАММА | 2014 |
|
RU2683262C2 |
| СКЛАДНОЙ РЕСПИРАТОР С ЛИЦЕВОЙ МАСКОЙ ТИПА FFP3 | 2017 |
|
RU2671037C2 |
| СПОСОБ И СИСТЕМА СБОРА ИНФОРМАЦИИ ДЛЯ УСТРОЙСТВА СОВМЕЩЕННОЙ РЕАЛЬНОСТИ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ | 2019 |
|
RU2702495C1 |
Изобретение относится к области компьютерных и сетевых коммуникационных технологий. Способ отображения информации содержит этапы, на которых получают (101) первое изображение, содержащее первый объект на видео; определяют (102), присутствует ли второй объект на первом изображении; осуществляют, когда определено, что второй объект присутствует на первом изображении и второй объект удовлетворяет заданному позиционному соотношению с первым объектом, наложение (103) первого материала на область, в которой расположен второй объект на первом изображении. При этом первый объект представляет собой лицо человека, а второй объект представляет собой лицевую маску. Указанное заданное позиционное соотношение представляет собой то, что лицевая маска надета на лицо человека. Первый материал используется для указания выражения лица первого объекта. Способ обеспечивает возможность использовать часть специальных эффектов или выражать информацию тогда, когда второй объект удовлетворяет заданным позиционным соотношениям с первым объектом. 4 н. и 10 з.п. ф-лы, 17 ил.
1. Способ отображения информации, содержащий этапы, на которых:
получают (101) первое изображение, содержащее первый объект на видео;
определяют (102), присутствует ли второй объект на первом изображении;
осуществляют, когда определено, что второй объект присутствует на первом изображении и второй объект удовлетворяет заданному позиционному соотношению с первым объектом, наложение (103) первого материала на область, в которой расположен второй объект на первом изображении; причем
первый объект представляет собой лицо человека, а второй объект представляет собой лицевую маску; при этом заданное позиционное соотношение представляет собой, в частности то, что: лицевая маска надета на лицо человека; а
первый материал используется для указания выражения лица первого объекта.
2. Способ по п. 1, в котором этап определения (102), присутствует ли второй объект на первом изображении, содержит подэтапы, на которых:
получают целевое изображение, содержащее лицо человека на первом изображении;
вводят целевое изображение в модель распознавания лицевых масок для получения результата распознавания, причем результат распознавания используется для указания, надета ли лицевая маска на лицо человека, а модель распознавания лицевых масок является упрощенной моделью машинного обучения.
3. Способ по п. 2, в котором модель распознавания лицевых масок содержит: модуль канала перемешивания, модуль среза канала, два модуля свертки 1
1, модуль свертки 3
3 и модуль объединения каналов.
4. Способ по п. 2 или 3, в котором этап получения целевого изображения, содержащего лицо человека на первом изображении, содержит подэтапы, на которых:
вводят первое изображение в первую модель распознавания лица человека для получения первого изображения области лица на первом изображении и используют первое изображение в качестве целевого изображения.
5. Способ по п. 2 или 3, в котором этап получения целевого изображения, содержащего лицо человека на первом изображении, содержит подэтапы, на которых:
вводят первое изображение во вторую модель распознавания лица человека для получения первого изображения области лица на первом изображении и информации о ключевых точках области лица;
выполняют обработку, связанную с поворотом первого изображения, в соответствии с информацией о ключевых точках для получения второго изображения, и используют второе изображение в качестве целевого изображения.
6. Способ по любому из пп. 2-5, в котором процесс обучения модели распознавания лицевых масок содержит этапы, на которых:
устанавливают (301) исходную модель распознавания лицевых масок;
получают (302) образцы позитивных и негативных изображений и результатов аннотирования образцов позитивных и негативных изображений, причем лицевые маски надеты на лица людей, содержащиеся в образцах позитивных изображений, и лицевые маски не надеты на лица людей, содержащиеся в образцах негативных изображений, а результаты аннотации содержат метки для указания того, что лицевые маски надеты на лица людей в образцах изображений, и информацию о положении лицевых масок;
обучают (303) исходную модель распознавания лицевых масок с использованием образцов позитивных и негативных изображений в качестве входных данных модели распознавания лицевых масок и результатов аннотирования образцов позитивных и негативных изображений в качестве выходных данных модели распознавания лицевых масок для получения модели распознавания лицевых масок.
7. Способ по любому из пп. 1-6, дополнительно содержащий, после этапа наложения (103) первого материала на область, в которой расположен второй объект на первом изображении, этапы, на которых:
при определении, что второй объект отсутствует на втором изображении после первого изображения, удаляют первый материал и накладывают второй материал на втором изображении, причем второй материал отличается от первого материала.
8. Способ по любому из пп. 1-6, дополнительно содержащий, после этапа наложения (103) первого материала на область расположения второго объекта на первом изображении, этапы, на которых:
получают операцию переключения пользователя для первого материала, отображаемого на первом изображении;
удаляют (206) первый материал и накладывают третий материал на второе изображение после первого изображения в ответ на операцию переключения, причем третий материал отличается от первого материала.
9. Способ по п. 8, в котором этап переключения содержит одно из: операции жеста, действия лица, движения головы, голосового управления, операции выбора в области выбора материала интерфейса и операции ввода в области ввода текста интерфейса.
10. Способ по п. 8 или 9, в котором третий материал представляет собой текстовую информацию или выражение, введенное пользователем в области ввода текста интерфейса.
11. Способ по любому из пп. 1-10, в котором способ дополнительно содержит:
когда определено, что второй объект отсутствует на первом изображении, отображение информации подсказки на первом изображении, причем информация подсказки используется для подсказки пользователю надеть второй объект.
12. Устройство отображения информации, содержащее:
модуль получения, выполненный с возможностью получения первого изображения, содержащего первый объект на видео;
модуль обработки, выполненный с возможностью определения того, присутствует ли второй объект на первом изображении;
модуль отображения, выполненный с возможностью наложения первого материала на область, где расположен второй объект на первом изображении, когда определено, что второй объект присутствует на первом изображении и что второй объект удовлетворяет заданному позиционному соотношению с первым объектом; причем
первый объект представляет собой лицо человека, а второй объект представляет собой лицевую маску; при этом заданное позиционное соотношение представляет собой, в частности то, что: лицевая маска надета на лицо человека; а
первый материал используется для указания выражения лица первого объекта.
13. Электронное устройство, содержащее: по меньшей мере один процессор и память;
где память хранит машиноисполняемые инструкции;
упомянутый по меньшей мере один процессор исполняет машиноисполняемые инструкции, хранящиеся в памяти, которые предписывают по меньшей мере одному процессору исполнять способ отображения информации по любому из пп. 1-11.
14. Машиночитаемый носитель информации, в котором машиночитаемый носитель информации хранит машиноисполняемые инструкции, и, когда процессор исполняет машиноисполняемые инструкции, реализуется способ отображения информации по любому из пп. 1-11.
| CN 109147007 A, 04.01.2019 | |||
| CN 111507199 A, 07.08.2020 | |||
| US 2019050710 A1, 14.02.2019 | |||
| JP 2005316888 A, 10.11.2005 | |||
| CN 111582199 A, 25.08.2020. |
