[0001] Настоящая заявка испрашивает приоритет на основании патентной заявки Китая №. 201910502644.3, поданной в Национальное управление интеллектуальной собственности Китая 11 июня 2019 г. и озаглавленной «СПОСОБ ОПРЕДЕЛЕНИЯ ДОПУСТИМОСТИ ПРИЗНАКА ЛИЦА И ЭЛЕКТРОННОЕ УСТРОЙСТВО», которая полностью включена в настоящий документ посредством ссылки.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0002] Варианты осуществления настоящей заявки относятся к области технологий обработки изображений и, в частности, к способу определения допустимости признака лица и электронному устройству.
УРОВЕНЬ ТЕХНИКИ
[0003] В настоящее время камеры на некоторых портативных компьютерах спроектированы так, чтобы их можно было скрыть, и они расположены под экранами. Когда пользователи получают изображения через камеры на ноутбуках, лицо на изображении имеет угол подъема вверх, и пользовательский опыт оставляет желать лучшего. Поэтому угол лица нужно скорректировать. В настоящее время общая технология трехмерной реконструкции выполняет трехмерную реконструкцию на одном кадре изображения лица, например, с использованием технологии трехмерной морфируемой модели (3d morphable model, 3DMM) для исправления лица на изображении с камеры для улучшения качества изображения. Пользовательский опыт. Технология трехмерной реконструкции обычно реконструирует и корректирует лицо на основе распознанных признаков лица. Следовательно, эффект лица технологии трехмерной реконструкции зависит от точности распознавания точки признака в признаке лица.
[0004] В настоящее время способы машинного обучения обычно используются для определения допустимости признака лица, но машинное обучение основано на предварительно обученной модели, а достоверность модели зависит от обучающих выборок. Следовательно, достоверность определения не может быть определена, а способ определения, основанный на машинном обучении, очень сложен.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0005] Варианты осуществления настоящей заявки предоставляют способ определения допустимости признака лица и электронное устройство, чтобы решить проблему высокой сложности определения способа, основанного на машинном обучении.
[0006] Согласно первому аспекту вариант осуществления настоящей заявки предоставляет способ определения допустимости признака лица. Способ может выполняться любым электронным устройством или может выполняться микросхемой или процессором в электронном устройстве. Способ включает в себя: получение признаков лица первого видеоизображения; определение информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, где информация о положении используется для представления отклонения головы человека, указанного признаком лица в первом видеоизображении, используется информация об изменении лица для представления состояния изменения положения головы человека в первом видеоизображении и втором видеоизображении второе видеоизображение представляет собой кадр изображения, предшествующий первому видеоизображению в видеопотоке, которому принадлежит первое видеоизображение, и количество видеоизображений между вторым видеоизображением и первым видеоизображением находится в пределах предварительно установленного диапазона количества; и определение того, является ли признак лица недопустимым признаком, на основе информации о положении и/или информации об изменении лица.
[0007] Согласно вышеизложенному решению информация о положении и/или информация об изменении лица определяются/определяется на основе признака лица, чтобы определить, является ли признак лица недопустимым признаком. Модель обучения не требуется, а сложность невысока.
[0008] В возможной реализации определение информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения включает в себя: дополнительное определение информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, когда признак лица не включает в себя точку признака, расположенную в краевой области первого видеоизображения.
[0009] Когда признак лица включает в себя точку признака, расположенную в краевой области, после трехмерной реконструкции на краю изображения может остаться пробел, и эффект будет плохим. Например, когда точка признака находится слишком близко к краю изображения, может быть определено, что признак лица является недопустимым признаком. В этом случае нет необходимости выполнять операцию определения информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения и последующих операций. Это повышает точность трехмерной реконструкции и может сократить время определения.
[0010] В возможной реализации информация о положении может включать в себя по меньшей мере одно из горизонтального отклонения, используемого для представления поворота головы человека влево или вправо, вертикального отклонения, используемого для представления подъема или опускания головы человека, и наклона, используемого для представления степени наклона головы человека. Информация об изменении лица может включать в себя по меньшей мере одно из смещения положения головы человека в первом видеоизображении относительно положения головы человека во втором видеоизображении и сходства изображения между изображением лица первого видеоизображения и изображением лица второго видеоизображения.
[0011] В возможной реализации определение того, является ли признак лица недопустимым признаком на основе информации о положении и/или информации об изменении лица, может включать в себя: определение того, что признак лица в первом видеоизображении является недопустимым признаком, когда определяется, что в выполняется по меньшей мере одно из следующих условий:
вышеупомянутое смещение больше первого порогового значения;
вышеупомянутое сходство изображения больше второго порогового значения;
вышеупомянутое горизонтальное отклонение больше третьего порогового значения;
вышеупомянутое вертикальное отклонение больше четвертого порогового значения; или
вышеупомянутый наклон больше пятого порогового значения.
[0012] В вышеупомянутой реализации определяется, является ли признак лица недопустимым признаком, на основании результата сравнения информации о положении и/или информации об изменении лица с пороговым значением. Сложность невысока, а время обработки невелико.
[0013] В возможной реализации признак лица может включать в себя N групп точек признака, где N - положительное целое число, большее или равное 1, а различные группы точек признака принадлежат разным органам лица; определение смещения в информации об изменении лица на основе признака лица первого видеоизображения включает в себя: определение расстояния между опорной точкой i-й группы точек признака в первом видеоизображении и опорной точкой i-й группы точек признака во втором видеоизображении для получения N групп расстояний, где i представляет собой положительное целое число, меньшее или равное N; и определение среднего значения N групп расстояний в качестве смещения или определение среднего значения нормализованных N групп расстояний в качестве смещения.
[0014] Вышеупомянутая реализация обеспечивает простой и эффективный способ определения смещения. Смещение используется для определения точности отслеживания точек признака и низкой сложности.
[0015] В возможной реализации признак лица может включать в себя M групп точек признака, где M - положительное целое число, большее или равное 1, и разные группы точек признака принадлежат разным органам лица; определение сходства изображения в информации об изменении лица на основе признака лица первого видеоизображения включает в себя: определение сходства между j-м локальным изображением признака в первом видеоизображении и j-м локальным изображением признака во втором видеоизображении для получения M сходств, где j представляет собой положительное целое число, меньшее или равное M; j-е локальное изображение признака в первом видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака первого видеоизображения; j-е локальное изображение признака во втором видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака второго видеоизображения; и определение среднего значения M сходств как сходства изображений.
[0016] Вышеупомянутая реализация обеспечивает простой и эффективный способ определения сходства изображений. Состояние изменения текстуры двух соседних кадров изображений определяется с помощью сходства изображения, а состояние изменения текстуры используется для определения, является ли отслеживание точек признака точным, а также для определения того, является ли признак лица допустимым. Сложность невысокая.
[0017] В возможной реализации признак лица может включать в себя признак левой щеки, признак правой щеки и признак носа; определение горизонтального отклонения на основе признака лица первого видеоизображения включает в себя: определение первого расстояния между опорной точкой признака левой щеки и опорной точкой признака носа и второго расстояния между опорной точкой признака правой щеки и опорной точкой признака носа; и определение отношения первого расстояния ко второму расстоянию в качестве горизонтального отклонения или определение отношения второго расстояния к первому расстоянию в качестве горизонтального отклонения, где опорная точка признака левой щеки является предварительно установленной точкой признака в признаке левой щеки, опорная точка признака носа является предварительно установленной точкой признака в признаке носа, а опорная точка признака правой щеки является предварительно установленной точкой признака правой щеки; или опорной точкой признака левой щеки является пиксель, соответствующий среднему значению координат точек признака, включенных в признак левой щеки, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, включенных в признак носа, а опорная точка признака правой щеки является пикселем, соответствующим среднему значению координат точек признака, включенных в признак правой щеки.
[0018] Вышеупомянутая реализация обеспечивает простой и эффективный способ определения горизонтального отклонения. Горизонтальное отклонение используется, чтобы определить, имеет ли голова человека положение чрезмерного поворота влево или вправо, и дополнительно определить, является ли признак лица допустимым. Сложность невысокая.
[0019] В возможной реализации признак лица может включать в себя признак глаза, признак подбородка и признак носа; определение вертикального отклонения на основе признака лица первого видеоизображения включает в себя: определение третьего расстояния между опорной точкой признака глаза и опорной точкой признака носа и четвертого расстояния между опорной точкой признака подбородка и опорная точка признака носа; и определение отношения третьего расстояния к четвертому расстоянию в качестве горизонтального отклонения или определение отношения четвертого расстояния к третьему расстоянию как вертикального отклонения, где опорной точкой признака глаза является предварительно установленная точка признака в признаке глаза, опорная точка признака носа является предварительно установленной точкой признака в признаке носа, а опорная точка признака подбородка предварительно установленной точкой признака в признаке подбородка; или опорной точкой признака глаза является пиксель, соответствующий среднему значению координат точек признака, включенных в признак глаза, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, включенных в признак носа , а опорная точка признака подбородка является пикселем, соответствующим среднему значению координат точек признака, включенных в признак подбородка.
[0020] Вышеупомянутая реализация обеспечивает простой и эффективный способ определения вертикального отклонения. Вертикальное отклонение используется для определения того, имеет ли голова человека положение чрезмерного подъема или опускания, а также для дальнейшего определения того, является ли признак лица допустимым. Сложность невысокая.
[0021] В возможной реализации признак лица может включать в себя признак левого глаза и признак правого глаза; определение наклона на основе признака лица первого видеоизображения включает в себя: определение угла в горизонтальном направлении смещения линии соединения между опорной точкой признака левого глаза и опорной точкой признака правого глаза в качестве наклона , где опорной точкой признака левого глаза является пиксель, соответствующий среднему значению координат точек признака, включенных в признак левого глаза, а опорной точкой признака правого глаза является пиксель, соответствующий среднему значению координат точки признака, включенной в признак правого глаза; или опорной точкой признака левого глаза является точка признака зрачка левого глаза в признаке левого глаза, а опорной точкой признака правого глаза является точка признака зрачка правого глаза в признаке правого глаза.
[0022] Вышеупомянутая реализация обеспечивает простой и эффективный способ определения наклона. Наклон используется, чтобы определить, имеет ли голова человека положение чрезмерного наклона, и дополнительно определить, является ли признак лица допустимым. Сложность невысокая.
[0023] Согласно второму аспекту вариант осуществления настоящей заявки дополнительно предоставляет устройство для определения допустимости признака лица, включая блоки, отдельно выполненные с возможностью выполнения способа согласно первому аспекту или согласно любой реализации первого аспекта.
[0024] Согласно третьему аспекту вариант осуществления настоящей заявки дополнительно предоставляет электронное устройство, включая процессор и память, где процессор соединен с памятью; память выполнена с возможностью хранения программной инструкции; процессор выполнен с возможностью чтения программной инструкции, хранящейся в памяти, чтобы реализовать способ согласно первому аспекту и любой возможной реализации первого аспекта.
[0025] Согласно четвертому аспекту вариант осуществления настоящей заявки дополнительно предоставляет компьютерный носитель данных, на котором компьютерный носитель данных хранит программную инструкцию, и когда программная инструкция выполняется на электронном устройстве, электронное устройство получает возможность выполнять способ в соответствии с первым аспектом и любой возможной реализацией первого аспекта.
[0026] Согласно пятому аспекту вариант осуществления настоящей заявки дополнительно предоставляет компьютерный программный продукт, где, когда компьютерный программный продукт работает на электронном устройстве, электронное устройство может выполнять способ согласно первому аспекту и любой возможной реализации первый аспект.
[0027] Согласно шестому аспекту вариант осуществления настоящей заявки дополнительно предоставляет микросхему, при этом микросхема соединена с памятью в электронном устройстве, и выполняет способ согласно первому аспекту и любой возможной реализации первого аспекта.
[0028] Кроме того, технические эффекты, привнесенные вторым аспектом в шестой аспект, см. в описании первого аспекта. Подробности не описаны здесь снова.
[0029] Следует отметить, что «соединение» в этом варианте осуществления настоящей заявки означает, что два компонента прямо или косвенно комбинируются друг с другом.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0030] Фиг. 1 - схематическая диаграмма результата трехмерной реконструкции согласно варианту осуществления этой заявки;
[0031] Фиг. 2 - схематическая диаграмма деформации лица при трехмерной реконструкции из-за отказа признака лица согласно варианту осуществления этой заявки;
[0032] Фиг. Фиг. 3 - схематическая структурная диаграмма электронного устройства согласно варианту осуществления этой заявки;
[0033] Фиг. 4 - схематическая структурная диаграмма другого электронного устройства согласно варианту осуществления этой заявки;
[0034] Фиг. 5 - схематическая блок-схема последовательности операций способа определения допустимости признака лица согласно варианту осуществления этой заявки;
[0035] Фиг. 6A - схематическая диаграмма плохого результата лица после трехмерной реконструкции согласно варианту осуществления этой заявки;
[0036] Фиг. 6B - схематическая диаграмма краевой области согласно варианту осуществления этой заявки;
[0037] Фиг. 6C - схематическая диаграмма края изображения согласно варианту осуществления этой заявки;
[0038] Фиг. 7 - схематическая диаграмма точки признака, включенной в признак лица, согласно варианту осуществления этой заявки;
[0039] Фиг. 8 - схематическая диаграмма локального изображения признака лица согласно варианту осуществления этой заявки;
[0040] Фиг. 9 - схематическая блок-схема последовательности операций другого способа определения допустимости признака лица согласно варианту осуществления этой заявки;
[0041] Фиг. 10 - схематическая структурная диаграмма устройства 10 согласно варианту осуществления этой заявки; и
[0042] Фиг. 11 - схематическая структурная диаграмма электронного устройства 11 согласно варианту осуществления этой заявки.
Описание вариантов осуществления
[0043] Варианты осуществления настоящей заявки могут быть применены к сцене съемки электронного устройства, или к сцене мониторинга электронного устройства, или к сцене видеозвонка или видеоконференции между электронными устройствами, и, конечно же, в качестве альтернативы могут быть применены к сцене, в которой электронное устройство выполняет трехмерную реконструкцию головы человека на захваченном изображении. Например, когда между электронными устройствами осуществляется видеозвонок, локальное электронное устройство передает изображение лица локального пользователя на одноранговое электронное устройство для отображения, чтобы достичь цели видеосвязи.
[0044] Любая из вышеперечисленных сцен включает в себя процесс сбора и обработки изображения лица электронным устройством. Например, как показано на фиг. 1, когда камера на электронном устройстве расположена под или над экраном, и когда пользователь собирает изображение с помощью камеры на электронном устройстве, лицо на изображении может иметь угол подъема вверх или угол наклона, как показанный на фиг. 1 (а). В этом случае электронное устройство может использовать технологию трехмерной реконструкции для корректировки угла лица на изображении. В качестве другого примера, во время видеонаблюдения необходимо скорректировать угол лица на изображении наблюдения, чтобы повысить точность распознавания лиц. В этом случае электронное устройство также может использовать технологию трехмерной реконструкции для корректировки угла лица на изображении. Технология трехмерной реконструкции обычно основана на узнаваемых признаках лица. Например, лицо, показанное на фиг. 1 (б) реконструирован и уравновешен. Скорректированное изображение лица может быть показано на фиг. 1 (в). Можно узнать, что в любой из вышеупомянутых сцен для улучшения качества видеозвонка или улучшения эффекта обработки изображения электронным устройством, чтобы получить более точные признаки лица и тому подобное, технология для трехмерной реконструкции изображения лица. Эффект лица, получаемый с помощью технологии трехмерной реконструкции, в основном зависит от точного распознавания точки признака в признаке лица.
[0045] В процессе трехмерной реконструкции изображения лица, если угол положения головы чрезмерно велик, например, чрезмерно большой угол подъема лица вверх или чрезмерно большой угол наклона, или точка признака в собранном изображение лица находится близко к краю изображения лица, или лицо движется слишком быстро во время сбора изображения лица, не удается отслеживать точку признака в признаке лица в реальном времени и т. д. Это приводит к неточному распознаванию точки признака в признаке лица, и, следовательно, эффект последующей коррекции угла лица плохой, например, как показано на фиг. 2.
[0046] Исходя из этого, технические решения, представленные в вариантах осуществления настоящей заявки, могут хорошо решить проблему, заключающуюся в том, что в любой из вышеупомянутых сцен, когда электронное устройство выполняет обработку трехмерной реконструкции на захваченном изображении лица, распознавание точки признака в признаке лица является неточным, что приводит к плохому эффекту исправления угла лица позже. Основная идея состоит в том, чтобы определить, используя признак лица в распознанном видеоизображении, информацию о положении, используемую для представления текущего угла положения головы и/или информацию об изменении лица, используемую для представления состояния изменения положения головы отслеживаемого человека, чтобы определить, является ли распознанный признак лица недопустимым признаком. Недопустимый признак относится к неточно распознанной точке признака.
[0047] Вышеупомянутое электронное устройство может быть электронным устройством с функцией захвата изображения, таким как портативный компьютер, мобильный телефон, цифровая камера или iPad, или может быть настольным компьютером, носимым устройством и т.п., что не ограничивается вариантами осуществления настоящей заявки. В качестве альтернативы электронное устройство может быть устройством, например сервером, имеющим только функцию обработки изображений. В частности, электронное устройство имеет источник сигнала, и источник сигнала может быть источником обработанного контента электронного устройства, которым может быть изображение или видеокадр. Источником изображения может быть сеть, мобильный носитель данных, камера, устройство камеры и т.п. Источник сигнала выполнен с возможностью ввода подлежащего обработке видеоизображения, в электронное устройство, а электронное устройство выполнено с возможностью обработки подлежащего обработке видеоизображения. Например, способ определения допустимости признака лица, предусмотренный этим вариантом осуществления настоящей заявки, используется для определения того, что признак лица является допустимым. В качестве другого примера, когда определяется, что признак лица является допустимым, угол лица может быть скорректирован на основе способа трехмерной реконструкции. В необязательном случае электронное устройство может иметь функцию отображения, поэтому электронное устройство, представленное в этом варианте осуществления настоящей заявки, может дополнительно отображать обработанное видеоизображение. В этом случае нет необходимости выводить обработанное видеоизображение на устройство отображения. Например, электронное устройство может быть видеокамерой с функцией отображения или интеллектуальным оконечным устройством, таким как ноутбук или планшетный компьютер. В другом необязательном случае электронное устройство не имеет функции отображения, и электронное устройство выводит обработанное видеоизображение на устройство отображения. Устройство отображения в данном документе может быть устройством с функцией отображения, например дисплеем, или может быть экраном дисплея. Устройство отображения выполнено с возможностью приема сигнала изображения, передаваемого электронным устройством, и отображения принятого сигнала изображения.
[0048] Например, источник сигнала может быть создан внутри электронного устройства. Например, электронное устройство включает в себя камеру для сбора сигнала изображения. Источник сигнала может формироваться внешним устройством. Например, другое устройство камеры, независимое от электронного устройства, захватывает изображение лица и отправляет захваченное изображение на электронное устройство. Следующее описание дается с использованием примера, в котором источник сигнала формируется внутри электронного устройства.
[0049] Нижеследующее сначала кратко описывает структуру электронного устройства, к которому может быть применен вариант осуществления настоящего изобретения. В частности, как показано на фиг. 3, электронное устройство может включать в себя процессор 110, память 120 и камеру 130. Электронное устройство может дополнительно включать в себя экран 140 дисплея. Процессор 110 может включать в себя один или несколько процессоров. Например, процессор 110 может включать в себя процессор приложений (application processor, AP), процессор модема, графический процессор (graphics processing unit, GPU), процессор сигналов изображения (image signal processor, ISP), контроллер, память, видеокодек, процессор цифровых сигналов (digital signal processor, DSP), процессор основной полосы частот и/или блок обработки нейронной сети (neural-network processing unit, NPU). Различные блоки обработки могут быть независимыми компонентами или могут быть интегрированы в один или несколько процессоров. Контроллер может быть нервным центром и командным центром электронного устройства. Контроллер может формировать сигнал управления операцией в соответствии с кодом операции команды и сигналом синхронизации для завершения управления выборкой и выполнением команды.
[0050] В процессоре 110 может быть дополнительно размещена память для хранения инструкций и данных. В некоторых вариантах осуществления память в процессоре 110 является кэш-памятью. В памяти может храниться инструкция или данные, которые процессор 110 только что использовал или использовал циклически. Если процессору 110 необходимо снова использовать команду или данные, команда или данные могут быть непосредственно вызваны из памяти. Это позволяет избежать повторного доступа и сокращает время ожидания процессора 110, тем самым повышая эффективность системы.
[0051] Следует отметить, что процессор 110 может запускать программный код способа определения допустимости признака лица, предусмотренного в вариантах осуществления настоящей заявки, для выполнения процесса определения допустимости признака лица в следующем описании. Конкретный процесс определения допустимости признака лица будет описан ниже.
[0052] Память 120 может быть выполнена с возможностью хранения кода программы, исполняемого компьютером. Исполняемый программный код включает в себя инструкцию. Выполняя инструкцию, хранящуюся в памяти 120, процессор 110 выполняет различные функциональные приложения и обработку данных электронного устройства. Память 120 может включать в себя область хранения программ и область хранения данных. В области хранения программ может храниться программный код операционной системы и приложения (например, приложения камеры, приложения WeChat, приложения QQ или приложения видеочата). В области хранения данных могут храниться персональные данные (например, изображение, полученное до определения допустимости признака лица, и изображение после трехмерной реконструкции), созданные во время использования электронного устройства.
[0053] Следует отметить, что память 120 может дополнительно хранить программный код способа определения допустимости признака лица, предусмотренного в вариантах осуществления настоящей заявки. При запуске кода процессор 110 выполняет процесс определения допустимости признака лица в нижеследующем описании, чтобы реализовать функцию определения допустимости признака лица. Память 120 может дополнительно хранить другое содержимое, например, память 120 хранит признаки лица. Следует понимать, что память 120 может дополнительно хранить другое содержимое, упомянутое ниже, например, от первого порогового значения до пятого порогового значения.
[0054] Память 120 может включать в себя высокоскоростную память с произвольным доступом и может дополнительно включать в себя энергонезависимую память, такую как, по меньшей мере, одно устройство хранения на магнитных дисках, устройство флэш-памяти и универсальный флеш-накопитель (universal flash storage, UFS).
[0055] Экран 140 дисплея выполнен с возможностью отображения изображения, видео и т.п., например, выполнен с возможностью отображения неподвижного изображения или видео, которое получено камерой 130 и которое не подвергалось трехмерной реконструкции, или выполнено с возможностью отображать неподвижное изображение или видео после трехмерной реконструкции. Экран 140 дисплея включает в себя панель дисплея. Панель дисплея может использовать жидкокристаллический дисплей (liquid crystal display, LCD), органический светоизлучающий диод (organic light-emitting diode, OLED), органический светоизлучающий диод с активной матрицей (active-matrix organic light emitting diode, AMOLED), гибкий светодиод (flex light-emitting diode, FLED), Miniled, MicroLed, Micro-oLed, светоизлучающий диод с квантовыми точками (quantum dot light emitting diodes, QLED) и тому подобное. В некоторых вариантах осуществления электронное устройство может включать в себя 1 или N экранов 140 дисплея, а N - положительное целое число больше 1. Экран 140 дисплея выполнен с возможностью отображения домашнего интерфейса или отображения интерфейса дисплея приложения, такого как интерфейс дисплея приложения видеовызова. Экран 140 дисплея может дополнительно отображать видеоизображение, такое как видеоизображение, после трехмерной реконструкции во время видеовызова.
[0056] В частности, в этом варианте осуществления настоящей заявки камера 130 может быть выполнена с возможностью получения неподвижного изображения или видео перед трехмерной реконструкцией. Например, электронное устройство представляет собой портативный компьютер, который также может называться персональным компьютером (person computer, PC). Как показано на фиг. 4, камера 130 может быть расположена под экраном 140 дисплея. Камера 130 может включать в себя светочувствительные элементы, такие как группа линз и датчик изображения. Группа линз включает в себя множество линз (выпуклые линзы или вогнутые линзы) для сбора световых сигналов, отраженных объектом, который нужно сфотографировать, и передачи собранных световых сигналов на датчик изображения. Датчик изображения формирует изображение фотографируемого объекта на основе световых сигналов.
[0057] Электронное устройство может дополнительно включать в себя датчик 150 касания, который также называется «сенсорной панелью», как показано на фиг. 4. Датчик 150 касания выполнен с возможностью обнаружения операции касания, применимой к датчику 150 касания или рядом с ним. Датчик 150 касания может передавать обнаруженную операцию касания процессору 110 для определения типа события касания. Визуальный вывод, связанный с операцией касания, может быть обеспечен через экран 140 дисплея. Электронное устройство может дополнительно включать в себя другие устройства ввода, такие как физическая клавиатура и мышь.
[0058] Датчик 150 касания может обнаруживать операцию касания пользователя на сенсорном экране и отправлять операцию касания в процессор 110. На основе операции касания процессор 110 может определять значок, соответствующий операции касания, то есть определять приложение, по которому должен щелкнуть пользователь. Датчик 150 касания может обнаруживать операцию касания пользователя на сенсорном экране и отправлять операцию касания в процессор 110. На основе операции касания процессор 110 может определять значок, соответствующий операции касания, то есть определять приложение, по которому должен щелкнуть пользователь. Предполагая, что процессор 110 определяет на основе операции касания, что пользователь нажимает на приложение видеочата, процессор 110 запускает приложение камеры, отображает интерфейс видоискателя и запускает камеру 130. Камера 130 захватывает видеоизображение, и интерфейс видоискателя отображает видеоизображение. Конечно, интерфейс видоискателя дополнительно включает в себя управление видеосъемкой. Когда датчик 150 касания обнаруживает операцию для запуска управления съемкой, камера 130 собирает видеоизображение.
[0059] Точно так же электронное устройство может альтернативно принимать операцию ввода через физическую клавиатуру и отправлять операцию ввода процессору 110. Процессор 110 определяет значок, соответствующий операции ввода, такой как приложение видеочата. В качестве альтернативы электронное устройство может принимать операцию ввода с помощью мыши и отправлять операцию ввода процессору 110. Процессор 110 определяет значок, соответствующий операции ввода.
[0060] Как показано на фиг. 3, электронное устройство может дополнительно включать в себя аудиомодуль 160, динамик 160A, телефонную трубку 160B, микрофон 160C и гнездо 160D для наушников для реализации аудиофункций, таких как воспроизведение музыки и запись звука.
[0061] Аудиомодуль 160 выполнен с возможностью преобразования цифровой аудиоинформации в аналоговый аудиосигнал для вывода и дополнительно выполнен с возможностью преобразования аналогового аудиовхода в цифровой аудиосигнал. Аудиомодуль 160 может быть дополнительно выполнен с возможностью кодирования и декодирования аудиосигналов. В некоторых вариантах осуществления аудиомодуль 160 может быть размещен в процессоре 110, или некоторые из функциональных модулей аудиомодуля 160 могут быть размещены в процессоре 110.
[0062] Динамик 160A, также называемый «громкоговорителем», выполнен с возможностью преобразования звукового электрического сигнала в звуковой сигнал. Электронное устройство может слушать музыку через динамик 160A или слушать звонок в режиме громкой связи.
[0063] Телефонная трубка 160B, также называемая «трубкой», выполнена с возможностью преобразования звукового электрического сигнала в звуковой сигнал. Когда электронное устройство принимает вызов или голосовое сообщение, телефонную трубку 160B можно поднести близко к уху для приема голоса.
[0064] Микрофон 160C, также называемый «микрофоном» (англ. «mike»), выполнен с возможностью преобразования звукового сигнала в электрический сигнал. При совершении вызова или отправке голосового сообщения пользователь может приблизить рот к микрофону 160C и издать звук, чтобы ввести звуковой сигнал в микрофон 160C. Электронное устройство 100 может быть снабжено, по меньшей мере, одним микрофоном 160C. В некоторых других вариантах осуществления электронное устройство может быть снабжено двумя микрофонами 160C, которые могут реализовывать функцию шумоподавления в дополнение к сбору звуковых сигналов. В некоторых других вариантах осуществления электронное устройство может быть альтернативно снабжено тремя, четырьмя или более микрофонами 160C для реализации сбора звукового сигнала, уменьшения шума, распознавания источника звука, направленной записи и подобных функций.
[0065] Гнездо 160D для наушников выполнено с возможностью подключения проводного наушника. Гнездо 160D для наушников может быть USB-интерфейсом 170 или может быть стандартным интерфейсом открытой платформы мобильного терминала 3,5 мм (open mobile terminal platform, OMTP), ассоциация индустрии сотовой связи США (cellular telecommunications industry association of the USA, CTIA) стандартный интерфейс и т.п.
[0066] Модуль 180 управления зарядкой выполнен с возможностью приема входного сигнала зарядки от зарядного устройства. Зарядное устройство может быть беспроводным или проводным. В некоторых вариантах осуществления проводной зарядки модуль 180 управления зарядкой может принимать вход зарядки проводного зарядного устройства через интерфейс USB. В некоторых вариантах осуществления беспроводной зарядки модуль 180 управления зарядкой может принимать ввод беспроводной зарядки через катушку беспроводной зарядки электронного устройства. При зарядке аккумулятора 182 модуль 180 управления зарядкой также может одновременно подавать питание на электронное устройство через модуль 181 управления питанием.
[0067] Модуль 181 управления питанием выполнен с возможностью подключения аккумулятора 182, модуля 180 управления зарядкой и процессора 110. Модуль 181 управления питанием принимает входные данные от аккумулятора 182 и/или модуля 180 управления зарядкой и подает питание на процессор 110, экран 140 дисплея, камеру 130 и т.п. Модуль 181 управления питанием может быть дополнительно выполнен с возможностью отслеживания параметров, таких как емкость аккумулятора, время цикла аккумулятора и состояние работоспособности аккумулятора (утечка и импеданс). В некоторых других вариантах осуществления модуль 181 управления питанием альтернативно может быть размещен в процессоре 110. В некоторых других вариантах осуществления модуль 181 управления питанием и модуль 180 управления зарядкой альтернативно могут быть размещены в одном и том же устройстве.
[0068] Хотя это не показано на фиг. 3, электронное устройство может дополнительно включать в себя датчик давления, датчик гироскопа, датчик барометрического давления, магнитный датчик, датчик ускорения, датчик расстояния, датчик внешней освещенности, датчик отпечатков пальцев, датчик температуры и т.п. Кроме того, электронное устройство может дополнительно включать в себя индикатор, такой как световой индикатор, который используется для индикации состояния зарядки, изменения мощности, сообщения, уведомления и т.п.
[0069] Со ссылкой на схему архитектуры электронного устройства, показанного на фиг. 3, и используя в качестве примера сцену видеочата посредством электронного устройства, ниже подробно описывается способ определения допустимости признака, полученного в процессе захвата видеоизображения электронным устройством и выполнения обработки трехмерной реконструкции лица человека на захваченном видеоизображении. В этой заявке термин «по меньшей мере один» означает один или несколько, то есть, включая один, два, три или более; а термин «множество» означает два или более двух, то есть включая два, три или более. Кроме того, следует понимать, что такие термины, как «первый» и «второй» в описаниях данной заявки, используются только для целей описания и не должны пониматься как указание или подтекст относительной значимости или как указание или подтекст порядка. Термин «и/или» описывает взаимосвязь между ассоциированными объектами и указывает, что могут существовать три взаимосвязи. Например, A и/или B могут представлять следующие три случая: Существует только A, существуют как A, так и B, и существует только B. A и B могут быть в единственном или множественном числе. Символ «/» обычно указывает связь «или» между связанными объектами. «По меньшей мере, один из следующих элементов» или подобное выражение означает любую комбинацию этих элементов, включая любую комбинацию одного элемента или множества элементов. Например, «по меньшей мере один из a, b или c» может представлять a, b, c, ab, ac, bc или abc, где a, b и c могут быть единственными или множественными.
[0070] Ниже описывается способ определения допустимости признака лица, предусмотренной в варианте осуществления этой заявки, со ссылкой на фиг. 5. Способ может выполняться электронным устройством и, в частности, может выполняться процессором 110 электронного устройства. Например, когда процессор 110 в электронном устройстве принимает инструкцию ввода для видеочата, инициированного пользователем, процессор 110 запускает камеру для сбора видеоизображения, определяет допустимость признака лица, извлеченной из видеоизображения, и выполняет трехмерная реконструкция лица человека на основе результата определения и отображает видеоизображение после трехмерной реконструкции на экране 140 дисплея. Например, процессор 110 может вызвать камеру для сбора видеоизображения и дать команду экрану 140 дисплея отобразить видеоизображение после трехмерной реконструкции в интерфейсе видеочата. Процессор 110 выполняет следующую процедуру способа для определения допустимости признака лица для видеоизображения, собранного камерой.
[0071] S501: Процессор 110 получает признак лица первого видеоизображения.
[0072] В этом варианте осуществления настоящей заявки для простоты описания подлежащее обработке видеоизображение, собранное текущей камерой 130, упоминается как первое видеоизображение, а кадр изображения, предшествующий первому видеоизображению в видеопотоке, - как которому принадлежит первое видеоизображение, называется вторым видеоизображением, и количество видеоизображений между вторым видеоизображением и первым видеоизображением находится в пределах предварительно установленного диапазона количества. Например, предварительно установленный диапазон количества составляет 0-8. Когда предварительно установленный диапазон количества равен 0, второе видеоизображение представляет собой кадр изображения, непосредственно предшествующий первому видеоизображению. Когда предварительно установленный диапазон количества равен 1, второе видеоизображение представляет собой видеоизображение, которое предшествует первому видеоизображению и отстоит от первого видеоизображения на один кадр.
[0073] Процессор 110 может получить признак лица посредством отслеживания лица в видеопотоке или способом извлечения признаков, который не ограничен в настоящей заявке.
[0074] S502: Процессор 110 определяет информацию о положении и/или информацию об изменении лица на основе признака лица первого видеоизображения.
[0075] Информация о положении используется для представления отклонения головы человека, указанного признаком лица в первом видеоизображении, а информация об изменении лица используется для представления состояния изменения положения головы человека в первом видеоизображении и втором видеоизображении. Например, информация о положении может включать в себя по меньшей мере одно из горизонтального отклонения, используемого для представления поворота головы человека влево или вправо, вертикального отклонения, используемого для представления подъема или опускания головы человека, и наклона, используемого для представления степени наклона головы человека. Информация об изменении лица может включать в себя по меньшей мере одно из смещения положения головы человека в первом видеоизображении относительно положения головы человека во втором видеоизображении и сходства изображения между изображением лица первого видеоизображения и изображением лица второго видеоизображения.
[0076] S503: Процессор 110 определяет, является ли признак лица первого видеоизображения недопустимым признаком, на основе информации о положении и/или информации об изменении лица.
[0077] В одном примере процессор 110 может определить, является ли признак лица недопустимым признаком, на основе информации о положении и/или информации об изменении лица следующим образом:
[0078] Процессор 110 определяет, что признак лица в первом видеоизображении является недопустимым признаком, когда определяется, что выполняется по меньшей мере одно из следующих условий 1-5.
[0079] Условие 1: Смещение положения головы человека в первом видеоизображении относительно положения головы человека во втором видеоизображении, включенном в информацию об изменении лица, больше первого порогового значения.
[0080] Условие 2: Сходство изображения между изображением лица первого видеоизображения и изображением лица второго видеоизображения, включенным в информацию об изменении лица, больше второго порогового значения.
[0081] Условие 3: Горизонтальное отклонение, используемое для представления поворота головы человека влево или вправо, включенное в информацию о положении, больше третьего порогового значения.
[0082] Условие 4: Вертикальное отклонение, используемое для представления подъема или опускания головы человека, включенного в информацию о положении, больше четвертого порогового значения.
[0083] Условие 5: Наклон, используемый для представления степени наклона головы человека, включенной в информацию о положении, больше пятого порогового значения.
[0084] Например, первое пороговое значение, второе пороговое значение, третье пороговое значение, четвертное пороговое значение и пятое пороговое значение могут быть предварительно сконфигурированными значениями, например, первое пороговое значение, второе пороговое значение, третье пороговое значение, четвертное пороговое значение и пятое пороговое значение предварительно сохраняется в памяти 120. Например, первое пороговое значение и второе пороговое значение могут быть определены на основании требования модели трехмерной реконструкции для краткосрочного диапазона движения лица. Например, когда диапазон движения большой и движение быстрое, и когда угол лица корректируется с использованием модели трехмерной реконструкции, лицо деформируется. Например, третье пороговое значение может быть определено на основе требования модели трехмерной реконструкции для угла поворота лица левого или правого поворота головы. Например, когда угол поворота головы влево или вправо велик, и когда угол лица корректируется с использованием модели трехмерной реконструкции, лицо деформируется. Например, четвертное пороговое значение может быть определено на основе требования модели трехмерной реконструкции для угла лица при подъеме или опускании головы. Например, когда угол подъема или опускания головы большой, и когда угол лица корректируется с использованием модели трехмерной реконструкции, лицо деформируется. Например, пятое пороговое значение может быть определено на основе требования модели трехмерной реконструкции для угла наклона лица при наклоне головы. Например, когда угол наклона головы велик, и когда угол лица корректируется с использованием модели трехмерной реконструкции, лицо деформируется.
[0085] Например, определение того, является ли признак лица видеоизображения в видеопотоке недопустимым признаком, используется в качестве примера, то есть первое видеоизображение является изображением в видеопотоке. Во время определения может быть упомянута информация об изменении лица. Определение может выполняться на основе информации об изменении лица или на основе информации о положении и информации об изменении лица. Например, когда определяется, что любое из условий с 1 по 5 удовлетворяется, определяется, что признак лица в видеоизображении в видеопотоке является недопустимым признаком. Когда определяется, что ни одно из условий с 1 по 5 не выполняется, определяется, что признак лица в видеоизображении в видеопотоке является допустимым признаком. В качестве другого примера, определение того, является ли признак лица одного видеоизображения (видеоизображение не изображением в видеопотоке, а изображением, снятым отдельно) недопустимым признаком, используется в качестве примера, то есть первое видеоизображение это изображение, снятое отдельно. Во время определения того, является ли признак лица первого видеоизображения недопустимым признаком, информация об изменении лица не упоминается, и в этом случае определение может выполняться только на основе информации о положении. Например, когда определяется, что любое из условий с 3 по 5 удовлетворяется, определяется, что признак лица первого видеоизображения является недопустимым признаком. Когда определяется, что ни одно из условий с 3 по 5 не выполняется, определяется, что признак лица первого видеоизображения является допустимым признаком.
[0086] Следует понимать, что, когда определяется, что выполняется по меньшей мере одно из следующих условий, порядок определения условий может не быть настроен, или, конечно, порядок определения условий может быть настроен, что не ограничивается в этом варианте осуществления настоящей заявки. Когда порядок определения условий настроен, например, порядок условия 1 -> условие 2 -> условие 3 -> условие 4 -> условие 5 настраивается для определения. Сначала определяется условие 1, а когда выполняется условие 1, определяется, что признак лица первого видеоизображения является недопустимым признаком. В этом случае условие 2 - условие 5 может больше не определяться. Когда условие 1 не выполняется, определяется, выполняется ли условие 2, и так далее.
[0087] Кроме того, когда порядок определения условий сконфигурирован, параметр, необходимый для определения условия, может быть определен на основе порядка определения условий. Затем на основе параметра определяется, выполняется ли условие. Если условие не выполняется, определяется параметр, необходимый для определения следующего условия, а затем определяется, выполняется ли следующее условие определения, и так далее. Например, порядок условия 1 -> условие 2 -> условие 3 -> условие 4 -> условие 5 конфигурируется для определения. Смещение определяется на основе признаков лица первого видеоизображения. Когда определяется, что смещение не удовлетворяет условию 1, сходство изображения определяется на основе признака лица первого видеоизображения. Когда определяется, что сходство изображения не удовлетворяет условию 2, горизонтальное отклонение определяется на основе признака лица первого видеоизображения. Конечно, если определено, что смещение удовлетворяет условию 1, определяется, что признак лица первого видеоизображения является недопустимым признаком. В этом случае больше не выполняется определение сходства изображения на основе признака лица первого видеоизображения, ни определение того, выполняется ли условие 2, и так далее.
[0088] Во время захвата видеоизображения возможно, что из видеоизображения будет захвачена только часть головы человека из-за внезапного подъема человека и других действий. Следовательно, количество точек признака, включенных в захваченный признак лица, может не соответствовать требованию для последующей коррекции угла лица. В этом случае может быть определено, что полученный признак лица является недопустимым признаком. В примере после получения признака лица первого видеоизображения и перед выполнением этапа S502 процессор 110 может сначала определить, что количество точек признака, включенных в признак лица, находится в пределах предварительно установленного диапазона количества, а затем выполнить этап S502, который то есть определять информацию о положении и/или информацию об изменении лица на основе признака лица первого видеоизображения. При определении того, что количество признаков лица первого видеоизображения выходит за пределы предварительно установленного диапазона количества, процессор 110 может напрямую определить, что полученный признак лица первого видеоизображения является недопустимым признаком. В другом примере после получения признака лица первого видеоизображения и перед выполнением этапа S502 процессор 110 может сначала определить, что количество точек признака, включенных в признак лица, является предварительно установленным пороговым значением количества, а затем выполнить этап S502, то есть, определять информацию о положении и/или информацию об изменении лица на основе признака лица первого видеоизображения. При определении того, что количество признаков лица первого видеоизображения не является предварительно установленным пороговым значением количества, процессор 110 может определить, что полученный признак лица первого видеоизображения является недопустимым признаком. Например, для трехмерной реконструкции головы человека требуется 68 точек признака. Если количество точек признака в полученном признаке лица не равно 68, определяется, что полученный признак лица является недопустимым признаком.
[0089] Например, предварительно установленный диапазон количества или предварительно установленное пороговое значение количества определяется в соответствии с требованием модели трехмерной реконструкции к количеству точек признака.
[0090] В одном примере, когда процессор 110 получает признак лица первого видеоизображения способом отслеживания лица, отслеживаемые точки признака могут превышать диапазон изображения из-за того, что движение лица является чрезмерно быстрым. На основании этого, когда процессор 110 получает признак лица первого видеоизображения на этапе S501, если признак лица первого видеоизображения включает в себя точки признака, которые превышают диапазон изображения, процессор 110 определяет, что признак лица первого видеоизображения изображение является недопустимым признаком и больше не выполняет S502.
[0091] В возможной реализации во время последующей коррекции угла лица может потребоваться уменьшение или увеличение доли лица в видеоизображении. В этом случае процессор 110 может, в частности, выполнять этап S502 следующим образом:
определение информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, когда признак лица не включает в себя точку признака, расположенную в краевой области первого видеоизображения. Например, когда признак лица первого видеоизображения включает в себя точку признака, расположенную в краевой области первого видеоизображения, процессор 110 напрямую определяет, что признак лица первого видеоизображения является недопустимой точкой признака. Например, как показано на фиг. 6A, некоторые из точек признака, включенных в признак брови, расположены в краевой области видеоизображения. Следовательно, после коррекции угла лица с помощью технологии трехмерной реконструкции остается область черного пространства.
[0092] В частности, процессор 110 может определить, включает ли признак лица первого видеоизображения точку признака, расположенную за пределами краевой области первого видеоизображения, следующими способами:
[0093] Способ 1: Уменьшение или увеличение доли лица в видеоизображении может указываться коэффициентом масштабирования, так что процессор 110 может определять размер краевой области на основе коэффициента масштабирования и определять, основываясь на размере краевой области , включает ли признак лица первого видеоизображения точку признака, расположенную за пределами краевой области первого видеоизображения. Обратимся к краевой области, показанной на фиг. 6B, например.
[0094] Способ 2: Процессор 110 может определять пороговое значение расстояния на основе коэффициента масштабирования, и когда признак лица включает в себя точку признака, расстояние которой от края первого видеоизображения меньше порогового значения расстояния, определять, что признак лица первого видеоизображения включает в себя точку признака, расположенную за пределами краевой области первого видеоизображения. Когда признак лица не включает в себя точку признака, расстояние которой от края первого видеоизображения меньше порогового значения расстояния, определяется, что признак лица первого видеоизображения не включает в себя точку признака, расположенную за пределами краевой области первого видеоизображения.
[0095] Следует отметить, что край изображения относится к кругу пикселей, расположенному на самом внешнем слое изображения. Обратимся к краю изображения, показанного на фиг. 6C, например.
[0096] Далее используются примеры для описания процесса, в котором процессор 110 определяет информацию о положении и/или информацию об изменении лица на основе признака лица первого видеоизображения. Как описано выше, информация о положении может включать в себя по меньшей мере одно из горизонтального отклонения, вертикального отклонения и наклона. Информация об изменении лица может включать в себя по меньшей мере одно из смещения и сходства изображения.
[0097] Пример 1 описывает способ определения смещения в информации об изменении лица на основе признака лица первого видеоизображения.
[0098] Признак лица первого видеоизображения, полученного процессором 110, может включать в себя N групп точек признака. N групп точек признака можно разделить на основе органов лица, которым принадлежат точки признака. N - положительное целое число, большее или равное 1, то есть разные группы точек признака принадлежат разным органам лица, а одна и та же группа точек признака принадлежит одному и тому же органу лица.
[0099] Например, как показано на фиг. 7, признаки лица включают в себя признак брови, признак глаз, признак щеки, признак носа, признак рта и признак подбородка. В качестве примера, во время группирования точки признака, принадлежащие к признакам брови, могут быть классифицированы в одну группу, точки признака, принадлежащие к признаку глаза, могут быть классифицированы в одну группу, точки признака, принадлежащие к признаку рта, могут быть отнесены к одной группе, точки признака, принадлежащие признаку носа, могут быть классифицированы в одну группу, точки признака, принадлежащие признаку подбородка, могут быть классифицированы в одну группу, а точки признака, принадлежащие признакам щеки щек, могут быть классифицированы в одну группу. В другом примере способа брови могут быть разделены на левую бровь и правую бровь, глаза могут быть разделены на левый глаз и правый глаз, а щеки могут быть разделены на левую щеку и правую щеку. Во время группирования точки признака, принадлежащие к признаку брови, классифицируются на две группы, то есть точки признака, принадлежащие к признаку левой брови, классифицируются в одну группу, а точки признака, принадлежащие к признаку правой брови, классифицируются в одну группу.; точки признака, принадлежащие признаку глаза, классифицируются на две группы, то есть точки признака, принадлежащие признаку левого глаза, классифицируются в одну группу, а точки признака, принадлежащие признаку правого глаза, классифицируются в одну группу; точки признака, принадлежащие к признаку щеки, классифицируются на две группы, то есть точки признака, принадлежащие к признаку левой щеки, классифицируются в одну группу, а точки признака, принадлежащие к признаку правой щеки, классифицируются в одну группу; точки признака, принадлежащие признаку рта, классифицируются в одну группу; точки признака, принадлежащие признаку носа, классифицируются в одну группу; и точки признака, принадлежащие признаку подбородка, классифицируются в одну группу.
[00100] Процессор 110 может определять смещение в информации об изменении лица на основе признака лица первого видеоизображения следующим образом:
определение расстояния между опорной точкой i-й группы точек признака в первом видеоизображении и опорной точкой i-й группы точек признака во втором видеоизображении для получения N групп расстояний, где i представляет собой положительное целое число, меньшее или равное N.
[00101] В возможном варианте среднее значение N групп расстояний может быть определено как смещение. Другим способом среднее значение нормализованных N групп расстояний может быть определено как смещение.
[00102] Например, опорная точка i-й группы точек признака может быть предварительно установленной точкой признака в i-й группе точек признака, или опорная точка i-й группы точек признака может быть пикселем, соответствующим среднее значение координат i-й группы точек признака. Например, признак подбородка на фиг. 7 используется в качестве примера. Точки признака, включенные в признак подбородка, являются точками 51-57 признака, а опорной точкой группы, к которой принадлежит признак подбородка, может быть одна из точек 51-57 признака, например точка 54 признака. В качестве альтернативы вычисляется среднее значение горизонтальных координат точек 51-57 признака и среднее значение вертикальных координат точек 51-57 признака соответственно, а пиксель, соответствующий полученным координатам в первом видеоизображении (или втором видеоизображении) ) является опорной точкой.
[00103] Например, процессор 110 может нормализовать N групп расстояний, используя расстояние между двумя глазами в первом видеоизображении в качестве опорного значения. Расстояние между двумя глазами может быть расстоянием между идентифицированным зрачком левого глаза и идентифицированным зрачком правого глаза. В качестве альтернативы расстояние между двумя глазами может быть расстоянием между опорной точкой признака левого глаза и опорной точкой признака правого глаза в первом видеоизображении. Опорная точка признака левого глаза может быть пикселем, соответствующим среднему значению координат точек признака, включенных в признак левого глаза, а опорная точка признака правого глаза может быть пикселем, соответствующим среднему значению координат точки признака, включенной в признак правого глаза.
[00104] Пример 2 описывает способ, которым процессор 110 определяет сходство изображения в информации об изменении лица на основе признака лица первого видеоизображения.
[00105] Признак лица полученного первого видеоизображения могут включать в себя M групп точек признака. Группы M точек признака могут быть разделены на основе органов лица, которым принадлежат точки признака. M - положительное целое число, большее или равное 1, то есть разные группы точек признака принадлежат разным органам лица, а одна и та же группа точек признака принадлежит одному и тому же органу лица. Например, способ группировки признаков лица в примере 2 может быть таким же, как и способ группирования признаков лица в примере 1, или отличаться от него.
[00106] После группирования признаков лица процессор 110 может получить локальное изображение признака группы на основе диапазона, включенного в каждую группу точек признака, например, как показано на фиг. 8.
[00107] Определение сходства изображения в информации об изменении лица на основе признака лица первого видеоизображения может быть реализовано следующим образом:
определение сходства между j-м локальным изображением признака в первом видеоизображении и j-м локальным изображением признака во втором видеоизображении для получения M сходств, где j представляет собой положительное целое число, меньшее или равное N; и определение среднего значения N сходств как сходства изображения.
[00108] j-е локальное изображение признака в первом видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака первого видеоизображения. j-е локальное изображение признака во втором видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака второго видеоизображения.
[00109] Например, размер j-го локального изображения признака в первом видеоизображении такой же, как размер j-го локального изображения признака во втором видеоизображении. Когда размер j-го локального изображения признака в первом видеоизображении отличается от размера j-го локального изображения признака во втором видеоизображении, размер j-го локального изображения признака в первом видеоизображении или размер j-го локального изображения признака во втором видеоизображении может быть отрегулирован так, чтобы размер j-го локального изображения признака в первом видеоизображении был таким же, как размер j-ого локального изображения признака во втором видеоизображении.
[00110] В примере, когда j-е локальное изображение признака в первом видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака первого видеоизображения, может быть определено j-е изображение, сформированное диапазоном, заключенным j-й группой точек признака первого видеоизображения, и разница между значением пикселя каждого пикселя j-го изображения первого видеоизображения и средним значением пикселей j-го изображения первого видеоизображения вычисляется, чтобы получить j-е локальное изображения признака первого видеоизображения. Аналогичным образом, когда j-е локальное изображение признака во втором видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака второго видеоизображения, может быть определено j-е изображение, сформированное пикселями в диапазоне, заключенном j-й группой точек признака второго видеоизображения, и разница между значением пикселя каждого пикселя j-го изображения второго видеоизображения и средним значением пикселей j-го изображения второго видеоизображения вычисляется, чтобы получить j-е локальное изображение признака второго видеоизображения.
[00111] Например, j-е изображение формируется диапазоном, заключенным j-й группой точек признака определяемого видеоизображения (первое видеоизображение или второе видеоизображение), а j-е изображение включает в себя L пикселей. j-е локальное изображения признака определяемого видеоизображения можно определить по следующей формуле:
fj k(x,y) = gj k(x,y)-
где fj k(x,y) представляет значение пикселя k-го пикселя j-го локального изображения признака определяемого видеоизображения; gj k (x,y) представляет значение пикселя k-го пикселя j-го изображения видеоизображения, подлежащего определению.
[00112] Например, сходство может быть среднеквадратической ошибкой, структурным сходством (structural similarity, SSIM), отношением сигнал/шум (signal to noise ratio, SNR), пиковым отношением сигнала к шуму (peak signal to noise ratio, PSNR), или тому подобное.
[00113] Пример 3 описывает способ, которым процессор 110 определяет горизонтальное отклонение в информации о положении на основе признака лица первого видеоизображения. В частности, можно использовать любой из следующих способов:
[00114] Способ 1: Признаки лица включают в себя признак левой щеки, признак правой щеки и признак носа;
определяется первое расстояние между опорной точкой признака левой щеки и опорной точкой признака носа, а также определяется второе расстояние между опорной точкой признака правой щеки и опорной точкой признака носа; и
отношение первого расстояния ко второму расстоянию определяется в качестве горизонтального отклонения, или отношение второго расстояния к первому расстоянию определяется в качестве горизонтального отклонения, где
опорная точка признака левой щеки является предварительно установленной точкой признака в признаке левой щеки , опорная точка признака носа является предварительно установленной точкой признака в признаке носа, а опорная точка признака правой щеки является предварительно установленной точкой признака признаке правой щеки; или
опорной точкой признака левой щеки является пиксель, соответствующий среднему значению координат признака левой щеки, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, включенных в признак носа, и опорная точка признака правой щеки представляет собой пиксель, соответствующий среднему значению координат точек признака, включенных в признак правой щеки; или
опорной точкой признака левой щеки является центральный пиксель изображения признака левой щеки, образованный диапазоном, заключенным точками признака, включенными в признак левой щеки, опорной точкой признака носа является центральный пиксель изображения признака носа формируется диапазоном, заключенным точками признака, включенными в признак носа, а опорной точкой признака правой щеки является центральный пиксель изображения признака правой щеки, образованной диапазоном, заключенным точками признака, включенными в признак правой щеки.
[00115] Способ 2: Признаки лица включают в себя точку кончика носа и точку спинки носа;
получены трехмерные координаты точки кончика носа и точки спинки носа на признаках лица; в частности, трехмерные координаты точки кончика носа и точки спинки носа в признаке лица могут быть определены на основе отношения преобразования между системой координат изображения и системой координат камеры; и
Горизонтальное отклонение определяется на основе трехмерных координат точки кончика носа и точки спинки носа. Например, трехмерные координаты точки кончика носа - (xn, yn, zn), а трехмерные координаты точки спинки носа - (xs, ys, zs). В частности, горизонтальное отклонение можно определить с помощью следующей формулы, где Xw представляет собой горизонтальное отклонение.
Xw = arctan (
)
[00116] Пример 4 описывает способ определения вертикального отклонения в информации о положении на основе признака лица первого видеоизображения. В частности, можно использовать любой из следующих способов:
[00117] Способ 1: Признаки лица включают в себя признак глаза, признак подбородка и признак носа;
определяется третье расстояние между опорной точкой признака глаза и опорной точкой признака носа, и определяется четвертое расстояние между опорной точкой признака подбородка и опорной точкой признака носа; и
отношение третьего расстояния к четвертому расстоянию определяется в качестве горизонтального отклонения, или отношение четвертого расстояния к третьему расстоянию определяется как вертикальное отклонение, где
опорная точка признака глаза является предварительно установленной точкой признака в признаке глаза, опорной точкой признака носа является предварительно установленная точка признака в признаке носа, а опорная точка признака подбородка является предварительно установленной точкой признака в признаке подбородка; или
опорной точкой признака глаза является пиксель, соответствующий среднему значению координат точек признака, включенных в признак глаза, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, включенных в признак носа, и опорная точка признака подбородка представляет собой пиксель, соответствующий среднему значению координат точек признака, включенных в признак подбородка; или
опорной точкой признака глаза является центральный пиксель изображения признака левой щеки, образованного диапазоном, заключенным точками признака, включенными в признак глаза, опорной точкой признака носа является центральный пиксель изображения признака носа, образованного диапазоном, заключенным точками признака, включенными в признак носа, а опорной точкой признака подбородка является центральный пиксель изображения признака правой щеки, образованный диапазоном, заключенным точками признака, включенными в признак подбородка.
[00118] Способ 2: Признаки лица включают в себя точку кончика носа и точку спинки носа;
получены трехмерные координаты точки кончика носа и точки спинки носа на признаках лица; в частности, трехмерные координаты точки кончика носа и точки спинки носа в признаке лица могут быть определены на основе отношения преобразования между системой координат изображения и системой координат камеры; и
Горизонтальное отклонение определяется на основе трехмерных координат точки кончика носа и точки спинки носа. Например, трехмерные координаты точки кончика носа - (xn, yn, zn), а трехмерные координаты точки спинки носа - (xs, ys, zs). В частности, вертикальное отклонение можно определить с помощью следующей формулы, где Yw представляет собой вертикальное отклонение.
Yw = arctan
[00119] Пример 5 описывает способ определения наклона в информации о положении на основе признака лица первого видеоизображения.
[00120] Признаки лица включают в себя признак левого глаза и признак правого глаза. В частности, наклон можно определить следующим образом:
определение угла в горизонтальном направлении смещения линии соединения между опорной точкой признака левого глаза и опорной точкой признака правого глаза как наклон, где
опорной точкой признака левого глаза является пиксель, соответствующий среднему значению координат точек признака, включенных в признак левого глаза, а опорной точкой признака правого глаза является пиксель, соответствующий среднему значению координат точек признака, включенных в признак правого глаза; или
опорной точкой признака левого глаза является точка признака зрачка левого глаза на признаке левого глаза, а опорной точкой признака правого глаза является точка признака зрачка правого глаза на признаке правого глаза; или
опорной точкой признака левого глаза является центральный пиксель изображения признака левого глаза, образованного диапазоном, заключенным точками признака, включенными в признак левого глаза, а опорной точкой признака правого глаза является центральный пиксель изображения признака правого глаза, образованное диапазоном, заключенным точками признака, включенными в признак правого глаза.
[00121] Например, координаты опорной точки признака левого глаза (x1, y1), а координаты опорной точки признака правого глаза (x2, y2). Наклон Zw можно определить по следующей формуле:
Zw = arctan
[00122] Что касается конкретной сцены приложения, нижеследующее подробно описывает решение, предоставленное в этом варианте осуществления настоящей заявки.
[00123] Приложение для сцены видеосъемки используется в качестве примера, а коррекция угла лица в видеоизображении, захваченном камерой 130, используется в качестве примера для подробного описания процесса реализации настоящей заявки с использованием технологии трехмерной реконструкции, такой как модель 3DMM, для определения допустимости признака лица перед коррекцией угла лица. Поскольку влияние технологии 3DMM на трехмерную реконструкцию лица основано на допустимости признака лица, сначала необходимо определить допустимость признака лица. Например, когда точка признака является недопустимой, трехмерная реконструкция не может выполняться на кадре видеоизображения, чтобы предотвратить плохой результат реконструкции (как показано на фиг. 2), тем самым улучшая взаимодействие с пользователем.
[00124] Фиг. 9 - схематическая блок-схема последовательности операций способа определения допустимости признака лица. Способ может выполняться электронным устройством или процессором 110 электронного устройства. Например, камера 130 собирает кадр видеоизображения в видеопотоке, а затем вводит кадр видеоизображения в процессор 110. Процессор 110 определяет допустимость признака лица. Для простоты описания подлежащее обработке видеоизображение в этом варианте осуществления также упоминается как первое видеоизображение, а кадр изображения, предшествующий первому видеоизображению в видеопотоке, упоминается как второе видеоизображение. Кроме того, на фиг. 9, настройка порядка выполнения нескольких условий используется в качестве примера для иллюстрации. Порядок выполнения условия 1 -> условие 2 -> условие 3 -> условие 4 -> условие 5 является только примером и конкретно не ограничивает конкретный порядок выполнения условия 1 условием 5. Способ может включать в себя следующие этапы:
[00125] S901: Получение первого видеоизображения и получение признака лица первого видеоизображения. Например, признаки лица включают в себя признаки левой щеки, признаки правой щеки, признаки носа, признаки рта, признаки левого глаза, признаки правого глаза, признаки левой брови и признаки правой брови.
[00126] S902: Определение, является ли количество точек признака, включенных в признак лица, предварительно установленным пороговым значением количества. Если да, выполняется S909. Если нет, выполняется S903. S902 является лишь примером. В качестве альтернативы, на основе предварительно установленного диапазона количества можно определить, соответствует ли количество точек признака, включенных в признак лица, требованию для трехмерной реконструкции. Фиг. 9 в качестве примера используется предварительно установленное пороговое значение количества.
[00127] S903: Определение, есть ли точка признака, расположенная в краевой области изображения или за пределами диапазона изображения среди точек признака, включенных в признак лица. Если да, выполняется S909. Если нет, выполняется S904.
[00128] S904: Группирование точек признака, включенных в признак лица, на основе органов, которым принадлежат точки признака, чтобы получить m групп. Например, как показано на фиг. 8, группы m представляют собой восемь групп, включающих в себя группу признаков левой щеки, группу признаков правой щеки, группу признаков носа, группу признаков рта, группу признаков левого глаза, группу признаков правого глаза, группу признаков левой брови, и группа признаков правой брови.
[00129] После завершения группирования получаются опорные точки этих групп точек признака. В варианте осуществления, показанном на фиг. 9, опорная точка группы точек признака представляет собой пиксель, соответствующий среднему значению координат точек признака, включенных в группу, например, как показано на фиг. 10.
[00130] S905: Определение того, больше ли смещение положения головы человека в первом видеоизображении относительно положения головы человека во втором видеоизображении чем первое пороговое значение. Если да, выполняется S909. Если нет, выполняется S906.
[00131] Например, расстояние между опорной точкой i-й группы точек признака в первом видеоизображении и опорной точкой i-й группы точек признака во втором видеоизображении определяется для получения m групп расстояний, где i представляет собой положительное целое число, меньшее или равное m. Чтобы исключить влияние расстояния между головой человека и экраном на размер изображения, m групп расстояний могут быть нормализованы. Например, нормализация выполняется с использованием расстояния между опорной точкой левого глаза и опорной точкой правого глаза в первом видеоизображении в качестве опорного значения для получения нормализованных m групп расстояний. Среднее значение нормализованных m групп расстояний определяется как смещение положения головы человека на первом видеоизображении относительно положения головы человека на втором видеоизображении.
[00132] S906: Получение локального изображения признака каждой группы точек признака на основе диапазона, заключенного каждой группой.
[00133] Например, изображения, образованные диапазонами, заключенными группами точек признака первого видеоизображения и второго видеоизображения, соответствуют одно за другим и преобразуются в одинаковый размер. Значение пикселя каждого пикселя в каждом изображении после преобразования размера за вычетом среднего значения пикселя изображения, тем самым устраняя влияние интенсивности света и получая локальное изображение признака каждой группы.
[00134] S907: Определение того, больше ли сходство изображения между признаками лица первого видеоизображения и второго видеоизображения чем второе пороговое значение, на основе локального изображения признака каждой группы в первом видеоизображении и втором видеоизображении. Если да, выполняется S909. Если нет, выполняется S908.
[00135] Например, сходство определяется на основе среднеквадратической ошибки. Получают среднеквадратическую ошибку локальных изображений признаков одной и той же группы органов первого видеоизображения и второго видеоизображения. Если среднее значение среднеквадратичных ошибок всех локальных изображений признаков больше второго порогового значения, можно определить, что части, показанные на изображениях локальных областей тех же частей, сильно изменяются, отслеживание точек признака неточно, и признак лица является недопустимым.
[00136] S908: Определение - не чрезмерно ли велико отклонение головы человека. Если нет, процесс завершается. Если да, выполняется S909.
[00137] Например, отклонение головы человека может включать в себя горизонтальное отклонение, вертикальное отклонение и наклон. Конкретный способ расчета был описан выше, и подробности здесь снова не описываются.
[00138] Например, определяется, не чрезмерно ли велико отклонение головы человека. В частности, когда определяется, что выполняется любое из следующих условий, определяется, что отклонение головы человека чрезмерно велико:
условие 3: горизонтальное отклонение больше третьего порогового значения;
условие 4: вертикальное отклонение больше четвертого порогового значения; или
условие 5: наклон больше пятого порогового значения.
[00139] S909: Определение того, что этот признак лица является недопустимым признаком.
[00140] Например, при определении того, что первое видеоизображение является недопустимым признаком, процессор 110 может не выполнять обработку трехмерной реконструкции первого видеоизображения, а отображать первое видеоизображение пользователю через экран 140 дисплея. При определении того, что первое видеоизображение является допустимым признаком, процессор 110 может выполнять обработку трехмерной реконструкции первого видеоизображения и отображать первое видеоизображение после обработки трехмерной реконструкции пользователю через экран 140 дисплея.
[00141] На основе той же концепции, что и вышеупомянутый способ, вариант осуществления настоящей заявки дополнительно предоставляет устройство 10. Как показано на фиг. 10, устройство 1100 может быть, в частности, процессором в электронном устройстве, или микросхемой, или системой микросхем, или модулем в электронном устройстве, и т.п. Например, устройство может включать в себя блок 1001 получения, первый блок 1002 определения и второй блок 1003 определения. Блок 1001 получения, первый блок 1002 определения и второй блок 1003 определения выполнены с возможностью выполнения этапов способа, показанных в вариантах осуществления, соответствующих фиг. 5 и фиг. 9. Например, блок 1001 получения может быть выполнен с возможностью получения признака лица первого видеоизображения. Первый блок 1002 определения выполнен с возможностью определения информации о положении и/или информации об изменении лица на основе признака лица. Второй блок 1003 определения выполнен с возможностью определения того, является ли признак лица недопустимым признаком, на основе информации о положении и/или информации об изменении лица.
[00142] Вариант осуществления настоящей заявки дополнительно предоставляет электронное устройство. Как показано на фиг. 11, электронное устройство 11 может включать в себя процессор 1110. Необязательно, электронное устройство 11 может дополнительно включать в себя память 1120. Память 1120 может быть расположена внутри электронного устройства 11 или может быть расположена вне электронного устройства 11. Блок 1001 получения, первый блок 1002 определения и второй блок 1003 определения, показанные на фиг. 10, могут быть полностью реализованы процессором 1110. Необязательно, устройство 11 может дополнительно включать в себя экран 1130 дисплея и камеру 1140. Процессор 1110 связан с памятью 1120, экраном 1130 дисплея и камерой 1140. Соединения в этом варианте осуществления данной заявки представляют собой косвенные связи или коммуникационные соединения между устройствами, блоками или модулями и могут быть электрическими, механическими или другой формы и используются для обмена информацией между устройствами, блоками или модулями. Следует отметить, что экран дисплея и камера в этом варианте осуществления настоящей заявки могут располагаться или не располагаться на электронном устройстве. Например, экран дисплея и/или камера могут использоваться как внешнее устройство для подключения к электронному устройству.
[00143] В частности, память 1120 выполнена с возможностью хранения программной инструкции. Экран 1130 дисплея выполнен с возможностью отображения интерфейса предварительного просмотра фотографий, а интерфейс предварительного просмотра фотографий включает в себя изображение, собираемое камерой 1140. Процессор 1110 выполнен с возможностью вызова программной инструкции, хранящейся в памяти 1120, так что электронное устройство 1100 выполняет этапы, выполняемые электронным устройством в способе определения допустимости признака лица, показанного на фиг. 5 и фиг. 9.
[00144] Следует понимать, что электронное устройство 1100 может быть выполнено с возможностью реализации способа определения допустимости признака лица, показанного на фиг. 5 и фиг. 9 в этом варианте осуществления настоящей заявки. Для получения информации о связанных признаках см. предыдущее описание. Подробности не описаны здесь снова.
[00145] Специалист в данной области техники должен понимать, что варианты осуществления настоящей заявки могут быть предоставлены как способ, система или компьютерный программный продукт. Следовательно, настоящая заявка может использовать форму вариантов осуществления только аппаратных средств, вариантов осуществления только программного обеспечения или варианты осуществления с комбинацией программного и аппаратного обеспечения. Кроме того, настоящая заявка может использовать форму компьютерного программного продукта, который реализован на одном или нескольких пригодных для использования компьютером носителях (включая, помимо прочего, запоминающее устройство на магнитных дисках, CD-ROM, оптическую память и т.п.), включая компьютерный программный код.
[00146] Настоящая заявка описана со ссылкой на блок-схемы и/или блок-схемы последовательности операций способа, устройства (системы) и компьютерного программного продукта в соответствии с вариантами осуществления настоящей заявки. Следует понимать, что компьютерные программные инструкции могут использоваться для реализации каждого процесса и/или каждого блока в блок-схемах последовательности операций и/или блок-схемах, а также комбинации процесса и/или блока в блок-схемах последовательности операций и/или блок-схемах. Эти компьютерные программные инструкции могут быть предоставлены для универсального компьютера, специализированного компьютера, встроенного процессора или процессора другого программируемого устройства обработки данных для создания машины, так что инструкции, выполняемые компьютером или процессором другого программируемого устройства устройство обработки данных формирует устройство для реализации конкретной функции в одном или нескольких процессах в блок-схемах последовательности операций и/или в одном или нескольких блоках на блок-схемах.
[00147] Эти компьютерные программные инструкции могут храниться в считываемой компьютером памяти, которая может давать команду компьютеру или другому программируемому устройству обработки данных работать определенным образом, поэтому инструкции, хранящиеся в считываемой компьютером памяти, формируют продукт, который включает в себя устройство инструкций. Устройство инструкций реализует конкретную функцию в одном или нескольких процессах на блок-схемах последовательности операций и/или в одном или нескольких блоках на блок-схемах.
[00148] В качестве альтернативы эти компьютерные программные инструкции могут быть загружены в компьютер или другое программируемое устройство обработки данных, так что на компьютере или другом программируемом устройстве выполняется последовательность операций и этапов, тем самым формируя реализованную на компьютере обработку. Следовательно, инструкции, выполняемые на компьютере или другом программируемом устройстве, предоставляют этапы для реализации конкретной функции в одном или нескольких процессах на блок-схемах последовательности операций и/или в одном или нескольких блоках на блок-схемах.
[00149] Ясно, что специалист в данной области техники может внести различные модификации и изменения в варианты осуществления настоящей заявки, не выходя за пределы объема вариантов осуществления настоящей заявки. Настоящая заявка предназначена для охвата этих модификаций и вариаций при условии, что они подпадают под объем защиты, определенный следующей формулой изобретения и их эквивалентными технологиями.
| название | год | авторы | номер документа |
|---|---|---|---|
| СПОСОБ И УСТРОЙСТВО ДЛЯ ФОТОРЕАЛИСТИЧЕСКОГО ТРЕХМЕРНОГО МОДЕЛИРОВАНИЯ ЛИЦА НА ОСНОВЕ ИЗОБРАЖЕНИЯ | 2004 |
|
RU2358319C2 |
| Способ бесконтактного управления курсором мыши | 2015 |
|
RU2618389C2 |
| СПОСОБ ИДЕНТИФИКАЦИИ ЛИЧНОСТИ ЧЕЛОВЕКА | 2012 |
|
RU2488882C1 |
| СИСТЕМА И СПОСОБ РЕГИСТРАЦИИ ДВУХМЕРНЫХ ИЗОБРАЖЕНИЙ | 2005 |
|
RU2365995C2 |
| СПОСОБ ВИЗУАЛИЗАЦИИ 3D ПОРТРЕТА ЧЕЛОВЕКА С ИЗМЕНЕННЫМ ОСВЕЩЕНИЕМ И ВЫЧИСЛИТЕЛЬНОЕ УСТРОЙСТВО ДЛЯ НЕГО | 2021 |
|
RU2757563C1 |
| СИСТЕМА И СПОСОБ ОТСЛЕЖИВАНИЯ ОБЪЕКТА | 2004 |
|
RU2370817C2 |
| СПОСОБ И СИСТЕМА АВТОМАТИЧЕСКОЙ ПРОВЕРКИ ПРИСУТСТВИЯ ЛИЦА ЖИВОГО ЧЕЛОВЕКА В БИОМЕТРИЧЕСКИХ СИСТЕМАХ БЕЗОПАСНОСТИ | 2005 |
|
RU2316051C2 |
| СПОСОБ ОТОБРАЖЕНИЯ ТРЕХМЕРНОГО ЛИЦА ОБЪЕКТА И УСТРОЙСТВО ДЛЯ НЕГО | 2017 |
|
RU2671990C1 |
| СИСТЕМЫ, СПОСОБЫ И КОМПЬЮТЕРОЧИТАЕМЫЕ НОСИТЕЛИ ДЛЯ ВЫЯВЛЕНИЯ ВЕРОЯТНОГО ВЛИЯНИЯ МЕДИЦИНСКОГО СОСТОЯНИЯ НА ПАЦИЕНТА | 2014 |
|
RU2714264C2 |
| СПОСОБ ИЗМЕРЕНИЯ БЫСТРЫХ ДВИЖЕНИЙ ГЛАЗ И ОТКЛОНЕНИЙ БИНОКУЛЯРНОГО ЗРЕНИЯ И УСТРОЙСТВО ДЛЯ ЕГО РЕАЛИЗАЦИИ | 2007 |
|
RU2352244C2 |
Настоящее изобретение относится к области технологий обработки изображений и, в частности, к способу определения допустимости признака лица и электронному устройству. Технический результат заключается в упрощении трехмерной реконструкции лица в видеоизображении за счет предварительного анализа признака лица для определения возможности его использования в реконструкции. Способ включает в себя: определение информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, где информация о положении используется для представления отклонения головы человека, указанного признаком лица в первом видеоизображении, информация об изменении лица используется для представления состояния изменения положения головы человека в первом видеоизображении и втором видеоизображении, а второе видеоизображение представляет собой кадр изображения, предшествующий первому видеоизображению в видеопотоке, к которому относится первое видеоизображение; и определение того, является ли признак лица недопустимым признаком, на основе информации о положении и/или информации об изменении лица, и дальнейшее определение того, следует ли выполнять обработку трехмерной реконструкции на лице человека в первом видеоизображении. 4 н. и 6 з.п. ф-лы, 13 ил.
1. Способ определения возможности использования признака лица для трехмерной реконструкции лица в видеоизображении, содержащий:
получение посредством электронного устройства признака лица первого видеоизображения;
определение посредством электронного устройства информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, при этом информация о положении используется для представления отклонения головы человека, указанного признаком лица в первом видеоизображении, информация об изменении лица используется для представления состояния изменения положения головы человека в первом видеоизображении и втором видеоизображении, второе видеоизображение является кадром изображения, предшествующим первому видеоизображению в видеопотоке, которому принадлежит первое видеоизображение, и количество видеоизображений между вторым видеоизображением и первым видеоизображением находится в пределах предварительно установленного диапазона количества; и
определение посредством электронного устройства того, является ли признак лица признаком, который невозможно использовать для трехмерной реконструкции лица, на основе информации о положении и/или информации об изменении лица;
при этом информация о положении содержит по меньшей мере одно из горизонтального отклонения, используемого для представления поворота головы человека влево или вправо, вертикального отклонения, используемого для представления подъема или опускания головы человека, и наклона, используемого для представления степени наклона головы человека; или информация об изменении лица содержит по меньшей мере одно из смещения положения головы человека в первом видеоизображении относительно положения головы человека во втором видеоизображении и сходство изображения между изображением лица первого видеоизображения и изображением лица второго видеоизображения;
при этом признак лица содержит N групп точек признака, где N представляет собой положительное целое число, большее или равное 1, и разные группы точек признака принадлежат разным органам лица, при этом определение посредством электронного устройства смещения в информации об изменении лица на основе признака лица первого видеоизображения содержит:
определение посредством электронного устройства расстояния между опорной точкой i-й группы точек признака в первом видеоизображении и опорной точкой i-й группы точек признака во втором видеоизображении для получения N групп расстояний, где i представляет собой положительное целое число, меньшее или равное N; и
определение посредством электронного устройства среднего значения N групп расстояний в качестве смещения или определение среднего значения нормализованных N групп расстояний в качестве смещения.
2. Способ по п. 1, в котором определение посредством электронного устройства информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения содержит
определение посредством электронного устройства информации о положении и/или информации об изменении лица на основе признака лица первого видеоизображения, когда признак лица не включает в себя точку признака, расположенную в краевой области первого видеоизображения.
3. Способ по п. 1, в котором определение посредством электронного устройства того, является ли признак лица признаком, который невозможно использовать для трехмерной реконструкции лица, на основе информации о положении и/или информации об изменении лица содержит
определение электронным устройством того, что признак лица в первом видеоизображении является признаком, который невозможно использовать для трехмерной реконструкции лица, когда определяется, что выполняется по меньшей мере одно из следующих условий:
смещение больше первого порогового значения;
сходство изображений больше второго порогового значения;
горизонтальное отклонение больше третьего порогового значения;
вертикальное отклонение больше четвертого порогового значения; или
наклон больше пятого порогового значения.
4. Способ по п. 1, в котором признак лица содержит M групп точек признака, где M представляет собой положительное целое число, большее или равное 1, и разные группы точек признака принадлежат разным органам лица;
определение посредством электронного устройства сходства изображения в информации об изменении лица на основе признака лица первого видеоизображения содержит
определение посредством электронного устройства сходства между j-м локальным изображением признака в первом видеоизображении и j-м локальным изображением признака во втором видеоизображении для получения M сходств, где j представляет собой положительное целое число, меньшее или равное M;
j-е локальное изображение признака в первом видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака первого видеоизображения; j-е локальное изображение признака во втором видеоизображении определяется на основе диапазона, заключенного j-й группой точек признака второго видеоизображения; и
определение посредством электронного устройства среднего значения M сходств как сходства изображений.
5. Способ по любому из пп. 1, 3 или 4, в котором признак лица содержит признак левой щеки, признак правой щеки и признак носа;
определение посредством электронного устройства горизонтального отклонения на основе признаков лица первого видеоизображения содержит:
определение посредством электронного устройства первого расстояния между опорной точкой признака левой щеки и опорной точкой признака носа и второго расстояния между опорной точкой признака правой щеки и опорной точкой признака носа; и
определение посредством электронного устройства отношения первого расстояния ко второму расстоянию в качестве горизонтального отклонения или определение отношения второго расстояния к первому расстоянию в качестве горизонтального отклонения, при этом
опорная точка признака левой щеки является предварительно установленной точкой признака в признаке левой щеки, опорная точка признака носа является предварительно установленной точкой признака в признаке носа, а опорная точка признака правой щеки является предварительно установленной точкой признака в признаке правой щеки; или
опорной точкой признака левой щеки является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке левой щеки, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке носа, а опорной точкой признака правой щеки является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке правой щеки.
6. Способ по любому из пп. 1, 3, 4 или 5, в котором признак лица содержит признак глаза, признак подбородка и признак носа;
определение посредством электронного устройства вертикального отклонения на основе признаков лица первого видеоизображения содержит:
определение посредством электронного устройства третьего расстояния между опорной точкой признака глаза и опорной точкой признака носа и четвертого расстояния между опорной точкой признака подбородка и опорной точкой признака носа; и
определение посредством электронного устройства отношения третьего расстояния к четвертому расстоянию в качестве горизонтального отклонения или определение отношения четвертого расстояния к третьему расстоянию как вертикальное отклонение, при этом
опорная точка признака глаза является предварительно установленной точкой признака в признаке глаза, опорной точкой признака носа является предварительно установленной точкой признака в признаке носа, а опорная точка признака подбородка является предварительно установленной точкой признака в признаке подбородка; или
опорной точкой признака глаза является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке глаза, опорной точкой признака носа является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке носа, и опорная точка признака подбородка представляет собой пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке подбородка.
7. Способ по любому из пп. 1, 3, 4, 5 или 6, в котором признак лица содержит признак левого глаза и признак правого глаза;
определение посредством электронного устройства наклона на основе признака лица первого видеоизображения содержит
определение посредством электронного устройства угла в горизонтальном направлении смещения линии соединения между опорной точкой признака левого глаза и опорной точкой признака правого глаза в качестве наклона, при этом
опорной точкой признака левого глаза является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке левого глаза, а опорной точкой признака правого глаза является пиксель, соответствующий среднему значению координат точек признака, содержащихся в признаке правого глаза; или опорной точкой признака левого глаза является точка признака зрачка левого глаза в признаке левого глаза, а опорной точкой признака правого глаза является точка признака зрачка правого глаза в признаке правого глаза.
8. Электронное устройство для определения возможности использования признака лица для трехмерной реконструкции лица в видеоизображении, содержащее по меньшей мере один процессор и по меньшей мере одну память, при этом
память выполнена с возможностью хранения программной инструкции; и
процессор выполнен с возможностью чтения программной инструкции, хранящейся в памяти, для реализации способа по любому из пп. 1-7.
9. Компьютерный носитель данных, при этом компьютерный носитель данных хранит компьютерную инструкцию и, когда компьютерная инструкция выполняется на электронном устройстве, электронному устройству предоставляется возможность выполнять способ по любому из пп. 1-7.
10. Микросхема, при этом микросхема соединена с памятью в электронном устройстве и микросхема считывает и выполняет компьютерную инструкцию, хранящуюся в памяти, для выполнения способа по любому из пп. 1-7.
| Способ получения цианистых соединений | 1924 |
|
SU2018A1 |
| US 9916494 B2, 13.03.2018 | |||
| US 7623687 B2, 24.11.2009 | |||
| US 8457367 B, 04.06.2013 | |||
| Способ приготовления лака | 1924 |
|
SU2011A1 |
| СПОСОБ, СИСТЕМА И КОМПЬЮТЕРНЫЙ НОСИТЕЛЬ ДАННЫХ ДЛЯ ДЕТЕКТИРОВАНИЯ ЛИЦА | 2013 |
|
RU2601185C2 |
