СПОСОБ ОПРЕДЕЛЕНИЯ СТЕПЕНИ ЗАКРЫТИЯ ГЛАЗА ЧЕЛОВЕКА, СПОСОБ УПРАВЛЕНИЯ ГЛАЗОМ, АППАРАТ, УСТРОЙСТВО И НОСИТЕЛЬ ДАННЫХ Российский патент 2024 года по МПК A61B3/113 

Ссылка на родственную заявку

[0001] Согласно настоящей заявке испрашивается приоритет заявки на патент Китая №201910621637.5, поданной в Национальное управление интеллектуальной собственности Китая (CNIPA) 10 июля 2019 г., раскрытие которой включено в настоящий документ посредством ссылки во всей своей полноте.

Область техники, к которой относится настоящее изобретение

[0002] Настоящее изобретение относится к области технологий обработки изображений и в частности относится к способу и аппарату для определения степеней закрытия глаза человека, способу и аппарату для управления глазами, устройству и носителю данных.

Предшествующий уровень техники настоящего изобретения

[0003] С ростом популярности смарт-терминалов широко используются развлекательные приложения, такие как селфи, короткое видео и прямая трансляция. В процессе использования этих развлекательных приложений управление соответствующими приложениями с помощью движений глаз фотографа становится все более популярным.

[0004] Как одно из движений глаз, моргание может быть предназначено для управления моделями лица с целью моргания и запуска соответствующих инструкций для выполнения соответствующих операций. Однако в данной области техники одним из способов обнаружения моргания является идентификация моргания, то есть определение состояний двух узлов «глаза открыты» и «глаза закрыты» для определения того, происходит ли моргание. В другом способе моргание на лице также может быть обнаружено путем обнаружения и отслеживания выражений лица в видеоданных и переноса выражений лица на разные лица.

[0005] Хотя два вышеуказанных способа могут быть использованы для обнаружения моргания, степени закрытия глаза человека в процессе моргания не измеряются, поэтому обнаружение моргания неприменимо к сценариям, в которых соответствующие приложения управляются на основе степени закрытия глаза человека.

Краткое раскрытие настоящего изобретения

[0006] Согласно вариантам осуществления настоящего изобретения предлагаются способ и аппарат для определения степеней закрытия глаза человека, способ и аппарат для управления глазами, а также устройство и носитель данных, вследствие чего проблема обнаружения моргания неприменима к сценариям, в которых соответствующие приложения управляются на основе степеней закрытия глаза человека, решена.

[0007] Согласно вариантам осуществления настоящего изобретения предлагается способ определения степеней закрытия глаза человека.

Способ предусматривает:

[0008] получение изображения лица;

[0009] определение амплитуды открытия глаза человека и опорного расстояния на изображении лица;

[0010] вычисление относительной амплитуды, представляющей собой отношение амплитуды открытия глаза человека к опорному расстоянию;

[0011] получение максимальной относительной амплитуды; и

[0012] вычисление весового коэффициента закрытия глаза человека на изображении лица на основе относительной амплитуды и максимальной относительной амплитуды, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека.

[0013] Согласно вариантам осуществления настоящего изобретения дополнительно предлагается способ управления глазами.

Способ предусматривает:

[0014] получение изображения лица и модели лица;

[0015] получение весового коэффициента закрытия глаза человека на изображении лица, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека; и

[0016] управление глазом в модели лица на основе весового коэффициента закрытия глаза человека;

[0017] причем весовой коэффициент закрытия глаза определяют по способу определения степеней закрытия глаза человека в соответствии с любым из вариантов осуществления настоящего изобретения.

[0018] Согласно вариантам осуществления настоящего изобретения дополнительно предлагается способ управления глазами.

Способ предусматривает:

[0019] воспроизведение видеоданных, включающих множество кадров данных изображения, причем данные изображения включают изображение лица;

[0020] отображение модели лица для перекрывания изображения лица;

[0021] определение амплитуды открытия глаза человека и опорного расстояния на изображении лица в каждом из кадров;

[0022] вычисление относительной амплитуды, представляющей собой отношение амплитуды открытия глаза человека к опорному расстоянию;

[0023] получение максимальной относительной амплитуды;

[0024] вычисление весового коэффициента закрытия глаза человека на изображении лица на основе относительной амплитуды и максимальной относительной амплитуды; и

[0025] управление глазом в модели лица для моргания на основе весового коэффициента закрытия глаза человека.

[0026] Согласно вариантам осуществления настоящего изобретения дополнительно предлагается аппарат для определения степеней закрытия глаза человека. Аппарат содержит:

[0027] модуль получения изображения лица, выполненный с возможностью получения изображения лица;

[0028] модуль определения данных лица, выполненный с возможностью определения амплитуды открытия глаза человека и опорного расстояния на изображении лица;

[0029] модуль вычисления относительной амплитуды, выполненный с возможностью вычисления относительной амплитуды, представляющей собой отношение амплитуды открытия глаза человека к опорному расстоянию;

[0030] модуль получения максимальной относительной амплитуды, выполненный с возможностью получения максимальной относительной амплитуды; и

[0031] модуль вычисления весового коэффициента закрытия глаза человека, выполненный с возможностью вычисления весового коэффициента закрытия глаза человека на изображении лица на основе относительной амплитуды и максимальной относительной амплитуды, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека.

[0032] Согласно вариантам осуществления настоящего изобретения дополнительно предлагается аппарат для управления глазами.

Аппарат содержит:

[0033] модуль получения изображения лица и модели лица, выполненный с возможностью получения изображения лица и модели лица;

[0034] модуль получения весового коэффициента закрытия глаза человека, выполненный с возможностью получения весового коэффициента закрытия глаза человека на изображении лица, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека; и

[0035] модуль управления глазом, выполненный с возможностью управления глазом в модели лица на основе весового коэффициента закрытия глаза человека;

[0036] причем весовой коэффициент закрытия глаза человека определяется аппаратом для определения степеней закрытия глаза человека в соответствии с любым из вариантов осуществления настоящего изобретения.

[0037] Согласно вариантам осуществления настоящего изобретения дополнительно предлагается аппарат для управления глазами. Аппарат содержит:

[0038] модуль воспроизведения, выполненный с возможностью воспроизведения видеоданных, включающих множество кадров данных изображения, причем данные изображения включают изображение лица;

[0039] модуль отображения модели лица, выполненный с возможностью отображения модели лица для перекрывания изображения лица;

[0040] модуль определения данных лица, выполненный с возможностью определения амплитуды открытия глаза человека и опорного расстояния на изображении лица в каждом из кадров;

[0041] модуль вычисления относительной амплитуды, выполненный с возможностью вычисления относительной амплитуды, представляющей собой отношение амплитуды открытия глаза человека к опорному расстоянию;

[0042] модуль получения максимальной относительной амплитуды, выполненный с возможностью получения максимальной относительной амплитуды;

[0043] модуль вычисления весового коэффициента закрытия глаза человека, выполненный с возможностью вычисления весового коэффициента закрытия глаза человека на изображении лица на основе относительной амплитуды и максимальной относительной амплитуды; и

[0044] модуль управления моделью, выполненный с возможностью управления глазом в модели лица для моргания на основе весового коэффициента закрытия глаза человека.

[0045] Согласно вариантам осуществления настоящего изобретения дополнительно предлагается устройство.

Устройство содержит:

[0046] по меньшей мере один процессор; и

[0047] запоминающее устройство, в котором хранится по меньшей мере одна программа;

[0048] причем по меньшей мере одна программа при выполнении по меньшей мере одним процессором побуждает по меньшей мере один процессор выполнять способ определения степеней закрытия глаза человека и/или способ управления глазами в соответствии с любым из вариантов осуществления настоящего изобретения.

[0049] Согласно вариантам осуществления настоящего изобретения дополнительно предлагается машиночитаемый носитель данных, в котором хранится компьютерная программа, причем компьютерная программа, при выполнении процессором, побуждает процессор выполнять способ определения степеней закрытия глаза человека и/или способ управления глазами в соответствии с любым из вариантов осуществления настоящего изобретения.

Краткое описание фигур

[0050] На фиг.1 представлена блок-схема способа определения степеней закрытия глаза человека в соответствии с первым вариантом осуществления настоящего изобретения;

[0051] на фиг.2А представлена блок-схема способа определения степеней закрытия глаза человека в соответствии со вторым вариантом осуществления настоящего изобретения;

[0052] на фиг.2В представлено схематическое изображение ключевых точек лица в соответствии с одним из вариантов осуществления настоящего изобретения;

[0053] на фиг.3 представлена блок-схема способа управления глазами в соответствии с третьим вариантом осуществления настоящего изобретения;

[0054] на фиг.4А представлена блок-схема способа управления глазами в соответствии с четвертым вариантом осуществления настоящего изобретения;

[0055] на фиг.4 В представлено схематическое изображение эффекта моргания модели лица в соответствии с одним из вариантов осуществления настоящего изобретения;

[0056] на фиг.5 представлена структурная схема аппарата для определения степеней закрытия глаза человека в соответствии с пятым вариантом осуществления настоящего изобретения;

[0057] на фиг.6 представлена структурная схема аппарата для управления глазами в соответствии с шестым вариантом осуществления настоящего изобретения;

[0058] на фиг.7 представлена структурная схема аппарата для управления глазами в соответствии с седьмым вариантом осуществления настоящего изобретения; и

[0059] на фиг.8 представлена структурная схема устройства в соответствии с восьмым вариантом осуществления настоящего изобретения.

Подробное раскрытие настоящего изобретения

[0060] Настоящее изобретение будет описано ниже со ссылкой на прилагаемые чертежи и варианты осуществления. Описанные в настоящем документе варианты осуществления предназначены только для пояснения настоящего изобретения, но не для ограничения настоящего изобретения. Для удобства описания некоторые, но не все структуры, относящиеся к настоящему изобретению, показаны на чертежах.

[0061] Первый вариант осуществления

[0062] На фиг.1 представлена блок-схема способа определения степеней закрытия глаза человека в соответствии с первым вариантом осуществления настоящего изобретения. Этот вариант осуществления может быть применим к случаю определения степеней закрытия глаза человека. Способ может быть выполнен аппаратом для определения степеней закрытия глаза человека. Аппарат может быть реализован на практике с помощью программного и/или аппаратного обеспечения и интегрирован в устройство для выполнения способа. Как показано на фиг.1, способ может предусматривать следующие стадии.

[0063] На стадии S110 получают изображение лица.

[0064] Согласно варианту осуществления настоящего изобретения изображение лица может представлять собой изображение лица пользователя, захваченное с помощью камеры в случае, когда пользователь делает селфи, снимает короткое видео или осуществляет прямую трансляцию с помощью терминала, оснащенного камерой. Например, в случае, когда пользователь делает селфи, камера захватывает изображение в режиме реального времени, а на экране дисплея терминала отображается изображение для предварительного просмотра. Таким образом, может быть получено изображение лица пользователя на текущем изображении для предварительного просмотра. Альтернативно, в случае если пользователь снимает короткое видео или ведет прямую трансляцию, может быть получено изображение лица пользователя в текущем кадре видеоданных. Изображение лица также может представлять собой изображение лица, предварительно сохраненное в терминале, или изображение лица в видеокадре в случае воспроизведения видеоданных. Способ получения изображения лица не ограничен вариантом осуществления настоящего изобретения.

[0065] На стадии S120 определяют амплитуду открытия глаза человека и опорное расстояние на изображении лица.

[0066] Ключевые точки лица могут быть получены путем выполнения обнаружения ключевых точек лица на изображении лица, в случае если получено изображение лица, причем ключевые точки глаза человека и опорные ключевые точки идентифицируются из ключевых точек лица, а затем амплитуда открытия глаза человека определяется на основе ключевых точек глаза человека. Амплитуда открытия глаза человека представляет собой амплитуду открытия глаза человека на изображении глаза человека. Опорные ключевые точки могут представлять собой ключевые точки относительно постоянных черт лица. Например, поскольку нос остается неизменным на лице, ключевые точки носа могут быть использованы в качестве опорных ключевых точек для вычисления опорного расстояния. Например, расстояние между точкой вершины носа и точкой кончика носа может быть вычислено как опорное расстояние. Опорные ключевые точки могут также представлять собой ключевые точки уголков левого глаза и правого глаза на лице. В этом случае расстояние между уголками левого глаза и правого глаза представляет собой опорное расстояние. Специалисты в данной области техники могут выбрать расстояние между любыми двумя относительно постоянными точками на лице в качестве опорного расстояния при реализации варианта осуществления настоящего изобретения, которое не ограничивается вариантом осуществления настоящего изобретения.

[0067] На стадии S130 вычисляют относительную амплитуду, представляющую собой отношение амплитуды открытия глаза человека к опорному расстоянию.

[0068] Может быть вычислено отношение амплитуды открытия глаза человека к опорному расстоянию, и это отношение может быть определено как относительная амплитуда, представляющая собой отношение амплитуды открытия глаза человека к опорному расстоянию. То есть, в случае когда в качестве опорного расстояния берется опорное расстояние, амплитуда открытия глаза человека на изображении лица может измеряться относительной амплитудой.

[0069] На стадии S140 получают максимальную относительную амплитуду.

[0070] Максимальная относительная амплитуда может представлять собой относительную амплитуду, представляющую собой отношение амплитуды открытия глаза человека к опорному расстоянию, в случае когда амплитуда открытия глаза человека имеет максимальное значение. То есть относительную амплитуду, представляющую собой отношение амплитуды открытия глаза человека к опорному расстоянию, в случае когда глаз человека открыт в максимальной степени. Может быть получено множество изображений одного и того же лица. Затем может быть получено множество относительных амплитуд путем вычисления относительных амплитуд на основе множества изображений лица. Далее, максимальное значение среди множества относительных амплитуд определяется как максимальная относительная амплитуда. Альтернативно максимальная относительная амплитуда может быть оценена, в случае если вычисляется ширина глаза человека. Альтернативно максимальная относительная амплитуда устанавливается в соответствии с опытом или другими способами. Способ получения максимальной относительной амплитуды не ограничен в варианте осуществления настоящего изобретения.

[0071] На стадии S150 на основе относительной амплитуды и максимальной относительной амплитуды вычисляют весовой коэффициент закрытия глаза человека на изображении лица, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека.

[0072] Согласно некоторым вариантам осуществления амплитуда закрытия глаза человека на изображении лица может быть вычислена первой. Амплитуда закрытия глаза может представлять собой отношение амплитуды открытия глаза человека в определенном состоянии в процессе моргания к амплитуде открытия глаза человека, в случае когда глаз полностью открыт. Согласно варианту осуществления настоящего изобретения, поскольку относительная амплитуда и максимальная относительная амплитуда представляют собой отношения относительно опорного расстояния, амплитуда закрытия глаза может представлять собой отношение относительной амплитуды к максимальной относительной амплитуде.

[0073] В случае если получена амплитуда закрытия глаза, весовой коэффициент закрытия глаза человека может быть вычислен на основе амплитуды закрытия глаза. Согласно варианту осуществления настоящего изобретения весовой коэффициент закрытия глаза человека положительно коррелирует с амплитудой закрытия глаза и представляет степень закрытия глаза человека на изображении лица. Чем больше глаз стремится к полностью закрытому состоянию, тем меньше амплитуда закрытия глаза, и тем больше весовой коэффициент закрытия глаза человека.

[0074] В случае определения весового коэффициента закрытия глаза человека можно управлять соответствующими приложениями. Например, глаз виртуальной модели лица может управляться на основе весового коэффициента закрытия глаза человека на изображении лица, вследствие чего модель лица может моргать при моргании на лице. Альтернативно запускаются инструкции для выполнения соответствующих операций на основе весового коэффициента закрытия глаза человека на изображении лица, в случае если весовой коэффициент закрытия глаза человека больше предварительно определенного значения. Применение весового коэффициента закрытия глаза человека не ограничено в варианте осуществления настоящего изобретения.

[0075] Согласно варианту осуществления настоящего изобретения относительная амплитуда определяется на основе амплитуды открытия глаза человека и опорного расстояния. Затем весовой коэффициент закрытия глаза человека вычисляется на основе относительной амплитуды и максимальной относительной амплитуды, таким образом, измеряется степень закрытия глаза человека. Таким образом, решается проблема, связанная с тем, что степень закрытия глаза человека не может быть измерена путем обнаружения глаз. В случае когда весовой коэффициент закрытия глаза человека используется для управления соответствующими приложениями, соответствующие приложения могут управляться на основе степени закрытия глаза человека, вследствие чего обнаружение глаз применимо для сценария, в котором соответствующие приложения управляются на основе степени закрытия глаза человека.

[0076] Второй вариант осуществления

[0077] На фиг.2А представлена блок-схема способа определения степеней закрытия глаза человека в соответствии со вторым вариантом осуществления настоящего изобретения. Этот вариант осуществления описан на основе варианта осуществления 1. Как показано на фиг.2А, способ может предусматривать следующие стадии.

[0078] На стадии S210 получают изображение лица.

[0079] На стадии S220 получают ключевые точки лица путем выполнения обнаружения ключевых точек лица на изображении лица.

[0080] Обнаружение ключевых точек лица, также известное как определение местоположения ключевых точек лица или выравнивание лица, относится к определению местоположения ключевых областей лица на основе данного изображения лица, где ключевые области включают брови, глаза, нос, рот, контур лица или тому подобное.

[0081] Ключевые точки лица могут быть извлечены с помощью предварительно обученной модели обнаружения ключевых точек лица. Например, может быть получено большое количество изображений лица и помечены ключевыми точками для формирования обучающих данных. Ключевые точки изображения лица могут быть получены путем ввода изображения лица в обученную модель обнаружения ключевых точек лица, в случае если модель обучена на учебных данных.

[0082] На фиг.2В представлено схематическое изображение ключевых точек лица. Как показано на фиг.2В, для изображения лица из него могут быть извлечены ключевые точки контура лица (точка 0 - точка 16), ключевые точки левой и правой бровей (точка 17 - точка 26), ключевые точки носа (точка 27 - точка 35), ключевые точки левого и правого глаз (точка 36 - точка 47) и ключевые точки рта (точка 48 - точка 59).

[0083] На фиг.2В представлен пример ключевых точек лица. На практике могут быть добавлены ключевые точки других областей лица, таких как скулы и уши. Ни местоположения, ни количество ключевых точек лица не ограничены в варианте осуществления настоящего изобретения.

[0084] На стадии S230 ключевые точки глаза человека и опорные ключевые точки идентифицируют из ключевых точек лица.

[0085] Согласно одному варианту осуществления настоящего изобретения ключевые точки глаза могут быть идентифицированы из ключевых точек лица, а верхние ключевые точки глаза и нижние ключевые точки глаза могут быть выбраны из ключевых точек глаза в качестве ключевых точек глаза человека. Ключевые точки носа также могут быть идентифицированы из ключевых точек лица, и ключевая точка вершины носа и ключевая точка кончика носа могут быть выбраны из ключевых точек носа в качестве опорных ключевых точек.

[0086] Как показано на фиг.2В, можно определить, что во всех ключевых точках лица точки с 42 по 47 являются ключевыми точками левого глаза, точки с 36 по 41 являются ключевыми точками правого глаза, а точки с 27 по 35 являются ключевыми точками носа. Верхняя ключевая точка 44 глаза и нижняя ключевая точка 46 глаза выбраны в качестве ключевых точек глаза человека для левого глаза. Верхняя ключевая точка 37 глаза и нижняя ключевая точка 41 глаза выбраны в качестве ключевых точек глаза человека для правого глаза. Кроме того, ключевая точка 27 вершины носа и ключевая точка 33 кончика носа могут быть выбраны в качестве опорных ключевых точек.

[0087] На стадии S240 на основе ключевых точек глаза человека вычисляют амплитуду открытия глаза человека.

[0088] Согласно варианту осуществления настоящего изобретения для изображения лица i амплитуда открытия глаза человека представляет собой степень открытия глаза человека. То есть, это может быть расстояние между верхней точкой верхнего века и нижней точкой нижнего века. Соответственно ключевым точкам лица расстояние между верхней ключевой точкой глаза и нижней ключевой точкой глаза может быть вычислено как амплитуда открытия глаза человека.

[0089] Как показано на фиг.2В, амплитуда открытия глаза человека для левого глаза равна расстоянию между точкой 44 и точкой 46, т.е. Амплитуда открытия глаза человека для правого глаза - это расстояние между точками 37 и 41, т.е.

[0090] На стадии S250 на основе опорных ключевых точек вычисляют опорное расстояние.

[0091] Как показано на фиг.2В, согласно варианту осуществления настоящего изобретения, в случае когда ключевая точка 27 вершины носа и ключевая точка 33 кончика носа определены как опорные точки, расстояние между ключевой точкой вершины носа и ключевой точкой кончика носа может быть вычислено как опорное расстояние. То есть, опорное расстояние - это расстояние между точкой 27 и точкой 33.

[0092] Согласно варианту осуществления настоящего изобретения, поскольку удобно обнаруживать ключевую точку вершины носа и ключевую точку кончика носа независимо от того, обращено ли лицо вперед или вбок, в качестве опорного расстояния выбрано расстояние между вершиной носа и кончиком носа. Более того, поскольку положения вершины носа и кончика носа относительно постоянны, по сравнению с вычислением опорного расстояния с использованием других ключевых точек в качестве опорных точек, точность опорного расстояния может быть повышена. Таким образом, точность последующего вычисления весового коэффициента закрытия глаза человека может быть дополнительно улучшена, что позволяет осуществлять точное управление морганием.

[0093] На стадии S260 вычисляют относительную амплитуду, представляющую собой отношение амплитуды открытия глаза человека к опорному расстоянию.

[0094] Согласно варианту осуществления настоящего изобретения относительная амплитуда представляет собой отношение амплитуды открытия глаза человека к опорному расстоянию и вычисляется по следующим уравнениям:

[0095] В приведенных выше уравнениях относится к относительной амплитуде левого глаза, а представляет собой относительную амплитуду правого глаза. Из двух вышеприведенных формул известно, что опорное расстояние является постоянным. Поэтому относительные амплитуды и зависят от амплитуды открытия глаза человека, и чем больше амплитуда открытия глаза человека, тем больше относительная амплитуда.

[0096] На стадии S270 получают максимальную относительную амплитуду.

[0097] На практике, множество относительных амплитуд может быть получено на основе множества кадров изображения одного и того же лица. Затем из множества относительных амплитуд может быть определено максимальное значение как максимальная относительная амплитуда, т.е.

[0098] В приведенных выше уравнениях представляет собой максимальную относительную амплитуду левого глаза, представляет собой максимальную относительную амплитуду правого глаза, и представляет собой набор из n кадров изображения одного и того же лица.

[0099] На стадии S280 амплитуду закрытия глаза человека получают путем вычисления отношения относительной амплитуды к максимальной относительной амплитуде. Амплитуда закрытия глаза положительно коррелирует с относительной амплитудой и отрицательно коррелирует с максимальной относительной амплитудой.

[00100] Согласно варианту осуществления настоящего изобретения для изображения лица i амплитуда закрытия левого глаза представляет собой отношение относительной амплитуды левого глаза к максимальной относительной амплитуде левого глаза. То есть амплитуда закрытия левого глаза представляет собой Амплитуда закрытия правого глаза представляет собой отношение относительной амплитуды правого глаза к максимальной относительной амплитуде правого глаза. То есть амплитуда закрытия правого глаза представляет собой

[00101] Амплитуды закрытия глаз как левого глаза, так и правого глаза положительно коррелируют с относительной амплитудой и отрицательно коррелируют с максимальной относительной амплитудой. Чем больше относительная амплитуда, тем больше амплитуда закрытия глаза, и тем меньше степень закрытия глаза человека. В случае когда амплитуда закрытия глаза приближается к 1, это означает, что глаз человека находится в полностью открытом состоянии. В случае когда амплитуда закрытия глаза приближается к 0, это означает, что глаз человека находится в полностью закрытом состоянии.

[00102] На стадии S290 вычисляют весовой коэффициент закрытия глаза человека с использованием амплитуды закрытия глаза и предварительно определенной постоянной закрытия глаза человека.

[00103] На практике возможны ошибки при захвате изображения и обнаружении ключевых точек изображения лица, вследствие чего верхняя ключевая точка глаза и нижняя ключевая точка глаза могут не полностью совпадать, в случае когда глаза человека полностью закрыты. Может быть установлена постоянная закрытия глаза человека α, например, постоянная закрытия глаза человека может составлять 0,3. В случае если амплитуда закрытия левого глаза человека , считается, что левый глаз полностью закрыт. В случае если амплитуда закрытия правого глаза человека , считается, что правый глаз полностью закрыт.

[00104] Согласно одному варианту осуществления настоящего изобретения весовой коэффициент закрытия глаза человека на изображении лица может быть вычислен по следующим уравнениям:

[00105] В приведенных выше уравнениях представляет собой весовой коэффициент закрытия глаза человека для левого глаза, и представляет собой весовой коэффициент закрытия глаза человека для правого глаза. Из приведенных выше формул можно понять, что, если взять в качестве примера левый глаз, то чем больше закрыт левый глаз, тем меньше относительная амплитуда левого глаза, тем меньше амплитуда закрытия глаза человека для левого глаза и тем больше весовой коэффициент закрытия глаза человека для левого глаза.

[00106] Согласно варианту осуществления настоящего изобретения ключевые точки лица получают путем выполнения обнаружения ключевых точек лица на лице. Затем амплитуда открытия глаза человека на изображении лица вычисляется на основе верхней ключевой точки глаза и нижней ключевой точки глаза в ключевых точках лица. Кроме того, опорное расстояние вычисляется на основе ключевой точки вершины носа и ключевой точки кончика носа, чтобы определить относительную амплитуду на основе амплитуды открытия глаза человека и опорного расстояния. Весовой коэффициент закрытия глаза человека вычисляется на основе относительной амплитуды и максимальной относительной амплитуды. Таким образом, решается проблема, связанная с тем, что степень закрытия глаза человека не может быть измерена путем обнаружения глаз. В случае когда весовой коэффициент закрытия глаза человека используется для управления соответствующими приложениями, соответствующие приложения могут управляться на основе степени закрытия глаза человека, вследствие чего обнаружение глаз применимо для сценария, в котором соответствующие приложения управляются на основе степени закрытия глаза человека.

[00107] Согласно варианту осуществления настоящего изобретения, поскольку удобно обнаруживать ключевую точку вершины носа и ключевую точку кончика носа независимо от того, обращено ли лицо вперед или вбок, в качестве опорного расстояния выбрано расстояние между вершиной носа и кончиком носа. Более того, поскольку положения вершины носа и кончика носа относительно постоянны, по сравнению с вычислением опорного расстояния с использованием других ключевых точек в качестве опорных точек, точность опорного расстояния может быть повышена. Таким образом, можно повысить точность определения весового коэффициента закрытия глаза человека.

[00108] Третий вариант осуществления

[00109] На фиг.3 представлена блок-схема способа управления глазами в соответствии с третьим вариантом осуществления настоящего изобретения. Этот вариант осуществления может быть применим к сценарию, в котором глаза человека на изображении лица управляются в соответствии с глазами человека на изображении лица. Способ может быть выполнен аппаратом для управления глазами. Аппарат может быть реализован на практике с помощью программного и/или аппаратного обеспечения и интегрирован в устройство для выполнения способа. Как показано на фиг.3, способ может предусматривать следующие стадии.

[00110] На стадии S310 получают изображение лица и модель лица.

[00111] Согласно варианту осуществления настоящего изобретения изображение лица может представлять собой изображение лица пользователя, захваченное с помощью камеры в случае, когда пользователь делает селфи, снимает короткое видео или осуществляет прямую трансляцию с помощью терминала, оснащенного камерой. Например, в случае, когда пользователь делает селфи, камера захватывает изображение в режиме реального времени, а на экране дисплея терминала отображается изображение для предварительного просмотра. Таким образом, может быть получено изображение лица пользователя на текущем изображении для предварительного просмотра. Альтернативно, в случае если пользователь снимает короткое видео или ведет прямую трансляцию, может быть получено изображение лица пользователя в текущем кадре видеоданных. Изображение лица также может представлять собой изображение лица, предварительно сохраненное в терминале, или изображение лица в видеокадре в случае воспроизведения видеоданных. Способ получения изображения лица не ограничен вариантом осуществления настоящего изобретения.

[00112] Модель лица может представлять собой модель наклейки или другие типы моделей. Согласно некоторым вариантам осуществления модель лица может представлять собой модель лица, выбранную пользователем. Например, такие приложения, как селфи, короткое видео и прямая трансляция, предоставляют пользователю на выбор различные модели лица. В случае если пользователь выполняет операцию выбора для данных моделей лица, соответствующая модель лица может быть получена в соответствии с операцией выбора пользователя. Модель лица может быть моделью лица человека, моделью лица животного, моделью лица мультипликационного персонажа и т.п. Модель лица предназначена для управления глазом на модели лица на основе весового коэффициента закрытия глаза человека на изображении лица. Модель лица, в которой регулируется глаз, может быть покрыта на изображении лица в предварительном просмотре селфи, коротком видео или прямой трансляции в виде наклейки, вследствие чего реализуется эффект наклейки.

[00113] На стадии S320 получают весовой коэффициент закрытия глаза человека на изображении лица, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека.

[00114] Согласно варианту осуществления настоящего изобретения способ получения весового коэффициента закрытия глаза человека может быть найден со ссылкой на вариант осуществления 1 или вариант осуществления 2, и который не описывается подробно далее.

[00115] На стадии S330 глазом в модели лица управляют на основе весового коэффициента закрытия глаза человека.

[00116] Согласно одному варианту осуществления настоящего изобретения сначала может быть получена предварительно определенная амплитуда открытия глаза человека в модели лица. Затем целевая амплитуда открытия глаза человека может быть вычислена на основе весового коэффициента закрытия глаза человека и предварительно определенной амплитуды открытия глаза человека. Амплитуда открытия глаза человека в модели лица может быть отрегулирована в соответствии с целевой амплитудой открытия глаза человека, таким образом, управление глазом в модели лица будет завершено.

[00117] На практике глаз в модели лица изначально находится в полностью открытом состоянии. Предварительно определенная амплитуда открытия глаза человека представляет собой амплитуду открытия глаза человека, в случае когда глаз в модели лица полностью открыт.Для одной модели лица параметры модели могут быть сохранены заранее, причем параметры модели включают амплитуду открытия глаза человека, в случае когда глаз полностью открыт, расстояние между вершиной носа и кончиком носа или тому подобное, вследствие чего предварительно определенная амплитуда открытия глаза человека может быть считана из параметров модели.

[00118] Произведение весового коэффициента закрытия глаза человека и предварительно определенной амплитуды открытия глаза человека может быть вычислено как целевая амплитуда открытия глаза человека, в случае если получена предварительно определенная амплитуда открытия глаза человека. Например, в случае когда предварительно определенная амплитуда открытия глаза человека в исходной модели представляет собой расстояние между верхней точкой глаза и нижней точкой глаза, в случае когда глаз открыт в максимальной степени, а весовой коэффициент закрытия глаза человека составляет 0,5, целевая амплитуда открытия глаза человека составляет половину предварительно определенной амплитуды открытия глаза человека.

[00119] Согласно одному варианту осуществления настоящего изобретения из формулы вычисления весового коэффициента закрытия глаза человека может быть известно, что чем меньше амплитуда закрытия глаза человека или , тем меньше или Чем меньше расстояние между верхней ключевой точкой глаза и нижней ключевой точкой глаза, тем больше глаз закрыт, и тем больше весовой коэффициент закрытия глаза человека. В случае если весовой коэффициент закрытия глаза больше предварительно определенного значения, определяется, что целевая амплитуда открытия глаза человека равна 0, то есть глаз полностью закрыт.

[00120] Модель лица может предусматривать первую начальную модель лица и вторую начальную модель лица, причем первая начальная модель лица представляет собой модель лица, в которой глаза полностью открыты, а вторая начальная модель лица представляет собой модель лица, в которой глаза полностью закрыты. Таким образом, целевая амплитуда открытия глаза человека может быть получена путем интерполяционного вычисления на основе весового коэффициента закрытия глаза человека со ссылкой на первую исходную модель лица и вторую исходную модель лица.

[00121] Глаза в модели лица могут быть отрегулированы на основе целевой амплитуды открытия глаза человека, в случае когда целевая амплитуда открытия глаза человека получена, вследствие чего амплитуда открытия глаза человека равна целевой амплитуде открытия глаза человека. Например, управление глазом в модели лица завершается регулировкой положений верхних век глаз в модели лица или получением скорректированной модели лица путем обеспечения деформирования модели лица на основе целевой амплитуды открытия глаза человека.

[00122] На практике скорректированная модель лица может быть получена путем регулировки глаза в модели лица на основе одного кадра изображения лица. Множество кадров непрерывных изображений лица может быть получено, в случае когда множество кадров непрерывного видео отображается во время предварительного просмотра селфи, короткой видеосъемки или прямой трансляции. В случае если глаза на лице в видео моргают, глаза в модели лица могут быть скорректированы в режиме реального времени множеством кадров изображений лица, вследствие чего модель лица может имитировать моргание.

[00123] Согласно варианту осуществления настоящего изобретения весовой коэффициент закрытия глаза человека на изображении лица получается, в случае когда получены изображение лица и модель лица. Весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека. Затем глаз в модели лица управляется на основе весового коэффициента закрытия глаза человека. Таким образом, решается проблема, связанная с тем, что степень закрытия глаза человека не может быть измерена путем обнаружения глаз. В случае когда весовой коэффициент закрытия глаза человека используется для управления глазом в модели лица, глаз модели лица может управляться на основе степени закрытия глаза человека, вследствие чего модель лица может имитировать реальное моргание на лице. Кроме того, модель лица включает более реалистичные выражения. Кроме того, не требуется большое количество изображений лица, а практическая реализация относительно проста.

[00124] Четвертый вариант осуществления

[00125] На фиг.4А представлена блок-схема способа управления глазами в соответствии с четвертым вариантом осуществления настоящего изобретения. Этот вариант осуществления может быть применим к случаю, когда модель лица управляется для моргания в соответствии с изображением лица в видеоданных, в случае воспроизводятся когда видеоданные. Способ может быть выполнен аппаратом для управления глазами. Аппарат может быть реализован на практике с помощью программного и/или аппаратного обеспечения и интегрирован в устройство для выполнения способа. Как показано на фиг.4А, способ может предусматривать следующие стадии.

[00126] На стадии S410 воспроизводят видеоданные, включающие множество кадров изображения, причем данные изображения включают изображение лица.

[00127] Согласно варианту осуществления настоящего изобретения видеоданные могут представлять собой видеоданные для предварительного просмотра, короткие видеоданные или видеоданные прямой трансляции, сформированные в ответ на захват изображения, в случае когда пользователь делает селфи. Видеоданные включают множество кадров данных изображения, а данные изображения включают изображение лица.

[00128] На стадии S420 отображается модель лица для перекрытия изображения лица.

[00129] Модель лица может представлять собой модель выражения, выбранную пользователем при съемке селфи, короткого видео или прямой трансляции. Модель лица выполнена таким образом, чтобы перекрывать изображение лица, отображаемое в интерфейсе воспроизведения видео в случае воспроизведения видеоданных. Кроме того, модель лица имитирует моргание в соответствии с глазом человека на изображении лица. Например, модель лица перекрывает изображение лица в виде наклейки, чтобы имитировать моргание в соответствии с изображением лица.

[00130] Как показано на фиг.4 В, в случае когда воспроизводятся видеоданные, модель лица мультипликационного персонажа используется для перекрытия изображения лица пользователя в видео.

[00131] На стадии S430 определяют амплитуду открытия глаза человека и опорное расстояние на изображении лица каждого из кадров.

[00132] Для каждого кадра изображения лица могут быть получены ключевые точки лица путем выполнения обнаружения ключевых точек лица на изображении лица. Затем из ключевых точек лица идентифицируют ключевые точки глаза человека и опорные ключевые точки. Далее на основе ключевых точек определяют амплитуду открытия глаза человека. Амплитуда открытия глаза человека представляет собой амплитуду открытия глаза человека на изображении глаза человека. Опорные ключевые точки могут представлять собой ключевые точки относительно постоянных черт лица. Например, поскольку нос остается неизменным на лице, ключевые точки носа могут быть использованы в качестве опорных ключевых точек для вычисления опорного расстояния. Согласно некоторым вариантам осуществления в качестве опорного расстояния может быть вычислено расстояние между вершиной носа и кончиком носа. В качестве опорных ключевых точек могут также использоваться ключевые точки уголков левого глаза и правого глаза на лице, а расстояние между уголками левого глаза и правого глаза определяется как опорное расстояние. Специалисты в данной области техники могут выбрать расстояние между любыми двумя относительно постоянными точками на лице в качестве опорного расстояния при реализации варианта осуществления настоящего изобретения, которое не ограничивается вариантом осуществления настоящего изобретения.

[00133] На стадии S440 вычисляют относительную амплитуду, представляющую собой отношение амплитуды открытия глаза человека к опорному расстоянию.

[00134] Отношение амплитуды открытия глаза человека к опорному расстоянию может быть вычислено и определено как относительная амплитуда, представляющая собой отношение амплитуды открытия глаза человека к опорному расстоянию. То есть, в случае когда в качестве опорного расстояния берется опорное расстояние, амплитуда открытия глаза человека на изображении лица может измеряться относительной амплитудой.

[00135] На стадии S450 получают максимальную относительную амплитуду.

[00136] Согласно варианту осуществления настоящего изобретения, в случае когда видеоданные воспроизводятся покадрово, могут быть получены относительные амплитуды, представляющие собой отношение амплитуд открытия глаза человека к опорному расстоянию во множестве кадров изображений лица. Затем из множества относительных амплитуд определяется максимальное значение и определяется как максимальная относительная амплитуда. Например, для текущего кадра данных изображения может быть получено N непрерывных кадров данных изображения, смежных с текущим кадром. Множество относительных амплитуд получено путем вычисления одной относительной амплитуды для каждого изображения лица в N кадрах данных изображения. Максимальное значение из множества относительных амплитуд выбирается в качестве максимальной относительной амплитуды.

[00137] На стадии S460 на основе относительной амплитуды и максимальной относительной амплитуды вычисляют весовой коэффициент закрытия глаза человека на изображении лица.

[00138] Согласно некоторым вариантам осуществления амплитуда закрытия глаза человека на изображении лица может быть вычислена первой. Амплитуда закрытия глаза человека может представлять собой отношение амплитуды открытия глаза человека в определенном состоянии в процессе моргания к амплитуде открытия глаза человека, в случае когда глаз полностью открыт. Согласно варианту осуществления настоящего изобретения, поскольку относительная амплитуда и максимальная относительная амплитуда представляют собой отношения относительно опорного расстояния, амплитуда закрытия глаза человека может представлять собой отношение относительной амплитуды к максимальной относительной амплитуде. Амплитуда закрытия глаза человека представляет собой степень закрытия глаза человека в определенном состоянии в процессе моргания и меньше или равна 1.

[00139] Весовой коэффициент закрытия глаза человека может быть вычислен на основе амплитуды закрытия глаза человека, в случае если получена амплитуда закрытия глаза человека. Согласно варианту осуществления настоящего изобретения весовой коэффициент закрытия глаза человека положительно коррелирует с амплитудой закрытия глаза человека и представляет степень закрытия глаза человека в конкретный момент моргания в модели лица, в случае когда глаз человека на изображении лица используется для обеспечения моргания модели лица.

[00140] На стадии S470 управляют глазом в модели лица для моргания на основе весового коэффициента закрытия глаза человека.

[00141] Управление морганием выполняется на отображаемой модели лица на основе изображения лица в каждом кадре видеоданных при воспроизведении видеоданных. Например, может быть получено множество кадров изображений лица, непрерывных во времени. Затем определяется весовой коэффициент закрытия глаза человека для каждого кадра изображения лица. Таким образом, может быть обеспечено моргание модели лица, отображаемой в интерфейсе воспроизведения, на основе весового коэффициента закрытия глаза человека.

[00142] На фиг.4 В показан процесс и эффект управления моделью лица для моргания на основе изображения лица в видеоданных. Как показано на фиг.4 В, в случае когда глаз на изображении лица в видеоданных моргает, модель лица, перекрывающая изображение лица, имитирует моргание с изображением лица.

[00143] Согласно варианту осуществления настоящего изобретения, в случае когда видеоданные воспроизводятся, а модель лица отображается, весовой коэффициент закрытия глаза человека на изображении лица может быть вычислен по изображению лица в видеоданных, вследствие чего может быть обеспечено моргание отображаемой модели лица на основе весового коэффициента закрытия глаза человека. Таким образом, решается проблема, связанная с тем, что степень закрытия глаза человека не может быть измерена путем обнаружения глаз. Модель лица может управляться степенью закрытия глаза человека в процессе моргания для имитации моргания, вследствие чего модель лица может имитировать реальное моргание на лице. Кроме того, модель лица включает более реалистичные выражения. Более того, нет необходимости в большом количестве изображений лица, и ее реализация относительно проста, вычисления выполняются быстрее, и можно получить более плавный эффект моргания.

[00144] Пятый вариант осуществления

[00145] На фиг.5 представлена структурная схема аппарата для определения степеней закрытия глаза человека в соответствии с пятым вариантом осуществления настоящего изобретения. Аппарат может, в частности, содержать: модуль 501 получения изображения лица, выполненный с возможностью получения изображения лица; модуль 502 определения данных лица, выполненный с возможностью определения амплитуды открытия глаза человека и опорного расстояния на изображении лица; модуль 503 вычисления относительной амплитуды, выполненный с возможностью вычисления относительной амплитуды, представляющей собой отношение амплитуды открытия глаза человека к опорному расстоянию; модуль 504 получения максимальной относительной амплитуды, выполненный с возможностью получения максимальной относительной амплитуды; и модуль 505 вычисления весового коэффициента закрытия глаза человека, выполненный с возможностью вычисления весового коэффициента закрытия глаза человека на изображении лица на основе относительной амплитуды и максимальной относительной амплитуды, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека.

[00146] Согласно некоторым вариантам осуществления модуль 502 определения данных лица содержит: подмодуль обнаружения ключевых точек лица, выполненный с возможностью получения ключевых точек лица путем выполнения обнаружения ключевых точек лица на изображении лица; подмодуль определения ключевых точек глаза человека и опорных ключевых точек, выполненный с возможностью идентификации ключевых точек глаза человека и опорных ключевых точек из ключевых точек лица; подмодуль вычисления амплитуды открытия глаза человека, выполненный с возможностью вычисления амплитуды открытия глаза человека на основе ключевых точек глаза человека; и подмодуль вычисления опорного расстояния, выполненный с возможностью вычисления опорного расстояния на основе опорных ключевых точек.

[00147] Согласно некоторым вариантам осуществления подмодуль определения ключевых точек глаза человека и опорных ключевых точек содержит: блок определения ключевых точек глаз, выполненный с возможностью идентификации ключевых точек глаз из ключевых точек лица; и блок выбора ключевых точек глаза человека, выполненный с возможностью выбора верхней ключевой точки глаза и нижней ключевой точки глаза из ключевых точек глаза в качестве ключевых точек глаза человека.

[00148] Согласно некоторым вариантам осуществления ключевые точки глаза человека включают верхнюю ключевую точку глаза и нижнюю ключевую точку глаза. В этом случае подмодуль вычисления амплитуды открытия глаза человека содержит первый блок вычисления расстояния. Первый блок вычисления расстояния выполнен с возможностью вычисления расстояния между верхней ключевой точкой глаза и нижней ключевой точкой глаза и определения расстояния как амплитуды открытия глаза человека.

[00149] Согласно некоторым вариантам осуществления подмодуль определения ключевой точки глаза человека и опорной ключевой точки содержит: блок определения ключевой точки носа, выполненный с возможностью идентификации ключевых точек носа из ключевых точек лица; и блок выбора опорной ключевой точки, выполненный с возможностью выбора ключевой точки вершины носа и ключевой точки кончика носа из ключевых точек носа в качестве опорных ключевых точек.

[00150] Согласно некоторым вариантам осуществления изобретения опорные ключевые точки включают ключевую точку вершины носа и ключевую точку кончика носа. В этом случае подмодуль вычисления опорного расстояния содержит второй блок вычисления расстояния. Второй блок вычисления расстояния выполнен с возможностью вычисления расстояния между ключевой точкой вершины носа и ключевой точкой кончика носа и определения расстояния в качестве опорного расстояния.

[00151] Согласно некоторым вариантам осуществления модуль 505 вычисления весового коэффициента закрытия глаза человека содержит: подмодуль вычисления амплитуды закрытия глаза человека, выполненный с возможностью получения амплитуды закрытия глаза человека путем вычисления отношения относительной амплитуды к максимальной относительной амплитуде, при этом амплитуда закрытия глаза человека положительно коррелирует с относительной амплитудой и отрицательно коррелирует с максимальной относительной амплитудой; и подмодуль вычисления весового коэффициента закрытия глаза человека, выполненный с возможностью вычисления весового коэффициента закрытия глаза человека с использованием амплитуды закрытия глаза человека и предварительно определенной постоянной закрытия глаза человека.

[00152] Аппарат для определения степеней закрытия глаза человека в соответствии с вариантом осуществления настоящего изобретения может выполнять способ определения степеней закрытия глаза человека в соответствии с любым вариантом осуществления настоящего изобретения и снабжен соответствующими функциональными модулями для выполнения способа.

[00153] Шестой вариант осуществления

[00154] На фиг.6 представлена структурная схема аппарата для управления глазами в соответствии с шестым вариантом осуществления настоящего изобретения. Аппарат может, в частности, содержать: модуль 601 получения изображения лица и модели лица, выполненный с возможностью получения изображения лица и модели лица; модуль 602 получения весового коэффициента закрытия глаза человека, выполненный с возможностью получения весового коэффициента закрытия глаза человека на изображении лица, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека; и модуль 603 управления глазом, выполненный с возможностью управления глазом в модели лица на основе весового коэффициента закрытия глаза человека. Весовой коэффициент закрытия глаза человека определяется аппаратом для определения степеней закрытия глаза человека в соответствии с пятым вариантом осуществления настоящего изобретения.

[00155] Согласно некоторым вариантам осуществления изобретения модуль 603 управления глазом содержит: подмодуль получения предварительно определенной амплитуды открытия глаза человека, выполненный с возможностью получения предварительно определенной амплитуды открытия глаза человека в исходной модели лица; подмодуль вычисления целевой амплитуды открытия глаза человека, выполненный с возможностью вычисления целевой амплитуды открытия глаза человека на основе весового коэффициента закрытия глаза человека и предварительно определенной амплитуды открытия глаза человека; и подмодуль регулировки, выполненный с возможностью регулировки амплитуды открытия глаза человека в исходной модели лица в соответствии с целевой амплитудой открытия глаза человека.

[00156] Согласно некоторым вариантам осуществления подмодуль вычисления целевой амплитуды открытия глаза человека содержит блок определения целевой амплитуды открытия глаза человека, выполненный с возможностью определения того, что целевая амплитуда открытия глаза человека равна 0, в случае если весовой коэффициент закрытия глаза человека больше, чем предварительно определенное значение.

[00157] Аппарат для управления глазами в соответствии с вариантом осуществления настоящего изобретения может выполнять способ управления глазами в соответствии с вариантом осуществления 3 настоящего изобретения, и снабжен соответствующими функциональными модулями для выполнения способа.

[00158] Седьмой вариант осуществления

[00159] На фиг.7 представлена структурная схема аппарата для управления глазами в соответствии с седьмым вариантом осуществления настоящего изобретения. Аппарат может, в частности, содержать: модуль 701 воспроизведения, выполненный с возможностью воспроизведения видеоданных, включающих множество кадров данных изображения, причем данные изображения включают изображение лица; модуль 702 отображения модели лица, выполненный с возможностью отображения модели лица для перекрытия изображения лица; модуль 703 определения данных лица, выполненный с возможностью определения амплитуды открытия глаза человека и опорного расстояния в изображении лица каждого из кадров; модуль 704 вычисления относительной амплитуды, выполненный с возможностью вычисления относительной амплитуды, представляющей собой отношение амплитуды открытия глаза человека к опорному расстоянию; модуль 705 получения максимальной относительной амплитуды, выполненный с возможностью получения максимальной относительной амплитуды; модуль 706 вычисления весового коэффициента закрытия глаза человека, выполненный с возможностью вычисления весового коэффициента закрытия глаза человека в изображении лица на основе относительной амплитуды и максимальной относительной амплитуды; и модуль 707 управления моделью, выполненный с возможностью управления глазом в модели лица для моргания на основе весового коэффициента закрытия глаза человека.

[00160] Согласно некоторым вариантам осуществления модуль 705 получения максимальной относительной амплитуды содержит: подмодуль получения относительной амплитуды, выполненный с возможностью получения относительных амплитуд, представляющих собой отношение амплитуд открытия глаза человека к опорным расстояниям во множестве кадров изображений лица; и подмодуль определения максимальной относительной амплитуды, выполненный с возможностью идентификации максимального значения из множества относительных амплитуд и определения максимального значения как максимальной относительной амплитуды.

[00161] Аппарат для управления глазами согласно варианту осуществления настоящего изобретения может выполнять способ управления глазами согласно четвертому варианту осуществления настоящего изобретения, и снабжен соответствующими функциональными модулями для выполнения способа.

[00162] Восьмой вариант осуществления

[00163] На фиг.8 представлена структурная схема устройства в соответствии согласно одному варианту осуществления настоящего изобретения. Как показано на фиг.8, устройство содержит: процессор 80, запоминающее устройство 81, экран 82 дисплея с сенсорной функцией, устройство 83 ввода, устройство 84 вывода и устройство 85 связи. В устройстве может быть по меньшей мере один процессор 80. На фиг.8 в качестве примера показан один процессор 80. В устройстве может быть по меньшей мере одно запоминающее устройство 81. На фиг.8 в качестве примера показано одно запоминающее устройство 81. Процессор 80, запоминающее устройство 81, дисплей 82, устройство 83 ввода, устройство 84 вывода и устройство 85 связи устройства могут быть соединены шиной или другими средствами. На фиг.8 в качестве примера показано соединение с помощью шины.

[00164] В качестве машиночитаемого носителя данных запоминающее устройство 81 выполнено с возможностью хранения программ, исполняемых на компьютере программ и модулей, таких как программные инструкции/модули (например, модуль 501 получения изображения лица, модуль 502 определения данных лица, модуль 503 вычисления относительной амплитуды, модуль получения максимальной относительной амплитуды 504 и модуль 505 вычисления весового коэффициента закрытия глаза человека в аппарате для определения степеней закрытия глаза человека), соответствующие способу определения степеней закрытия глаза человека согласно варианту осуществления 1 или 2 настоящего изобретения, или программные инструкции/модули (например, модуль 601 получения изображения лица и модели лица, модуль 602 получения весового коэффициента закрытия глаза человека и модуль 603 управления глазом в аппарате для управления глазами), соответствующие способу управления глазами согласно варианту осуществления 3 настоящего изобретения, или программные инструкции/модули (например, модуль 701 воспроизведения, модуль 702 отображения модели лица, модуль 703 определения данных лица, модуль 704 вычисления относительной амплитуды, модуль 705 получения максимальной относительной амплитуды, модуль 706 вычисления весового коэффициента закрытия глаза человека и модуль 707 управления моделью в аппарате для управления глазами), соответствующие способу управления глазами согласно варианту осуществления 4 настоящего изобретения. Запоминающее устройство 81 может в основном содержать область хранения программ и область хранения данных. В области хранения программ может храниться операционный аппарат и прикладная программа, необходимая по меньшей мере для одной функции. Область хранения данных может хранить данные, созданные на основе использования устройства, и т.п. Кроме того, запоминающее устройство 81 может включать высокоскоростное оперативное запоминающее устройство, а также может включать энергонезависимое запоминающее устройство, такое как по меньшей мере одно магнитное запоминающее устройство, флеш-память или другие энергонезависимые твердотельные запоминающие устройства. В некоторых примерах запоминающее устройство 81 дополнительно включает удаленно расположенные запоминающие устройства, соответствующие процессору 80, и эти удаленные запоминающие устройства могут быть подключены к устройству через сети. Примеры сетей включают, без ограничения, Интернет, интранет, локальную вычислительную сеть, сеть мобильной связи и их комбинации.

[00165] Экран 82 дисплея представляет собой экран 82 дисплея с сенсорной функцией. Экран 82 дисплея может представлять собой емкостной экран, электромагнитный экран или инфракрасный экран. В общем, экран 82 дисплея выполнен с возможностью отображения данных на основе инструкций процессора 80, и дополнительно выполнен с возможностью приема сенсорных операций на экране 82 дисплея и отправки соответствующих сигналов на процессор 80 или другие устройства. В иллюстративном варианте осуществления, в случае когда экран 82 дисплея представляет собой инфракрасный экран, экран 82 дисплея дополнительно содержит инфракрасную сенсорную рамку. Инфракрасная сенсорная рамка расположена вокруг экрана 82 дисплея. В этом случае экран 82 дисплея выполнен с возможностью приема инфракрасного сигнала и отправки инфракрасного сигнала на процессор 80 или другие устройства.

[00166] Устройство 85 связи выполнено с возможностью установления соединения связи с другими устройствами. Устройство 85 связи может представлять собой проводное устройство связи и/или беспроводное устройство связи.

[00167] Устройство 83 ввода выполнено с возможностью приема входящей цифровой или характеристической информации и генерирования входного ключевого сигнала, связанного с настройками пользователя и управлением функциями устройства. Устройство 83 ввода дополнительно выполнено как камера для захвата изображений и устройство захвата звука для захвата аудиоданных. Устройство 84 вывода может включать аудиоустройства, такие как громкоговоритель. Состав устройства 83 ввода и устройства 84 вывода может быть установлен в соответствии с реальными условиями.

[00168] Процессор 80 выполнен с возможностью запуска различных функциональных приложений и выполнения обработки данных устройства путем выполнения программ, инструкций и модулей, которые хранятся в запоминающем устройстве 81, чтобы реализовать способ определения степеней закрытия глаза человека и/или способ управления глазами.

[00169] Согласно этому варианту осуществления процессор 80 выполнен с возможностью выполнения способа определения степеней закрытия глаза человека и/или способа управления глазами в соответствии с вариантами осуществления настоящего изобретения при выполнении одной или более программ, хранящихся в запоминающем устройстве 81.

[00170] Согласно варианту осуществления настоящего изобретения дополнительно предлагается машиночитаемый носитель данных. Носитель данных, когда инструкция, хранящаяся на носителе данных, выполняется процессором устройства, побуждает устройство выполнять способ определения степеней закрытия глаза человека и/или способ управления глазами в соответствии с вышеуказанными вариантами осуществления способа.

[00171] Что касается вариантов осуществления аппарата, устройства и носителя данных, их описание относительно простое, поскольку они в основном аналогичны вариантам осуществления способа, и связанные с ними части можно найти в частичном описании вариантов осуществления способа.

[00172] Исходя из вышеприведенного описания вариантов осуществления, специалисты в данной области техники могут понять, что настоящее изобретение может быть реализовано с помощью программного обеспечения и необходимого аппаратного обеспечения общего назначения, или с помощью аппаратного обеспечения, причем первый вариант во многих случаях является лучшей реализацией. Исходя из такого понимания, технические решения настоящего изобретения могут быть воплощены в форме программного продукта. Компьютерный программный продукт может храниться на машиночитаемом носителе данных, таком как компьютерная дискета, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), флеш-память (FLASH), жесткий диск, оптический диск и т.п. Компьютерный программный продукт содержит множество инструкций, предназначенных для того, чтобы позволить компьютерному устройству (которое может быть роботом, персональным компьютером, сервером, сетевым устройством и т.п.) выполнить способ определения степеней закрытия глаза человека и/или способ управления глазами в соответствии с любым вариантом осуществления настоящего изобретения.

[00173] Следует отметить, что все блоки и модули, включенные в аппарат для определения степеней закрытия глаза человека и/или аппарат для управления глазами, разделены только в соответствии с функциональной логикой, но не ограничены вышеуказанным разделением, если соответствующая функция может быть реализована. Кроме того, названия каждого функционального блока служат только для различения друг друга и не предназначены для ограничения объема правовой охраны настоящего изобретения.

[00174] Следует понимать, что различные части настоящего изобретения могут быть реализованы с помощью аппаратного обеспечения, программного обеспечения, программно-аппаратного обеспечения или их комбинаций. В описанных выше вариантах осуществления множество процессов или способов могут быть выполнены программным обеспечением или программно-аппаратным обеспечением, которые хранятся в запоминающем устройстве и выполняются подходящей системой исполнения инструкций. Например, во время практики с аппаратным обеспечением, как в другом варианте осуществления, части настоящего изобретения могут быть реализованы на практике с использованием любого одного или комбинации следующих методов, хорошо известных в данной области техники: дискретная логическая схема, включая схему логических вентилей для осуществления логических функций сигналов данных, специализированная интегральная схема, подходящая схема комбинационных логических вентилей, программируемая вентильная матрица (PGA), программируемая пользователем вентильная матрица (FPGA) и т.п.

Изобретение относится к области технологий обработки изображений. Техническим результатом является определение степеней закрытия глаза человека. Технический результат достигается тем, что в заявленном решении предусмотрена возможность получения изображения лица; определение амплитуды открытия глаза человека и опорного расстояния на изображении лица, причем опорное расстояние представляет собой расстояние между точкой вершины носа и точкой кончика носа; вычисление отношения амплитуды открытия глаза человека к опорному расстоянию в качестве относительной амплитуды; причем определение амплитуды открытия глаза человека и опорного расстояния на изображении лица предусматривает: получение ключевых точек лица путем выполнения обнаружения ключевых точек лица на изображении лица; идентификацию ключевых точек глаза человека и опорных ключевых точек из ключевых точек лица; вычисление амплитуды открытия глаза человека на основе ключевых точек глаза человека; и вычисление опорного расстояния на основе опорных ключевых точек. 8 н. и 7 з.п. ф-лы, 10 ил.

1. Способ определения степеней закрытия глаза человека, предусматривающий: получение изображения лица; определение амплитуды открытия глаза человека и опорного расстояния на изображении лица, причем опорное расстояние представляет собой расстояние между точкой вершины носа и точкой кончика носа; вычисление отношения амплитуды открытия глаза человека к опорному расстоянию в качестве относительной амплитуды; получение максимальной относительной амплитуды, которая представляет собой относительную амплитуду максимального открытия глаза человека относительно опорного расстояния; получение амплитуды закрытия глаза человека путем вычисления отношения относительной амплитуды к максимальной относительной амплитуде, причем амплитуда закрытия глаза человека положительно коррелирует с относительной амплитудой и отрицательно коррелирует с максимальной относительной амплитудой; и вычисление весового коэффициента закрытия глаза человека с использованием амплитуды закрытия глаза человека и предварительно определенной постоянной закрытия глаза человека, причем определение амплитуды открытия глаза человека и опорного расстояния на изображении лица предусматривает:

получение ключевых точек лица путем выполнения обнаружения ключевых точек лица на изображении лица; идентификацию ключевых точек глаза человека и опорных ключевых точек из ключевых точек лица; вычисление амплитуды открытия глаза человека на основе ключевых точек глаза человека; и вычисление опорного расстояния на основе опорных ключевых точек.

2. Способ по п. 1, в котором идентификация ключевых точек глаза человека из ключевых точек лица включает:

идентификацию ключевых точек глаза из ключевых точек лица; и

выбор верхней ключевой точки глаза и нижней ключевой точки глаза из ключевых точек глаза в качестве ключевых точек глаза человека.

3. Способ по п. 1, в котором ключевые точки глаза человека включают верхнюю ключевую точку глаза и нижнюю ключевую точку глаза, а вычисление амплитуды открытия глаза человека на основе ключевых точек глаза человека предусматривает:

вычисление расстояния между верхней ключевой точкой глаза и нижней ключевой точкой глаза как амплитуды открытия глаза человека.

4. Способ по п. 1, в котором идентификация опорных ключевых точек из ключевых точек лица предусматривает:

определение ключевых точек носа из ключевых точек лица; и выбор ключевой точки вершины носа и ключевой точки кончика носа из ключевых точек носа в качестве опорных ключевых точек.

5. Способ по п. 1, в котором опорные ключевые точки включают ключевую точку вершины носа и ключевую точку кончика носа, а вычисление опорного расстояния на основе опорных ключевых точек включает: вычисление расстояния между ключевой точкой вершины носа и ключевой точкой кончика носа в качестве опорного расстояния.

6. Способ управления глазами в модели лица, предусматривающий:

получение изображения лица и модели лица; получение весового коэффициента закрытия глаза человека на изображении лица, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека; и управление глазом в модели лица на основе весового коэффициента закрытия глаза человека; причем весовой коэффициент закрытия глаза человека определяют посредством способа определения степеней закрытия глаза человека по любому из пп. 1–5.

7. Способ по п. 6, в котором управление глазом в модели лица на основе весового коэффициента закрытия глаза человека предусматривает:

получение предварительно определенной амплитуды открытия глаза человека в модели лица;

вычисление целевой амплитуды открытия глаза человека на основе весового коэффициента закрытия глаза человека и предварительно определенной амплитуды открытия глаза человека; и регулировку амплитуды открытия глаза человека в модели лица в соответствии с целевой амплитудой открытия глаза человека.

8. Способ по п. 7, в котором вычисление целевой амплитуды открытия глаза человека на основе весового коэффициента закрытия глаза человека и предварительно определенной амплитуды открытия глаза человека предусматривает:

определение того, что целевая амплитуда открытия глаза человека равна 0, в ответ на то, что весовой коэффициент закрытия глаза человека больше, чем предварительно определенное значение.

9. Способ управления глазами в модели лица, предусматривающий:

воспроизведение видеоданных, включающих множество кадров данных изображения, причем данные изображения включают изображение лица; отображение модели лица для перекрывания изображения лица; определение амплитуды открытия глаза человека и опорного расстояния на изображении лица в каждом из кадров, причем опорное расстояние представляет собой расстояние между точкой вершины носа и точкой кончика носа; вычисление отношения амплитуды открытия глаза человека к опорному расстоянию в качестве относительной амплитуды; получение максимальной относительной амплитуды, которая представляет собой относительную амплитуду максимального открытия глаза человека относительно опорного расстояния; получение амплитуды закрытия глаза человека путем вычисления отношения относительной амплитуды к максимальной относительной амплитуде, причем амплитуда закрытия глаза человека положительно коррелирует с относительной амплитудой и отрицательно коррелирует с максимальной относительной амплитудой; и вычисление весового коэффициента закрытия глаза человека с использованием амплитуды закрытия глаза человека и предварительно определенной постоянной закрытия глаза человека; и

управление глазом в модели лица для моргания на основе весового коэффициента закрытия глаза человека; причем определение амплитуды открытия глаза человека и опорного расстояния на изображении лица предусматривает:

получение ключевых точек лица путем выполнения обнаружения ключевых точек лица на изображении лица; идентификацию ключевых точек глаза человека и опорных ключевых точек из ключевых точек лица; вычисление амплитуды открытия глаза человека на основе ключевых точек глаза человека; и вычисление опорного расстояния на основе опорных ключевых точек.

10. Способ по п. 9, в котором получение максимальной относительной амплитуды предусматривает:

получение множества относительных амплитуд, представляющих собой отношение амплитуд открытия глаза человека к опорному расстоянию во множестве кадров изображений лица; и определение максимального значения из множества относительных амплитуд как максимальной относительной амплитуды.

11. Аппарат для определения степеней закрытия глаза человека, содержащий:

модуль получения изображения лица, выполненный с возможностью получения изображения лица; модуль определения данных лица, выполненный с возможностью определения амплитуды открытия глаза человека и опорного расстояния на изображении лица, причем опорное расстояние представляет собой расстояние между точкой вершины носа и точкой кончика носа; модуль вычисления относительной амплитуды, выполненный с возможностью вычисления отношения амплитуды открытия глаза человека к опорному расстоянию в качестве относительной амплитуды; модуль получения максимальной относительной амплитуды, выполненный с возможностью получения максимальной относительной амплитуды, которая представляет собой относительную амплитуду максимального открытия глаза человека относительно опорного расстояния; и модуль вычисления весового коэффициента закрытия глаза человека, выполненный с возможностью вычисления весового коэффициента закрытия глаза человека на изображении лица на основе относительной амплитуды и максимальной относительной амплитуды, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека, причем модуль вычисления весового коэффициента закрытия глаза человека содержит:

подмодуль вычисления амплитуды закрытия глаза человека, выполненный с возможностью определения амплитуды закрытия глаза человека путем вычисления отношения относительной амплитуды к максимальной относительной амплитуде, причем амплитуда закрытия глаза человека положительно коррелирует с относительной амплитудой и отрицательно коррелирует с максимальной относительной амплитудой; подмодуль вычисления весового коэффициента закрытия глаза человека, выполненный с возможностью вычисления весового коэффициента закрытия глаза человека с использованием амплитуды закрытия глаза человека и предварительно определенной постоянной закрытия глаза человека; модуль определения данных лица, содержащий:

подмодуль обнаружения ключевых точек лица, выполненный с возможностью получения ключевых точек лица путем выполнения обнаружения ключевых точек лица на изображении лица; подмодуль определения ключевых точек глаза человека и опорных ключевых точек, выполненный с возможностью идентификации ключевых точек глаза человека и опорных ключевых точек из ключевых точек лица; подмодуль вычисления амплитуды открытия глаза человека, выполненный с возможностью вычисления амплитуды открытия глаза человека на основе ключевых точек глаза человека; и подмодуль вычисления опорного расстояния, выполненный с возможностью вычисления опорного расстояния на основе опорных ключевых точек.

12. Аппарат для управления глазами в модели лица, содержащий:

модуль получения изображения лица и модели лица, выполненный с возможностью получения изображения лица и модели лица; модуль получения весового коэффициента закрытия глаза человека, выполненный с возможностью получения весового коэффициента закрытия глаза человека на изображении лица, причем весовой коэффициент закрытия глаза человека предназначен для измерения степени закрытия глаза человека; и модуль управления глазом, выполненный с возможностью управления глазом в модели лица на основе весового коэффициента закрытия глаза человека; причем весовой коэффициент закрытия глаза человека определяется аппаратом для определения степеней закрытия глаза по п. 11.

13. Аппарат для управления глазами в модели лица, содержащий:

модуль воспроизведения, выполненный с возможностью воспроизведения видеоданных, включающих множество кадров данных изображения, причем данные изображения включают изображение лица; модуль отображения модели лица, выполненный с возможностью отображения модели лица для перекрывания изображения лица; модуль определения данных лица, выполненный с возможностью определения амплитуды открытия глаза человека и опорного расстояния на изображении лица в каждом из кадров, причем опорное расстояние представляет собой расстояние между точкой вершины носа и точкой кончика носа; модуль вычисления относительной амплитуды, выполненный с возможностью вычисления отношения амплитуды открытия глаза человека к опорному расстоянию в качестве относительной амплитуды; модуль получения максимальной относительной амплитуды, выполненный с возможностью получения максимальной относительной амплитуды, которая представляет собой относительную амплитуду максимального открытия глаза человека относительно опорного расстояния; модуль вычисления весового коэффициента закрытия глаза человека, выполненный с возможностью вычисления весового коэффициента закрытия глаза человека на изображении лица на основе относительной амплитуды и максимальной относительной амплитуды; и

модуль управления моделью, выполненный с возможностью управления глазом в модели лица для моргания на основе весового коэффициента закрытия глаза человека; причем модуль вычисления весового коэффициента закрытия глаза человека содержит:

подмодуль вычисления амплитуды закрытия глаза человека, выполненный с возможностью определения амплитуды закрытия глаза человека путем вычисления отношения относительной амплитуды к максимальной относительной амплитуде, причем амплитуда закрытия глаза человека положительно коррелирует с относительной амплитудой и отрицательно коррелирует с максимальной относительной амплитудой; подмодуль вычисления весового коэффициента закрытия глаза человека, выполненный с возможностью вычисления весового коэффициента закрытия глаза человека с использованием амплитуды закрытия глаза человека и предварительно определенной постоянной закрытия глаза человека; и модуль определения данных лица выполнен с возможностью:

получения ключевых точек лица путем выполнения обнаружения ключевых точек лица на изображении лица; идентификации ключевых точек глаза человека и опорных ключевых точек из ключевых точек лица; вычисления амплитуды открытия глаза человека на основе ключевых точек глаза человека; и вычисления опорного расстояния на основе опорных ключевых точек.

14. Электронное устройство определения степени закрытия глаза человека, содержащее:

один или более процессоров; и запоминающее устройство, в котором хранится одна или более программ, причем одна или более программ при выполнении одним или более процессорами побуждает один или более процессор выполнять способ определения степеней закрытия глаза человека по любому из пп. 1–5.

15. Энергонезависимый машиночитаемый носитель данных, в котором хранится компьютерная программа, причем компьютерная программа при выполнении процессором побуждает процессор выполнять способ определения степеней закрытия глаза человека по любому из пп. 1–5.