СПОСОБ И УСТРОЙСТВО ДЛЯ ДЕТЕКТИРОВАНИЯ ЛИНИИ ВЗГЛЯДА, СПОСОБ И УСТРОЙСТВО ДЛЯ ОБРАБОТКИ ВИДЕОДАННЫХ, УСТРОЙСТВО И НОСИТЕЛЬ ДАННЫХ Российский патент 2022 года по МПК G06K9/00 

Ссылка на родственную заявку

[0001] Данная заявка испрашивает приоритет по заявке на патент Китая №201910620700.3, поданной 10 июля 2019 года, содержание которой полностью включено в настоящий документ посредством ссылки.

Область техники, к которой относится настоящее изобретение

[0002] Варианты осуществления настоящего изобретения относятся к области обработки изображений, в частности, к способу и устройству для детектирования линии взгляда, способу и устройству для обработки видеоданных, устройству и носителю данных.

Предшествующий уровень техники настоящего изобретения

[0003] В условиях быстрого развития видеотехнологий все большее распространение в сфере развлечений, кинематографа и моделирования виртуальной реальности (VR) получают трехмерные (3D) виртуальные персонажи. В этом случае глаза являются важнейшей частью виртуальных персонажей. Возможность естественного вращения глаз намного меньше, чем возможности мимики лица и движений тела. Однако восприятие людьми движений глаз очень высоко, и поэтому неестественные углы вращения и движения глазных яблок легко считываются. Устройства фиксации движения глаз, которые захватывают центральные точки глазных яблок и зрачков, обычно надеваются на голову и неудобны в использовании.

[0004] Для устранения указанных проблем в сценариях применения анимации вероятностного выражения лица преобразование движения захваченного центра зрачка в движение глазного яблока обычно реализуется на основе технического решения, предусматривающего синтез текстур глазных яблок, как в приведенных ниже ссылках:

[0003] [1] Justus Thies, Michael Marc Stamminger, Christian Theobalt и Matthias 2018 год: FaceVR: Реконструкция лиц с учетом направления взгляда в реальном масштабе времени в виртуальной реальности, журнал ACM Tram. Graph., 37, 2, Статья 25 (июнь 2018 года);

[0006] [2] Justus Thies, Michael Christian Theobalt, Marc Stamminger и Matthias Niessner, 2018 год: Headon: Реконструкция видеоданных с портретами людей в реальном масштабе времени, журнал ACM Tram. Graph., 37, 4, Статья 164 (июль 2018 года);

[0007] [3] Chen Cao, Hongzhi Wu, Yanlin Weng, Tianjia Shao и Kun Zhou, 2016 год: Анимация лиц в реальном масштабе времени с динамическими образами на базе изображений, журнал ACM Tram. Graph., 35, 4, Статья 126 (июль 2016 года), 12 страниц;

[0008] [4] Система и способ отслеживания движения лицевых мускулов и глаз для создания анимации с использованием компьютерной графики, CN101069214A; и

[0009] [5] Способ создания трехмерной виртуальной модели движения глаз с широким спектром выражения эмоций, CN103279969A.

[0010] В ссылке [1] и ссылке [2] описаны способы, схожие с управлением данными, а в ссылке [3] применяется более простой и более интуитивно понятный способ на базе электронной доски объявлений, причем все эти способы выбирают текстуру глазного яблока, более всего совпадающую с текущим состоянием глазного яблока, из большого количества текстур глазных яблок, и совмещают ее с целевым глазным яблоком для фиксации изменения движения глазного яблока. При этом требуется сравнение с большим количеством текстур глазных яблок в статистических данных и повышается объем обрабатываемых данных, что приводит к снижению эффективности оценки линии взгляда. В ссылке [4] обеспечивается прямое отслеживание движения глаз за счет движения глазных мускулов, а в ссылке [5] применяется способ на основе правил для прямого синтеза различных эффектов движения при изменении направления взгляда, причем ни один из этих способов прямо не анализирует движение глаз на основании изменений положения зрачка, что приводит к снижению точности определения направления взгляда глазного яблока.

Краткое раскрытие настоящего изобретения

[0011] Вариантами осуществления настоящего изобретения предложен способ и устройство для детектирования линии взгляда, способ и устройство для обработки видеоданных, устройство и носитель данных, которые обеспечивают детектирование изображения лица и направления взгляда в видеокадре, а также повышают эффективность детектирования и точность определения направления взгляда.

[0012] Вариантами осуществления настоящего изобретения предложен способ детектирования линии взгляда. Этот способ предусматривает:

[0013] определение - на основании ключевой характерной точки в изображении лица положения лица и вращательного перемещения зрачка глаза, которые соответствуют изображению лица, причем вращательное перемещение зрачка глаза представляет собой перемещение центра зрачка относительно центра глазного яблока в изображении лица; и

[0014] получение направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза на основании заданной функции проецирования и положения лица на трехмерное пространство, где располагается реальное лицо.

[0015] Вариантами осуществления настоящего изобретения предложен способ обработки видеоданных. Этот способ предусматриваете:

[0016] получение видеокадра в подлежащих обработке видеоданных; и

[0017] получение направления взгляда реального лица, соответствующего видеокадру, путем реализации способа детектирования линии взгляда согласно любому из указанных выше вариантов осуществления.

[0018] Вариантами осуществления настоящего изобретения предложено устройство для детектирования линии взгляда. Это устройство включает в себя:

[0019] модуль определения параметров, выполненный с возможностью определения - на основании ключевой характерной точки в изображении лица -положения лица и вращательного перемещения зрачка глаза, которые соответствуют изображению лица, причем вращательное перемещение зрачка глаза представляет собой перемещение центра зрачка относительно центра глазного яблока в изображении лица; и

[0020] модуль детектирования линии взгляда, выполненный с возможностью получения направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза - на основании заданной функции проецирования и положения лица на трехмерное пространство, где располагается реальное лицо.

[0021] Вариантами осуществления настоящего изобретения предложено устройство для обработки видеоданных. Это устройство включает в себя:

[0022] модуль получения видеокадра, выполненный с возможностью получения видеокадра в подлежащих обработке видеоданных; и

[0023] модуль детектирования линии взгляда, выполненный с возможностью получения направления взгляда реального лица, соответствующего видеокадру, путем реализации способа детектирования линии взгляда согласно любому из указанных выше вариантов осуществления.

[0024] Вариантами осуществления настоящего изобретения предложена система для обработки линии взгляда. Эта система включает в себя: устройство захвата изображения и устройство обработки данных, которые коммуникативно соединены друг с другом, причем устройство захвата изображения располагается на устройстве обработки данных; и

[0025] устройство захвата изображения захватывает подлежащее обработке изображение лица или подлежащие обработке видеоданные, и передает подлежащее обработке изображение лица или подлежащие обработке видеоданные на устройство обработки данных; а устройство обработки данных снабжено устройством для детектирования линии взгляда согласно любому из указанных выше вариантов осуществления и устройством для обработки видеоданных согласно любому из указанных выше вариантов осуществления.

[0026] Вариантами осуществления настоящего изобретения предложено устройство. Это устройство включает в себя:

[0027] один или несколько процессоров; и

[0028] память, выполненную с возможностью хранения одной или нескольких программ; при этом:

[0029] одна или несколько программ при их выполнении одним или несколькими процессорами инициирует реализацию одним или несколькими процессорами способа детектирования линии взгляда согласно любому из вариантов осуществления настоящего изобретения или способа обработки видеоданных согласно любому из вариантов осуществления настоящего изобретения.

[0030] Вариантами осуществления настоящего изобретения предложен машиночитаемый носитель данных для хранения компьютерной программы, причем компьютерная программа при ее выполнении процессором инициирует реализацию этим процессором способа детектирования линии взгляда по любому из вариантов осуществления настоящего изобретения или способа обработки видеоданных по любому из вариантов осуществления настоящего изобретения.

Краткое описание фигур

[0031] На фиг. 1А представлена блок-схема, иллюстрирующая алгоритм реализации способа детектирования линии взгляда согласно первому варианту осуществления настоящего изобретения;

[0032] На фиг. 1В схематически показано вращательное перемещение зрачка глаза в изображении лица в рамках реализации способа детектирования линии взгляда согласно первому варианту осуществления настоящего изобретения;

[0033] На фиг. 1С схематически показана реконструированная сеточная модель лица в рамках реализации способа детектирования линии взгляда согласно первому варианту осуществления настоящего изобретения;

[0034] На фиг. 1D схематически проиллюстрирован принцип выполнения процесса детектирования линии взгляда согласно первому варианту осуществления настоящего изобретения;

[0035] На фиг. 2А представлена блок-схема, иллюстрирующая алгоритм реализации способа детектирования линии взгляда согласно второму варианту осуществления настоящего изобретения;

[0036] На фиг. 2В схематически проиллюстрирован принцип выполнения процесса детектирования линии взгляда согласно второму варианту осуществления настоящего изобретения;

[0037] На фиг. 3А представлена блок-схема, иллюстрирующая алгоритм реализации способа детектирования линии взгляда согласно третьему варианту осуществления настоящего изобретения;

[0038] На фиг. 3В схематически проиллюстрирован принцип выполнения процесса детектирования линии взгляда согласно третьему варианту осуществления настоящего изобретения;

[0039] На фиг. 4 представлена блок-схема, иллюстрирующая алгоритм реализации способа обработки видеоданных согласно четвертому варианту осуществления настоящего изобретения;

[0040] На фиг. 5 показана структурная схема устройства для детектирования линии взгляда согласно пятому варианту осуществления настоящего изобретения;

[0041] На фиг. 6 показана структурная схема устройства для обработки видеоданных согласно шестому варианту осуществления настоящего изобретения;

[0042] На фиг. 7 показана структурная схема системы обработки линии взгляда согласно седьмому варианту осуществления настоящего изобретения; и

[0043] На фиг. 8 показана структурная схема устройства согласно восьмому варианту осуществления настоящего изобретения.

Подробное раскрытие настоящего изобретения

[0044] Настоящее изобретение описано ниже в привязке к прилагаемым чертежам и на примере некоторых вариантов его осуществления. Варианты осуществления заявленного изобретения, раскрытые ниже, служат исключительно для иллюстрации настоящего изобретения и не носят ограничительного характера. Кроме того, для упрощения описания на прилагаемых чертежах показана лишь часть, а не все структуры, относящиеся к настоящему изобретению.

[0045] Первый вариант осуществления настоящего изобретения

[0046] На фиг. 1А представлена блок-схема, иллюстрирующая способ детектирования линии взгляда согласно первому варианту осуществления настоящего изобретения. Этот вариант осуществления применим к любой ситуации, в которой направление взгляда пользователя детектируется путем захвата изображения лица. Способ детектирования линии взгляда согласно этому варианту осуществления настоящего изобретения может выполняться устройством для детектирования линии взгляда согласно одному из вариантов осуществления настоящего изобретения. Это устройство может быть реализовано в виде программных средств и/или аппаратных средств и интегрировано в устройство для реализации способа. Это устройство может представлять собой любое устройство для обработки трехмерной модели, обладающее возможностями по обработке изображений.

[0047] Как показано на фиг. 1А, предложенный способ может предусматривать стадии, описанные ниже.

[0048] На стадии S110 определяется положение лица и вращательное перемещение зрачка глаза, которые соответствуют изображению лица, на основании ключевой характерной точки в изображении лица.

[0049] На дисплее видеоэкрана, содержащего выражения лиц для приложений развлекательного характера или игровых сайтов, соответствующая трехмерная модель лица должна быть реконструирована на основании изображений лиц с множеством разных выражений. В этом случае необходимо определить фактическое направление взгляда пользователя в изображении лица с тем, чтобы добавить в реконструированную трехмерную модель лица соответствующий трехмерный эффект глазного яблока с учетом направления взгляда. Следовательно, в реконструированной трехмерной модели лица глазное яблоко может вращаться естественным образом. Для повышения уровня автоматизации устройства в случае, если соответствующая операция по обработке данных осуществляется напрямую в отношении объекта, на который указывает линия взгляда пользователя, также должно быть детектировано фактическое направление взгляда пользователя на основании изображения лица.

[0050] Характерная точка представляет собой точку в изображении лица, которая обладает четко выраженными характеристиками, может эффективно отражать важные характеристики модели и может идентифицировать целевую часть изображения. В этом варианте осуществления настоящего изобретения характерная точка относится к пиксельной точке, которая может отображать множество характерных черт в изображении лица. Ключевая характерная точка представляет собой локальную характерную точку в изображении лица. В необязательном варианте ключевые характерные точки представляют собой характерные точки, которые могут четко отображать положение черт лица, таких как глаза, нос, рот и щеки в изображении лица, или положение глазниц, крыльев носа и других деталей лица во всех характерных точках. В этом случае положение лица относится к соответствующему положению головы, когда пользователь смотрит в камеру или поворачивает голову, например, к смещенному углу поворота головы в изображении лица. Вращательное перемещение зрачка глаза представляет собой смещение центра зрачка относительно центра глазного яблока в изображении лица, т.е. вращательное перемещение глазного яблока в изображении лица. Как показано на фиг. 1В, часть, на которую указывает косая линия в области глаза в изображении лица, является зрачком глазного яблока, а вращательное перемещение зрачка глаза обозначено на фиг. 1В как смещение d.

[0051] В этом варианте осуществления настоящего изобретения необязательно предусмотрено, что при детектировании фактического направления взгляда пользователя в изображении лица сначала определяются ключевые характерные точки в изображении лица путем распознавания изображения, а затем определяются положения черт лица, соответствующим образом отображаемые множеством ключевых характерных точек, после чего положения, соответствующие множеству ключевых характерных точек, и положения множества черт лица в нормальном изображении лица сравниваются и анализируются для оценки информации о повороте или смещении головы в изображении лица. Таким образом, определяется положение лица пользователя в изображении лица; в этом случае анализируется изображение глаза, определяемое по ключевым характерным точкам в изображении лица, и определяется соответствующее вращательное перемещение зрачка глаза на основании степени смещения центра зрачка относительно центра глазного яблока в изображении глаза, что обеспечивает возможность соответствующей непосредственной обработки данных в отношении вращательного перемещения зрачка глаза для определения направления взгляда реального лица.

[0052] К примеру, когда этот вариант осуществления настоящего изобретения применяется в сценарии, в котором к реконструированной трехмерной модели лица добавляется соответствующая трехмерная модель глазного яблока, соответствующая трехмерная модель лица должна реконструироваться на основании изображения лица. Для уменьшения объема обрабатываемых данных в этом варианте осуществления настоящего изобретения ключевые характерные точки могут быть получены напрямую с помощью реконструированной трехмерной модели лица. В данном случае перед определением соответствующего положения лица и вращательного перемещения зрачка глаза на основании ключевых характерных точек в изображении лица этот вариант осуществления может дополнительно предусматривать: получение данных о лице, соответствующих изображению лица, путем сканирования изображения лица; получение реконструированной сеточной модели лица путем реконструкции заданной трехмерной сетки-шаблона лица с использованием данных о лице; и извлечение ключевых характерных точек в реконструированной сеточной модели лица и использование извлеченных ключевых характерных точек в качестве ключевых характерных точек в изображении лица.

[0053] Сначала захваченное изображение лица сканируется с применением технологии трехмерного сканирования для получения соответствующих данных о лице, а затем совпадающие положения характерных точек в данных о лице и соответствующих характерных точек в заданной трехмерной сетке-шаблоне лица анализируются таким образом, что заданная трехмерная сетка-шаблон лица постоянно деформируется с учетом согласующихся с пространственным положением позиций характерных точек в данных о лице. Следовательно, положение множества характерных точек в деформированной трехмерной сетке-шаблоне лица взаимно-однозначно соответствует положению характерных точек в данных о лице, вследствие чего обеспечивается получение реконструированной сеточной модели лица, показанной на фиг. 1С. Затем из реконструированной сеточной модели лица напрямую извлекается множество соответствующих ключевых характерных точек, и это множество ключевых характерных точек используется в качестве ключевых характерных точек в изображении лица. В этом случае ключевыми характерными точками служат вершины сетки сеточной модели лица, что повышает эффективность и точность извлечения ключевых характерных точек.

[0054] На стадии S120 осуществляется получение направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза на основании заданной функции проецирования и положения лица на трехмерное пространство, где располагается реальное лицо.

[0055] Функция проецирования представляет собой функцию, используемую в случае, когда лицо пользователя в трехмерном пространстве проецируется на соответствующую двумерную поверхность формирования изображения в процессе захвата изображения лица с целью получения основы для преобразования изображения лица, так что реальное лицо в трехмерном пространстве и изображение лица на двумерной поверхности формирования изображения соответствуют соотношению распределения; а вращательное перемещение зрачка глаза на двумерной поверхности формирования изображения соответствует направлению взгляда реального лица в трехмерном пространстве.

[0056] Смещение положения лица в изображении лица указывает на то, что реальное лицо в трехмерном пространстве повернулось; соответственно, направление взгляда также изменилось. Следовательно, в этом варианте осуществления настоящего изобретения предусмотрено, что в случае получения положения лица и вращательного перемещения зрачка глаза в изображении лица, как это показано на фиг. 1D, на основании положения лица может быть скорректировано множество параметров в заданной функции проецирования, после чего с помощью скорректированной функции проецирования вращательное перемещение зрачка глаза обратно проецируется на трехмерное пространство, где располагается реальной лицо. Таким образом, обеспечивается получение направления взгляда реального лица на основании смещения зрачка глаза при его вращательном перемещении, обратно спроецированного на трехмерное пространство, благодаря чему соответствующая последующая операция выполняется с учетом направления взгляда.

[0057] Кроме того, в устройстве захвата изображения предусмотрены разные функции проецирования для разных параметров съемки, и поэтому перед получением направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза на трехмерное пространство, где располагается реальное лицо, на основании заданной функции проецирования и положения лица способ согласно этому варианту осуществления настоящего изобретения может дополнительно предусматривать: определение заданной функции проецирования на основании параметра устройства захвата изображения, соответствующего изображению лица.

[0058] Параметром устройства захвата изображения в этом варианте осуществления может служить его фокусное расстояние для формирования изображения; и в устройстве захвата изображения предусмотрены разные функции проецирования для разных фокусных расстояний для формирования изображения, вследствие чего размер изображения, содержащего один и тот же объект, варьируется при разных фокусных расстояниях для формирования изображения. В этом варианте осуществления настоящего изобретения необязательно предусмотрено, что на основании параметра устройства захвата изображения для захвата изображения лица этим устройством соответствующая функция проецирования может быть определена как заданная функция проецирования в этом варианте осуществления, благодаря чему повышается точность обратного проецирования вращательного перемещения зрачка глаза в изображении лица на трехмерное пространство, где располагается реальное человеческое лицо.

[0059] В техническом решении, реализованном в этом варианте осуществления настоящего изобретения, сначала определяется положение лица, соответствующее изображению лица, и вращательное перемещение центра зрачка относительно центра глазного яблока в изображении лица на основании ключевой характерной точки в изображении лица, после чего осуществляется обратное проецирование вращательного перемещения зрачка глаза - на основании заданной функции проецирования и положения лица - на трехмерное пространство, где располагается реальное лицо, что позволяет получить направление взгляда реального лица. В этом решении нет необходимости в сравнении текстуры глаза в изображении лица с текстурами глаз во множестве изображений лиц, содержащихся в статистических данных, или в определении направления вращения глазного яблока на основании движения других черт лица в изображении, отличных от глазного яблока, что уменьшает объем обрабатываемых данных о глазе и повышает эффективность детектирования направления взгляда. Направление взгляда реального лица напрямую анализируется на основании вращения зрачка глаза в изображении лица, что повышает точность детектирования направления взгляда.

[0060] Второй вариант осуществления настоящего изобретения

[0061] На фиг. 2А представлена блок-схема, иллюстрирующая алгоритм реализации способа детектирования линии взгляда согласно второму варианту осуществления настоящего изобретения; а на фиг. 2В схематически проиллюстрирован принцип выполнения процесса детектирования линии взгляда согласно второму варианту осуществления настоящего изобретения. Этот вариант осуществления заявленного изобретения проиллюстрирован на основе описанного выше варианта осуществления. В этом варианте осуществления настоящего изобретения проиллюстрирован, главным образом, процесс определения положения лица и вращательного перемещения зрачка глаза в изображении лица.

[0062] В необязательном варианте, как это показано на фиг. 2А, способ согласно этому варианту осуществления настоящего изобретения может предусматривать стадии, описанные ниже.

[0063] На стадии S210 осуществляется получение данных о лице, соответствующих изображению лица, путем сканирования изображения лица; осуществляется получение реконструированной сеточной модели лица путем реконструкции заданной трехмерной сетки-шаблона лица с использованием данных о лице; извлекается ключевая характерная точка в реконструированной сеточной модели лица, и извлеченная ключевая характерная точка в реконструированной сеточной модели лица используется в качестве ключевой характерной точки в изображении лица.

[0064] На стадии S220 определяется согласующаяся с пространственным положением позиция ключевой характерной точки в изображении лица.

[0065] В необязательном варианте согласующиеся с пространственным положением позиции указывают на положение черт лица в изображении лица с разным выражением. В случае получения ключевых характерных точек в изображении лица множество ключевых характерных точек может быть проанализировано для оценки согласующихся с пространственным положением позиций черт лица, соответствующих ключевым характерным точкам в изображении лица.

[0066] На стадии S230 определяется положение лица в изображении лица на основании согласующейся с пространственным положением позиции.

[0067] Путем сравнения согласующихся с пространственным положением позиций множества ключевых характерных точек с согласующимися с пространственным положением позициями соответствующих ключевых характерных точек в стандартном шаблоне изображения лица без всякого выражения определяется смещение множества ключевых характерных точек, после чего определяется такая информация, как угол поворота и расстояние сдвига изображения лица, для получения положения лица в изображении лица.

[0068] На стадии S240 определяется центр глазного яблока, соответствующий изображению лица, на основании ключевой характерной точки в реконструированной сеточной модели лица.

[0069] В необязательном варианте предусмотрено, что при получении реконструированной сеточной модели лица путем реконструкции заданной сеточной модели лица с использованием данных о лице сеточная модель лица имеет такие же размеры, что и изображение лица. В этом случае в сеточной модели лица могут быть определены ключевые характерные точки, после чего на основании множества ключевых характерных точек анализируется положение и размеры глазницы в сеточной модели лица. Положение и размеры глазницы совпадают с положением и размерами глазницы в изображении лица, а центральная точка глазницы принимается за центр соответствующего глазного яблока.

[0070] На стадии S250 обеспечивается получение центра зрачка, соответствующего изображению глаза, путем распознавания изображения глаза в изображении лица.

[0071] В необязательном варианте на основании положения глазницы в реконструированной сеточной модели лица может быть определено соответствующее положение изображения глаза в изображении лица. В этом случае изображение глаза распознается с использованием технологии распознавания изображений, после чего в изображении глаза определяется положение зрачка глаза. Поскольку зрачок глаза имеет круглую форму, центр круга зрачка принимается за центр зрачка, соответствующий изображению глаза.

[0072] К примеру, для обеспечения точности определения центра зрачка глаза, как это показано на фиг. 2В, в этом варианте осуществления настоящего изобретения получение центра зрачка глаза, соответствующего изображению лица, путем распознавания изображения глаза может предусматривать: захват изображения глаза в изображении лица; и получение центра зрачка глаза, соответствующего изображению глаза, путем ввода изображения глаза в предварительно построенную модель глубокой сети.

[0073] Модель глубокой сети представляет собой модель нейронной сети, которая предварительно обучена на основании большого количества статистических изображений глаз и выполнена с возможностью точного распознавания центра зрачка в изображении глаза; причем в этом варианте осуществления настоящего изобретения соответствующее изображение глаза может быть захвачено в изображении лица, исходя из положения глазницы в реконструированной сеточной модели лица. Захваченное изображение глаза вводится в предварительно построенную модель глубокой сети, и изображение глаза анализируется с учетом параметров предварительно обученной сети в модели глубокой сети, вследствие чего обеспечивается получение соответствующего центра зрачка в изображении глаза.

[0074] На стадии S260 определяется вращательное перемещение зрачка глаза, соответствующее изображению лица, на основании положения центра глазного яблока и положения центра зрачка.

[0075] После определения центра глазного яблока и центра зрачка в изображении глаза определяется смещение центра зрачка относительно центра глазного яблока путем проведения различия между положением центра глазного яблока и положением центра зрачка, и обеспечивается получение соответствующего вращательного перемещения зрачка глаза.

[0076] В этом варианте осуществления настоящего изобретения стадии определения положения лица и вращательного перемещения зрачка глаза могут выполняться одновременно, и какой-либо конкретной последовательности не предусмотрено. Иначе говоря, стадии S220 и S230 рассматриваются в качестве единого процесса, и стадии S240, S250 и S260 рассматриваются в качестве единого процесса. Процессы, соответствующие стадиям S220 и S230, и процессы, соответствующие стадиям S240, S250 и S260, могут выполняться одновременно, что не носит ограничительного характера в этом варианте осуществления настоящего изобретения.

[0077] На стадии S270 обеспечивается получение направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза - на основании заданной функции проецирования и положения лица - на трехмерное пространство, где располагается реальное лицо.

[0078] На стадии S280 конструируется соответствующая трехмерная модель глаза в реконструированной сеточной модели лица на основании направления взгляда реального лица.

[0079] В необязательном варианте, когда этот вариант осуществления настоящего изобретения применяется в сценарии, когда в реконструированную трехмерную модель лица добавляется соответствующая трехмерная модель глазного яблока, в случае получения направления взгляда реального лица в реконструированную трехмерную сеточную модель лица вводится - на основании направления взгляда реального лица -трехмерная модель глазного яблока, соответствующая эффекту отображения линии взгляда глазного блока, т.е. область глазницы в сеточной модели лица в этом варианте осуществления настоящего изобретения, для обеспечения естественного и плавного поворота трехмерной модели глазного яблока в реконструированной сеточной модели лица. Кром того, в реконструированной сеточной модели лица инициируется анимация глазного яблока, синтезируя специальные эффекты, и улучшается анимационный эффект виртуального вращения глазного яблока.

[0080] В техническом решении, реализованном в этом варианте осуществления настоящего изобретения, положение лица в изображении лица определяется на основании согласующейся с пространственным положением позиции ключевой характерной точки, и в этом случае соответствующее вращательное перемещение зрачка глаза определяется на основании положения центр глазного яблока и положения центра зрачка глаза в изображении глаза, что обеспечивает точность положения лица и вращательного перемещения зрачка глаза. Более того, направление взгляда реального лица получается путем обратного проецирования вращения зрачка глаза - на основании заданной функции проецировании и положения лица - на трехмерное пространство, где располагается реальное лицо, что повышает эффективность и точность детектирования направления взгляда. В данном случае в реконструированной сеточной модели лица строится соответствующая трехмерная модель глазного яблока на основании направления взгляда реального лица, что обеспечивает естественное и плавное вращение глазного яблока в реконструированной сеточной модели лица, а также улучшает анимационный эффект виртуального вращения глазного яблока в реконструированной сеточной модели лица.

[0081] Третий вариант осуществления настоящего изобретения

[0082] На фиг. 3А представлена блок-схема, иллюстрирующая алгоритм реализации способа детектирования линии взгляда согласно третьему варианту осуществления настоящего изобретения, а на фиг. 3В схематически проиллюстрирован принцип выполнения процесса детектирования линии взгляда согласно третьему варианту осуществления настоящего изобретения. Этот вариант осуществления заявленного изобретения проиллюстрирован на основе вариантов осуществления, описанных выше. В этом варианте осуществления настоящего изобретения иллюстрируется, главным образом, стадия обратного проецирования вращательного перемещения зрачка глаза в изображении лица на направление взгляда реального лица в трехмерном пространстве.

[0083] В необязательном варианте, как это показано на фиг. 3А, способ согласно этому варианту осуществления настоящего изобретения может предусматривать стадии, описанные ниже.

[0084] На стадии S310 определяется положение лица и вращательное перемещение зрачка глаза, соответствующие изображению лица, на основании ключевой характерной точки в изображении лица.

[0085] На стадии S320 строится соответствующая функция оптимизации линии взгляда на основании заданной функции проецирования, положения лица и вращательного перемещения зрачка глаза.

[0086] В этом варианте осуществления настоящего изобретения необязательно предусмотрено, что за счет выбора соответствующей функции проецирования эта функция проецирования обеспечивает проецирование реального лица на соответствующую двумерную поверхность формирования изображения с учетом положения лица для генерирования соответствующего изображения лица. В случае проецирования направления взгляда реального лица на двумерную поверхность формирования изображения для максимально возможного совмещения направления взгляда реального лица с вращательным перемещением зрачка глаза строится соответствующая функция оптимизации линии взгляда на основании соответствующего проекционного соотношения между направлением взгляда реального лица и вращательным перемещением зрачка глаза в заданной функции проецирования и положением лица. Оптимизация, предусмотренная функцией оптимизации линии взгляда, служит для обеспечения минимальной разницы между положением, в котором направление взгляда реального лица проецируется на двумерную поверхность формирования изображения, и вращательным перемещением зрачка глаза.

[0087] На стадии S330 обеспечивается получение направления взгляда, достигающего заданного целевого показателя оптимизации в функции оптимизации линии взгляда в трехмерном пространстве, в котором располагается реальное лицо; и полученное направление взгляда принимается в качестве направления взгляда реального лица.

[0088] В необязательном варианте функция оптимизации линии взгляда, построенная в этом варианте осуществления настоящего изобретения, выполнена с возможностью точного детектирования разницы между вращательным перемещением зрачка глаза в проекционном изображении, полученным путем проецирования большого числа лиц в трехмерном пространстве на двумерную поверхность формирования изображения, и вращательным перемещением зрачка глаза в захваченном изображении лица согласно этому варианту осуществления настоящего изобретения. Поскольку заданная оптимизация, предусмотренная функцией оптимизации линии взгляда, служит для обеспечения минимальной разницы между положением, в котором направление взгляда реального лица проецируется на двумерную поверхность формирования изображения, и вращательным перемещением зрачка глаза, то в этом варианте осуществления настоящего изобретения выбирается проекционное изображение с минимальной разницей, и в проекционном изображении определяется направление взгляда, соответствующее лицу в трехмерном пространстве, с целью получения направления взгляда реального лица согласно этому варианту осуществления настоящего изобретения.

[0089] К примеру, для повышения точности детектирования линии взгляда перед получением направления взгляда, достигающего заданного целевого показателя оптимизации в функции оптимизации линии взгляда в трехмерном пространстве, в котором располагается реальное лицо, в качестве направления взгляда реального лица способ согласно этому варианту осуществления настоящего изобретения может дополнительно предусматривать: получение ассоциированного изображения, соотносящегося с изображением лица; и обновление на основании направления взгляда в ассоциированном изображении, заданного ассоциированного параметра сглаживания и заданного параметра стабилизации функции оптимизации линии взгляда.

[0090] Ассоциированное изображение переносит направление взгляда, соответствующее ассоциированному изображению; причем в этом варианте осуществления настоящего изобретения необходимо детектировать направление взгляда лица в кадрах предварительно записанного видео, а ассоциированное изображение, соотносящееся с изображением лица, представляет собой видеокадр, предшествующий видеокадру, соответствующему изображению лица в видеозаписи. Вследствие последовательного детектирования направления взгляда лица в каждом кадре видеозаписи направление взгляда в предыдущем видеокадре определяется по факту детектирования направления взгляда в текущем видеокадре. В этом варианте осуществления настоящего изобретения для обеспечения плавности вращения глазного яблока, когда последовательно отображается множество видеокадров в видеозаписи, необходимо обеспечить минимальную разницу между направлениями взгляда в соседних видеокадрах с тем, чтобы максимально уменьшить беспорядочные скачкообразные движения глазного яблока в изображении лица в процессе последовательного отображения видеокадров. В данном случае соответствующая функция оптимизации линии взгляда может быть обновлена на основании направления взгляда в ассоциированном изображении, заданного ассоциированного параметра сглаживания и заданного параметра стабилизации, вследствие чего обеспечивается получение направления взгляда, достигающего заданного целевого показателя оптимизации в функции оптимизации линии взгляда в трехмерном пространстве, в котором располагается реальное лицо, и его принятие в качестве направления взгляда реального лица.

[0091] К примеру, обновленная функция оптимизации линии взгляда записывается следующим образом:

[0092] В приведенной выше функции величина Π(Rx+t) обозначает заданную функцию проецирования; величина R обозначает параметр вращения в положении лица; величина t обозначает параметр сдвига в положении лица; величина х обозначает направления взгляда в изображении лица; величина d обозначает вращательное перемещение зрачка глаза; величина х₀ обозначает направление взгляда в ассоциированном изображении; величина α обозначает заданный ассоциированный параметр сглаживания; а величина β обозначает заданный параметр стабилизации.

Величина Π(Rx+t) может быть выражена как sPRx+t, причем величина s обозначает коэффициент масштабирования, а

[0093] В данном случае величина обозначает разницу между реальным лицом, спрецированным на двумерную поверхность формирования изображения, и вращательным перемещением зрачка глаза в изображении лица; величина обозначает разницу между направлениями взгляда реального лица и ассоциированного изображения; величина обозначает уровень стабилизации направления взгляда реального лица и рассчитана таким образом, чтобы ограничивать перемещение глазного яблока с целью предотвращения несовместимости полученного направления взгляда с направлением взгляда реального лица. В этом варианте осуществления настоящего изобретения для обеспечения естественности и плавности вращения глазного яблока заданная функция оптимизации может быть обновлена до минимальной суммы из трех элементов в функции оптимизации линии взгляда. В данном случае на основании обновленной функции оптимизации линии взгляда обеспечивается возможность получения направления взгляда, достигающего заданного целевого показателя оптимизации, в трехмерном пространстве, где располагается реальное лицо, и принятия его в качестве направления взгляда реального лица.

[0094] В техническом решении, реализованном в этом варианте осуществления настоящего изобретения, на основании заданной функции проецирования, положения лица и вращательного перемещения зрачка глаза строится соответствующая функция оптимизации линии взгляда. Заданный целевой показатель оптимизации в функции оптимизации линии взгляда обеспечивает минимальную разницу между проекционным изображением при проецировании реального лица на двумерную поверхность формирования изображения на основании функции проецирования и изображением лица. В данном случае обеспечивается получение направления взгляда, достигающего целевого показателя оптимизации линии взгляда, в трехмерном пространстве, где располагается реальное лицо, и оно принимается в качестве направления взгляда реального лица. Следовательно, повышается точность детектирования направления взгляда и обеспечивается естественность и плавность вращения глазного яблока в условиях множества направлений взгляда в разных изображениях.

[0095] Четвертый вариант осуществления настоящего изобретения

[0096] На фиг. 4 представлена блок-схема, иллюстрирующая алгоритм реализации способа обработки видеоданных согласно четвертому варианту осуществления настоящего изобретения. Этот вариант осуществления применим для любого сценария детектирования направления взгляда пользователя во множестве видеокадров в видеозаписи. Способ обработки видеоданных согласно этому варианту осуществления настоящего изобретения может быть выполнен устройством для обработки видеоданных согласно одному из вариантов осуществления настоящего изобретения. Это устройство может быть реализовано в виде программных средств и/или аппаратных средств и интегрировано в устройство для реализации способа. Это устройство может представлять собой любое устройство обработки трехмерных моделей, обладающее способностью обработки изображений.

[0097] Как показано на фиг. 4, предложенный способ может предусматривать стадии, описанные ниже.

[0098] На стадии S410 обеспечивается получение видеокадра в подлежащих обработке видеоданных.

[0099] Когда необходимо детектировать направление взгляда лица в видеокадрах видеоданных, эти видеоданные могут быть сначала обработаны для извлечения множества видеокадров из подлежащих обработке видеоданных таким образом, чтобы можно было последовательно детектировать направление взгляда в видеокадрах.

[00100] На стадии S420 обеспечивается получение направления взгляда реального лица, соответствующего видеокадру, путем реализации способа детектирования линии взгляда согласно вариантам осуществления настоящего изобретения, описанным выше.

[00101] При получении видеокадров в подлежащих обработке видеоданных соответствующие направления взгляда реального лица во множестве видеокадров могут быть получены путем последовательного детектирования каждого из видеокадров в видеоданных, подлежащих обработке, с использованием способа детектирования линии взгляда согласно вариантам осуществления настоящего изобретения, описанным выше.

[00102] Кроме того, для улучшения интеллектуальных возможностей обработки видеоданных после определения направления взгляда лица в каждом видеокадре может быть напрямую выполнена соответствующая операция в отношении подлежащих обработке видеоданных путем определения положения направления взгляда. Следовательно, после получения направления взгляда, соответствующего видеокадру, способ согласно этому варианту осуществления настоящего изобретения может дополнительно предусматривать: определение соответствующего смещения линии взгляда на основании направления взгляда, соответствующего соседнему видеокадру в видеоданных, подлежащих обработке; и выполнение соответствующей операции по редактированию видеоданных с учетом смещения линии взгляда.

[00103] Во время определения направлений взгляда во множестве видеокадров в подлежащих обработке видеоданных соответствующее смещение линии взгляда может быть определено путем анализа направления взгляда, соответствующего соседнему видеокадру, после чего с учетом смещения линии взгляда может быть напрямую выполнена соответствующая операция редактирования в отношении подлежащих обработке видеоданных. Например, если линия взгляда в видеоданных смещена влево, в подлежащие обработке видеоданные могут быть добавлены карты некоторых спецэффектов.

[00104] В техническом решении, реализованном в этом варианте осуществления настоящего изобретения, соответствующая операция по редактированию видеоданных выполняется напрямую путем детектирования направлений взгляда в видеокадре в подлежащих обработке видеоданных, и определения смещения линии взгляда с целью улучшения интеллектуальных возможностей обработки видеоданных.

[00105] Пятый вариант осуществления настоящего изобретения

[00106] На фиг. 5 показана структурная схема устройства для детектирования линии взгляда согласно пятому варианту осуществления настоящего изобретении. Как показано на фиг. 5, это устройство может включать в себя: модуль 510 определения параметров, выполненный с возможностью определения - на основании ключевой характерной точки в изображении лица положения лица и вращательного перемещения зрачка глаза, которые соответствуют изображению лица, причем вращательное перемещение зрачка глаза представляет собой смещение центра зрачка относительно центра глазного яблока в изображении лица; и модуль 520 детектирования линии взгляда, выполненный с возможностью получения направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза - на основании заданной функции проецирования и положения лица - на трехмерное пространство, где располагается реальное лицо.

[00107] В техническом решении, реализованном в этом варианте осуществления настоящего изобретения, на основании ключевой характерной точки в изображении лица определяется положение лица, соответствующее изображению лица, и вращательное перемещение центра зрачка глаза относительно центра глазного яблока, после чего вращательное перемещение зрачка глаза обратно проецируется на трехмерное пространство, где располагается реальное лицо, на основании заданной функции проецирования и положения лица, вследствие чего обеспечивается получение направления взгляда реального лица. В этом решении нет необходимости в сравнении текстуры глаза в изображении лица с текстурами глаз в огромном количестве статистических изображений лиц или в определении направления вращения глазного яблока на основании движения других черт в изображении лица, отличных от глазного яблока, что уменьшает объем обрабатываемых данных о глазе и повышает эффективность детектирования направления взгляда. Направление взгляда реального лица напрямую анализируется на основании вращения зрачка глаза в изображении лица, что повышает точность детектирования направления взгляда.

[00108] Устройство для детектирования линии взгляда может дополнительно включать в себя: модуль определения характерных точек, выполненный с возможностью: получения данных о лице, соответствующих изображению лица, путем сканирования изображения лица; получения реконструированной сеточной модели лица путем реконструкции заданной трехмерной сетки-шаблона лица с использованием данных о лице; и извлечения ключевой характерной точки в реконструированной сеточной модели лица с принятием этой ключевой характерной точки в реконструированной сеточной модели лица в качестве ключевой характерной точки в изображении лица.

[00109] Модуль 510 определения параметров может включать в себя: блок определения согласующейся с пространственным положением позиции, выполненный с возможностью определения согласующейся с пространственным положением позиции ключевой характерной точки в изображении лица; и блок определения положения лица, выполненный с возможностью определения положения лица в изображении лица на основании согласующейся с пространственным положением позиции.

[00110] Модуль 510 определения параметров может включать в себя: блок определения центра глаза, выполненный с возможностью определения центра глазного яблока, соответствующего изображению лица, на основании ключевой характерной точки в реконструированной сеточной модели лица; блок определения центра зрачка, выполненный с возможностью получения центра зрачка, соответствующего изображению глаза, путем распознавания изображения глаза в изображении лица; и блок определения смещения зрачка, выполненный с возможностью определения на основании положения центра глазного яблока и положения центра зрачка - вращательного перемещения зрачка глаза, соответствующего изображению лица.

[00111] Блок определения центра зрачка может быть выполнен с возможностью захвата изображения глаза в изображении лица; и получения центра зрачка, соответствующего изображению глаза, путем ввода изображения глаза в предварительно построенную модель глубокой сети.

[00112] Устройство для детектирования линии взгляда может дополнительно включать в себя: модуль реконструкции глазного яблока, выполненный с возможностью построения соответствующей трехмерной модели глаза в реконструированной сеточной модели лица на основании направления взгляда реального лица.

[00113] Модуль 520 детектирования линии взгляда может включать в себя: блок построения функции оптимизации, выполненный с возможностью построения соответствующей функции оптимизации линии взгляда на основании заданной функции проецирования, положения лица и вращательного перемещения зрачка глаза; и блок детектирования линии взгляда, выполненный с возможностью получения направления взгляда, достигающего заданного целевого показателя оптимизации в функции оптимизации линии взгляда в трехмерном пространстве, в котором располагается реальное лицо, и принятия полученного направления взгляда в качестве направления взгляда реального лица.

[00114] Положение лица включает в себя параметр вращения лица и параметр сдвига лица в изображении лица.

[00115] Модуль 520 детектирования линии взгляда может дополнительно включать в себя: блок получения ассоциированного изображения, выполненный с возможностью получения ассоциированного изображения, соотносящегося с изображением лица, причем ассоциированное изображение переносит направление взгляда, соответствующее ассоциированному изображению; и блок обновления функции оптимизации, выполненный с возможностью обновления функции оптимизации линии взгляда на основании направления взгляда в ассоциированном изображении, заданного ассоциированного параметра сглаживания и заданного параметра стабилизации.

[00116] Обновленная функция оптимизации линии взгляда может быть выражена следующим образом: где величина Π(Rx+t) обозначает заданную функцию проецирования; величина R обозначает параметр вращения в положении лица; величина t обозначает параметр сдвига в положении лица; величина х обозначает направления взгляда в изображении лица; величина d обозначает вращательное перемещения зрачка глаза; величина х₀ обозначает направление взгляда в ассоциированном изображении; величина α обозначает заданный ассоциированный параметр сглаживания; а величина β обозначает заданный параметр стабилизации.

[00117] Устройство для детектирования линии взгляда может дополнительно включать в себя: модуль определения функции проецирования, выполненный с возможностью определения заданной функции проецирования на основании параметра устройство захвата изображения, соответствующего изображению лица.

[00118] Параметром устройства захвата изображения служит фокусное расстояние для формирования изображения устройства захвата изображения.

[00119] Устройство для детектирования линии взгляда согласно этому варианту осуществления настоящего изобретения применимо для реализации способа детектирования линии взгляда согласно любому из описанных выше вариантов осуществления, и оно обладает соответствующими функциями.

[00120] Шестой вариант осуществления настоящего изобретения

[00121] На фиг. 6 показана структурная схема устройства для обработки видеоданных согласно шестому варианту осуществления настоящего изобретения. Как показано на фиг. 6, это устройство включает в себя: модуль 610 получения видеокадра, выполненный с возможностью получения видеокадра в подлежащих обработке видеоданных; и модуль 620 детектирования линии взгляда, выполненный с возможностью получения направления взгляда реального лица, соответствующего видеокадру, путем реализации способа детектирования линии взгляда согласно любому из вариантов осуществления настоящего изобретения.

[00122] В техническом решении, реализованном в этом варианте осуществления настоящего изобретения, соответствующая операция по редактированию видеоданных выполняется напрямую путем детектирования направления взгляда в каждом видеокадре в подлежащих обработке видеоданных и определения смещения линии взгляда с целью улучшения интеллектуальных возможностей обработки видеоданных.

[00123] Устройство для обработки видеоданных может дополнительно включать в себя: модуль выполнения операций, выполненный с возможностью определения смещения линии взгляда, соответствующего соседнему видеокадру, на основании направления взгляда, соответствующего соседнему видеокадру в подлежащих обработке видеоданных; и выполнения операции по редактированию видеоданных в соответствии с соседним видеокадром с учетом смещения линии взгляда.

[00124] Устройство для обработки видеоданных согласно этому варианту осуществления настоящего изобретения применимо для реализации способа обработки видеоданных согласно любому из описанных выше вариантов осуществления, и оно обладает соответствующими функциями.

[00125] Седьмой вариант осуществления настоящего изобретения

[00126] На фиг. 7 показана структурная схема системы обработки линии взгляда согласно седьмому варианту осуществления настоящего изобретения. Как показано на фиг. 7, система обработки линии взгляда включает в себя: устройство 710 захвата изображения и устройство 720 обработки данных, которые коммуникативно соединены друг с другом. Устройство 710 захвата изображения располагается на устройстве 720 обработки данных.

[00127] Устройство 710 захвата изображения захватывает детектируемое изображение лица и подлежащих обработке видеоданных, и передает изображение лица и подлежащие обработке видеоданные на устройство 720 обработки данных. Устройство 720 обработки данных снабжено устройством для детектирования линии взгляда и устройством для обработки видеоданных согласно вариантам осуществления настоящего изобретения, описанным выше, и оно применимо для реализации способа детектирования линии взгляда и способа обработки видеоданных согласно любому из вариантов осуществления настоящего изобретения. Стадии выполнения относятся к способу детектирования линии взгляда и способу обработки видеоданных в любом из вариантов осуществления настоящего изобретения. При этом достигаются соответствующие функции, которые подробно не описаны в настоящем документе.

[00128] Восьмой вариант осуществления настоящего изобретения

[00129] На фиг. 8 показана структурная схема устройства согласно восьмому варианту осуществления настоящего изобретения. Как показано на фиг. 8, это устройство включает в себя процессор 80, память 81 и модуль 82 связи. В этом устройстве может быть предусмотрен один или несколько процессоров 80, а на фиг. 8 приведен пример с одним процессором 80. Процессор 80, память 81 и модуль 82 связи в устройстве могут быть соединены между собой посредством шины или с помощью иных средств. На фиг. 8 приведен пример с соединением посредством шины.

[00130] В качестве машиночитаемого носителя данных память 81 может быть выполнена с возможностью хранения программных продуктов, исполняемых компьютером программ и модулей, например, программных команд/модулей, соответствующих способу детектирования линии взгляда или способу обработки видеоданных согласно любому из вариантов осуществления настоящего изобретения. Процессор 80 исполняет различные 80 функциональные приложения и обеспечивает обработку данных устройством путем приведения в исполнение программных продуктов, команд и модулей, хранящихся в памяти 81. Иначе говоря, реализуется способ детектирования линии взгляда или способ обработки видеоданных.

[00131] Память 81 может включать в себя, главным образом, область хранения программ и область хранения данных. В области хранения программ может храниться операционная система и приложение, необходимое для выполнения, по меньшей мере, одной функции; а в области хранения данных могут храниться данные, создаваемые с учетом использования терминала, и иные данные подобного рода. Кроме того, память 81 может включать в себя быстродействующее оперативное запоминающее устройство, а также дополнительно включать в себя энергонезависимое запоминающее устройство, такое как, по меньшей мере, одно запоминающее устройство на магнитных дисках, флэш-память или иные энергонезависимые твердотельные запоминающие устройства. В некоторых примерах память 81 может включать в себя блоки памяти, расположенные на удалении от процессора 80, причем эти удаленные блоки памяти могут быть соединены с устройством по сети. Примерами сети могут служить, помимо прочего, сеть Интернет, корпоративная интрасеть, локальная сеть, сеть мобильной связи и их сочетания.

[00132] Модуль 82 связи может быть выполнен с возможностью реализации сетевого соединения или подключения для передачи мобильных данных между устройствами.

[00133] Устройство согласно этому варианту осуществления настоящего изобретения может быть выполнено с возможностью реализации способа детектирования линии взгляда или способа обработки видеоданных по любому из описанных выше вариантов осуществления и с возможностью выполнения соответствующих функций.

[00134] Девятый вариант осуществления настоящего изобретения

[00135] Девятым вариантом осуществления настоящего изобретения дополнительно предложен машиночитаемый носитель данных для хранения компьютерной программы. Компьютерная программа при ее выполнении процессором инициирует реализацию программой способа детектирования линии взгляда или способа обработки видеоданных согласно любому из вариантов осуществления настоящего изобретения, описанных выше.

[00136] Способ детектирования линии взгляда может предусматривать:

[00137] определение на основании ключевой характерной точки в изображении лица - положения лица и вращательного перемещения зрачка глаза, которые соответствуют изображению лица, причем вращательное перемещение зрачка глаза представляет собой смещение центра зрачка относительно центра глазного яблока в изображении лица; и

[00138] получение направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза - на основании заданной функции проецирования и положения лица на трехмерное пространство, где располагается реальное лицо.

[00139] Способ обработки видеоданных может предусматривать:

[00140] получение видеокадра в подлежащих обработке видеоданных; и

[00141] получение направления взгляда реального лица, соответствующего видеокадру, путем выполнения способа детектирования линии взгляда согласно любому из вариантов осуществления настоящего изобретения.

[00142] В том, что касается носителя данных согласно одному из вариантов осуществления настоящего изобретения, который содержит исполняемые компьютером команды, то эти исполняемые компьютером команды не ограничены выполнением описанных стадий способов, а могут дополнительно выполнять сопутствующие операции в рамках реализации способа детектирования линии взгляда или способа обработки видеоданных согласно любому из вариантов осуществления настоящего изобретения.

[00143] Опираясь на варианты осуществления настоящего изобретения, специалисты в данной области техники должны понимать, что заявленное изобретение может быть реализовано с помощью программных и универсальных аппаратных средств, и может быть дополнительно реализовано аппаратными средствами. Исходя из этого, технические решения настоящего изобретения могут быть воплощены в виде программного продукта, а компьютерный программный продукт может храниться в машиночитаемом носителе данных, таком как компьютерная дискета, постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), флеш-накопитель, жесткий диск или оптический диск, в котором содержится множество команд, инициирующих выполнение вычислительным устройством (которым может служить персональный компьютер, сервер, сетевое устройство или иное устройство подобного рода) способов согласно различным вариантам осуществления настоящего изобретения.

[00144] В вариантах осуществления устройства для детектирования линии взгляда или устройства для обработки видеоданных множество блоков и модулей разделено исключительно по их логическим функциям, но такое разделение не ограничено только этим решением при условии, что при этом обеспечивается возможность выполнения указанными блоками и модулями соответствующих функций. Кроме того, названия множества функциональных блоков представлены исключительно для удобства проведения различия между ними и никоим образом не предполагают ограничение объема правовой охраны настоящего изобретения.

Изобретение относится к области обработки изображений, в частности, к способу и устройству для детектирования линии взгляда и обработки видеоданных. Техническим результатом является детектирование изображения лица и направления взгляда в видеокадре, а также повышение эффективности детектирования и точности определения направления взгляда. Результат достигается тем, что детектирование линии взгляда предусматривает: определение - на основании ключевой характерной точки в изображении лица - положения лица, соответствующего изображению лица, и вращательного перемещения зрачка глаза, причем вращательное перемещение зрачка глаза представляет собой смещение центра зрачка в изображении лица относительно центра глазного яблока; и обратное проецирование вращательного перемещения зрачка глаза на основании заданной функции проецирования и положения лица на трехмерное пространство, где располагается реальное лицо, для получения направления взгляда реального лица. 9 н. и 11 з.п. ф-лы, 13 ил.

1. Способ детектирования линии взгляда, предусматривающий:

определение – на основании ключевой характерной точки в изображении лица – соответствующего положения лица и соответствующего вращательного перемещения зрачка глаза, которые соответствуют изображению лица, причем вращательное перемещение зрачка глаза представляет собой перемещение центра зрачка относительно центра глазного яблока в изображении лица; и

получение направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза на основании заданной функции проецирования и положения лица на трехмерное пространство, где располагается реальное лицо;

при этом получение направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза на основании заданной функции проецирования и положения лица на трехмерное пространство, где располагается реальное лицо, предусматривает:

построение соответствующей функции оптимизации линии взгляда на основании заданной функции проецирования, положения лица и вращательного перемещения зрачка глаза; и

получение направления взгляда, достигающего заданного целевого показателя оптимизации в функции оптимизации линии взгляда в трехмерном пространстве, в котором располагается реальное лицо, и принятие полученного направления взгляда в качестве направления взгляда реального лица.

2. Способ по п. 1, отличающийся тем, что перед определением соответствующего вращательного перемещения зрачка глаза на основании ключевой характерной точки в изображении лица, этот способ дополнительно предусматривает:

получение соответствующих данных о лице путем сканирования изображения лица;

получение реконструированной сеточной модели лица путем реконструкции данных о лице с помощью трехмерной сетки-шаблона лица; и

извлечение ключевой характерной точки в реконструированной сеточной модели лица и принятие ключевой характерной точки в реконструированной сеточной модели лица в качестве ключевой характерной точки в изображении лица.

3. Способ по п. 2, в котором определение соответствующего положения лица на основании ключевой характерной точки в изображении лица предусматривает:

определение согласующейся с пространственным положением позиции ключевой характерной точки в изображении лица; и

определение положения лица в изображении лица на основании согласующейся с пространственным положением позиции.

4. Способ по п. 2, в котором определение соответствующего вращательного перемещения зрачка глаза на основании ключевой характерной точки в изображении лица предусматривает:

определение соответствующего центра глазного яблока на основании ключевой характерной точки в сеточной модели лица;

получение соответствующего центра зрачка путем распознавания изображения глаза в изображении лица; и

определение соответствующего вращательного перемещения зрачка глаза на основании положения центра глазного яблока и положения центра зрачка.

5. Способ по п. 4, в котором получение соответствующего центра зрачка глаза путем распознавания изображения глаза в изображении лица предусматривает:

захват изображения глаза в изображении лица; и

получение соответствующего центра зрачка путем ввода изображения глаза в предварительно построенную модель глубокой сети.

6. Способ по любому из предшествующих пп. 2-5, отличающийся тем, что после получения направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза на основании заданной функции проецирования и положения лица на трехмерное пространство, где располагается реальное лицо, этот способ дополнительно предусматривает:

построение соответствующей функции оптимизации линии взгляда на основании заданной функции проецирования трехмерной модели глаза в реконструированной сеточной модели лица на основании направления взгляда реального лица.

7. Способ по п. 1, в котором положение лица включает в себя параметр вращения и параметр сдвига лица в изображении лица.

8. Способ по п. 1, отличающийся тем, что перед получением направления взгляда, достигающего заданного целевого показателя оптимизации в функции оптимизации линии взгляда в трехмерном пространстве, в котором располагается реальное лицо, и принятием полученного направления взгляда в качестве направления
взгляда реального лица этот способ дополнительно предусматривает:

получение ассоциированного изображения, соотносящегося с изображением лица, причем ассоциированное изображение переносит соответствующее направление взгляда; и

обновление функции оптимизации линии взгляда на основании направления взгляда в ассоциированном изображении, заданного ассоциированного параметра сглаживания и заданного параметра стабилизации.

9. Способ по п. 8, в котором обновленная функция оптимизации линии взгляда записывается следующим образом: ;

где величина обозначает заданную функцию проецирования; величина обозначает параметр вращения в положении лица; величина обозначает параметр сдвига в положении лица; величина обозначает направления взгляда в изображении лица; величина обозначает вращательное перемещение зрачка глаза; величина обозначает направление взгляда в ассоциированном изображении; величина обозначает ассоциированный параметр сглаживания; а величина обозначает параметр стабилизации.

10. Способ по любому из предшествующих пп. 1-5, отличающийся тем, что перед получением направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза на трехмерное пространство, где располагается реальное лицо, на основании заданной функции проецирования и положения лица этот способ дополнительно предусматривает:

определение соответствующей функции проецирования на основании параметра устройства захвата изображения, соответствующего изображению лица.

11. Способ по п. 10, в котором параметром устройства захвата изображения служит его фокусное расстояние для формирования изображения.

12. Способ обработки видеоданных, предусматривающий:

получение видеокадра в подлежащих обработке видеоданных; и

получение направления взгляда реального лица, соответствующего видеокадру, путем реализации способа детектирования линии взгляда по любому из предшествующих пп. 1-11.

13. Способ по п. 12, отличающийся тем, что после получения направления взгляда, соответствующего видеокадру, этот способ дополнительно предусматривает:

определение соответствующего смещения линии взгляда на основании направления взгляда, соответствующего соседнему видеокадру в подлежащих обработке видеоданных; и

выполнение соответствующей операции по редактированию видеоданных на основании смещения линии взгляда.

14. Устройство для детектирования линии взгляда, содержащее:

модуль определения параметров, выполненный с возможностью определения – на основании ключевой характерной точки в изображении лица – соответствующего положения лица и соответствующего вращательного перемещения зрачка глаза, причем вращательное перемещение зрачка глаза представляет собой смещение центра зрачка относительно центра глазного яблока в изображении лица; и

модуль детектирования линии взгляда, выполненный с возможностью получения направления взгляда реального лица путем обратного проецирования вращательного перемещения зрачка глаза на основании заданной функции проецирования и положения лица на трехмерное пространство, где располагается реальное лицо;

при этом модуль детектирования линии взгляда выполнен с возможностью:

построения соответствующей функции оптимизации линии взгляда на основании заданной функции проецирования, положения лица и вращательного перемещения зрачка глаза; и

получения направления взгляда, достигающего заданного целевого показателя оптимизации в функции оптимизации линии взгляда в трехмерном пространстве, в котором располагается реальное лицо, и принятия полученного направления взгляда в качестве направления взгляда реального лица.

15. Устройство для обработки видеоданных, содержащее:

модуль получения видеокадра, выполненный с возможностью получения видеокадра в подлежащих обработке видеоданных; и

модуль детектирования линии взгляда, выполненный с возможностью получения направления взгляда реального лица, соответствующего видеокадру, путем реализации способа детектирования линии взгляда по любому из предшествующих пп. 1-11.

16. Система для обработки линии взгляда, включающая в себя: устройство захвата изображения и устройство обработки данных, которые коммуникативно соединены друг с другом, причем устройство захвата изображения располагается на устройстве обработки данных; при этом:

устройство захвата изображения захватывает подлежащее обработке изображение лица и подлежащие обработке видеоданные и передает подлежащее обработке изображение лица и подлежащие обработке видеоданные на устройство обработки видеоданных, а устройство обработки данных снабжено устройством для детектирования линии взгляда по п. 14 и устройством для обработки видеоданных по п. 15.

17. Вычислительное устройство, содержащее:

один или более процессоров; и

память, выполненную с возможностью хранения одной или нескольких программ; при этом:

одна или более программ при их выполнении одним или несколькими процессорами инициирует реализацию одним или несколькими процессорами способа детектирования линии взгляда по любому из предшествующих пп. 1-11.

18. Машиночитаемый носитель данных для хранения компьютерной программы, причем компьютерная программа при ее выполнении процессором инициирует реализацию этим процессором способа детектирования линии взгляда по любому из предшествующих пп. 1-11.

19. Вычислительное устройство, содержащее:

один или более процессоров; и

память, выполненную с возможностью хранения одной или нескольких программ; при этом:

одна или более программ при их выполнении одним или несколькими процессорами инициирует реализацию одним или несколькими процессорами способа обработки видеоданных по п. 12 или 13.

20. Машиночитаемый носитель данных для хранения компьютерной программы, причем компьютерная программа при ее выполнении процессором инициирует реализацию этим процессором способа обработки видеоданных по п. 12 или 13.