СПОСОБ И СИСТЕМА ВЫЯВЛЕНИЯ ЖИВОГО ЧЕЛОВЕКА НА ПОСЛЕДОВАТЕЛЬНОСТИ КАДРОВ ПУТЕМ ВЫЯВЛЕНИЯ ПУЛЬСА НА ОТДЕЛЬНЫХ УЧАСТКАХ ЛИЦА ЧЕЛОВЕКА Российский патент 2018 года по МПК G06K9/50 G06T7/10 G06T7/90 

ОБЛАСТЬ ТЕХНИКИ

[0001] Изобретение относится к вычислительной технике, в частности к способам и системам выявления живого человека путем выявления пульса на отдельных участках лица человека.

УРОВЕНЬ ТЕХНИКИ

[0002] Современные системы контроля доступа используют биометрическую информацию о человеке для идентификации зарегистрированных пользователей и запрещения доступа несанкционированным пользователям.

[0003] Одной из особенностей развития современного общества является возрастающая потребность в ограничении доступа к различным объектам, например офисам, складам, банкоматам, военным объектам. Это связано с необходимостью обеспечения безопасности данных объектов, предотвращения краж интеллектуальной собственности и товаров.

[0004] Широко применяемые ранее охранные системы, основанные на присутствии человека, например охранника, на входе в охраняемую зону или использующие системы видеонаблюдения, данные с которых также анализируются человеком, становятся дорогостоящими и не обеспечивают необходимую степень надежности. Именно в связи с указанными недостатками во многих государственных и частных организациях широкое распространение получили системы, основанные на идентификационных магнитных и смарт-картах. Карта содержит информацию, идентифицирующую использующего ее пользователя. Сканер, находящийся на входе в охраняемое помещение, считывает данную информацию и принимает решение о предоставлении пользователю доступа в помещение. Существенным недостатком таких систем является возможность использования карты злоумышленником, например, он может ее украсть.

[0005] Биометрические системы являются одним из наиболее перспективных решений, лишенных указанных недостатков. Такие системы основываются на анализе биометрической информации о пользователе: черт лица, голосе, жестах, отпечатках пальцев и т.п. Биометрические параметры пользователя, автоматически считанные системой, сравниваются с шаблонами, хранящимися в базе данных. Если один из шаблонов соответствует полученным данным, то пользователь считается идентифицированным и ему разрешается доступ.

[0006] Современные биометрические системы основываются на анализе следующих биометрических параметров человека: лица, голоса, радужки глаз, жестов. Другие типы параметров либо не обеспечивают достаточную точность идентификации пользователя, либо требуют контакта со считывающим устройством (как в случае с отпечатками пальцев).

[0007] Вместе с тем существующим биометрическим системам присущ ряд недостатков, допускающих возможность несанкционированного доступа в охраняемую область.

[0008] Из уровня техники известен ближайший аналог патент №2316051 «Способ и система автоматической проверки присутствия лица живого человека в биометрических системах безопасности», патентообладатель: САМСУНГ ЭЛЕКТРОНИКС, опубликован: 27.01.2008.

[0009] Изобретение относится к системам безопасности и контроля. Его использование позволяет получить технический результат в виде повышения надежности и скорости в детектировании попытки несанкционированного доступа к объекту. Это достигается за счет того, что в качестве основного механизма используют выявление лица живого человека и детектирование несанкционированных пользователей, присутствующих рядом с зарегистрированным пользователем. В изобретении используются методы слежения за трехмерным объектом, приведенным к первой нормализованной форме лица, при этом применяют быстрый метод измерения и сравнения мимики лица с шаблоном, а также методы детекции локальных черт и представления лица в трех различных нормализованных формах. Помимо этого, используют быстрый метод измерения и сравнения с шаблоном такой поведенческой биометрической характеристики как фонемная подпись, получаемая в результате выполнения пользователем команд системы.

[00010] Недостатком данного технического является то, что фиксируется только наличие на изображении образа лица и присущих ему физических аспектов, таких как мимика. Данный способ не позволяет отличить сгенерированный образ от изображения реального живого объекта.

[00011] Также из уровня техники известны решения, предлагающие алгоритмы и системы контроля, основанные на анализе двумерных изображений лица человека (см. опубликованные патенты США №6633655 и №6681032). Данные системы используют видеокамеры для захвата изображений лица, реализуют выделение областей лица и вычисляют их характеристики, которые сравниваются с шаблонами, хранящимися в базе данных. Такие системы обрабатывают 2D модели лица человека и тем самым позволяют получить несанкционированный доступ путем предоставления видеокамерам фотографии зарегистрированного пользователя.

СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ

[00012] Данное техническое решение направлено на устранение недостатков, присущих существующим решениям.

[00013] Технической проблемой заявляемого изобретения является создание способа и системы распознавания биометрической информации путем определения пульса на отдельных участках изображения живого человека при помощи усиления малых изменений цвета на изображении. Часто для целей идентификации используются биометрические данные, а с целью дополнительной защищенности используются биометрические данные, изменяющиеся в динамике, такие как мимика. Но даже такой подход не обеспечивает всеобъемлющую защиту. Решением является определение пульса на конкретных участках изображения при изменении мимики лица, что позволяет сделать вывод о том, что на изображении реальный человек, а не сгенерированное изображение.

[00014] Техническим результатом, проявляющимся при решении указанной технической проблемы, является повышение возможности выявления живого человека.

[00015] Имеющиеся в уровне техники решения не позволяют отличить сгенерированное изображение от реального изображения живого объекта. В то время как предлагаемый способ позволяет отличить сгенерированное изображение от реального объекта с вероятностью 90-97% в зависимости от внешних условий (например, освещенности).

[00016] Указанный технический результат достигается благодаря способу выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека, в котором получают последовательность кадров; выделяют лицо человека на изображении каждого кадра; разбивают площадь изображения выделенного лица на сегменты в виде сетки; проводят временную и пространственную фильтрацию сегментов изображения лица, полученных на предыдущем шаге; определяют наличие периодичности в изменении величины яркости сегментов изображений во всей последовательности кадров, которая свидетельствует о наличии пульса; определяют соответствие периодичности изменения величины яркости сегментов частоте пульса человека; принимают решении о наличии живого человека в случае совпадения периодичности изменения величины яркости сегментов изображения и частоты пульса живого объекта.

[00017] В некоторых вариантах осуществления получают последовательность кадров в виде потокового видео, поступающего от источника видеоданных в реальном масштабе времени, или из хранилища с локального видеосервера, или центрального сервера.

[00018] В некоторых вариантах осуществления получают последовательность кадров по потоковому протоколу реального времени RTSP и/или RTMP и/или HLS и/или DASH.

[00019] В некоторых вариантах осуществления получают последовательность кадров в виде списка источников видеоданных различного качества и битрейта.

[00020] В некоторых вариантах осуществления получают последовательность кадров в компрессированном виде при помощи кодера Н.264 и/или VP8 и/или MJPEG и/или JPEG и/или PEG2000.

[00021] В некоторых вариантах осуществления получают последовательность кадров по беспроводным сетям, таким как GSM, или CDMA, или LTE, или Wi-Fi.

[00022] В некоторых вариантах осуществления при выделении лица человека на изображении используют метод Виола Джонса, или нейронную сеть, или метод гибкого сравнения на графах, или скрытые марковские модели.

[00023] В некоторых вариантах осуществления при разбиении площади изображения выделенного лица на сегменты в виде сетки, форма сегмента круглая, или треугольная, или квадратная, или прямоугольная.

[00024] В некоторых вариантах осуществления при разбиении площади изображения выделенного лица на сегменты в виде сетки более половины изображения должно быть разделено на ячейки, отличающиеся друг от друга по площади не более чем в два раза.

[00025] В некоторых вариантах осуществления при проведении временной и пространственной фильтрации сегментов изображения лица фильтруются низкие частоты в последовательности кадров и понижается разрешение их вычислительной эффективности.

[00026] В некоторых вариантах осуществления при проведении временной и пространственной фильтрации сегментов изображения лица рассчитывают полную пирамиду Лапласа.

[00027] Также указанный технический результат достигается благодаря системе выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека, содержащей: процессор; память для хранения инструкций исполняемых процессором; при этом процессор выполнен с возможностью: получения последовательности кадров; выделения лица человека на изображении каждого кадра; разбивания площади изображения выделенного лица на сегменты в виде сетки; проведения временной и пространственной фильтрации сегментов изображения лица, полученных на предыдущем шаге; определения наличия периодичности в изменении величины яркости сегментов изображений во всей последовательности кадров, которая свидетельствует о наличии пульса; определения соответствия периодичности изменения величины яркости сегментов частоте пульса человека; принятия решения о наличии живого человека в случае совпадения периодичности изменения величины яркости сегментов изображения и частоты пульса живого объекта.

[00028] В некоторых вариантах осуществления процессор является прикладным или графическим.

[00029] В некоторых вариантах осуществления процессор получает последовательность кадров в виде потокового видео, поступающего от источника видеоданных в реальном масштабе времени, или из хранилища с локального видеосервера, или центрального сервера.

[00030] В некоторых вариантах осуществления процессор получает последовательность кадров по потоковому протоколу реального времени RTSP и/или RTMP и/или HLS и/или DASH.

[00031] В некоторых вариантах осуществления процессор получает последовательность кадров в виде списка источников видеоданных различного качества и битрейта.

[00032] В некоторых вариантах осуществления процессор получает последовательность кадров в компрессированном виде при помощи кодера Н.264 и/или VP8 и/или MJPEG и/или JPEG и/или PEG2000.

[00033] В некоторых вариантах осуществления процессор получает последовательность кадров по беспроводным сетям, таким как GSM, или CDMA, или LTE, или Wi-Fi.

[00034] В некоторых вариантах осуществления при выделении процессором лица человека на изображении используют метод Виола Джонса, или нейронную сеть, или метод гибкого сравнения на графах, или скрытые марковские модели.

[00035] В некоторых вариантах осуществления при разбиении процессором площади изображения выделенного лица на сегменты в виде сетки, форма сегмента круглая, или треугольная, или квадратная, или прямоугольная.

[00036] В некоторых вариантах осуществления при разбиении процессором площади изображения выделенного лица на сегменты в виде сетки более половины изображения должно быть разделено на ячейки, отличающиеся друг от друга по площади не более чем в два раза.

[00037] В некоторых вариантах осуществления при проведении процессором временной и пространственной фильтрации сегментов изображения лица фильтруются низкие частоты в последовательности кадров и понижается разрешение их вычислительной эффективности.

[00038] В некоторых вариантах осуществления при проведении процессором временной и пространственной фильтрации сегментов изображения лица рассчитывают полную пирамиду Лапласа.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[00039] Признаки и преимущества настоящего изобретения станут очевидными из приводимого ниже подробного описания изобретения и прилагаемых чертежей, на которых:

[00040] на Фиг. 1 показан пример осуществления технического решения согласно способу выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека;

[00041] на Фиг. 2 показан принцип работы способа усиления малых изменений в видеопотоке;

[00042] на Фиг. 3 показана иллюстрация аппроксимации пространственного смещения с использованием временной фильтрации;

[00043] на Фиг. 4 показана иллюстрация усиления движения по сигналу 1D для различных пространственных частот;

[00044] на Фиг. 5 показано движение ошибки увеличения;

[00045] на Фиг. 6 показан коэффициент усиления, а, как функция пространственной длины волны, для усиления движения;

[00046] на Фиг. 7 показана архитектура сверточной нейронной сети;

[00047] на Фиг. 8 показан пример разбиения лица человека на сегменты;

[00048] на Фиг. 9 показан пример осуществления временной и пространственной фильтрации сегментов изображения лица;

[00049] на Фиг. 10 показан пример осуществления динамики изменения яркости на исследуемых 120 картинках, полученных за 5 секунд (24 кадра в секунду);

[00050] на Фиг. 11 показан пример осуществления технического решения согласно системе выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека.

ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ

[00051] Данное техническое решение может быть реализовано на компьютере, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.

[00052] Техническое решение может быть реализовано в виде распределенной компьютерной системы.

[00053] В данном решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).

[00054] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).

[00055] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.

[00056] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

[00057] Ниже будут описаны понятия и термины, необходимые для подробного описания и осуществления технического решения.

[00058] Кадр - отдельное ограниченное определенными размерами изображение на фото- или кинопленке, на теле- или киноэкране, отдельный фотографический снимок.

[00059] Полная пирамида Лапласа - математический термин субполосного преобразования сигнала.

[00060] Сегмент - часть целого, ограниченная в размерах.

[00061] Яркость сегмента - количество световой энергии, испускаемой/отражаемой сегментом изображения.

[00062] Спектральная характеристика - часть спектра белого света, которую излучает, пропускает или поглощает источник излучения, вещество или поверхность

[00063] Фильтрация - преобразование сигналов, представленных в цифровой форме.

[00064] Пространственная фильтрация - преобразование сигнала во временной области.

[00065] Интенсивность изображения - скалярная физическая величина, количественно характеризующая мощность излучения полученного от объекта на изображении.

[00066] Сигнал движения - факт наличия изменения геометрических свойств объекта

[00067] Коэффициент усиления - количественная характеристика, показывающая во сколько раз был усилен тот или иной параметр

[00068] Свертка пространственной пирамиды - математическая операция преобразования сигнала для пространственной пирамиды.

[00069] Модуляция спектральных компонент - процесс изменения параметров спектральной характеристики

[00070] Линейное приближение - приближение произвольной функции с помощью линейной функции

[00071] Согласно заявляемому техническому решению, способ выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека, который показан на Фиг. 1, реализован следующим образом.

[00072] Шаг 101: получают последовательность кадров.

[00073] Последовательность кадров может передаваться в виде потокового видео, поступающего от источника видеоданных в реальном масштабе времени или из хранилища с локального видеосервера или центрального сервера. Для передачи потокового видео могут быть использованы стандартные протоколы RTSP (Real Time Streaming Protocol), RTMP (Real Time Messaging Protocol), HLS (HTTP Live Streaming) и DASH (Dynamic Adaptive Streaming over HTTP). При этом скорость и качество передаваемых видеоданных может автоматически адаптироваться к каналу связи мобильного устройства.

[00074] Последовательность кадров может передаваться в компрессированном виде, например, при помощи кодеров Н.264, VP8, MJPEG, JPEG, JPEG2000.

[00075] Последовательность кадров может передаваться в виде отдельных файлов. При этом могут использоваться стандартные контейнеры, например WebM, OGV, MKV, MP4, TS, JPG и др.

[00076] Последовательность кадров может передаваться в виде списка источников видеоданных различного качества и битрейта, например в формате M3U8.

[00077] Последовательность кадров может передаваться по беспроводным сетям, таким как GSM (Global System for Mobile Communications), CDMA (Code division multiple access), LTE (Long Term Evolution), Wi-Fi (Wireless Fidelity). В некоторых вариантах осуществления настоящего изобретения получение и/или отправка данных осуществляется с использованием нескольких технологий, описанных выше, или технологий приема/передачи данных, которые будут изобретены после подачи заявки на настоящее изобретение.

[00078] Шаг 102: выделяют лицо человека на изображении каждого кадра.

[00079] Выделяют лицо человека на изображении каждого кадра, полученного ранее, посредством алгоритма выделения лица, которым является, но не ограничиваясь, метод Виола Джонса, нейронные сети (Фиг. 7), метод гибкого сравнения на графах, скрытые Марковские модели (CMM, HMM).

[00080] Шаг 103: разбивают площадь изображения выделенного лица на сегменты в виде сетки.

[00081] Лицо разбивается на сегменты, которые выбираются путем разбиения изображения лица сеткой, площадь сегмента которой составляет не более одной сотой от площади изображения. Сегменты могут быть любой формы, главным фактором является полное покрытие сегментами лица. Форма ячейки также не принципиальна. При этом более половины изображения должно быть разделено на ячейки отличающиеся друг от друга по площади не более чем в два раза. Вершины сетки могут быть выбраны произвольным образом.

[00082] Шаг 104: проводят временную и пространственную фильтрацию сегментов изображения лица, полученных на предыдущем шаге.

[00083] Данный шаг необходим для выделения тонких временных изменений в последовательности кадров, что сочетает в себе пространственную и временную обработку (Фиг. 2). Сначала последовательность кадров раскладывается в различных диапазонах пространственных частот. Диапазоны частот могут быть увеличены, потому что по-другому (а) они могли бы иметь различные отношения сигнал-шум или (б) они могут содержать пространственные частоты, которые не обладают линейным приближением, используемым в нашем алгоритме увеличением движения. В последнем случае уменьшается усиление для этих полос с целью подавления артефактов. Когда цель пространственной обработки просто увеличить временное отношение сигнал-шум путем объединения нескольких пикселей, фильтруются низкие частоты в последовательности кадров и понижается разрешение их вычислительной эффективности. В общем случае, однако, рассчитывается полная пирамида Лапласа.

[00084] Отфильтрованные пространственные полосы затем усиливаются в заданное число раз, которое определяется путем ручного или машинного перебора в диапазоне от 0 до 100, до тех пор пока колебания на последовательности кадров не станут различимы, и снова добавляются в исходный сигнал для генерации выходного видео. Выбор временного фильтра может быть настроен для поддержки различных приложений. Затем выполняется временная обработка каждого пространственного диапазона. Рассмотрим временной ряд, соответствующий значению пикселя в полосе частот, и применим полосовой фильтр для извлечения частотных диапазонов, представляющих интерес. Временная обработка является единой для всех пространственных уровней и для всех пикселов в каждом уровне. Затем извлеченный сигнал умножается на коэффициент усиления a. Эта величина может быть задана пользователем и может быть ослаблена автоматически. Далее увеличенный сигнал добавляется к оригиналу, и производится свертка пространственной пирамиды, чтобы получить конечный результат. Поскольку реальные видео в пространстве и времени постоянно и так как описанная выше фильтрация выполняется равномерно для всех пикселей, указанный способ неявно поддерживает принцип пространственно-временной когерентности результатов.

[00085] Шаг 105: определяют наличие периодичности в изменении величины яркости сегментов изображений во всей последовательности кадров, которая свидетельствует о наличии пульса.

[00086] Чтобы объяснить взаимосвязь между временной обработкой и увеличением малых движений, рассмотрим простой случай 1D сигнала, который претерпевает поступательное движение. Этот анализ непосредственно обобщает локально-поступательные движения в 2D. Пусть I (x, t), где I обозначим как интенсивность изображения на позиции x и времени t. Так как изображение подвергается поступательному движению, мы можем выразить наблюдаемые интенсивности по отношению к функции смещения δ(t), так что I(x, t)=F(x+δ(t)) и I(x, 0)=F(x). Целью увеличения движения является синтезирование сигнала с некоторым коэффициентом усиления a.

[00087]

[00088] Предполагая, что изображение может быть аппроксимировано через разложения первого порядка Тейлора, запишем изображение в момент времени T,F(x+δ(T)) в расширении первого порядка Тейлора по x, как .

[00089]

[00090] Пусть B(x.t) является результатом применения широкополосного временного полосового фильтра I(X, T) при любом положении x (выбирая все, кроме F(X) в уравнении 2. Допустим, что сигнал движения δ(T) находится в пределах полосы пропускания полосового фильтра временной области. Тогда у нас есть Df(х)

[00091]

[00092] В нашем процессе после усиления полосового сигнала добавляем его к I (х, t), в результате чего в обработанном сигнале

[00093]

[00094] После объединения формул 2, 3 и 4 мы имеем

[00095]

[00096] Если предположить, что первое разложение Тейлора выполняется для усилений больших возмущений, , можно связать усиление с временным увеличением сигнала движения. Обработать выходной сигнал легко.

[00097]

[00098] Это показывает, что обработка увеличивает движение пространственного смещения δ(T) местного образа F(X) в момент времени t при усилении до величины (1+α).

[00099] Этот процесс проиллюстрирован на одной из синусоид на Фиг. 3. Для низкочастотной волны наблюдается косинусоида и характерен относительно небольшой объем.

[000100] Фиг. 3: временная фильтрация может аппроксимировать пространственное смещение.

[000101] Этот эффект демонстрируется здесь на сигнале 1D, но в равной степени относится и к сигналам 2D. Входной сигнал отображается в двух моментах времени: в момент времени t и в момент времени .

[000102] Разложение в ряд первого порядка Тейлора служит хорошим приближением для смещенного сигнала на время . При повышении временной составляющей сигнала по а и последующем добавлении его обратно в I(X, T) мы приближаем эту волну смешения к (1+α)δ. Для полноты рассмотрим более общий случай, когда δ(T) находится не полностью в пределах полосы пропускания временного фильтра. В этом случае пусть δk(T) индексируется по k, представляя различные временные спектральные компоненты δ(t). Каждый δk(t) будет ослабляется временной фильтрацией с коэффициентом γk. Это приводит к полосовому сигналу.

[000103]

[000104] Из-за умножения в уравнении 4 получим затухание, при этом временная частота может быть эквивалентно интерпретирована как частотно-зависимое движение с коэффициентом увеличения aK=γkα, в результате чего на выходе движение усиливается.

[000105]

[000106] Результатом, как можно было ожидать для линейного анализа, стало то, что модуляция спектральных компонент движения сигнала становится фактором модуляции при усилении движения ak для каждой временной подзоны δk сигнала движения.

[000107] Шаг 106: определяют соответствие периодичности изменения величины яркости сегментов частоте пульса человека.

[000108] Строится спектральная характеристика, в которой методом полосовой фильтрации выбирается диапазон 0.66-3.33 Гц, который соответствует частоте человеческого пульса 40-200 ударов в минуту. При наличии повторяющихся изменений спектральной мощности в данном диапазоне, при среднем отличии не менее чем на 30% от максимальных значений делается вывод о наличии периодичного изменения, соответствующего по частоте пульсу человека.

[000109] Шаг 107: принимают решении о наличии живого человека в случае совпадения периодичности изменения величины яркости сегментов изображения и частоты пульса живого объекта.

[000110] Данный вывод делается при выявлении периодичного изменения в последовательности кадров соответствующего по частоте диапазону пульса человека, описанного в шаге 106.

[000111] Фиг. 11 представляет собой блок-диаграмму, показывающую систему выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека согласно еще одному примеру осуществления изобретения. Например, система 1100 может быть мобильным телефоном, планшетным компьютером, терминалом цифрового вещания, устройством для обмена сообщениями, игровой приставкой, планшетом, медицинским прибором, тренажерным оборудованием и персональным цифровым помощником и т.д.

[000112] Ссылаясь на Фигуру 11, система 1100 может включать один или более следующих компонент: компонент 1102 обработки, память 1104, компонент 1106 питания, компонент 1108 мультимедиа, компонент 1110 аудио, интерфейс 1112 ввода/вывода (I/О), сенсорный компонент 1114, компонент 1116 передачи данных.

[000113] Компонент 1102 обработки в основном управляет всеми операциями системы 1100, например дисплеем, телефонным звонком, передачей данных, работой камеры и операцией записи. Компонент 1102 обработки может включать в себя один или более процессоров 1118, реализующих инструкции для завершения всех или части шагов из указанных выше способов. Кроме того, компонент 1102 обработки может включать в себя один или более модулей для удобного процесса взаимодействия между компонентами 1102 обработки и другими компонентами. Например, компонент 1102 обработки может включать в себя мультимедийный модуль для удобного облегченного взаимодействия между компонентом 1108 мультимедиа и компонентом 1102 обработки.

[000114] Процессор 1118 может быть прикладным или графическим.

[000115] Память 1104 выполнена с возможностью хранения различных типов данных для поддержки работы системы 1100. Примеры таких данных включают в себя инструкции из любого приложения или способа, контактные данные, данные адресной книги, сообщения, изображения, видео и т.д. Память 1104 может быть реализована в виде любого типа энергозависимого запоминающего устройства, энергонезависимого запоминающего устройства или их комбинации, например Статического Оперативного Запоминающего Устройства (СОЗУ), Электрически Стираемого Программируемого Постоянного Запоминающего Устройства (ЭСППЗУ), Стираемого Программируемого Постоянного Запоминающего Устройства (СППЗУ), Программируемого Постоянного Запоминающего Устройства (ППЗУ), Постоянного Запоминающего Устройства (ПЗУ), магнитной памяти, флэш-памяти, магнитного или оптического диска.

[000116] Компонент 1106 питания обеспечивает электричеством различные компоненты системы 1100. Компонент 1106 питания может включать систему управления электропитанием, один или более источник питания и другие узлы для генерации, управления и распределения электроэнергии к системе 1100.

[000117] Мультимедийный компонент 1108 включает в себя экран, обеспечивающий выходной интерфейс между системой 1100 и пользователем. В некоторых вариантах осуществления экран может быть жидкокристаллическим дисплеем (ЖКД) или сенсорной панелью (СП). Если экран включает в себя сенсорную панель, экран может быть реализован в виде сенсорного экрана для приема входного сигнала от пользователя. Сенсорная панель включает один или более сенсорных датчиков в смысле жестов, прикосновения и скольжения сенсорной панели. Сенсорный датчик может не только чувствовать границу прикосновение или жест перелистывания, но и определять длительность времени и давления, связанных с режимом работы на прикосновении и скольжении. В некоторых вариантах осуществления узел 1208 мультимедиа включает одну фронтальную камеру и/или одну заднюю камеру. Когда система 1100 находится в режиме работы, например режиме съемки или режиме видео, фронтальная камера и/или задняя камера могут получать мультимедиа данные извне. Каждая фронтальная камера и задняя камера может быть одной фиксированной оптической системой объектива или может иметь фокусное расстояние или оптический зум.

[000118] Аудиокомпонент 1110 выполнен с возможностью выходного и/или входного аудиосигнала. Например, аудиокомпонент 1110 включает один микрофон (MIC), который выполнен с возможностью получать внешний аудиосигнал, когда система 1100 находится в режиме работы, например режиме вызова, режиме записи и режиме распознавания речи. Полученный аудиосигнал может быть далее сохранен в памяти 1104 или направлен по компоненту 1116 передачи данных. В некоторых вариантах осуществления аудиокомпонент 1110 также включает в себя один динамик, выполненный с возможностью вывода аудиосигнала.

[000119] Интерфейс 1112 ввода/вывода обеспечивает интерфейс между компонентом 1102 обработки и периферийным интерфейсным модулем. Вышеуказанным периферийным интерфейсным модулем может быть клавиатура, руль, кнопка и т.д. Кнопка может включать, но не ограничиваясь, кнопку домашней страницы, кнопку регулировки громкости, кнопку включения и кнопку блокировки.

[000120] Сенсорный компонент 1114 содержит один или более сенсоров и выполнен с возможностью обеспечения различных аспектов оценки состояния системы 1100. Например, сенсорный компонент 1114 может обнаружить состояния вкл/выкл устройства 1100, относительное расположение компонентов, например дисплея и кнопочной панели прибора 1100, изменение положения системы 1100 или одного компонента системы 1100, наличие или отсутствие контакта между пользователем и системой 1100, а также ориентацию или ускорение/замедление и изменение температуры системы 1100. Сенсорный компонент 1114 содержит бесконтактный датчик, выполненный с возможностью обнаружения присутствия объекта, находящегося поблизости, когда нет физического контакта. Сенсорный компонент 1114 содержит оптический датчик (например, КМОП или ПЗС-датчик изображения), выполненный с возможностью использования в визуализации приложения. В некоторых вариантах сенсорный компонент 1114 содержит датчик ускорения, датчик гироскопа, магнитный датчик, датчик давления или датчик температуры.

[000121] Коммуникационный компонент 1116 выполнен с возможностью облегчения проводной или беспроводной связи между системой 1100 и другими устройствами. Система 1100 может получить доступ к беспроводной сети на основе стандартов связи, таких как Wi-Fi, 2G или 3G, или их комбинации. В одном примерном варианте компонент 1116 передачи данных получает широковещательный сигнал или трансляцию, связанную с ними информацию из внешней широковещательной системы управления через широковещательный канал. В одном варианте осуществления компонент 1116 передачи данных содержит модуль коммуникации ближнего поля (NFC), чтобы облегчить ближнюю связь. Например, модуль NFC может быть основан на технологии радиочастотной идентификации (RFID), технологии ассоциации передачи данных в инфракрасном диапазоне (IrDA), сверхширокополосной (UWB) технологии, Bluetooth (ВТ) технологии и других технологиях.

[000122] В примерном варианте осуществления система 1100 может быть реализована посредством одной или более Специализированных Интегральных Схем (СИС), Цифрового Сигнального Процессора (ЦСП), Устройств Цифровой Обработки Сигнала (УЦОС), Программируемого Логического Устройства (ПЛУ), логической микросхемы, программируемой в условиях эксплуатации (ППВМ), контроллера, микроконтроллера, микропроцессора или других электронных компонентов и может быть сконфигурирована для реализации способа выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека.

[000123] В примерном варианте осуществления энергонезависимый компьютерно-читаемый носитель содержит также предусмотренные инструкции, например, память 1104 включает инструкции, где инструкции выполняются процессором 1118 системы 1100 для реализации описанных выше способов отображения альбома. Например, энергонезависимым компьютерно-читаемым носителем может быть ПЗУ, оперативное запоминающее устройство (ОЗУ), компакт-диск, магнитная лента, дискеты, оптические устройства хранения данных и тому подобное.

[000124] В указанной системе 1100 процессор выполнен с возможностью:

[000125] получения последовательности кадров;

[000126] выделения лица человека на изображении каждого кадра;

[000127] разбивания площади изображения выделенного лица на сегменты в виде сетки;

[000128] проведения временной и пространственной фильтрации сегментов изображения лица, полученных на предыдущем шаге;

[000129] определения наличия периодичности в изменении величины яркости сегментов изображений во всей последовательности кадров, которая свидетельствует о наличии пульса;

[000130] определения соответствия периодичности изменения величины яркости сегментов частоте пульса человека;

[000131] принятия решения о наличии живого человека в случае совпадения периодичности изменения величины яркости сегментов изображения и частоты пульса живого объекта.

[000132] Подробное описание каждого шага, который выполняется процессором, описан выше при подробном раскрытии способа выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека.

[000133] Специалист в данной области техники может легко понять другие варианты изобретения из рассмотренного описания технического решения. Это изобретение предназначено для того, чтобы покрыть любые варианты, использования или приспособления следующих общих принципов изобретения, включая такие отклонения от настоящего изобретения, которые появляются в пределах известной или обычной практики в уровне техники. Предполагается, что описание и примеры рассматриваются только как примерные, с сущностью и объемом настоящего изобретения, обозначенными формулой изобретения.

[000134] Следует принимать во внимание, что настоящее изобретение не ограничивается точными конструкциями, которые были описаны выше и проиллюстрированы на прилагаемых чертежах, и что различные модификации и изменения могут быть сделаны без отхода от области его применения. Предполагается, что объем изобретения ограничен только прилагаемой формулой.

КОНКРЕТНЫЙ ПРИМЕР ОСУЩЕСТВЛЕНИЯ

[000135] Рассмотрим пример осуществления описанного выше способа выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека.

[000136] Получают последовательность из 120 кадров.

[000137] На каждом из кадров выделяют лицо человека посредством использования метода Виола Джонса, после чего разбивается лицо человека, как показано на Фиг. 8.

[000138] Затем осуществляют временную и пространственную фильтрацию сегментов изображения лица, полученных на предыдущем шаге, показанную на Фиг. 9, получая динамику изменения яркостей пикселей изображения.

[000139] Проверяют, есть ли периодичность в изменении яркостей каждого пикселя на примере динамики изменения яркости на исследуемых 120 картинках, полученных за 5 секунд (24 кадра в секунду) (Фиг. 10).

[000140] Из полученной зависимости видно, что есть периодичность с частотой 0.8 Гц. Частота 0.8 Гц соответствует диапазону 0.66-3.33 Гц, что свидетельствует о том, что зафиксирован пульс человека на изображении. Если такая картина изменения динамики яркости наблюдается более чем на 95% сегментов, делается вывод, что на изображении находится лицо живого человека.

Изобретение относится к вычислительной технике, а именно к области систем безопасности и контроля. Технический результат – повышение точности выявления живого человека на последовательности кадров. Способ выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека содержит: получение последовательности кадров; выделение лица человека на изображении каждого кадра; разбиение площади изображения выделенного лица на сегменты в виде сетки, причем более половины изображения разделяется на ячейки, отличающиеся друг от друга по площади не более чем в два раза; проведение временной и пространственной фильтрации сегментов изображения лица, полученных на предыдущем шаге; определение наличия периодичности в изменении величины яркости сегментов изображений во всей последовательности кадров, которая свидетельствует о наличии пульса; определение соответствия периодичности изменения величины яркости сегментов и частоты пульса человека; принятие решения о наличии живого человека в случае совпадения периодичности изменения величины яркости сегментов изображения частоте пульса живого объекта. 2 н. и 19 з.п. ф-лы, 11 ил.

1. Способ выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека, содержащий следующие шаги:

- получают последовательность кадров;

- выделяют лицо человека на изображении каждого кадра;

- разбивают площадь изображения выделенного лица на сегменты в виде сетки, причем более половины изображения разделяется на ячейки, отличающиеся друг от друга по площади не более чем в два раза;

- проводят временную и пространственную фильтрацию сегментов изображения лица, полученных на предыдущем шаге;

- определяют наличие периодичности в изменении величины яркости сегментов изображений во всей последовательности кадров, которая свидетельствует о наличии пульса;

- определяют соответствие периодичности изменения величины яркости сегментов частоте пульса человека;

- принимают решение о наличии живого человека в случае совпадения периодичности изменения величины яркости сегментов изображения и частоты пульса живого объекта.

2. Способ по п. 1, характеризующийся тем, что получают последовательность кадров в виде потокового видео, поступающего от источника видеоданных в реальном масштабе времени, или из хранилища с локального видеосервера, или центрального сервера.

3. Способ по п. 1, характеризующийся тем, что получают последовательность кадров по потоковому протоколу реального времени RTSP, и/или RTMP, и/или HLS, и/или DASH.

4. Способ по п. 1, характеризующийся тем, что получают последовательность кадров в виде списка источников видеоданных различного качества и битрейта.

5. Способ по п. 1, характеризующийся тем, что получают последовательность кадров в компрессированном виде при помощи кодера Н.264, и/или VP8, и/или MJPEG, и/или JPEG, и/или JPEG2000.

6. Способ по п. 1, характеризующийся тем, что получают последовательность кадров по беспроводным сетям, таким как GSM, или CDMA, или LTE, или Wi-Fi.

7. Способ по п. 1, характеризующийся тем, что при выделении лица человека на изображении используют метод Виола Джонса, или нейронную сеть, или метод гибкого сравнения на графах, или скрытые марковские модели.

8. Способ по п. 1, характеризующийся тем, что при разбиении площади изображения выделенного лица на сегменты в виде сетки форма сегмента круглая, или треугольная, или квадратная, или прямоугольная.

9. Способ по п. 1, характеризующийся тем, что при проведении временной и пространственной фильтрации сегментов изображения лица фильтруются низкие частоты в последовательности кадров с понижением их разрешения.

10. Способ по п. 1, характеризующийся тем, что при проведении временной и пространственной фильтрации сегментов изображения лица рассчитывают полную пирамиду Лапласа.

11. Система выявления живого человека на последовательности кадров путем выявления пульса на отдельных участках лица человека, содержащая:

- процессор;

- память для хранения инструкций исполняемых процессором,

при этом процессор выполнен с возможностью:

- получения последовательности кадров;

- выделения лица человека на изображении каждого кадра;

- разбивания площади изображения выделенного лица на сегменты в виде сетки, причем более половины изображения разделяется на ячейки, отличающиеся друг от друга по площади не более чем в два раза;

- проведения временной и пространственной фильтрации сегментов изображения лица, полученных на предыдущем шаге;

- определения наличия периодичности в изменении величины яркости сегментов изображений во всей последовательности кадров, которая свидетельствует о наличии пульса;

- определения соответствия периодичности изменения величины яркости сегментов частоте пульса человека;

- принятия решения о наличии живого человека в случае совпадения периодичности изменения величины яркости сегментов изображения частоте пульса живого объекта.

12. Система по п. 11, в которой процессор является прикладным или графическим.

13. Система по п. 11, в которой процессор получает последовательность кадров в виде потокового видео, поступающего от источника видеоданных в реальном масштабе времени, или из хранилища с локального видеосервера, или центрального сервера.

14. Система по п. 11, в которой процессор получает последовательность кадров по потоковому протоколу реального времени RTSP, и/или RTMP, и/или HLS, и/или DASH.

15. Система по п. 11, в которой процессор получает последовательность кадров в виде списка источников видеоданных различного качества и битрейта.

16. Система по п. 11, в которой процессор получает последовательность кадров в компрессированном виде при помощи кодера Н.264, и/или VP8, и/или MJPEG, и/или JPEG, и/или JPEG2000.

17. Система по п. 11, в которой процессор получает последовательность кадров по беспроводным сетям, таким как GSM или CDMA или LTE или Wi-Fi.

18. Система по п. 11, в которой при выделении процессором лица человека на изображении используют метод Виола Джонса, или нейронную сеть, или метод гибкого сравнения на графах, или скрытые марковские модели.

19. Система по п. 11, в которой при разбиении процессором площади изображения выделенного лица на сегменты в виде сетки форма сегмента круглая, или треугольная, или квадратная, или прямоугольная.

20. Система по п. 11, в которой при проведении процессором временной и пространственной фильтрации сегментов изображения лица фильтруются низкие частоты в последовательности кадров с понижением их разрешения.

21. Система по п. 11, в которой при проведении процессором временной и пространственной фильтрации сегментов изображения лица рассчитывают полную пирамиду Лапласа.