СИСТЕМЫ И СПОСОБЫ АНАЛИЗА, ЯВЛЯЕТСЯ ЛИ ОБЪЕКТ ЖИВЫМ Российский патент 2018 года по МПК G06K9/56 G06T7/00 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Настоящая заявка является продолжением и испрашивает приоритет находящейся на рассмотрении заявки на патент США № 14/480,802, поданной 9 сентября 2014 г. и озаглавленной "Системы и способы анализа, является ли объект живым", полное содержимое которой включено в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0002] Настоящее изобретение в целом относится к анализу изображений и, в частности, к способам обработки изображений для определения, является ли живым объект, показанный на изображении.

УРОВЕНЬ ТЕХНИКИ

[0003] Часто желательно ограничить доступ к собственности или ресурсам для конкретных физических лиц. Для аутентификации личности физического лица могут быть использованы биометрические системы для предоставления или отказа в доступе к ресурсу. Например, сканеры радужной оболочки глаза могут быть использованы биометрической системой безопасности для идентификации физического лица на основе индивидуальных структур в радужной оболочке глаза человека. Однако такая система может ошибочно дать полномочия злоумышленнику, если злоумышленник представляет для сканирования предварительно записанное изображение или видео лица авторизованного человека. Такое фальсифицированное изображение или видео может быть показано на мониторе, таком как экран электронно-лучевой трубки (CRT) или жидкокристаллического дисплея (LCD), на глянцевых фотографиях и так далее, удерживаемых напротив камеры, используемой для сканирования. Некоторые так называемые системы обнаружения обмана могут обнаруживать фальсифицированное изображение путем определения движения глаз. Но такая система может быть неэффективной при идентификации фальсифицированного видео, которое включает в себя ожидаемое движение глаз. Поэтому необходимы усовершенствованные системы и способы эффективного определения фальсифицированных изображений и видео из предоставляемых "вживую" авторизованными лицами.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0004] В различных реализациях, описанных в настоящем документе, используются отличия в отражательных свойствах реальных/подлинных лиц и лиц злоумышленников для распознавания живых, подлинных лиц и/или глаз от изображений/видео злоумышленника. Это достигается отчасти путем воспроизведения опорного сигнала на экране, удерживаемом напротив цели, которая может быть реальным лицом или фальсифицированным изображением, записи отражения опорного сигнала целью и вычисления одной или более корреляций между отраженным и воспроизведенным сигналами.

[0005] Соответственно, в одном аспекте реализуемый с помощью компьютера способ определения, предоставлено ли для аутентификации живое изображение, включает в себя воспроизведение на устройстве отображения изменяющегося во времени первого сигнала, который включает в себя несколько разных соответствующих сигналов, которые разделяются друг от друга по фазе. Способ также включает в себя захват во время воспроизведения множества изображений цели, которая подсвечивается воспроизводимым первым сигналом, и временное применение полосового фильтра к изображениям для формирования множества отфильтрованных изображений. Способ дополнительно включает в себя извлечение второго сигнала из отфильтрованных изображений и формирование первой оценки на основе, по меньшей мере, временной корреляции первого сигнала и второго сигнала. Кроме того, способ включает в себя, для каждого местоположения пикселя в нескольких местоположениях пикселя, выделение соответствующего сигнала для местоположения пикселя на основе изменений соответствующего значения местоположения пикселя во времени на множестве отфильтрованных изображений и вычисление соответствующей степени корреляции местоположения пикселя для каждого из местоположений пикселя на основе корреляции соответствующего извлеченного сигнала местоположения пикселя с первым сигналом. Способ дополнительно включает в себя формирование второй оценки на основе, по меньшей мере, нескольких из степеней корреляции местоположения пикселя и допуск или отклонение цели на основе, по меньшей мере, первой и второй оценок.

[0006] Каждый соответствующий сигнал первого сигнала может иметь отличающийся цвет, и каждый из цветов может быть воспроизведен с использованием одинаковой частоты. В некоторых реализациях каждый соответствующий сигнал первого сигнала является отличающимся монохроматическим сигналом, и первый сигнал может быть синусоидальным. Каждый соответствующий сигнал первого сигнала может быть четко выраженной синусоидой, причем синусоиды могут быть наложены в первом сигнале. Соответствующие сигналы первого сигнала могут быть сформированы случайным образом. В некоторых реализациях конкретное соответствующее значение местоположения пикселя может быть цветом.

[0007] Каждое изображение может включать в себя множество соответствующих изображений, каждое из которых подверглось соответствующему преобразованию, находится при отличающемся соответствующем разрешении или включает в себя отличающуюся соответствующую полосу пространственных частот, которая соответствует выбранному эффекту освещения. Первая оценка может быть дополнительно основана на том, совпадает ли фаза первого сигнала с фазой второго сигнала. Извлечение второго сигнала из отфильтрованных изображений может включать в себя извлечение второго сигнала из соответствующего значения доминирующего цвета каждого из отфильтрованных изображений. В некоторых реализациях способ дополнительно включает в себя стабилизацию цели на нескольких из захваченных и/или обработанных изображений перед применением полосового фильтра. Полосовой фильтр может применяться в частотной области или во временной области.

[0008] В некоторых реализациях формирование второй оценки на основе, по меньшей мере, множества степеней корреляции местоположения пикселя включает в себя объединение степеней корреляции местоположения пикселя для формирования второй оценки. Цель может быть лицом человека, и объединенные степени корреляции местоположения пикселя могут относиться к местоположениям пикселя конкретной части лица. Конкретная часть лица может быть определена с использованием одной или более из следующего: (i) динамического анализа изображения с целью исключать, по меньшей мере, частично, одну или более частей лица, которые закрыты или чрезмерно открыты на множестве изображений, и (ii) маски или карты весов, представляющей собой информацию об особенностях лица, которые, скорее всего, должны отражать воспроизводимый первый сигнал.

[0009] Каждое местоположение пикселя может представлять собой несколько элементов данных изображения, некоторые или все из которых могут соответствовать различным разрешениям. Каждое местоположение пикселя может быть взвешенной комбинацией соответствующих элементов данных изображения для местоположения пикселя. Несколько захваченных изображений могут представлять собой пирамиду Гаусса или пирамиду Лапласа. Конкретное отфильтрованное изображение из отфильтрованных изображений может представлять собой взвешенную комбинацию множества уровней пирамиды. Другие варианты осуществления в данном аспекте включают в себя соответствующие системы, устройства и компьютерные программы.

[0010] Конкретные реализации объекта изобретения, представленные в настоящем описании, дают возможность реализовать одно или более из следующих преимуществ. Например, способы обнаружения зависят от сигнала многоспектрального образца, который воспроизводится при выполнении обнаружения. Изображения лица и/или глаз человека из любого предварительно записанного видео/изображения, представляемого для аутентификации, вряд ли будут коррелировать с сигналом многоспектрального образца, представляемого при определении, является ли объект живым. Кроме того, любое отражение сигнала многоспектрального образца от экрана, воспроизводящего такое видео/изображение, вероятно, будет отличаться по своей природе от отражения от лица и/или глаза живого человека. Различные реализации, описанные в настоящем документе, могут обнаружить данные аномалии, как пояснено ниже, и, как таковые, могут быть более надежными при проведении отличия между живым, авторизованным человеком и фальсифицированным видео и/или фальсифицированными изображениями.

[0011] Детали одного или более вариантов осуществления объекта изобретения, рассмотренные в настоящем описании, приводятся на сопроводительных чертежах и в нижеследующем описании. Другие признаки, аспекты и преимущества объекта изобретения станут очевидными из описания, чертежей и формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0012] Патент или комплект материалов заявки содержит, по меньшей мере, один чертеж, выполненный в цвете. Копии данного патента или публикации патентной заявки с цветным(и) чертежом(ами) будут предоставлены Агентством по запросу и при уплате необходимой пошлины.

[0013] На ФИГ. 1 показан пример процедуры определения двух оценок живого объекта.

[0014] На ФИГ. 2(a) - 2(c) изображены примеры захваченного видеокадра, соответствующего нормализованного и стабилизированного видеокадра и соответствующего временного отфильтрованного полосовой фильтрацией кадра, соответственно.

[0015] На ФИГ. 3(a) - 3(c) изображены примеры восстановленных сигналов RGB, соответствующих последовательности захваченных видеокадров, ответный сигнал полосового фильтра, восстановленных сигналов RGB, и соответствующие воспроизведенные сигналы RGB, соответственно.

[0016] На ФИГ. 4(a) - 4(c) изображены, сверху вниз, периодограммы быстрого преобразования Фурье (FFT) сигналов, изображенных на ФИГ. 3(a) - 3(c), соответственно.

[0017] На ФИГ. 4(d) изображен временной фильтр Баттерворта, использованный для формирования ответного сигнала полосового фильтра, изображенного на ФИГ. 3(b).

[0018] На ФИГ. 5(a) изображен пример усредненного нормализованного и стабилизированного кадра изображения.

[0019] На ФИГ. 5(b) - 5(d) изображены соответствующие двумерное (2D) корреляционное изображение, обработанное корреляционное изображение и соответствующее насыщенное изображение, соответственно.

[0020] На ФИГ. 5(e) изображен пример маски лица.

[0021] На ФИГ. 5(f) - 5(k) изображен пример захваченных видеокадров, соответствующих полному циклу опорного сигнала RGB, с использованием которого, вычисляется 2D корреляционное изображение, показывается на ФИГ. 5(b).

[0022] На ФИГ. 6 изображен пример схемы расположения ЖК-монитора, воспроизводящего фальсифицированное изображение, и телефона, захватывающего и анализирующего фальсифицированное изображение.

[0023] На ФИГ. 7 изображен другой пример схемы расположения ЖК-монитора, воспроизводящего фальсифицированное изображение, и телефона, захватывающего и анализирующего фальсифицированное изображение.

[0024] На ФИГ. 8(a) - 8(k) изображены фальсифицированный посредственный кадр изображения, захваченный с ЖК-монитора, расположенного как показано на ФИГ. 6, соответствующее 2D корреляционное изображение и видеокадры, соответствующие полному циклу сигнала RGB, с использованием которого, вычисляется 2D корреляционное изображение, показанное на ФИГ. 8(b).

[0025] На ФИГ. 9(a) - 9(k) изображены фальсифицированный посредственный кадр изображения, захваченный с ЖК-монитора, расположенного как показано на ФИГ. 7, соответствующее 2D корреляционное изображение и видеокадры, соответствующие полному циклу сигнала RGB, с использованием которого, вычисляется 2D корреляция изображения, показанного на ФИГ. 9(b).

[0026] На ФИГ. 10(a) - 10(c) изображены восстановленные сигналы RGB, соответствующие последовательности захваченных фальсифицированных видеокадров, показанных на ФИГ. 9(f) - 9(k), ответный сигнал полосового фильтра восстановленных сигналов RGB и соответствующих воспроизведенных сигналов RGB, соответственно.

[0027] На ФИГ. 11(a) - 11(c) изображены, сверху вниз, периодограммы быстрого преобразования Фурье (FFT) сигналов, изображенных на ФИГ. 10(a) - 10(c), соответственно.

[0028] На ФИГ. 11(d) изображен временной фильтр Баттерворта, использованный для формирования ответного сигнала полосового фильтра, изображенного на ФИГ. 10(b).

[0029] На ФИГ. 12 изображены муаровые узоры, связанные с фальсифицированным изображением.

[0030] На ФИГ. 13 показан другой пример процедуры обнаружения "живого глаза".

[0031] На ФИГ. 14(a) и 14(b) изображены примеры глаза, отражающие захваченные телефоном изображения глаза и соответствующее 2D корреляционное изображение, соответственно.

[0032] На ФИГ. 15(a) показано фальсифицированное изображение, представленное на ФИГ. 12 в большем разрешении.

[0033] На ФИГ. 15(b) и 15(c) показаны обрезанная часть изображения в высоком разрешении, представленная на ФИГ. 15(a) и место, 2D корреляция, рассчитанная в соответствии с процедурой, показанной на ФИГ. 13.

[0034] Подобные ссылочные позиции и обозначения на различных чертежах указывают одинаковые элементы.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0035] На ФИГ. 1 показана общая структурная схема для вычисления двух оценок, которые могут быть использованы для проведения различий между изображениями, полученными от реального, живого человека и фальсифицированного (например, предварительно снятых изображений или видео живого человека). На этапе 102 многоспектральный образец воспроизводится на устройстве отображения, так что лицо (или "цель") человека засвечивается образцом. В некоторых реализациях изображение отображается около секунды, но возможны другие длительности. Устройство отображения может быть устройством отображения в устройстве обработки данных, таком как, например, смартфон, умные очки, умные часы, планшетный компьютер, переносной компьютер и так далее. Возможны другие устройства отображения. Изображения цели, подсвеченные многоспектральным образцом, захватываются цифровой камерой на этапе 104. В некоторых реализациях цифровая камера является фронтальной цифровой камерой устройства обработки данных. Могут быть использованы другие цифровые камеры, включая цифровые камеры на других устройствах.

[0036] В различных реализациях многоспектральный образец включает в себя 3 наложенных синусоидальных сигнала. Например, красная, зеленая и синяя (RGB) синусоиды могут использоваться для сопоставления чувствительности собственных фильтров для каждого цветового канала по общему для цифровых камер шаблону Байера. Синусоидальные сигналы могут воспроизводиться, по существу, на одной частоте, чтобы одиночный полосовой фильтр мог быть использован для последующего анализа (описанного ниже). Кроме того, три синусоидальных сигнала могут быть разделены равномерно по фазе по трем цветовым каналам (например, красный=0, зеленый=(2*pi)/3 и синий=(2*pi)*2/3), для увеличения степени разделения восстановленного сигнала и для уменьшения пропусков подсветки, которые могут усилить эффекты мерцания, что может нести неудобства некоторым пользователям. В одной реализации используется частота около 4 Гц, что ниже порогового значения для заболевания фоточувствительной эпилепсией, но достаточно быстро для простоты отделения от типичного низкочастотного шума от освещения в течение короткого периода времени. Другие многоспектральные образцы могут быть использованы, кроме того, для синусоид RGB, включающие образцы, имеющие меньше или больше компонентов сигналов, например, красную и голубую синусоиды.

[0037] Видеосигнал, который включает в себя изображения, захваченные цифровой камерой, записываются на этапе 104. В некоторых реализациях видеосигнал является 0.75-секундным видеофрагментом приблизительно на 25 Гц, а именно, на 25 кадрах/сек. Возможны другие длительности и частоты кадров. На этапе 106 каждый кадр в записанном видеосигнале может быть помечен значением (например, значением RGB) образца, воспроизводимого на устройстве отображения на этапе 102 примерно в то же время, когда был захвачен кадр изображения. Метаданные Exchangeable Image File (EXIF) (или другие метаданные) также могут быть сохранены на этапе 106, как правило, для обеспечения оценки окружающего освещения для автоматической регулировки порога. Метаданные могут включать в себя яркость окружающей среды, время экспозиции, значение ISO и/или значение диафрагмы.

[0038] В некоторых реализациях стабилизация видео (фиксация и деформация) может быть выполнена на записанном видеосигнале на этапе 108 для того, чтобы поставить в соответствие точки на экране с общей опорной системой координат. После стабилизации и деформации, кадры могут быть конвертированы в нормализованное цветовое пространство RGB для уменьшения чувствительности к теням и другим артефактам освещения в окружающей среде и, таким образом, на этапе 108 получаем стабилизированный и нормализованный видеосигнал.

[0039] На этапе 110 стабилизированное и нормализованное видео обрабатывается с использованием временного полосового фильтра, который настраивается на частоту воспроизведенной синусоиды, например, 4 Гц в одном примере. Для наглядности, фильтр может быть применен к пирамидам Гаусса, соответствующим стабилизированным и нормализованным видеокадрам. Временная полосовая фильтрация может быть выполнена для того, чтобы изолировать от нормализованного сигнала, полученного на этапе 108, ответного сигнала, соответствующего многоспектрального шаблона, воспроизведенного на этапе 102. В результате, отфильтрованный полосовым фильтром видеосигнал сравнивается с ранее воспроизведенным многоспектральным образцом, например, в разных масштабах, чтобы получить: (1), временную корреляцию, основанную на общем кадре, на этапе 112 и/или (2) локальную корреляцию по пикселям на этапе 114, как описано ниже.

[0040] Для того чтобы вычислить общую оценку временной корреляции, каждый кадр отфильтрованного ответного сигнала, полученный на этапе 110, может быть представлен с доминирующим значением RGB на этапе 122. Доминирующее значение RGB, присвоенное на этапе 122, потенциально соответствует воспроизведенному цвету многоспектрального образца RGB, как представлено значениями RGB, помеченными для записанного видеосигнала на этапе 106. Для наглядности, доминирующие значения RGB могут быть вычислены через надежный режим из гистограммы цветности или как взвешенное среднее из значений пикселя для каждого кадра. Возможны другие способы определения доминирующего значения RGB.

[0041] Средняя цветовая насыщенность изображения вычисляется из отфильтрованного ответного сигнала (этап 110) и может быть использована с целью предоставления весовых коэффициентов для метода средневзвешенных величин (этап 122). В некоторых реализациях средняя цветовая насыщенность изображения представляет собой расстояние от серого изображения, соответствующее кадру, подлежащего обработке. Получаемое двумерное (2D) насыщенное изображение является пропорциональным насыщенности отраженного многоспектрального образца RGB. Затем, на этапе 124, линейное отклонение от тенденции выполняется независимо друг от друга в каждом из оцениваемых красном, зеленом и голубом сигналах для того, чтобы удалить любые изменяющийся компонент из данных, делая их более подходящими для сравнения с опорным сигналом многоспектрального образца RGB. Например, линейное отклонение от тенденции может быть вычислено с использованием линейного "m-оценщика".

[0042] На ФИГ. 3(a) показан пример общего сигнала RGB. Сигнал называется "общим" потому, что он представляет доминирующие значения RGB, соответствующие одному кадру, а не отдельно взятый конкретный пиксель в данном кадре. На этапе 126 данный общий сигнал обрабатывается временным полосовым фильтром Баттерворта в частотном диапазоне для извлечения подходящей частоты, соответствующей записанному сигналу. На ФИГ. 2(b) и 2(c) показан отфильтрованный сигнал RGB и воспроизведенный опорный сигнал (а именно, многоспектральный образец RGB), соответственно. Указанные два сигнала сравниваются на этапе 128 с использованием нормализованной кросс-корреляции и результирующее значение, обозначенное nxcorr, показывает первую оценку живой ли этот объект. В одном варианте осуществления на этапе 128 выполняется простой одномерный (1D) временной поиск для компенсации задержки в драйвере камеры, которая может привести к небольшому сдвигу между оцененными и воспроизведенными сигналами RGB. Поиск является 1D поиском потому, что каждая точка/узел в комбинированной временной диаграмме на ФИГ. 2(a) представляет собой целый кадр. На ФИГ. 4(a) - 4(c) изображены периодограммы быстрого преобразования Фурье (FFT) сигналов, изображенных на ФИГ. 3(a) - 3(c), соответственно.

Локальная корреляция по пикселям

[0043] На этапе 114 вычисляется пространственное среднее локальной временной нормализованной кросс-корреляции, рассчитанное в каждом местоположении пикселя в отфильтрованном ответном сигнале видео (а именно, сигнал, полученный на этапе 110 путем фильтрации стабилизированного и нормализованного записанного сигнала через временной полосовой фильтр). Пространственное усреднение может производить 2D корреляционное изображение (например, в диапазоне [-1... +1]), что может указывать насколько точно каждый пиксель в отфильтрованном ответном сигнале соответствует воспроизведенному сигналу RGB. Например, На ФИГ. 5(b) показана корреляция изображения, соответствующая примеру стабилизированного и нормализованного записанного изображения, показанного на ФИГ. 5(a). На ФИГ. 5(c) показана обработанная 2D корреляция изображения, полученная, например, путем выбора максимального из левого и правого коррелированных изображений, как описано ниже. Для вычисления 2D корреляции маска лица может быть наложена на этапе 132, например, для ограничения обработки части кожи лица и для удаления, таким образом, темных черт лица с плохим коэффициентом отражения поверхности и/или для удаления шумов из независимого движения глаз. На ФИГ. 5(e) изображен пример маски лица. Локально, попиксельная корреляция затем вычисляется на этапе 134, например, для каждого из изображенных кадров, показанных на ФИГ. 5(f) - 5(k). Указанные изображения соответствуют полному циклу многоспектрального образца RGB и соответствующие попиксельные корреляции могут быть усреднены и обработаны для получения конечной 2D корреляции изображения, показанного на ФИГ. 5(c).

[0044] В некоторых реализациях при вычислении локально, попиксельная корреляция, восстановленная фазовая задержка от общей корреляции выше, может быть использовано на этапе 134, чтобы избежать необходимости в требующем больших затрат корреляционном поиске объемных данных, соответствующих стабилизированным и нормализованным кадрам, полученным на этапе 110. В некоторых реализациях средние нормализованные пространственные кросс-корреляционные значения вычисляются раздельно на этапах 136, 138, соответственно, для левой и правой сторон маски лица. Максимальная из двух пространственных корреляций может быть выбрана на этапе 140. Это может обеспечить более надежную корреляцию оценки, чем один средний, так как экстремальные условия освещения часто ограничены только одной стороной. В качестве альтернативного варианта может быть использовано общее среднее для всех пикселей маски лица, если значение яркости окружающей среды из метаданных EXIF достаточно малы, чтобы сделать насыщение маловероятным таким, какое может быть найдено в большинстве помещений. На ФИГ. 5(d) изображено насыщенное изображение, соответствующее 2D корреляции изображения, показанного на ФИГ. 5(c). Окончательно усредненная локальная корреляция оценки, обозначенная как nxcorr2, может быть второй оценкой того, является ли объект живым.

[0045] Как правило, кожа реального лица дает относительно диффузное отражение с высоким коэффициентом отражения поверхности и, по существу, значение корреляции на каждом пикселе может быть высоким. Корреляция изображения имеет тенденцию быть достаточно однообразной, а также, с относительно низким пространственным изменением. В отличие от этого, при использовании злоумышленником видеомонитора для воспроизведения, монитор проявляет тенденцию подобную зеркалу и, в зависимости от угла отражения света, распространяемого от экрана дисплея, на котором воспроизводится многоспектральный образец RGB, свет или главным образом отражается локально в небольшой части изображения лица захваченного на экране (как изображено на ФИГ. 6), или отражается от экрана дисплея, как показано на ФИГ. 7.

[0046] Например, на ФИГ. 8(a) изображено захваченное изображение злоумышленника, которое отображается на ЖК-экране, удерживаемом напротив устройства, которым должны быть даны права доступа (например, телефон), как показано на ФИГ. 6. На ФИГ. 8(b) и 8(c) показаны соответствующие 2D корреляции изображений, на ФИГ. 8(d) показано соответствующее насыщенное изображение, на ФИГ. 8(e) показано наложение маски на лицо и на ФИГ. 8(f) - 8(k) изображены различные захваченные изображения кадров, соответствующие полному циклу многоспектрального образца RGB, представленного как показано на этапе 102 на ФИГ. 1. В данном примере, вторая оценка nxcorr2 высока (около 0.63), так как ЖК-экран удерживается параллельно телефону, используемому для фиксации изображений, а также потому что ЖК-экран действует как зеркало. Первая оценка nxcorr, то есть, общая корреляция, является низкой, однако, указывает, что захваченные изображения, вероятно, получены не от живого источника. Если ЖК-экран отображающий изображения злоумышленника удерживается под углом относительно экрана, используемого для воспроизведения многоспектрального образца RGB, как показано на ФИГ. 7, например, оба значения nxcorr2 и nxcorr, как ожидается, будут низкими, то есть, меньше чем выбранное пороговое значение, такое как 0.5, 0.4, 0.3 и так далее. Типичный пример, соответствующий данному случаю, когда свет отражается от камеры, показывается на ФИГ. 9(a) - 9(k). В данном случае ни общая, ни средняя локальная корреляции оценок не соответствуют ожидаемому сигналу RGB, как правило, в результате чего обе оценки nxcorr и nxcorr2 будут низкими. Таким образом, отфильтрованный ответный сигнал, полученный на этапе 124 может быть очень шумным, как показанный 1D сигнал RGB, показанный на ФИГ. 10(a) - 10(c).

[0047] В дополнение к использованию зеркальных свойств многих экранов воспроизведения видео, корреляции оценок могут отражать другие аномалии от воспроизведения видео, например, семплирование артефактов, таких как вертикальные полосы в отфильтрованных временным полосовым фильтром выходные изображения, как это можно увидеть на последних кадрах на ФИГ.9. В одном варианте осуществления нормализованное FFT для каждого цветного сигнала, представленное в отфильтрованном ответном сигнале является четким показателем того, что субъект является злоумышленником, как это можно увидеть на ФИГ. 11. Три верхние строки являются периодограммами, соответствующими красному, зеленому и синему цветовым каналам, полученным от отфильтрованного ответного сигнала (полученного на этапе 110, ФИГ. 1). Последняя строка является временным полосовым фильтром Баттерворта, настроенным на ожидаемый период сигнал в записанном видео. Низкое отношение отфильтрованного полосовым фильтром сигнала к полной энергии сигнал является еще одной оценкой, которая может быть использована для выявления случаев со злоумышленниками.

[0048] Анализ отражений от ЖК-экрана, удерживаемого напротив устройства, захватывающего изображение (например, камера сотового телефона), может быть использован для оказания помощи в обнаружении злоумышленника, например, когда nxcor2 высока, но nxcorr низкое, как описано со ссылкой на ФИГ. 8(a) - 8(k). Например, на ФИГ. 12(a) - 12(c) показано фальсифицированное изображение, отображенное на ЖК-экране, удерживаемом напротив камеры, обрезанное изображение части лица около глаза и край изображения, соответствующий обрезанному изображению, отображающему отражение телефона, которое было использовано для фиксации фальсифицированного изображения, отображенного на ЖК-экране. Другим артефактом являются муаровые узоры от монитора, которые видны в 2D корреляции изображения, как можно увидеть на ФИГ.12(d). 2D-классификатор, такой как классификатор Хаара, может быть обучен выявлять закономерности в корреляции изображения, которые являются уникальными для случаев со злоумышленниками. В целом, в различных реализациях подлинная классификация возвращается, если и только если общая корреляция (nxcorr) и общая корреляция (nxcorr2) превышают заранее заданное пороговое значение.

[0049] На ФИГ. 13 показан другой метод обнаружения злоумышленника, который использует отражательные свойства типичного глаза. В частности, этап 1302 воспроизведения многоспектрального образца RGB, этап 1304 фиксации видеосигнала, этап 1306 маркировки каждого кадра значением RGB и этап 1306 стабилизации записанного и маркированного видеосигнала выполняются подобным образом, как описано выше со ссылкой на ФИГ. 1. Затем, на этапе 1308 выполняется пространственно-временное полосовое разделение для использования выпуклых отражательных свойств глаза. Замечено, что глаз, как правило, имеет выпуклую отражающую поверхность, так что каждый захваченный кадр изображения на этапе 1304 включает в себя уменьшенное зеркальное изображение среды вокруг глаз, которое может включать в себя компактное изображение образца RGB, отображенное на экране дисплея на этапе 1302.

[0050] На этапе 1310 временные полосовые фильтры применяются к пирамиде Лапласа соответствующих стабилизированных, помеченных сигналов. Пирамида Лапласа может обеспечить пространственное временное разделение входного видео, чтобы помочь изолировать в первую очередь высокие пространственные частоты многоспектрального образца RGB, отраженного от глаза.

[0051] Локально, затем попиксельная 2D корреляция изображения производится путем временной нормализации кросс-корреляции между воспроизведенным сигналом и отфильтрованным полосовым фильтром выходным видео на этапе 1312. Локальное среднее в небольших окрестностях доминирующего всплеска может быть использовано как дополнительная оценка того, является ли объект живым. В общем случае, данный подход может обнаружить живой глаз, в отличие от обнаружения живого лица, используя первая и вторая оценки, описанные выше. В локальной попиксельной корреляции, а именно для области подлинного, живого глаза, ожидается только одно яркое пятно, соответствующее отражению образца сигнала RGB от зрачка глаза, как можно увидеть на ФИГ. 14(a) и 14(b). Если видны несколько пятен или ни одного пятна не обнаружено, определенно, что захваченные изображения, вероятно, представлены злоумышленником.

[0052] Системы и методы, описанные в настоящем документе могут быть реализованы в вычислительной системе, которая включает в себя внутренний компонент (например, такой как сервер данных), или, которая включает в себя промежуточный компонент (например, сервер приложений), или, которая включает в себя компонент взаимодействия с пользователем (например, клиентский компьютер, имеющий графический интерфейс пользователя или веб-браузер, через которые пользователь может взаимодействовать с вариантами осуществления изобретения систем и методов, описанных в настоящем документе), или любой комбинацией внутренних, промежуточных и компонентов взаимодействия с пользователем. Компоненты системы могут быть связаны любой формой или носителем цифровой передачи данных (например, коммуникационная сеть). Примеры коммуникационных сетей включают в себя локальную сеть ("LAN"), глобальную вычислительную сеть ("WAN") и Интернет.

[0053] Вычислительная система может включать в себя клиентов и серверы. Клиент и сервер, как правило, отдалены друг от друга и могут взаимодействовать через коммуникационную сеть. Отношение клиента и сервера возникает в силу работы компьютерных программ на соответствующих компьютерах и имеющие друг с другом отношение клиент-сервер. Были описаны несколько вариантов осуществления изобретения. Тем не менее, следует понимать, что различные модификации могут быть выполнены без отступления от сущности и объема изобретения.

[0054] Варианты осуществления объекта изобретения и операции, рассмотренные в настоящем описании, могут быть реализованы в виде цифровой электронной схемы или в виде компьютерного программного обеспечения, встроенного программного обеспечения или аппаратных средств, включающих в себя структуры, раскрытые в настоящем описании и их структурных эквивалентов или в комбинациях одного или нескольких из них. Варианты осуществления объекта изобретения, рассмотренные в настоящем описании, могут быть реализованы как одна или несколько компьютерных программ, а именно, один или несколько модулей команд компьютерной программы, закодированных на компьютерном носителе информации для выполнения, или управления работой устройства обработки данных. В качестве альтернативного варианта или дополнительно к данному, программные команды могут быть закодированы в искусственно сформированном распространяемом сигнале, например, сформированный машиной электрический, оптический или электромагнитный сигнал, который формируется для кодирования информации с целью передачи подходящему приемному устройству для выполнения устройством обработки данных. Запоминающая среда компьютера может быть или может быть включена в машиночитаемое запоминающее устройство, машиночитаемая запоминающая среда, оперативная или с последовательным доступом массив памяти или устройство, или комбинация одного или нескольких из них. Кроме того, в то время как запоминающая среда компьютера не распространяет сигнал, запоминающая среда компьютера может быть источником или адресатом компьютерной программы, закодированной в искусственно сформированном распространяемом сигнале. Запоминающая среда компьютера также может быть или может быть включена в один или несколько отдельных физических элементов или сред (например, составные CD, диски или другие запоминающие устройства).

[0055] Операции, описанные в настоящем описании, могут быть реализованы как операции, выполненные устройством обработки данных, хранящиеся на одном или нескольких машиночитаемых запоминающих устройствах или полученными от других устройств.

[0056] Термин "устройство обработки данных" охватывает все виды аппаратуры, устройств и машин для обработки данных, в том числе в качестве примера, программируемый процессор, компьютер, интегральная схема, или множество устройств, или комбинаций вышеупомянутого. Устройство может включать в себя логическую схему специального назначения, например, FPGA (программируемая пользователем вентильная матрица) или ASIC (специализированная интегральная схема). Также устройство может включать в себя, в дополнение к аппаратным средствам, код, который создает среду выполнения для компьютерной программы, о которой идет речь, например, код, который представляет собой встроенное программное обеспечение, стек протоколов, систему управления базой данных, операционную систему, кросс-платформенную среду выполнения, виртуальную машину или комбинацию одного или нескольких из них. Устройство и среда выполнения может реализовывать различные отличающиеся друг от друга вычислительные модели инфраструктуры, такие как веб-сервисы, инфраструктуры распределенной обработки данных и распределенных вычислений.

[0057] Компьютерная программа (иначе называемая программой, программным обеспечением, программным приложением, скриптом или кодом) может быть написана в любой форме языка программирования, включающей в себя компилируемые или интерпретируемые языки, декларативные или процедурные языки, и она может быть применена в любой форме, включающей в себя такие как отдельная программа или как модуль, компонент, подпрограмма, объект или другой блок, подходящий для использования в компьютерной среде. Компьютерная программа может, но не обязательно, соответствовать файлу в файловой системе. Программа может быть сохранена в части файла, который содержит другие программы или данные (например, один или несколько скриптов, сохраненных в ресурсе языка разметки), в отдельном файле, специализированном для программы о которой идет речь или в нескольких согласованных файлах (например, файлы, которые хранят один или несколько модулей, подпрограмм или частей кода). Компьютерная программа может быть применена для выполнения на одном компьютере или на нескольких компьютерах, которые располагаются в одном месте или распределенных в нескольких местах и соединенных между собой коммуникационной сетью.

[0058] Варианты осуществления объекта изобретения, представленные в настоящем описании, могут быть реализованы в вычислительной системе, которая включает в себя внутренний компонент, например, в качестве сервера данных, или которая включает в себя промежуточный компонент, например, сервер приложений, или которая включает в себя компонент взаимодействия с пользователем, например, клиентский компьютер, имеющий графический интерфейс пользователя или веб-браузер, через которые пользователь может взаимодействовать с реализацией объекта изобретения, обсуждаемой в настоящем описании, или любую комбинацию одного или нескольких таких внутренних, промежуточных или компонентов взаимодействия с пользователем. Компоненты системы могут быть связаны любой формой или носителем цифровой передачи данных, например, коммуникационной сетью. Примеры коммуникационных сетей включают в себя локальную сеть ("LAN") и глобальную вычислительную сеть ("WAN"), интерсеть (например, Интернет) и одноранговые сети (например, узкоспециализированные одноранговые сети).

[0059] Вычислительная система может включать в себя клиенты и серверы. Клиент и сервер, как правило, отдалены друг от друга и могут взаимодействовать через коммуникационную сеть. Отношение клиента и сервера возникает в силу работы компьютерных программ на соответствующих компьютерах и имеющих друг с другом отношение клиент-сервер. В некоторых реализациях сервер передает данные (например, страницу HTML) на клиентские устройство (например, для целей отображения данных и приема пользовательского ввода от взаимодействия с клиентским устройством). Данные, сформированные на клиентском устройстве (например, результат взаимодействия с пользователем) могут быть получены на сервере от клиентского устройства.

[0060] Система одного или нескольких компьютеров может быть сконфигурирована для выполнения конкретных операций или действий за счет наличия программного обеспечения, встроенного программного обеспечения, аппаратных средств или их комбинации, установленных на системе, которая приводит к работе или приводит к выполнению системой работы. Одна или несколько компьютерных программ могут быть сконфигурированы для выполнения конкретных операций или действий за счет включения инструкций, которые затем выполняются устройством обработки данных, приводящих к выполнению устройством работы.

[0061] Хотя настоящее описание содержит множество конкретных деталей вариантов осуществления изобретения, они не должны быть истолкованы как ограничивающие по объему какие-либо изобретения или в том, что может быть заявлено, но скорее как описания отличительных признаков, характерных для конкретных вариантов осуществления конкретных изобретений. Определенные отличительные признаки изобретения, которые рассматриваются в настоящем описании в контексте отдельных вариантов осуществления изобретения, также могут быть реализованы в комбинации в одном варианте осуществления изобретения. Верно и обратное, различные отличительные признаки изобретения, которые описываются в контексте одного варианта осуществления изобретения, также могут быть реализованы во множестве вариантов осуществления изобретения отдельно или в любой подходящей подкомбинации. Кроме того, хотя отличительные признаки изобретения могут быть описаны выше как действующие в определенных комбинациях и даже изначально заявлены как таковые, один или несколько отличительных признаков изобретения из заявленной комбинации, могут в некоторых случаях быть исключены из комбинации и заявленная комбинация может быть направлена на подкомбинацию или отклонение от подкомбинации.

[0062] Подобным образом, в то время как операции изображаются на чертежах в конкретном порядке, это не следует понимать как требующую, того чтобы такие операции выполнялись в конкретном показанном порядке, или последовательном порядке, или что все показанные операции были бы выполнены для достижения желаемых результатов. При определенных обстоятельствах, может быть желательна многозадачность и параллельная обработка данных. Кроме того, разделение различных компонентов систем в вариантах осуществления изобретения, описанное выше не должно пониматься как требующее такого разделения во всех вариантах осуществления изобретения и должно пониматься так, что описанные программные компоненты и системы могут, в основном, быть объединены вместе в один программный продукт или упакованы в несколько программных продуктов.

[0063] Таким образом, были описаны конкретные варианты осуществления объекта изобретения. Другие варианты осуществления находятся в пределах объема следующей далее формулы изобретения. В некоторых случаях этапы, перечисленные в формуле изобретения, могут быть выполнены в другом порядке, достигая при этом желаемых результатов. Кроме того, процессы, изображенные на сопроводительных чертежах, не обязательно требуют конкретного показанного порядка или последовательного порядка для достижения желаемых результатов. В конкретных реализациях может быть предпочтительна многозадачность и параллельная обработка.

Изобретение относится к анализу изображений. Технический результат заключается в повышении надежности выявления отличия между живым, авторизованным человеком и фальсифицированным видео и/или фальсифицированными изображениями. Такой результат достигается за счет того, что опорный сигнал обрабатывается на устройстве отображения, и анализируется отражение воспроизведенного сигнала от цели для определения, является ли она живой, при этом анализ включает в себя пространственную и/или временную полосовую фильтрацию отраженного сигнала и определение значений RGB для каждого кадра в отраженном сигнале и/или в каждом пикселе в одном или более кадрах отраженного сигнала, вычисление уровня кадра и/или попиксельных корреляций между определенными значениями RGB и воспроизведенным сигналом, и с использованием одной или обеих корреляций выполнение определения того, является ли предоставленное изображение живым объектом или фальсификацией. 2 н. и 28 з.п. ф-лы, 15 ил.

1. Реализуемый с помощью компьютера способ обработки изображения для определения, является ли живым объект, показанный на изображении, содержащий этапы, на которых:

воспроизводят на устройстве отображения изменяющийся во времени многоцветный сигнал, содержащий множество разных цветных сигналов, которые разделены друг от друга по фазе;

во время этапа воспроизведения захватывают множество изображений цели, которая освещается воспроизводимым многоцветным сигналом, причем множество изображений представляет собой множество кадров;

осуществляют маркировку кадров соответствующими значениями цвета воспроизводимого многоцветного сигнала в момент времени, когда были захвачены соответствующие изображения, соответствующие кадрам;

временно применяют полосовой фильтр к изображениям для формирования множества отфильтрованных изображений;

извлекают отфильтрованный ответный сигнал из отфильтрованных изображений;

формируют оценку временной корреляции на уровне кадров на основе, по меньшей мере, временной корреляции на уровне кадров между соответствующими маркированными значениями цвета и соответствующими значениями доминирующего цвета отфильтрованного ответного сигнала;

вычисляют во множестве кадров, для каждого местоположения пикселя, степень временной корреляции на уровне пикселей из временной корреляции между соответствующими значениями цвета пикселей в этом местоположении пикселя на соответствующих кадрах и соответствующими значениями цвета воспроизводимого многоцветного сигнала в момент времени, когда были захвачены соответствующие изображения, соответствующие кадрам;

формируют оценку временной корреляции на уровне пикселей на основе, по меньшей мере, множества степеней временной корреляции на уровне пикселей; и

допускают или отклоняют цель на основе, по меньшей мере, оценок временной корреляции на уровне кадров и на уровне пикселей.

2. Способ по п. 1, в котором каждый соответствующий сигнал многоцветного сигнала представляет собой отличающийся цвет.

3. Способ по п. 2, в котором каждый из цветов воспроизводят с использованием одинаковой частоты.

4. Способ по п. 1, в котором каждый соответствующий сигнал многоцветного сигнала является отличающимся монохроматическим сигналом.

5. Способ по п. 1, в котором многоцветный сигнал является синусоидальным.

6. Способ по п. 1, в котором каждый соответствующий сигнал многоцветного сигнала является четко выраженной синусоидой, причем синусоиды накладываются в многоцветном сигнале.

7. Способ по п. 1, в котором соответствующие сигналы многоцветного сигнала формируют случайным образом.

8. Способ по п. 1, в котором конкретным соответствующим значением местоположения пикселя является цвет.

9. Способ по п. 1, в котором каждое изображение содержит множество соответствующих изображений, каждое из которых: соответствующим образом преобразуется при отличающемся соответствующем разрешении или содержит отличающуюся соответствующую полосу пространственных частот, которая соответствует выбранному эффекту освещения.

10. Способ по п. 1, в котором оценка временной корреляции на уровне кадров дополнительно основана на том, совпадает ли фаза многоцветного сигнала с фазой отфильтрованного ответного сигнала.

11. Способ по п. 1, в котором этап извлечения отфильтрованного ответного сигнала из отфильтрованных изображений содержит этап, на котором извлекают отфильтрованный ответный сигнал из соответствующего значения доминирующего цвета каждого из отфильтрованных изображений.

12. Способ по п. 1, дополнительно содержащий этап, на котором стабилизируют цель на множестве изображений перед этапом применения полосового фильтра.

13. Способ по п. 1, в котором полосовой фильтр применяют в частотной области или во временной области.

14. Способ по п. 1, в котором этап формирования оценки временной корреляции на уровне пикселей на основе, по меньшей мере, множества степеней корреляции местоположений пикселей содержит этап, на котором объединяют степени корреляции местоположений пикселей для формирования оценки временной корреляции на уровне пикселей.

15. Способ по п. 14, в котором целью является лицо человека, причем объединенные степени корреляции местоположений пикселей относятся к местоположениям пикселей для конкретной части лица.

16. Способ по п. 15, в котором конкретную часть лица определяют с использованием, по меньшей мере, одного из следующего: (i) динамического анализа изображения, чтобы исключать, по меньшей мере частично, одну или более частей лица, которые закрыты или излишне открыты на множестве изображений, и (ii) маски или карты весов, представляющей собой информацию об особенностях лица, которые, скорее всего, должны отражать воспроизводимый многоцветный сигнал.

17. Способ по п. 1, в котором каждое местоположение пикселя представляет собой соответствующее множество элементов данных изображения.

18. Способ по п. 17, в котором множество элементов данных изображения соответствует разным разрешениям.

19. Способ по п. 18, в котором каждое местоположение пикселя является взвешенной комбинацией соответствующих элементов данных изображения для местоположения пикселя.

20. Способ по п. 1, в котором захваченное множество изображений представляет собой пирамиду Гаусса или пирамиду Лапласа.

21. Способ по п. 20, в котором конкретное отфильтрованное изображение из отфильтрованных изображений представляет собой взвешенную комбинацию множества уровней пирамиды.

22. Система обработки изображения для определения, является ли живым объект, показанный на изображении, содержащая процессор и запоминающее устройство, электрически соединенное с процессором, причем процессор запрограммирован с возможностью выполнения этапов, содержащих:

воспроизведение на устройстве отображения изменяющегося во времени многоцветного сигнала, содержащего множество разных цветных сигналов, которые разделены друг от друга по фазе;

во время воспроизведения захват множества изображений цели, которая освещается воспроизводимым многоцветным сигналом, причем множество изображений представляет собой множество кадров;

маркировку кадров соответствующими значениями цвета воспроизводимого многоцветного сигнала в момент времени, когда были захвачены соответствующие изображения, соответствующие кадрам;

временное применение полосового фильтра к изображениям для формирования множества отфильтрованных изображений;

извлечение отфильтрованного ответного сигнала из отфильтрованных изображений;

формирование оценки временной корреляции на уровне кадров на основе, по меньшей мере, временной корреляции на уровне кадров между соответствующими маркированными значениями цвета и соответствующими значениями доминирующего цвета отфильтрованного ответного сигнала;

вычисление во множестве кадров, для каждого местоположения пикселя, степени временной корреляции на уровне пикселей из временной корреляции между соответствующими значениями цвета пикселей в этом местоположении пикселя на соответствующих кадрах и соответствующими значениями цвета воспроизводимого многоцветного сигнала в момент времени, когда были захвачены соответствующие изображения, соответствующие кадрам;

формирование оценки временной корреляции на уровне пикселей на основе, по меньшей мере, множества степеней временной корреляции на уровне пикселей; и

допуск или отклонение цели на основе, по меньшей мере, оценок временной корреляции на уровне кадров и на уровне пикселей.

23. Система по п. 22, в которой процессор запрограммирован с возможностью обеспечения каждого соответствующего сигнала многоцветного сигнала в отличающемся цвете.

24. Система по п. 23, в которой процессор запрограммирован с возможностью воспроизведения каждого из цветов с использованием одинаковой частоты.

25. Система по п. 22, в которой каждый соответствующий сигнал многоцветного сигнала является четко выраженной синусоидой, причем синусоиды накладываются в многоцветном сигнале.

26. Система по п. 22, в которой конкретным соответствующим значением местоположения пикселя является цвет.

27. Система по п. 22, в которой каждое изображение содержит множество соответствующих изображений, каждое из которых: соответствующим образом преобразовано при отличающемся соответствующем разрешении или содержит отличающуюся соответствующую полосу пространственных частот, которая соответствует выбранному эффекту освещения.

28. Система по п. 22, в которой процессор дополнительно запрограммирован с возможностью извлечения отфильтрованного ответного сигнала из отфильтрованных изображений путем извлечения отфильтрованного ответного сигнала из соответствующего значения доминирующего цвета каждого из отфильтрованных изображений.

29. Система по п. 22, в которой процессор дополнительно запрограммирован с возможностью стабилизации цели на множестве изображений перед применением полосового фильтра.

30. Система по п. 22, в которой для формирования оценки временной корреляции на уровне пикселей на основе, по меньшей мере, множества степеней корреляции местоположений пикселей, процессор дополнительно запрограммирован с возможностью объединения степеней корреляции местоположений пикселей для формирования оценки временной корреляции на уровне пикселей.