СПОСОБ, УСТРОЙСТВО И КОМПЬЮТЕРНЫЙ ПРОГРАММНЫЙ ПРОДУКТ ДЛЯ СОЗДАНИЯ ОРИЕНТАЦИОННО-НЕЗАВИСИМОГО ДЕТЕКТОРА ЛИЦ Российский патент 2013 года по МПК G06K9/46 

ОБЛАСТЬ ТЕХНИКИ

Варианты осуществления настоящего изобретения в целом относятся к технологии обработки изображений, а более конкретно - к способу, устройству и компьютерному программному продукту для выполнения обнаружения лиц независимо от ориентации.

УРОВЕНЬ ТЕХНИКИ

Обнаружение и распознание лиц становится все более важной областью техники. В этом отношении обнаружение лиц может быть полезным, например, в биометрии, в пользовательском интерфейсе и в других областях, таких как создание контекста для получения доступа к сообществам в мобильном домене. Обнаружение лиц может также быть важным прогрессом в рамках таких инициатив, как стандартизация метаданных.

Хотя способы обнаружения лиц продолжают улучшаться, для многих из них требуется либо высокая вычислительная мощность (например, в статистических способах обнаружения лиц путем сканирования с преобразованием в нескольких масштабах), либо эти способы обеспечивают лишь ограниченное обнаружение лиц (например, структурные способы с относительно высоким процентом ложного обнаружения лиц). Кроме того, некоторые статистические механизмы обнаружения лиц обладают худшими характеристиками при обнаружении лиц в нескольких ракурсах по сравнению с обнаружением лиц анфас. Другим усложняющим фактором является то, что лица, встречающиеся на конкретном изображении, не всегда ориентированы в одинаковом направлении относительно камеры, что отрицательно влияет на обнаружение. Например, в некоторых случаях поворот в плоскости (например, лица, которое повернуто относительно оси, идущей от лица до наблюдателя) может усложнить обнаружение лиц.

Соответственно, имеющаяся тенденция к разработке устройств с непрерывным повышением их способности к созданию контента, хранению контента и/или приему контента относительно быстро после запроса, тенденция в современном мире к всеохватывающему использованию электронных устройств (например, мобильных электронных устройств, таких как мобильные телефоны) и стремление к непрерывному совершенствованию интерфейса и механизмов доступа с целью повышения возможностей таких устройств могут сделать желательным обеспечение дальнейшего усовершенствования в области обнаружения лиц.

КРАТКИЙ ОБЗОР НЕКОТОРЫХ ПРИМЕРОВ

Поэтому предложены способ, устройство и компьютерный программный продукт, обеспечивающие механизм обнаружения лиц независимо от ориентации. Например, в некоторых данных в качестве примера вариантах осуществления изобретения предложен способ, позволяющий обнаруживать лица в диапазоне возможных углов вращения в плоскости 360 градусов. Кроме того, некоторые варианты осуществления обеспечивают относительно быстрый и надежный способ обнаружения лиц в множестве ракурсов с использованием схемы структурного обнаружения с операцией верификации, в которой используется статистический способ (например, статистическая верификация на основе адаптивного усиления (Adaboost, adaptive boosting)) для уменьшения количества ложных обнаружений. Кроме того, в некоторых вариантах осуществления настоящего изобретения предусмотрена возможность обнаружения нескольких возможных лиц способом многомасштабного структурного обнаружения, в котором затем используется множество детекторов лиц для верификации (например, использование детекторов лиц Adaboost, обладающих способностью обнаружения лиц анфас и повернутых в плоскости на 90 градусов) возможных лиц после их поворота к вертикальному положению на основании линии, соединяющей два обнаруженных глаза.

В данном в качестве примера варианте осуществления настоящего изобретения предложен способ обнаружения лиц независимо от ориентации. Способ может включать формирование из входного изображения множества мозаичных изображений, имеющих различный масштаб, использование множества по-разному ориентированных детекторов контуров для обнаружения контуров множества мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и выполнение обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основании соответствующих карт признаков, созданных по-разному ориентированными детекторами контуров.

В еще одном данном в качестве примера варианте осуществления настоящего изобретения предложен компьютерный программный продукт для обеспечения обнаружения лиц независимо от ориентации. Компьютерный программный продукт включает по меньшей мере один машиночитаемый носитель данных, включающий хранящиеся на нем выполняемые компьютером программные инструкции. Выполнимые компьютером программные инструкции могут включать программные инструкции для формирования на основе входного изображения множества мозаичных изображений, имеющих различный масштаб, использование множества по-разному ориентированных детекторов контуров для обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и программные инструкции для выполнения обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующей карты признаков, созданной по-разному ориентированными детекторами контуров.

В еще одном данном в качестве примера варианте осуществления настоящего изобретения предложено устройство для обнаружения лиц независимо от ориентации. Устройство может включать процессор. Процессор может осуществлять формирование по входному изображению множества мозаичных изображений, имеющих различный масштаб, использование множества по-разному ориентированных детекторов контуров для обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и выполнение обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующей карты признаков, созданной по-разному ориентированными детекторами контуров.

В еще одном данном в качестве примера варианте осуществления настоящего изобретения предложено устройство для осуществления обнаружения лица независимо от ориентации. Устройство может включать средство для формирования по входному изображению множества мозаичных изображений, имеющих различный масштаб, средство для использования множества по-разному ориентированных детекторов контуров для обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и средство для выполнения обнаружения лиц в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующей карты признаков, созданной по-разному ориентированными детекторами контуров.

Варианты осуществления настоящего изобретения обеспечивают создание способа, устройства и компьютерного программного продукта для использования, например, в мобильной или неподвижной среде. В результате, например, пользователи вычислительного устройства получают улучшенные возможности по обнаружению лиц.

КРАТКОЕ ОПИСАНИЕ СОПРОВОЖДАЮЩИХ ЧЕРТЕЖЕЙ

Таким образом, после краткого описания некоторых вариантов осуществления настоящего изобретения будут описаны сопровождающие чертежи, которые не обязательно представлены в масштабе и на которых:

на фиг.1 показан пример блок-схемы устройства, предназначенного для обнаружения лиц независимо от ориентации, согласно одному из вариантов осуществления настоящего изобретения;

на фиг.2 показан пример преобразования входного изображения в мозаичное согласно одному из вариантов осуществления настоящего изобретения;

на фиг.3 показан пример секторного охвата четырьмя детекторами контуров, ориентированных так, чтобы обеспечить полный охват круговой области при повороте в плоскости согласно одному из вариантов осуществления настоящего изобретения;

на фиг.4 показана блок-схема, иллюстрирующая совместную работу модификатора изображения и детектора контуров согласно одному из вариантов осуществления настоящего изобретения;

на фиг.5А показан пример изображения, которое в одном из вариантов осуществления настоящего изобретения может быть введено в качестве исходного изображения;

на фиг.5В показан пример карты признаков изображений для исходного изображения при повороте контуров на 0 градусов при преобразовании в полутоновое представление с уровнем бинаризации 60 согласно одному из вариантов осуществления настоящего изобретения;

на фиг.5С показан пример результата обнаружения лиц согласно одному из вариантов осуществления настоящего изобретения;

на фиг.6 (включая фиг.6А и 6В) показаны примеры эластичного шаблона лица согласно одному из вариантов осуществления настоящего изобретения;

на фиг.7 показаны примеры семи различных примитивов Хаара, которые могут использоваться в одном из вариантов осуществления настоящего изобретения;

на фиг.8 показана схема штрафов для использования в самонастройке согласно одному из вариантов осуществления настоящего изобретения;

на фиг.9 показана блок-схема операций, выполняемых согласно одному из вариантов осуществления настоящего изобретения;

на фиг.10 показана блок-схема мобильного терминала, который может получить положительный эффект при использовании вариантов осуществления настоящего изобретения; и

на фиг.11 показана последовательность операций согласно примеру способа обнаружения лиц независимо от ориентации согласно одному из вариантов осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Ниже некоторые варианты осуществления настоящего изобретения описаны более полно со ссылками на сопровождающие чертежи, на которых показаны некоторые, но не все такие варианты. Различные варианты осуществления настоящего изобретения могут быть реализованы во многих различных формах и не должны рассматриваться как ограничивающие варианты осуществления настоящего изобретения; приведенные варианты осуществления настоящего изобретения даны лишь для того, чтобы настоящее раскрытие удовлетворяло соответствующим юридическим требованиям. Одинаковыми позициями повсюду обозначены одинаковые элементы. В контексте настоящего документа термины "данные", "содержание", "информация" и аналогичные термины могут быть использованы взаимозаменяемо для описания данных, которые можно передать, принять и/или сохранить согласно различным вариантам осуществления настоящего изобретения. Кроме того, в контексте настоящего описания выражение "данный в качестве примера" не несет какой-либо качественной оценки, а просто описывает пример. Кроме того, термины "близко" и "далеко" используются в относительном смысле для описания объектов, расположенных ближе и дальше друг относительно друга от некоторой точки, но не для количественного описания какого-либо положения. Таким образом, использование любых таких терминов не ограничивает духа и объема вариантов осуществления настоящего изобретения.

Некоторые варианты осуществления настоящего изобретения обеспечивают способ, посредством которого можно усовершенствовать обнаружение лиц. В этом отношении, например, некоторые варианты осуществления настоящего изобретения могут предусматривать схемы обнаружения лиц в реальном времени или близко к реальному времени, которые могут применяться для присвоения метаданных, для биометрии и множества других действий с помощью переносного компьютера или других вычислительных устройств.

На фиг.1 показан пример блок-схемы устройства, обеспечивающего обнаружение лиц независимо от ориентации, согласно одному из вариантов осуществления настоящего изобретения. Ниже этот вариант осуществления настоящего изобретения описан со ссылкой на фиг.1, где показаны некоторые элементы устройства, позволяющие обнаружить лица независимо от ориентации. Устройство, показанное на фиг.1, может использоваться, например, в мобильном терминале (например, в мобильном терминале 10 на фиг.11) или в множестве других устройств, как мобильных, так и стационарных (таких как, например, сетевое устройство, персональный компьютер, ноутбук или аналогичное устройство). Альтернативно, варианты осуществления настоящего изобретения могут использоваться в комбинации устройств. Соответственно, некоторые варианты осуществления настоящего изобретения могут быть полностью реализованы в единственном устройстве (например, в мобильном терминале 10) или в устройствах, которые взаимодействуют соответственно иерархии клиент-сервер. Кроме того, следует отметить, что устройства или элементы, описанные ниже, возможно, не являются обязательными и, таким образом, в определенных вариантах осуществления настоящего изобретения некоторые из них могут быть опущены.

На фиг.1 показано устройство, обеспечивающее обнаружение лиц независимо от ориентации. Устройство может включать или быть связано с процессором 70, пользовательским интерфейсом 72, интерфейсом 74 связи и запоминающим устройством 76. Запоминающее устройство 76 может включать, например, энергозависимую и/или энергонезависимую память. Запоминающее устройство 76 может быть выполнено с возможностью хранения информации, данных, приложений, инструкций и т.п. для того, чтобы устройство могло выполнять различные функции в соответствии с данными в качестве примера вариантами осуществления настоящего изобретения. Например, запоминающее устройство 76 может использоваться для буферизации входных данных с последующей обработкой их процессором 70. Дополнительно или альтернативно, запоминающее устройство 76 может хранить инструкции для выполнения их процессором 70. В еще одном варианте запоминающее устройство 76 может быть одной из множества баз данных, в которых хранят информацию и/или медиаконтент.

Процессор 70 может быть выполнен множеством различных способов. Например, процессор 70 может быть выполнен как различные обрабатывающие средства, такие как обрабатывающий элемент, сопроцессор, контроллер или различные другие обрабатывающие устройства, включая интегральные схемы, например специализированную интегральную микросхему (ASIC, application specific integrated circuit), программируемую логическую матрицу (FPGA, field programmable gate array), аппаратный ускоритель и т.п.. В данном в качестве примера варианте осуществления настоящего изобретения процессор 70 может использоваться для выполнения инструкций, хранящихся в запоминающем устройстве 76 или доступных для процессора 70 в какой-либо иной форме. Кроме того, независимо от того, сформирован ли процессор 70 аппаратными средствами, с помощью программного обеспечения или с использованием комбинации перечисленного, он при соответствующем конфигурировании может представлять собой объект, способный производить операции согласно вариантам осуществления настоящего изобретения.

В то же время интерфейсом 74 связи могут быть любые средства, например устройство или схема, которые воплощены в рамках аппаратных средств, программного обеспечения или путем комбинации аппаратных средств и программного обеспечения и которые выполнены с возможностью приема данных из сети и/или передачи данных в сеть и/или любого другого устройства или модуля, имеющего связь с описываемым устройством. В этом отношении интерфейс 74 связи может включать, например, антенну (или множество антенн) и поддерживающие аппаратные средства и/или программное обеспечение, которые обеспечивают связь с сетью беспроводной связи (например, сетью 78). В неизменной окружающей среде интерфейс 74 связи может, альтернативно или дополнительно, поддерживать проводную связь. Кроме того, интерфейс 74 связи, может включать модем связи и/или другие аппаратные средства/программное обеспечение, предназначенные для осуществления связи по кабелю, цифровой абонентской линии (DSL), универсальной последовательной шине (USB) или с помощью других средств.

Пользовательский интерфейс 72 может быть связан с процессором 70 для индикации ввода пользователем данных в пользовательский интерфейс 72 и/или обеспечивать звуковой, визуальный, механический или другой выход для пользователя. При этом пользовательский интерфейс 72 может включать, например, клавиатуру, "мышь", джойстик, дисплей, сенсорный экран, микрофон, динамик или другие механизмы ввода/выхода. В данном в качестве примера варианте осуществления настоящего изобретения, в котором устройство выполнено в виде сервера или некоторых других сетевых устройств, пользовательский интерфейс 72 может иметь ограниченные функции или отсутствовать. Однако в том варианте осуществления настоящего изобретения, в котором рассматриваемое устройство выполнено в виде мобильного терминала, пользовательский интерфейс 72 может включать, помимо других устройств или элементов, любой из следующих элементов: динамик, микрофон, дисплей, клавиатуру и т.п.

В данном в качестве примера варианте осуществления настоящего изобретения процессор 70 может включать модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица и верификатор 88 или может быть выполнен с возможностью управления этими устройствами. Модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица и верификатор 88 могут представлять собой любое средство, такое как устройство или схема, воплощенные в аппаратных средствах, программном обеспечении или комбинации аппаратных средств и программного обеспечения (например, процессор 70 может работать под управлением программного обеспечения, процессор 70 может быть выполнен как специализированная интегральная микросхема (ASIC), программируемая логическая матрица (FPGA), специально предназначенная для выполнения вышеописанных операций, или их комбинация), которые предназначены для выполнения соответствующий функций модификатора 80 изображения, детектора 82 контуров, детектора 84 лиц, устройства 86 поворота возможного лица и верификатора 88 соответственно, как описано ниже.

В данном в качестве примера варианте осуществления настоящего изобретения любой из модификатора 80 изображения, детектора 82 контуров, детектора 84 лиц, устройства 86 поворота возможного лица и верификатора 88 может включать инструкции, коды, модули, приложения и/или электронные схемы для выполнения соответствующих частей процесса обнаружения лиц. Однако следует отметить, что код, электронная схема и/или инструкции, связанные с модификатором 80 изображения, детектором 82 контуров, детектором 84 лиц, устройством 86 поворота возможного лица и верификатором 88, не обязательно должны быть модульными. В некоторых вариантах осуществления настоящего изобретения связи между модификатором 80 изображения, детектором 82 контуров, детектором 84 лиц, устройством 86 поворота возможного лица и верификатором 88 осуществляются через процессор 70. Однако альтернативно, в других вариантах осуществления настоящего изобретения, модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица и верификатор 88 могут находиться в непосредственной связи друг с другом или могут не иметь никакой связи друг с другом.

В данном в качестве примера варианте осуществления настоящего изобретения модификатор 80 изображения модифицирует входное изображение из данных уровня пикселей в данные уровня признаков, и, таким образом, детектор 82 контуров может выполнить обнаружение контура на уровне признаков. Затем детектор 84 лиц обнаруживает возможные лица с использованием эластичного шаблона лица, как описано ниже, при этом он способен обнаружить лица при их повороте в плоскости в диапазоне 360 градусов. После того как возможные лица обнаружены, устройство 86 поворота возможного лица поворачивает обнаруженные возможные лица в вертикальное положение, после чего верификатор 88 проверяет, соответствуют ли возможные лица лицам.

В данном в качестве примера варианте осуществления настоящего изобретения модификатор 80 изображения может быть связан с модулем захвата среды (например, модулем 37 фотокамеры на фиг.11) для приема данных изображения с целью их использования при анализе, как описано ниже. Однако в альтернативных вариантах осуществления настоящего изобретения модификатор 80 изображения может принимать изображения из хранилища (например, запоминающего устройства 76) или другого устройства. Модификатор 80 изображения может формировать на основании входного изображения мозаичное изображение. В этом отношении модификатор 80 изображения в некоторых вариантах осуществления настоящего изобретения выполнен с возможностью преобразования данных уровня пикселей изображения в данные уровня признаков.

На фиг.2 показан пример формирования мозаичного изображения на основании входного сигнала согласно данному в качестве примера варианту осуществления настоящего изобретения. В этом примере модификатор 80 изображения осуществляет построение на основании входного изображения (например, исходного изображения) многомасштабных мозаичных изображений. В некоторых случаях можно использовать четыре масштаба размеров мозаичных ячеек, обозначенные как 2×2, 4×4, 6×6 и 8×8 соответственно. Как показано на фиг.2, размеры каждой мозаичной ячейки можно вычислить, усредняя количество всех пикселей во входном изображении, которые находятся в соответствующем определенном окне. Вследствие сильной корреляции между любыми двумя соседними мозаичными ячейками при усреднении может быть желательно учесть перекрытие между ячейками на определенный процент. Например, у каждой из мозаичных ячеек А, В, С и D на фиг.2 могут быть большие или меньшие перекрывающиеся части с другими конкретными ячейками (например, ячейка А перекрывается с каждой из ячеек В и С на 50%, с ячейкой D перекрывается только на 25%). Таким образом, согласно данному в качестве примера варианту осуществления настоящего изобретения создание мозаичного изображения с использованием модификатора 80 изображения эффективно удаляет тонкие структуры лица и выделяет более крупные признаки лица (например, глаза, рот и границы лица), поскольку мозаичное изображение состоит из мозаичных ячеек, а не из пикселей.

Созданное модификатором 80 изображения на основании входного изображения мозаичное изображение, включая различные масштабы, может быть передано в детектор 82 контуров. В некоторых вариантах осуществления настоящего изобретения для обнаружения признаков контура детектор 82 контуров преобразует мозаичные изображения, имеющие различный масштаб, в бинарную форму. При этом в одном из вариантов осуществления настоящего изобретения детектор 82 контуров может действовать как многомасштабный и многоуровневый детектор признаков контура. Например, в одном варианте осуществления настоящего изобретения могут использоваться четыре детектора контуров, при этом упомянутые четыре детектора контуров повернуты на 0, 45, 90 и 135 градусов. Такая ориентация четырех детекторов контуров обеспечивает точное обнаружение контура в широком диапазоне ориентации (например, 360 градусов). На фиг.3 показан пример того, как четыре детектора контуров, ориентированные как описано выше, способны обеспечить охват всего диапазона поворотов в плоскости. Как показано в примере на фиг.3, детектор контуров с ориентацией 0 градусов используется для обнаружения лиц в диапазоне приблизительно от 337,5 градусов до 22,5 градусов и приблизительно от 157,5 градусов до 202,5 градусов. Детектор контуров с ориентацией 45 градусов используется для обнаружения лиц в диапазоне приблизительно от 22,5 градусов до 67,5 градусов и приблизительно от 202,5 градусов до 247,5 градусов. Детектор контуров с ориентацией 90 градусов используется для обнаружения лиц в диапазоне приблизительно от 67,5 градусов до 112,5 градусов и приблизительно от 247,5 градусов до 292,5 градусов. Наконец, детектор контуров с ориентацией 135 градусов используется для обнаружения лиц в диапазоне приблизительно от 112,5 градусов до 157,5 градусов и приблизительно от 292,5 градусов до 337,5 градусов. Однако следует отметить, что вариант осуществления настоящего изобретения, показанный на фиг.3, представляет собой просто один из примеров возможных ориентаций детектора контуров, и альтернативно можно использовать другие ориентации, обеспечивающие покрытие диапазона 360 градусов.

В общем случае, если в качестве примера взять человеческое лицо в вертикальном положении, глаза и рот на лице при низком разрешении могут представлять собой изогнутые горизонтальные признаки. Соответственно, можно выявить лица путем обнаружения этих признаков и попытки сгруппировать их в модель, которая соответствует ожидаемой модели глаз и рта на лице. Поэтому область лица можно идентифицировать, если часть признаков, присутствующих в изображении, согласуется с заранее заданной структурой лица, соответствующей ожидаемой модели. В практических ситуациях лица могут быть повернуты в плоскости на любой угол, что усложняет вышеописанный процесс. Соответственно, применение детекторов контуров с множеством различных ориентаций, как описано выше, позволяет охватить все возможные углы поворота в плоскости. В приведенном выше примере каждый детектор контуров позволяет покрыть два 45-градусных сектора, лежащих под углом 180 градусов друг относительно друга. Соответственно, если имеется ML уровней бинаризации, можно создать 4·ML карт признаков контуров. Поскольку признаки контуров определены в результате комбинирования контуров для множества масштабов, каждый из признаков контуров позволяет грубо выявить направление и форму объекта, анализируемого по данному признаку.

На фиг.4 показана блок-схема, иллюстрирующая совместную работу модификатора 80 изображения и детектора контуров согласно данному в качестве примера варианту осуществления настоящего изобретения. При этом входное изображение 100 может быть преобразовано в мозаичное модификатором 80 изображения с формированием множества мозаичных изображений, имеющих различный масштаб. Например, модификатор 80 изображения может сформировать мозаичное изображение в масштабе 1 (операция 102), масштабе 2 (операция 104), в любом количестве дополнительных масштабов до масштаба n (операция 106). Затем в операции 108 детектор 82 контуров может установить порог ТН. В операции 110 можно извлечь контуры с направлением на основе сравнения мозаичного изображения в масштабе 1 с порогом ТН. В операциях 112 и 114 соответственно контуры с направлением можно извлечь на основе порога ТН для каждого соответствующего масштаба (например, 2 и n). В некоторых случаях детектор 82 контуров переводит в бинарную форму все мозаичные изображения (например, со шкалой интенсивности 0-255), отфильтрованные операторами контуров с направлением, в определенном порядке с формированием соответствующих бинарных карт контуров (например, соответствующих детекторам контуров с ориентацией 0, 45, 90 и 135 градусов). В некоторых вариантах осуществления настоящего изобретения бинаризация может быть произведена для различных уровней (например, для значений шкал интенсивности 20, 40 и 60) для различных масштабов. Затем выходные данные, соответствующие каждому масштабу, могут быть обработаны операцией 116 логического ИЛИ с формированием (операция 118) карты признаков контуров с направлением с порогом ТН. При этом контурные карты признаков контуров могут быть созданы путем комбинирования всех соответствующих карт признаков контуров для различных масштабов с одним уровнем бинаризации. Поэтому карты признаков контуров с направлением можно создать по соответствующим изображениям контуров с направлением на том же самом уровне посредством операции 116 ИЛИ.

На фиг.5А показан пример изображения, которое в варианте осуществления настоящего изобретения может быть введено в качестве исходного изображения. На фиг.5В показан пример карты признаков контуров в направлении 0 для исходного изображения с уровнем бинаризации по шкале интенсивности 60. На фиг.5С показан пример результата обнаружения лиц (например, детектором 84 лиц), который более подробно описан ниже.

В данном в качестве примера варианте осуществления настоящего изобретения в детекторе 84 лиц используется механизм распознания лиц на основе шаблона. В некоторых примерах в детекторе 84 лиц используется эластичный или гибкий процесс обнаружения лиц. При этом для обнаружения возможного лица на картах признаков контуров с направлением, выдаваемых, например, детектором 82 контуров, может быть определен эластичный шаблон лица. Эластичный шаблон лица определяют на основе специфического строения человеческого лица. Например, глаза и рот человеческого лица (когда видны оба глаза) образуют треугольник, как показано на фиг.5С. На фиг.6 (которая включает фиг.6А и 6В) показан пример эластичного шаблона лица согласно данному в качестве примера варианту осуществления настоящего изобретения. На фиг.6А показано пять частей или блоков, образующих эластичный шаблон согласно одному из примеров. Пять блоков могут включать блок (1) верхней части лица, блок (2) ноздрей, блок (3) верхней губы и блоки (4) и (5) левой и правой щек соответственно. Таким образом, блоки эластичного шаблона могут помочь определить местоположение носа и рта на возможном лице на основе первоначального обнаружения пары глаз. Эластичный шаблон называют гибким или эластичным, поскольку ширина (W) и высота (Н) шаблона не фиксированы. Вместо этого ширину (W) шаблона можно определить по расстоянию между глазами в обнаруженной паре глаз. Высоту (Н) можно определить на основе расстояния между ртом (или возможным ртом) и линией, соединяющей пару глаз. На фиг.6В показано, что эластичный шаблон наложен на пару глаз и рот, при этом пара глаз повернута в плоскости на 9 градусов.

В данном в качестве примера варианте осуществления настоящего изобретения детектор 84 лиц вначале ищет пару глаз. После нахождения пары глаз детектор 84 лиц согласно данному примеру пытается определить возможное лицо, накладывая эластичный шаблон на найденную пару глаз (или потенциальную пару глаз). При этом после нахождения пары глаз детектор 84 лиц может определить ширину эластичного шаблона лица на основе расстояния между глазами. Ориентация глаз друг относительно друга показывает угол поворота в плоскости (например, θ на фиг.6В) и также может быть определена детектором 84 лиц. При этом эластичный шаблон можно поворачивать для того, чтобы верхняя сторона эластичного шаблона стала параллельной соединительной линии между глазами. Кроме того, центр левого глаза и центр правого глаза можно поместить в левый верхний и правый верхний углы эластичного шаблона соответственно (см. фиг.6В, где дан пример поворачиваемого эластичного шаблона). Однако в некоторых случаях эффективность обнаружения можно улучшить с использованием карт признаков контуров с направлением, имеющих диапазон, который включает угол (θ) наклона для определенной пары глаз. При этом, например:

1) в диапазонах -22,5°<θ<22,5° (0°<θ<22,5° или 337,5°<θ<360°) или 157,5°<θ<202,5° для обнаружения лица используют карты признаков контуров с направлением 0°;

(2) в диапазонах 22,5°<θ<67,5° или 202,5°<θ<247,5° для обнаружения лица используют карты признаков контуров с направлением 45°;

(3) в диапазонах 67,5°<θ<112,5° или 247,5°<θ<292,5° для обнаружения лица используют карты признаков контуров с направлением 90° и

(4) в диапазонах 112,5°<θ<157,5° или 292,5°<θ<337,5° для обнаружения лица используют карты признаков контуров с направлением и -45°.

Работа детектора 84 лиц с каждой соответствующей картой признаков контуров, выдаваемой детектором 82 контуров, позволяет детектору 84 лиц обнаружить все возможные лица во всем диапазоне 360 градусов возможных углов поворота в плоскости. Кроме того, работа детектора 84 лиц с картой признаков контуров, соответствующей диапазону, который перекрывает угол поворота пары глаз в плоскости, в некоторых случаях повышает эффективность распознавания.

При выявлении возможного лица детектор 84 лиц может также определить высоту (Н) эластичного шаблона. При этом, например, если предполагается, что имеются признаки контуров N1, N2, N3, N4 и N5 в областях 1, 2, 3, 4 и 5 эластичного шаблона соответственно, может быть дано подтверждение для области лица, если выполнены следующие условия:

и

(2) N<2 и N2<3 и N3=N4=N5=0.

Преимущество детектора 84 лиц состоит в том, что с использованием эластичного шаблона детектор 84 лиц может непосредственно обнаружить лица на картах признаков контуров с направлением в диапазоне поворотов 360°. На фиг.5С показан пример результатов обнаружения лиц с использованием детектора 84 лиц согласно данному в качестве примера варианту осуществления настоящего изобретения. Поскольку обнаружение лица производят путем обработки карт признаков контуров с направлением, полученных из детектора 82 контуров, и количество включенных признаков контуров относительно ограничено, обработке может подвергаться намного меньшее количество пикселей, чем полное количество исходных пикселей изображения, и, следовательно, скорость обнаружения может быть выше. Несмотря на это усовершенствование, поскольку карты признаков контуров могут в некоторых случаях иметь информацию только о структуре изображения без деталей структуры исходного изображения, в некоторых случаях возможно ложное распознавание. Соответственно, для отсеивания данных и уменьшения количества ложных распознаваний можно использовать верификатор 88.

Верификатор 88 может выполнять операции проверки для подтверждения того, что возможное обнаружение фактически коррелирует с обнаружением лица. В данном в качестве примера варианте осуществления настоящего изобретения для проверки верификатор 88 может использовать технологию Adaboost. Однако Adaboost представляет собой просто один из примеров конкретного осуществления верификатора 88, и альтернативно могут использоваться другие механизмы. Adaboost представляет собой алгоритм машинного самообучения, который может быть использован совместно с другими механизмами обучения (например, механизмом обнаружения лиц, выполняемым модификатором 80 изображения, детектором 82 контуров и детектором 84 лиц, описанными выше) для повышения эффективности распознавания.

В некоторых вариантах осуществления настоящего изобретения можно модифицировать верификатор 88 для создания нового определения пространства признаков для Adaboost. При этом, например, вычисление в реальном времени в рамках Adaboost может идти от простых структур признаков и использования полного изображения. Adaboost типично может использоваться в соединении с четырьмя видами определенных примитивов Хаара, значения которых можно быстро вычислить с использованием полного изображения. Некоторые варианты осуществления настоящего изобретения позволяют расширить эти возможности путем определения семи видов признаков (показанных в качестве примера на фиг.7). Эти расширенные признаки позволяют осуществить более гибкий выбор кодирования существенных структур лица, так чтобы требовались менее слабые классификаторы для предварительного распознавания. Кроме того, возможно и обобщение механизма, поскольку представленные признаки также могут иметь простые структуры.

В некоторых случаях варианты осуществления настоящего изобретения могут предусматривать схему штрафов при самонастройке. Например, при каскадном обучении в рамках Adaboost может использоваться самонастройка для сбора новых положительных и отрицательных сэмплов для следующего каскада. Кроме того, в некоторых вариантах осуществления настоящего изобретения в самонастройку введен штрафной коэффициент. Например, заданному фрагменту х изображения (например, отрицательному сэмплу, после того как он прошел через предыдущие и настоящий каскады) можно присвоить соответствующий балл С(х) фрагмента изображения. Если этот балл больше, чем заданный порог а (С(х)>а), этот фрагмент изображения может быть сделан новым учебным сэмплом. Однако, как показано на фиг.8А, если некоторые положительные и отрицательные выборки очень близки к границе 150 каскада, классификация может быть ненадежной из-за шумов в изображении. Для решения этой проблемы с ненадежностью граничные условия можно ослабить (как обозначено границей 160 на фиг.8В), позволяя пройти большему количеству выборок с выходными значениями больше чем (а-а0), но меньшими чем а, где а0 - положительная константа, а именно штрафной коэффициент. С использованием этой стратегии отрицательные выборки с низкой достоверностью можно переконфигурировать для следующего каскада, обеспечивая более эффективное распознавание. В данном в качестве примера варианте осуществления настоящего изобретения значение а0 может быть установлено равным 0,001, в то время как а определяют с использованием коэффициента ложного пропуска (FAR, False Accept Rate) и коэффициента ложного отказа (False Reject Rate, FRR) (каждый из которых может также быть установлен равным 0,001) в соответствующем каскаде.

В данном в качестве примера варианте осуществления настоящего изобретения верификатор 88 может включать устройство 86 поворота возможного лица или предшествовать ему, при этом это устройство 86 поворота возможного лица способно поворачивать каждое возможное лицо в вертикальное положение на основе значения угла поворота в плоскости. Затем возможное лицо, повернутое в вертикальное положение, может быть обработано верификатором 88 (например, модифицированным верификатором Adaboost, как описано выше) для дальнейшей верификации. В некоторых вариантах осуществления настоящего изобретения можно использовать три верификатора для проверки случаев с углами поворота -45, 0, +45 градусов в плоскости соответственно. Если возможное лицо может пройти один из верификаторов, это возможное лицо можно считать действительным лицом и вывести его. Кроме того, ориентацию лица (например, углы поворота в плоскости и не в плоскости) также можно зарегистрировать.

На фиг.9 показана блок-схема операций, выполняемых согласно данному в качестве примера варианту осуществления настоящего изобретения. Например, в операции 200 входное изображение может быть уменьшено и приведено в мозаичный вид в нескольких масштабах модификатором 80 изображения. Затем в операции 202 детектор 82 контуров может выполнить обнаружение признаков контуров с направлением. В операции 204 детектор 84 лиц может выполнить на основе шаблона обнаружение лица в диапазоне 360 градусов. В операции 206 устройство 86 поворота возможного лица может производить поворот возможных лиц в вертикальное положение. Затем в операции 208 верификатор 88 может, например, использовать улучшенный алгоритм Adaboost для верификации возможного лица и вывода его.

Соответственно, некоторые варианты осуществления настоящего изобретения предусматривают обнаружение лица на уровне признаков, а не на уровне пикселей. Следовательно, скорость обнаружения может быть увеличена. В некоторых случаях нет необходимости заранее изменять масштаб лица. Вместо этого масштаб лица может быть вычислен автоматически по обнаруженным на карте признаков контуров паре глаз и рту. Как только лицо обнаружено, положение этих двух глаз на лице можно найти точно. Некоторые варианты осуществления настоящего изобретения предусматривают обнаружение в плоскости в диапазоне углов 360 градусов с использованием четырех групп карт признаков контуров (например, с ориентацией 0, 45, 90 и 135 градусов). Кроме того, некоторые варианты осуществления настоящего изобретения, в которых используется верификатор 88, обеспечивают уменьшение ложных срабатываний.

Как сказано выше, некоторые варианты осуществления настоящего изобретения могут быть реализованы в мобильных или стационарных устройствах. Пример мобильного устройства, в котором могут быть использованы варианты осуществления настоящего изобретения, показан на фиг.10. На фиг.10 показана блок-схема мобильного терминала 10, который может быть усовершенствован с использованием данных в качестве примера вариантов осуществления настоящего изобретения. Однако очевидно, что мобильный терминал, который иллюстрируется и описан ниже, дан просто как пример одного из типов мобильных терминалов, который может быть усовершенствован с использованием некоторых вариантов осуществления настоящего изобретения, и поэтому он не ограничивает объем настоящего изобретения. Варианты осуществления настоящего изобретения могут быть с пользой применены в нескольких типах мобильных терминалов, таких как персональные цифровые секретари (PDA), пейджеры, мобильные телевизионные приемники, игровые устройства, все типы компьютеров (например, ноутбуки или мобильные компьютеры), фотокамеры, аудио/видеопроигрыватели, радиоприемники, устройства глобальной системы навигации и определения положения (GPS) или любая комбинация перечисленных устройств и других типов систем связи.

В одном данном в качестве примера варианте осуществления настоящего изобретения мобильный терминал 10 содержит антенну 12 (или множество антенн), взаимодействующую с передатчиком 14 и приемником 16. Мобильный терминал 110 может дополнительно включать устройство, такое как контроллер 20 (например, процессор 70) или другой обрабатывающий элемент, который выдает сигналы на передатчик 14 и принимает сигналы из приемника 16 соответственно. Сигналы в некоторых случаях включают информацию о сигнализации в соответствии со стандартом радиоинтерфейса применяемой сотовой системы и/или могут также включать данные, соответствующие речи, принятые данные и/или данные, созданные/переданные пользователем. Мобильный терминал 10 может осуществлять действия в рамках одного или большего количества стандартов радиоинтерфейсов, протоколов связи, типов модуляции и типов доступа. Например, мобильный терминал 10 может осуществлять действия в соответствии с любым из протоколов связи первого, второго, третьего и/или четвертого поколения или аналогичных. Мобильный терминал 10 может работать в соответствии с протоколами IS-136 беспроводной связи второго поколения (2G) (множественный доступ с временным разделением каналов, TDMA), глобальной системы навигации и определения положения (GPS) и IS-95 (множественный доступ с кодовым разделением каналов, CDMA) или протоколами беспроводной связи третьего поколения (3G), такими как универсальная система мобильной связи (UMTS), CDMA2000, широкополосная CDMA (WCDMA) и синхронная с временным разделением CDMA (TD-SCDMA), с протоколом беспроводной связи 3.9G, например Е-UTRAN (усовершенствованная универсальная сеть наземного радиодоступа), протоколами беспроводной связи четвертого поколения (4G) и т.п. Альтернативно (или дополнительно), мобильный терминал 10 может осуществлять действия в соответствии с механизмами, не относящимися к сотовой связи. Например, мобильный терминал 10 может осуществлять связь в беспроводной локальной сети (WLAN) или других системах связи.

В данном в качестве примера варианте осуществления настоящего изобретения контроллер 20 включает электрическую схему для выполнения, помимо прочего, аудио/видео и логических функций мобильного терминала 10. Например, контроллер 20 может включать устройство для обработки цифровых сигналов, микропроцессорное устройство и различные аналого-цифровые преобразователи, цифроаналоговые преобразователи и/или другие вспомогательные схемы. Функции по управлению и обработке мобильного терминала 10 могут быть распределены между этими устройствами согласно их возможностям. Таким образом, контроллер 20 может включать функциональные возможности для кодирования и чередования сообщений и данных до их модуляции и передачи. Контроллер 20 может дополнительно включать внутренний вокодер и может включать внутренний модем данных. В некоторых случаях контроллер 20 дополнительно включает функциональные возможности по управлению одной или большим количеством программ, которые могут храниться в памяти. Например, контроллер 20 может осуществлять программу по осуществлению соединений, как обычный сетевой браузер. Программа по осуществлению соединений может затем позволять мобильному терминалу 10 передавать и принимать сетевой контент, например контент, зависящий от локализации, и/или другой контент веб-страниц например согласно протоколу приложений для беспроводной связи (WAP), протоколу передачи гипертекста (HTTP) и т.п.

Мобильный терминал 10 может также содержать пользовательский интерфейс, включая устройство вывода, такое как головной телефон или громкоговоритель 24, микрофон 26, дисплей 28, и пользовательский интерфейс ввода, который может быть функционально связан с контроллером 20. Пользовательский интерфейс ввода, который позволяет мобильному терминалу 10 принимать данные, может включать любое из многочисленных устройств, позволяющих мобильному терминалу 10 принимать данные, таких как клавиатура 30, сенсорный дисплей (не показан) или другое устройство ввода. В вариантах осуществления настоящего изобретения, включающих клавиатуру 30, клавиатура 30 может включать числовые (0-9) и связанные с ними (#, *) клавиши и другие клавиши постоянного назначения и программируемые клавиши, используемые для управления мобильным терминалом 10. Альтернативно, в некоторых вариантах осуществления настоящего изобретения клавиатура 30 включает клавиатуру со стандартным расположением клавиш (QWERTY). Клавиатура 30 может также включать различные программируемые клавиши с соответствующими функциями. Дополнительно или альтернативно, мобильный терминал 10 может включать интерфейсное устройство, такое как джойстик или другой пользовательский интерфейс ввода. Кроме того, мобильный терминал 10 содержит батарею 134, такую как вибрационный блок аккумуляторов, для питания различных схем, которые используются для управления мобильным терминалом 10, а также, в качестве опции, для создания механических вибраций в качестве обнаружимого выходного сигнала.

В некоторых вариантах осуществления настоящего изобретения мобильный терминал 110 дополнительно включает модуль идентификации пользователя (UIM, user identity module) 38. Обычно модуль 38 идентификации пользователя представляет собой запоминающее устройство, имеющее встроенный процессор. Например, модуль 38 идентификации пользователя может включать модуль идентификации абонента (SIM), универсальную встроенную электронную карту (UICC universal integrated circuit card), универсальный модуль идентификации абонента (USIM), сменный модуль идентификации пользователя (R-UIM) и т.д. В некоторых случаях модуль 38 идентификации пользователя хранит элементы информации, связанные с мобильным абонентом. Помимо модуля 38 идентификации пользователя мобильный терминал 10 может содержать память. Мобильный терминал 10 может включать энергозависимую память 40 и/или энергонезависимую память 42. Например, энергозависимая память 40 может включать запоминающее устройство с произвольной выборкой (RAM), включая динамическую и/или статическую память RAM, внутрисхемную или внешнюю кэш-память и т.п. Энергонезависимая память 42, которая может быть встроенной или сменной, может включать, например, постоянную память, флеш-память, магнитные накопители (например, жесткие диски, дисководы, накопители на магнитной ленте и т.д.), оптические дисководы и/или носители, энергонезависимое запоминающее устройство с произвольной выборкой (NVRAM) и т.п. Как и энергозависимая память 40, энергонезависимая память 42 может включать область для временного хранения данных. Память может хранить любой из множества видов информации и данных, используемых мобильным терминалом 10 для выполнения функции мобильного терминала 10. Например, память может включать идентификатор, такой как международный идентификатор мобильного оборудования (IMEI, international mobile equipment identification), позволяющий единственным образом идентифицировать мобильный терминал 10. Кроме того, память может хранить инструкции для определения идентификатора соты. Более конкретно, память может хранить прикладную программу, предназначенную для выполнения контроллером 20, который определяет идентичность текущей соты, то есть идентификатор соты или информацию об идентичности соты, с которой мобильный терминал 10 осуществляет связь.

В данном в качестве примера варианте осуществления настоящего изобретения мобильный терминал 10 может включать модуль захвата среды, такой как фотокамера, видео- и/или аудиомодуль, связанные с контроллером 20. Модуль захвата среды может быть любым средством, предназначенным для захвата изображения, видео- и/или аудиоданных с целью их хранения, воспроизведения или передачи. Например, в данном в качестве примера варианте осуществления настоящего изобретения, в котором модуль захвата среды представляет собой фотокамеру 37, этот модуль 37 фотокамеры может включать цифровую камеру, позволяющую создавать цифровой графический файл на основе захваченного изображения. Поэтому модуль 37 фотокамеры может включать все технические средства, такие как объектив или другое оптическое устройство, и программное обеспечение, необходимое для создания цифрового графического файла на основе захваченного изображения.

На фиг.11 показана последовательность операций для системы, способа и программного продукта согласно некоторым данным в качестве примера вариантам осуществления настоящего изобретения. Очевидно, что каждый блок или шаг в последовательности операций и комбинации блоков в последовательности операций могут быть осуществлены различными средствами, такими как аппаратные средства, встроенные программы и/или программное обеспечение, включающее одну или большее количество программных инструкций. Например, одна или большее количество описанных выше процедур может быть реализовано в виде программных инструкций. В этом отношении программные инструкции, которые реализуют процедуры, описанные выше, могут храниться в памяти мобильного терминала или другого устройства согласно вариантам осуществления настоящего изобретения и выполняться процессором в мобильном терминале или другим устройством. Очевидно, что любые такие программные инструкции могут быть загружены в компьютер или другое программируемое устройство (то есть аппаратные средства), так чтобы инструкции, которые выполняются в компьютере (например, посредством процессора) или другом программируемом устройстве, сформировали средства для осуществления функций, определенных в блоке (блоках) или на шаге (шагах) последовательности операций. Эти программные инструкции могут также храниться в машиночитаемой памяти и могут заставить компьютер (например, процессор или другое вычислительное устройство) или другое программируемое устройство функционировать определенным образом, так что инструкции, хранимые в машиночитаемой памяти, приводят к созданию изделия, включая командные средства, которые реализуют функцию, определенную в блоке (блоках) или на шаге (шагах) последовательности операций. Кроме того, программные инструкции могут быть загружены в компьютер или другое программируемое устройство, чтобы заставить их выполнить ряд рабочих шагов и провести процесс таким образом, что инструкции, которые выполняются в компьютере или другом программируемом устройстве, обеспечивают выполнение шагов для реализации функций, определенных в блоке (блоках) или на шаге (шагах) последовательности операций.

Соответственно, блоки или шаги последовательности операций поддерживают комбинации средств для выполнения указанных функций, комбинации шагов для выполнения указанных функций и программные средства для выполнения указанных функций. Очевидно также, что один или большее количество блоков или шагов в последовательности операций и комбинации блоков или шагов в последовательности операций могут быть осуществлены компьютерной системой на базе специализированных аппаратных средств, которые выполняют указанные функции или шаги, или комбинацией специализированных аппаратных средств и компьютерных инструкций.

В этом отношении один из вариантов способа обнаружения лиц независимо от ориентации, как иллюстрируется, например, на фиг.11, может включать формирование (шаг 300) на основании входного изображения множества мозаичных изображений, при этом каждое из множества мозаичных изображений имеет масштаб, отличный от масштабов других мозаичных изображений множества. Кроме того, способ может включать использование множества по-разному ориентированных детекторов контуров для выполнения обнаружения (шаг 310) контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различный масштаб, и выполнение (шаг 320) обнаружения лица в областях, соответствующих по-разному ориентированным детекторам контуров, на основе соответствующих карт признаков контуров, созданных по-разному ориентированными детекторами контуров.

В некоторых вариантах осуществления настоящего изобретения указанный способ может включать дополнительные операции, некоторые примеры которых показаны на фиг.11 штриховыми линиями. В различных альтернативных вариантах осуществления настоящего изобретения дополнительные операции могут быть выполнены в любом порядке и/или в комбинации друг с другом. Кроме того, способ может дополнительно включать операцию поворота (шаг 340) возможного лица в вертикальное положение и/или выполнение верификации (шаг 350) возможного лица, обнаруженного на предыдущих шагах.

В некоторых вариантах осуществления настоящего изобретения некоторые перечисленные выше операции могут быть модифицированы или дополнительно усилены, как описано ниже. Очевидно, что каждая модификация или усиление, описанные ниже, могут быть включены в описанные выше операции или по отдельности, или в комбинации с любыми другими признаками, описанными в настоящем документе. Например, выполнение верификации может включать использование верификации Adaboost более чем по четырем примитивам Хаара и/или может использоваться самонастройка со штрафным коэффициентом, применяемым к выборкам, ближайшим к границе каскада. В некоторых случаях использование множества по-разному ориентированных детекторов контуров может включать использование детекторов контуров, ориентированных с одинаковым угловым смещением между детекторами контуров, при этом детекторы контуров ориентированы так, чтобы охватывать триста шестьдесят градусов возможных углов поворота в плоскости для возможных лиц соответствующими секторами равного размера. В данном в качестве примера варианте осуществления настоящего изобретения выполнение обнаружения лица может включать использование эластичного шаблона лица к данным на соответствующей карте признаков для обнаружения возможного лица на основе того, что признаки возможного лица соответствуют эластичному шаблону лица, и/или использование эластичного шаблона лица, имеющего ширину, соответствующую расстоянию между глазами в обнаруженной паре глаз, и высоту, соответствующую расстоянию между линией, соединяющей обнаруженную пару глаз и потенциальный рот возможного лица. В некоторых случаях формирование множества мозаичных изображений может включать усреднение количества пикселей в каждом из множества ячеек для формирования такого мозаичного представления входного изображения, которое включает множество ячеек и использует множество уровней бинаризации мозаичных изображений, имеющих различные масштабы.

В данном в качестве примера варианте осуществления настоящего изобретения устройство для реализации способа, который иллюстрируется на фиг.11, может включать процессор (например, процессор 70), предназначенный для выполнения некоторых или всех операций (300-340), описанных выше. Процессор может выполнять, например, операции (300-340) путем выполнения логических функций, встроенных в аппаратные средства, путем выполнения хранящихся инструкций или путем выполнения алгоритмов для осуществления каждой из операций. Альтернативно, устройство может включать средства для выполнения каждой из операций, описанных выше. В этом отношении согласно вариантам осуществления настоящего изобретения примеры средств для выполнения операций 300-340 могут включать процессор 70, модификатор 80 изображения, детектор 82 контуров, детектор 84 лиц, устройство 86 поворота возможного лица, верификатор 88 и/или алгоритм, выполняемый процессором 70, для обработки информации, как описано выше.

Специалистам в данной области техники после изучения предыдущего описания и сопутствующих чертежей станут очевидны многочисленные модификации и другие варианты осуществления настоящего изобретения. Поэтому очевидно, что изобретение не должно быть ограничено конкретными раскрытыми вариантами его осуществления и что модификации и другие варианты осуществления настоящего изобретения считаются охваченными пунктами формулы изобретения. Кроме того, хотя предыдущее описание и сопутствующие чертежи описывают примеры вариантов осуществления настоящего изобретения в контексте определенных комбинаций элементов и/или функций, очевидно, что в альтернативных вариантах осуществления настоящего изобретения могут быть даны другие комбинации элементов и/или функций без отхода от объема формулы изобретения. Например, можно рассмотреть другие комбинации элементов и/или функций, нежели явно описанные выше, как предложено в некоторых из пунктов формулы изобретения. Хотя в настоящем документе используются специфические термины, они использованы только в типичном и описательном смысле, а не для ограничения.

Изобретение относится к технологии обработки изображений, в частности к обнаружению лиц независимо от ориентации. Техническим результатом является обеспечение обнаружения лиц независимо от ориентации, а также обеспечение быстроты и надежности обнаружения лиц. Способ обнаружения лиц независимо от ориентации включает формирование на основе входного изображения множества мозаичных изображений, имеющих различный масштаб, использование множества по-разному ориентированных детекторов контуров для выполнения обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и выполнение обнаружения лица в областях, соответствующих указанным по-разному ориентированным детекторам контуров, на основе соответствующих карт признаков, созданных указанными по-разному ориентированными детекторами контуров. Кроме того, раскрыты устройство и машиночитаемый носитель данных, соответствующие предлагаемому способу. 3 н. и 14 з.п. ф-лы, 15 ил.

1. Способ обнаружения лиц независимо от ориентации, включающий
формирование на основании входного изображения множества мозаичных изображений, имеющих различный масштаб,
использование множества по-разному ориентированных детекторов контуров для выполнения обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и
выполнение обнаружения лиц в областях, соответствующих указанным по-разному ориентированным детекторам контуров, на основании соответствующих карт признаков, созданных упомянутыми по-разному ориентированными детекторами контуров.

2. Способ по п.1, дополнительно включающий выполнение верификации возможного лица, обнаруженного детектором лиц.

3. Способ по любому из пп.1-2, в котором использование множества по-разному ориентированных детекторов контуров включает использование детекторов контуров, ориентированных с одинаковым угловым смещением между каждым детектором контуров и по меньшей мере одним другим детектором контуров, при этом детекторы контуров ориентированы так, чтобы охватывать триста шестьдесят градусов возможных углов поворота в плоскости для возможных лиц соответствующими секторами равного размера.

4. Способ по любому из пп.1-2, в котором выполнение обнаружения лица включает применение эластичного шаблона лица к данным на соответствующей карте признаков для обнаружения возможного лица на основе того, что признаки возможного лица соответствуют эластичному шаблону лица.

5. Способ по любому из пп.1-2, в котором выполнение обнаружения лица включает использование эластичного шаблона лица, имеющего ширину, соответствующую расстоянию между глазами в обнаруженной паре глаз, и высоту, соответствующую расстоянию между линией, соединяющей обнаруженную пару глаз, и потенциальный рот возможного лица.

6. Устройство для обнаружения лиц независимо от ориентации, включающее
средства для формирования на основании входного изображения множества мозаичных изображений, имеющих различный масштаб,
средства для использования множества по-разному ориентированных детекторов контуров для выполнения обнаружения контуров в множестве мозаичных изображений, включая комбинирование контуров множества мозаичных изображений, имеющих различные масштабы, и
средства для выполнения обнаружения лиц в областях, соответствующих указанным по-разному ориентированным детекторам контуров, на основании соответствующих карт признаков, созданных упомянутыми по-разному ориентированными детекторами контуров.

7. Устройство по п.6, включающее средства для выполнения верификации возможного лица, обнаруженного детектором лиц.

8. Устройство по п.7, включающее средства для поворота возможного лица в вертикальное положение.

9. Устройство по любому из пп.7, 8, в котором средства для выполнения верификации сконфигурированы для выполнения верификации с применением верификации на основе адаптивного усиления (Adaboost) с использованием более четырех примитивов Хаара.

10. Устройство по любому из пп.7, 8, в котором средства для выполнения верификации сконфигурированы для выполнения верификации с использованием самонастройки со штрафным коэффициентом по отношению к выборкам, ближайшим к границе каскада.

11. Устройство по любому из пп.6-8, в котором упомянутые средства для использования сконфигурированы для использования множества по-разному ориентированных детекторов контуров путем использования детекторов контуров, ориентированных с одинаковым угловым смещением между каждым детектором контуров и по меньшей мере одним другим детектором контуров, при этом детекторы контуров ориентированы так, чтобы охватывать триста шестьдесят градусов возможных углов поворота в плоскости для возможных лиц соответствующими секторами равного размера.

12. Устройство по любому из пп.6-8, в котором средства для выполнения обнаружения лиц сконфигурированы для выполнения обнаружения лица с применением эластичного шаблона лица к данным на соответствующей карте признаков для обнаружения возможного лица на основе того, что признаки возможного лица соответствуют эластичному шаблону лица.

13. Устройство по любому из пп.6-8, в котором средства для выполнения обнаружения лиц сконфигурированы для выполнения обнаружения лица с использованием эластичного шаблона лица, имеющего ширину, соответствующую расстоянию между глазами в обнаруженной паре глаз, и высоту, соответствующую расстоянию между линией, соединяющей обнаруженную пару глаз, и потенциальный рот возможного лица.

14. Устройство по любому из пп.6-8, включающее средства для формирования множества мозаичных изображений путем усреднения количества пикселей в каждой из множества ячеек для формирования мозаичного представления входного изображения, включающего множество ячеек, а также для использования множества уровней бинаризации мозаичных изображений, имеющих различные масштабы.

15. Устройство по любому из пп.6-8, в котором средства для выполнения обнаружения лиц сконфигурированы для выполнения обнаружения лица с использованием множества порогов для соответствующих мозаичных изображений с формированием соответствующих различных карт признаков для обнаружения лиц.

16. Устройство по любому из пп.6-8, в котором упомянутые средства включают по меньшей мере один процессор и по меньшей мере одну память, включающую компьютерный программный код.

17. Машиночитаемый носитель данных, включающий хранящиеся на нем выполняемые компьютером программные инструкции, которые при выполнении процессором обеспечивают выполнение способа по любому из пп.1-5.