СПОСОБ И УСТРОЙСТВО ДЛЯ ОТСЛЕЖИВАНИЯ И РАСПОЗНАВАНИЯ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ ДЕСКРИПТОРОВ, ИНВАРИАНТНЫХ ОТНОСИТЕЛЬНО ВРАЩЕНИЯ Российский патент 2015 года по МПК G06K9/46 

Область техники

Варианты выполнения настоящей группы изобретений, в целом, относятся к обработке изображений и, в частности, к способу и устройству для формирования и использования дескрипторов признаков для отслеживания и распознавания объектов.

Уровень техники

В некоторых приложениях желательно иметь возможность идентификации признаков в последовательности изображений, таких как видеокадры, и слежения за перемещением этих признаков в изображениях. Например, может быть захвачена последовательность видеокадров, включающих различимый объект, и может быть желательно уметь идентифицировать этот объект, следить за его относительным перемещением в видеокадрах и автоматически опознавать этот объект. В связи с этим, идентификация признаков в пределах изображения используется в приложениях компьютерного зрения, таких как «дополненная реальность». Эти приложения все шире используются для распознавания объектов в реальном времени, восстановления трехмерных объектов, сшивания панорамы, формирования карты роботами и отслеживания видеообъектов.

В настоящее время переносные устройства, такие как мобильные телефоны, обычно снабжаются оборудованием с возможностями захвата видеоизображения. Возможности захвата видеоизображения могут быть использованы для мобильных приложений и подходящих приложений компьютерного зрения, таких как мобильная дополненная реальность (MAR, mobile augmented reality). Однако, по меньшей мере в некоторых примерах использования, мощности переносного устройства может оказаться недостаточно для реализации таких возможностей обработки изображений в переносном устройстве.

Сущность изобретения

Ниже описаны различные примеры способов и устройств согласно настоящему изобретению, предназначенные для отслеживания и распознавания объектов с помощью дескрипторов признаков, инвариантных относительно вращения. Согласно некоторым вариантам выполнения настоящего изобретения, можно формировать дескрипторы признаков, инвариантные относительно вращения и требующие относительно небольшой объем вычислений, но достаточно надежные для обеспечения точного отслеживания и распознавания объектов. Кроме того, согласно различным вариантам выполнения настоящего изобретения, те же дескрипторы признаков, которые используются для отслеживания, используются и для распознавания объектов.

Пример одного из способов включает формирование пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым примерам вариантов выполнения настоящего изобретения, указанные дескрипторы признаков инвариантны относительно вращения. Кроме того, пример способа может включать отслеживание перемещения путем установления соответствия дескрипторов признаков дескрипторам признаков предыдущего кадра и выполнение распознавания объекта в пределах кадра изображения на основе этих дескрипторов признаков.

Соответствующий пример устройства для отслеживания и распознавания объектов с помощью дескрипторов признаков, инвариантных относительно вращения, содержит по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом по меньшей мере одна память и компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора заставлять устройство выполнять различные функции. В связи с этим, устройство обеспечивает выполнение формирования пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым примерам вариантов выполнения настоящего изобретения, указанные дескрипторы признаков инвариантны относительно вращения. Кроме того, пример устройства может выполнять отслеживание перемещения путем установления соответствия дескрипторов признаков дескрипторам признаков предыдущего кадра и выполнение распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.

Еще один вариант выполнения настоящего изобретения представляет собой машиночитаемый носитель данных, на котором хранятся исполняемые машиночитаемые инструкции программного кода. Эти машиночитаемые инструкции программного кода на машиночитаемом носителе данных заставляют устройство выполнять различные функции. В связи с этим, пример устройства обеспечивает выполнение формирования пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым примерам вариантов выполнения настоящего изобретения, указанные дескрипторы признаков инвариантны относительно вращения. Кроме того, пример устройства может обеспечивать отслеживание перемещения путем установления соответствия дескрипторов признаков дескрипторам признаков предыдущего кадра и выполнение распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.

Еще один пример варианта выполнения настоящего изобретения представляет собой устройство для отслеживания и распознавания дескрипторов признаков, инвариантных относительно вращения. Это устройство содержит средство для формирования пирамиды изображений для кадра изображения, средство для обнаружения множества представляющих интерес точек в пирамиде изображений и средство для извлечения дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым примерам вариантов выполнения настоящего изобретения, указанные дескрипторы признаков инвариантны относительно вращения. Кроме того, пример устройства может также включать средство для отслеживания перемещения путем установления соответствия дескрипторов признаков дескрипторам признаков в предыдущем кадре и средство для распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

После общего описания настоящего изобретения рассмотрим приложенные чертежи, которые не обязательно выполнены в масштабе.

На фиг.1 иллюстрируется формирование радиальных градиентов согласно примеру варианта выполнения настоящего изобретения.

На фиг.2 иллюстрируется инвариантность относительно вращения с использованием преобразования радиального градиента согласно одному из вариантов выполнения настоящего изобретения.

На фиг.3а-3d показана сегментация изображений на ячейки для осуществления разбиения согласно варианту выполнения настоящего изобретения.

На фиг.4а-4b показаны конфигурации пространственного разбиения согласно варианту выполнения настоящего изобретения.

На фиг.5а-5b показано преобразование радиального градиента и базисные вектора приближенного преобразования радиального градиента согласно варианту выполнения настоящего изобретения.

На фиг.6 показана структурная схема устройства для отслеживания и распознавания объектов с использованием дескрипторов признаков, инвариантных относительно вращения, согласно варианту выполнения настоящего изобретения.

На фиг.7 показана структурная схема мобильного терминала для отслеживания и распознавания объектов с использованием дескрипторов признаков, инвариантных относительно вращения, согласно варианту выполнения настоящего изобретения.

На фиг.8 показана блок-схема способа отслеживания и распознавания объектов с использованием дескрипторов признаков, инвариантных относительно вращения, согласно варианту выполнения настоящего изобретения.

На фиг.9 показана другая блок-схема способа отслеживания и распознавания объектов с использованием дескрипторов признаков, инвариантных относительно вращения, согласно варианту выполнения настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Ниже более подробно описаны примеры вариантов выполнения настоящего изобретения со ссылками на приложенные чертежи, на которых показаны некоторые, но не все варианты выполнения настоящего изобретения. Изобретение может быть реализовано во многих разных формах и не ограничивается описываемыми вариантами его выполнения; эти варианты выполнения настоящего изобретения представлены для выполнения требования промышленной применимости изобретения. В данном описании одинаковые позиции соответствуют одинаковым элементам. В некоторых вариантах выполнения настоящего изобретения термины "данные", "контент", "информация" и аналогичные термины могут использоваться взаимозаменяемо для описания данных, которые можно передавать, принимать, хранить и/или которыми можно управлять.

Используемый в описании термин "схема" относится к следующему: (а) только к аппаратными реализациям (таким как реализации только на аналоговых и/или цифровых схемах) и (б) к комбинациям схем и программного обеспечения (и/или встроенного программного обеспечения) (таким как, применительно к конкретному контексту, (i) комбинация процессора(процессоров) или (ii) части процессора/программного обеспечения (включая процессор (процессоры) цифровой обработки сигналов, программное обеспечение и модуль (модули) памяти, которые работают совместно, чтобы заставить устройство, такое как мобильный телефон или сервер, выполнять различные функции) (в) к схемам, таким как микропроцессор (микропроцессоры) или часть микропроцессора (микропроцессоров), для работы которого необходимо программное обеспечение или встроенное программное обеспечение, даже если это программное обеспечение или встроенное программное обеспечение физически не присутствует.

Это определение термина "схема" используется везде в данном описании, включая формулу изобретения. В качестве другого примера использования в данном описании этого термина в применении к конкретному контексту, термин "схема" также охватывает реализацию просто процессора (или множества процессоров) и сопровождающего его (или их) программного или встроенного программного обеспечения. Термин "схема" охватывает также в применении к конкретному признаку формулы изобретения, например интегральную схему основной полосы частот или интегральную схему процессора приложений в мобильном телефоне или аналогичную интегральную схему в сервере, устройстве сотовой сети связи или других сетевых устройствах.

Примеры вариантов выполнения настоящего изобретения включают способы и устройства для унификации отслеживания и распознавания видеоконтента в приложениях обработки изображений, таких как мобильные приложения дополненной реальности (Mobile Augmented Reality (MAR)), с использованием формируемого дескриптора признаков, как будет описано ниже. Этот дескриптор признаков может называться инвариантным относительно вращения быстрым дескриптором признаков (RIFF, Rotation Invariant Fast Feature). Дескриптор RIFF может формироваться с использованием преобразования радиального градиента (RGT, Radial gradient transform) и/или приближенного преобразования радиального градиента (ARGT, approximate radial gradient transform). Согласно различным примерам вариантов выполнения настоящего изобретения, дескрипторы RIFF формируются достаточно быстро для обеспечения отслеживания объектов со скоростью следования кадров или близко к скорости следования кадров и достаточно устойчиво для решения задач крупномасштабного распознавания. Например, согласно некоторым примерам вариантов выполнения настоящего изобретения, схемы отслеживания, в которых используются дескрипторы RIFF, способны формировать модели глобальных аффинных движений, сопоставимые с моделью отслеживания признаков Kanade-Lucas-Tomasi (KLT), и позволяют достичь улучшенной точности распознавания для базы данных изображений.

Приложения обработки изображений, такие как приложения MAR, могут использовать отслеживание и распознавание визуальных объектов. В примерах вариантов выполнения настоящего изобретения используется межкадровая избыточность для унификации отслеживания и распознавания объектов путем формирования дескрипторов признаков, которые могут извлекаться со скоростью следования кадров или с близкой скоростью и могут использоваться как для отслеживания, так и распознавания. Дескрипторы признаков согласно примерам выполнения настоящего изобретения можно формировать, извлекая со скоростью следования кадров такую информацию, которая полезна как для распознавания, так и для отслеживания объектов. При таком формировании дескрипторов признаков эти дескрипторы признаков могут поддерживать как отслеживание, так и распознавание объектов. Кроме того, для преодоления ограничений, связанных с ограниченной вычислительной мощностью многих переносных устройств, дескрипторы признаков согласно различным вариантам выполнения настоящего изобретения являются надежными и быстро вычисляются.

Формирование дескриптора RIFF может начинаться с процедуры формирования дескриптора сжатой гистограммы градиентов (CHoG, compressed histogram of gradient), который, как было выяснено, хорошо работает при очень низких скоростях передачи битов. Однако, согласно некоторым вариантам выполнения настоящего изобретения, процедуру CHoG можно модифицировать для устранения фазы назначения ориентации при обнаружении ключевой точки, что позволяет увеличить скорость и формировать дескриптор признаков, инвариантный относительно вращения.

В связи с этим можно формировать два типа дескрипторов RIFF: дескрипторы на основе градиентного разбиения и дескрипторы на основе пространственного разбиения. Инвариантность относительно вращения может быть важным признаком надежных систем распознавания изображений. Некоторые дескрипторы достигают инвариантности относительно ориентации путем обнаружения ориентации и интерполяции соответствующих пикселей. Однако согласно вариантам выполнения настоящего изобретения формирование дескрипторов RIFF может быть выполнено без определения ориентации и интерполяции пикселей. В связи с этим, можно использовать дескриптор гистограммы градиентов (HoG, histogram of gradient), а инвариантность относительно вращения может быть достигнута путем градиентного разбиения и пространственного разбиения.

Согласно некоторым вариантам выполнения настоящего изобретения, градиентное разбиение может использоваться для формирования рационально инвариантных дескрипторов. Чтобы сделать градиентное разбиение инвариантным, можно использовать инвертируемое пространственно-переменное преобразование. Путем поворота градиентов на заданный угол инвариантность относительно вращения может быть достигнута при небольшой потере или вообще без потери информации, давая в результате преобразование радиального градиента (RGT).

Как показано на фиг.1, могут быть выбраны два ортогональных базисных вектора для обеспечения локального полярного опорного кадра для описания градиента. Базисные векторы r и t могут быть направлены радиально и по касательной в точке p относительно центра с области. Re может быть задана как стандартная матрица поворота на угол θ, что дает

Путем проектирования на r и t градиент g может быть разложен в локальной системе координат как

так что градиент может быть представлен в локальной радиальной системе координат как вектор (g^Tr, g^Tt). Если область поворачивается относительно ее центра с на угол θ, формируется новая локальная система координат и градиент:

R_θp=p', R_θr=r', R_θt=t', R_θg=g'.

В результате, координаты градиента в локальном кадре оказываются инвариантными относительно вращения, поскольку g и g' отображаются на одни и те же координаты в соответствующих опорных кадрах.

Поэтому некоторые или все градиенты могут быть повернуты на один и тот же угол, и R_θ может формировать взаимно-однозначное отображение. Таким образом, множество градиентов на любом заданном круге с центром в указанной области может быть инвариантным относительно вращения. На фиг.2 иллюстрируется инвариантность относительно вращения благодаря выполнению преобразования радиального градиента. На фиг.2 область базы данных (слева вверху) создает гистограмму градиента как в области xy (вверху в середине), так и в радиальной области (справа вверху). Аналогичные гистограммы извлечены из вертикальной запрашиваемой области (слева в центре) и ее повернутой версии (снизу слева). Следует отметить, что гистограммы xy-градиента (центральный столбец) вращаются вместе с областью, в то время как гистограммы радиального градиента (правый столбец) сохраняют одну и ту же форму во всех строках.

При наличии градиентов, инвариантных относительно вращения, можно использовать технику разбиения для создания гистограмм градиентов, которые включают дескриптор. Гистограмма градиентов может быть разбита, чтобы понизить размерность гистограммы до разумных размеров при сохранении надежности. На фиг.3а-3d показаны центры ячеек градиентного разбиения и ячейки Вороного, которые используются для формирования дескриптора RIFF.

Для квантования гистограммы могут использоваться центры разбиения (точки в пределах ячеек) и ячейки Вороного. Векторные квантователи (VQ), как показано на фиг.3с и 3d, могут быть более гибкими, в то время как скалярные квантователи (SQ), как показано на фиг.3а и 3b, могут быть более быстрыми.

После описания градиентного разбиения, инвариантного относительно вращения, можно рассмотреть пространственное разбиение для формирования дескрипторов RIFF. Пространственное разбиение может быть сделано инвариантным путем использования колец для разбиения, таких как кольца, изображенные на фиг.4А. Альтернативно, кольца могут быть разделены на угловые ячейки, давая полярную конфигурацию, как показано на фиг.4b.

Согласно некоторым вариантам выполнения настоящего изобретения, техника полярного пространственного разбиения может повысить надежность дескриптора. Однако может быть потеряна инвариантность относительно ориентации. Для возврата инвариантности относительно ориентации можно использовать меру расстояния, D_ori, которая оценивает минимальное расстояние, D, по некоторым или всем углам дескриптора. Таким образом, если D^θ - дескриптор, повернутый на угол θ, то

Для осуществления полярного пространственного разбиения можно провести, например, шесть угловых разделений для возможности грубой оценки расстояния в зависимости от угла. Для высокоточной оценки угла и расстояния может использоваться квадратичная интерполяция.

После описания формирования дескрипторов RIFF с использованием градиентного разбиения и пространственного разбиения для достижения инвариантности относительно ориентации ниже описаны дальнейшие модификации процедур, обеспечивающие повышение скорости формирования признаков. Поскольку в формирование признаков не было включено назначение ориентации, дескрипторы могут быть извлечены непосредственно из вертикальной области вокруг представляющей интерес точки. Кроме того, согласно различным вариантам выполнения настоящего изобретения, нет необходимости в выполнении операций интерполяции пикселей, требующих большого объема вычислений.

Кроме того, приближенное преобразование радиального градиента может быть использовано для уменьшения вычислительной сложности при достижении инвариантности относительно ориентации посредством преобразования RGT. В то время как в некоторых вариантах выполнения настоящего изобретения можно использовать преобразование RGT, которое может потребовать большого количества операций матричного умножения с плавающей запятой или арифметических операций с фиксированной запятой, альтернативно можно использовать приближение, позволяющее снизить объем вычислений.

В связи с этим базисные векторы r и t можно приближенно представить более простой парой, и . Сравнивая фиг.5а с фиг.5b, можно заметить, что приближенные базисные векторы могут быть квантованы по отношению к данному углу, такому как угол 45 градусов, как показано на фиг.5b. При этом градиент может быть вычислен непосредственно вдоль соответствующего направления без дополнительных расходов, а приближенное преобразование радиального градиента (ARGT) может быть вычислено путем выявления разности между соседними пикселями при соответствующей нормализации.

Чтобы построить дескриптор RIFF, после вычисления преобразования ARGT можно выполнить скалярное квантование гистограмм градиентов. Согласно некоторым вариантам выполнения настоящего изобретения, для увеличения скорости вместо векторных квантователей можно использовать скалярные квантователи 3×3 и 5×5 для полярной и кольцевой конфигураций, соответственно. В некоторых вариантах выполнения настоящего изобретения могут быть получены 100-мерные кольцевые дескрипторы и/или 117-мерные полярные дескрипторы.

Согласно различным вариантам выполнения настоящего изобретения, локальные дескрипторы HoG могут захватывать статистику контента изображения вокруг представляющей интерес точки. В предположении, что контент изображения двух представляющих интерес точек является одним и тем же, распределение градиентов может быть также одинаковым. Поэтому лежащее в основе распределение может быть оценено гистограммой выборок, при этом большее количество выборок обеспечивает лучшую оценку. Однако каждая выборка может потребовать вычисления и квантования градиента. Следовательно, между скоростью вычисления и качеством оценки в зависимости от количества выборок имеется компромиссное соотношение. Для улучшения скорости при незначительном ухудшении оценки можно выбирать чередующиеся пиксели вокруг представляющей интерес точки. На фиг.4а и 4b показаны чередующиеся пиксели в виде шахматной доски, при этом пиксели, представленные темными областями, составляют выборку для оценки гистограммы градиентов (HoG), а пиксели, представленные светлыми областями, - нет.

Кроме того, формируемый дескриптор RIFF может унифицировать отслеживание и распознавание объектов путем использования этих дескрипторов для обеих задач. Для отслеживания объектов можно использовать детектор представляющей интерес точки, например признаки детектора ускоренного теста сегментов (FAST), на каждом уровне пирамиды изображений. Согласно некоторым вариантам выполнения настоящего изобретения, для увеличения скорости могут быть опущены нецелочисленные уровни пирамиды, что оставляет достаточное покрытие шкалы, не требуя интерполяции пикселей вне 2×субдискретизации. Далее, согласно некоторым вариантам выполнения настоящего изобретения, когда дескрипторы используются для распознавания, любое отсутствие покрытия шкалы может быть исправлено благодаря избыточности в базе данных.

Для задач отслеживания дескрипторы RIFF могут быть сопоставлены с пространственно соседними дескрипторами RIFF в предыдущем кадре. Если два дескриптора находятся в пределах фиксированного радиуса (например, 8 пикселей), тогда эти дескрипторы можно считать кандидатами на соответствие. Наилучший кандидат можно затем выбрать как тот, который имеет минимальное расстояние в области дескрипторов согласно порогу расстояния. Согласно некоторым вариантам выполнения настоящего изобретения, для установления соответствия можно использовать расходимость Кульбака-Лейблера.

Для установления соответствия дескрипторов при очень высоких скоростях следования кадров можно выполнить быстрое хэширование и пространственное разбиение для кандидатов на соответствие согласно положению дескрипторов в кадре. В связи с этим, кадр можно разделить, например пространственной сеткой, и текущие дескрипторы кадров можно разместить в ячейки разбиения, ассоциированные с теми частями сетки, в которых обнаружены эти дескрипторы. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы могут быть также размещены в соседних ячейках разбиения, например в восьми соседних ячейках в пространственной сетке. Такое разбиение обеспечивает быстрый поиск пространственных соседей между кадрами. Для определения кандидатов на соответствие ячейки разбиения можно проанализировать, чтобы определить, какая из ячеек текущего кадра содержит дескриптор. Согласно некоторым вариантам выполнения настоящего изобретения, ячейки разбиения могут содержать короткий список некоторых или всех соседних дескрипторов из предыдущего кадра.

Согласно различным вариантам выполнения настоящего изобретения, техника сопоставления обеспечивает сопоставление признаков, которое является достаточно надежным и свободным от «выбросов» и поэтому не требует удаления выбросов. В связи с этим, для отслеживания глобального перемещения в кадре для аффинной модели может быть использован метод наименьших квадратов между текущим и предыдущим кадрами.

Кроме того, для поддержки функциональности распознавания можно сохранить последовательность из дескрипторов предыдущих кадров наряду с любыми соответствиями и аффинными моделями. Согласно некоторым вариантам выполнения настоящего изобретения, имея такой плотный по времени набор информации, можно обеспечить качественное распознавание при небольшом количестве дескрипторов на кадр.

Как сказано выше, дескрипторы RIFF также могут использоваться для распознавания. В связи с этим, можно применить извлечение дескрипторов RIFF и отслеживание объектов в реальном времени или в почти реальном времени, например, в переносном устройстве. Кроме того, может формироваться буфер ранее отслеженных признаков и глобальных аффинных моделей. Для формирования буфера в некоторых вариантах выполнения настоящего изобретения могут извлекаться 100 признаков на кадр, а в течение одной секунды при частоте 15 кадров в секунду могут быть извлечены и отслежены 1500 признаков. На основе дескрипторов и соответствующей информации отслеживания можно осуществить распознавание видеоконтента в отношении буфера.

Кроме того, согласно некоторым вариантам выполнения настоящего изобретения, унификация отслеживания и распознавания объектов посредством одних и тех же дескрипторов дает дополнительные преимущества обеспечения временной когерентности данных распознавания. Надежность дескрипторов признаков можно понять, исследуя траекторию дескрипторов в видеопотоке. На основе информации отслеживания можно осуществить отсечение нерелевантных данных от запрашиваемых признаков. В дополнение к отсечению фиктивных точек описание надежной представляющей интерес точки можно улучшить, получая больше выборок из соседних кадров.

Для многих приложений, таких как приложения MAR, могут быть использованы запросы видеопотока из локальной или удаленной базы данных. Запрос может выполняться периодически через регулярные интервалы, например с частотой 1 Гц, или когда в кадре присутствует по существу новый контент. Присутствие нового контента может быть легко установлено по данным отслеживания.

Для некоторых приложений MAR может использоваться информация о местоположении, такая как информация о местоположении от системы глобального позиционирования, для предварительной установки соответствующей локальной базы данных для распознавания. Такая предварительная установка базы данных может ограничить размер базы данных для распознавания объекта. Кроме того, для некоторых вариантов выполнения настоящего изобретения в больших базах данных, таких как компакт-диск или другие базы данных для распознавания объекта, информация отслеживания может быть сжата и запрошена из сервера.

На основе техники распознавания, описанной выше, может быть достигнуто попарное сопоставление изображений и поиск. Согласно некоторым вариантам выполнения настоящего изобретения, для выполнения распознавания можно идентифицировать представляющие интерес точки, например разность гауссианов (DoG, difference of Gaussian), представляющих интерес точек, и извлечь соответствующие дескрипторы. Используя дескрипторы, можно «обучать» словарное дерево. Например, если извлекаются 600 представляющих интерес точек, то можно построить дерево, имеющее глубину, равную 6, и коэффициент ветвления 10, в результате чего получится дерево со 106 концевыми узлами. В качестве критерия расстояния как для обучения, так и для запросов, можно использовать симметричную KL-дивергенцию. Альтернативно, согласно некоторым вариантам выполнения настоящего изобретения для сравнения дескрипторов HoG можно использовать норму L2. KL-дивергенция может быть включена в кластерную структуру k-средних, поскольку представляет собой дивергенцию Брегмана. Для улучшения надежности можно также использовать мягкое назначение дескрипторов относительно 3 ближайших центроидов.

Для запроса может быть вычислено значение схожести между каждым запросом и использованием вектора базы данных, например, стандартная схема «частотность термина-обратная частотность документа» (TF-IDF), которая представляет запрос и изображения базы данных в виде разреженных векторов появления визуальных слов. Можно также использовать схему весов, которая уменьшает вклад менее различимых дескрипторов. После выбора набора изображений в результате голосования TF-IDF, можно выполнить попарное сопоставление, чтобы завершить распознавание с использованием, например, согласованности проверки соотношения и случайных выборок (RANSAC).

Приведенное выше и последующее описание иллюстрирует примеры способов и устройств для формирования признаков RIFF и для отслеживания и распознавания объектов с использованием признаков RIFF. Примеры способов и устройств могут быть осуществлены с обеспечением унифицированного отслеживания и распознавания видеоконтента для приложений мобильной дополненной реальности (MAR). Можно использовать преобразование радиального градиента (RGT) и приближенное преобразование, получая в результате инвариантный относительно вращения быстрый дескриптор признаков (RIFF). Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы RIFF достаточно быстры для отслеживания в реальном времени или почти в реальном времени и достаточно надежны для задач крупномасштабного поиска.

Например, при скорости 26× варианты выполнения схемы отслеживания, описанные здесь, получают модель глобальных аффинных движений, сопоставимую с моделью KLT. Кроме того, согласно некоторым вариантам выполнения настоящего изобретения, модели и совпадение признаков, используемые для отслеживания, используются также для повышения надежности распознавания видеоконтента. При унификации отслеживания и распознавания объектов достигаются взаимные преимущества.

На основе вышеизложенного фиг.6 и 7 иллюстрируют варианты выполнения настоящего изобретения, предназначенные для выполнения различных функций, описанных в настоящем документе. На фиг.8 иллюстрируется способ отслеживания и распознавания объектов, описанный ниже.

Как показано на фиг.6, устройство 200, в соответствии с некоторыми примерами осуществления настоящего изобретения, может быть выполнено в виде устройства связи (или может входить в него как компонент) с функциями проводной или беспроводной связи. В некоторых из примеров настоящего изобретения устройство 200 может являться частью устройства связи, такого как стационарный или мобильный терминал. В качестве стационарного терминала устройство 200 может быть частью компьютера, сервера, точки доступа (например, базовой станции, беспроводного маршрутизатора и т.п.), устройства, которое поддерживает сетевое взаимодействие, и т.п. В качестве мобильного терминала устройство 200 может быть мобильным компьютером, мобильным телефоном, карманным персональным компьютером (portable digital assistant, PDA), пейджером, мобильным телевизором, игровым устройством, мобильным компьютером, портативным компьютером, например, с беспроводным модемом, фотокамерой, видеокамерой, аудио/видеоплеером, радиостанцией и/или устройством системы глобального позиционирования (GPS), или любой комбинацией перечисленного и т.п. Независимо от типа устройства связи устройство 200 может также включать вычислительные возможности.

Пример устройства 200 включает процессор 205, запоминающее устройство 210, интерфейс 206 ввода/вывода, интерфейс 215 связи, пользовательский интерфейс 220, менеджер 230 исходного соединения или осуществляет с ними связь. Процессор 205 может быть выполнен в виде различных средств, реализующих различную функциональность примеров осуществления настоящего изобретения, включая, например, микропроцессор, сопроцессор, контроллер, интегральную схему специального назначения, например, ASIC (application specific integrated circuit, заказная интегральная схема), FPGA (field programmable gate array, программируемая вентильная карта) или аппаратный ускоритель, процессорные схемы и т.п. В соответствии с одним из примеров осуществления настоящего изобретения процессор 205 может представлять множество процессоров, или один или более многоядерных процессоров, функционирующих совместно. Процессор 205 может включать множество транзисторов, логических вентилей, тактирующих схем (например, генераторов) или других подобных схем для обеспечения выполнения описанной функциональности. Процессор 205 может, но не обязательно, включать один или более сопровождающих цифровых сигнальных процессоров. В некоторых примерах осуществления настоящего изобретения процессор 205 сконфигурирован для исполнения инструкций, хранимых в запоминающем устройстве 210 или доступных процессору 205 другим способом. Процессор 205 может быть сконфигурирован для функционирования таким образом, чтобы обеспечивать выполнение устройством 200 различной функциональности, описанной здесь.

Процессор 205, сконфигурированный в виде аппаратного обеспечения или посредством инструкций, хранимых на машиночитаемом носителе данных, или в виде их комбинации, может представлять собой объект, способный, при соответствующем конфигурировании, выполнять операции в соответствии с вариантами осуществления настоящего изобретения. Соответственно, в примерах осуществления настоящего изобретения, в которых процессор 205 выполнен в виде схемы ASIC, FPGA и т.п., процессор 205 представляет собой специальным образом сконфигурированное аппаратное обеспечение для выполнения описанных операций. Альтернативно, в примерах осуществления настоящего изобретения, в которых процессор 205 выполнен как средство исполнения инструкций, хранимых на машиночитаемом носителе данных, эти инструкции конфигурируют процессор 205 для выполнения описанных алгоритмов и операций. В некоторых примерах осуществления настоящего изобретения процессор 205 является процессором конкретного устройства (например, мобильного терминала), сконфигурированным для применения примеров осуществления настоящего изобретения путем дальнейшей конфигурации процессора 205 посредством исполняемых инструкций для выполнения описанных алгоритмов, способов и операций.

Запоминающее устройство 210 может представлять собой один или более машиночитаемых носителей данных, которые могут включать энергозависимую и/или энергонезависимую память. В некоторых примерах осуществления настоящего изобретения запоминающее устройство 210 включает память с произвольным доступом (Random Access Memory, RAM), включающую динамическую и/или статическую память RAM, кэш-память, расположенную внутри или вне интегральной схемы и т.п. Также запоминающее устройство 210 может включать энергонезависимую память, которая может быть встроенной и/или съемной и может включать, например, постоянную память, флэш-память, магнитные устройства хранения (например, жесткие диски, приводы гибких дисков, магнитную пленку и т.п.), приводы оптических дисков и/или оптические носители, энергонезависимую память с произвольным доступом (non-volatile random access memory, NVRAM) и т.п. Запоминающее устройство 210 может включать кэш-область для временного хранения данных. В связи с этим, устройство 210 или его часть может входить в состав процессора 205. Запоминающее устройство 210 может включать область кэш для временного хранения данных. Устройство 210, или его часть, может входить в состав процессора 205.

Запоминающее устройство 210 может быть также сконфигурировано для хранения информации, данных, приложений, машиночитаемых инструкций программного кода и т.п., обеспечивающих возможность выполнения процессором 205 и устройством 200 различных функций в соответствии с описанными примерами осуществления настоящего изобретения. Например, запоминающее устройство 210 может быть сконфигурировано для буферизации входных данных, предназначенных для обработки процессором 205. Дополнительно или альтернативно, запоминающее устройство 210 может быть сконфигурировано для хранения инструкций, предназначенных для исполнения процессором 205.

Интерфейс 206 ввода/вывода может представлять собой любое устройство, схемы или средства, выполненные в виде аппаратного обеспечения, программного обеспечения или в виде комбинации аппаратного и программного обеспечения, сконфигурированных для обеспечения интерфейса между процессором 205 и другими схемами или устройствами, например интерфейсом 215 связи или пользовательским интерфейсом 220. В некоторых из примеров осуществления настоящего изобретения процессор 205 может взаимодействовать с памятью 210 через интерфейс 206 ввода/вывода. Интерфейс 206 ввода/вывода может быть сконфигурирован для преобразования сигналов и данных в форму, которая может интерпретироваться процессором 205. Интерфейс 206 ввода/вывода может также выполнять буферизацию входных и выходных данных для поддержки функционирования процессора 205. В соответствии с некоторыми примерами осуществления настоящего изобретения процессор 205 и интерфейс 206 ввода/вывода могут быть объединены на одном кристалле или в одной микросхеме, сконфигурированной для выполнения или для обеспечения выполнения устройством 200 различной функциональности в соответствии с настоящим изобретением.

Интерфейс 215 связи может представлять собой любое устройство или средства, выполненные в виде аппаратного обеспечения, компьютерного программного продукта или комбинации аппаратного обеспечения и компьютерного программного продукта, которые сконфигурированы для приема данных из сети и/или передачи данных в сеть и/или любое другое устройство или модуль, осуществляющий связь с вариантом устройства 200. В некоторых вариантах выполнения настоящего изобретения интерфейс связи может быть частью беспроводного модема, связанного с персональным компьютером, или может содержать такой модем. Процессор 205 может также быть сконфигурирован для обеспечения связи через интерфейс связи, например, путем управления аппаратным обеспечением, входящим в состав интерфейса 215 связи. В связи с этим, интерфейс 215 связи может включать, например, одну или более антенн, передатчик, приемник, приемопередатчик и/или аппаратное обеспечение поддержки, включающее, например, процессор для обеспечения связи. Посредством интерфейса 215 связи пример устройства 200 может осуществлять связь с различными другими сетевыми объектами по типу "устройство-устройство" и/или посредством непрямых соединений через базовую станцию, точку доступа, сервер, шлюз, маршрутизатор и т.п.

Интерфейс 215 связи может быть сконфигурирован для обеспечения связи в соответствии с любыми стандартами или технологиями проводной или беспроводной связи. Интерфейс 215 связи может быть сконфигурирован для поддержки связи в среде с множеством антенн, например с множеством входов и множеством выходов (Multiple Input Multiple Output, MIMO). Также интерфейс 215 связи может быть сконфигурирован для поддержки сигнализации мультиплексирования с ортогональным частотным разделением (Orthogonal Frequency Division Multiplexing, OFDM). В некоторых примерах осуществления настоящего изобретения интерфейс 215 связи может быть сконфигурирован для осуществления связи по различным технологиям, таким как протоколы беспроводной связи второго поколения (second-generation, 2G) IS-136 (множественный доступ с временным разделением каналов (Time Division Multiple Access, TDMA), глобальная система мобильной связи (Global System for Mobile communications, GSM), IS-95 (множественный доступ с кодовым разделением каналов (Code Division Multiple Access, CDMA)), протоколы беспроводной связи третьего поколения (third-generation, 3G), например, универсальная система мобильной связи (Universal Mobile Telecommunications System, UMTS), множественный доступ с кодовым разделением каналов 2000 (CDMA2000), широкополосный множественный доступ с кодовым разделением каналов (Wideband Code Division Multiple Access, WCDMA), синхронный множественный доступ с кодовым и временным разделением каналов (Time Division-Syncronous Code Division Multiple Access, TD-SCDMA), протоколы беспроводной связи поколения 3.9 (3.9G), например, развитая универсальная наземная сеть радиодоступа (Evolved Universal Terrestrial Radio Access Network, E-UTRAN), протоколы беспроводной связи четвертого поколения (4G), протоколы усовершенствованной международной системы телекоммуникаций (international mobile telephony advanced, IMT-Advanced), протоколы технологии долгосрочного развития (Long Term Evolution, LTE), включая усовершенствованную технологию долгосрочного развития (LTE-advanced) и т.п. Также интерфейс 215 связи может быть сконфигурирован для обеспечения связи в соответствии с такими технологиями, как, например, связь в радиочастотном, инфракрасном диапазонах, или с использованием любых других технологий беспроводных сетей, включая технологии WLAN, например, IEEE 802.11 (например, 802.11а, 802.11b, 802.11g, 802.11n и т.п.), протоколы беспроводной локальной сети (wireless local area network, WLAN), технологии всемирной совместимости для доступа в СВЧ-диапазоне (Worldwide Interoperability for Microwave Access, WiMAX), например, IEEE 802.16, и/или технологии беспроводной персональной сети (Wireless Personal Area Network. WPAN), например, IEEE 802.15, BlueTooth (ВТ), версии BlueTooth с малой мощностью, сверхширокополосной связи, Wibree, Zigbee и т.п. Интерфейс 215 связи может быть также сконфигурирован для поддержки связи на сетевом уровне, возможно, посредством протокола Интернента.

Пользовательский интерфейс 220 может осуществлять связь с процессором 205 для приема пользовательского ввода посредством пользовательского интерфейса 220 и/или для представления пользователю вывода в виде, например, звуковой, визуальной, механической или иной выходной индикации. Пользовательский интерфейс 220 может включать, например, клавиатуру, мышь, джойстик, дисплей (например, дисплей с сенсорным экраном), микрофон, динамик или другие механизмы ввода/вывода. Кроме того, процессор 205 может включать схемы пользовательского интерфейса, сконфигурированные для управления по меньшей мере частью функций одного или более элементов пользовательского интерфейса или осуществлять связь с ними. Процессор 205 и/или схемы пользовательского интерфейса могут быть сконфигурированы для управления одной или более функциями одного или более элементов пользовательского интерфейса посредством инструкций компьютерной программы (например, программного и/или встроенного программного обеспечения), которые хранятся в памяти, доступной процессору 205 (например, энергозависимая память, энергонезависимая память и т.п.). В некоторых из примеров осуществления настоящего изобретения схемы пользовательского интерфейса сконфигурированы для обеспечения пользовательского управления по меньшей мере некоторыми функциями устройства 200 с использованием дисплея, а также сконфигурированы для реагирования на пользовательский ввод. Процессор 205 может также включать схемы дисплея, сконфигурированные для отображения по меньшей мере части пользовательского интерфейса, или осуществлять связь с ними, при этом упомянутые дисплей и схемы дисплея сконфигурированы для обеспечения пользовательского управления по меньшей мере частью функций устройства 200.

Блок формирования 235 дескрипторов, блок 240 отслеживания объектов и/или блок 245 распознавания объектов в примере устройства 200 могут представлять собой любые средства или устройства, выполненные, полностью или частично, в виде аппаратного обеспечения, компьютерного программного продукта или в виде комбинации аппаратного обеспечения и компьютерного программного продукта, например, в виде процессора 205, исполняющего хранимые инструкции для конфигурирования устройства 200, запоминающего устройства 210, хранящего исполняемые инструкции программного кода, сконфигурированные для выполнения описанных функций, или процессора 205, аппаратно сконфигурированного для выполнения функций блока формирования 235 дескрипторов, блока 240 отслеживания объектов и/или блока 245 распознавания объектов в соответствии с настоящим описанием. В одном из примеров осуществления настоящего изобретения процессор 205 включает блок формирования 235 дескрипторов, блок 240 отслеживания объектов и/или блок 245 распознавания объектов или управляет ими. Упомянутые блок формирования 235 дескрипторов, блок 240 отслеживания объектов и/или блок 245 распознавания объектов могут быть, полностью или частично, выполнены в виде процессоров, аналогичных процессору 205, но отдельных от него. В связи с этим, блок формирования 235 дескрипторов, блок 240 отслеживания объектов и/или блок 245 распознавания объектов могут осуществлять связь с процессором 205. В различных примерах осуществления настоящего изобретения упомянутые блок формирования 235 дескрипторов, блок 240 отслеживания объектов и/или блок 245 распознавания объектов могут, полностью или частично, располагаться в различных устройствах, так что часть функциональности или вся функциональность блока формирования 235 дескрипторов, блока 240 отслеживания объектов и/или блока 245 распознавания объектов может выполняться первым устройством, а остальная функциональность блока формирования 235 дескрипторов, блока 240 отслеживания объектов и/или блока 245 распознавания объектов может выполняться одним или более другими устройствами.

С помощью блока формирования 235 дескрипторов устройство 200 и процессор 205 могут выполнять следующие функции. Блок формирования 235 дескрипторов может выполнять набор операций способа, например способа, показанного на фиг.8. В связи с этим, на шаге 400 блок формирования 235 дескрипторов может формировать пирамиду изображений для кадра изображения и на шаге 410 обнаруживать множество представляющих интерес точек в пирамиде изображений. Блок формирования 235 дескрипторов может на шаге 420 извлекать дескрипторы признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы признаков являются инвариантными относительно вращения. Кроме того, согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиальных градиентов. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать осуществление градиентного разбиения и/или пространственного разбиения. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может также включать задание приближенных базисных векторов и использование этих приближенных базисных векторов для формирования приближенного преобразования радиального градиента. В некоторых вариантах выполнения настоящего изобретения дескриптор для установления соответствия может быть выбран на основе минимального порогового расстояния между дескрипторами.

Устройство 200 и процессор 205 посредством блока 240 отслеживания объектов могут выполнять следующие функции. Блок 240 отслеживания объектов может выполнять набор операций в рамках способа, например способа, показанного на фиг.8. В связи с этим, блок 240 отслеживания объектов может следить за перемещением путем установления соответствия дескрипторов признаков дескрипторам признаков предыдущего кадра.

Устройство 200 и процессор 205 посредством блока 245 распознавания объектов могут выполнять следующие функции. Блок 245 распознавания объектов может выполнять набор операций в рамках способа, например способа, иллюстрируемого на фиг.8. В связи с этим, блок 245 распознавания объектов может выполнять распознавание объекта в пределах кадра изображения на основе дескрипторов признаков.

На фиг.7 приведен более конкретный пример устройства в соответствии с различными вариантами осуществления настоящего изобретения. Пример устройства фиг.7 представляет собой мобильный терминал 10, сконфигурированный для связи в беспроводной сети, например, в сети сотовой связи. Мобильный терминал 10 может быть сконфигурирован для выполнения функциональности устройства 200 и/или другого устройства в соответствии с настоящим описанием. Более конкретно, может обеспечиваться выполнение мобильным терминалом 10 функциональности блока формирования 235 дескрипторов, блока 240 отслеживания объектов и/или блока 245 распознавания объектов посредством процессора 20. В связи с этим, процессор 20 может представлять собой интегральную схему или микросхему, сконфигурированную аналогично процессору 205, например, вместе с интерфейсом 206 ввода/вывода. При этом энергозависимая память 40 и энергонезависимая память 42 могут быть сконфигурированы для поддержки функционирования процессора 20 в качестве машиночитаемых носителей.

Мобильный терминал 10 может также включать антенну 12, передатчик 14 и приемник 16, которые могут входить в состав интерфейса связи мобильного терминала 10. Динамик 24, микрофон 26, дисплей 28 и клавиатура 30 могут входить в состав пользовательского интерфейса.

На фиг.9 показан другой способ согласно различным вариантам выполнения настоящего изобретения. Способ на фиг.9 может быть выполнен устройством 200, процессором 205, мобильным терминалом 10 и т.п. Этот способ включает формирование на шаге 500 пирамиды изображений для кадра изображения и обнаружение на шаге 510 представляющих интерес точек из выбранных уровней пирамиды изображений. Выбранные уровни пирамиды изображений могут быть целочисленными уровнями пирамиды изображений, а нецелочисленные уровни могут быть опущены. На шаге 520 может формироваться преобразование радиального градиента или приближенное преобразование радиального градиента. Кроме того, на шаге 530 можно формировать гистограммы выборок на основе выбранных пикселей. В связи с этим, для выборок гистограммы можно использовать чередующиеся пиксели. На шаге 540 дескрипторы признаков, инвариантные относительно вращения, могут быть извлечены для каждой соответствующей представляющей интерес точки с использованием градиентного разбиения и/или пространственного разбиения. На шаге 550 может быть выполнено отслеживание перемещения путем установления соответствия дескрипторов дескрипторам предыдущего кадра на основе минимального порогового расстояния. Пример способа может также включать на шаге 560 буферизацию дескрипторов признаков и информации отслеживания. На шаге 570 на основе этих буферизированных дескрипторов признаков и информации отслеживания может быть выполнено распознавание объекта в пределах кадра изображения.

На фиг.8 и 9 показаны блок-схемы алгоритмов для примеров систем, способов и/или компьютерных программных продуктов в соответствии с примерами осуществления настоящего изобретения. Следует понимать, что все блоки или операции упомянутых блок-схем, а также комбинации блоков или операций в них, могут быть реализованы различными средствами. Средства реализации блоков или операций упомянутых блок-схем, комбинаций блоков или операций блок-схем алгоритмов, или другой функциональности описанных примеров осуществления настоящего изобретения могут включать аппаратное обеспечение и/или компьютерный программный продукт, включающий машиночитаемый носитель данных (в отличие от термина "машиночитаемая среда передачи данных", который описывает распространяющийся сигнал) с хранимыми на нем одной или более инструкциями компьютерного программного кода, программными инструкциями или исполняемыми машиночитаемыми инструкциями программного кода. Инструкции программного кода могут храниться в запоминающем устройстве, например запоминающем устройстве 210 примера устройства, например примера устройства 200, и исполняться процессором, например процессором 205. Следует понимать, что все подобные инструкции программного кода могут быть загружены в компьютер или иное программируемое устройство (например, процессор 205, запоминающее устройство 210 и т.д.) с машиночитаемого носителя для формирования конкретного механизма таким образом, что он становится средством реализации функций, указанных в операциях упомянутых блок-схем. Упомянутые инструкции программного кода могут также храниться на машиночитаемом носителе данных, который может управлять компьютером, процессором или иным программируемым устройством, для выполнения конкретных функций, посредством чего формируется конкретный механизм или изделие. Инструкции, хранимые на упомянутом машиночитаемом носителе, могут образовывать изделие, при этом данное изделие становится средством реализации функций, указанных в операциях упомянутых блок-схем. Упомянутые инструкции компьютерной программы могут извлекаться из машиночитаемого носителя и загружаться в компьютер, процессор или иное программируемое устройство и конфигурировать компьютер, процессор или иное программируемое устройство для исполнения операций, подлежащих выполнению на этом компьютере, процессоре или ином программируемом устройстве. Извлечение, загрузка и исполнение инструкций программного кода может осуществляться последовательно, так что за один раз извлекают, загружают и исполняют одну инструкцию. В некоторых примерах осуществления настоящего изобретения извлечение, загрузка и/или исполнение может осуществляться параллельно, так что несколько инструкций извлекают, загружают или исполняют совместно. Исполнение упомянутых инструкций программного кода может формировать реализуемый компьютером процесс, в котором инструкции, исполняемые компьютером, процессором или иным программируемым устройством обеспечивают операции для реализации функций, указанных в операциях упомянутых блок-схем.

Соответственно, исполнение инструкций, связанных с операциями блок-схем, с помощью процессора или хранение инструкций, связанных с операциями блок-схем, на машиночитаемом носителе данных поддерживает комбинации операций для исполнения указанных функций. Следует также понимать, что одна или более операций упомянутых блок-схем, а также комбинации операций блок-схем могут быть реализованы специализированными аппаратными компьютерными системами и/или процессорами, выполняющими указанные функции или с помощью комбинации специализированного аппаратного обеспечения и инструкций программного кода.

Ниже даны примеры дополнительных вариантов выполнения настоящего изобретения. Один из способов включает формирование пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в этой пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы признаков являются инвариантными относительно вращения. Далее, согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать выполнение градиентного разбиения и/или пространственного разбиения. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может также включать задание приближенных базисных векторов и использование приближенных базисных векторов для формирования приближенного преобразования радиального градиента. В некоторых вариантах выполнения настоящего изобретения дескриптор может быть выбран для установления соответствия на основе минимального порогового расстояния между дескрипторами.

Соответствующее устройство для отслеживания и распознавания объектов с использованием дескрипторов признаков, инвариантных относительно вращения, содержит по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом указанная по меньшей мере одна память и компьютерный программный код выполнены так, чтобы с помощью по меньшей мере одного процессора заставлять устройство выполнять по меньшей мере различные функции. В связи с этим, указанное устройство обеспечивает выполнение формирования пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы признаков являются инвариантными относительно вращения. Кроме того, согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать выполнение градиентного разбиения и/или пространственного разбиения. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может также включать задание приближенных базисных векторов и использование приближенных базисных векторов для формирования приближенного преобразования радиального градиента. В некоторых вариантах выполнения настоящего изобретения дескриптор может быть выбран для установления соответствия на основе минимального порогового расстояния между дескрипторами.

Еще один вариант выполнения настоящего изобретения относится к машиночитаемому носителю данных, содержащему хранимые на нем исполняемые машиночитаемые инструкции программного кода. Машиночитаемые инструкции программного кода на указанном машиночитаемом носителе данных предназначены для обеспечения выполнения устройством различных функций. В связи с этим, указанное устройство обеспечивает выполнение формирования пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в указанной пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы признаков являются инвариантными относительно вращения. Далее, согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать выполнение градиентного разбиения и/или пространственного разбиения. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может также включать задание приближенных базисных векторов и использование приближенных базисных векторов для формирования приближенного преобразования радиального градиента. В некоторых вариантах выполнения настоящего изобретения дескриптор может быть выбран для установления соответствия на основе минимального порогового расстояния между дескрипторами.

Еще один вариант выполнения настоящего изобретения относится к устройству для отслеживания и распознавания дескрипторов признаков, инвариантных относительно вращения. Указанное устройство содержит средство для формирования пирамиды изображений для кадра изображения, средство для обнаружения множества представляющих интерес точек в пирамиде изображений и средство для извлечения дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы признаков являются инвариантными относительно вращения. Далее, согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать выполнение градиентного разбиения и/или пространственного разбиения. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может также включать задание приближенных базисных векторов и использование приближенных базисных векторов для формирования приближенного преобразования радиального градиента. В некоторых вариантах выполнения настоящего изобретения дескриптор может быть выбран для установления соответствия на основе минимального порогового расстояния между дескрипторами.

Множество модификаций или других вариантов осуществления настоящего изобретения могут быть очевидны специалистам в области техники, к которой относится данное изобретение, при этом оно имеет приоритет принципов, представленных в данном описании и на соответствующих чертежах. Таким образом, следует понимать, что настоящее изобретение не ограничено конкретными описанными вариантами его осуществления, и что модификации и другие варианты его осуществления находятся в рамках приложенной формулы изобретения. Более того, несмотря на то что в предшествующем описании и на соответствующих чертежах представлены примеры осуществления настоящего изобретения в контексте конкретных примеров комбинаций элементов и/или функций, следует понимать, что в альтернативных вариантах осуществления изобретения могут быть обеспечены другие комбинации элементов и/или функций в пределах сущности приложенной формулы изобретения. В связи с этим, например, различные комбинации элементов и/или функций, отличных от явно описанных выше, также могут быть заявлены в некоторых из пунктов формулы изобретения. Несмотря на использование в настоящем документе конкретных терминов, они использованы исключительно в общем смысле для описания, а не для ограничения изобретения.

Группа изобретений относится к устройствам обработки изображения. Технический результат заключается в повышении скорости обработки данных. Способ содержит: формирование пирамиды изображений для кадра изображения; обнаружение множества представляющих интерес точек в пирамиде изображений и извлечение дескрипторов признаков для каждой точки из множества представляющих интерес точек в изображении, при этом извлечение дескрипторов признаков включает поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента, и извлечение дескрипторов признаков включает выполнение градиентного разбиения и/или пространственного разбиения. 4 н. и 18 з. п. ф-лы, 9 ил.

1. Способ формирования и использования дескрипторов признаков для отслеживания и распознавания объектов, включающий:
формирование пирамиды изображений для кадра изображения;
обнаружение множества представляющих интерес точек в пирамиде изображений и
извлечение дескрипторов признаков для каждой точки из множества представляющих интерес точек в изображении,
при этом извлечение дескрипторов признаков включает поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента, и
извлечение дескрипторов признаков включает выполнение градиентного разбиения и/или пространственного разбиения.

2. Способ по п. 1, в котором дескрипторы признаков образуют из представляющих интерес точек при различных масштабах и ориентациях.

3. Способ по п. 1 или 2, также включающий:
отслеживание перемещения путем установления соответствия упомянутых дескрипторов признаков дескрипторам признаков предыдущего кадра и
выполнение распознавания объекта в пределах кадра изображения на основе упомянутых дескрипторов признаков.

4. Способ по п. 1 или 2, в котором извлечение дескрипторов признаков включает задание приближенных базисных векторов и использование приближенных базисных векторов для формирования приближенного преобразования радиального градиента.

5. Способ по п. 1 или 2, также включающий выбор по меньшей мере одного из дескрипторов признаков для установления соответствия на основе минимального порогового расстояния между дескрипторами признаков.

6. Устройство для отслеживания и распознавания объекта с помощью дескрипторов признаков, содержащее по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом указанная по меньшей мере одна память и компьютерный программный код выполнены так, что с помощью по меньшей мере одного процессора заставляют устройство выполнять следующее:
формирование пирамиды изображений для кадра изображения;
обнаружение множества представляющих интерес точек в пирамиде изображений и
извлечение дескрипторов признаков для каждой точки из множества представляющих интерес точек в изображении,
при этом извлечение дескрипторов признаков включает поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента, и
извлечение дескрипторов признаков включает выполнение градиентного разбиения или пространственного разбиения.

7. Устройство по п. 6, в котором дескрипторы признаков образуются из представляющих интерес точек при различных масштабах и ориентациях.

8. Устройство по п. 6 или 7, которое также выполняет
отслеживание перемещения путем установления соответствия упомянутых дескрипторов признаков дескрипторам признаков предыдущего кадра и
выполнение распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.

9. Устройство по п. 6 или 7, в котором извлечение дескрипторов признаков включает задание приближенных базисных векторов и использование этих приближенных базисных векторов для формирования приближенного преобразования радиального градиента.

10. Устройство по п. 6 или 7, которое обеспечивает также выбор по меньшей мере одного из дескрипторов признаков для установления соответствия на основе минимального порогового расстояния между дескрипторами признаков.

11. Устройство по п. 6 или 7, включающее мобильный терминал.

12. Устройство по п. 6 или 7, которое содержит дисплей, сконфигурированный для представления отслеживания объекта на основе дескрипторов признаков.

13. Машиночитаемый носитель, содержащий исполняемые машиночитаемые инструкции программного кода, сконфигурированные для обеспечения выполнения устройством по меньшей мере следующего:
формирования пирамиды изображений для кадра изображения;
обнаружения множества представляющих интерес точек в пирамиде изображений и
извлечение дескрипторов признаков для каждой точки из множества представляющих интерес точек в изображении,
при этом извлечение дескрипторов признаков включает поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента, и
извлечение дескрипторов признаков включает выполнение градиентного разбиения или пространственного разбиения.

14. Машиночитаемый носитель по п. 13, в котором дескрипторы признаков образуются из представляющих интерес точек при различных масштабах и ориентациях.

15. Машиночитаемый носитель по п. 13 или 14, в котором указанные инструкции обеспечивают выполнение устройством
отслеживания перемещения путем установления соответствия упомянутых дескрипторов признаков дескрипторам признаков предыдущего кадра и
распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.

16. Машиночитаемый носитель по п. 13 или 14, в котором извлечение дескрипторов признаков включает задание приближенных базисных векторов и использование этих приближенных базисных векторов для формирования приближенного преобразования радиального градиента.

17. Машиночитаемый носитель по п. 13 или 14, в котором инструкции также обеспечивают выполнение устройством выбора по меньшей мере одного из дескрипторов признаков для установления соответствия на основе минимального порогового расстояния между дескрипторами признаков.

18. Устройство для отслеживания и распознавания объекта с помощью дескрипторов признаков, содержащее:
средство для формирования пирамиды изображений для кадра изображения;
средство для обнаружения множества представляющих интерес точек в пирамиде изображений и
средство для извлечения дескрипторов признаков для каждой точки из множества представляющих интерес точек в изображении, при этом средство для извлечения дескрипторов признаков включает средство для поворота градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента, а также средство для выполнения градиентного разбиения или пространственного разбиения.

19. Устройство по п. 18, в котором средство для извлечения дескрипторов признаков включает средство для извлечения дескрипторов признаков, инвариантных относительно вращения.

20. Устройство по п. 18 или 19, также содержащее:
средство для отслеживания перемещения путем установления соответствия упомянутых дескрипторов признаков дескрипторам признаков предыдущего кадра и
средство для выполнения распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.

21. Устройство по п. 18 или 19, в котором средство для извлечения дескрипторов признаков включает средство для задания приближенных базисных векторов и средство для использования этих приближенных базисных векторов для формирования приближенного преобразования радиального градиента.

22. Устройство по п. 18 или 19, также включающее средство для выбора по меньшей мере одного из дескрипторов признаков для установления соответствия на основе минимального порогового расстояния между дескрипторами признаков.