СПОСОБ И УСТРОЙСТВО ДЛЯ ОБЕСПЕЧЕНИЯ ПОИСКА ИЗОБРАЖЕНИЯ ПО СОДЕРЖИМОМУ Российский патент 2014 года по МПК G06F17/30 G06T1/00 H04N21/4728 

ОБЛАСТЬ ТЕХНИКИ

[0001] Варианты осуществления настоящего изобретения относятся в общем к технологии управления изображением и, в частности, к способам и устройствам для обеспечения поиска изображения по содержимому.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0002] Современная компьютерная эра привела к колоссальному увеличению мощности и объема памяти вычислительных устройств. Многие вычислительные устройства теперь имеют достаточно мощности и объема памяти для хранения, просмотра и управления большим числом цифровых изображений высокого разрешения. Кроме того, распространение беспроводных и проводных сетей, а также увеличение скоростей сетевых подключений позволяют пользователям получать доступ через сеть к огромным библиотекам изображений, хранящихся удаленно. Характеристики цифровых камер также значительно улучшились, позволив пользователям получать изображения с высоким разрешением благодаря использованию увеличенных мощности и объема памяти современных вычислительных устройств. Кроме того, многие портативные электронные пользовательские устройства, такие как мобильные телефоны, теперь включают встроенные цифровые камеры, позволяющие пользователям без труда получать и хранить цифровые изображения.

[0003] Поэтому все больше и больше людей используют в повседневной жизни электронные устройства со встроенными цифровыми камерами. Следовательно, количество и разнообразие цифровых изображений, получаемых с помощью вычислительных устройств, значительно увеличились за последнее время и, как ожидается, продолжат стремительный рост и в будущем. Некоторые методы управления изображением ставят своей задачей обеспечить управление большим числом цифровых изображений, хранящихся и/или доступных для пользователей. Одним из ключевых методов управления изображением является поиск изображения. Функции поиска изображения подразумевают предоставление изображений пользователю в соответствии с его запросом.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Предлагаются способы, устройства и компьютерные программные продукты для обеспечения управления изображением и, в частности, для обеспечения поиска изображения по содержимому. В связи с этим предлагаются системы, способы, устройства и компьютерные программные продукты, которые могут обеспечивать несколько преимуществ для вычислительных устройств и пользователей этих устройств. Варианты осуществления изобретения предоставляют автоматически сформированные рекомендованные области интереса (ROI, region of interest) внутри выбранного целевого изображения. Рекомендованные области ROI позволяют пользователю более удобно и быстро выбирать одну или несколько областей ROI внутри целевого изображения для указания критериев запроса для поиска соответствующих изображений. Кроме того, использование автоматически рекомендованных областей ROI может увеличить скорость поиска и точность результатов поиска. Некоторые варианты осуществления изобретения позволяют пользователю выбирать множество областей ROI в множестве различных целевых изображений в качестве критериев запроса для поиска одного изображения. Такие варианты осуществления изобретения позволяют пользователю более полно формулировать критерии запроса и обеспечивают формирование более точного набора результатов поиска в случаях, когда ни одно из целевых изображений не включает все элементы ROI, которые пользователь хотел бы видеть в найденных изображениях.

[0005] Некоторые варианты осуществления изобретения предоставляют функцию анализа истории поиска на основе области ROI, сконфигурированную для изучения шаблонов пользовательского ввода и определения обратной связи по результатам поиска для соответствия требованиям пользователей и улучшения результатов поиска. Функция истории поиска на основе области ROI используется в этих вариантах осуществления изобретения для улучшения рекомендации области ROI и/или результатов поиска. Некоторые варианты осуществления изобретения определяют более значимую обратную связь помимо обычного определения того, соответствует ли полученное в результате изображение критериям запроса, что может улучшить функцию анализа истории поиска. В связи с этим некоторые варианты осуществления изобретения определяют обратную связь на уровне области ROI, так что обратная связь может определяться в отношении того, соответствует ли полученное в результате изображение каждой отдельной целевой области ROI, выбранной в качестве критериев поиска. Такая обратная связь может быть использована в последующих поисках для улучшения результатов поиска.

[0006] В первом примере осуществления изобретения предлагается способ, который включает определение выбранного целевого изображения. Упомянутый способ согласно данному варианту осуществления изобретения включает формирование набора возможных областей интереса. Набор возможных областей интереса согласно данному варианту осуществления изобретения включает одну или более областей интереса внутри целевого изображения. Кроме того, способ согласно данному варианту осуществления изобретения включает определение набора рекомендованных областей интереса. Набор рекомендованных областей интереса согласно данному варианту осуществления изобретения включает одну или более рекомендованных областей интереса, выбранных из набора возможных областей интереса по меньшей мере частично на основе критериев оценивания, определяемых по меньшей мере частично на основе анализа поддерживаемой истории поиска на основе области интереса. Способ согласно данному варианту осуществления изобретения также включает предоставление набора рекомендованных областей интереса для выбора пользователем одной или более целевых областей интереса из набора рекомендованных областей интереса в качестве критериев запроса для поиска в библиотеке изображений одного или более полученных в результате изображений.

[0007] В другом примере осуществления изобретения предлагается устройство. Устройство согласно данному варианту осуществления изобретения включает по меньшей мере один процессор и по меньшей мере одно запоминающее устройство, в котором хранится компьютерный программный код, при этом по меньшей мере одно запоминающее устройство и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством по меньшей мере определения выбранного целевого изображения. Кроме того, по меньшей мере одно запоминающее устройство и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством формирования набора возможных областей интереса. Набор возможных областей интереса в данном варианте осуществления изобретения включает одну или более областей интереса внутри целевого изображения. Кроме того, по меньшей мере одно запоминающее устройство и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством определения набора рекомендованных областей интереса. Набор рекомендованных областей интереса в данном варианте осуществления изобретения включает одну или более рекомендованных областей интереса, выбранных из набора возможных областей интереса по меньшей мере частично на основе критериев оценивания, определяемых по меньшей мере частично на основе анализа поддерживаемой истории поиска на основе области интереса. Упомянутые по меньшей мере одно запоминающее устройство и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством предоставления набора рекомендованных областей интереса для выбора пользователем одной или более целевых областей интереса из набора рекомендованных областей интереса в качестве критериев запроса для поиска в библиотеке изображений одного или более полученных в результате изображений.

[0008] В другом примере осуществления изобретения предлагается компьютерный программный продукт. Компьютерный программный продукт согласно данному варианту осуществления изобретения включает по меньшей мере один машиночитаемый носитель, на котором хранятся машиночитаемые программные инструкции. Программные инструкции согласно данному варианту осуществления изобретения включают программные инструкции, сконфигурированные для определения выбранного целевого изображения. Кроме того, программные инструкции согласно данному варианту осуществления изобретения включают программные инструкции, сконфигурированные для формирования набора возможных областей интереса. Набор возможных областей интереса согласно данному варианту осуществления изобретения включает одну или более областей интереса внутри целевого изображения. Кроме того, программные инструкции согласно данному варианту осуществления изобретения включают программные инструкции, сконфигурированные для определения набора рекомендованных областей интереса. Набор рекомендованных областей интереса согласно данному варианту осуществления изобретения включает одну или более рекомендованных областей интереса, выбранных из набора возможных областей интереса по меньшей мере частично на основе критериев оценивания, определяемых по меньшей мере частично на основе анализа поддерживаемой истории поиска на основе области интереса. Также программные инструкции согласно данному варианту осуществления включают программные инструкции, сконфигурированные для предоставления набора рекомендованных областей интереса для выбора пользователем одной или более целевых областей интереса из набора рекомендованных областей интереса в качестве критериев запроса для поиска в библиотеке изображений одного или более полученных в результате изображений.

[0009] В другом варианте осуществления изобретения предлагается устройство, которое включает средства для определения выбранного целевого изображения. Упомянутое устройство также включает средства для формирования набора возможных областей интереса. Набор возможных областей интереса согласно данному варианту осуществления изобретения включает одну или более областей интереса внутри целевого изображения. Кроме того, устройство согласно данному варианту осуществления изобретения включает средства для определения набора рекомендованных областей интереса. Набор рекомендованных областей интереса согласно данному варианту осуществления изобретения включает одну или более рекомендованных областей интереса, выбранных из набора возможных областей интереса по меньшей мере частично на основе критериев оценивания, определяемых по меньшей мере частично на основе анализа поддерживаемой истории поиска на основе области интереса. Устройство согласно данному варианту осуществления изобретения также включает средства для предоставления набора рекомендованных областей интереса для выбора пользователем одной или более целевых областей интереса из набора рекомендованных областей интереса в качестве критериев запроса для поиска в библиотеке изображений одного или более полученных в результате изображений.

[0010] В другом примере осуществления изобретения предлагается машиночитаемый носитель, хранящий машиночитаемые программные инструкции. Машиночитаемые программные инструкции включают программные инструкции, сконфигурированные для определения выбранного целевого изображения. Кроме того, машиночитаемые программные инструкции включают программные инструкции, сконфигурированные для формирования набора возможных областей интереса, при этом набор возможных областей интереса включает одну или более областей интереса внутри целевого изображения. Кроме того, машиночитаемые программные инструкции включают программные инструкции, сконфигурированные для определения набора рекомендованных областей интереса, включающего одну или более рекомендованных областей интереса, выбранных из набора возможных областей интереса по меньшей мере частично на основе критериев оценивания, определяемых по меньшей мере частично на основе анализа поддерживаемой истории поиска на основе области интереса. Также машиночитаемые программные инструкции включают программные инструкции, сконфигурированные для предоставления набора рекомендованных областей интереса для выбора пользователем одной или более целевых областей интереса из набора рекомендованных областей интереса в качестве критериев запроса для поиска в библиотеке изображений одного или более полученных в результате изображений.

[0011] Представленное выше краткое описание приведено лишь в качестве примеров осуществления изобретения для обеспечения базового понимания некоторых аспектов изобретения. Таким образом, необходимо понимать, что описанные выше варианты осуществления изобретения являются лишь примерами и не ограничивают изобретение. Необходимо понимать, что объем изобретения охватывает множество потенциальных вариантов его осуществления, часть из которых далее будут описаны, в дополнение к тем, что были описаны выше.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0012] После общего описания вариантов осуществления изобретения далее будут представлены ссылки на прилагаемые чертежи, которые не обязательно выполнены в масштабе.

[0013] На фиг.1 представлена структурная схема устройства поиска изображений для обеспечения поиска изображения по содержимому в соответствии с примером осуществления настоящего изобретения.

[0014] На фиг.2 представлена структурная схема мобильного терминала в соответствии с примером осуществления настоящего изобретения.

[0015] На фиг.3 представлены последовательности изображений в соответствии с примером пользовательского интерфейса для выбора одной или более целевых областей ROI из целевого изображения в соответствии с примером осуществления изобретения.

[0016] На фиг.4 представлена блок-схема в соответствии с примером способа для обеспечения выбора целевых областей интереса из множества целевых изображений в соответствии с примером осуществления изобретения.

[0017] На фиг.5 представлены последовательности изображений в соответствии с примером пользовательского интерфейса для выбора целевых областей ROI и выполнения поиска изображения в соответствии с примером осуществления изобретения.

[0018] На фиг.6 представлен пример интерфейса обратной связи для предоставления обратной связи по полученным в результате изображениям в соответствии с примером осуществления изобретения.

[0019] На фиг.7 представлена блок-схема функции анализа истории поиска в соответствии с примером осуществления изобретения.

[0020] На фиг.8 представлена блок-схема в соответствии с примером рабочего процесса для обеспечения поиска изображения по содержимому в соответствии с примером осуществления изобретения.

[0021] На фиг.9 представлена блок-схема в соответствии с примером способа для обеспечения поиска изображения по содержимому в соответствии с примером осуществления изобретения.

[0022] На фиг.10 представлена блок-схема в соответствии с примером способа определения обратной связи на уровне области интереса в соответствии с примером осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0023] Ниже более подробно описаны примеры выполнения настоящего изобретения со ссылками на приложенные чертежи, на которых показаны некоторые, но не все варианты выполнения настоящего изобретения. Изобретение может быть реализовано во многих разных формах и не ограничивается описываемыми вариантами его выполнения; эти варианты осуществления настоящего изобретения представлены для выполнения требования промышленной применимости изобретения. В данном описании одинаковые позиции соответствуют одинаковым элементам.

[0024] Используемый в описании термин "схема" относится к следующему: (а) только к аппаратными реализациям (например, реализациям только на аналоговых и/или цифровых схемах); (б) к комбинациям схем и компьютерного программного продукта (компьютерных программных продуктов), включающего (включающих) инструкции программного обеспечения и/или встроенного программного обеспечения, хранимые на одном или более машиночитаемых носителях, которые совместно работают для обеспечения выполнения устройством одной или более описанных здесь функций, и (с) к схемам, таким как, например, микропроцессор(микропроцессоры) или часть микропроцессора(микропроцессоров), которые требуют для работы программное обеспечение или встроенное программное обеспечение, даже если программное обеспечение или встроенное программное обеспечение физически не представлено. Это определение термина "схема" используется везде в данном описании, включая формулу изобретения. В качестве другого примера использования в данном описании этого термина термин "схема" также охватывает реализацию, включающую один или более процессоров и/или их части(частей) и сопровождающее программное или встроенное программное обеспечение. В качестве другого примера термин "схема" охватывает также, например, интегральную схему основной полосы частот или интегральную схему процессора приложений в мобильном телефоне или аналогичную интегральную схему в сервере, устройстве сотовой сети связи, другом сетевом устройстве и/или другом вычислительном устройстве.

[0025] Одной из технологий поиска изображений является поиск изображения по содержимому (CBIR, Content-Based Image Retrieval), который позволяет пользователю ввести изображение или его часть в качестве целевого изображения. Система CBIR может затем проанализировать содержимое целевого изображения и начать поиск в базе данных изображений для определения полученных в результате изображений, соответствующих целевому изображению. Анализируемое "содержимое" включает информацию, которая может быть извлечена из изображений, например цвета, текстуры, формы, другие глобальные признаки, другие локальные признаки и т.п.

[0026] На фиг.1 представлена структурная схема устройства 102 поиска изображений для обеспечения поиска изображения по содержимому в соответствии с примером осуществления настоящего изобретения. Необходимо понимать, что устройство 102 поиска изображений представлено в качестве примера осуществления изобретения и не ограничивает изобретение. Объем изобретения охватывает многие потенциальные варианты его осуществления в дополнение к описанным вариантам. В то время как на фиг.1 представлен один из примеров конфигурации устройства поиска изображений для обеспечения поиска изображения по содержимому, может использоваться множество других конфигураций для реализации вариантов осуществления настоящего изобретения.

[0027] Устройство 102 поиска изображений может быть выполнено в виде настольного компьютера, ноутбука, мобильного терминала, мобильного компьютера, мобильного телефона, мобильного устройства связи, одного или более серверов, одного или более узлов сети, игрового устройства, цифровой камеры/камкордера, аудио/видеоплеера, телевизионного устройства, радиоприемника, цифрового записывающего видеоустройства, устройства позиционирования и любых их комбинаций и т.д. В одном из примеров осуществления изобретения устройство 102 поиска изображений выполнено в виде мобильного терминала, такого как терминал, показанный на фиг.2.

[0028] На фиг.2 представлена структурная схема мобильного терминала 10, представляющая один из вариантов осуществления устройства 102 поиска изображений в соответствии с вариантами осуществления настоящего изобретения. Однако необходимо понимать, что мобильный терминал 10, описываемый далее, является только примером одного из типов устройства 102 поиска изображений, который может реализовывать и/или использовать преимущества вариантов осуществления настоящего изобретения и, следовательно, не должен рассматриваться как ограничение настоящего изобретения. В то время как несколько вариантов осуществления электронного устройства представлены и описаны в качестве примера, в других типах электронных устройств, таких как мобильные телефоны, мобильные компьютеры, портативные цифровые секретари (PDA, personal digital assistant), пейджеры, ноутбуки, настольные компьютеры, игровые устройства, телевизионные устройства и другие виды электронных систем, могут также использоваться варианты осуществления настоящего изобретения.

[0029] Как показано на фиг.2, мобильный терминал 10 может включать антенну 12 (или множество антенн 12), подключенную (подключенных) к передатчику 14 и приемнику 16. Мобильный терминал 10 может также включать процессор 20, сконфигурированный для предоставления сигналов в передатчик и приема сигналов от приемника. Процессор 20 может быть осуществлен, например, в виде различных средств, включая схемы, один или более микропроцессоров с сопровождающим(сопровождающими) процессором(процессорами) цифровой обработки сигналов, один или более процессоров без сопровождающего процессора цифровой обработки сигналов, один или более сопроцессоров, один или более многоядерных процессоров, один или более контроллеров, схему обработки данных, один или более компьютеров, другие различные элементы обработки данных, включая интегральные схемы, такие как, например, специализированная интегральная схема (ASIC, application specific integrated circuit) или программируемая вентильная матрица (FPGA, field programmable gate array), или некоторые их комбинации. Соответственно, несмотря на то что на фиг.2 представлен только один процессор, в некоторых вариантах осуществления изобретения процессор 20 включает множество процессоров. Сигналы, переданные и принятые процессором 20, могут включать информацию сигнализации в соответствии со стандартом беспроводного интерфейса используемой сотовой системы и/или в соответствии с любым числом различных проводных и беспроводных сетевых технологий, включающих, не ограничиваясь этим, технологии беспроводного доступа (Wi-Fi, Wireless-Fidelity), технологии беспроводных локальных сетей (WLAN, wireless local access network), такие как стандарты 802.11, 802.16 Института инженеров по электротехнике и радиоэлектронике (IEEE, Institute of Electrical and Electronics Engineers) и т.д. Кроме того, эти сигналы могут включать речевые данные, формируемые пользователем данные, запрашиваемые пользователем данные и т.д. В связи с этим мобильный терминал может быть способен работать в соответствии с одним или более стандартами беспроводного интерфейса, протоколами связи, типами модуляции, типами предоставления доступа и т.д. Более конкретно, мобильный терминал может быть способен работать в соответствии с различными протоколами связи первого поколения (1G, first generation), второго поколения (2G, second generation), поколения 2.5G, третьего поколения (3G, third-generation), четвертого поколения (4G, forth-generation), протоколами связи мультимедийной подсистемы по протоколу Интернет (IMS, Internet Protocol Multimedia Subsystem) (например, по протоколу инициирования сеанса (SIP, session initiation protocol)) и т.д. Например, мобильный терминал может быть способен работать в соответствии с протоколами беспроводной связи 2G IS-136 (множественного доступа с временным разделением каналов (TDMA, Time Division Multiple Access)), глобальной системы мобильной связи (GSM, Global System for Mobile communications), IS-95 (множественного доступа с кодовым разделением каналов (CDMA, Code Division Multiple Access)) и т.д. Также мобильный терминал может быть способен работать, например, в соответствии с протоколами беспроводной связи поколения 2.5G услуги пакетной радиосвязи общего назначения (GPRS, General Packet Radio Service), протокола улучшенной среды GSM передачи данных (EDGE, Enhanced Data GSM Environment) и т.д. Кроме того, например, мобильный терминал может быть способен работать в соответствии с протоколами беспроводной связи поколения 3G, такими как протокол универсальной системы мобильной связи (UMTS, Universal Mobile Telecommunications System), множественного доступа с кодовым разделением каналов 2000 (CDMA2000, Code Division Multiple Access 2000), широкополосного множественного доступа с кодовым разделением каналов (WCDMA, Wideband Code Division Multiple Access), множественного доступа с временным и синхронным кодовым разделением каналов (TD-SCDMA, Time Division-Synchronous Code Division Multiple Access) и т.д. Кроме того, мобильный терминал может быть способен работать в соответствии с протоколами беспроводной связи поколения 3.9G, такими как протокол долгосрочного развития (LTE, Long Term Evolution) или протокол сети усовершенствованного универсального наземного радиодоступа (E-UTRAN, Evolved Universal Terrestrial Radio Access Network) и т.д. Кроме того, например, мобильный терминал может быть способен работать в соответствии с протоколами беспроводной связи сетей четвертого поколения (4G) и/или аналогичными протоколами беспроводной связи, которые могут быть разработаны в будущем.

[0030] Некоторые мобильные терминалы, работающие по протоколам узкополосной усовершенствованной мобильной телефонной системы (NAMPS, Narrow-band Advanced Mobile Phone System), и системы связи общего доступа (TACS, Total Access Communication System) могут также использовать преимущества вариантов осуществления данного изобретения, как и телефоны, работающие в двух режимах и множестве режимов (например, цифровые/аналоговые телефоны или TDMA/CDMA/аналоговые телефоны). Кроме того, мобильный терминал 10 может быть способен работать в соответствии с протоколом Wi-Fi или протоколом глобальной совместимости для СВЧ-доступа (WiMAX, Worldwide Interoperability for Microwave Access).

[0031] Необходимо понимать, что процессор 20 может включать схему для выполнения функций аудио/видеообработки и логических функций мобильного терминала 10. Например, процессор 20 может включать устройство процессора цифровой обработки сигналов, микропроцессорное устройство, аналого-цифровой преобразователь, цифроаналоговый преобразователь и т.д. Функции управления и обработки сигнала мобильного терминала могут распределяться между этими устройствами согласно их возможностям. Кроме того, процессор может включать внутренний вокодер (VC, voice coder) 20а, внутренний модем данных (DM, data modem) 20b и т.д. Процессор может также включать функции для работы одной или более программ, которые могут храниться в памяти. Например, процессор 20 может быть способным выполнять программу для связи, такую как обычный веб-браузер. Программа для связи может позволять мобильному терминалу 10 передавать и принимать веб-контент, такой как контент на основе местоположения и/или другие веб-страницы, например, в соответствии с протоколом WAP (Wireless Application Protocol, протокол приложений для беспроводной связи), протоколом HTTP (Hypertext Transfer Protocol, протокол передачи гипертекста) и/или в соответствии с аналогичными протоколами.

[0032] Мобильный терминал 10 может также включать пользовательский интерфейс, включая, например, стандартный наушник или динамик 24, звонок 22, микрофон 26, дисплей 28 и пользовательский интерфейс ввода, при этом все эти устройства соединены с контроллером 20. В связи с этим процессор 20 может включать схему пользовательского интерфейса, сконфигурированную для управления по меньшей мере некоторыми функциями одного или более элементов пользовательского интерфейса, таких как динамик 24, звонок 22, микрофон 26, дисплей 28 и т.д. Процессор 20 и/или схема пользовательского интерфейса, включающая процессор 20, могут быть сконфигурированы для управления одной или более функциями одного или более элементов пользовательского интерфейса посредством компьютерных программных инструкций (например, программного обеспечения и/или встроенного программного обеспечения), хранимых в памяти, доступной для процессора 20 (например, в энергозависимой памяти 40, энергонезависимой памяти 42 и т.д.). Хотя это не показано, мобильный терминал может включать батарею для питания различных схем, относящихся к мобильному терминалу, например схем для обеспечения механической вибрации в качестве обнаруживаемого выходного сигнала. Пользовательский интерфейс ввода может включать устройства, такие как клавиатура 30, сенсорный дисплей (не показан), джойстик (не показан) и/или другие устройства ввода, которые позволяют мобильному терминалу принимать данные. В вариантах осуществления изобретения, включающих клавиатуру, клавиатура может включать цифровые (0-9) и соответствующие клавиши (#, *), а также другие клавиши, используемые для управления мобильным терминалом 10.

[0033] Как показано на фиг.2, мобильный терминал 10 может также включать одно или более средств для совместного использования и/или получения данных. Например, мобильный терминал может включать радиочастотный (RF, radio frequency) приемопередатчик ближнего действия и/или опросное устройство 64, так что данные могут совместно использоваться с электронными устройствами и/или приниматься от электронных устройств в соответствии с технологиями радиосвязи. Мобильный терминал может включать другие приемопередатчики ближнего действия, такие как, например, инфракрасный (IR, infrared) приемопередатчик 66, приемопередатчик 68 Bluetooth™ (ВТ), работающий с использованием беспроводной технологии Bluetooth™, разработанной группой Bluetooth™, беспроводной приемопередатчик 70 универсальной последовательной шины (USB, universal serial bus) и т.д. Приемопередатчик 68 Bluetooth™ может быть способен работать в соответствии со стандартами радиосвязи технологии Bluetooth™ сверхнизкого энергопотребления (например, Wibree™). В связи с этим мобильный терминал 10 и, в частности, приемопередатчик ближнего действия могут быть способны передавать и/или принимать данные от электронных устройств, находящихся в непосредственной близости от мобильного терминала, например на расстоянии до 10 метров. Хотя это не показано, мобильный терминал может быть способен передавать и/или принимать данные от электронных устройств в соответствии с различными технологиями беспроводных сетей, включая технологию Wi-Fi, технологии WLAN, такие как технологии IEEE 802.11, IEEE 802.15, IEEE 802.16 и т.д.

[0034] В одном из примеров осуществления изобретения мобильный терминал 10 может включать компонент захвата мультимедийной информации, например камеру, видео- и/или аудиомодуль, связанный с процессором 20. Компонент захвата мультимедийной информации может быть любым средством захвата видео- или аудиоинформации для ее хранения, отображения и передачи. Например, в примере осуществления изобретения, в котором компонент захвата мультимедийной информации включает схему 36 захвата изображения, схема 36 захвата изображения может включать цифровую камеру, сконфигурированную для формирования файла цифрового изображения из захваченного изображения. Кроме того, цифровая камера схемы 36 захвата изображения может быть сконфигурирована для захвата видеоклипа. В этом случае схема 36 захвата изображения может включать аппаратное обеспечение, такое как линзы или другой(другие) оптический(оптические) компонент(компоненты), и программное обеспечение, необходимое для создания файла цифрового изображения из захваченного изображения, а также файла цифрового видео из захваченного видеоклипа. В альтернативном варианте схема 36 захвата изображения может включать только необходимое для просмотра изображения аппаратное обеспечение, тогда как устройство памяти мобильного терминала 10 будет хранить инструкции для выполнения процессором 20 в виде программного обеспечения, необходимого для создания файла цифрового изображения из захваченного изображения. В другом альтернативном варианте объект или объекты, находящиеся в поле обзора схемы 36 захвата изображения, могут отображаться на дисплее 28 мобильного терминала 10 для иллюстрации вида изображения, отображаемого в настоящий момент, которое при желании может быть захвачено пользователем. Кроме того, в примере осуществления изобретения схема 36 захвата изображения может включать компонент обработки, такой как сопроцессор, который помогает контроллеру 20 обрабатывать данные изображения, и кодер и/или декодер для сжатия и/или восстановления данных изображения. Кодер и/или декодер могут кодировать и/или декодировать, например, в соответствии со стандартом объединенной группы экспертов в области фотографии (JPEG, joint photographic experts group), стандартом группы экспертов в области движущихся изображений (MPEG, moving picture experts group) или в соответствии с другим форматом.

[0035] Мобильный терминал 10 может включать память, такую как модуль 38 идентификации абонента (SIM, subscriber identity module), съемный модуль идентификации пользователя (R-UIM, removable user identity module) и т.д., которая может хранить информационные элементы, относящиеся к мобильному абоненту. В дополнение к модулю SIM мобильный терминал может включать другую съемную и/или встроенную память. Мобильный терминал 10 может включать энергозависимую память 40 и/или энергонезависимую память 42. Например, энергозависимая память 40 может включать оперативную память (RAM, random access memory), в том числе динамическую и/или статическую RAM, кэш-память на схеме или вне схемы и т.д. Энергонезависимая память 42, которая может быть встроенной или съемной, может включать, например, постоянное запоминающее устройство, флэш-память, магнитные запоминающие устройства (например, жесткие диски, приводы гибких дисков, магнитную ленту и т.д.), приводы оптических дисков и/или носители, энергонезависимую оперативную память (NVRAM, non-volatile random access memory) и т.д. Как и энергозависимая память 40, энергонезависимая память 42 может включать кэш-область для временного хранения данных. Память может хранить одну или более программ, инструкций, блоков информации, данных и т.д., которые могут быть использованы мобильным терминалом для выполнения функций мобильного терминала. Например, память может содержать идентификатор, такой как код международной идентификации мобильного оборудования (IMEI, international mobile equipment identity), предоставляющий возможность точного определения мобильного терминала 10.

[0036] Вернемся к фиг.1. В примере осуществления изобретения устройство 102 поиска изображений включает различные средства, такие как процессор 110, память 112, интерфейс 114 связи, пользовательский интерфейс 116 и схему 118 поиска изображений, для выполнения различных описанных здесь функций. Эти средства устройства 102 поиска изображений, как было описано ранее, могут быть осуществлены, например, в виде схемы, компонентов аппаратного обеспечения (например, подходящего программируемого процессора, схемы комбинационной логики и т.д.), компьютерного программного продукта, включающего машиночитаемые программные инструкции (например, программное обеспечение или встроенное программное обеспечение), хранимые на машиночитаемом носителе (например, в памяти 112) и исполняемые обрабатывающим сконфигурированным соответствующим образом устройством (например, процессором 110), или в виде их некоторых комбинаций.

[0037] Процессор 110 может быть выполнен, например, в виде различных средств, включая один или более микропроцессоров с сопровождающим(сопровождающими) процессором(процессорами) цифровой обработки сигналов, один или более процессора(процессоров) без сопровождающего процессора цифровой обработки сигналов, один или более сопроцессоров, один или более многоядерных процессоров, один или более контроллеров, схему обработки данных, один или более компьютеров, другие различные компоненты обработки данных, включая интегральные схемы, такие как, например, схема ASIC или FPGA, или их комбинации. Соответственно, несмотря на то что на фиг.1 представлен только один процессор, в некоторых вариантах осуществления изобретения процессор 110 включает множество процессоров. Это множество процессоров могут находиться в связи друг с другом и могут быть совместно сконфигурированы для выполнения одной или более описанных функций устройства 102 поиска изображений. Множество процессоров может располагаться в одном вычислительном устройстве или может быть распределено среди множества вычислительных устройств, совместно сконфигурированных для функционирования в качестве устройства 102 поиска изображений. В вариантах осуществления изобретения, в которых устройство 102 поиска изображений выполнено в виде мобильного терминала 10, процессор 110 может быть выполнен в виде процессора 20 или включать его. В примере осуществления изобретения процессор 110 сконфигурирован для выполнения инструкций, хранящихся в памяти 112 или иным образом доступных процессору 110. Эти инструкции при их исполнении процессором 110 могут обеспечивать выполнение устройством 102 поиска изображений одной или более описанных функций устройства 102 поиска изображений. В этом случае вне зависимости от того, сконфигурирован ли процессор 110 аппаратными или программными средствами или их комбинацией, он может включать объект, который при конфигурировании надлежащим образом способен выполнять операции в соответствии с вариантами осуществления настоящего изобретения. Так, например, когда процессор 110 выполнен в виде схем ASIC, FPGA и т.д., процессор 110 может включать специально сконфигурированное аппаратное обеспечение для проведения одной или более описанных операций. В альтернативном примере, когда процессор 110 выполнен в виде исполнителя инструкций, которые, например, могут храниться в памяти 112, инструкции могут специальным образом конфигурировать процессор 110 для выполнения одного или более описанных алгоритмов и операций.

[0038] Память 112 может включать, например, энергозависимую память, энергонезависимую память или их комбинацию. Хотя на фиг.1 память 112 представлена в виде одного модуля, она может содержать множество модулей памяти. Множество модулей памяти может быть выполнено в одном вычислительном устройстве или может быть распределено между множеством вычислительных устройств, совместно сконфигурированных для функционирования в качестве устройства 102 поиска изображений. В различных вариантах осуществления изобретения память 112 может включать, например, жесткий диск, оперативную память, кэш-память, флэш-память, постоянную память на компакт-диске (CD-ROM -compact disc read only memory), постоянную память на цифровом диске (DVD-ROM, digital versatile disc read only memory), оптический диск, схему, сконфигурированную для хранения информации, или их комбинацию. В вариантах осуществления изобретения, в которых устройство 102 поиска изображений выполнено в виде мобильного терминала 10, память 112 может включать энергозависимую память 40 и/или энергонезависимую память 42. Память 112 может быть сконфигурирована для хранения информации, данных, приложений, инструкций и т.п. для осуществления устройством 102 поиска изображений различных функций в соответствии с примерами осуществления настоящего изобретения. Например, по меньшей мере в некоторых вариантах осуществления изобретения память 112 сконфигурирована для буферизации входных данных для их обработки процессором 110. Дополнительно или альтернативно, по меньшей мере в некоторых вариантах осуществления изобретения память 112 сконфигурирована для хранения программных инструкций для их исполнения процессором 110. Память 112 может хранить информацию в форме статической и/или динамической информации. Хранимая информация может включать, например, библиотеку изображений, включающую одно или более изображений. Эта хранимая информация может храниться и/или использоваться схемой 118 поиска изображений в течение всего процесса выполнения функций этой схемы.

[0039] Интерфейс 114 связи может быть выполнен в виде любого устройства или средства, выполненного в виде схемы, аппаратного обеспечения, компьютерного программного продукта, включающего машиночитаемые программные инструкции, хранящиеся на машиночитаемом носителе (например, в памяти 112) и исполняемые обрабатывающим устройством (например, процессором 110), или в виде их комбинаций, которые сконфигурированы для приема данных от объекта и/или передачи данных на объект. Например, интерфейс 114 связи может быть сконфигурирован для осуществления связи с удаленным вычислительным устройством, в котором хранится библиотека изображений, для поиска изображений в удаленно хранящейся библиотеке изображений, соответствующих критериям запроса, выбранным пользователем устройства 102 поиска изображений. В качестве другого примера в вариантах осуществления изобретения, в которых устройство 102 поиска изображений включает сервер, сетевой узел и т.д., интерфейс 114 связи может быть сконфигурирован для осуществления связи с удаленным пользовательским терминалом, чтобы обеспечивать пользователю удаленного пользовательского терминала доступ к функциям, предоставляемым устройством 102 поиска изображений. По меньшей мере в одном варианте осуществления изобретения интерфейс 114 связи по меньшей мере частично выполнен в виде процессора 110 или управляется им. В этом случае интерфейс 114 связи может подключаться к процессору 110, например, посредством шины. Интерфейс 114 связи может включать, например, антенну, передатчик, приемник, приемопередатчик и/или аппаратное обеспечение или программное обеспечение поддержки для обеспечения связи с одним или более удаленными вычислительными устройствами. Интерфейс 114 связи может быть сконфигурирован для приема и/или передачи данных с использованием любого протокола, который может использоваться для осуществления связи между вычислительными устройствами. В связи с этим интерфейс 114 связи может быть сконфигурирован для приема и/или передачи данных с использованием любого протокола, который может быть использован для передачи данных через беспроводную сеть, проводную сеть, их комбинацию и т.п., посредством которых устройство 102 поиска изображений и одно или более удаленных вычислительных устройств осуществляют связь друг с другом. Кроме того, интерфейс 114 связи может быть подключен к памяти 112, пользовательскому интерфейсу 116 и/или схеме 118 поиска изображений, например, посредством шины.

[0040] Пользовательский интерфейс 116 может быть подключен к процессору 110 для приема указания о пользовательском вводе и/или для обеспечения звукового, визуального, механического или другого выходного сигнала пользователю. В этом случае пользовательский интерфейс 116 может включать, например, клавиатуру, мышь, джойстик, дисплей, сенсорный дисплей, микрофон, динамик и/или другие механизмы ввода/вывода. В вариантах осуществления изобретения, в которых устройство 102 поиска изображений выполнено в виде одного или более серверов, элементы пользовательского интерфейса 126 могут быть сокращены или пользовательский интерфейс 126 может вообще отсутствовать. Пользовательский интерфейс 116 может быть подключен к памяти 112, интерфейсу 114 связи и/или схеме 118 поиска изображений, например, посредством шины.

[0041] Схема 118 поиска изображений может быть выполнена в виде различных средств, таких как схемы, аппаратное обеспечение, компьютерный программный продукт, содержащий машиночитаемые программные инструкции, хранящиеся на машиночитаемом носителе (например, в памяти 112) и исполняемые обрабатывающим устройством (например, процессором 110), или в виде их комбинаций, или в одном из вариантов осуществления изобретения она может быть выполнена в виде процессора 110 или управляться им. В вариантах осуществления изобретения, в которых схема 118 поиска изображений выполнена отдельно от процессора 110, схема 118 поиска изображений может быть подключена к процессору 110. Кроме того, схема 118 поиска изображений может быть подключена к одной или более модулям памяти 112, интерфейсу 114 связи или пользовательскому интерфейсу 116, например, посредством шины.

[0042] Схема 118 поиска изображений может быть сконфигурирована для обеспечения отображения графического пользовательского интерфейса на дисплее при оперативной связи с устройством 102 поиска изображений. Такой дисплей может включать, например, элемент пользовательского интерфейса 116. В качестве другого примера такой дисплей может включать дисплей удаленного вычислительного устройства, которое подключено к устройству 102 поиска изображений, посредством которого пользователь осуществляет доступ к услугам поиска изображений, предоставляемым устройством 102 поиска изображений. Пользователь может использовать графический пользовательский интерфейс для выбора целевого изображения. Такой выбор может быть выполнен посредством любого средства ввода или выбора, включая, например, помещение курсора над представлением требуемого целевого изображения и выбор требуемого целевого изображения с помощью мыши или других средств ввода, касание образа требуемого целевого изображения, отображаемого на дисплее сенсорного экрана, и т.д.

[0043] Схема 118 поиска изображений может быть сконфигурирована для определения выбранного целевого изображения. Схема 118 поиска изображений может быть сконфигурирована для формирования в ответ на определение выбранного целевого изображения набора возможных областей интереса, включающего одну или более областей ROI внутри целевого изображения. Схема 118 поиска изображений может быть сконфигурирована для формирования набора возможных областей интереса с использованием любого способа определения областей ROI. Например, схема 118 поиска изображений может быть сконфигурирована для использования алгоритма обнаружения признаков для идентификации и извлечения локальных признаков целевого изображения, таких как углы, соединения, точки, представляющие интерес, края, пятна, области, постоянные области и т.д. в целевом изображении. Схема 118 поиска изображений может быть сконфигурирована для определения при идентификации и извлечении локальных признаков свойств локальных признаков, таких как координаты, масштаб, вращения, формы и т.д. идентифицированных локальных признаков. Кроме того, схема 118 поиска изображений может быть сконфигурирована для определения дескриптора признака для извлеченного локального признака. Дескриптор признака может включать вектор признаков, формируемый в соответствии с набором пикселей изображения, включающих извлеченный локальный признак. Примеры алгоритмов, которые могут использоваться схемой 118 поиска изображений для идентификации и/или определения свойств локальных признаков внутри изображения, включают SIFT (инвариантное относительно масштаба преобразование признаков, Scale Invariant Feature Transform), SURF (устойчивые к ускорению признаки, Speeded Up Robust Features), Контекст Формы, GLOH (гистограмма положения и ориентации градиента, Gradient Location and Orientation Histogram), управляемые фильтры, PCA-SIFT (анализ главных компонент, Principal Components Analysis), дифференциальные постоянные, изображения вращения, сложные фильтры, постоянные момента и т.п. Однако необходимо понимать, что варианты осуществления изобретения не ограничены конкретным способом или алгоритмом идентификации и/или определения свойств локальных признаков.

[0044] Схема 118 поиска изображений может быть сконфигурирована для анализа извлеченных локальных признаков посредством анализа определенных описаний, дескрипторов признаков и т.п.для формирования набора возможных областей ROI. В связи с этим схема 118 поиска изображений может быть сконфигурирована для обработки каждого поднабора извлеченных локальных признаков в качестве области ROI в сформированном наборе возможных областей ROI. Дополнительно или альтернативно, схема 118 поиска изображений может быть сконфигурирована для вычисления распределения извлеченных локальных признаков в целевом изображении и идентификации областей, имеющих относительно высокую плотность локальных признаков. В связи с этим схема 118 поиска изображений может быть сконфигурирована для анализа шаблонов распределения извлеченных локальных элементов и группирования множества локальных признаков в качестве области ROI и добавления области ROI к сформированному набору возможных областей ROI. Схема 118 поиска изображений может быть сконфигурирована для учета значимости локальных признаков при формировании набора возможных областей ROI.

[0045] Дополнительно или альтернативно, схема 118 поиска изображений может быть сконфигурирована для использования сегментации изображения для разделения целевого изображения на множество областей. Соответственно, схема 118 поиска изображений может формировать набор возможных областей ROI, включающий одну или более сегментированных областей целевого изображения. Кроме того, схема 118 поиска изображений может быть сконфигурирована для формирования набора возможных областей ROI по меньшей мере частично посредством механизмов обнаружения и/или учета человеческого внимания. Например, устройство 102 поиска изображений может подключаться к камере, устройству обнаружения движения глаз или другому средству, с помощью которого схема 118 поиска изображений может отслеживать и обнаруживать движение глаз пользователя при просмотре им целевого изображения. Соответственно, область(области) целевого изображения, которые привлекают глаза пользователя и/или на которых он фокусируется, могут быть определены как включающие области ROI, которые добавляются к набору возможных областей ROI. В некоторых вариантах осуществления изобретения целевое изображение может быть связано с набором статистики отслеживаемых движений глаз множества пользователей, которые просматривали целевое изображение, что может использоваться схемой 118 поиска изображений для идентификации областей ROI внутри целевого изображения для добавления их к набору возможных областей ROI.

[0046] Идентифицированная возможная область ROI может представлять область в целевом изображении, которая является отличительной или информативной, и, следовательно, может рассматриваться как та часть, которую пользователь действительно хочет найти. Форма ROI может включать любой тип формы, такой как, например, треугольник, прямоугольник, иной многоугольник, круг, эллипс, неправильная форма, нарисованная от руки форма и т.п. На чертежах и в последующем описании в качестве примера для идентификации областей ROI используются прямоугольники. Однако необходимо понимать, что прямоугольники представлены лишь в качестве примера и не ограничивают изобретение.

[0047] Поскольку сформированный набор возможных областей ROI может содержать много областей ROI, то для пользователя будет сложно выбрать целевую(целевые) область(области) ROI из набора возможных областей ROI. Соответственно, в некоторых вариантах осуществления изобретения схема 118 поиска изображений сконфигурирована для определения набора рекомендованных областей интереса, включающего одну или более рекомендованных областей ROI, выбранных из набора возможных областей ROI. В связи с этим схема 118 поиска изображений может быть сконфигурирована для предоставления функции анализа истории поиска, посредством которой поддерживается история поиска на основе области ROI. Схема 118 поиска изображений может использовать критерии оценивания, определенные по меньшей мере частично на основе поддерживаемой истории поиска на основе области ROI для выбора одной или более рекомендованных областей ROI. Рекомендованные области ROI могут определяться, например, на основе ранее выбираемых пользователем целевых областей ROI. В связи с этим если пользователь до этого выбрал возможную область ROI в качестве целевой области ROI для поиска изображения и/или выбрал ранее область ROI, схожую с возможной областью ROI или того же класса или типа, что и область ROI, то схема 118 поиска изображений может быть сконфигурирована для идентификации данной возможной области ROI в качестве рекомендованной области ROI. В другом примере рекомендованные ранее области ROI для целевого изображения (например, области ROI, рекомендованные, когда целевое изображение использовалось ранее в качестве основы для выбора критериев запроса для поиска изображения) могут рассматриваться как рекомендованные для выбора области ROI. В еще одном примере может учитываться историческая взаимосвязь между целевыми областями ROI и соответствующими полученными в результате поиска изображениями (например, из предыдущих поисков изображений) для оценки качества возможной области ROI относительно ее эффективности как элемента критериев запроса для поиска изображения. Дополнительно или альтернативно, схема 118 поиска изображений может быть сконфигурирована для идентификации рекомендованных областей ROI по меньшей мере частично на основе количества, концентрации, расположения, значимости и т.д. локальных признаков внутри возможных областей ROI.

[0048] В некоторых вариантах осуществления изобретения схема 118 поиска изображений сконфигурирована для вычисления оценки рекомендации для каждого поднабора возможных областей ROI в наборе возможных областей ROI с использованием критериев оценивания. Схема 118 поиска изображений может быть сконфигурирована для определения одной или более рекомендованных областей ROI из набора возможных областей ROI по меньшей мере частично на основе вычисленных оценок рекомендации. В связи с этим схема 118 поиска изображений, например, может быть сконфигурирована для выбора заранее заданного числа возможных областей ROI, имеющих лучшие оценки рекомендации (например, наивысшую или наименьшую оценку в зависимости от того, как вычисляются оценки рекомендации), в качестве рекомендованных областей ROI в наборе рекомендованных областей ROI. В другом примере схема 118 поиска изображений может быть сконфигурирована для выбора возможных областей ROI, имеющих оценку рекомендации, которая выше или ниже заранее заданного порога, в качестве рекомендованных областей ROI в наборе рекомендованных областей ROI (например, в зависимости от того, как вычисляются оценки рекомендации в отношении того, указывает ли высшая или низшая оценка на возможную область ROI как на лучший выбор в качестве рекомендованной области ROI). Однако необходимо понимать, что схема 118 поиска изображений может использовать вычисленные оценки рекомендации в дополнительных или альтернативных способах при определении рекомендованных областей ROI внутри целевого изображения.

[0049] После определения набора рекомендованных областей ROI схема 118 поиска изображений может быть сконфигурирована для предоставления набора рекомендованных областей ROI для выбора пользователем одной или более целевых областей ROI в качестве критериев запроса для поиска в библиотеке изображений одного или более полученных в результате изображений, соответствующих критериям запроса. В связи с этим схема 118 поиска изображений может быть сконфигурирована, например, для инициирования отображения выбираемых указаний рекомендованных областей ROI посредством графического пользовательского интерфейса для обеспечения CBIR в соответствии с вариантом осуществления изобретения. Выбираемые указания могут включать, например, выбираемые отображаемые миниатюры рекомендованных областей ROI, подсвеченную(подсвеченные) / очерченную(очерченные) прямоугольником область(области) выбранного целевого изображения, перекрывающиеся или совпадающие с рекомендованными областями ROI, выбираемые кнопки, соответствующие рекомендованным областям ROI и т.п.

[0050] На фиг.3 представлены последовательности изображений в соответствии с примером пользовательского интерфейса для выбора одной или более целевых областей ROI из целевого изображения в соответствии с примером осуществления изобретения. На фиг.3а в пользовательском интерфейсе отображено выбранное целевое изображение 302. На фиг.3b показано множество рекомендованных областей ROI внутри целевого изображения 302. Рекомендованные области ROI могут включать набор рекомендованных областей ROI, сформированный схемой 118 поиска изображений, как было описано ранее. В связи с этим на фиг.3b представлены рекомендованные области ROI 304, 306 и 308, что отображено посредством подсвеченных прямоугольников, ограничивающих области ROI внутри целевого изображения 302. В варианте осуществления изобретения, показанном на фиг.3, миниатюры рекомендованных областей ROI 304, 306 и 308 также отображаются внутри области 310, отображающей рекомендованные области ROI. В дополнение к рекомендованным областям ROI 304, 306 и 308 миниатюра целевого изображения 302 также отображается в области 310 в качестве рекомендованной области ROI. В связи с этим в некоторых вариантах осуществления изобретения схема 118 поиска изображений сконфигурирована для включения всего выбранного целевого изображения в качестве рекомендованной области ROI внутри набора рекомендованных областей ROI, сформированного для целевого изображения. Как показано в области 310, миниатюры соответствующих рекомендованных областей ROI пронумерованы значениями 1- 4. Эти числа соответствуют пронумерованным кнопкам 312. Соответственно, пользователь может выбрать одну из пронумерованных кнопок для выбора рекомендованной области ROI в качестве целевой области ROI. Такой выбор может быть выполнен посредством использования любого средства ввода, включающего, например, касание подходящей кнопки посредством выполнения соответствующего движения касания на дисплее сенсорного экрана, на котором отображается пользовательский интерфейс, выбор подходящей кнопки при помощи курсора посредством мыши или другого средства ввода пользовательского интерфейса 116 и т.д. Миниатюры или другое указание выбранных областей ROI могут отображаться в области 314 выбранных областей ROI. На фиг.3b пользователь выбрал рекомендованную область ROI 308, и миниатюра области ROI 308 отображается внутри области 314 выбранных областей ROI.

[0051] Как показано на фиг.3с, пользователь может пожелать выбрать в качестве целевой области ROI автомобиль, изображенный внутри рекомендованной области ROI 306. Однако пользователь может посчитать, что рекомендованная область ROI слишком велика и может включать признаки, не желаемые для включения их в качестве критериев запроса, так как они могут привести к неточным результатам поиска изображения. Соответственно, пользователю может быть разрешено корректировать размеры рекомендованной области ROI посредством редактирования заданных границ. Дополнительно или альтернативно, пользователю может быть разрешено рисовать или иным образом выбирать новую область ROI, имеющую требуемые для пользователя границы. Такая новая или скорректированная область ROI указана посредством прямоугольника 316, имеющего на фиг.3с границы в виде пунктирных линий.

[0052] В некоторых случаях область ROI, которую пользователь хотел бы выбрать в качестве целевой области ROI, может быть не представлена как рекомендованная область ROI. Соответственно, пользователь может захотеть определить новую область ROI, которая включает желаемую область. Как показано на фиг.3d, пользователь определил область ROI 318, включающую серый дом на левой стороне целевого изображения 302. Схема 318 поиска изображений может быть сконфигурирована для определения границ такой заданной пользователем области ROI и добавления заданной пользователем области ROI в качестве выбранной целевой области ROI, когда она выбирается пользователем. На фиг.3d представление миниатюры заданной пользователем области ROI 318 отображается в области 314 выбранных областей ROI графического пользовательского интерфейса для того, чтобы показать, что область ROI 318 была выбрана в качестве целевой области ROI.

[0053] Необходимо понимать, что варианты осуществления изобретения не ограничены выбором пользователем лишь одной целевой области ROI. В связи с этим некоторые варианты осуществления изобретения дают возможность пользователю выбирать множество областей ROI в качестве целевых областей ROI для определения критериев запроса поиска изображения по содержимому. Как показано на фиг.3е, были выбраны две области ROI и отображены миниатюрные указания выбранных областей ROI внутри области 314 выбранных областей ROI.

[0054] В некоторых вариантах осуществления изобретения области ROI, выбранные в качестве целевых областей ROI, не ограничены тем, что они должны содержаться внутри лишь одного целевого изображения. В связи с этим некоторые варианты осуществления изобретения дают пользователю возможность выбирать одну или более целевых областей ROI в каждом изображении из множества целевых изображений. Такие варианты осуществления изобретения позволяют пользователю лучше определить критерии запроса в случаях, когда пользователь хочет найти полученные в результате изображения, имеющие множество признаков или элементов, не все из которых содержатся внутри одного целевого изображения. На фиг.4 представлена блок-схема в соответствии с примером способа обеспечения выбора целевых областей интереса из множества целевых изображений в соответствии с примером осуществления изобретения.

[0055] На фиг.4 шаг 400 может включать определение схемой 118 поиска изображений выбранного целевого изображения и загрузку целевого изображения. Шаг 402 может включать формирование набора возможных областей ROI схемой 118 поиска изображений. Схема 118 поиска изображений может уточнять набор возможных областей ROI посредством формирования набора рекомендованных областей ROI на шаге 404. На шаге 418 схема 118 поиска изображений может формировать набор рекомендованных областей ROI с помощью определенных критериев оценивания, определенных меньшей мере частично на основе функции анализа истории поиска. Схема 118 поиска изображений может предлагать пользователю для повторного просмотра и/или выбора набор рекомендованных областей ROI. Шаг 406 может включать повторный просмотр пользователем предоставляемых рекомендованных областей ROI для определения того, устраивают ли пользователя рекомендованные области ROI. Если пользователя рекомендованные области ROI не устраивают, на шаге 408 пользователь может отредактировать границы существующих рекомендованных областей ROI и/или задать новые области ROI. Шаг 410 может включать выбор пользователем одной или более областей ROI в качестве целевых областей ROI. Пользователь может, например, делать выбор посредством выбора пронумерованной кнопки (например, одной из пронумерованных кнопок 312) или ключа, соответствующего цифрам индекса требуемой области ROI. Однако необходимо понимать, что также могут использоваться буквы индекса в дополнение к цифрам индекса или вместо них. На шаге 412 пользователь может определить, необходимо ли пользователю выбирать целевую(целевые) область(области) из другого целевого изображения для задания требуемых критериев запроса. Если пользователю необходимо выбрать целевую область ROI из другого целевого изображения, то пользователь может выбрать новое целевое изображение. Схема 118 поиска изображений может быть сконфигурирована для определения на шаге 416 выбора нового целевого изображения и загрузки нового целевого изображения. Далее способ может возвращаться к шагу 402. Схема 118 поиска изображений может быть сконфигурирована для вывода и/или использования на шаге 414 выбранных целевых областей ROI для поиска, как только пользователь выбрал все требуемые области ROI для задания требуемых критериев запроса.

[0056] В некоторых вариантах осуществления изобретения пользователь может назначать показатель значимости одной или более выбранным целевым областям ROI. Показатель(показатели) значимости может(могут), например, автоматически назначаться схемой поиска изображений в соответствии с порядком, в котором были выбраны целевые области ROI. Альтернативно пользователь может явно задавать показатель значимости для выбранной целевой области ROI, например, посредством назначения указания относительной значимости среди выбранных целевых областей ROI (например, наиболее значимая, вторая по значимости, наименее значимая и т.д.). В другом примере пользователь может задавать категорию показателя значимости (например, очень важная, достаточно важная, не очень важная и т.д.) для выбранной целевой области ROI. Схема 118 поиска изображений может быть сконфигурирована для учета назначенных показателей значимости при осуществлении поиска изображений, соответствующих целевым областям ROI, как описано далее. Например, если целевая область ROI имеет высокий показатель значимости, то полученные в результате возможные изображения, соответствующие этой целевой области ROI, могут иметь более высокую вероятность быть выбранными в качестве полученного результата.

[0057] В ответ на заключительный выбор пользователя требуемых целевых областей ROI и/или на инициирование поиска схема 118 поиска изображений может быть сконфигурирована для конструирования критериев запроса на основе выбранной(выбранных) целевой(целевых) областей ROI и поиска одного или более полученных в результате изображений по меньшей мере в части библиотеки изображений с использованием сконструированных критериев запроса. В связи с этим схема 118 поиска изображений может осуществлять поиск изображений, соответствующих критериям запроса (например, относящихся к выбранной(выбранным) целевой(целевым) ROI). Библиотека изображений может включать базу данных изображений, коллекцию изображений, хранящихся в определенном(определенных) месте(местах) (например, в одной или более заданных папках), каждый файл изображения, который хранится в памяти 112 и/или на запоминающем(запоминающих) устройстве(устройствах), доступных устройству 102 поиска изображений, и т.д. Библиотека изображений или ее часть, в которой осуществляется поиск, может определяться пользователем при инициировании поиска или может включать установленную по умолчанию библиотеку изображений.

[0058] Схема 118 поиска изображений может быть сконфигурирована для поиска изображений, соответствующих критериям запроса, с использованием алгоритма или способа, которые могут использоваться для поиска изображения по содержимому, или комбинации множества алгоритмов или способов. Например, схема 118 поиска изображений может быть сконфигурирована для вычисления описания признаков для изображений и/или областей ROI внутри изображений, хранящихся в библиотеке изображений, в которой осуществляется поиск. Эти описания признаков могут вычисляться во время поиска. Дополнительно или альтернативно, описания признаков для изображений внутри библиотеки изображений могут вычисляться до начала поиска для уменьшения времени поиска. Кроме того, схема 118 поиска изображений может быть сконфигурирована для вычисления описания признаков для целевых областей ROI, которые содержат критерии запроса, если они еще не были вычислены ранее. Схема 118 поиска изображений может сравнивать описания признаков для целевых областей ROI с описаниями признаков для изображений внутри библиотеки изображений. Для определения изображений, соответствующих критериям запроса, схема 118 поиска изображений может использовать степень схожести. Например, степень схожести может включать Евклидово расстояние или расстояние Махаланобиса между векторами признаков, задающими описание признаков. Однако необходимо понимать, что указанные степени схожести представлены лишь в качестве примера, и в вариантах осуществления изобретения может использоваться любая подходящая степень схожести или комбинация множества степеней схожести. После идентификации одного или более полученных в результате изображений, которые определены как соответствующие критериям запроса, схема 118 поиска изображений может быть сконфигурирована для предоставления идентифицированных полученных в результате изображений для повторного просмотра пользователем, например, посредством инициирования отображения на дисплее идентифицированных полученных в результате изображений или их представлений.

[0059] На фиг.5 представлены последовательности изображений в соответствии с примером пользовательского интерфейса для выбора целевых областей ROI и выполнения поиска изображения в соответствии с примером осуществления изобретения. На фиг.5а представлен пользовательский интерфейс, на котором отображено выбранное целевое изображение 502. Пользовательский интерфейс, показанный на фиг.5, и его работа по существу аналогичны тем, что были описаны со ссылкой на фиг.3. Как показано на фиг.5а, одной из рекомендованных областей ROI, предоставляемых схемой 118 поиска изображений, является область 504, которая включает изображение лица Яо Мина. Миниатюра 506 области ROI 504 представлена в области графического интерфейса для выбора целевых областей ROI. Миниатюра 506 обозначена индексом "2". Соответственно, пользователь может выбрать область ROI 504 в качестве целевой области ROI посредством выбора пронумерованной кнопки 508, соответствующей цифре индекса "2". Как показано на фиг.5а, была выбрана область ROI 504, а представление области ROI 504 отображено в области 510 выбранных областей ROI графического пользовательского интерфейса.

[0060] На фиг.5b представлено второе целевое изображение 512, отображаемое в пользовательском интерфейсе. Как показано на фиг.5b, одной из рекомендованных областей ROI, предоставляемых схемой 118 поиска изображений, является область ROI 514, которая включает изображение Олимпийского факела. Миниатюра 516 области ROI 514 представлена в области графического интерфейса для выбора целевых областей ROI. Миниатюра 516 обозначена индексом "3". Соответственно, пользователь может выбрать область ROI 514 в качестве целевой области ROI посредством выбора пронумерованной кнопки 518, соответствующей цифре "3" индекса. Как показано на фиг.6а?b, была выбрана область ROI 514, а представление области ROI 514 отображено в области 510 выбранных областей ROI графического пользовательского интерфейса совместно с представлением ранее выбранной области ROI 504.

[0061] После того, как пользователь выбрал две целевые области ROI, пользователь может инициировать поиск изображения. На фиг.5 с представлены полученные в результате изображения, которые могут быть идентифицированы и извлечены схемой 118 поиска изображений как соответствующие выбранным целевым областям ROI. В примере пользовательского интерфейса, показанном на фиг.5, полученные в результате изображения представлены в области 520 результатов графического пользовательского интерфейса. На фиг.5d представлен увеличенный вид содержимого области 520 результатов. Несмотря на то что на фиг.5 представлен выбор целевых областей ROI из двух целевых изображений и выполнение поиска изображения основывается на целевых областях ROI, выбранных из двух целевых изображений, необходимо понимать, что варианты осуществления изобретения позволяют пользователю выбирать в качестве основы критериев запроса для поиска изображения целевые области ROI более чем из двух изображений. Кроме того, необходимо понимать, что хотя на фиг.5 представлен выбор одной целевой области ROI из каждого целевого изображения, варианты осуществления изобретения позволяют пользователю выбирать множество целевых областей ROI из целевого изображения.

[0062] В некоторых вариантах осуществления изобретения схема 118 поиска изображений сконфигурирована для определения обратной связи по идентифицированным полученным в результате изображениям. Схема 118 поиска изображений может использовать собранные данные обратной связи для обновления поддерживаемой истории поиска на основе области ROI для того, чтобы улучшить функцию истории поиска, предоставляемую схемой 118 поиска изображений. В связи с этим обратная связь может использоваться схемой 118 поиска изображений для улучшения рекомендаций будущих областей ROI и поисков изображений.

[0063] В связи с этим схема 118 поиска изображений может быть сконфигурирована для предоставления пользователю интерфейса обратной связи, когда пользователь просматривает полученные в результате изображения. Интерфейс обратной связи может запрашивать указание о том, удовлетворен ли пользователя конкретным полученным в результате изображением. В связи с этим пользователь может ввести посредством интерфейса обратной связи данные обратной связи о том, соответствует ли полученное в результате изображение выбранным целевым областям ROI. В некоторых вариантах осуществления изобретения интерфейс обратной связи позволяет пользователю вводить данные обратной связи в отношении появления каждой выбранной целевой области ROI в дополнение к общей обратной связи в отношении того, удовлетворяет ли полученное в результате изображение критериям запроса. Например, если пользователь выбрал две области ROI, интерфейс обратной связи может позволить пользователю предоставить обратную связь в отношении того, соответствует ли полученное в результате изображение первой целевой области ROI, и соответствует ли полученное в результате изображение второй целевой области ROI. Эта обратная связь на уровне области ROI может предоставлять более значимую информацию истории поиска на основе области ROI, которая может улучшить будущие задачи поиска. В связи с этим даже если полученное в результате изображение не является именно тем, что искал пользователь, оно все равно может иметь некоторое содержимое, которое пользователь хотел видеть, так как полученное в результате изображение может соответствовать по меньшей мере одной выбранной целевой области ROI, но, возможно, не всем выбранным целевым областям ROI. Поэтому варианты осуществления изобретения могут определять обратную связь на уровне ROI, которая может предоставляет информацию помимо простого определения того, является ли полученное в результате изображение "хорошим" или "плохим".

[0064] На фиг.6 представлен пример интерфейса обратной связи для предоставления обратной связи по полученным в результате изображениям в соответствии с примером осуществления изобретения. В связи с этим на фиг.6 представлен пример интерфейса обратной связи в контексте двух полученных в результате изображений, которые могут быть идентифицированы как соответствующие целевым областям ROI 504 и 514. Выбранные целевые области ROI 504 и 514 содержат изображение лица Яо Мина и изображение Олимпийского факела соответственно. В данном примере пользователь ищет изображения Яо Мина, несущего Олимпийский факел. На фиг.6а интерфейс обратной связи включает полученное в результате изображение 602, которое включает изображение Яо Мина, несущего Олимпийский факел. Соответственно, пользователь в качестве ответа на вопрос 604 обратной связи указал, что он удовлетворен полученным в результате изображением в соответствии с выбранными целевыми областями ROI. Далее пользователь в качестве ответа на вопрос 606 обратной связи указал, что изображение соответствует первой отправленной целевой области ROI (области ROI 504, включающей изображение лица Яо Мина). Пользователь дополнительно в качестве ответа на вопрос 608 обратной связи указал, что изображение соответствует второй отправленной целевой области ROI (области ROI 514, включающей изображение Олимпийского факела).

[0065] Интерфейс обратной связи, представленный на фиг.6b, включает полученное в результате изображение 612, которое включает изображение кого-либо другого, не Яо Мина, несущего Олимпийский флаг. Соответственно, пользователь в качестве ответа на вопрос 614 обратной связи указал, что он не удовлетворен полученным в результате изображением в соответствии с выбранными целевыми областями ROI. Далее пользователь в качестве ответа на вопрос 616 обратной связи указал, что изображение не соответствует первой отправленной целевой области ROI (области ROI 504, включающей изображение лица Яо Мина). Однако в качестве ответа на вопрос 618 обратной связи пользователь указывает, что изображение соответствует второй отправленной целевой области ROI (области ROI 514, включающей изображение Олимпийского факела).

[0066] Необходимо понимать, что в некоторых вариантах осуществления изобретения предоставление обратной связи для пользователя может быть необязательным и, таким образом, пользователь может отклонить предоставление обратной связи посредством интерфейса обратной связи или обойти интерфейс обратной связи. Альтернативно пользователь может иметь возможность выбирать опцию отключения функции обратной связи, так что пользователю не будет предоставляться интерфейс обратной связи при просмотре полученных в результате изображений.

[0067] Как было описано ранее, в некоторых вариантах осуществления изобретения схема 118 поиска изображений сконфигурирована для обеспечения функции анализа истории поиска, включающей поддержку истории поиска на основе области ROI. Некоторые варианты осуществления функции анализа истории поиска будут описаны со ссылкой на фиг.7, на которой представлена блок-схема функции анализа истории поиска в соответствии с примером осуществления изобретения. Функция анализа истории поиска может основываться на обучении и стратегии многостороннего оценивания. Схема 118 поиска изображений может быть сконфигурирована для анализа и использования информации истории поиска на основе области ROI, поддерживаемой в соответствии с функцией анализа истории поиска, для оценивания возможных областей ROI при определении рекомендованных областей ROI для целевого изображения и/или во время поиска при идентификации изображений, соответствующих критериям запроса.

[0068] Схема 118 поиска изображений может быть сконфигурирована для анализа информации из множества источников и обновления истории поиска на основе области ROI для включения анализируемой информации. В связи с этим схема 118 поиска изображений может быть сконфигурирована для обеспечения многостороннего анализа истории поиска. Схема 118 поиска изображений может быть сконфигурирована для сбора и обновления поддерживаемой истории поиска на основе области ROI для включения обратной связи 702 на уровне ROI. В связи с этим схема 118 поиска изображений может быть сконфигурирована для определения и сбора пользовательской обратной связи о том, соответствуют ли идентифицированные полученные в результате изображения одной или более выбранным целевым областям ROI, как было описано ранее в связи с фиг.6. Обратная связь на уровне ROI предоставляет информацию о том, какие области ROI содержатся в изображениях и какие области ROI не содержатся в изображениях, так что последующие поиски могут быть улучшены на основе информации, полученной из обратной связи предыдущих результатов поиска.

[0069] Кроме того, схема 118 поиска изображений может быть сконфигурирована для сбора и обновления поддерживаемой истории поиска на основе области ROI для включения информации об истории выбранных целевых (например, вводимых) областей ROI и соответствующих результатов 704. В связи с этим схема 118 поиска изображений может быть сконфигурирована для анализа взаимосвязи между выбранными целевыми областями ROI и соответствующими результатами поиска для идентификации возможных классов областей ROI, содержащихся в изображении. В некоторых вариантах осуществления изобретения информация может дополнительно или альтернативно определяться посредством пользовательской обратной связи. Схема 118 поиска изображений может быть сконфигурирована для анализа поддерживаемой статистической информации, детализирующей историческую взаимосвязь между выбранными целевыми областями ROI и соответствующими результатами поиска, для улучшения точности результатов поиска и увеличения скорости поиска.

[0070] Схема 118 поиска изображений может быть дополнительно сконфигурирована для сбора и обновления поддерживаемой истории поиска на основе области ROI для включения информации об истории выбранных целевых (например, вводимых) областях ROI 706. В связи с этим схема 118 поиска изображений может быть сконфигурирована для идентификации и изучения шаблонов выбора целевой области ROI с помощью обучения без учителя. Схема 118 поиска изображений может быть сконфигурирована для идентификации и распределения по классам выбранных целевых областей ROI на основе содержимого областей ROI. Например, области ROI, содержащие автомобили, могут образовывать один класс. Схема 118 поиска изображений может быть сконфигурирована для поддержки записей о пользовательских предпочтениях для различных классов, например, с помощью ведения записи о частоте их выбора для каждого из множества классов. Схема 118 поиска изображений может быть сконфигурирована для использования этой истории предпочтения классов областей ROI при определении рекомендованных областей ROI внутри выбранного целевого изображения, так что схема 118 поиска изображений может быть сконфигурирована для идентификации класса возможной области ROI и рекомендации пользователю возможной области ROI в случае, если возможная область ROI принадлежит к классу, к которому пользователь ранее проявлял интерес, что отображается посредством истории предпочтения классов.

[0071] Схема 118 поиска изображений может быть сконфигурирована для анализа и объединения собранной истории поиска на основе области ROI для формирования объединенных наборов информации, которые могут использоваться для улучшения рекомендаций областей ROI в выбранном целевом изображении и/или улучшения поиска изображения. В одном из таких примеров объединенный набор информации может содержать информацию о взаимосвязи между изображениями и областями ROI 710. Этот объединенный набор информации может быть собран посредством анализа собранных данных обратной связи 702 на уровне ROI и истории выбранных целевых областей ROI и соответствующих результатов 704. Такой анализ может включать обучение с учителем о взаимосвязи 708 изображения и области ROI с использованием собираемой информации. Другой пример объединенного набора информации может включать классификацию исторически выбранных целевых (например, вводимых) областей ROI. Схема 118 поиска изображений может быть сконфигурирована для выполнения этой классификации посредством группирования областей ROI с использованием обучения 712 без учителя, например посредством классификации выбранных целевых областей ROI и поддержания данных гистограммы о частоте выбора областей ROI из каждого класса ROI в качестве целевых областей ROI, как было описано ранее.

[0072] Схема 118 поиска изображений может быть сконфигурирована для использования этой поддерживаемой истории поиска на основе ROI для ранжирования возможных областей ROI, обнаруженных внутри выбранного целевого изображения 716. Ранжирование может использоваться схемой 118 поиска изображений при определении набора 718 рекомендованных областей ROI. Например, схема 118 поиска изображений может быть сконфигурирована для исследования в истории поиска частоты поиска для возможной области ROI и возможное число соответствующих изображений в базе данных. Возможной области ROI с более высокой частотой поиска и большим числом соответствующих изображений может быть присвоена более высокая оценка рекомендации. Схема 118 поиска изображений может использовать эту оценку рекомендации для ранжирования возможных областей ROI. Схема 118 поиска изображений может использовать оценки рекомендации для улучшения рекомендаций на основе признаков возможных областей ROI путем учета истории поиска.

[0073] Кроме того, схема 118 поиска изображений может быть сконфигурирована для использования поддерживаемой истории поиска на основе ROI для улучшения поиска в библиотеке изображений для изображений, соответствующих критериям запроса. В связи с этим схема 118 поиска изображений может использовать поддерживаемую историю поиска на основе области ROI для увеличения скорости и точности 720 поиска в базе данных 722 или в другой библиотеке изображений. Например, схема 118 поиска изображений может быть сконфигурирована для определения класса выбранной целевой области ROI. Кроме того, схема 118 поиска изображений может также анализировать поддерживаемую историю поиска на основе области ROI для определения изображений в библиотеке изображений, о которых известно, что они содержат область ROI того же класса, для определения набора изображений в библиотеке изображений, которые могут соответствовать критериям запроса. Далее схема 118 поиска изображений может осуществлять поиск определенного набора изображений, которые могут соответствовать критериям запроса, для идентификации любых изображений, соответствующих критериям запроса. В связи с этим скорость поиска и его точность могут быть улучшены посредством уменьшения части библиотеки изображения, в которой осуществляется поиск, посредством исключения изображений, о которых известно, что они не содержат область ROI того же класса, что и выбранная целевая область ROI.

[0074] Схема 118 поиска изображений может быть также сконфигурирована для использования поддерживаемой истории поиска на основе области ROI для ранжирования полученных в результате изображений 724, идентифицированных в результате поиска изображений и/или уточнения результатов 726 поиска. В связи с этим схема 118 поиска изображений может быть сконфигурирована для фильтрации множества полученных в результате изображений посредством отбрасывания любых полученных в результате изображений, о которых известно из поддерживаемой истории поиска на основе области ROI, что они не соответствуют одной или более выбранным целевым областям интереса. Например, схема 118 поиска изображений может быть сконфигурирована для отбрасывания несоответствующих изображений посредством использования информации из обратной связи на уровне области ROI. В этом случае о некоторых изображениях может быть известно, что они не соответствуют данной целевой области ROI, но могут быть идентифицированы алгоритмами на основе признаков как потенциально соответствующие изображения. Схема 118 поиска изображений может быть сконфигурирована для идентификации и отбрасывания таких изображений на основе информации поддерживаемой истории поиска на основе области ROI. Соответственно, пользователю могут быть предоставлены более точные результаты поиска.

[0075] На фиг.8 представлена блок-схема в соответствии с примером рабочего процесса обеспечения поиска изображения по содержимому в соответствии с примером осуществления изобретения. Шаг 802 может включать определение схемой 118 поиска изображений выбранного целевого изображения и загрузку целевого изображения. Шаг 804 может включать определение схемой 118 поиска изображений рекомендованных областей ROI внутри целевого изображения и предоставление рекомендованных областей ROI пользователю. Шаг 804 может включать использование анализа 816 истории поиска для улучшения рекомендаций на основе поддерживаемой истории поиска на основе области ROI так, как было показано при описании элементов 716 и 718 на фиг.7. Шаг 806 может включать поиск в базе данных или в другой библиотеке изображений схемой 118 поиска изображений тех изображений, которые соответствуют критериям запроса, включающим одну или более выбранных целевых областей ROI, и формирование схемой 118 поиска изображений набора полученных в результате возможных изображений. Шаг 806 может включать использование анализа 816 истории поиска для увеличения скорости поиска и его точности на основе поддерживаемой истории поиска на основе области ROI так, как было показано при описании элементов 720 и 722 на фиг.7. Шаг 808 может включать использование схемой 118 поиска изображений анализа 816 истории поиска для уточнения набора полученных в результате возможных изображений для формирования конечного набора полученных в результате изображений, предоставляемого пользователю так, как было показано при описании элементов 724 и 726 на фиг.7. Шаг 810 может включать просмотр пользователем идентифицированных полученных в результате изображений и предоставление обратной связи. Схема 118 поиска изображений может определять предоставленную обратную связь и обновлять поддерживаемую историю поиска на основе области ROI на основе предоставленной на шаге 818 обратной связи. Дополнительно или альтернативно, шаг 818 может включать обновление схемой 118 поиска изображений поддерживаемой истории поиска на основе области ROI для включения любых шаблонов выбора целевой области ROI и/или взаимосвязей между целевыми областями ROI и идентифицированными полученными в результате изображениями. Процесс поиска изображения может завершаться на шаге 812.

[0076] На фиг.9 представлена блок-схема в соответствии с примером способа обеспечения поиска изображения по содержимому в соответствии с примером осуществления изобретения. Операции, представленные на фиг.9, могут выполняться, например, схемой 118 поиска изображений и/или под ее управлением. Шаг 900 может включать определение выбранного целевого изображения. Шаг 910 может включать формирование набора возможных областей ROI, включающего одну или более областей ROI внутри целевого изображения. Шаг 920 может включать определение набора рекомендованных областей ROI, включающего одну или более рекомендованных областей ROI, выбранных из набора возможных областей ROI. Рекомендованные области ROI могут быть определены по меньшей мере частично на основе анализа поддерживаемой истории поиска на основе области ROI. Шаг 930 может включать предоставление набора рекомендованных областей ROI для обеспечения выбора пользователем одной или более целевых областей ROI в качестве критериев запроса. Шаг 940 может включать определение выбора одной или более целевых областей ROI. Шаг 950 может включать построение критериев запроса, включающих выбранных целевые области ROI. Шаг 960 может включать поиск по меньшей мере в части библиотеки изображений для идентификации любых полученных в результате изображений, соответствующих критериям запроса. Шаг 970 может включать предоставление полученных в результате изображений пользователю для их просмотра. Хотя фиг.9 описана в отношении выбора целевых областей ROI лишь в одном целевом изображении, варианты осуществления изобретения, как было указано выше, позволяют осуществлять выбор целевых областей ROI из множества целевых изображений для создания более полных критериев запроса в случаях, когда целевое изображение не включает все области ROI, которые пользователь хотел бы видеть в полученном в результате изображении.

[0077] На фиг.10 представлена блок-схема в соответствии с примером способа определения обратной связи на уровне области интереса в соответствии с примером осуществления изобретения. Операции, представленные на фиг.10, могут выполняться, например, схемой 118 поиска изображений и/или под ее управлением. Шаг 1000 может включать предоставление идентифицированного полученного в результате изображения пользователю. Шаг 1010 может включать определение обратной связи на уровне области ROI идентифицированному полученному в результате изображению. Шаг 1020 может включать обновление поддерживаемой истории поиска на основе области ROI для включения информации об определенной обратной связи.

[0078] На фиг.4 и 8-10 показаны блок-схемы системы, способа и компьютерного программного продукта в соответствии с примерами осуществления изобретения. Необходимо понимать, что каждый блок в блок-схеме и комбинация блоков в блок-схеме может быть реализован(реализована) различными средствами, такими как аппаратное обеспечение и/или компьютерный программный продукт, включающий один или более машиночитаемых носителей, на котором хранятся машиночитаемые программные инструкции. Например, одна или более описанных процедур могут быть выполнены с помощью компьютерных программных инструкций компьютерного программного продукта. В связи с этим компьютерный(компьютерные) программный(программные) продукт(продукты), который(которые) включает(включают) описанные процедуры, может(могут) храниться на одном или более запоминающих устройствах мобильного терминала, сервера или другого вычислительного устройства и исполняться процессором вычислительного устройства. В некоторых вариантах осуществления изобретения инструкции компьютерной программы, включающие компьютерный(компьютерные) программный(программные) продукт(продукты), который(которые) осуществляет(осуществляют) описанные выше процедуры, могут храниться в запоминающих устройствах множества вычислительных устройств. Необходимо понимать, что любой такой компьютерный программный продукт может быть загружен в компьютер или другое программируемое устройство для получения такого механизма, что компьютерный программный продукт, включающий инструкции, исполняемые на компьютере или другом устройстве, создаст средства для реализации функций, заданных в блоке(блоках) блок-схемы. Кроме того, компьютерный программный продукт может включать одно или более машиночитаемых устройств памяти, в которых могут храниться компьютерные программные инструкции, так что одно или более машиночитаемых устройств памяти могут направлять компьютер или другое программируемое устройство для предоставления конкретных функций, так чтобы компьютерный программный продукт включал изделие, которое реализовывает функции, заданные в блоке(блоках) блок-схемы. Компьютерные программные инструкции одного или более компьютерных программных продуктов могут также загружаться в компьютер или другое программируемое устройство (например, устройство 102 поиска изображений) для инициирования выполнения последовательности операций на компьютере или другом программируемом устройстве для образования процесса, реализуемого компьютером, так чтобы инструкции, которые выполняются на компьютере или другом программируемом устройстве, реализовывали функции, заданные в блоке(блоках) блок-схемы.

[0079] Соответственно, блоки блок-схемы поддерживают комбинации средств для выполнения конкретных функций. Необходимо также понимать, что один или более блоков блок-схемы и комбинации блоков блок-схемы могут быть реализованы компьютерными системами на основе специализированного аппаратного обеспечения, которые выполняют указанные функции, или комбинациями специализированного аппаратного обеспечения или компьютерного(компьютерных) программного(программных) продукта(продуктов).

[0080] Описанные выше функции могут быть выполнены множеством способов. Например, любое подходящее средство для выполнения любой функции, описанной выше, может быть использовано для реализации вариантов осуществления изобретения. В одном из вариантов осуществления изобретения соответствующим образом сконфигурированный процессор может обеспечить все элементы изобретения или их часть. В другом варианте осуществления изобретения все элементы изобретения или их часть могут быть сконфигурированы посредством компьютерного программного продукта и могут работать под его управлением. Компьютерный программный продукт для выполнения способов согласно вариантам осуществления изобретения включает машиночитаемый носитель, такой как энергонезависимый носитель памяти, и машиночитаемые части программного кода, такие как блоки компьютерных инструкций, которые хранятся на машиночитаемом носителе данных.

[0081] В этом случае некоторые варианты осуществления изобретения обеспечивают несколько преимуществ для вычислительных устройств и пользователей этих устройств. Варианты осуществления изобретения предоставляют автоматически сформированные рекомендованные области интереса (ROI) внутри выбранного целевого изображения. Рекомендованные области ROI дают возможность пользователю более удобным и быстрым способом выбирать одну или более областей ROI внутри целевого изображения для указания их в качестве критериев поиска для осуществления поиска соответствующих изображений. Кроме того, использование автоматически рекомендованных областей ROI может увеличить скорость поиска и точность его результатов. Некоторые варианты осуществления дают возможность пользователям выбирать множество областей ROI в множестве различных целевых изображений в качестве критериев запроса для поиска одного изображения. Такие варианты осуществления изобретения дают возможность пользователю более полно строить критерии запроса и обеспечивают формирование более точного набора результатов поиска в случаях, когда ни одно из целевых изображений не включает все элементы области ROI, которые пользователь хотел быть видеть в найденном изображении.

[0082] Некоторые варианты осуществления изобретения предоставляют функцию анализа истории поиска на основе области ROI, сконфигурированную для изучения шаблонов пользовательского ввода и определения обратной связи по результатам поиска для соответствия требованиям пользователей и улучшения результатов поиска. Функция истории поиска на основе области ROI используется в таких вариантах осуществления изобретения для улучшения рекомендаций областей ROI и/или результатов поиска. Некоторые варианты осуществления изобретения определяют более значимую обратную связь, чем простое определение, соответствует ли полученное в результате изображение критериям запроса, что может улучшить функцию анализа истории поиска. В связи с этим некоторые варианты осуществления изобретения определяют обратную связь на уровне области ROI, так что обратная связь может определяться в соответствии с тем, соответствует ли полученное в результате изображение каждой конкретной целевой области ROI, выбранной в качестве элемента критериев запроса. Такая обратная связь может использоваться в последующих процессах поиска для улучшения результатов поиска.

[0083] Множество модификаций или других вариантов осуществления настоящего изобретения могут быть очевидны специалистам в области техники, к которой относится данное изобретение, при этом оно имеет приоритет принципов, представленных в данном описании и на соответствующих чертежах. Таким образом, следует понимать, что настоящее изобретение не ограничено конкретными описанными вариантами его осуществления и что модификации и другие варианты его осуществления находятся в рамках приложенной формулы изобретения. Более того, несмотря на то, что в предшествующем описании и на соответствующих чертежах представлены примеры осуществления настоящего изобретения в контексте конкретных примеров комбинаций элементов и/или функций, следует понимать, что в альтернативных вариантах осуществления изобретения могут быть обеспечены другие комбинации элементов и/или функций в пределах сущности приложенной формулы изобретения. В связи с этим например, различные комбинации элементов и/или функций, отличных от явно описанных выше, также могут быть заявлены в некоторых из пунктов формулы изобретения. Несмотря на использование в настоящем документе конкретных терминов они использованы исключительно в общем смысле для описания, а не для ограничения изобретения.

Изобретение относится к области поиска изображения по содержимому. Техническим результатом является увеличение скорости поиска и точность результатов поиска. Способ поиска изображения по содержимому включает определение выбранного целевого изображения, формирование набора возможных областей интереса, включающего одну или более областей интереса внутри целевого изображения, определение набора рекомендованных областей интереса, включающего одну или более рекомендованных областей интереса, выбранных из набора возможных областей интереса по меньшей мере частично на основе критериев оценивания. Критерии оценивания определяются по меньшей мере частично на основе анализа поддерживаемой истории поиска на основе области интереса. Способ также включает предоставление набора рекомендованных областей интереса для выбора пользователем одной или более целевых областей интереса из набора рекомендованных областей интереса в качестве критериев запроса в библиотеке изображений одного или более полученных в результате изображений. 4 н. и 22 з.п. ф-лы, 18 ил.

1. Способ поиска изображения по содержимому, включающий:
определение выбранного целевого изображения;
формирование набора возможных областей интереса, включающего одну или более областей интереса внутри целевого изображения;
определение набора рекомендованных областей интереса, включающего одну или более рекомендованных областей интереса, выбранных из набора возможных областей интереса по меньшей мере частично на основе критериев оценивания, определяемых по меньшей мере частично на основе анализа поддерживаемой истории поиска на основе области интереса, и
предоставление набора рекомендованных областей интереса для выбора пользователем одной или более целевых областей интереса из набора рекомендованных областей интереса в качестве критериев запроса для поиска в библиотеке изображений одного или более полученных в результате изображений.

2. Способ по п.1, в котором определение набора рекомендованных областей интереса включает:
вычисление оценки рекомендации для каждой возможной области интереса в наборе возможных областей интереса с использованием критериев оценивания и
определение одной или более рекомендованных областей интереса из набора возможных областей интереса по меньшей мере частично на основе вычисленных оценок рекомендации.

3. Способ по п.1 или 2, в котором поддерживаемая история поиска на основе области интереса включает историю одного или более из следующего:
ранее рекомендованных областей интереса;
областей интереса, ранее выбранных в качестве целевых областей интереса;
исторических взаимосвязей между целевыми областями интереса, выбранными в качестве критериев запроса, и соответствующими полученными в результате поиска изображениями или
обратной связи по предыдущим полученным в результате поиска изображениям, указывающим на соответствие между полученными в результате поиска изображениями и соответствующими критериями запроса, используемыми для идентификации полученных в результате поиска изображений.

4. Способ по п.1 или 2, также включающий:
определение выбора одной или более целевых областей интереса внутри выбранного целевого изображения в качестве критериев запроса;
поиск по меньшей мере в части библиотеки изображений для идентификации полученного в результате изображения, соответствующего упомянутым критериям запроса;
предоставление идентифицированного полученного в результате изображения пользователю;
определение обратной связи по идентифицированному полученному в результате изображению, при этом обратная связь включает указание на то, соответствует ли идентифицированное полученное в результате изображение выбранной целевой области интереса, и
обновление истории поиска на основе области интереса для включения информации об упомянутой обратной связи.

5. Способ по п.4, также включающий обновление истории поиска на основе области интереса для включения одного или более из следующего:
информации об идентифицированном полученном в результате изображении и выбранных одной или более целевых областях интереса или
информации о взаимосвязи между идентифицированным полученным в результате изображением и выбранными одной или более целевыми областями интереса.

6. Способ по п.4, в котором поиск по меньшей мере в части библиотеки изображений включает поиск по меньшей мере в части библиотеки изображений для идентификации множества полученных в результате изображений, соответствующих критериям запроса, при этом способ также включает
фильтрацию множества полученных в результате изображений по меньшей мере частично на основе поддерживаемой истории поиска на основе области интереса посредством отбрасывания полученных в результате изображений, о которых известно из поддерживаемой истории поиска на основе области интереса, что они не соответствуют выбранной целевой области интереса.

7. Способ по п.4, в котором поиск по меньшей мере в части библиотеки изображений включает:
определение класса области интереса для выбранной целевой области интереса;
анализ поддерживаемой истории поиска на основе области интереса для определения изображений в библиотеке изображений, о которых известно, что они включают область интереса, имеющую определенный класс области интереса, и
поиск определенных изображений для идентификации полученного в результате изображения, соответствующего критериям запроса.

8. Способ по п.4, также включающий:
определение второго целевого изображения и
определение, перед поиском по меньшей мере в части библиотеки изображения, выбора одной или более целевых областей интереса внутри второго выбранного целевого изображения, при этом критерии запроса также включают одну или более целевых областей интереса, выбранных из второго выбранного целевого изображения.

9. Устройство для поиска изображения по содержимому, включающее по меньшей мере один процессор и по меньшей мере одну память, в которой хранится компьютерный программный код, при этом по меньшей мере одна память и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством по меньшей мере следующего:
определения выбранного целевого изображения;
формирования набора возможных областей интереса, включающего одну или более областей интереса внутри целевого изображения;
определения набора рекомендованных областей интереса, включающего одну или более рекомендованных областей интереса, выбранных из набора возможных областей интереса по меньшей мере частично на основе критериев оценивания, определяемых по меньшей мере частично на основе анализа поддерживаемой истории поиска на основе области интереса, и
предоставления набора рекомендованных областей интереса для выбора пользователем одной или более целевых областей интереса из набора рекомендованных областей интереса в качестве критериев запроса для поиска в библиотеке изображений одного или более полученных в результате изображений.

10. Устройство по п.9, в котором по меньшей мере одна память и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством определения набора рекомендованных областей интереса по меньшей мере частично посредством
вычисления оценки рекомендации для каждой возможной области интереса в наборе возможных областей интереса с использованием критериев оценивания и
определения одной или более рекомендованных областей интереса из набора возможных областей интереса по меньшей мере частично на основе вычисленных оценок рекомендации.

11. Устройство по п.9 или 10, в котором поддерживаемая история поиска на основе области интереса включает историю одного или более из следующего:
ранее рекомендованных областей интереса;
областей интереса, ранее выбранных в качестве целевых областей интереса;
исторических взаимосвязей между целевыми областями интереса, выбранными в качестве критериев запроса, и соответствующими полученными в результате поиска изображениями или
обратной связи по предыдущим полученным в результате поиска изображениям, указывающим на соответствие между полученными в результате поиска изображениями и соответствующими критериями запроса, используемыми для идентификации полученных в результате поиска изображений.

12. Устройство по п.9 или 10, в котором по меньшей мере одна память и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством
определения выбора одной или более целевых областей интереса внутри выбранного целевого изображения в качестве критериев запроса;
поиска по меньшей мере в части библиотеки изображений для идентификации полученного в результате изображения, соответствующего упомянутым критериям запроса;
предоставления идентифицированного полученного в результате изображения пользователю;
определения обратной связи по идентифицированному полученному в результате изображению, при этом обратная связь включает указание на то, соответствует ли идентифицированное полученное в результате изображение выбранной целевой области интереса, и
обновления истории поиска на основе области интереса для включения информации об упомянутой обратной связи.

13. Устройство по п.12, в котором по меньшей мере одна память и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством обновления истории поиска на основе области интереса для включения одного или более из следующего:
информации об идентифицированном полученном в результате изображении и выбранных одной или более целевых областях интереса или
информации о взаимосвязи между идентифицированным полученным в результате изображением и выбранными одной или более целевыми областями интереса.

14. Устройство по п.12, в котором по меньшей мере одна память и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством поиска по меньшей мере в части библиотеки изображений посредством поиска по меньшей мере в части библиотеки изображений для идентификации множества полученных в результате изображений, соответствующих критериям запроса, а также сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством
фильтрации множества полученных в результате изображений по меньшей мере частично на основе поддерживаемой истории поиска на основе области интереса посредством отбрасывания полученных в результате изображений, о которых известно из поддерживаемой истории поиска на основе области интереса, что они не соответствуют выбранной целевой области интереса.

15. Устройство по п.12, в котором по меньшей мере одна память и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством поиска по меньшей мере в части библиотеки изображений по меньшей мере частично посредством
определения класса области интереса для выбранной целевой области интереса;
анализа поддерживаемой истории поиска на основе области интереса для определения изображений в библиотеке изображений, о которых известно, что они включают область интереса, имеющую определенный класс области интереса, и
поиска определенных изображений для идентификации полученного в результате изображения, соответствующего упомянутым критериям запроса.

16. Устройство по п.12, в котором по меньшей мере одна память и хранимый компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора обеспечивать выполнение устройством
определения второго выбранного целевого изображения и
определения, перед поиском по меньшей мере в части библиотеки изображений, выбора одной или более целевых областей интереса внутри второго выбранного целевого изображения, при этом критерии запроса также включают одну или более областей интереса, выбранных из второго выбранного целевого изображения.

17. Устройство по п.9 или 10, в котором устройство включает мобильный телефон или реализовано в мобильном телефоне, при этом мобильный телефон включает схему пользовательского интерфейса и программное обеспечение пользовательского интерфейса, которое хранится на одном или более модулях памяти, причем схема пользовательского интерфейса и программное обеспечение пользовательского интерфейса сконфигурированы для
обеспечения пользовательского управления по меньшей мере некоторыми функциями мобильного телефона посредством использования дисплея и
инициирования отображения по меньшей мере части пользовательского интерфейса мобильного телефона на дисплее для обеспечения пользовательского управления по меньшей мере некоторыми функциями мобильного телефона.

18. Машиночитаемый носитель, на котором хранятся машиночитаемые программные инструкции, включающие инструкции для выполнения способа по любому из пп.1-9 при их исполнении устройством обработки данных.

19. Устройство для поиска изображения по содержимому, включающее:
средства для определения выбранного целевого изображения;
средства для формирования набора возможных областей интереса, включающего одну или более областей интереса внутри целевого изображения;
средства для определения набора рекомендованных областей интереса, включающего одну или более рекомендованных областей интереса, выбранных из набора возможных областей интереса по меньшей мере частично на основе критериев оценивания, определяемых по меньшей мере частично на основе анализа поддерживаемой истории поиска на основе области интереса, и
средства для предоставления набора рекомендованных областей интереса для выбора пользователем одной или более целевых областей интереса из набора рекомендованных областей интереса в качестве критериев запроса для поиска в библиотеке изображений одного или более полученных в результате изображений.

20. Устройство по п.19, в котором средства для определения набора рекомендованных областей интереса включают:
средства для вычисления оценки рекомендации для каждой возможной области интереса в наборе возможных областей интереса с использованием критериев оценивания и
средства для определения одной или более рекомендованных областей интереса из набора возможных областей интереса по меньшей мере частично на основе вычисленных оценок рекомендации.

21. Устройство по п.19 или 20, в котором поддерживаемая история поиска на основе области интереса включает историю одного или более из следующего:
ранее рекомендованных областей интереса;
областей интереса, ранее выбранных в качестве целевых областей интереса;
исторических взаимосвязей между целевыми областями интереса, выбранными в качестве критериев запроса, и соответствующими полученными в результате поиска изображениями или
обратной связи по предыдущим полученным в результате поиска изображениям, указывающей на соответствие между полученными в результате поиска изображениями и соответствующими критериями запроса, используемыми для идентификации полученных в результате поиска изображений.

22. Устройство по п.19 или 20, также включающее:
средства для определения выбора одной или более целевых областей интереса внутри выбранного целевого изображения в качестве критериев запроса;
средства для поиска по меньшей мере в части библиотеки изображений для идентификации полученного в результате изображения, соответствующего критериям запроса;
средства для предоставления идентифицированного полученного в результате изображения пользователю;
средства для определения обратной связи по идентифицированному полученному в результате изображению, при этом обратная связь включает указание на то, соответствует ли идентифицированное полученное в результате изображение выбранной целевой области интереса, и
средства для обновления истории поиска на основе области интереса для включения информации об упомянутой обратной связи.

23. Устройство по п.22, также включающее средства для обновления истории поиска на основе области интереса для включения одного или более из следующего:
информации об идентифицированном полученном в результате изображении и выбранных одной или более целевых областях интереса или
информации о взаимосвязи между идентифицированным полученным в результате изображением и выбранными одной или более целевыми областями интереса.

24. Устройство по п.22, в котором средства для поиска по меньшей мере в части библиотеки изображений включают средства для поиска по меньшей мере в части библиотеки изображений для идентификации множества полученных в результате изображений, соответствующих упомянутым критериям запроса, при этом устройство также включает
средства для фильтрации множества полученных в результате изображений по меньшей мере частично на основе поддерживаемой истории поиска на основе области интереса посредством отбрасывания полученных в результате изображений, о которых известно из поддерживаемой истории поиска на основе области интереса, что они не соответствуют выбранной целевой области интереса.

25. Устройство по п.22, в котором средства для поиска по меньшей мере в части библиотеки изображений включают:
средства для определения класса области интереса для выбранной целевой области интереса;
средства для анализа поддерживаемой истории поиска на основе области интереса для определения изображений в библиотеке изображений, о которых известно, что они включают область интереса, имеющую определенный класс области интереса, и
средства для поиска определенных изображений для идентификации полученного в результате изображения, соответствующего упомянутым критериям запроса.

26. Устройство по п.22, также включающее:
средства для определения второго выбранного целевого изображения и
средства для определения, перед поиском по меньшей мере в части библиотеки изображения выбора одной или более целевых областей интереса внутри второго выбранного целевого изображения, при этом критерии запроса также включают одну или более целевых областей интереса, выбранных из второго выбранного целевого изображения.