УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЯ И СПОСОБ ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ Российский патент 2011 года по МПК G06K15/00 G06F17/30 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству, включающему в себя устройство дисплея, имеющему относительно большой экран дисплея, например такому как цифровая фотокамера, позволяющему отображать различные изображения, и к способу и программе, используемым с этим устройством.

Уровень техники

Цифровые фотокамеры, которые записывают снятые изображения на носитель записи, как цифровые данные получили широкое распространение. В последние годы произошел значительный прогресс в уменьшении размера встроенного запоминающего устройства типа флэш или съемной памяти, используемых в цифровых фотокамерах, а также емкость запоминающих устройств стала большой таким образом, что большое количество данных изображения может быть сохранено в таких запоминающих устройствах.

Кроме того, в цифровых фотокамерах количество снятых изображений, которые могут быть сохранены в них, увеличивается из года в год, и данные изображения в слишком большом количестве, чтобы ими можно было распоряжаться, используя голову пользователя, часто сохраняют во встроенных запоминающих устройствах типа флэш или на съемных запоминающих устройствах.

Поэтому были разработаны цифровые фотокамеры, в которых пользователь добавляет ключевое слово к данным изображения, в результате чего может быть выполнен поиск, используя ключевое слово. Например, различные типы информации, такие как место, где было снято изображение, имена людей на изображении и т.д., добавляют как ключевые слова к данным изображения, полученным в результате съемки изображения.

Кроме того, в случае поиска данных изображения с требуемым изображением среди множества данных изображения, используя ключевое слово, добавленное к данным изображения, пользователь устанавливает (определяет) ключ поиска (условие поиска) для выполнения обработки поиска. Например, ключ поиска устанавливают путем выбора соответствующего одного из ключей поиска, представленных заранее, или тому подобное, или ввод текстовых данных принимают от пользователя и устанавливают их как ключ поиска. В дальнейшем обработку поиска выполняют, используя ключ поиска, установленный таким образом, в результате чего данные изображения, имеющие этот ключ поиска, могут быть сужены. Таким образом, ключевое слово добавляют к данным изображения, обеспечивая таким образом возможность поиска данных изображения, используя их ключевое слово, что позволяет гибко выполнять поиск данных изображения.

Кроме того, в том, что касается поиска изображения, используя ключевое слово, различные улучшения были выполнены и, например, в Публикации №2005-354134 находящейся на экспертизе заявки на японский патент и в Публикации №2008-165424, находящейся на экспертизе заявки на японский патент, раскрыт быстрый и надежный поиск требуемого изображения.

Сущность изобретения

В частности, в случае детектирования данных изображения, имеющих информацию, сопоставленную с ключом поиска (условие поиска), результаты поиска отображают в формате списка таким образом, что во многих случаях его результаты можно соответствующим образом распознавать. Однако в случае расширения диапазона поиска на данные изображения, относящиеся к ключу поиска (условие поиска), становится трудным визуально быстро распознать степень ассоциации с условием поиска в отношении результатов поиска только путем размещения в виде массива и отображения результатов его поиска в плоской мозаичной форме.

Таким образом желательно предоставлять результаты поиска изображений также для распознавания взаимосвязи с ключом поиска (условием поиска).

В соответствии с вариантом выполнения настоящего изобретения, устройство обработки изображения включает в себя устройство дисплея; модуль сохранения, выполненный с возможностью сохранения множества данных изображения, имеющих информацию, соответствующую ключу поиска; модуль указания ключа поиска, выполненный с возможностью указания ключа поиска, используемого для поиска изображения; модуль поиска, выполненный с возможностью поиска и выделения данных изображения, имеющих информацию, относящуюся к ключу поиска, указанному модулем указания ключа поиска, из модуля сохранения; и модуль управления отображением, выполненный с возможностью управления изображением, соответствующим данным изображения, выделенным модулем поиска, для отображения в положении, соответствующем степени ассоциации с ключом поиска на экране дисплея устройства дисплея.

В соответствии с описанной выше конфигурацией, ключ поиска, используемый для поиска изображения, определяют через модуль указания ключа поиска. Среди данных изображения, имеющих информацию, относящуюся к этому указанному ключу поиска, выполняют поиск и их выделяют из модуля сохранения для сохранения множества данных изображения с помощью модуля поиска.

Затем изображение, соответствующее найденным и выделенным данным изображения, отображают на экране дисплея устройства дисплея с помощью модуля управления отображением. В этом случае изображение, соответствующее данным изображения, полученным как результат поиска, отображают в положении на экране дисплея, соответствующем степени ассоциации с ключом поиска, с помощью модуля управления отображением.

Таким образом, результаты поиска изображения могут быть предоставлены пользователю также для распознавания взаимосвязи с ключом поиска (условие поиска).

В соответствии с описанной выше конфигурацией, результаты поиска изображения могут быть представлены пользователю также для распознавания взаимосвязи с ключом поиска (условием поиска).

Краткое описание чертежей

На фиг.1 показана блок-схема, предназначенная для описания примера конфигурации устройства формирования изображения, в котором применяется вариант выполнения устройства, способа и программы настоящего изобретения;

на фиг.2 показана схема, предназначенная для описания примера компоновки файла изображения, предназначенного для записи на носителе записи устройства формирования изображения;

на фиг.3 показана схема, предназначенная для описания примера компоновки папки изображения, сформированной на носителе записи устройства формирования изображения;

на фиг.4 показана схема, предназначенная для описания таблицы информации кандидата ключа поиска, заранее сформированной на носителе записи устройства формирования изображения, или в EEPROM (ЭСППЗУ, электрически стираемое программируемое постоянное запоминающее устройство) или тому подобное;

на фиг.5А и 5В показаны схемы, предназначенные для описания обработки, предназначенной для выбора ключа поиска, используемого для поиска изображения среди информации кандидата ключа поиска, зарегистрированной в таблице информации кандидата ключа поиска;

на фиг.6А и 6В показаны схемы, предназначенные для описания обработки, предназначенной для выбора ключа поиска, используемого для поиска изображения среди информации кандидата ключа поиска, зарегистрированной в таблице информации кандидата ключа поиска,

на фиг.7А и 7В показаны схемы, предназначенные для описания обработки, предназначенной для выбора ключа поиска, используемого для поиска изображения среди информации кандидата ключа поиска, зарегистрированной в таблице информации кандидата ключа поиска;

на фиг.8 показана схема, предназначенная для описания примера конфигурации словаря степени ассоциации ключа поиска;

на фиг.9 показана схема, предназначенная для описания информации, которая может стать ключом поиска для поиска изображения среди информации анализа изображения;

на фиг.10 показана схема, предназначенная для описания режима (1) отображения результатов поиска в случае, когда поиск изображения выполняют от состояния, в котором выбран один ключ поиска (буквенная информация);

на фиг.11 показана блок-схема последовательности операций, предназначенная для описания обработки времени поиска изображения, выполняемого в устройстве формирования изображения;

на фиг.12 показана блок-схема последовательности операций - продолжение фиг.11;

на фиг.13 показана схема, предназначенная для описания режима (2) отображения результатов поиска в случае, когда поиск изображения выполняют из состояния, в котором выбран один ключ поиска (буквенная информация);

на фиг.14 показана блок-схема последовательности операций, предназначенная для описания обработки в случае отображения результатов поиска изображения в режиме (2) отображения, описанном со ссылкой на фиг.13;

на фиг.15 показана схема, предназначенная для описания режима (3) отображения результатов поиска в случае, когда поиск изображения выполняют из состояния, в котором выбраны два ключа поиска (буквенная информация);

на фиг.16 показана схема, предназначенная для описания таблицы (1) определения положения отображения, предназначенной для определения области отображения миниатюрных изображений;

на фиг.17 показана схема, предназначенная для описания режима (4) отображения результатов поиска в случае, когда поиск изображения выполняется из состояния, в котором выбраны два ключа поиска (буквенная информация);

на фиг.18 показана схема, предназначенная для описания таблицы (2) определения положения отображения, предназначенной для определения области отображения миниатюрных изображений;

на фиг.19 показана схема, предназначенная для описания режима (5) отображения результатов поиска в случае, когда поиск изображения выполняется из состояния, в котором выбирают два ключа поиска (буквенная информация);

на фиг.20 показана блок-схема последовательности операций, предназначенная для описания обработки в случае отображения результатов поиска изображения с режимом (5) отображения, описанным, используя фиг.19;

на фиг.21 показана схема, предназначенная для описания режима (6) отображения результатов поиска в случае, когда поиск изображения выполняется из состояния, в котором выбирают два ключа поиска (буквенная информация);

на фиг.22 показана блок-схема последовательности операций для описания обработки в случае отображения результатов поиска изображения с режимом (6) отображения, описанным, используя фиг.21;

на фиг.23 показана схема для описания случая, в котором поиск изображения выполняют, используя изображение как ключ поиска;

на фиг.24 показана схема, предназначенная для описания операции для определения результатов поиска;

на фиг.25А-25С показаны схемы для описания случая, когда диапазон результатов поиска изображения, которые должны быть сохранены в папке, изменяют в соответствии с наклоном устройства формирования изображения, которое наклоняет пользователь; и

на фиг.26 показана блок-схема последовательности операций, предназначенная для описания обработки в случае, когда диапазон результатов поиска изображения, которые должны быть сохранены в папке, изменяется в соответствии с наклоном устройства формирования изображения, которое наклоняет пользователь, как было описано со ссылкой на фиг.25А-25С.

Подробное описание изобретения

Вариант выполнения устройства, способа и программы будет описан ниже со ссылкой на чертежи.

Пример конфигурации устройства формирования изображения

На фиг.1 показана блок-схема, предназначенная для описания примера конфигурации устройства 100 формирования изображения, в котором применяется вариант выполнения устройства, способ и программа в соответствии с настоящим изобретением. Устройство 100 формирования изображения переключает режимы съемки, в результате чего как неподвижные, так и движущиеся изображения можно снимать и записывать на носителе записи. Однако в варианте выполнения, описанном ниже, конфигурация и работа устройства 100 формирования изображения будут описаны для случая, когда в устройстве 100 формирования изображения используют функцию цифровой фотокамеры для съемки, в основном, неподвижного изображения в качестве примера для упрощения пояснения.

Как показано на фиг.1, устройство 100 формирования изображения включает в себя модуль 101 объектива, устройство 102 формирования изображения, модуль 103 предварительной обработки, модуль 104 обработки изображения, модуль 105 обработки отображения, модуль 106 дисплея, сенсорную панель 107, модуль 109 обработки сжатия, модуль 110 обработки разуплотнения и модуль 111 формирования отображаемого изображения.

Кроме того, устройство 100 формирования изображения включает в себя модуль 120 управления, модуль 131 операций, внешний интерфейс (ниже сокращенно обозначается как внешний интерфейс) 132, разъем 133 ввода/вывода, модуль 134 записи/считывания и носитель 135 записи. Кроме того, устройство 100 формирования изображения включает в себя сенсорную панель на верхнем участке 136 набора, датчик 137 движения, модуль 138 приема GPS (ГСН, глобальная система навигации), антенну 139 приема ГСН и схему 140 часов.

В устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения модуль 106 дисплея состоит из так называемого тонкого устройства дисплея, например такого как LCD (ЖКД, жидкокристаллический дисплей), панель органической EL (панель органической электролюминесценции (ЭЛ)) или тому подобное. Хотя это описано ниже, сенсорная панель 107 наклеена на всей поверхности экрана дисплея модуля 106 дисплея для формирования поверхности операций.

Сенсорная панель 107 принимает операцию указания (операцию контакта) на поверхности операций от пользователя (оператора), детектирует указанное положение (положение прикосновения) на поверхности операций сенсорной панели 107 и уведомляет модуль 120 управления о данных координат, обозначающих его указанное положение.

Модуль 120 управления управляет каждым модулем устройства 100 формирования изображения, как описано ниже, и также распознает, какого рода отображение выполняют на экране дисплея модуля 106 дисплея. Модуль 120 управления может принимать операцию указания (операцию ввода) от пользователя на основе данных координат, обозначающих указанное положение на поверхности операций от сенсорной панели 107, и отображать информацию на экране дисплея модуля 106 дисплея, соответствующую его указанному положению.

Например, допустим, что пользователь вводит палец или стилус или тому подобное в контакт с некоторым положением на поверхности операций сенсорной панели 107. В этом случае когда номер отображается в этом положении на экране дисплея, соответствующем (согласованном с) его положению контакта, модуль 120 управления может определить, что пользователь выбрал и ввел это отображаемое число.

Таким образом, в устройстве 100 формирования изображения модуль 106 дисплея и сенсорная панель 107 составляют сенсорный экран 108, используемый как устройство ввода. Следует отметить, что сенсорная панель 107 реализована, например, на основе панели типа чувствительного к давлению или электростатического типа.

Кроме того, сенсорная панель 107 может детектировать каждую из операций, скомпонованных для выполнения на множестве участков на поверхности операций одновременно для вывода данных координат, обозначающих каждое из положений контакта. Кроме того, сенсорная панель 107 также может детектировать каждую из операций указания, скомпонованных для выполнения на поверхности операций с повторением для вывода данных координат, обозначающих каждое из положений контакта.

Далее сенсорная панель 107 также может детектировать положения контакта непрерывно в заданные моменты времени для вывода данных координат, обозначающих его, в то время как палец или стилус удерживаются в контакте пользователем.

Таким образом, сенсорная панель 107 может принимать различные операции указаний (входные операции) от пользователя, такие как, так называемая операция постукивания, операция двойного постукивания, операция перетягивания, операция быстрого перемещения, операция сведения пальцев и т.п. для их детектирования.

Здесь операция постукивания представляет собой движение (операцию) для указания на поверхность операций только один раз пальцем или стилусом пользователя, такое как "тук". Операция двойного постукивания представляет собой движение для указания на поверхность операций непрерывно дважды, такое как "тук, тук".

Кроме того, операция перетягивания представляет собой движение, состоящее в перемещении пальца пользователя или стилуса, находящегося в контакте с поверхностью операций. Операция быстрого перемещения представляет собой движение указания на одну точку поверхности операций пальцем пользователя или стилусом, с последующим быстрым перемещением его в произвольном направлении.

Операция сведения пальцев представляет собой операцию установки контакта двух пальцев пользователя с поверхностью операций одновременно с последующим раскрытием или сведением этих двух пальцев или тому подобное. В этом случае операция раскрытия этих двух пальцев, находящихся в контакте или тому подобное, называется операцией разведения пальцев, или операция сведения двух пальцев или тому подобное называется операцией сведения пальцев.

Хотя операция перетягивания и операция быстрого перемещения отличаются скоростью выполнения операций, операция перетягивания и операция перемещения представляют собой операции, состоящие в установке пальца пользователя или тому подобное в контакт с поверхностью операций, с последующим перемещением его по поверхности операций (операция отслеживания перемещения по поверхности операций), и представляют собой операции, позволяющие распознавать такие два типа информации, как расстояние перемещения и направление движения.

Поэтому в настоящем описании, в случае когда выполняют одну из операции перетягивания и операции быстрого перемещения, в результате чего может быть выполнена одинаковая обработка, термин "операция отслеживания перемещения" используется как общий термин для операции перетягивания и операции быстрого перемещения.

Затем модуль 120 управления соединен с каждым модулем, составляющим устройство 100 формирования изображения, и управляет каждым модулем устройства 100 формирования изображения, как описано выше, и имеет конфигурацию так называемого микрокомпьютера.

Модуль 120 управления выполнен с возможностью подключения к CPU (ЦПУ, центральное процессорное устройство) 121, ROM (ПЗУ, постоянное запоминающее устройство) 122, RAM (ОЗУ, оперативное запоминающее устройство) 123, и ЭСППЗУ (электрически стираемое и программируемое ПЗУ) 124 через шину 125 ЦПУ.

ЦПУ 121 считывает программу, сохраненную в описанном ниже ПЗУ 122, для ее выполнения формирует сигнал управления, передаваемый в каждый модуль, для передачи его в каждый модуль, и принимает данные или тому подобное, предоставляемые из каждого модуля, для их обработки.

В ПЗУ 122 заранее сохраняют и содержат, как описано выше, различные программы, выполняемые ЦПУ 121, различные типы данных для обработки и т.д. ОЗУ 123 преимущественно используется как рабочая область, в которой временно сохраняют результаты в ходе обработки различных типов.

ЭСППЗУ 124 представляет собой так называемое энергонезависимое запоминающее устройство и в нем сохраняют и содержат информацию, которая должна содержаться даже когда выключают питание устройства 100 формирования изображения. Например, различные параметры, установленные пользователем, конечные результаты различных типов обработки, программы обработки или данные, вновь предоставленные для добавления функции или подобное, содержатся в ЭСППЗУ 124.

Модуль 120 управления, сконфигурированный таким образом, соединен, как показано на фиг.1, с модулем 131 операций, внешним интерфейсом 132, модулем 134 записи/считывания, сенсорной панелью на установленном верхнем участке 136, датчиком 137 движения, модулем 138 приема ГСН и схемой 140 часов.

Модуль 131 операций включает в себя кнопки операций, такие как различного типа регулировочные кнопки, функциональные кнопки, кнопка затвора и т.п., и принимает операции ввода пользователя для уведомления модуля 120 управления об этом. Таким образом, модуль 120 управления управляет каждым модулем в соответствии с операцией, введенной пользователем, принятой через модуль 131 операций, в результате чего может быть выполнена обработка в соответствии с введенной операцией.

Внешний интерфейс 132 представляет собой цифровой интерфейс, соответствующий заданному стандарту, например такой как USB (УПШ, универсальная последовательная шина), IEEE (Институт инженеров по электротехнике и радиоэлектронике, Инк.) 1394 или тому подобное.

То есть внешний интерфейс 132 принимает данные из внешнего оборудования, подключенного к разъему 133 ввода/вывода, путем преобразования их в данные в формате, который может быть обработан в устройстве 100 формирования изображения, или выводит данные, выводимые из устройства 100 формирования изображения, путем преобразования их в данные в заданном формате.

Модуль 134 записи/считывания записывает данные на носитель 135 записи в устройстве 100 формирования изображения или считывает данные, записанные на носителе 135 записи, в соответствии с управлением модуля 120 управления.

Носитель 135 записи выполнен съемным с устройства 100 формирования изображения и представляет собой так называемую карту памяти типа съемного запоминающего устройства, выполненную так, что она имеет емкость накопления порядка нескольких гигабайт или больше, и в качестве нее используется, например, полупроводниковое запоминающее устройство,.

Следует отметить, что может быть выполнена компоновка, в которой, например, встроенного типа носитель записи, такой как встроенного типа запоминающее устройство типа флэш или жесткий диск с малыми размерами, или тому подобное, можно использовать в качестве носителя 135 записи, помимо съемного запоминающего устройства типа карты памяти.

Кроме того, может быть выполнена компоновка, в которой другой носитель записи съемного типа, такой как оптический диск, такой как малых размеров DVD (ЦУД, цифровой универсальный диск) или CD (КД, компакт-диск), или тому подобное, можно использовать как носитель 135 записи.

Сенсорная панель на установленном верхнем участке 136 используется для приема ввода указания от пользователя в заданном случае. Такая сенсорная панель 136 также реализована как чувствительная к давлению сенсорная панель или электростатическая панель. Следует отметить, что сенсорная панель на установленном верхнем участке 136 не обязательно выполнена как сенсорная панель и скорее может быть реализована как так называемая аппаратная кнопка.

Датчик 137 движения используется для детектирования движения устройства 100 формирования изображения и, в частности, выполнен как двухосевой или трехосевой датчик ускорения или тому подобное. В случае когда устройство 100 формирования изображения наклонено, датчик 137 движения может детектировать, насколько устройство 100 формирования изображения наклонено и в каком направлении для уведомления об этом модуля 120 управления.

Кроме того, датчик 137 движения может четко детектировать случай, в котором устройство 100 формирования изображения трясут горизонтально, и случай, в котором устройство 100 формирования изображения трясут вертикально, для уведомления об этом модуля 120 управления. Кроме того, например, даже в случае, когда вибрацию прикладывают к устройству 100 формирования изображения, в результате постукивания или тому подобное датчик 137 движения также может детектировать это для уведомления об этом модуля 120 управления.

Модуль 138 приема ГСН принимает заданный сигнал от множества спутников через антенну 139 приема ГСН и анализирует его, в результате чего он может детектировать текущее положение устройства 100 формирования изображения и может передавать уведомление об этом в модуль 120 управления.

В соответствии с функцией модуля 138 приема ГСН устройство 100 формирования изображения получает информацию о текущем положении во время съемки изображения, в результате чего информация о положении (информация ГСН), обозначающая положение снятого изображения, может быть добавлена к данным изображения как метаданные.

Следует отметить, что модуль 138 приема ГСН выполнен таким образом, что он может работать или может прекращать свою работу в соответствии с инструкцией от пользователя, принимаемой через модуль 131 операций.

Схема 140 часов имеет функцию календаря, в результате чего могут быть предоставлены текущая дата, текущий день недели и текущее время, и также функция счетчика времени для измерения заданного интервала времени может быть реализована соответствующим образом

В соответствии с функцией такой схемы 140 часов информация, относящаяся к дате съемки, такая как дата и время съемки, день недели съемки или тому подобное, может быть добавлена к данным изображения съемки. Кроме того, используется функция схемы 140 часов, в соответствии с которой также может быть реализована функция автоспуска по таймеру, которая вызывает автоматическое срабатывание затвора по истечении определенного периода времени, после заданной операции, для обеспечения возможности съемки изображения.

В устройстве 100 формирования изображения по фиг.1 модуль 101 объектива включает в себя, хотя это и не показано на чертеже, объектив формирования изображения (линзы объектива), механизм регулировки экспозиции, механизм регулировки фокусирования, механизм затвора и т.д., и представляет собой участок, который снимает изображение субъекта и формирует изображение на поверхности датчика устройства формирования изображения на последующем этапе.

Устройство 102 формирования изображения выполнено из датчика формирования изображения (устройство формирования изображения), такого как датчик изображения CCD (ПЗС, прибор с зарядовой связью) или CMOS (КМОП, комплементарный металлооксидный полупроводник) или тому подобное. Устройство 102 формирования изображения снимает изображение, которое формируется на поверхности его собственного датчика через модуль 101 объектива в виде электрического сигнала (сигнала изображения).

В устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения устройство 102 формирования изображения включает в себя цветной фильтр на одной пластине для формирования структуры цветов, заранее определенной так, что формируется любой один из сигналов R (красного), G (зеленого) и В (синего) цвета для каждого пикселя.

Затем сигнал изображения, снимаемый через устройство 102 формирования изображения, передают в модуль 103 предварительной обработки на последующем этапе. Модуль 103 предварительной обработки включает в себя схему CDS (КДВ, коррелированной двойной выборки), схему AGC (АРУ, автоматической регулировки усиления), A/D (А/Ц, аналогово/цифровой) преобразователь и т.д., и представляет собой участок, который снимает сигнал изображения из устройства 102 формирования изображения, как цифровые данные.

Сигнал изображения (данные изображения), снятый с помощью модуля 103 предварительной обработки, передают в модуль 104 обработки изображения. Модуль 104 обработки изображения включает в себя схему детектора, схему баланса белого, схему устранения мозаичного изображения, схему преобразования разрешения, другие схемы коррекции изображения и т.д.

В модуле 104 обработки изображения вначале параметры для различных типов обработки регулирования, такие как параметры для регулирования экспозиции, параметры для регулирования фокусирования (точки фокусирования), параметры для регулирования баланса белого и т.д. формируют на основе данных изображения, полученных из схемы 103 предварительной обработки.

Среди параметров, сформированных в модуле 104 обработки изображения, параметры для регулирования экспозиции и параметры для регулирования фокусирования передают в модуль 120 управления. Модуль 120 управления выполняет управление на основе параметров, полученных из модуля 104 обработки изображения механизмом регулирования экспозиции и механизмом регулирования фокусирования модуля 101 объектива, в результате чего регулировки экспозиции или фокусирования могут быть выполнены соответствующим образом.

Затем в модуле 104 обработки изображения выполняют обработку согласования уровня черного или обработку регулирования баланса белого на основе параметров для регулирования баланса белого, сформированных, как описано выше, для данных изображения, полученных из модуля 103 предварительной обработки. В соответствии с такой обработкой регулирования, данные изображения из модуля 103 предварительной обработки регулируют так, чтобы получить изображение, имеющее соответствующий оттенок.

Затем в модуле 104 обработки изображения выполняют обработку устранения мозаичного изображения (одновременная обработка) для генерирования данных RGB (данные трех основных цветов), обработку коррекции диафрагмы, обработку гамма (γ) коррекции или тому подобное таким образом, что данные изображения регулируют так, чтобы они имели соответствующий оттенок.

Затем в модуле 104 обработки изображения выполняют обработку Y/C преобразования для формирования сигнала (Y) яркости и сигналов Сb, Сr цветности из сформированных данных RGB, обработку коррекции хроматической аберрации, обработку преобразования разрешения или тому подобное для формирования сигнала Y яркости и цветовых сигналов Сb, Сr цветности.

Данные изображения (сигнал Y яркости, сигналы Сb, Сr цветности), сформированные в модуле 104 обработки изображения, передают в модуль 105 обработки отображения и преобразуют в сигнал изображения в формате, предназначенном для поставки в модуль 106 дисплея, и их передают в модуль 106 дисплея.

Таким образом, изображение субъекта, снятое через модуль 101 объектива, отображают на экране дисплея модуля 106 дисплея, в результате чего пользователь может снимать изображение целевого субъекта, подтверждая изображение субъекта, отображаемого на экране дисплея модуля 106 дисплея.

Одновременно с этим сигнал Y яркости и сигналы Сb, Сr цветности, формируемые в модуле 104 обработки изображения, также передают в модуль 109 обработки сжатия. После этого в моменты времени, когда нажимают на кнопку затвора модуля 131 операций, модуль 109 обработки сжатия подвергает данные изображения для изображения, предназначенного для отображения на экране дисплея модуля 106 дисплея, сжатию данных в это время и подает их в модуль 120 управления.

Следует отметить, что с помощью модуля 109 обработки сжатия выполняют обработку сжатия данных в соответствии с заданным способом сжатия данных. Что касается способа сжатия данных в случае неподвижного изображения, используют способ JPEG (Объединенная группа экспертов по машинной обработке фотографических изображений), и в случае движущегося изображения используют способ сжатия MPEG (Экспертная группа по вопросам движущегося изображения) или тому подобное. Само собой разумеется, что способ сжатия данных не ограничен ими и вполне можно использовать различные типы сжатия.

Модуль 120 управления управляет модулем 134 записи/считывания для записи данных изображения, подвергнутых сжатию данных из модуля 109 обработки сжатия на носителе 135 записи. Таким образом, в устройстве 100 формирования изображения изображение субъекта может быть снято, и данные изображения, формирующие изображение его субъекта, могут быть записаны на носитель 135 записи.

В устройстве 100 формирования изображения данные изображения, снятые и полученные таким образом, могут быть сохранены на носителе 135 записи для каждой папки, формируемой пользователем, используя подробности, которые будут описаны ниже, и ими можно управлять. Папки могут быть сформированы по объектам, таким как для каждого субъекта или для каждого события, или тому подобное. В устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения папки формируют для каждого события, в хорде которого производили съемку изображений, например такого как первый день в школе, спортивные соревнования, празднование дня рождения или тому подобное. Само собой разумеется, что данные снятого изображения также могут быть перемещены в целевую папку впоследствии.

После этого данные изображения, записанные на носитель 135 записи, располагают таким образом, чтобы их можно было считывать модулем 134 записи/считывания, управляемым модулем 120 управления. Данные формирования изображения, считываемые с носителя 135 записи, передают в модуль 110 обработки разуплотнения через модуль 120 управления.

Модуль 110 обработки разуплотнения подвергает данные изображения, передаваемые в него самого, обработке разуплотнения, в соответствии со способом сжатия данных, используемым во время сжатия данных, для восстановления данных изображения в том виде, в каком они были перед сжатием данных, и передает их в модуль 111 формирования отображаемого изображения.

Модуль 111 формирования отображаемого изображения использует данные изображения из этого модуля 110 обработки разуплотнения, также использует различные типы данных отображения, передаваемых из модуля 120 управления соответствующим образом, для формирования данных изображения, предназначенного для отображения на экране дисплея модуля 106 дисплея, и передает их в модуль 105 обработки отображения.

Модуль 105 обработки отображения преобразует данные изображения, полученные из модуля 111 формирования отображаемого изображения, в сигнал изображения, в формате, пригодном для передачи в модуль 106 дисплея, и передает его в модуль 106 дисплея таким же образом, как и в случае, когда данные изображения из модуля 104 обработки изображения были подвергнуты обработке.

Таким образом, изображение, соответствующее данным изображения, записанным на носителе 135 записи, можно отображать на экране дисплея модуля 106 дисплея. То есть данные изображения целевого изображения, записанного на носитель 135 записи, могут быть воспроизведены.

Таким образом, устройство 100 формирования изображения в соответствии с настоящим вариантом выполнения может снимать изображение субъекта и записывать его на носитель 135 записи. Кроме того, устройство 100 формирования изображения считывает данные изображения, записанные на носителе 135 записи, подвергая их обработке воспроизведения, в результате чего изображение, соответствующее его данным изображения, может отображаться на экране дисплея модуля 106 дисплея.

В устройстве 100 формирования изображения, имеющем описанную выше конфигурацию, как описано ниже, информацию, используемую как кандидат ключа поиска (условие поиска), такой как ключевое слово или тому подобное, добавляют к файлу формирования изображения, записанному на носитель 135 записи, в результате съемки, и поиск данных изображения может быть выполнен соответствующим образом.

Затем устройство 100 формирования изображения не выделяет данные изображения, имеющие информацию, которая должна быть просто согласована с ключом поиска. При этом выполняют поиск и выделение данных изображения, имеющих информацию, относящуюся к ключу поиска, в результате чего его результат может отображаться на экране дисплея модуля 106 дисплея в соответствии со степенью ассоциации с ключом поиска.

Кроме того, устройство 100 формирования изображения может определять результаты поиска изображения в соответствии с требуемым пользователем диапазоном, без выполнения сложных операций для их сохранения.

Примеры конфигурации файла изображения и папки изображения

На фиг.2 показана схема, предназначенная для описания примера компоновки файла изображения, предназначенного для записи на носитель 135 записи устройства 100 формирования изображения. Как показано на фиг.2, файлы изображения имеют название файла, которое представляют собой информацию идентификации, предназначенную для идентификации каждого файла изображения. Такое название файла автоматически предоставляют с помощью модуля 120 управления во время съемки изображения.

Кроме того, метаданные, такие как ключевое слово, информацию ГСН, информацию анализа изображения, информацию камеры, дату и время съемки и т.д. располагают для добавления к каждому файлу изображения. Такие метаданные можно использовать как информацию, соответствующую ключу поиска данных изображения.

Здесь ключевое слово представляет собой преимущественно текстовые данные, вводимые пользователем. В частности, что касается ключевого слова, множество информации может быть зарегистрировано как ключевые слова, которые обозначают название места, обозначающее место, где изображение было снято, имя человека, который был снят на изображение, название события, проводимого на месте, где было снято данное изображение, содержание его изображения и т.д.

Следует отметить, что ключевое слово вводят через модуль 131 операций и сенсорный экран 108 в случае, когда изображение, соответствующее данным изображения файла изображения, к которому будут добавлены ключевые слова, отображают на экране дисплея модуля 106 дисплея, в результате чего ключевое слово может быть добавлено к этому файлу изображения.

Кроме того, например, может быть выполнена компоновка, в которой в персональном компьютере, различные типы метаданных, такие как ключевое слово или тому подобное, добавляют к данным изображения, которые записывают в устройство 100 формирования изображения через разъем 133 ввода/вывода и внешний интерфейс 132, и записывают на носителе 135 записи. То есть данные изображения, к которым метаданные, такие как ключевое слово и т.п., были добавлены во внешнем оборудовании, отбирают в устройство 100 формирования изображения, в результате чего их можно использовать.

Информация ГСН представляет собой информацию о положении (информацию о долготе и широте), обозначающую положение в момент времени съемки изображения, получаемую через описанный выше модуль 138 приема ГСН, который может быть добавлен к файлу изображения через модуль 120 управления.

Информацию анализа изображения размещают так, чтобы подвергать данные изображения данного файла изображения анализу изображения с использованием заданного способа, получая таким образом результаты анализа изображения и сохраняя их в каждом файле изображения. Такой анализ изображения выполняют, преимущественно, с использованием функции модуля 120 управления в соответствующие моменты времени после съемки изображения и добавляют к файлу изображения.

С информацией анализа изображения используются, например, различные технологии, такие как детектирование кромки, анализ цвета и т.п., в результате чего свойства изображения в соответствии с каждыми данными изображения могут быть обозначены в результате преобразования в цифровую форму, и степень схожести с композицией изображений и субъектов можно сравнивать между изображениями.

В этом отношении в соответствии с такой информацией анализа изображения, на основе результатов такого анализа изображения может быть найдено изображение, где был снят похожий человек (лицо), может быть найдено изображение, где было снято аналогичное место, или может быть найдено изображение, где такие особенности, как оттенки цвета и сложность, аналогичны.

Кроме того, эта же информации анализа изображения представляет собой, хотя это и описано ниже, информацию, получаемую в результате анализа изображения, и включает в себя различные типы информации анализа, такие как область лица человека в пределах изображения, количество лиц, снятых в изображении, величина улыбки на лице человека, снятого на изображении, и информация, обозначающая свойства всего изображения.

Информация камеры представляет собой информацию, обозначающую диафрагму, скорость затвора и т.д. во время съемки изображения. Такая информация камеры представляет собой информацию, которой управляют в модуле 120 управления и которую добавляют к файлу изображения в модуле 120 управления в случае, когда съемка изображения была выполнена. В соответствии с такой информацией камеры, можно распознавать условия камеры, при которых были сняты данные изображения.

Дата и время съемки представляют собой информацию о дате и времени, которую модуль 120 управления получает во время съемки изображения через схему 140 часов и которые добавляют к файлу изображения, и которая состоит из даты и времени. Таким образом, можно точно распознавать, когда были сняты данные изображения каждого файла изображения.

Данные изображения, формирующие изображение субъекта, полученного в результате съемки изображения, сохраняют в файле изображения как основные данные. Файл изображения, сформированный, таким образом, записывают на носитель 135 записи устройства 100 формирования изображения. После этого файл изображения, как описано ниже, сохраняют в папке изображения, формируемой на носителе 135 записи, в соответствии с инструкциями пользователя.

Следует отметить, что в устройстве 100 формирования изображения, в соответствии с настоящим вариантом выполнения, в случае когда пользователь не формирует папку изображения, например папку, соответствующую дате съемки, ее формируют автоматически, в результате чего данные изображения, полученные в результате съемки изображения, могут быть сохранены в ней.

Папки изображения, в которых сохраняют файл изображения, как описано выше, формируют для каждого события, при котором выполняли съемку изображения, например такого, как первый день в школе, спортивные соревнования, празднование дня рождения или тому подобное, или для каждого года и месяца съемки, или для каждого года, месяца и дня съемки, или тому подобное.

В дополнение к этому, например, в случае когда папки изображения формируют для каждого субъекта и используют, или в случае, когда устройство 100 формирования изображения совместно используется семьей или тому подобное, папки изображения формируют для каждого фотографа и они могут использоваться соответствующим образом.

На фиг.3 показана схема, предназначенная для описания примера компоновки папки изображения, формируемой на носителе 135 записи устройства 100 формирования изображения. Как показано на фиг.3, папка изображения имеет название папки, которое представляет собой информацию идентификации, предназначенную для идентификации каждой папки. Такое название папки представляет собой, например, информацию, соответствующую событию, в ходе которого выполняли съемку изображений, такому как первый день в школе, спортивное соревнование, празднование дня рождения или тому подобное, информацию, относящуюся к дню съемки, такую как год и месяц съемки, год, месяц и день съемки или тому подобное. Кроме того, каждая папка изображения имеет название события этой папки изображения, дату и время формирования, другие различные типы метаданных.

Название события может содержать в случае когда папка изображений этого события была сформирована, в соответствии с событием информацию, обозначающую более подробное содержание события, например подробное содержание, такое как "первый день в школе Алекса 4 октября 2008 г.".

Сформированная дата и время представляет собой информацию, обозначающую дату и время, когда этот файл изображения был сформирован, и представляет собой информацию, которую модуль 120 управления получает из схемы 140 часов во время формирования папки изображения.

В дополнение к этому информация, которая может быть добавлена автоматически в устройстве 100 формирования изображения, такая как количество файлов изображения, сохраненных в этой папке изображения, или информация комментария (буквенная информация), вводимая пользователем, или тому подобное, может быть добавлена как метаданные.

В папке изображения сохраняют название файла, адрес на носителе записи, дату и время съемки каждого из файлов изображения, принадлежащих его папке. В соответствии с информацией этой папки изображения можно распознавать, когда изображения были сняты, какие файлы изображения сохранены в этой папке изображения, и где файлы его изображения сохранены на носителе записи.

После этого в файлах изображения файлами изображения для данных изображения, полученных путем съемки изображения, управляют в порядке временной последовательности, в соответствии с датой и временем съемки. Таким образом, на основе информации папки изображения данные изображения для файлов изображения, показанных на фиг.3, могут быть считаны в направлении течения времени, для их последовательного отображения, или могут быть считаны последовательно в направлении, обратном направлению течения времени для их отображения.

Таблица информации кандидата ключа поиска

В устройстве 100 формирования изображения, в соответствии с настоящим вариантом выполнения, для того чтобы обеспечить возможность простого выполнения обработки поиска данных изображения, используя ключ поиска, информацию, используемую в качестве кандидата ключа поиска (информацию кандидата ключа поиска), регистрируют заранее. Информация кандидата ключа поиска, зарегистрированная в этой таблице информации кандидата ключа поиска, может использоваться как ключ поиска, без ее регистрации во время поиска, как будет также описано ниже.

На фиг.4 показана схема, предназначенная для описания таблицы информации кандидата ключа поиска, которая должна быть сформирована на носителе 135 записи или в ЭСППЗУ 124, или тому подобное устройства 100 формирования изображения заранее. В устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения таблица информации кандидата ключа поиска управляет информацией кандидата ключа поиска путем классификации ее на семь категорий "люди", "места", "цвета", "времена года", "субъекты", "информация камеры" и "и т.д."

Информация кандидата ключа поиска, относящаяся к людям, принадлежит категории "люди", и информацию, такую как "семья, отец, мать, старший брат, старшая сестра, младший брат, младшая сестра,..." и т.д., регистрируют заранее, как показано на фиг.4. Кроме того, имя самого пользователя, имя друга или знакомого, который станет (стал) субъектом или подобное, может быть зарегистрировано самим пользователем, например такое как "Алекс (я сам/я сама)", "мистер А", "мистер В", "мистер С" или тому подобное.

Информация кандидата ключа поиска, относящаяся к местам, принадлежит категории "места", и такая информация, как страна, город, округ, другие названия мест, название станции, различные названия ориентира на местности и т.д. зарегистрирована заранее, как показано на фиг.4. Следует отметить, что сам пользователь может регистрировать новое название места, название вновь сформированного ориентира на местности (небоскреб или коммерческий объект, или тому подобное), название места, которое не было зарегистрировано, или тому подобное.

Названия цветов, такие как красный, белый, черный, синий и т.д., как показано на фиг.4, принадлежат категории "цвета", множество названий цветов, которые часто обычно совместно используются, зарегистрированы заранее. Следует отметить, что сам пользователь также может регистрировать названия цветов, которые не были зарегистрированы заранее.

Информация кандидата ключа поиска, относящаяся к временам года, принадлежит категории "времена года", и некоторые слова, относящиеся к временам года, такие как "новая весна, ранняя весна, начало лета, ранняя осень, ранняя зима", и т.д., кроме "весна, лето, осень, зима", зарегистрированы заранее, как показано на фиг.4. Следует отметить, что пользователь сам/сама также может зарегистрировать слова, относящиеся к временам года, которые не зарегистрированы заранее.

Информация кандидата ключа поиска, относящаяся к тому, что может использоваться как субъект, зарегистрирована в категории "субъекты", и название, которое часто обычно используется как субъект, такой как животное, цветок, дерево, гора, море и т.д., зарегистрированы заранее, как показано на фиг.4. Следует отметить, что пользователь сам/сама также может зарегистрировать слово, относящееся к тому, что может использоваться как субъект, который не был зарегистрирован заранее.

Информация кандидата ключа поиска, такая как условия установки камеры, во время съемки изображения, такие как диафрагма, скорость затвора и т.п., заранее зарегистрирована в категории "информация камеры". Например, она используется в случае, когда выполняют поиск изображения, снимаемого с использованием определенных условий установки, или тому подобное. Следует отметить, что пользователь сам/сама также может зарегистрировать информацию камеры, которая не была зарегистрирована заранее.

Информация кандидата ключа поиска, не принадлежащая какой-либо из упомянутых выше шести категорий, зарегистрирована в категории "и т.д.". Например, название элемента, такого как анализ изображения, информация ГСН и т.п., зарегистрированы и их выбирают, в результате чего информацию анализа изображения для конкретного изображения можно использовать как ключ поиска, и информацию ГСН для конкретного изображения можно использовать как ключ поиска. В устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения, как описано выше, пользователь может добавлять различные ключевые слова к файлу изображения, записанному на носителе 135 записи, при съемке изображения.

Как описано выше, пользователь воспроизводит изображение в соответствии с данными изображения, сохраненными в файле изображения, записанном на носителе 135 записи, путем съемки изображения, и после выполнения заданных операций, для добавления ключевого слова, ключевое слово может быть введено через модуль 131 операций.

В этом случае список информации кандидата ключа поиска для таблицы информации кандидата ключа поиска, показанный на фиг.4, отображают, в результате чего целевое ключевое слово может быть выбрано и добавлено среди отображаемых кандидатов. Кроме того, в случае, когда отсутствует целевое ключевое слово в списке информации кандидата ключа поиска, например данные текста, такие как слово, вводят через кнопки ввода, реализованные с использованием сенсорного экрана 8, в результате чего эту информацию можно добавить как ключевое слово.

Как описано выше, следует понимать, что может быть выполнена компоновка, в которой на персональном компьютере рассчитывают различные типы метаданных, такие как ключевое слово и т.п., добавляют к данным изображения, вводят в устройство 100 формирования изображения через разъем 133 входа/выхода и внешний интерфейс 132 и записывают на носителе 135 записи. То есть данные изображения, к которым были добавлены метаданные, такие как ключевое слово и т.п.на внешнем оборудовании, передают в устройство 100 формирования изображения, в результате чего их можно использовать.

Кроме того, кандидат ключа поиска также может быть добавлен в таблицу кандидата ключа поиска устройства 100 формирования изображения через внешнее оборудование, такое как персональный компьютер, который может быть подключен через разъем 133 ввода/вывода и внешний интерфейс 132.

Само собой разумеется, что таблица кандидата ключа поиска, сформированная на внешнем оборудовании, таком как персональный компьютер или тому подобное, может быть передана через разъем 133 ввода/вывода и внешний интерфейс 132 и может быть сохранена в заданном запоминающее устройстве, таком как ЭСППЗУ 124 или тому подобное, в результате чего ее можно использовать.

В этом случае если отсутствует какая-либо информация, введенная как ключевое слово в таблицу информации кандидата ключа поиска, модуль 120 управления запрашивает подтверждение в отношении того, зарегистрировано или нет это ключевое слово, дополнительно в таблице информации кандидата ключа поиска.

После этого в случае, когда была подана инструкция на дополнительную регистрацию, модуль 120 управления может зарегистрировать это ключевое слово, например, в категории, соответствующей инструкции, введенной пользователем через модуль 131 операций или тому подобное.

Таким образом, в устройстве 100 формирования изображения, в соответствии с настоящим вариантом выполнения, одно из ключевых слов, добавленное к файлам изображения, сохраненным на носителе 135 записи, и одну из информации кандидата ключа поиска, зарегистрированную в таблице информации кандидата ключа поиска, располагают во взаимном соответствии.

Обработка выбора ключа поиска, используемого для поиска изображения

Далее будет приведено описание, относящееся к обработке выбора ключа поиска, используемого для поиска изображения, среди информации кандидата ключа поиска, зарегистрированной в таблице информации кандидата ключа поиска, показанной на фиг.4, с помощью устройства 100 формирования изображения в соответствии с настоящим вариантом выполнения. На фиг.5А-7В показаны схемы, предназначенные для описания обработки выбора ключа поиска, используемого для поиска изображения среди информации кандидата ключа поиска, зарегистрированной в таблице информации кандидата ключа поиска.

В устройстве 100 формирования изображения, например, выполняют заданную операцию, например такую как операция нажатия на кнопку меню, предоставленную в модуле 131 операций, или тому подобное, в результате чего модуль 120 управления формирует меню, содержащее процессы, которые могут быть выполнены в устройстве 100 формирования изображения, как пункты выбора, и отображает его в модуле 106 дисплея.

То есть модуль 120 управления использует информацию для отображения, сохраненную в ПЗУ 122, для формирования данных изображения, для отображения в меню (на экране меню). После этого модуль 120 управления обрабатывает сформированные данные изображения для отображения меню через модуль 110 обработки разуплотнения, модуль 111 формирования отображаемого изображения, и модуль 105 обработки отображения для формирования сигнала изображения, для отображения меню и передает его в модуль 106 дисплея.

Таким образом, экран меню с процессами, выполняемыми в устройстве 100 формирования изображения, представленными как пункты выбора, отображают на экране 6G отображения модуля 106 дисплея. Следует отметить, что в том, что касается данных изображения для отображения меню, обработку разуплотнения выполнять не требуется и в соответствии с этим данные изображения для отображения в меню не подвергают какой-либо особой обработке в модуле 110 обработки разуплотнения.

В устройстве 100 формирования изображения, таком, как описано со ссылкой на фиг.1, сенсорный экран 108 состоит из модуля 106 дисплея и сенсорной панели 107, при этом введенную пользователем инструкцию принимают через сенсорный экран 108.

Пользователь выполняет операцию выбора пункта меню "поиск изображения" из меню, отображаемого на экране 6G отображения модуля 106 дисплея устройства 100 формирования изображения. В частности, пользователь вводит палец или тому подобное в контакт в положении на поверхности операций сенсорной панели 107, соответствующему положению отображения пункта меню "поиск изображения".

Таким образом, данные координат, обозначающие положение контакта пользователя на поверхности операций, передают в модуль 120 управления из сенсорной панели 107. Модуль 120 управления определяет, какой элемент был выбран пользователем на основе данных координат и информации отображения, отображаемой в положении на экране дисплея, соответствующем положению на поверхности операций, обозначенном этими данными координат.

В этом случае модуль 120 управления распознает, что пункт меню "поиск изображения" отображается в положении экрана 6G отображения, соответствующем положению на поверхности операций, в контакте с которым находится пользователь. В соответствии с этим, модуль 120 управления может определить, что пункт меню "поиск изображения" был выбран пользователем.

После этого модуль 120 управления отображает экран установки диапазона поиска, показанный на фиг.5А, на экране 6G отображения модуля 106 дисплея таким же образом, как и в случае отображения описанного выше меню. Как показано на фиг.5А, экран установки диапазона поиска имеет название (название экрана), установленное как "*поиск изображения*", и также имеет пиктограмму 6Х "общий", пиктограмму 6Y "папка" и пиктограмму 6Z "дата" для определения диапазона поиска. Кроме того, экран установки диапазона поиска имеет, как показано на фиг.5А, пиктограмму 6а "конец", и пиктограмму 6b "OK" на участке правой верхней кромки.

На фиг.5А пиктограмма 6Х "общий" предназначена для указания всех файлов изображения, записанных на носителе 135 записи, в качестве цели поиска. В соответствии с этим, в случае когда будет выбрана пиктограмма 6Х "общий", модуль 120 управления устанавливает все файлы изображения, записанные на носителе записи, как цели поиска во время поиска изображения.

Пиктограмма 6Y "папка" предназначена для указания только файлов изображения, сохраненных в папке изображения, выбранной пользователем, среди файлов изображения, записанных на носителе 135 записи, в качестве цели поиска. В случае когда была выбрана пиктограмма 6Y "папка", модуль 120 управления формирует список папок изображения, сформированных на носителе 135 записи, и отображает его на экране отображения модуля 106 дисплея, в результате чего пользователь может выбрать целевую папку изображения.

В случае когда папка изображения была выбрана пользователем, на фиг.5А, как показано на дисплее 6Y1, модуль 120 управления отображает название папки для выбранной папки изображения на экране 6G отображения модуля 106 дисплея.

После этого модуль 120 управления устанавливает только файлы изображения, сохраненные в выбранной папке изображения, как цель поиска. Следует отметить, что папка изображения, которая может быть выбрана, не ограничивается одной, и вместо этого множество папок изображения могут быть также установлены как цели поиска.

Пиктограмма 6Z "дата" предназначена для указания среди файлов изображения, записанных на носителе 135 записи, только файлов изображения, в которых приложенные год, месяц и день съемки принадлежат диапазону даты, указанному пользователем, как цели поиска. В случае когда выбирают пиктограмму 6Z даты, модуль 120 управления отображает экран установки диапазона даты на экране отображения модуля 106 дисплея, в результате чего пользователь может ввести целевой диапазон даты.

В случае когда диапазон даты был введен, на фиг.5А, как показано в отображении 6Z1, модуль 120 управления отображает введенный диапазон даты на экране 6G отображения модуля 106 дисплея. После этого модуль 120 управления устанавливает только файлы изображения, среди которых год, месяц и день съемки принадлежат введенному диапазону даты, как цели поиска.

Следует отметить, что диапазон даты может составлять один день, такой как 1 октября 2008 года - 1 октября 2008 года, и может быть выполнен ввод (установка) такого диапазона, как приращение нескольких дней, несколько недель, несколько месяцев или несколько лет.

После этого на экране установки диапазона поиска, показанном на фиг.5А, в случае когда была выбрана пиктограмма 6а "конец", модуль 120 управления заканчивает обработку поиска изображения и, например, возвращается в состояние, в котором отображается экран меню.

Кроме того, на экране установки диапазона поиска, показанном на фиг.5А, в случае когда была выбрана пиктограмма 6b "OK", модуль 120 управления выполняет поиск изображения в выбранном диапазоне. В этом случае модуль 120 управления формирует, как показано на фиг.5В, экран (1) выбора ключа поиска, имеющего отображение 611 списка категории, и отображает его на экране 6G отображения модуля 106 дисплея.

Следует отметить, что в случае, когда выбирают пиктограмму 6b "OK", несмотря на то, что диапазон поиска не был выбран, модуль 120 управления передает звук предупреждения или отображает сообщение предупреждения, подсказывая таким образом пользователю на необходимость выбора диапазона поиска.

Как показано на фиг.5В, экран (1) выбора ключа поиска имеет пиктограмму 6а "конец" и пиктограмму 6с "ВК" (возврат), а также отображение 611 списка категории на участке нижней кромки экрана 6G отображения.

Отображение 611 списка категории сформировано на основе информации категорий таблицы кандидата ключа поиска, описанной со ссылкой на фиг.4, и как показано на фиг.5В, имеет семь категорий, таких как люди, места, цвета, времена года, субъекты, информация камеры и т.д.

Пользователь выбирает название категории, которой, как предполагается, принадлежит информация кандидата ключа поиска, для использования в качестве ключа поиска среди отображаемого на дисплее 611 списка категорий. В частности, пользователь выбирает название категории, вводя палец или тому подобное в контакт с положением на поверхности операций сенсорной панели 107, соответствующим положению отображения названия целевой категории.

Модуль 120 управления распознает, ввод какого рода инструкции выполнил пользователь на основе данных координат из сенсорной панели 107 и отображает информацию, отображаемую в положении на экране 6G отображения, соответствующем положению на поверхности операций сенсорной панели 107, обозначенному этими данными координат.

Теперь, как показано на фиг.5В, предположим, что пользователь ввел палец или тому подобное в контакт с положением на поверхности операций сенсорной панели 107, которое соответствует положению отображения категории "люди". В этом случае модуль 120 управления определяет, что была выбрана категория "люди", и формирует экран (2) выбора ключа поиска, имеющий отображение 621 списка (отображение кандидата ключа поиска) информации кандидата ключа поиска, принадлежащей категории "люди", и отображает ее на экране 6G отображения модуля 106 дисплея.

Следует отметить, что на фиг.5В, в случае когда была выбрана пиктограмма 6а "конец", модуль 120 управления заканчивает обработку поиска изображения и, например, возвращается в состояние, в котором отображают экран меню. Кроме того, на фиг.5В, в случае когда была выбрана пиктограмма 6с "ВК", модуль 120 управления возвращается к экрану установки диапазона поиска, описанному со ссылкой на фиг.5А, в результате чего можно снова выполнить установку диапазона поиска.

Как показано на фиг.6А, экран (2) выбора ключа поиска имеет пиктограмму 6а "конец", пиктограмму 6b "ОК" и пиктограмму 6 с "ВК", и также имеет отображение 621 кандидата ключа поиска на участке нижней кромки экрана 6G отображения.

Отображение 621 кандидата ключа поиска представляет собой список информации кандидата ключа поиска, принадлежащий категории "люди", выбранной на экране (1) выбора ключа поиска на предыдущем этапе. Кроме того, как показано на фиг.6А, в случае экрана (2) выбора ключа поиска предоставлены пиктограмма 622 левой стрелки и пиктограмма 623 правой стрелки для прокрутки отображения кандидата ключа поиска.

В этом случае после выполнения операции постукивания на пиктограмме 622 левой стрелки модуль 120 управления выполняет прокрутку отображения 621 кандидата ключа поиска с правой стороны в левую сторону на величину одного кандидата ключа поиска. Операцию постукивания повторяют по пиктограмме 622 левой стрелки, в результате чего отображение 621 кандидата ключа поиска можно прокручивать с правой стороны в левую сторону по порядку, на величину одного кандидата ключа поиска.

Аналогично при выполнении операции постукивания по пиктограмме 623 правой стрелки модуль 120 управления выполняет прокрутку отображения 621 кандидата ключа поиска с левой стороны в правую сторону на величину одного кандидата ключа поиска. Операцию постукивания повторяют по пиктограмме 623 правой стрелки, в результате чего отображение 621 кандидата ключа поиска можно прокручивать с левой стороны в правую сторону по порядку, на величину одного кандидата ключа поиска.

При выполнении операций с этими пиктограммами 622 левой стрелки и 623 правой стрелки выполняют прокрутку отображения кандидата ключа поиска, и в случае когда будет отображена целевая информация кандидата ключа поиска, для нес будет выполнена операция выбора информации кандидата ключа поиска.

Следует отметить, что в случае, когда пиктограммы 622 и 623 левой и правой стрелки не используются, например, на поверхности операций сенсорной панели 107, выполняют операцию отслеживания в направлении влево или операцию отслеживания в направлении вправо, в результате чего отображение кандидата ключа поиска также можно прокручивать.

Например, предположим, что на фиг.6А элемент "мистер А" отображения кандидата ключа поиска представляет собой информацию кандидата ключа поиска, которую пользователь намеревается установить как ключ поиска. В этом случае пользователь вводит палец или тому подобное в контакт с положением на поверхности операций сенсорной панели 107, соответствующе положению отображения элемента "мистер А", и выполняет операцию отслеживания (операцию перетягивания или операцию быстрого перемещения).

Модуль 120 управления распознает, как описано выше, что операция отслеживания была выполнена по положению отображения элемента "мистер А", на основе данных координат из сенсорной панели 107, и положению отображения на экране 6G отображения каждой части отображаемой информации.

В этом случае модуль 120 управления распознает, что пункт "мистер А" был выбран как ключ поиска, и отображает отображение 624 "мистер А", выбранное как ключ поиска, за пределами отображения 621 кандидата ключа поиска на экране 60 отображения. Таким образом, пользователь может распознать, что пункт "мистер А" можно было выбрать как ключ поиска в устройстве 100 формирования изображения.

Аналогично другие пункты, принадлежащие в категории "люди", также можно выбрать как ключи поиска. То есть множество пунктов (информацию кандидата ключа поиска) также можно выбрать как ключи поиска в пределах одной и той же категории.

Затем после того как пункт "мистер А" будет выбран как ключ поиска, в случае когда пользователь сам желает закончить поиск изображения, он выбирает пиктограмму 6а "конец". Таким образом, модуль 120 управления заканчивает обработку поиска изображения и, например, возвращается в состояние, в котором отображается меню. В этом случае определяют, что выбранный ключ поиска не был выбран.

Кроме того, после того как пункт "мистер А" был выбран как ключ поиска, в случае когда предполагается снова выполнить выбор категории, пользователь выбирает пиктограмму 6с "ВК". Таким образом, модуль 120 управления обеспечивает для пользователя возможность возврата к экрану (1) выбора ключа поиска, описанному со ссылкой на фиг.5В, и снова выполнить выбор категории. В этом случае определяют, что пункт "мистер А" не был выбран как ключ поиска.

Кроме того, после того как пункт "мистер А" был выбран как ключ поиска, в случае выбора пиктограммы 6b "OK" модуль 120 управления определяет пункт "мистер А", выбранный на фиг.6А, как ключ поиска.

После этого модуль 120 управления формирует, как показано на фиг.6B, экран (3) выбора ключа поиска, имеющий отображение 631 пункта "мистер А", определенный как ключ поиска, и на котором снова отображают отображение 611 списка категории, и отображает его на экране 6G отображения модуля 106 дисплея. Таким образом, категория таблицы информации кандидата ключа поиска может быть снова предоставлена для выбора.

В состоянии, показанном на фиг.6B, в случае когда пользователь сам желает закончить поиск изображения, он выбирает пиктограмму 6а "конец". Таким образом, модуль 120 управления заканчивает обработку поиска изображения и, например, возвращается в состояние, в котором отображается меню.

Кроме того, в случае когда предполагается снова выполнить выбор ключа поиска в категории "люди", пользователь выбирает пиктограмму 6с "ВК". Таким образом, модуль 120 управления возвращается к изображению (2) выбора ключа поиска, описанному со ссылкой на фиг.6А, и для пользователя предоставляется возможность снова выполнить выбор ключа поиска в категории "люди".

В этом случае в соответствии с управлением модуля 120 управления уже выбранный ключ поиска может быть отменен, уже выбранный ключ поиска может быть отменен для выбора нового ключа поиска, или ключ поиска может быть дополнительно выбран в дополнение к уже выбранному ключу поиска.

Кроме того, в состоянии, показанном на фиг.6B, в случае когда выбор ключа поиска был закончен и поиск изображения был выполнен с использованием выбранного ключа поиска, пользователь выбирает пиктограмму 6b "OK". Таким образом, модуль 120 управления устраняет отображение 611 списка категории на фиг.6B и обеспечивает для пользователя возможность выполнить обработку поиска изображения.

В этом случае модуль 120 управления считывает данные изображения (изображение в диапазоне поиска) в диапазоне, установленном на фиг.5А, управляет модулем 110 обработки разуплотнения, модулем 111 формирования отображаемого изображения и модулем 105 обработки отображения для отображения миниатюрных изображений из изображений, находящихся в пределах диапазона поиска, на всем экране экрана 6G отображения случайным образом. После этого модуль 120 управления ожидает операции - инструкции (операции контакта) на отображении выбранного отображения ключа поиска (отображение 631, в случае фиг.6B), которая представляет собой операцию ввода инструкции для начала поиска изображения.

Кроме того, в состоянии, показанном на фиг.6B, в случае дополнительного выполнения выбора ключа поиска, так же как и в случае, описанном со ссылкой на фиг.5В, пользователь выбирает название категории, которой, как предполагается, принадлежит информация кандидата ключа поиска, предназначенная для использования как ключ поиска. То есть пользователь вводит палец или тому подобное в контакт с положением на поверхности операций сенсорной панели 107, соответствующим положению отображения названия целевой категории, выбирая таким образом название категории.

Теперь, как показано на фиг.6B, предположим, что пользователь ввел палец или тому подобное в контакт с положением на поверхности операций сенсорной панели 107, соответствующим положению отображения категории "места". В этом случае модуль 120 управления определяет, что была выбрана категория "места", и формирует экран (4) выбора ключа поиска, имеющий отображение 641 списка (отображение кандидата ключа поиска) информации кандидата ключа поиска, принадлежащей категории "места", показанной на фиг.7А, и отображает ее на экране 6G отображения модуля 106 дисплея.

Как показано на фиг.7А, экран (4) выбора ключа поиска имеет пиктограмму 6а "конец", пиктограмму 6b "OK" и пиктограмму 6 с "ВК", и также имеет отображение 641 кандидата ключа поиска на участке нижней кромки экрана 6G отображения.

Отображение 641 кандидата ключа поиска представляет собой список информации кандидата ключа поиска, принадлежащей категории "места", выбранной на экране (3) выбора ключа поиска на предыдущем этапе. Кроме того, как показано на фиг.7А, в случае экрана (4) выбора ключа поиска представляют пиктограмму 642 левой стрелки и пиктограмму 643 правой стрелки для прокрутки отображения кандидата ключа поиска.

В этом случае после выполнения операции постукивания по пиктограмме 642 левой стрелки модуль 120 управления выполняет прокрутку отображения 641 кандидата ключа поиска с правой стороны в левую сторону на величину одного кандидата ключа поиска. Операцию постукивания повторяют по пиктограмме 642 левой стрелки, в результате чего отображение 641 кандидата ключа поиска можно прокручивать с правой стороны на левую сторону по порядку, на величину одного кандидата ключа поиска.

Аналогично при выполнении операции постукивания по пиктограмме 643 правой стрелки модуль 120 управления выполняет прокрутку отображения 641 кандидата ключа поиска с левой стороны в правую сторону на величину одного кандидата ключа поиска. Операцию постукивания повторяют по пиктограмме 643 правой стрелки, в результате чего можно выполнять прокрутку отображения 641 кандидата ключа поиска с левой стороны в правую сторону по порядку, на величину одного кандидата ключа поиска.

На таких пиктограммах 642 и 643 левой стрелки и правой стрелки выполняют операции, отображение кандидатов ключа поиска прокручивают, и в случае когда отображается информация целевого кандидата ключа поиска, для него выполняют операцию выбора информации кандидата ключа поиска.

Например, предположим, что на фиг.7А пункт "Лос-Анджелес" отображения кандидата ключа поиска представляет собой информацию кандидата ключа поиска, которую пользователь намеревается установить как ключ поиска. В этом случае пользователь вводит палец или тому подобное в контакт с определенным положением на поверхности операций сенсорной панели 107, которая соответствует положению отображения пункта "Лос-Анджелес", и выполняет операцию отслеживания (операцию перетягивания или операцию быстрого перемещения).

Модуль управления 120 распознает, что операция отслеживания была выполнена из положения отображения пункта "Лос-Анджелес", на основе данных координат из сенсорной панели 107 и по положению отображения на экране 6G отображения каждой части отображаемой информации.

В этом случае модуль 120 управления распознает, что пункт "Лос-Анджелес" был выбран как ключ поиска, и отображает отображение 644 "Лос-Анджелес", выбранное как ключ поиска, за пределами отображения 641 кандидата ключа поиска на экране 6G отображения. Таким образом, пользователь может распознать, что пункт элемент "Лос-Анджелес" можно было выбрать как ключ поиска в устройстве 100 формирования изображения.

Аналогично другие пункты, принадлежащие категории "места", также можно выбрать как ключи поиска. То есть множество пунктов (информация кандидата ключа поиска) также можно выбрать как ключи поиска в пределах той же категории.

Затем после того как пункт "Лос-Анджелес" был выбран как ключ поиска, в случае когда пользователь сам предполагает закончить поиск изображения, он выбирает пиктограмму 6а "конец". Таким образом, модуль 120 управления заканчивает обработку поиска изображения и, например, возвращается в состояние, в котором отображается меню. В этом случае выбранный ключ поиска определен как ключ, который не был выбран.

Кроме того, после того как пункт "мистер А" и пункт "Лос-Анджелес" были выбраны как ключи поиска, в случае когда предполагается выполнить выбор категории снова, пользователь выбирает пиктограмму 6с "ВК". Таким образом, модуль 120 управления обеспечивает для пользователя возможность возврата к экрану (3) выбора ключа поиска, описанному со ссылкой на фиг.6В, и снова выполнить выбор категории. В этом случае пункт "Лос-Анджелес" определяют как пункт, который не был выбран как ключ поиска.

Кроме того, после того как пункт "мистер А" и пункт "Лос-Анджелес" были выбраны как ключи поиска, в случае, когда выбрана пиктограмма 6b "OK", модуль 120 управления определяет пункт "Лос-Анджелес", выбранный на фиг.7А, как ключ поиска.

Затем модуль 120 управления формирует, как показано на фиг.7В, экран (5) выбора ключа поиска, имеющий отображение 631 пункта "мистер А" и отображение 651 пункта "Лос-Анджелес", определенные как ключи поиска, и снова имеющий отображение 611 списка категории, и отображает этот экран (5) выбора ключа поиска, показанный на фиг.7 В, на экране 6G отображения модуля 106 дисплея.

Таким образом, пользователь может быть направлен на выбор и определение одной или больше частей информации кандидата ключа поиска в качестве ключей поиска, относящихся к соответствующей категории, среди семи категорий таблицы информации кандидата ключа поиска.

В соответствии с этим, пользователь может быть направлен на выбор множества частей информации кандидата ключа поиска среди одной категории в качестве ключей поиска или на выбор одной или больше частей информации кандидата ключа поиска из каждой из множества категорий в качестве ключа поиска.

После этого в состоянии, показанном на фиг.7 В, в случае когда сам пользователь предполагает закончить поиск изображения, он выбирает пиктограмму 6а "конец". Таким образом, модуль 120 управления заканчивает обработку поиска изображения и, например, возвращается в состояние, в котором отображается меню. В этом случае выбор ключа поиска определяют как выбор, который не был выполнен.

Кроме того, в случае когда предполагается снова выполнить выбор ключа поиска в категории "места", пользователь выбирает пиктограмму 6с "ВК". Таким образом, модуль 120 управления возвращает изображение (4) выбора ключа поиска, описанное со ссылкой на фиг.7А, и обеспечивает для пользователя возможность выполнить снова выбор ключа поиска в категории "места".

В этом случае в соответствии с управлением модуля 120 управления уже выбранный ключ поиска может быть отменен для выбора нового ключа поиска или уже выбранный ключ поиска может быть дополнительно выбран в дополнение к уже выбранному ключу поиска.

Кроме того, в состоянии, показанном на фиг.7В, в случае когда выбор ключа поиска был закончен и поиск изображения был выполнен с использованием выбранного ключа поиска, пользователь выбирает пиктограмму 6b "OK". Таким образом, модуль 120 управления убирает отображение 611 списка категории на фиг.7В и позволяет пользователю выполнить обработку поиска изображения.

В этом случае модуль 120 управления считывает данные изображения (изображение в диапазоне поиска) в диапазоне, установленном на фиг.5А, управляет модулем 110 обработки разуплотнения, отображает модуль 111 формирования изображения, и модуль 105 обработки отображения отображает миниатюрные изображения среди изображений в пределах диапазона поиска на всем экране для экрана 6G отображения случайным образом. После этого модуль 120 управления ожидает операции инструкции (операции контакта) для отображения выбранного ключа поиска (отображение 631 и отображение 651 в случае на фиг.7В), которая представляет собой операцию ввода инструкции начать поиск изображения.

Таким образом, пользователь выбирает ключ поиска и выбранный ключ поиска определяют в устройстве 100 формирования изображения, обеспечивая в результате возможность для пользователя выполнить поиск изображения. В устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения, как показано на фиг.6B и 7В, пользователь вводит палец или тому подобное в контакт с отображением пункта ключа поиска, определенного как ключ поиска, в результате чего начинается поиск изображения.

В частности, отображение пункта ключа поиска представлено на отображении 631 пункта "мистер А" или на отображении 651 пункта "Лос-Анджелес", и в случае когда пользователь вводит палец или тому подобное в контакт с отображением определенного элемента ключа поиска, и модуль управления 120 детектирует это, модуль 120 управления начинает поиск изображения.

Следует отметить, что обработка выбора ключа поиска, описанная со ссылкой на фиг. 5А-7В, представляет собой пример, и, используя режим, отличающийся от этого, целевой ключ поиска может также быть выбран из информации кандидата ключа поиска.

Конфигурация данных изображения поиска, имеющих информацию, относящуюся к ключу поиска

Как также описано выше, устройство 100 формирования изображения в соответствии с настоящим вариантом выполнения выполняет поиск и выделяет данные изображения, имеющие информацию, относящуюся к ключу поиска, таким образом, что результаты поиска можно отображать на экране дисплея модуля 106 дисплея в соответствии со степенью ассоциации к ключу поиска.

Для реализации этого устройство 100 формирования изображения имеет конфигурацию, предназначенную для поиска данных изображения, имеющих информацию, относящуюся к ключу поиска. Эта конфигурация примерно классифицирована на две части. Одну используют в случае, когда ключ поиска представляет собой буквенную информацию, и другую используют в случае, когда ключ поиска представляет собой информацию анализа изображения. Каждая из них будет описана ниже.

Пример конфигурации словаря степени ассоциации ключа поиска

Ниже приведено описание, относящееся к конфигурации для поиска данных изображения, имеющих информацию, относящуюся к ключу поиска, в случае когда ключ поиска представляет собой буквенную информацию. В этом случае устройство 100 формирования изображения в соответствии с настоящим вариантом выполнения использует словарь степени ассоциации ключа поиска.

На фиг.8 показана схема, предназначенная для описания примера конфигурации словаря степени ассоциации ключа поиска. Что касается знаковой информации, которая может использоваться как ключ поиска, в словаре степени ассоциации ключа поиска сведена буквенная информация (ключевые слова), относящаяся к знаковой информации в соответствии со степенью ассоциации к знаковой информации.

На примере, показанном на фиг.8, родственные ключевые слова регистрируют, классифицируя их на три уровня степени ассоциации "высокий", "средний" и "низкий", относящихся к ключу поиска. Здесь буквенная информация (ключевое слово) степени ассоциации "высокая" для ключа поиска представляет собой буквенную информацию, имеющую ту же буквенную информацию, буквенную информацию, используемую как синоним, и ту же букву, что и в этом ключе поиска, и обозначающую приблизительно то же значение и содержание.

Кроме того, буквенная информация (ключевое слово) степени ассоциации "средняя" для ключа поиска представляет собой буквенную информацию, непосредственно связанную с этим ключом поиска, как общее изображение. Кроме того, буквенная информация (ключевое слово) степени ассоциации "низкая" для ключа поиска представляет собой буквенную информацию, как общая совокупность образов, которые редко непосредственно связаны с этим ключом поиска, но могут быть связаны с этим ключом поиска с помощью некоторых ключевых слов, устанавливающих промежуточное соответствие между ними.

В примере, показанном на фиг.8, что касается ключевых слов со степенью ассоциации "высокая", "лето, летний период, начало лета, летние каникулы,…" и т.п. зарегистрированы как ключ поиска "лето". Ключевое слово "лето", само по себе, представляет собой ключ поиска, ключевое слово "летний период" представляет собой синоним ключа поиска "лето", ключевые слова "начало лета, летние каникулы" имеют те же буквы, как и в ключе поиска "лето", и имеют, в общем, одинаковое значимое содержание, и в соответствии с этим, для них установлена степень ассоциации "высокая".

Кроме того, в качестве ключевых слов со степенью ассоциации "средняя" для ключа поиска "лето" зарегистрированы "подсолнух, арбуз, фейерверк, море,…" и т.п. Ключевые слова "подсолнух, арбуз", преимущественно, можно видеть "летом" и они непосредственно связаны с ключом поиска "лето" и соответственно для них установлена степень ассоциации "средняя".

Кроме того, ключевое слово "фейерверк", преимущественно, представляет собой сезонную традицию для "лета", поскольку фейерверки часто организуют четвертого июля в США и соответственно они непосредственно связаны с ключом поиска "лето", и для них установлена степень ассоциации "средняя". Кроме того, ключевое слово "море" часто напоминает людям о "лете" и соответственно для него установлена степень ассоциации "средняя".

Кроме того, для ключа поиска "лето" зарегистрированы ключевые слова со степенью ассоциации "низкая" "весенние дожди, домашняя работа, школа, путешествие,…" и т.п.. Ключевое слово "весенние дожди" представляет собой климатическое состояние непосредственно перед летом и не напоминает людям о ключе поиска "лето" непосредственно, но если "весенние дожди" заканчиваются, наступает "лето" и соответственно для ключевого слова "весенние дожди" установлена степень ассоциации "низкая" в отношении ключа поиска "лето".

Кроме того, ключевые слова "домашняя работа, школа, путешествие" могут быть скоррелированы с ключом поиска "лето", через, например, термин "летние каникулы" и соответственно для них установлена степень ассоциации "низкая".

Таким образом, словарь степени ассоциации ключа поиска выполнен так, что в нем родственные ключевые слова зарегистрированы заранее для каждого из терминов, которые могут использоваться как ключ поиска, путем их классификации по трем уровням степени ассоциации "высокая", "средняя" и "низкая".

Следует отметить, что буквенная информация, которая может использоваться как ключ поиска, представляет собой, по меньшей мере, буквенную информацию, зарегистрированную в категориях "люди", "места", "цвета", "времена года" и "субъекты" в таблице информации кандидата ключа поиска, описанной со ссылкой на фиг.4.

Соответственно словарь степени ассоциации ключа поиска, такой как показан на фиг.8, сформирован для каждой части знаковой информации, которую можно использовать как ключ поиска, и сохранен и содержится, например, в ЭСППЗУ 124 или тому подобное устройства 100 формирования изображения.

Кроме того, предоставлен сформированный словарь степени ассоциации ключа поиска, но он выполнен таким образом, что пользователь его модифицирует для индивидуального использования.

Затем в случае когда термин "лето" используется как ключ поиска в соответствии с примером конфигурации словаря степени ассоциации ключа поиска, показанным на фиг.8, файлы изображения (данные изображения), имеющие ключевые слова со степенями ассоциации "высокая", "средняя" и "низкая", показанные на фиг.8, могут быть найдены и выделены.

Затем выделенные файлы изображения классифицируют в соответствии с их степенью ассоциации, в результате чего их можно обрабатывать в соответствии со степенью ассоциации каждого из них - "высокая", "средняя" и "низкая".

Пример стандарта различий степени ассоциации изображений на основе информация анализа изображения

Далее приведено описание в отношении конфигурации данных изображения, для которых осуществляется поиск, имеющих информацию, относящуюся к ключу поиска, в случае когда ключ поиска представляет собой информацию анализа изображения. В этом случае устройство 100 формирования изображения в соответствии с настоящим вариантом выполнения выполняет поиск изображения на основе информации анализа изображения.

В этом случае важно выполнить поиск изображения на основе информации анализа изображения. На фиг.9 показана схема, предназначенная для описания информации, которая может стать ключом поиска для поиска изображения, из информации анализа изображения.

Как описано со ссылкой на фиг.2, информацию анализа изображения, получаемую путем анализа данных изображения каждого файла изображения, добавляют к каждому файлу изображения как метаданные. Как описано выше, и так же как показано на фиг.9, область лица человека в пределах изображения, количество людей, снятых на изображении, величина улыбки на лице человека, которого сняли на изображении, и информация, обозначающая особенности всего изображения, и т.д. включены в эту информацию анализа изображения.

После выбора категории "и т.д." из отображения 611 списка категорий, показанного на фиг.5В и т.п., каждую часть информации, показанную на фиг.9, отображают как информацию, составляющую информацию анализа изображения, из нее выбирают целевую информацию. Таким образом, поиск изображения может быть выполнен в соответствии с выбранной информацией анализа изображения.

Например, можно сказать, что "область, занимаемая лицом человека на изображении", была выбрана как информация анализа изображения, и было указано изображение, используемое как ключ поиска. В этом случае модуль 120 управления выполняет поиск и выделяет взаимосвязанные изображения с носителя 135 записи на основе "площади лица человека в пределах изображения" по информации анализа изображения для изображения, определенного как ключ поиска.

В частности, модуль 120 управления выполняет поиск и выделяет с носителя 135 записи изображение в первом заданном диапазоне как изображение со степенью ассоциации "высокая", изображение во втором заданном диапазоне изображения со степенью ассоциации "средняя" и изображение в третьем заданном диапазоне как изображение со степенью ассоциации "низкая", "области лица человека в пределах изображения".

В этом случае первый заданный диапазон представляет собой диапазон, расположенный ближе всего к области лица человека в пределах изображения, используемой как ключ поиска, и второй и третий заданные диапазоны представляют собой диапазоны, постепенно отделенные от области лица человека в пределах изображения, используемого как ключ поиска.

Таким образом, в случае когда используется "область лица человека в пределах изображения" как информация анализа изображения, можно выполнять поиск и выделение изображений, относящихся к изображению, используемому как ключ поиска, среди изображений, используемых как ключ поиска, используя область лица человека в пределах этого изображения как опорное значение.

Кроме того, допустим, что "количество людей на изображении" было выбрано как информация анализа изображения, и было указано изображение, используемое как ключ поиска. В этом случае модуль 120 управления выполняет поиск и выделяет взаимосвязанные изображения с носителя 135 записи на основе "количества лиц на изображении" по информации анализа изображения для изображения, указанного как ключ поиска.

В частности, модуль 120 управления выполняет поиск и выделяет с носителя 135 записи изображения в первом заданном диапазоне как изображение со степенью ассоциации "высокая", с изображением во втором заданном диапазоне как изображение со степенью ассоциации "средняя", и изображение в третьем заданном диапазоне как изображение со степенью ассоциации "низкая" для "количества лиц на изображении".

В этом случае первый заданный диапазон представляет собой диапазон, расположенный ближе всего к количеству лиц в пределах изображения, используемого как ключ поиска, и второй, и третий заданные диапазоны представляют собой диапазоны, постепенно отделенные от количества лиц в пределах изображения, используемого как ключ поиска.

Таким образом, в случае когда используют "количество лиц в пределах изображения" среди информации анализа изображения, можно выполнять поиск и выделение изображений, относящихся к изображению, используемому как ключ поиска, для изображения, используемого как ключ поиска, используя количество лиц на изображении как опорное значение.

Кроме того, даже в случае когда используют "величину улыбки на лице человека в пределах изображения", которая представляет собой информацию анализа изображения, модуль 120 управления может выполнять поиск взаимосвязанных изображений на носителе 135 записи на основе изображения, определенного как ключ поиска "величина улыбки на лице человека в пределах изображения".

Кроме того, даже в случае когда используют "свойства всего изображения" как информацию анализа изображения, модуль 120 управления может выполнять поиск взаимосвязанных изображений на носителе 135 записи, основываясь на изображении, определенном как ключ поиска "свойства всего изображения".

В этом случае выполняют компоновку, в которой степень схожести получают по оттенку и сложности изображения, взаимосвязанные изображения выделяют в соответствии с этой степенью схожести и классифицируют на степени ассоциации - "высокая", "средняя" и "низкая".

Таким образом, в устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения используют словарь степени ассоциации ключа поиска и информацию анализа изображения, в результате чего выполняют поиск и выделяют изображения, относящиеся к определенному ключу поиска. После этого устройство 100 формирования изображения конфигурируют для отображения найденных и выделенных изображений в соответствии со степенью ассоциации относительно ключа поиска.

Режим (1) отображения результатов поиска изображения

Далее приведено описание для режима отображения результатов поиска, как описано выше, после того как пользователь выберет ключ поиска и будет выполнен поиск изображения, используя этот выбранный ключ поиска. Здесь в качестве примера будет описан случай, когда был выбран ключ поиска, используемый как буквенная информация.

На фиг.10 показана схема для описания режима (1) отображения результатов поиска в случае, когда поиск изображения выполняют из состояния, в котором выбирают один ключ поиска (буквенная информация), как описано со ссылкой на фиг.5А-6В.

На фиг.10 (А) показана схема, иллюстрирующая режим отображения результатов поиска в случае, когда поиск изображения был выполнен в соответствии с выбранным ключом поиска, и в позиции (В) показана схема для описания деталей области AR в позиции (А) отображения результатов поиска.

Как описано со ссылкой на фиг.5А-6В, после того как пользователь установит диапазон поиска изображения и выберет одиночный целевой ключ поиска, модуль 120 управления отображает изображения, соответствующие данным изображения для диапазона поиска (миниатюрные изображения) на экране 6G отображения модуля 106 дисплея в разбросанном виде. Кроме того, модуль 120 управления отображает отображение К1 ключа поиска (пиктограмму ключа поиска), соответствующую выбранному ключу поиска на экране 6G отображения модуля 106 дисплея.

После этого, как показано в позиции (А) на фиг.10, после того как пользователь введет свой палец или тому подобное в контакт с определенным положением на поверхности операций сенсорной панели 107, соответствующей положению отображения для отображения К1 ключа поиска, отображаемого на экране 6G отображения, данные координат, обозначающие положение его контакта, передают из сенсорной панели 107 в модуль 120 управления.

Модуль 120 управления управляет, как описано выше, видом отображаемой информации и местом ее отображения на экране 6G тображения. Следовательно, модуль 120 управления может детектировать, что отображение К1 ключа поиска было указано на основе данных координат, обозначающих указанное положение на поверхности операций сенсорной панели 107, и информации отображения на экране 6G отображения модуля 106 дисплея, соответствующей ее указанному положению.

Модуль 120 управления распознает, что указание отображения ключа поиска используется для указания начала поиска изображения, используя ключ поиска, соответствующий его отображению ключа поиска, и выполняет поиск изображения, используя выбранный ключ поиска. В этом случае модуль 120 управления обращается к словарю степени ассоциации ключа поиска, выполненному, как описано со ссылкой на фиг.8, и выполняет поиск и выделяет файлы изображения, имеющие ключевое слово, взаимосвязанное с ключом поиска.

Затем модуль 120 управления отображает миниатюрные изображения, соответствующие данным изображения выделенных файлов изображения по положению в соответствии со степенью ассоциации ключевого слова в качестве ключа поиска. В случае этого примера модуль 120 управления отображает данные изображения, полученные как результат поиска, по положению, соответствующему степени ассоциации ключевого слова, используемого как ключ поиска, в пределах области, обозначенной как область Аr отображения результата поиска на экране 6G отображения.

То есть так как только одна область Аr отображения результата поиска показана в позиции (В) на фиг.10, внутри области Аr отображения результата поиска, в направлении наружу от ее центра, она представляет собой область отображения степени ассоциации "высокая", область отображения со степенью ассоциации "средняя" и область отображения со степенью ассоциации "низкая".

В соответствии с этим, в случае этого примера модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющие ключевое слово, степень ассоциации которого является "высокой", как ключ поиска на центральном участке АrН области Аr отображения.

После этого модуль 120 управления отображает миниатюрные изображения для файлов изображения, имеющих ключевое слово, степень ассоциации которого составляет "средняя", в качестве ключа поиска в области АrМ, расположенной за пределами области отображения, степень ассоциации которой является "высокой", области Аr отображения.

Затем модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "низкой", в качестве ключа поиска в области ArL, за пределами области АrМ отображения, степень ассоциации которого является "средней", в области Аr отображения.

Таким образом, миниатюрные изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой", "средней" или "низкой", в качестве ключа поиска могут отображаться в положении, соответствующем его степени ассоциации.

Следует отметить, что в случае этого примера, при поиске изображения модуль 120 управления выполняет поиск и выделяет на основе ключа поиска и словаря степени ассоциации ключа поиска файлы изображения, имеющие ключевое слово, относящееся к ключу поиска, из файлов изображения, сохраненных на носителе 135 записи.

Выделенные файлы изображения временно сохраняют, например, в ОЗУ 123, и их данные изображения считывают в соответствии с их степенью ассоциации с помощью модуля 120 управления и подают в модуль 110 разуплотнения, где данные изображения подвергают обработке разуплотнения, и их данные изображения перед сжатием данных восстанавливают.

После этого данные изображения, подвергаемые обработке разуплотнения в модуле обработки 110 разуплотнения, передают в модуль 111 формирования отображаемого изображения, где данные изображения подвергают обработке разрежения или тому подобное для формирования миниатюрных данных, и их располагают в положении, соответствующем степени ассоциации ключевого слова, принадлежащего ему самому, как ключа поиска.

Таким образом, с помощью модуля 111 формирования отображаемого изображения формируют данные изображения, составляющие один экран, занятый изображением, их преобразуют в сигнал изображения, имеющий формат, передаваемый в модуль 105 обработки отображения, и их передают в модуль 105 обработки отображения.

После приема переданного сигнала изображения из модуля 111 формирования отображаемого изображения модуль обработки 105 обработки отображения формирует сигнал изображения, передаваемый в модуль 106 дисплея из него, и передает их в модуль 106 дисплея. Таким образом, изображение, имеющее ключевое слово, относящееся к выбранному ключу поиска, отображают так, как показано в позиции (А) на фиг.10, в положении, соответствующем его степени ассоциации на экране дисплея модуля 106 дисплея.

Следует отметить, что по мере того как степень ассоциации понижается, прозрачность в отношении суженных изображений увеличивается, или их яркость понижается, в результате чего миниатюрные изображения, имеющие разную степень ассоциации, можно отображать так, чтобы их можно было различать.

Таким образом, изображения, имеющие ключевые слова, с разной степенью ассоциации в отношении ключа поиска, отображают в положении, соответствующем их степени ассоциации, в результате чего пользователь может подтверждать результаты поиска изображения, осознавая их различия.

Кроме того, вместо поиска только изображений, имеющих ключевое слово, соответствующее ключу поиска традиционным образом, также можно выполнять поиск изображения, имеющего ключевое слово, относящееся к ключу поиска, и результаты поиска можно отображать, учитывая различие между степенями ассоциации. В соответствии с этим, может быть эффективно выполнен поиск изображения и его результаты можно использовать соответствующим образом.

Следует отметить, что здесь было приведено описание на основе предположения, что в модуле 111 формирования отображаемого изображения миниатюрные данные для отображения миниатюрных изображений формируют путем обработки данных изображения, используя прореживание или тому подобное. Однако настоящее изобретение не ограничивается этим.

Формирование миниатюрных данных из данных изображения представляет собой определенную нагрузку для обработки. Поэтому может быть выполнена компоновка, в которой в каждом файле изображения миниатюрные данные заранее формируют из данных изображения и содержат их в каждом файле изображения.

Таким образом, данные миниатюрных изображений заранее формируют и добавляют к каждому файлу изображения, в результате чего обработка сжатия данных изображения в модуле 110 обработки разуплотнения и обработка формирования данных миниатюрных изображений в модуле 111 формирования отображаемого изображения могут быть исключены.

То есть в случае когда каждый файл изображения включает в себя данные миниатюрного изображения, файлы изображения, соответствующие ключу поиска, выделяют, и миниатюрные изображения считывают из этих файлов изображения для передачи их в модуль 111 формирования отображаемого изображения.

Таким образом, в режиме, показанном на фиг.10, результаты поиска, то есть миниатюрные изображения для файлов изображения, имеющих ключевое слово, относящееся к ключу поиска, могут отображаться в положении, соответствующем его степени ассоциации.

Подробное описание обработки во время поиска изображения

Далее приведено описание в отношении обработки во время поиска изображения, выполняемого в устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения. На фиг.11 и 12 показаны блок-схемы последовательности операций, предназначенные для описания обработки во время поиска изображения, выполняемого в устройстве 100 формирования изображения.

Обработка в соответствии с блок-схемой последовательности операций, показанной на фиг.11 и 12, представляет собой, как описано выше, обработку, преимущественно, выполняемую в модуле 120 управления, в случае когда пункт меню "поиск изображения" был выбран из отображаемого меню.

После выполнения обработки, показанной на фиг.11 и 12, модуль 120 управления выполняет, как описано со ссылкой на фиг.5А-7В, установку диапазона поиска изображения и обработку выбора ключа поиска (этап S101).

После этого при обработке на этапе S101 модуль 120 управления определяет, была ли выполнена операция окончания (этап S102). Когда определяют во время обработки определения на этапе S102, что была выполнена операция окончания, модуль 120 управления выполняет обработку окончания обработки поиска изображения (этап S103) для окончания обработки, показанной на фиг.11 и 12, и, например, возвращается к отображению меню.

Кроме того, в случае определения во время обработки определения на этапе S102, что операция окончания не была выполнена, модуль 120 управления определяет, что выбор ключа поиска был выполнен соответствующим образом, и отображает исходный экран для поиска изображения (этап S104).

В частности, на этапе S104 модуль 120 управления отображает миниатюрные изображения файлов изображения в диапазоне поиска, установленном в результате обработки на этапе S101 на экране 6G отображения в разбросанном виде, и также отображает отображение ключа поиска, соответствующее выбранному ключу поиска.

После этого модуль 120 управления принимает введенную пользователем операцию через сенсорный экран 108 или тому подобное (этап S105) и определяет, была или нет принята введенная операция (этап S106).

Когда при обработке определения на этапе S106 определяют, что операция, введенная пользователем, не была принята, модуль 120 управления повторяет обработку с этапа S105 и ожидает ввода операции пользователем.

При определении, выполняемом во время обработки определения на этапе S106, что операция, введенная пользователем, была принята, модуль 120 управления определяет, было или нет указано пользователем выбранное отображение ключа поиска в качестве ключа поиска (этап S107).

Когда определяют при обработке определения на этапе S107, что отображение ключа поиска для выбранного ключа поиска не было указано пользователем, модуль 120 управления выполняет обработку, соответствующую введенной операции, принятой на этапе S105 (этап S108).

На этапе S108 модуль 120 управления позволяет пользователю выполнять обработку различных типов в соответствии с операцией, введенной пользователем. Например, пользователю разрешено выполнить изменение ключа поиска, обработку суммирования и т.д.

После этого когда определяют при обработке определения на этапе S107, что отображение ключа поиска было указано пользователем, модуль 120 управления выполняет поиск изображения, используя ключ поиска, соответствующий указанному отображению ключа поиска, для отображения результатов поиска (этап S109).

На этапе S109 модуль 120 управления отображает, как описано со ссылкой на позиции (А) и (В) на фиг.10, миниатюрные изображения файлов изображения, имеющих ключевое слово, взаимосвязанное с ключом поиска, по положению, соответствующему степени их ассоциации на экране 6G отображения, и переходит к обработке на фиг.12.

Затем модуль 120 управления определяет, был ли прекращен контакт пальца или тому подобное пользователя с отображением ключа поиска (этап S110). Когда определяют при обработке определения на этапе S110, что контакт продолжается, модуль 120 управления повторяет обработку с этапа S110 и переходит в состояние ожидания до тех пор, пока не прекратится контакт.

Когда определяют при обработке определения на этапе S110, что контакт пальца или тому подобное пользователя с отображением ключа поиска закончился, модуль 120 управления использует функцию схемы 140 часов для начала измерения времени Ts с момента окончания контакта пальца пользователя с отображением ключа поиска (этап S111).

Затем модуль 120 управления определяет, равно или больше время Ts, с которого начали измерение на этапе S111, чем заданный период времени Т (этап S112). Когда при обработке на этапе S112 определяют, что время Ts измерения меньше, чем заданный период времени Т, модуль 120 управления принимает операцию, введенную пользователем (этап S113).

После этого модуль 120 управления определяет, была или нет принята операция, введенная пользователем (этап S114). Когда при обработке определения на этапе S114 определяют, что введенная операция не была принята, модуль 120 управления повторяет обработку, начиная с этапа S112.

Когда при обработке определения на этапе S114 определяют, что ввод операции был принят, модуль 120 управления определяет, представляет собой или нет принятая введенная операция операцию определения результата поиска (этап S115).

Когда при обработке определения на этапе S115 определяют, что принятая введенная операция представляет собой операцию определения результатов поиска, модуль 120 управления определяет указанную группу изображения как группу, и другие изображения отображают в разбросанном виде (этап S116).

После обработки на этапе S116 модуль 120 управления выполняет обработку в отношении изображений определенной группы, такую как сохранение изображений определенной группы в заданной папке изображений, устанавливая изображения определенной группы как цели воспроизведения или тому подобное (этап S117). После этого модуль 120 управления повторяет обработку, например, начиная с этапа S101 на фиг.11.

Кроме того, когда на этапе S115 определения определяют, что принятая введенная операция не представляет собой операцию определения результатов поиска, модуль 120 управления определяет, представляет ли собой или нет принятая введенная операция операцию отмены результатов поиска (этап S118).

Когда при обработке определения на этапе S118 определяют, что принятая введенная операция не представляет собой операцию отмены результатов поиска, модуль 120 управления выполняет обработку, соответствующую введенной принятой операции (этап S119).

Кроме того, когда во время обработки определения на этапе S118 определяют, что принятая введенная операция представляет собой операцию отмены результатов поиска, например модуль 120 управления отменяет отображение результатов поиска изображения и возвращается в исходное состояние поиска изображения (этап S120).

Исходное состояние поиска изображения представляет собой, как описано выше, состояние, в котором миниатюрные изображения файлов изображения в диапазоне поиска отображают на экране 6G отображения в разбросанном виде и также отображают отображение ключа поиска, соответствующее выбранному ключу поиска, и пользователю предлагается выполнить поиск изображения.

После обработки на этапе S120 модуль 120 управления повторяет обработку с этапа S105 на фиг.11, в результате чего пользователь может выполнить поиск изображения, соответствующий отображению отображаемого ключа поиска, или выполнить поиск изображения путем добавления нового ключа поиска.

Кроме того, когда при обработке определения на этапе S112 определяют, что время Ts измерений равно или больше, чем заданный период времени Т, модуль 120 управления отменяет отображение результатов поиска изображения и возвращается в исходное состояние поиска изображения (этап S120). После этого, как описано выше, модуль 120 управления повторяет обработку с этапа S 105 на фиг.11.

Таким образом, в устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения пользователь просто выбирает ключ поиска из доступной информации кандидатов ключа поиска для указания его ключа поиска, в результате чего пользователь может выполнять поиск изображений, имеющих ключевое слово, относящееся к ключу поиска.

После этого результаты поиска изображения могут отображаться, как описано со ссылкой на фиг.10, в соответствии со степенью ассоциации ключевого слова для ключа поиска, в результате чего пользователь может надежно распознавать, какое изображение имеет высокую степень ассоциации в отношении ключа поиска.

Режим (2) отображения результатов поиска изображения

Далее приведено описание в отношении другого режима отображения результатов поиска, в случае когда, как описано выше, после того как пользователь выберет ключ поиска и будет выполнен поиск изображения, используя его выбранный ключ поиска. Здесь случай когда был выбран ключ поиска, используемый как буквенная информация, будет описан как пример, так же как и для случая, описанного со ссылкой на фиг.10.

На фиг.13 показана схема, предназначенная для описания режима (2) отображения результатов поиска в случае, когда поиск изображения выполняют из состояния, в котором выбирают одиночный ключ поиска (буквенная информация), как описано со ссылкой на фиг.5А-6В.

На фиг.13, (А) показана схема, иллюстрирующая режим отображения результатов поиска в случае, когда поиск изображения был выполнен в соответствии с выбранным ключом поиска, и в позиции (В) показана схема для описания деталей области Аr отображения результатов поиска, показанной в позиции (А).

В случае режима (1) отображения результатов поиска, описанном выше со ссылкой на фиг.10, все результаты поиска изображения отображали одновременно. С другой стороны, в случае режима (2) отображения результатов поиска, показанном на фиг.13, диапазоном отображения результатов поиска управляют в соответствии с длительностью времени контакта (путем указания длительности времени) пальца или тому подобное с отображением ключа поиска.

Выбор ключа поиска и обработку поиска изображения, используя этот ключ поиска, выполняют так же, как и в случае, описанном со ссылкой на фиг.10. В частности, как показано в позиции (А) на фиг.13, в случае, когда пользователь помещает свой палец или тому подобное в контакт с положением на поверхности операций сенсорной панели 107, соответствующим положению отображаемого отображения К1 ключа поиска, модуль 120 управления распознает, что эта операция представляет собой инструкцию начала обработки поиска изображения, соответствующей ключу поиска.

Затем, как описано выше, сенсорная панель 107 может последовательно детектировать положение контакта в заданное время для вывода данных координат, обозначающих его, в то время как пользователь вводит свой палец или тому подобное в контакт с положением контакта.

В соответствии с этим, в случае когда одинаковые данные координат подают из сенсорной панели 107 в заданные моменты времени, модуль 120 управления может детектировать, что палец или тому подобное все еще находится в контакте в том же положении на поверхности операций сенсорной панели 107.

Поэтому модуль 120 управления измеряет время Тх длительности контакта с помощью схемы 140 часов с момента, когда палец или тому подобное был введен в контакт с положением на поверхности операций сенсорной панели 107, соответствующим положению отображения ключа поиска, до тех пор, пока этот контакт не будет убран.

Модуль 120 управления отображает только миниатюрные изображения для файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой", как ключ поиска в области Аr отображения результата поиска, до тех пор, пока измеренная величина времени Тх контакта не превысит заданное пороговое значение t1.

В этом случае модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой" для ключа поиска на центральном участке АrН в области Аr отображения результата поиска, которая разделена на три области отображения так, как показано в позиции (В) на фиг.13.

После этого в случае когда такое время Тх длительности контакта превысит заданное пороговое значение t1, модуль 120 управления дополнительно отображает миниатюрные изображения для изображений, имеющих ключевое слово, степень ассоциации которого является "средней", в качестве ключа поиска в области Аr отображения результата поиска.

В этом случае модуль 120 управления отображает миниатюрные изображения для файлов изображения, имеющих ключевое слово, степень ассоциации которого является "средней" для ключа поиска в области АrМ, которая представляет собой область, находящуюся за пределами центрального участка АrН области Аr отображения результата поиска, которая разделена на три области отображения так, как показано в позиции (В) на фиг.13.

Кроме того, в этом случае в дополнение к миниатюрным изображениям, степень ассоциации которых является "высокой", уже отображаемым на центральном участке АrН, модуль 120 управления отображает миниатюрные изображения, степень ассоциации которых является "средней", в области АrМ, за его пределами.

После этого в случае когда время Тх длительности этого контакта превышает заданное пороговое значение t2, модуль 120 управления дополнительно отображает миниатюрные изображения для изображений, имеющих ключевое слово, степень ассоциации которого является "низкой", для ключа поиска в области Аr отображения результата поиска.

В этом случае модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "низкой" в отношении ключа поиска в области ArL, которая представляет собой область, расположенную за пределами области Аr отображения результата поиска, которая разделена на три области отображения так, как показано в позиции (В) на фиг.13.

То есть в дополнение к отображению миниатюрных изображений, степень ассоциации которых является "высокой", уже отображаемых на центральном участке АrН, и отображению миниатюрных изображений, степень ассоциации которых является "средней", уже отображаемых в области АrМ, модуль 120 управления отображает миниатюрные изображения, степень ассоциации которых является "низкой", в области ArL, за ее пределами.

Таким образом, протяженность отображения результатов поиска постепенно расширяется в соответствии с длительностью времени Тх контакта пальца пользователя или тому подобное относительно отображения K1 ключа поиска, таким образом, что результаты поиска изображения могут быть представлены пользователю на разных уровнях.

В соответствии с этим, по сравнению со случаем отображения результатов одновременного поиска изображения результаты поиска изображения могут быть обозначены на разных уровнях, в соответствии со степенью ассоциации с ключом поиска, в результате чего пользователь может относительно легко распознавать содержание результатов поиска.

Следует отметить, что описанные выше пороговые значения t1 и t2 удовлетворяют взаимозависимости t1<t2, и они определены таким образом, что, например, t1 равно двум секундам и t2 равняется четырем секундам.

Кроме того, в случае режима (2) отображения результатов поиска изображения, описанного со ссылкой на позиции (А) и (В) на фиг.13, результаты поиска также могут отображаться в режиме, показанном на фиг.13, в соответствии с функциями модуля 110 обработки разуплотнения, модуля 111 формирования отображаемого изображения и модуля 105 обработки отображения, под управлением модуля 120 управления.

Следует отметить, что позиции (В) на фиг.13 описано, что в случае когда время Тх длительности контакта равно или меньше, чем пороговое значение t1, миниатюрные изображения файлов изображения, степень ассоциации которых для ключа поиска является "высокой", отображают в области АrН.

Кроме того, в позиции (В) на фиг.13 описано, что в случае когда время Тх длительности контакта больше, чем пороговое значение t1, и также равно или меньше, чем пороговое значение t2, миниатюрные изображения файлов изображения, степень ассоциации которых относительно ключа поиска является "средней", отображают в области АrМ.

Кроме того, в позиции (В) на фиг.13 описано, что в случае когда время Тх длительности контакта больше, чем пороговое значение t2, миниатюрные изображения файлов изображения, степень ассоциации которых относительно ключа поиска является "низкой", отображают в области ArL.

Однако время Тх длительности контакта постоянно измеряют и соответственно, как описано выше, детектируют три случая, то есть случай, когда время Тх длительности контакта равно или меньше, чем пороговое значение t1, случай, когда время Тх длительности контакта больше, чем пороговое значение t1, и случай, когда время Тх длительности контакта больше, чем пороговое значение t2.

Таким образом, результаты поиска изображения могут отображаться в соответствии со степенью ассоциации относительно ключа поиска при тех же условиях, как и в условном выражении, показанном в позиции (В) на фиг.13.

Подробности обработки отображения результатов поиска

Далее приведено описание, относящееся к обработке в случае когда результаты поиска изображения отображают в режиме (2) отображения, описанном со ссылкой на фиг.13. На фиг.14 показана блок-схема последовательности операций, предназначенная для описания обработки в случае когда результаты поиска изображения отображают в режиме (2) отображения, описанном со ссылкой на фиг.13.

Обработку, показанную на этой фиг.14, выполняют на этапе S109 обработки во время поиска изображения, описанного со ссылкой на фиг.11 и 12. В частности, когда пользователь вводит свой палец или тому подобное в контакт с отображением ключа поиска и подает таким образом инструкции на выполнение поиска изображения, модуль 120 управления выполняет обработку отображения результатов поиска, показанную на фиг.14 на этапе S109, показанном на фиг.11.

Вначале модуль 120 управления начинает измерения времени Тх длительности контакта пальца пользователя или тому подобное для положения на поверхности операций сенсорной панели 107, соответствующего положению отображения ключа поиска, используя схему 140 часов устройства 100 формирования изображения (этап S1091).

Модуль 120 управления постоянно выполняет такое измерение времени Тх длительности контакта, в то время как данные координат, обозначающие положение поверхности операций на сенсорной панели 107, соответствующее положению отображения для отображения ключа поиска, постоянно предоставляют из сенсорной панели 107.

После этого на основе содержания определенного ключа поиска и словаря степени ассоциации ключа поиска, соответствующей этому ключу поиска, модуль 120 управления выполняет поиск изображения и выделяет файлы изображения, имеющие ключевое слово, относящееся к указанному ключу поиска (этап S1092).

Затем модуль 120 управления отображает миниатюрные изображения, соответствующие данным изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой", в качестве ключа поиска на центральном участке АrН в области Аr отображения результата поиска, как показано на фиг.13 (этап S1093).

То есть с помощью такой обработки на этапе S1093 файлов изображения, поиск и выделение которых осуществлялся на этапе S1092, только файлы изображения, имеющие ключевое слово, степень ассоциации которого является "высокой" относительно ключа поиска, устанавливают как цели обработки.

После этого на этапе S1093, как описано выше, модуль 120 управления, преимущественно, управляет модулем 110 обработки разуплотнения, модулем 111 формирования отображаемого изображения и модулем 105 обработки отображения для выполнения последовательности обработки отображения миниатюрных изображений в области АrН.

В частности, на этапе S1093 выполняют обработку разуплотнения данных изображения, предназначенных для отображения, с помощью модуля 110 обработки разуплотнения. Кроме того, обработку для формирования миниатюрных данных из данных изображения после разуплотнения и обработку для формирования сигнала изображения, где миниатюрные изображения в соответствии с миниатюрными данными расположены на центральном участке АrН, выполняют с помощью модуля 111 обработки формирования отображаемого изображения. Обработку для отображения изображения в соответствии с этим сигналом изображения на экране дисплея модуля 106 дисплея выполняют с помощью модуля 105 обработки отображения.

После обработки на этапе S1093 модуль 120 управления определяет на основе данных координат, передаваемых из сенсорной панели 107, закончился или нет контакт в положении на поверхности операций сенсорной панели 107, соответствующем положению отображения ключа поиска (этап S1094).

Когда при обработке определения на этапе S1094 определяют, что контакт закончился, модуль 120 управления выходит из обработки, показанной на фиг.14, и не выполняет следующую обработку отображения (обработку отображения результатов поиска степени ассоциации "средняя" и степени ассоциации "низкая").

Кроме того, когда при обработке определения на этапе S1094 определяют, что контакт не закончился, модуль 120 управления определяет, превышает или нет время Тх длительности контакта заданное первое пороговое значение t1 (этап S1095).

Когда при обработке определения на этапе S1095 определяют, что время Тх длительности контакта не превышает пороговое значение t1, модуль 120 управления повторяет обработку от этапа S1094.

Когда при обработке определения на этапе S1095 определяют, что время Тх длительности контакта превышает пороговое значение t1, модуль 120 управления отображает миниатюрные изображения, соответствующие данным изображения файлов изображения, имеющих ключевое слово со "средней" степенью ассоциации относительно ключа поиска (этап S1096).

Эта обработка на этапе S1096 представляет собой обработку для отображения миниатюрных изображений, соответствующих данным изображения файлов изображения, имеющих ключевое слово со "средней" степенью ассоциации относительно ключа поиска в области АrМ, среди области Аr отображения результатов поиска на основе результатов поиска изображения, как показано на фиг.13.

То есть при такой обработке на этапе S1096 файлы изображения, поиск и выделение которых выполнялись на этапе S1092, только файлы изображения, имеющие, ключевое слово со "средней" степенью ассоциации относительно ключа поиска, установлены как цели обработки.

Затем на этапе S1096 таким же образом, как и при обработке на этапе S1093, описанном выше, модуль 120 управления преимущественно управляет модулем 110 обработки разуплотнения, модулем 111 формирования отображаемого изображения и модулем 105 обработки отображения для выполнения последовательности обработки отображения миниатюрных изображений в области АrМ.

В частности, на этапе S1096 обработку разуплотнения отображаемых данных изображения выполняют с помощью модуля 110 обработки разуплотнения. Кроме того, обработка для формирования миниатюрных данных из данных изображения после разуплотнения и обработка для формирования сигнала изображения, где миниатюрные изображения в соответствии с миниатюрными данными расположены на центральном участке АrМ, выполняют с помощью модуля 111 обработки формирования отображаемого изображения. Обработку для отображения изображения в соответствии с этим сигналом изображения на экране дисплея модуля 106 дисплея выполняют с помощью модуля обработки 105 отображения.

После обработки на этапе S1096 модуль 120 управления определяет на основе данных координат, переданных из сенсорной панели 107, закончился или нет контакт в положении на поверхности операций сенсорной панели 107, соответствующем положению отображения для отображения ключа поиска (этап S1097).

Когда при обработке определения на этапе S1097 определяют, что контакт закончился, модуль 120 управления выходит из обработки, показанной на фиг.14, и не выполняет следующую обработку отображения (обработку отображения результатов поиска для степени ассоциации "низкая").

Кроме того, когда при обработке определения на этапе S1097 определяют, что контакт не закончился, модуль 120 управления определяет, превысило или нет время Тх длительности контакта заданное второе пороговое значение t2 (этап S1098).

Когда при обработке определения на этапе S1098 определяют, что время Тх длительности контакта не превысило пороговое значение t2, модуль 120 управления повторяет обработку, начиная с этапа S1097.

Когда при обработке определения на этапе S1098 определяют, что время Тх длительности контакта превысило пороговое значение t2, модуль 120 управления отображает миниатюрные изображения, соответствующие данным изображения файлов изображения, имеющих ключевое слово со степенью ассоциации "низкая" в отношении ключа поиска (этап S1099).

Такая обработка на этапе S1099 представляет собой обработку для отображения миниатюрных изображений, соответствующих данным изображения файлов изображения, имеющих ключевое слово со степенью ассоциации "низкая" относительно ключа поиска в области ArL среди области Аr отображения результатов поиска, на основе результатов поиска изображения, как показано на фиг.13.

То есть при такой обработке на этапе S1099 файлов изображения, поиск и выделение которых осуществлялся на этапе S1092, только файлы изображения, имеющие ключевое слово со степенью ассоциации "низкая" относительно ключа поиска, установлены как цели обработки.

Затем на этапе S1099, как описано выше, модуль 120 управления преимущественно управляет модулем 110 обработки разуплотнения, модулем 111 формирования отображаемого изображения и модулем 105 обработки отображения для выполнения последовательности обработки отображения миниатюрных изображений в области ArL.

В частности, на этапе S1099 обработку разуплотнения данных изображения, предназначенных для отображения, выполняют с помощью модуля 110 обработки разуплотнения. Кроме того, обработку для формирования данных миниатюрных изображений из данных изображения после разуплотнения и обработку для формирования сигнала изображения, где миниатюрные изображения в соответствии с данными миниатюрных изображений расположены на центральном участке ArL, выполняют с помощью модуля 111 обработки формирования отображаемого изображения. Обработку для отображения изображения в соответствии с этим сигналом изображения на экране дисплея модуля 106 дисплея выполняют с помощью модуля 105 обработки дисплея.

После этой обработки на этапе S1099 модуль 120 управления заканчивает обработку, показанную на фиг.14, возвращается к обработке на этапе S109, показанной на фиг.11, и выполняет обработку, начиная с этапа S 110 на фиг.12.

Таким образом, в случае режима (2) отображения результатов поиска, описанных со ссылкой на фиг.13 и 14, диапазон отображения результатов поиска постепенно расширяется в соответствии со временем Тх длительности контакта пальца пользователя или тому подобное на отображение K1 ключа поиска, в результате чего результаты поиска изображения могут быть предоставлены пользователю на разных уровнях.

То есть в случае, когда время длительности контакта отображения ключа поиска короткое, отображают только изображения с высокой степенью ассоциации относительно ключа поиска, и изображения с более низкой степенью ассоциации относительно ключа поиска могут отображаться на разных уровнях каждый раз, когда продолжительность контакта превышает пороговое значение.

Режим (3) отображения результатов поиска изображения

Далее приведено описание в отношении другого режима отображения результатов поиска в случае, как описано выше, когда пользователь выберет ключ поиска, и поиск изображения будет выполнен с использованием выбранного им ключа поиска. Здесь случай когда были выбраны два ключа поиска, используемые как буквенная информация, будет описан как пример, как описано со ссылкой на фиг.5А-7В.

На фиг.15 показана схема, предназначенная для описания режима (3) отображения результатов поиска в случае, когда поиск изображения выполняют из состояния, в котором выбирают два ключа поиска (буквенная информация), как описано со ссылкой на фиг.5А-7В.

На фиг.15 в позиции (А) показана схема, иллюстрирующая режим отображения результатов поиска, в случае когда поиск изображения был выполнен в соответствии с выбранными ключами поиска, и в позиции (В) показана схема, предназначенная для подробного описания области Аr отображения результатов поиска в позиции (А).

Как показано в позиции (А) на фиг.15, в случае такого примера выбирают два ключа поиска и отображения (пиктограммы ключа поиска) K1 и K2 ключа поиска, соответствующие им, отображают на экране 6G отображения модуля 106 дисплея. Затем, как показано в позиции (А) на фиг.15, предположим, что пользователь определил каждое из отображения К1 ключа поиска и отображения К2 ключа поиска.

В частности, допустим, что пользователь ввел пальцы или тому подобное в контакт с положениями на поверхности операций сенсорной панели 107, соответствующими положению отображения для отображения К1 ключа поиска и положению отображения для отображения К2 ключа поиска соответственно.

Как также описано выше, сенсорная панель 107 может детектировать каждую из операций, предназначенных для выполнения одновременно для множества мест на поверхности операций, для вывода данных координат, обозначающих каждое из положений контакта.

В соответствии с этим, как показано в позиции (А) на фиг.15, в случае когда были определены как отображение К1 ключа поиска, так и отображение К2 ключа поиска, модуль 120 управления может детектировать, что были указаны два места на поверхности операций на основе данных координат от сенсорной панели 107.

Также в случае этого примера модуль 120 управления может определять, что отображения К1 и К2 ключа поиска были выбраны пользователем на основе данных координат из сенсорной панели 107, и информация отображения, отображаемая в положении на экране отображения, соответствует положению на поверхности операций, обозначенному этими данными координат.

В этом случае модуль 120 управления выполняет поиск изображения, используя оба из двух ключей поиска, соответствующих определенным отображениям К1 и К2 ключа поиска. Теперь допустим, что ключ поиска, соответствующий отображению К1 ключа поиска, представляет собой ключ k1 поиска, и ключ поиска, соответствующий отображению К2 ключа поиска, представляет собой ключ k2 поиска.

После этого модуль 120 управления выполняет поиск и выделяет файл изображения, имеющий оба ключевых слова, относящихся к ключу k1 поиска, и ключевое слово, относящееся к ключу k2 поиска, и отображает миниатюрные изображения, соответствующие данным изображения выделенных файлов изображения на экране 6G отображения.

В этом случае модуль 120 управления отображает миниатюрные изображения в пределах области Аr отображения результата поиска в соответствии со степенью ассоциации, относящейся к ключам k1 и k2 поиска, как показано в позиции (А) на фиг.15. В принципе, таким же образом, как и в случае, показанном на фиг.10 и 13, модуль 120 управления отображает миниатюрные изображения с размещением их в направлении от центрального участка области Аr отображения результата поиска наружу в последовательности: степень ассоциации "высокая" → степень ассоциации "средняя" → степень ассоциации "низкая".

Однако в случае когда требуется использовать два ключа поиска, существует файл изображения, имеющий ключевое слово, степень ассоциации которого высокая относительно одного из ключей поиска, и имеющий ключевое слово со степенью ассоциации низкая относительно другого ключа поиска.

В таком случае модуль 120 управления отображает миниатюрные изображения таким образом, что пользователь может понять, относительно какого ключа поиска миниатюрные изображения имеют высокую степень ассоциации. Например, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющие ключевое слово со степенью ассоциации "высокая" относительно ключа k1 поиска и ключевое слово со степенью ассоциации "средняя" или "низкая" относительно ключа k2 поиска в положениях, близких к отображению K1 ключа поиска.

И, наоборот, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющие ключевое слово, со степенью ассоциации "высокая" относительно ключа k2 поиска, и ключевое слово со степенью ассоциации "средняя" или "низкая" относительно ключа k1 поиска в положениях ближе к отображению K2 ключа поиска.

Таким образом, получают компоновку, в которой в случае когда был выполнен поиск изображения с использованием этих двух ключей поиска пользователь может получать точное обозначение в отношении, имеет или нет каждое изображение среди миниатюрных изображений, которые представляют результаты поиска, сильную степень ассоциации и с каким ключом поиска, путем такого отображения.

Более конкретно, в случае этого примера, в области отображения выделяют, как показано в позиции (В) на фиг.15, область Аr результата поиска, где результаты поиска отображают так, как показано в позиции (А) на фиг.15.

Так, как показано в позиции (В) на фиг.15, этот случай аналогичен случаю, описанному со ссылкой на фиг.10 и 13 в том, что в области Аr отображения результатов поиска ее центральный участок установлен как область отображения для изображений, имеющих "высокую" степень ассоциации, ее внешняя часть установлена как область отображения, имеющая "среднюю" степень ассоциации, и дальнейшая внешняя ее область установлена для отображения "низкой" степени ассоциации.

Кроме того, в случае этого примера область ArL предусмотрена на стороне К1 отображения ключа поиска как область отображения изображения, имеющего корреляцию с ключом k1 поиска. Кроме того, область ArL предусмотрена для стороны отображения К2 ключа поиска как область отображения изображения, имеющего корреляцию с ключом k2 поиска. Кроме того, область АrС предусмотрена между областью ArL и областью ArR как область отображения изображения, имеющего эквивалентную корреляцию, как с ключом k1 поиска, так и ключом k2 поиска.

После этого в случае выполнения поиска изображения с использованием двух ключей k1 и k2 поиска модуль 120 управления определяет результаты этого поиска как области отображения миниатюрных изображений на основе степени ассоциации ключевого слова, соответствующего ключу k1 поиска, и степени ассоциации ключевого слова, соответствующего ключу k2 поиска.

На фиг.16 показана схема, предназначенная для описания таблицы (1) определения положения отображения, для определения областей отображения миниатюрных изображений в соответствии со степенью ассоциации с ключом поиска каждого из ключевых слов, соответствующих двум ключам k1 и k2 поиска.

Как также описано выше, модуль 120 управления выполняет поиск и выделяет файлы изображения, имеющие как ключевое слово, взаимосвязанное с ключом k1 поиска, так и ключевое слово, взаимосвязанное с ключом k2 поиска, и отображает миниатюрные изображения, соответствующие данным изображения выделенных файлов изображения на экране 6G отображения.

В этом случае модуль 120 управления определяет области отображения миниатюрных изображений, соответствующих данным изображения, среди файлов изображения, поиск и выделение которых были произведены на основе таблицы (1) определения положения отображения, показанной на фиг.16.

В частности, как показано на фиг.16, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово с "высокой" степенью ассоциации относительно ключа k1 поиска, и ключевое слово, имеющее "высокую" степень ассоциации относительно ключа k2 поиска на участке, обозначенного надписью "высокая", в области АrС, показанной в позиции (В) на фиг.15.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово, которое имеет "среднюю" степень ассоциации в отношении ключа k1 поиска, и ключевое слово, имеющее "среднюю" степень ассоциации относительно ключа k2 поиска на участке, обозначенном надписью "средняя" в области АrС, показанной в позиции (В) на фиг.15.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово с "низкой" степенью ассоциации относительно ключа k1 поиска, и ключевое слово с "низкой" степенью ассоциации относительно ключа k2 поиска на участке, обозначенном надписью "низкая" в области АrС, показанной в позиции (В) на фиг.15.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово, которое имеет "высокую" степень ассоциации относительно ключа k1 поиска, и ключевое слово, имеющее "среднюю" степень ассоциации относительно ключа k2 поиска на участке, обозначенном надписью "средняя" в области ArL, показанной в позиции (В) на фиг.15.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово с "высокой" степенью ассоциации относительно ключа k1 поиска, и ключевое слово с "низкой" степенью ассоциации относительно ключа k2 поиска на участке, обозначенном надписью "средняя" в области ArL, показанной в позиции (В) на фиг.15.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово со "средней" степенью ассоциации относительно ключа k1 поиска, и ключевое слово с "высокой" степенью ассоциации относительно ключа k2 поиска на участке, обозначенном надписью "средняя" в области ArL, показанной в позиции (В) на фиг.15.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово со "средней" степенью ассоциации относительно ключа k1 поиска, и ключевое слово с "низкой" степенью ассоциации относительно ключа k2 поиска на участке, обозначенном надписью "низкая" в области ArL, показанной в позиции (В) на фиг.15.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово с "низкой" степенью ассоциации относительно ключа k1 поиска, и ключевое слово с "высокой" степенью ассоциации относительно ключа k2 поиска на участке, обозначенном надписью "средняя" в области ArR, показанной в позиции (В) на фиг.15.

Кроме того, модуль управления 120 отображает миниатюрные изображения файлов изображения, имеющих ключевое слово с "низкой" степенью ассоциации относительно ключа k1 поиска, и ключевое слово со "средней" степенью ассоциации относительно ключа k2 поиска на участке, обозначенном надписью "низкая" в области ArR, показанной в позиции (В) на фиг.15.

Таким образом, как описано выше со ссылкой на фиг.15, в случае когда был выполнен поиск изображения с использованием двух ключей поиска, пользователю может быть представлено уведомление в отношении, имеет или нет миниатюрное изображение, отображаемое на экране 6G отображения, более сильную степень ассоциации в отношении ключа поиска.

Следует отметить, что такую обработку отображения результатов поиска изображения выполняют на этапе S109 при обработке, описанной со ссылкой на фиг.11 и 12. Также в случае этого примера модуль 120 управления управляет модулем 110 обработки разуплотнения, модулем 111 формирования отображаемого изображения и модулем 105 обработки отображения для отображения миниатюрных изображений, соответствующих данным изображения файлов изображения, выделенных как результаты изображения поиска изображения в соответствии с режимом (3) отображения, показанным на фиг.15.

Кроме того, здесь было приведено описание для случая использования двух ключей поиска, но настоящее изобретение не ограничивается этим. Можно использовать три или больше ключа поиска. Таким образом, даже в случае использования трех или больше ключей поиска должна быть предусмотрена область отображения, соответствующая каждому ключу поиска.

После этого, например, как описано со ссылкой на фиг.16, должны быть определены положения отображения (области отображения), где отображают миниатюрные изображения.

Кроме того, здесь было приведено описание на основе предположения, что были выделены файлы изображения, имеющие ключевое слово, взаимосвязанное с ключом k1 поиска, и ключевое слово, взаимосвязанное с ключом k2 поиска. Однако настоящее изобретение не ограничивается этим.

Например, возможен случай, в котором одно ключевое слово может быть одновременно связано как с ключом k1 поиска, так и с ключом k2 поиска. Даже в этом случае аналогично случаю с разными ключевыми словами положения отображения (области отображения) миниатюрных изображений должны быть определены в соответствии со степенью ассоциации относительно ключа k1 поиска и степенью ассоциации относительно ключа k2 поиска.

Следует отметить, что таблица (1) определения положения отображения, показанная на фиг.16, представляет собой пример и в соответствии с этим, само собой разумеется, что результаты поиска изображения могут отображаться в соответствии со степенью ассоциации относительно одного ключа поиска в соответствии с другой таблицей.

Режим (4) отображения результатов поиска изображения

Ниже будет приведено описание другого режима отображения результатов поиска в случае, как описано выше, когда пользователь выбрал ключ поиска, и будет выполнен поиск изображения, используя выбранный им ключ поиска. Здесь в качестве примера будет описан случай, когда два ключа поиска, используемые как буквенная информация, были выбраны, как описано со ссылкой на фиг.5А-7В.

На фиг.17 показана схема, предназначенная для описания режима (4) отображения результатов поиска в случае, когда поиск изображения выполняют из состояния, в котором два ключа поиска (буквенная информация) были выбраны, как описано со ссылкой на фиг.5А-7В.

На фиг.17 в позиции (А) показана схема, иллюстрирующая режим отображения результатов поиска в случае, когда поиск изображения был выполнен в соответствии с выбранными ключами поиска, и в позиции (В) показана схема, предназначенная для подробного описания области Аr отображения результатов поиска в позиции (А).

Также в случае режима (4) отображения, показанного на фиг.17, отображения K1 и K2 двух ключей поиска определяют одновременно, и поиск изображения в соответствии с этими соответствующими двумя ключами поиска выполняют аналогично случаю, описанному со ссылкой на фиг.15. Также в случае этого примера допустим, что ключ поиска, соответствующий отображению K1 ключа поиска, представляет собой ключ k1 поиска, и что ключ поиска, соответствующий отображению K2 ключа поиска, представляет собой ключ k2 поиска. Модуль 120 управления выполняет поиск и выделяет файлы изображения, имеющие как ключевое слово, относящееся к ключу k1 поиска, так и ключевое слово, относящееся к ключу k2 поиска, и отображает миниатюрные изображения, соответствующие данным изображения выделенных файлов изображения на экране 6G отображения.

Однако режим отображения миниатюрных изображений в значительной степени отличается от режима (3) отображения, описанного со ссылкой на фиг.15. В случае режима (4) отображения в соответствии с этим примером предусмотрены оси координат, соответствующие ключам k1 и k2 поиска, и миниатюрные изображения отображают в положениях, определенных относительно этих осей координат, соответственно. Более конкретно в случае такого примера области отображения назначают, как показано в позиции (В) на фиг.17 область Аr результата поиска, где отображают результаты поиска так, как показано в позиции (А) на фиг.17.

Как показано в позиции (В) на фиг.17, допустим, что на горизонтальной оси представлена ось координат для ключа k1 поиска, и на вертикальной оси представлена ось координат для ключа k2 поиска. После этого допустим, что область Аr отображения предусмотрена в области, ограниченной этими вертикальной и горизонтальной осями.

Затем допустим, что пересечение между горизонтальной осью и вертикальной осью представляет собой степень ассоциации "0", и в отношении горизонтальной оси степень ассоциации увеличивается по мере приближения к правой стороне, и в отношении вертикальной оси степень ассоциации увеличивается по мере приближения к верхней стороне.

После этого область Аr отображения результата поиска, сформированная в области, окруженной горизонтальной осью и вертикальной осью, разделяют на 9 малых областей Ar1-Аr9, как показано в позиции (В) на фиг.17.

После этого в случае когда поиск изображения был выполнен с использованием двух ключей k1 и k2 поиска, модуль 120 управления определяет его результаты поиска как области отображения миниатюрных изображений на основе степени ассоциации ключевого слова, соответствующего ключу k1 поиска, и степени ассоциации ключевого слова, соответствующего ключу k2 поиска. То есть модуль 120 управления определяет, где следует отображать миниатюрные изображения среди малых областей Ar1-Аr9.

На фиг.18 показана схема, предназначенная для описания таблицы (2) определения положения отображения, предназначенной для определения областей отображения миниатюрных изображений, в соответствии со степенью ассоциации с ключом поиска каждого из ключевых слов, соответствующих двум ключам k1 и k2 поиска.

Как также описано выше, модуль 120 управления выполняет поиск и выделяет файлы изображения, имеющие как ключевое слово, относящееся к ключу k1 поиска, так и ключевое слово, относящееся к ключу k2 поиска, и отображает миниатюрные изображения, соответствующие данным изображения выделенных файлов изображения на экране 6G отображения.

В этом случае модуль 120 управления определяет области отображения миниатюрных изображений, соответствующих данным изображения, найденных и выделенных файлов изображения, на основе таблицы (2) определения положения отображения, показанной на фиг.18.

В частности, как показано на фиг.18, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово, имеющее "высокую" степень ассоциации относительно ключа k1 поиска, и ключевое слово, имеющее "высокую" степень ассоциации относительно ключа k2 поиска в области Аr3, показанной в позиции (В) на фиг.17.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово с "высокой" степенью ассоциации относительно ключа k1 поиска, и ключевое слово, имеющее "среднюю" степень ассоциации для ключа k2 поиска в области Аr6, показанной в позиции (В) на фиг.17.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово, имеющего "высокую" степень ассоциации относительно ключа k1 поиска, и ключевое слово, имеющее "низкую" степень ассоциации относительно ключа k2 поиска в области Аr9, показанной в позиции (В) на фиг.17.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово со "средней" степенью ассоциации относительно ключа k1 поиска, и ключевое слово, имеющее "высокую" степень ассоциации относительно ключа k2 поиска в области Аr2, показанной в позиции (В) на фиг.17.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово со "средней" степенью ассоциации относительно ключа k1 поиска, и ключевое слово, имеющее "среднюю" степень ассоциации относительно ключа k2 поиска в области Аr5, показанной в позиции (В) на фиг.17.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово со "средней" степенью ассоциации относительно ключа k1 поиска, и ключевое слово, имеющее "низкую" степень ассоциации относительно ключа k2 поиска в области Аr8, показанной в позиции (В) на фиг.17.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово с "низкой" степенью ассоциации относительно ключа kl поиска, и ключевое слово, имеющее "высокую" степень ассоциации относительно ключа поиска k2 в области Ar1, показанной в позиции (В) на фиг.17.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения с "низкой" степенью ассоциации относительно ключа k1 поиска, и ключевое слово, имеющее "среднюю" степень ассоциации относительно ключа поиска k2 в области Аr4, показанной в позиции (В) на фиг.17.

Кроме того, модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово с "низкой" степенью ассоциации относительно ключа k1 поиска, и ключевое слово, имеющее "низкую" степень ассоциации относительно ключа k2 поиска в области Аr7, показанной в позиции (В) на фиг.17.

Таким образом, как описано выше со ссылкой на фиг.17, в случае когда был выполнен поиск изображения с использованием двух ключей поиска, пользователя уведомляют о том, насколько сильную степень ассоциации имеют миниатюрные изображения, отображаемые на экране 6G отображения, с каждым из двух ключей поиска.

Следует отметить, что такую обработку отображения результатов поиска изображения выполняют на этапе S109 обработки, описанном со ссылкой на фиг.11 и 12. Также в случае этого примера модуль 120 управления управляет модулем 110 обработки разуплотнения, модулем 111 формирования отображаемого изображения и модулем 105 обработки отображения для отображения миниатюрных изображений, соответствующих данным изображения файлов изображений, выделенных как результат поиска изображения в соответствии с режимом (4) отображения, показанным на фиг.17.

Кроме того, здесь было приведено описание для случая использования двух ключей поиска, но настоящее изобретение не ограничивается этим. Можно использовать три или больше ключа поиска. Таким образом, даже в случае использования трех или больше ключей поиска должна быть предусмотрена ось координат, соответствующая каждому из ключей поиска.

После этого в областях отображения миниатюрных изображений должно быть предусмотрено пространство, формируемое этим множеством осей координат. Затем, как описано со ссылкой на фиг.18, положения отображения (области отображения), где отображают миниатюрные изображения, должны быть определены в соответствии с комбинацией степени ассоциации для каждого из ключей поиска.

Кроме того, здесь было приведено описание на основе предположения, что были выделены файлы изображения, имеющие ключевое слово, относящееся к ключу k1 поиска, и ключевое слово, относящееся к ключу k2 поиска. Однако настоящее изобретение не ограничивается этим.

Например, возникает случай, когда одно ключевое слово относится как к ключу k1 поиска, так и к ключу k2 поиска. Даже в таком случае аналогично случаю с разными ключевыми словами положения отображения (области отображения) миниатюрных изображений должны быть определены в соответствии со степенью ассоциации относительно ключа k1 поиска и степенью ассоциации относительно ключа k2 поиска.

Режим (5) отображения результатов поиска изображения

Далее будет приведено описание в отношении другого режима отображения результатов поиска в случае, после того как пользователь выберет ключ поиска, и поиск изображения будет выполнен с использованием выбранного им ключа поиска. Здесь случай, в котором были выбраны два ключа поиска, используемые как буквенная информация, будет описан как пример, как описано со ссылкой на фиг.5А-7В.

В случае такого режима (5) отображения протяженность отображения результатов поиска изменяется в соответствии с расстоянием между отображениями ключа поиска, соответствующими выбранным двум ключам поиска соответственно (расстояние на экране дисплея).

На фиг.19 показана схема, предназначенная для описания режима (5) отображения результатов поиска в случае когда поиск изображения выполняют из состояния, в котором два ключа поиска (буквенная информация) выбирают, как описано со ссылкой на фиг.5А-7В.

(А) На фиг.19 показана иллюстрация режима отображения результатов поиска в случае, когда поиск изображения был выполнен в соответствии с выбранными ключами поиска. Кроме того, в позиции (В) на фиг.19 показана схема, предназначенная для описания взаимосвязи положения на экране 6G отображения двух отображений ключа поиска, отображаемых на экране 6G отображения. Кроме того, в позиции (С) на фиг.19 показана схема, предназначенная для подробного описания области Аr отображения результата поиска в позиции (А) на фиг.19.

В случае режима (5) отображения, показанного на фиг.19 также, отображения К1 и K2 двух ключей поиска определяют одновременно, и поиск изображения в соответствии с этими соответствующими двумя ключами поиска выполняют так же, как и для случая, описанного со ссылкой на фиг.15. Также в случае этого примера допустим, что ключ поиска, соответствующий отображению К1 ключа поиска, представляет собой ключ k1 поиска, и ключ поиска, соответствующий отображению К2 ключа поиска, представляет собой ключ k2 поиска.

Модуль 120 управления выполняет поиск и выделяет файлы изображения, имеющие как ключевое слово, относящиеся к ключу k1 поиска, так и ключевое слово, относящееся к ключу k2 поиска, и отображает миниатюрные изображения, соответствующие данным изображения выделенных файлов изображения на экране 6G отображения.

В этом случае модуль 120 управления просто не отображает миниатюрные изображения, которые представляют собой результаты поиска, на экране 6G отображения.

Модуль 120 управления изменяет протяженность отображения результатов поиска в соответствии с операцией пользователя для поверхности операций сенсорной панели 107.

В частности, как показано в позиции (А) на фиг.19, пользователь выполняет операцию перетягивания путем перемещения пальцев или тому подобное в контакте с положениями на поверхности операций сенсорной панели 107, соответствующими положениям отображения отображений К1 и К2 ключа поиска, все еще находясь в контакте с поверхностью операций.

В ответ на такую операцию перетягивания модуль 120 управления может изменять положения отображения для отображений К1 и К2 ключа поиска путем управления модулем 111 формирования информации отображения и модулем 105 обработки отображения. Затем модуль 120 управления может распознать, какой вид информации отображается и в каком месте на экране 6G отображения.

В соответствии с этим, модуль 120 управления может постоянно соответствующим образом распознавать, как показано в позиции (В) на фиг.19, расстояние d между отображением К1 ключа поиска и отображением К2 ключа поиска, положения отображения которых изменяются. Поэтому модуль 120 управления управляет протяженностью отображения результатов поиска изображения в соответствии с отображением К1 ключа поиска и отображением К2 ключа поиска, положения отображения которых могут изменяться в соответствии с операцией перетягивания, выполняемой пользователем, и расстоянием d на экране 6G отображения.

В случае этого примера, в исходном состоянии поиска изображения положения отображения на экране 6G отображения для отображения К1 ключа поиска и отображения К2 отображения ключа поиска определяют как положения, в которых расстояние d между ними меньше, чем пороговое значение d1.

Как также описано выше, в случае когда пользователь вводит палец или тому подобное в контакт с положениями на поверхности операций сенсорной панели 107, соответствующими положениям отображения для отображения К1 ключа поиска и отображения К2 ключа поиска, модуль 120 управления детектирует это для выполнения поиска изображения, используя соответствующие ключи k1 и k2 поиска.

После этого в случае когда расстояние d между отображением К1 ключа поиска и отображением К2 ключа поиска меньше, чем пороговое значение d1, модуль 120 управления отображает только миниатюрные изображения, соответствующие данным изображения файлов изображения, имеющих ключевое слово с "высокой" степенью ассоциации в отношении ключей поиска в области АrН.

В этом случае только миниатюрные изображения, соответствующие данным изображения файлов изображения, имеющих ключевое слово с "высокой" степенью ассоциации относительно ключа k1 поиска, и ключевое слово, степень ассоциации которого "высокая" относительно ключа k2 поиска, отображают на центральном участке АrН в области Аr отображения результата поиска.

После этого пусть будет выполнена операция перетягивания, состоящая в перемещении пальцами или тому подобное, находящимися в контакте, в положениях поверхности операций сенсорной панели 107, в соответствии с положениями отображения для отображений K1 и K2 ключа поиска, в результате которой положения отображения для отображений K1 и K2 ключа поиска переместились.

В это время в случае когда расстояние d между отображением Kl ключом поиска и отображением K2 ключа поиска больше, чем пороговое значение d1, и также равно или меньше, чем пороговое значение d2, модуль 120 управления отображает миниатюрные изображения, соответствующие данным изображения файлов изображения, имеющих ключевое слово со "средней" степенью ассоциации в отношении ключей поиска на области АrМ.

В этом случае модуль 120 управления выполняет не только отображение миниатюрных изображений в соответствии с "высокой" степенью ассоциации в области АrН, но также и отображение миниатюрных изображений со "средней" степенью ассоциации в области АrМ.

Кроме того, файлы изображения со "средней" степенью ассоциации относительно ключей поиска представляют собой две следующие комбинации. Одна из них состоит в том, что файлы изображения, имеющие ключевое слово с "высокой" степенью ассоциации относительно одного из ключей k1 и k2 поиска и ключевое слово со "средней" или "низкой" степенью ассоциации относительно другого ключа поиска, определяют как представляющие "среднюю" степень ассоциации. Другие файлы, которые представляют собой файлы изображения, имеющие ключевое слово со "средней" степенью ассоциации относительно ключа k1 поиска и ключевое слово со "средней" степенью относительно ключа k2 поиска, определяют как имеющее "среднюю" степень ассоциации.

Затем допустим, что была дополнительно выполнена операция перетягивания, состоящая в перемещении пальцев или тому подобное, находящихся в контакте, в положениях на поверхности операционной сенсорной панели 107, соответствующих положениям отображения для отображений K1 и K2 ключей поиска, и положения отображения для отображений K1 и K2 ключа поиска переместились.

В это время в случае когда расстояние d между отображением K1 ключа поиска и отображением K2 ключа поиска больше, чем пороговое значение d2, модуль 120 управления отображает миниатюрные изображения, соответствующие данным изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого "низкая", относительно ключей поиска в области ArL.

В этом случае модуль 120 управления выполняет не только отображение миниатюрных изображений со степенью ассоциации "высокая" в области АrН и отображает миниатюрные изображения со степенью ассоциации "средняя" в области АrМ, но также отображает миниатюрные изображения со степенью ассоциации "низкая" в области ArL.

Кроме того, файлы изображения со степенью ассоциации "низкая" относительно ключей поиска представляют собой следующие две комбинации. Одна состоит в том, что файлы изображения, имеющие ключевое слово со степенью ассоциации "средняя" в отношении одного из ключей k1 и k2 поиска, и ключевое слово, степень ассоциации которого "низкая" относительно другого ключа поиска, определены как имеющие степень ассоциации "низкая". Другая состоит в том, что файлы изображения, имеющие ключевое слово, степень ассоциации которого "низкая" относительно ключа k1 поиска, и ключевое слово, степень ассоциации которого "низкая" относительно ключа k2 поиска, определены как имеющие степень ассоциации "низкая".

Детали обработки отображения результата поиска

Далее будет представлено описание обработки в случае, когда результаты поиска изображения отображают в режиме (5) отображения, описанном со ссылкой на фиг.19. На фиг.20 показана блок-схема последовательности операций, предназначенная для описания обработки в случае когда результаты поиска изображения отображают в режиме (5) отображения, описанном со ссылкой на фиг.19.

Обработку, показанную на фиг.20, выполняют на этапе S109 обработки во время поиска изображения, описанного со ссылкой на фиг.11 и 12. В частности, когда пользователь вводит свои пальцы или тому подобное в контакт с отображениями K1 и K2 ключа поиска и передает инструкцию выполнить поиск изображения, модуль 120 управления выполняет обработку отображения результата поиска, показанную на фиг.20 на этапе S109, показанном на фиг.11.

Вначале модуль 120 управления выполняет поиск изображения на основе указанных ключей k1 и k2 поиска и содержания словаря степени ассоциации ключа поиска, соответствующего этим ключам поиска, и выделяет файлы изображения, имеющие ключевое слово, относящееся к упомянутым ключам k1 и k2 поиска (этап S109A).

После этого модуль 120 управления определяет, произошел или нет контакт в положениях поверхности операций сенсорной панели 107, соответствующим положениям отображений К1 и К2 ключей поиска, на основе данных координат, передаваемых из сенсорной панели 107 (этап S109B).

Когда во время обработки определения на этапе S109B определяют, что контакт закончился, модуль 120 управления заканчивает обработку, показанную на фиг.20, возвращается на этап S109, показанный на фиг.11, и выполняет обработку, начиная с этапа S110 на фиг.12.

Когда при обработке определения на этапе S109B определяют, что контакт не закончился, модуль 120 управления определяет, равно или меньше расстояние d между отображением К1 ключа поиска и отображением К2 ключа поиска, чем пороговое значение d1 (этап S109C).

Когда при обработке определения на этапе S109C определяют, что расстояние d между отображением К1 ключа поиска и отображением К2 ключа поиска равно или меньше, чем пороговое значение d1, модуль 120 управления выполняет обработку отображения на этапе S109D.

В частности, модуль 120 управления отображает миниатюрные изображения данных изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой" относительно ключей k1 и k2 поиска на центральном участке АrН области Аr отображения (этап S109D). После этого модуль 120 управления повторяет обработку, начиная с этапа S109B.

Когда при обработке определения на этапе S109C определяют, что расстояние d между отображением К1 ключа поиска и отображением К2 ключа поиска не равно и не меньше, чем пороговое значение d1, модуль 120 управления выполняет обработку определения на этапе S109E.

В частности, модуль 120 управления определяет, больше или нет расстояние d между отображением К1 ключа поиска и отображением К2 ключа поиска, чем заданное пороговое значение d1, и также равно или меньше, чем пороговое значение d2 (этап S109E).

Когда выполняют определение при обработке определения на этапе S109E, что расстояние d между отображением К1 ключа поиска и отображением К2 ключа поиска больше, чем пороговое значение d1, и также равно или меньше, чем пороговое значение d2, модуль 120 управления выполняет обработку отображения на этапе S109F.

В этом случае модуль 120 управления отображает миниатюрные изображения на центральном участке АrН области Аr отображения результата поиска и области АrМ на ее внешней стороне (этап S109F).

В частности, на этапе S109F модуль 120 управления отображает миниатюрные изображения для данных изображения для файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой" относительно ключей k1 и k2 поиска на центральном участке АrН.

Кроме того, на этапе S109F модуль 120 управления отображает миниатюрные изображения данных изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "средней" относительно ключей k1 и k2 поиска в области АrМ. После обработки на этапе S109F модуль 120 управления повторяет обработку, начиная с этапа S109B.

Кроме того, когда определяют при обработке определения на этапе S109E, что расстояние d между отображением K1 ключа поиска и отображением K2 ключа поиска больше, чем пороговое значение d1, и также не равно и не меньше, чем пороговое значение d2, модуль 120 управления выполняет обработку определения на этапе S109G.

То есть модуль 120 управления определяет, является или нет расстояние d между отображением K1 ключа поиска и отображением K2 ключа поиска большим, чем пороговое значение d2 (этап S109G).

Когда во время обработки на этапе S109G определяют, что расстояние d между отображением K1 ключа поиска и отображением K2 ключа поиска больше, чем пороговое значение d2, модуль 120 управления выполняет обработку отображения на этапе S109H.

В этом случае модуль 120 управления отображает миниатюрные отображения на центральном участке АrН области Аr отображения результата поиска в области АrМ за его пределами и в области ArL, которая расположена дальше снаружи от него (этап S109H).

В частности, на этапе S109H модуль 120 управления отображает миниатюрные изображения, такие как данные изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой" относительно ключей k1 и k2 поиска на центральном участке АrН. Затем на этапе S109H модуль 120 управления отображает миниатюрные изображения данных изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "средней" относительно ключей k1 и k2 поиска в области АrМ. Далее на этапе S109H модуль 120 управления отображает миниатюрные изображения для данных изображения файлов изображения, имеющих ключевое слово, степень ассоциации которых является "низкой" относительно ключей k1 и k2 поиска в области ArL.

После обработки на этапе S109H, когда при обработке определения на этапе S109G определяют, что расстояние d между отображением K1 ключа поиска и отображением K2 ключа поиска не больше, чем пороговое значение d2, модуль 120 управления повторяет обработку, начиная с этапа S109B.

Следует отметить, что в случае данного примера, когда выполняют обработку отображения на этапе S109D, этапе S109F и этапе S109H, после обработки очистки отображения, в области Аr отображения результата поиска вначале выполняют обработку отображения миниатюрных изображений.

Таким образом, даже после того как будут отображены все миниатюрные изображения со степенью ассоциации "высокая", "средняя" и "низкая", в случае когда расстояние d между отображением К1 ключа поиска и отображением К2 ключа поиска сужается, могут быть отображены, например, только миниатюрные изображения, имеющие степень ассоциации "высокая".

В случае этого примера операцию длительного нажима на отображение ключа поиска не требуется выполнять, и результаты поиска изображения могут отображаться на протяженности, желательной для пользователя в соответствии с намерением пользователя.

Режим (6) отображения результатов поиска изображения

Далее будет приведено описание в отношении другого режима отображения результатов поиска в случае после того, как описано выше, как пользователь выбрал ключ поиска, и поиск изображения был выполнен с использованием выбранного им ключа поиска. Здесь также, таким же образом, как и в случае режима (5) отображения, описанного со ссылкой на фиг.19 и 20, в качестве примера будет описан случай, в котором два ключа поиска, используемые как буквенная информация, были выбраны в качестве примера, как описано со ссылкой на фиг.5А-7В.

Также в случае такого режима (6) отображения, таким же образом, как и в случае описанного выше режима (5) отображения, протяженность отображения результатов поиска изменяется в соответствии с расстоянием между отображениями ключа поиска, соответствующими выбранным двум ключам поиска, соответственно (расстояние на экране дисплея).

Однако в случае описанного ниже режима (6) отображения отображаемые результаты поиска изображения изменяются, когда учитывают не только расстояние d между отображениями ключа поиска, но также и учитывают перемещение отображения ключа поиска двух отображений ключей поиска.

На фиг.21 показана схема, предназначенная для описания режима (6) отображения результатов поиска в случае, когда поиск изображения выполняют из состояния, в котором два ключа поиска (буквенная информация) выбирают, как описано со ссылкой на фиг.5А-7В.

В позиции (А) на фиг.21 иллюстрируется режим отображения результатов поиска в случае когда поиск изображения был выполнен в соответствии с выбранными ключами поиска. Кроме того, в позиции (В) на фиг.21 показана схема, предназначенная для описания того, что результаты поиска отображают в области Аr отображения результата поиска позиции в (А) на фиг.21.

Также в случае режима (6) отображения, показанном на фиг.21, так же как и в случае, описанном выше со ссылкой на фиг.15, два отображения К1 и К2 ключа поиска определены одновременно и выполняют поиск изображения в соответствии с этими соответствующими двумя ключами поиска. Таким же образом, как и в случае этого примера, допустим, что ключ поиска, соответствующий отображению К1 ключа поиска, представляет собой ключ k1 поиска, и ключ поиска, соответствующий отображению К2 ключа поиска, представляет собой ключ k2 поиска.

Модуль 120 управления выполняет поиск и выделяет файлы изображения, имеющие оба ключевых слова, взаимосвязанных с ключом k1 поиска, и ключевое слово, относящееся к ключу k2 поиска, и отображает миниатюрные изображения, соответствующие данным изображения выделенных файлов изображения, на экране 6G отображения.

В этом случае модуль 120 управления просто не отображает миниатюрные изображения, которые представляют результаты поиска на экране 6G отображения. В случае такого режима (6) отображения модуль 120 управления также изменяет протяженность отображения поиска результатов поиска в соответствии с операцией пользователя по поверхности операций сенсорной панели 107.

В частности, как показано в позиции (А) на фиг.21, пользователь выполняет операцию перетягивания для перемещения из пальцев или тому подобное, введенных в контакт с положениями на поверхности операций сенсорной панели 107, в соответствии положениями отображения для отображений К1 и К2 ключа поиска, одного из пальцев или тому подобное, все еще находящихся в контакте с этой поверхностью операций.

В ответ на эту операцию перетягивания модуль 120 управления может изменить положения отображения для отображений ключа поиска путем управления модулем 111 формирования информации отображения и модулем 105 обработки отображения. После этого модуль 120 управления распознает, какого вида информация отображалась и в каком месте на экране 6G отображения, как описано выше.

В соответствии с этим, модуль 120 управления может распознать, отображение какого ключа поиска из отображений К1 и К2 ключа поиска изменило свое положение отображения. Кроме того, модуль 120 управления может постоянно соответствующим образом распознавать, как и в случае описанного выше режима (5) отображения, расстояние d между отображением К1 ключа поиска и отображением К2 ключа поиска.

Поэтому модуль 120 управления отображает миниатюрные изображения файлов изображения, имеющих ключевое слово со степенью ассоциации "высокая" относительно ключа поиска, соответствующего отображению ключа поиска, положение отображения которого не было изменено, и ключевое слово, степень ассоциации которого является "средней" или "низкой" относительно ключа поиска, соответствующего отображению ключа поиска, положение отображения которого было изменено.

В позиции (А) на фиг.21 иллюстрируется случай, в котором пользователь выполняет операцию перетягивания пальцев или тому подобное, находящихся в контакте с отображением К2 ключа поиска, без изменения положения отображения для отображения К1 ключа поиска, для перемещения положения отображения на отображении К2 ключа поиска К2.

В этом случае модуль 120 управления отображает миниатюрные изображения для файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой" относительно ключа k1 поиска, соответствующего отображению К1 ключа поиска, и ключевое слово, степень ассоциации которого является "средней" или "низкой" относительно ключа k2 поиска, соответствующего отображению К2 ключа поиска.

После этого отображение результатов поиска отображают в пределах области Аr отображения результата поиска, в пределах экрана отображения, как показано в позиции (А) и (В) на фиг.21.

Например, в случае, когда положения отображения для обоих отображений К1 и К2 ключа поиска не были перемещены, модуль 120 управления отображает миниатюрные изображения для файлов изображения, имеющих ключевое слово со степенью ассоциации "высокая" относительно ключа k1 поиска, и также ключевое слово, степень ассоциации которого "высокая" относительно ключа k2 поиска.

В случае когда пользователь переместил отображение К2 ключа поиска на заданное количественное значение или больше, модуль 120 управления отображает в дополнение к уже отображаемым изображениям миниатюрные изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой" относительно ключа k1 поиска, и также ключевое слово, степень ассоциации которого является "средней" относительно ключа k2 поиска.

В случае когда пользователь переместил отображение K2 ключа поиска на заданную величину или больше, модуль 120 управления отображает в дополнение к уже отображаемым изображениям миниатюрные изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой" относительно ключа k1 поиска, и также ключевое слово, степень ассоциации которого является "низкой" относительно ключа k2 поиска.

В этом случае также модуль 120 управления должен постепенно отображать миниатюрные изображения в соответствии со степенью ассоциации относительно ключей поиска в направлении наружу от центра области Аr отображения результата поиска.

Следует отметить, что в качестве примера описание было приведено для случая, в котором положение отображения для отображения K2 ключа поиска переместилось без изменения положения отображения для отображения K1 ключа поиска. И, наоборот, само собой разумеется, что положение отображения для отображения K1 ключа поиска переместилось без изменений положения отображения для отображения K2 ключа поиска таким образом, что результаты поиска изображения также могут отображаться путем изменения степени ассоциации ключа поиска k1 без изменения степени ассоциации ключа k2 поиска.

Кроме того, либо степень ассоциации "средняя" для ключа поиска, соответствующего отображению ключа поиска, положение которого переместилось, или степень ассоциации "низкая", установленная для цели поиска, должна быть изменена в соответствии с расстоянием d между отображениями K1 и K2 ключа поиска.

Таким образом, в том что касается двух ключей поиска, используемых для поиска изображения, степень ассоциации одного из ключей поиска фиксируют, и степень ассоциации другого ключа поиска изменяют таким образом, что можно отображать результаты поиска изображения.

Подробности обработки отображения результата поиска

Далее приведено описание в отношении обработки для случая, когда результаты поиска изображения отображают в режиме (6) дисплея, описанного со ссылкой на фиг.21. На фиг.22 показана блок-схема последовательности операций, предназначенная для описания обработки в случае, когда результаты поиска изображения отображают в режиме (6) отображения, описанного со ссылкой на фиг.21.

Обработку, показанную на фиг.22, выполняют на этапе S109 обработки во время поиска изображения, описанного со ссылкой на фиг.11 и 12. В частности, после того как пользователь введет свои пальцы или тому подобное в контакт с отображениями K1 и K2 ключа поиска и подаст инструкцию на выполнение поиска изображения, модуль 120 управления выполняет обработку отображения результата поиска, показанную на фиг.22 на этапе S 109, показанном на фиг.11.

Вначале модуль 120 управления выполняет поиск изображения на основе указанных ключей k1 и k2 поиска и содержания словаря степени ассоциации ключа поиска, соответствующего этим ключам поиска, и выделяет файлы изображения, имеющие ключевое слово, взаимосвязанное с указанными ключами k1 и k2 поиска (этап S109a).

После этого модуль 120 управления отображает миниатюрные изображения данных изображения файлов изображения, имеющих ключевое слово со степенью ассоциации "высокая" относительно ключей k1 и k2 поиска на центральном участке области Аr отображения (этап S109b).

После этого модуль 120 управления определяет, прекратился или нет контакт с этими положениями на поверхности операций сенсорной панели 107, соответствующими положениям отображения для отображений K1 и K2 ключа поиска, на основе данных координат, передаваемых из сенсорной панели 107 (этап S109c).

Когда при обработке определения на этапе S109c определяют, что контакт прекратился, модуль 120 управления заканчивает обработку, показанную на фиг.22, возвращается на этап S109, показанный на фиг.11, и выполняет обработку, начиная с этапа S110 на фиг.12.

Когда при обработке определения на этапе S109c определяют, что контакт не закончился, модуль 120 управления определяет, изменилось или нет положение отображения для отображения K1 ключа поиска на основе данных координат из сенсорной панели 107 (этап S109d).

Когда при обработке определения на этапе S109d определяют, что положение отображения для отображения K1 ключа поиска изменилось, модуль 120 управления выполняет обработку для отображения результатов поиска изображения путем регулировки степени ассоциации для ключа k1 поиска в соответствии с инструкциями пользователя (этап S109e).

В частности, на этапе S109e модуль 120 управления содержит степень ассоциации относительно ключа k2 поиска, уменьшает степень ассоциации относительно ключа k1 поиска, выделяет миниатюрное изображение, имеющее соответствующую степень ассоциации по результатам поиска изображения, и дополнительно отображает их. После этого модуль 120 управления повторяет обработку, начиная с этапа S109c.

Кроме того, когда при обработке определения на этапе S109d определяют, что положение отображения для отображения K1 ключа поиска не изменилось, модуль 120 управления определяет, изменилось или нет положение отображения для отображения K2 ключа поиска (этап S109f).

Когда при обработке определения на этапе S109f определяют, что положение отображения для отображения К2 ключа поиска изменилось, модуль 120 управления выполняет обработку для отображения результатов поиска изображения путем регулирования степени ассоциации относительно ключа k2 поиска в соответствии с инструкциями пользователя (этап S109g).

В частности, на этапе S109g модуль 120 управления поддерживает степень ассоциации относительно ключа k1 поиска, уменьшает степень ассоциации относительно ключа k2 поиска, выделяет миниатюрное изображение, имеющее соответствующую степень ассоциации, из результатов поиска изображения, и дополнительно отображает его. После этого модуль 120 управления повторяет обработку, начиная с этапа S109c.

Кроме того, когда при обработке определения на этапе S109f определяют, что положение отображения K2 для отображения ключа поиска не изменилось, обработку по регулированию результатов поиска не выполняют, и соответственно модуль 120 управления повторяет обработку с этапа S109c.

Таким образом, как также описано выше, для двух ключей поиска результаты поиска изображения могут отображаться при регулировании степени ассоциации в отношении одного из ключей поиска.

Следует отметить, что в случае примера, описанного со ссылкой на фиг.21 и 22, миниатюрное изображение, степень ассоциации которого регулировали, отображают так, чтобы добавить его к уже отображаемым миниатюрным изображениям. Однако настоящее изобретение не ограничивается этим.

Например, в случае когда положения отображения для обоих из отображений K1 и K2 ключа поиска не переместились, модуль 120 управления отображает только миниатюрные изображения файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой" относительно ключа k1 поиска, и также ключевое слово, степень ассоциации которого является "высокой" относительно ключа k2 поиска.

В случае когда пользователь переместил отображение K2 ключа поиска на заданную величину или больше, при сохранении положения отображения для отображения K1 ключа поиска, вначале модуль 120 управления удаляет уже отображаемые изображения. После этого модуль 120 управления отображает только миниатюрные изображения для файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой" относительно ключа k1 поиска, и также ключевое слово, степень ассоциации которого является "средней" относительно ключа k2 поиска.

В случае когда пользователь дополнительно переместил отображение К2 ключа поиска на заданную величину или больше при сохранении положения отображения для отображения К1 ключа поиска, вначале модуль 120 управления удаляет уже отображаемые изображения. После этого модуль 120 управления отображает только миниатюрные изображения для файлов изображения, имеющих ключевое слово, степень ассоциации которого является "высокой" относительно ключа k1 поиска, и также ключевое слово, степень ассоциации которого является "низкой" относительно ключа k2 поиска.

Таким образом, в случае когда пользователь переместил положение отображения для отображения ключа поиска, отображение непосредственно перед этим очищают, в результате чего могут отображаться только миниатюрные изображения для файлов изображения, имеющих степень ассоциации, определенную пользователем.

После этого пользователь последовательно перемещает положение отображения каждого из отображения K1 ключа поиска и отображения K2 ключа поиска. В таком случае могут отображаться только миниатюрные изображения для файлов изображения, имеющих ключевое слово, степень ассоциации которого является "средней" относительно ключа k1 поиска, и ключевое слово, степень ассоциации которого является "средней" относительно ключа k2 поиска.

Аналогично могут отображаться только миниатюрные изображения для файлов изображения, имеющих ключевое слово, степень ассоциации которого является "средней" относительно ключа k1 поиска, и ключевое слово, степень ассоциации которого является "низкой" относительно ключа k2 поиска.

Первая модификация

В устройстве 100 формирования изображения в соответствии с описанным выше вариантом выполнения выполняли поиск файлов изображения, имеющих ключевое слово, соответствующее ключу поиска. То есть описанный выше вариант выполнения представляет собой случай, в котором ключ поиска представляет собой информацию ключевого слова.

Однако ключи поиска не ограничиваются информацией ключевого слова. Аналогично изображения также можно детектировать, используя само изображение, в частности информацию анализа изображения в качестве ключа поиска. В устройстве 100 формирования изображения в соответствии с этой первой модификацией само изображение используется как ключ поиска и выполняет поиск изображения.

На фиг.23 показана схема, предназначенная для описания случая, в котором изображения используются как ключи поиска для выполнения поиска изображения. Как показано в позиции (а) на фиг.23, изображения, которые можно использовать как ключ поиска, отображают так, что их можно различать, например, с подсветкой отображения или тому подобное.

Как описано со ссылкой на фиг.2, в каждом файле изображения информация анализа изображения, полученная путем выполнения анализа данных изображения для файла изображения, добавлена к ним как метаданные. С помощью такой информации анализа изображения, как описано выше, используют различные технологии, такие как детектирование кромки, анализ цвета и т.п., в результате чего свойства изображения в соответствии с каждой частью данных изображения могут быть показаны путем представления в цифровой форме, при этом между изображениями можно сравнивать степень схожести изображения, композиции и субъекты.

Поэтому в результате анализа изображения изображение, которое было определено как имеющее изображение с четкими свойствами, например, такое как изображение, где, в основном, снято лицо человека, изображение здания или изображение сцены с четкими контурами определяют как пригодное для использования в качестве ключа поиска.

В частности, файл изображения для изображения, которое можно использовать как ключ поиска, устанавливают с возможностью его различения, путем включения флага файла изображения для изображения, которое доступно как ключ поиска, или тому подобное. Таким образом, как показано в позиции (а) на фиг.23, миниатюрное изображение для изображения, которое может стать ключом поиска, можно различать по выделенному изображению или тому подобное.

После этого, как показано в позиции (b) на фиг.23, пользователь вводит пальцы или тому подобное в контакт с поверхностью операций сенсорной панели 107 в положениях отображения миниатюрных изображений для целевых изображений.

В этом случае модуль 120 управления может распознать, какое миниатюрное изображение было указано как ключ поиска, на основе данных координат из сенсорной панели 107, и миниатюрное изображение, отображаемое в положении на экране дисплея, соответствующем положению поверхности операций, обозначенное этими данными координат.

Модуль 120 управления считывает информацию анализа изображения из файла изображения, соответствующего указанному миниатюрному изображению, и, используя эту информацию анализа изображения в качестве ключа поиска, выделяет файл изображения, имеющий информацию анализа изображения, аналогичную этому ключу поиска. После этого модуль 120 управления отображает, как показано в позиции (b) на фиг. 23, миниатюрные изображения выделенных файлов изображения путем сбора их вместе в заданном положении на экране дисплея.

В случае примера, показанного на фиг.23, представлен случай, в котором два миниатюрных изображения указаны для использования в качестве ключей поиска. После этого в случае данного примера выделяют изображения, аналогичные обоим результатам анализа изображения указанных двух изображений. Следует отметить, что возможно выделять изображение, аналогичное изображению с анализами результата изображения для указанных двух изображений в соответствии с инструкциями пользователя.

Таким образом, изображение определяют как ключ поиска, в результате чего изображения могут быть сужены человеком или путем построения или тому подобное, используя изображение как условие поиска. То есть могут быть выделены изображения, аналогичные изображению, указанному как ключ поиска.

Следует отметить, что выше было приведено описание на основе предположения, что в качестве результата анализа изображения изображения, имеющие четкие свойства, определены заранее как изображение, которое может быть указано как ключ поиска. Однако настоящее изобретение не ограничивается этим. Само собой разумеется, что все изображения можно указать как ключ поиска. В этом случае миниатюрные изображения не обязательно отображать с выделением. Кроме того, пользователь может заранее самостоятельно устранить изображение, которое требуется использовать как ключ поиска.

В частности, как описано со ссылкой на фиг.9, пользователь выбирает "область лица человека в пределах изображения" как информацию анализа изображения и, как описано со ссылкой на фиг.23, указывает изображение, которое требуется использовать как ключ поиска.

В этом случае модуль 120 управления выполняет поиск и выделяет взаимосвязанные изображения с носителя 135 записи на основе "области лица человека в пределах изображения" из информации анализа изображения для изображения, указанного как ключ поиска, в результате чего его результат можно отображать в соответствии со степенью ассоциации.

Кроме того, пользователь выбирает "количество лиц в пределах изображения" как информацию анализа изображения и, как описано со ссылкой на фиг.23, определяет изображение, которое требуется использовать как ключ поиска. В этом случае модуль 120 управления выполняет поиск и выделяет взаимосвязанные изображения с носителя 135 записи на основе "количества лиц в пределах изображения" для информации анализа изображения для изображения, указанного как ключ поиска, таким образом, что его результат может отображаться в соответствии со степенью ассоциации.

Кроме того, в случае, когда пользователь использует "величину улыбки на лице улыбающегося человека в пределах изображения", которая также представляет собой информацию анализа изображения, модуль 120 управления может выполнять поиск взаимосвязанных изображений с носителя 135 записи на основе "величины улыбки на лице улыбающегося человека в пределах изображения" для изображения, указанного как ключ поиска.

Кроме того, в случае, когда пользователь использует "свойства всего изображения", которые также представляют собой информацию анализа изображения, модуль 120 управления может выполнять поиск взаимосвязанных изображений на носителе 135 записи на основе "свойств всего изображения", для изображения, указанного как ключ поиска.

В этом случае степень схожести получают по оттенку и сложности изображения, взаимосвязанные изображения выделяют в соответствии с такой степенью схожести, таким образом, что взаимосвязанные изображения могут быть классифицированы по степеням ассоциации "высокая", "средняя" и "низкая".

Таким образом, в устройстве 100 формирования изображения, в соответствии с настоящим вариантом выполнения, используют информацию анализа изображения, и само изображение используют как ключ поиска, в результате чего изображения, взаимосвязанные с данным ключом поиска, можно находить и выделять.

Как описано выше, даже в случае, когда изображение используют как ключ поиска, результаты поиска могут отображаться в режимах отображения, показанных на фиг.10, 13, 15, 17, 19 и 20.

Вторая модификация

Кроме того, информацию ГСН (информацию о положении), включенную в каждый файл изображения, можно использовать как ключ поиска. В этом случае информацию о положении устанавливают для использования как ключ поиска, отображение ключа поиска, соответствующее этой информации о положении, отображают на экране 6G отображения. Кроме того, пользователь устанавливает информацию о положении путем ввода фактической информации о положении (долгота, широта), используемой как ключ поиска, или выбранной информации о положении из множества информации о положении, подготовленной заранее, или тому подобное.

После этого пользователь вводит свой палец или тому подобное в контакт с отображением ключа поиска, соответствующим информации о положении, в результате чего модуль 120 управления выполняет поиск изображения, используя информацию о положении. В этом случае модуль 120 управления выполняет поиск файлов изображения, имеющих информацию ГСН, принадлежащую заданной радиальной области, с информацией о положении (долгота, широта), используемой как ключ поиска, в качестве центра.

В частности, модуль 120 управления выполняет поиск и выделяет файлы изображения, имеющие, например, информацию ГСН, принадлежащую области, радиус которой меньше 10 км, в качестве файла изображения, имеющего "высокую" степень ассоциации, с информацией о положении (долгота, широта), используемой как ключ поиска, в качестве центра.

Кроме того, модуль 120 управления выполняет поиск и выделяет файлы изображения, имеющие, например, информацию ГСН, принадлежащую области, радиус которой равен или больше, чем 10 км и меньше, чем 20 км, в качестве файла изображения, имеющего "среднюю" степень ассоциации, с информацией о положении (долгота, широта), используемой как ключ поиска в качестве центра.

Кроме того, модуль 120 управления выполняет поиск и выделяет файлы изображения, имеющие, например, информацию ГСН, принадлежащую области, радиус которой равен или больше, чем 120 км, и меньше, чем 30 км, в качестве файла изображения, имеющего "низкую" степень ассоциации, с информацией о положении (долгота, широта), используемой как ключ поиска, в качестве центра.

Таким образом, становится возможным использовать информацию о положении в качестве ключа поиска и выполнять поиск файлов изображения в соответствии со степенью ассоциации, определенной с использованием информации о положении, определенной как ее ключ поиска, в качестве ссылочной информации.

Таким образом, в устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения информацию о положении (информацию ГСН) используют как ключ поиска, в результате чего можно находить и выделять изображения, относящиеся к данном ключу поиска.

Как описано выше, даже в случае когда информацию о положении используют как ключ поиска, результаты поиска можно отображать в режимах отображения, показанных на фиг.10, 13, 15, 17, 19 и 20.

Определение результатов поиска изображения

С устройством 100 формирования изображения в соответствии с настоящим вариантом выполнения, как описано выше, в случае когда выполняют поиск изображения и его результаты отображают на экране 6G отображения модуля 106 дисплея, пользователь выполняет заданные операции таким образом, что результаты поиска можно определять и сохранять в папке.

На фиг.24 показана схема, предназначенная для описания операции, используемой для определения результатов поиска. Устройство 100 формирования изображения в соответствии с настоящим вариантом выполнения включает в себя, как описано со ссылкой на фиг.1, датчик 137 движения. В соответствии с функцией датчика 137 движения, также описанной выше, каждый из случая когда устройство 100 формирования изображения наклоняют, случая когда им трясут, и случая когда по нему постукивают, можно детектировать и уведомлять о нем модуль 120 управления.

Поэтому, как показано на фиг.24, в случае когда поиск изображения был выполнен, и результаты поиска отображают на экране 6G отображения, в случае когда устройство 100 формирования изображения наклоняют, в случае когда им потряхивают, или в случае когда по нему постукивают, эти действия распознаются как операции определения результатов поиска.

В частности, как показано в позиции (а) на фиг.24, в случае когда результаты поиска отображают на экране 6G отображения, после того как датчик 137 движения детектирует, что устройство 100 формирования изображения наклонили, модуль 120 управления распознает такую операцию наклона как операцию определения результатов поиска.

После этого модуль 120 управления обрабатывает файлы изображения, соответствующие миниатюрным изображениям, отображаемым в данный момент времени, на экране 6G отображения, как показано в позиции (d) на фиг.24, например, так, чтобы сохранить их в папке изображения, выбранной пользователем.

В этом случае, например, как показано в позиции (d) на фиг.24, отображают образ папки изображений и отображают изображение образа, в котором файлы изображения, полученные в результате поиска изображения, последовательно сохранены в папке изображения, в результате чего пользователь может получить ясное уведомление о том, что результаты поиска сохранены в этой папке.

Кроме того, как показано в позиции (b) на фиг.24, в случае когда результаты поиска отображают на изображении 6G отображения, после того как датчик 137 движения детектирует, что устройство 100 формирования изображения потряхивают влево и вправо, например модуль 120 управления распознает такую операцию потряхивания как определяющую операцию относительно результатов поиска.

После этого модуль 120 управления обрабатывает файлы изображения, соответствующие миниатюрным изображениям, отображаемым в данный момент времени на экране 6G отображения, как показано в позиции (d) на фиг.24, например для сохранения их в папке изображения, выбранной пользователем.

В этом случае так же, как показано в позиции (d) на фиг.24, отображают образ папки изображения и отображают изображение этого образа, в котором файлы изображения, полученные в результате поиска изображения, последовательно сохраняют в папке изображения, в результате чего пользователь может получить ясное уведомление о том, какие результаты поиска сохранены в папке.

Кроме того, как показано в позиции (с) на фиг.24, в случае когда результаты поиска отображают в отображении 6G отображения, после того как датчик 137 движения детектирует, что по устройству 100 формирования изображения выполнили, например, постукивание, модуль 120 управления распознает такую операцию встряхивания как определяющую операцию для результатов поиска.

После этого модуль 120 управления обрабатывает файлы изображения, соответствующие миниатюрным изображениям, отображаемым в данный момент времени на экране 6G отображения, как показано в позиции (d) на фиг.24, например, для сохранения их в папке изображения, выбранной пользователем.

В этом случае так же, как показано в позиции (d) на фиг.24, отображают образ папки изображения и отображают изображение этого образа, в котором файлы изображения, полученные как результат поиска изображения, последовательно сохраняют в папке изображения, в результате чего пользователь может получить ясное уведомление о том, что результаты поиска сохранены в этой папке.

Следует отметить, что выше здесь было приведено описание, в котором датчик 137 движения детектирует, что по устройству 100 формирования изображения постукивали, но настоящее изобретение не ограничивается этим. Устройство 100 формирования изображения в соответствии с настоящим вариантом выполнения включает в себя, как описано со ссылкой на фиг.1, сенсорную панель на установленном верхнем участке 136. Поэтому может быть выполнена компоновка, в которой в случае детектирования через сенсорную панель на установленном верхнем участке 136 что пользователь выполнил постукивание по устройству 100 формирования изображения, модуль 120 управления выполняет обработку сохранения результатов поиска в папке.

Кроме того, как также описано выше, устройство 100 формирования изображения в соответствии с настоящим вариантом выполнения может выполнять поиск изображения в соответствии со степенью ассоциации относительно ключа поиска для отображения его результатов. Поэтому диапазон результатов поиска для сохранения в папке можно регулировать в соответствии с частотой операции для определения результатов поиска.

На фиг.25А-25С показаны схемы, предназначенные для описания случая, в котором диапазон результатов поиска изображения, сохраняемых в папке, изменяется в соответствии со степень наклона устройства 100 формирования изображения, которое наклоняет пользователь.

Так же, как описано выше, датчик 137 движения, воплощенный в устройстве 100 формирования изображения в соответствии с настоящим вариантом выполнения, может детектировать, в какой степени устройство 100 формирования изображения наклоняют и в каком направлении.

Поэтому, как показано на фиг.25А, в случае когда датчик 137 движения детектирует, что устройство 100 формирования изображения было наклонено на заданный угол X1 или больше, модуль 120 управления сохраняет файлы изображения, определенные как имеющие "высокую" степень ассоциации в качестве ключа поиска в папке изображения.

После этого, как показано на фиг.25В, в случае когда датчик 137 движения детектирует, что устройство 100 формирования изображения было дополнительно наклонено на заданный угол Х2 или больше, модуль 120 управления сохраняет файлы изображения, определенные как имеющие "среднюю" степень ассоциации относительно ключа поиска в папке изображения.

После этого, как показано на фиг.25С, в случае когда датчик 137 движения детектирует, что устройство 100 формирования изображения было дополнительно наклонено на заданный угол Х3 или больше, модуль 120 управления сохраняет файлы изображения, определенные как имеющие "низкую" степень ассоциации относительно ключа поиска в папке изображения.

После этого в случае когда устройство 100 формирования изображения возвращается в состояние, в котором устройство формирования изображения находится в ровном положении, из состояния, показанного на фиг.25А, можно предотвратить сохранение файлов изображения, имеющих "среднюю" степень ассоциации или "низкую" степень ассоциации относительно ключа поиска в папке изображения.

Аналогично в случае когда устройство 100 формирования изображения возвращается в состояние, в котором устройство формирования изображения находится в ровном положении из состояния, показанного на фиг.25В, можно предотвратить сохранение файлов изображения, имеющих "низкую" степень ассоциации относительно ключа поиска в папке изображения.

Кроме того, в случае примера, показанного на фиг.25А-25С, углы XI, Х2 и Х3 удовлетворяют взаимосвязи X1<Х2<Х3 и их устанавливают как X1=15 градусов, S2=30 градусов и Х3=45 градусов, например. Само собой разумеется, что здесь приведен только пример и соответственно могут быть установлены различные величины.

Таким образом, пользователь устройства 100 формирования изображения в соответствии с настоящим вариантом выполнения может сохранять результаты поиска требуемого диапазона в папке целевого изображения, используя простые операции.

Обработка определения результата поиска изображения

На фиг.26 показана блок-схема последовательности операций, предназначенная для описания обработки в случае изменения диапазона результатов поиска изображения, сохраняемых в папке, в соответствии с наклоном устройства 100 формирования изображения, которое пользователь наклоняет, как описано со ссылкой на фиг.25А-25С.

Обработку, показанную на фиг.26, преимущественно выполняют с помощью модуля 120 управления, например, на этапе S117 при обработке поиска изображения, описанной со ссылкой на фиг.11 и 12.

Вначале модуль 120 управления отслеживает выход детектирования из датчика 137 движения для определения, была ли выполнена операция наклона устройства 100 формирования изображения (основного модуля) (этап S1170). Когда при обработке определения на этапе S1170 определяют, что устройство формирования изображения не было наклонено, модуль 120 управления повторяет обработку на этапе S1170, находясь в состоянии ожидания до тех пор, пока устройство формирования изображения не будет наклонено.

Когда при обработке определения на этапе S1170 определяют, что устройство формирования изображения было наклонено, модуль 120 управления определяет, равен или больше наклон Х устройства 100 формирования изображения, чем заданный первый наклон Х1 (этап S1171).

Когда при обработке определения на этапе S1171 определяют, что наклон Х устройства 100 формирования изображения не равен или не больше, чем заданный первый наклон X1, модуль 120 управления определяет, было ли устройство 100 формирования изображения возвращено в ровное состояние (этап S1172).

Когда при обработке определения на этапе S1172 определяют, что устройство 100 формирования изображения не было возвращено в ровное состояние, модуль 120 управления повторяет обработку, начиная с этапа S1171. Кроме того, когда при обработке определения на этапе S1172 определяют, что устройство 100 формирования изображения вернулось в ровное состояние, модуль 120 управления заканчивает обработку, показанную на фиг.26.

Кроме того, когда при обработке определения на этапе S1171 определяют, что наклон Х устройства 100 формирования изображения равен или больше, чем заданный первый наклон XI, модуль 120 управления сохраняет группу изображений, определенных как имеющих "высокую" степень ассоциации относительно ключа поиска в заданной папке (этап S1173).

После этого модуль 120 управления определяет, равен или больше наклон Х устройства 100 формирования изображения заданному второму наклону Х2 (этап S1174).

Когда при обработке определения на этапе S1174 определяют, что наклон Х устройства 100 формирования изображения не равен или не больше, чем заданный второй наклон Х2, модуль 120 управления определяет, вернулось или нет устройство 100 формирования изображения в ровное состояние (этап S1175).

Когда при обработке определения на этапе S1175 определяют, что устройство 100 формирования изображения еще не было возвращено в ровное состояние, модуль 120 управления повторяет обработку, начиная с этапа S1174. Кроме того, когда при обработке определения на этапе S1175 определяют, что устройство 100 формирования изображения вернулось в ровное состояние, модуль 120 управления заканчивает таким образом обработку на фиг.26.

Когда при обработке определения на этапе S1174 определяют, что наклон Х устройства 100 формирования изображения равен или больше, чем заданный второй наклон Х2, модуль 120 управления дополнительно сохраняет группу изображения, определенную как имеющую "среднюю" степень ассоциации относительно ключа поиска в данной папке (этап S1176).

После этого модуль 120 управления определяет, равен или больше наклон Х устройства 100 формирования изображения, чем заданный третий наклон Х3 (этап S1177).

Когда при обработке определения на этапе S1177 определяют, что наклон Х устройства 100 формирования изображения не равен или не больше, чем заданный третий наклон Х3, модуль 120 управления определяет, вернулось или нет устройство формирования изображения 100 в равновесное состояние (этап S1178).

Когда при обработке определения на этапе S1178 определяют, что устройство 100 формирования изображения не было возвращено в равновесное состояние, модуль 120 управления повторяет обработку, начиная с этапа S1177. Кроме того, когда при обработке определения на этапе S1178 определяют, что устройство 100 формирования изображения вернулось в равновесное состояние, модуль 120 управления заканчивает эту обработку, показанную на фиг.26.

Когда при обработке определения на этапе S1177 определяют, что наклон Х устройства 100 формирования изображения равен или больше, чем заданный третий наклон Х3, модуль 120 управления дополнительно сохраняет группу изображений, определенную как имеющую "низкую" степень ассоциации относительно ключа поиска, в этой папке (этап S1179). После этого модуль 120 управления заканчивает обработку на фиг.26.

Таким образом, пользователь устройства 100 формирования изображения в соответствии с настоящим вариантом выполнения выполняет операцию наклона устройства 100 формирования изображения после выполнения поиска изображения таким образом, что результаты поиска изображения могут быть сохранены в заданной папке.

Кроме того, пользователь может сохранять результаты поиска требуемого диапазона в папке целевого изображения путем регулирования степени наклона устройства 100 формирования изображения.

Следует отметить, что фиг.25 и 26 были описаны для случая, когда операция наклона устройства 100 формирования изображения использовалась как операция начала обработки для сохранения результатов поиска изображения, в качестве примера. Однако в дополнение к этому операцию сотрясения устройства 100 формирования изображения или операцию постукивания по устройству 100 формирования изображения также можно использовать как операцию для начала обработки, для сохранения результатов поиска изображения.

В этом случае в соответствии с количеством операций сотрясения устройства 100 формирования изображения или количеством операций постукивания по устройству 100 формирования изображения можно управлять диапазоном результатов поиска изображения, которые должны быть сохранены в папке. Кроме того, в случае когда силу операции сотрясения устройства 100 формирования изображения или силу операции постукивания по устройству 100 формирования изображения можно детектировать, диапазоном поиска изображения, которое должно быть сохранено в папке, можно управлять в соответствии с этой силой.

Преимущества

Устройство 100 формирования изображения в соответствии с описанным выше вариантом выполнения может выполнять поиск изображений, относящихся к ключу поиска, указанному пользователем. После этого результаты поиска изображения могут быть представлены так, что пользователь получает возможность визуального распознавания степени ассоциации относительно ключа поиска (условие поиска).

Кроме того, описанное выше устройство 100 формирования изображения может сохранять результаты поиска изображения в папке с помощью простых операций. Кроме того, диапазоном результатов поиска изображения можно управлять в соответствии со степенью операций пользователя.

Кроме того, операция для начала поиска изображения представляет собой операцию ввода пальца или тому подобное в контакт с отображением ключа поиска, и операция для сохранения результатов поиска изображения в папке представляет собой операцию наклона, потряхивания, постукивания или тому подобное в устройстве 100 формирования изображения. Таким образом, поиск изображения и обработка сохранения результатов поиска могут быть легко выполнены с помощью интуитивных операций.

Способ и программа в соответствии с настоящим изобретением

Следует отметить, что как очевидно из приведенного выше варианта выполнения, способ и программа в соответствии с настоящим изобретением могут быть реализованы, преимущественно, как способ и программа, описанные со ссылкой на блок-схему последовательности операций, показанную на фиг.11 и 12. То есть способ, описанный со ссылкой на фиг.11 и 12, представляет собой вариант выполнения в соответствии со способом настоящего изобретения.

Программа для выполнения обработки, описанной со ссылкой на фиг.11 и 12, представляет собой вариант выполнения программы в соответствии с настоящим изобретением. В соответствии с этим, программа в соответствии с настоящим изобретением реализована и воплощена в виде цифровой фотокамеры или различных типов устройств обработки изображения, в результате чего может быть реализовано устройство обработки изображения в соответствии с настоящим изобретением.

Также могут быть реализованы способ и программа, описанные в виде блок-схем последовательности операций, показанных на фиг.14, 20, 22 и 26. Кроме того, на этапе S109 на фиг.11 также могут быть реализованы способ и программа для выполнения обработки отображения, описанной со ссылкой на фиг.15 и 16. Аналогично на этапе S109 на фиг.11 также могут быть реализованы способ и программа для выполнения обработки отображения, описанной со ссылкой на фиг.17 и 18.

Другие варианты выполнения и модификации

Следует отметить, что в описанном выше варианте выполнения модуль 106 дисплея реализует устройство дисплея, носитель 135 записи реализует модуль сохранения, и модуль 106 дисплея взаимодействует с сенсорной панелью 107 для реализации модуля указания ключа поиска. Кроме того, модуль 120 управления, преимущественно, реализует модуль поиска и модуль управления отображением.

Кроме того, сенсорная панель 107 реализует указанный модуль детектирования положения, и модуль 120 управления реализует модуль управления отображением ключа поиска. Кроме того, датчик 137 движения и сенсорная панель на установленном верхнем участке 136 реализуют модуль детектирования движения.

Кроме того, в описанном выше варианте выполнения модуль 106 дисплея взаимодействует с сенсорной панелью 107 для реализации модуля указания ключа поиска, но настоящее изобретение не ограничено этим. Модуль указания ключа поиска также может быть реализован, например, с использованием аппаратной кнопки, предусмотренной на модуле 131 операций.

В частности, после указания ключа поиска, для его использования для поиска изображения, в случае когда будет нажата заданная аппаратная кнопка для выполнения поиска изображения, используя этот ключ поиска, и с ее помощью будет выполнена операция, может быть выполнен поиск изображения с использованием этого ключа поиска.

В этом случае если используют два или больше ключа поиска, множество заданных аппаратных кнопок, для выполнения поиска изображения предусматривают в соответствии с ними, в результате чего поиск изображения может быть выполнен так же, как и в случае использования сенсорной панели. Кроме того, эти аппаратные кнопка предусматривают, например, как две ползунковые аппаратные кнопки, в результате чего можно выполнять поиск изображения, используя два ключа поиска, как описано в приведенном выше варианте выполнения.

Кроме того, в описанном выше варианте выполнения был выполнен поиск файлов изображения, имеющих степень ассоциации на трех уровнях, таких как высокая степень ассоциации, средняя степень ассоциации и низкая степень ассоциации относительно ключей поиска, но настоящее изобретение не ограничено этим. Само собой разумеется, что степень ассоциации может быть дополнительно разделена более точно.

Кроме того, в описанном выше варианте выполнения в качестве примера был описан случай, в котором настоящее изобретение применяется для устройства формирования изображения, но настоящее изобретение не ограничивается этим. Например, настоящее изобретение можно применять в терминалах сотовых телефонов, в портативных терминалах обработки информации, называемых PDA (КПК, карманный персональный компьютер), или тому подобное, которые выполнены с возможностью обработки данных изображения, и в различных устройствах обработки изображения, выполненных с возможностью другой обработки данных изображения.

Кроме того, отображаемые данные изображения не ограничиваются данными изображения неподвижного изображения. Например, настоящее изобретение можно применять в устройствах обработки изображения, в которых представительные изображения или миниатюрные изображения из множества элементов содержания движущегося изображения, сохраненного на носителе записи, используются как объекты отображения.

Кроме того, в описанном выше варианте выполнения сенсорная панель 107, включенная в устройство 100 формирования изображения, была описана как панель, выполненная с возможностью детектировать палец пользователя или тому подобное, но настоящее изобретение не ограничивается этим. Например, в случае когда пользователь приближает палец или тому подобное близко к поверхности операций так, что он не входит в контакт с поверхностью операций, это можно использовать для реализации настоящего изобретения, если только можно будет детектировать положение, к которому приблизился палец.

То есть сенсорная панель 107 не ограничивается панелью контактного типа. Например, можно использовать сенсорную панель бесконтактного типа, в которой можно детектировать случай, когда, что палец или тому подобное был поднесен достаточно близко, чтобы произошло изменение потенциала на поверхности операций или изменение яркости в этом положении, и такое измененное положение на поверхности операций можно определять как указанное положение.

Кроме того, в описанном выше варианте выполнения, как показано на фиг.10 и т.п., положения отображения и направления отображения и т.п. отображаемых миниатюрных изображений отображали в разбросанном виде (случайно), но настоящее изобретение не ограничивается этим.

Направление отображения может быть фиксированным. То есть в случае выполнения поиска изображения используется свойство, состоящее в том, что миниатюрные изображения для изображений, взаимосвязанных с ключом поиска, отображают так, что их собирают вместе в заданных положениях на экране дисплея, и другие участки можно отображать в различных режимах.

Кроме того, как также было описано выше, данные миниатюрных изображений заранее формируют из данных изображения и добавляют их к каждому файлу изображения, и в соответствии с этим данные миниатюрных изображений не обязательно требуется предоставлять во время отображения миниатюрных изображений, и в соответствии с этим можно уменьшить нагрузку на устройство.

Настоящая заявка содержит предмет изобретения, относящийся к тому, что раскрыто в Приоритетной заявке JP 2008-309248 на японский патент, поданной в японское патентное ведомство 4 декабря 2008 г., полное содержание которой приведено здесь в качестве ссылочного материала.

Для специалистов в данной области техники будет понятно, что различные модификации, комбинации, подкомбинации и изменения могут возникать в зависимости от конструктивных требований и других факторов, если только они находятся в переделах объема приложенной формулы изобретения или ее эквивалентов.

Изобретение относится к устройству отображения различных изображений, содержащее большой экран дисплея, такому как цифровая камера. Техническим результатом является расширение возможностей информационного поиска изображений благодаря ассоциативным связям относительно заданного ключа поиска. Модуль указания ключа поиска выполнен с возможностью указания ключа поиска, используемого для поиска изображения; модуль поиска выполнен с возможностью поиска и выделения данных изображения, имеющих информацию, относящуюся к ключу поиска, указанную модулем указания ключа поиска из модуля сохранения; и модуль управления отображением, выполненный с возможностью управления изображением, соответствующим данным изображения, выделенным модулем поиска, предназначенным для отображения в положении, соответствующем степени ассоциации относительно ключа поиска на экране дисплея устройства дисплея. 3 н. и 4 з.п. ф-лы, 26 ил.

1. Устройство обработки изображения, содержащее:
устройство дисплея;
средство сохранения, выполненное с возможностью сохранения множества данных изображения, имеющих информацию, соответствующую ключу поиска;
средство указания ключа поиска, выполненное с возможностью указания ключа поиска, используемого для поиска изображения;
средство поиска, выполненное с возможностью поиска и выделения данных изображения, имеющих информацию, относящуюся к ключу поиска, указанного с помощью упомянутого средства указания ключа поиска, из упомянутого средства сохранения; и
средство управления отображением, выполненное с возможностью управления изображением, соответствующим данным изображения, выделенным упомянутым средством поиска, для отображения на экране дисплея устройства дисплея в положении, соответствующем степени ассоциации с упомянутым ключом поиска, отличающееся тем, что
средство управления отображением дополнительно выполнено с возможностью определения степени ассоциации путем измерения длительности контакта устройства ввода, находящимся в контакте с экраном дисплея, для указания ключа поиска, выполняемого через упомянутое средство указания ключа поиска.

2. Устройство обработки изображения по п.1, в котором упомянутое средство указания ключа поиска может выполнять указание, используя множество ключей поиска;
и в котором упомянутое средство управления дисплеем, выполнено с возможностью выполнять управление для отображения изображения на экране дисплея устройства дисплея, в соответствии с данными изображения, выделенными упомянутым средством поиска по положению, соответствующему каждому из упомянутого множества ключей поиска, и в соответствии со степенью ассоциации данных изображения с упомянутым множеством ключей поиска.

3. Устройство обработки изображения по п.1, в котором упомянутое средство указания ключа поиска может выполнять указание с использованием множества ключей поиска;
и в котором упомянутое средство управления отображением выполнено с возможностью выполнять управление, для отображения изображения на экране дисплея устройства дисплея в соответствии с данными изображения, выделенными упомянутым средством поиска в системе координат, имеющей ось координат, соответствующую каждому из упомянутого множества ключей поиска, при этом положения изображений взаимосвязаны с осями координат и соответствуют степеням ассоциации упомянутого множества ключей поиска.

4. Устройство обработки изображения по любому из пп.1-3, дополнительно содержащее:
средство указания поиска, выполненное с возможностью определения текущих отображаемых результатов поиска, в случае приема операции указания для определения результатов поиска после отображения изображения, соответствующего данным изображения, выделенным упомянутым средством поиска на упомянутом экране дисплея под управлением упомянутого средства управления отображением.

5. Устройство обработки изображения по п.4, дополнительно содержащее:
средство детектирования движения, выполненное с возможностью детектирования движения упомянутого устройства обработки изображения;
в котором операция указания для определения упомянутых результатов поиска представляет собой одну из операции, для наклона наискось упомянутого устройства обработки изображения, детектируемого через упомянутое средство детектирования движения, операцию сотрясения упомянутым устройством обработки изображения, и операцию постукивания по упомянутому устройству обработки изображения, для сохранения упомянутых результатов поиска.

6. Устройство обработки изображения по п.5, в котором упомянутое средство определения поиска выполнено с возможностью управления протяженностью, определяемой в соответствии со степенью ассоциации относительно ключа поиска, в соответствии со степенью движения упомянутого устройства обработки изображения, детектируемого упомянутым средством детектирования движения, и в котором степень движения представляет собой одну из степени наклона устройства обработки изображения, количества или силы сотрясения устройства обработки изображения, и количества или силы постукиваний по устройству обработки изображения.

7. Способ отображения изображения, содержащий следующие этапы:
указывают ключ поиска, используемый для поиска изображения с помощью средства указания ключа поиска;
выполняют поиск и выделение в случае, когда ключ поиска будет указан при упомянутом указании данных изображения, имеющих информацию, относящуюся к указанному ключу поиска, из средства сохранения, предназначенного для сохранения множества данных изображения, имеющих информацию, соответствующую ключу поиска; и
выполняют управление таким образом, что средство управления отображением отображает изображение, соответствующее данным изображения, выделенным при упомянутом этапе поиска, по положению, соответствующему степени ассоциации с упомянутым ключом поиска на экране дисплея устройства дисплея, отличающийся тем, что
определяют степень ассоциации путем измерения длительности контакта устройства ввода, находящимся в контакте с экраном дисплея, для указания ключа поиска, выполняемого через упомянутое средство указания ключа поиска.