УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ЗАХВАТА ИЗОБРАЖЕНИЙ И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2016 года по МПК G06T3/00 G06K9/46 

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству обработки изображений, устройству захвата изображений и способу обработки изображений и, в частности, к методике обрезки изображений.

ОПИСАНИЕ СВЯЗАННОГО УРОВНЯ ТЕХНИКИ

[0002] В последние годы определенный объект, например человек, обнаруживается на изображении не только с использованием устройств захвата изображений, таких как цифровые камеры, но также с использованием приложений управления изображениями и т.п. Патент Японии № 4625356 раскрывает методику для обрезки изображения в соответствии с определенным объектом, который обнаружен.

[0003] В соответствии с этим Патентом Японии № 4625356 позиция обрезки определяется так, что один объект располагается в заранее установленной позиции на обрезанном изображении. Однако использование раскрытого в Патенте Японии № 4625356 способа для изображения, включающего в себя множество объектов, может привести к выполнению следующей нежелательной обрезки.

[0004] Например, предположим случай, когда предпочтительное кадрирование обрезанного изображения устанавливается так, что объект находится на прямых линиях, которые делят обрезанное изображение на три равные части в горизонтальном направлении. В случае, когда только один человек (объект) 1201 присутствует на изображении 1200, как показано на фиг. 16A, результирующее обрезанное изображение 1202 соответствует установленному предпочтительному кадрированию. С другой стороны, предположим случай, когда два человека присутствуют на изображении 1210, как показано на фиг. 16B. В этом случае, если изображение обрезается так, чтобы включить человека 1211 в предпочтительное кадрирование, то часть человека 1212 может быть не включена в предпочтительное кадрирование, как показано на результирующем обрезанном изображении 1213.

[0005] Между тем выложенный Патент Японии № 2007-19893 раскрывает методику для установки множества областей обрезки для некоторого изображения в соответствии с предопределенными условиями, которые предварительно установлены, и для формирования множества изображений обрезки из этого изображения на основе установленных областей обрезки.

[0006] Однако, если изображения обрезки формируются в соответствии с множеством областей обрезки, которые установлены, как описано в выложенном Патенте Японии № 2007-19893, то может формироваться множество похожих изображений обрезки.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0007] Настоящее изобретение создавалось в связи с такими проблемами в традиционной методике. Настоящее изобретение предоставляет устройство обработки изображений, устройство захвата изображений и способ обработки изображений, которые формируют предпочтительные изображения обрезки.

[0008] Настоящее изобретение в своем первом аспекте предоставляет устройство обработки изображений, содержащее: средство задания для задания областей объекта из изображения; средство установки для установки множества возможных областей обрезки (кандидатов-областей обрезки) для каждой из областей объекта, заданных средством задания; средство оценивания для получения значений оценки множества возможных областей обрезки, установленных средством установки; и средство выбора для выбора предопределенного количества областей обрезки из множества возможных областей обрезки, где средство выбора выбирает предопределенное количество областей обрезки на основе подобий среди множества возможных областей обрезки и на основе значений оценки множества возможных областей обрезки.

[0009] Настоящее изобретение в своем втором аспекте предоставляет устройство обработки изображений, содержащее: средство задания для задания областей объекта из изображения; и средство установки для установки множества возможных областей обрезки для каждой из областей объекта, заданных средством задания, где средство установки устанавливает возможные области обрезки так, что области объекта размещаются в предопределенных позициях в возможных областях обрезки, и меняет предопределенные позиции в зависимости от по меньшей мере одного из количества, размеров, типов и размещений областей объекта, заданных средством задания.

[0010] Настоящее изобретение в своем третьем аспекте предоставляет способ обработки изображений, содержащий: этап задания, состоящий в задании областей объекта из изображения; этап установки, состоящий в установке множества возможных областей обрезки для каждой из областей объекта, заданных на этапе задания; этап оценивания для получения значений оценки множества возможных областей обрезки, установленных на этапе установки; и этап выбора, состоящий в выборе предопределенного количества областей обрезки из множества возможных областей обрезки, где этап выбора выбирает области обрезки на основе подобий среди множества возможных областей обрезки и на основе значений оценки множества возможных областей обрезки.

[0011] Настоящее изобретение в своем четвертом аспекте предоставляет способ обработки изображений, содержащий: этап задания, состоящий в задании областей объекта из изображения; и этап установки, состоящий в установке множества возможных областей обрезки для каждой из областей объекта, заданных на этапе задания, где этап установки устанавливает возможные области обрезки так, что области объекта размещаются в предопределенных позициях в возможных областях обрезки, и меняет предопределенные позиции в зависимости от по меньшей мере одного из количества, размеров, типов и размещений областей объекта, заданных на этапе задания.

[0012] Дополнительные признаки настоящего изобретения станут очевидными из нижеследующего описания типовых вариантов осуществления (со ссылкой на приложенные чертежи).

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0013] Фиг. 1 - блок-схема, показывающая функциональную конфигурацию цифровой камеры 100 в соответствии с вариантом осуществления настоящего изобретения.

[0014] Фиг. 2 - блок-схема, показывающая внутреннюю конфигурацию, используемую для обработки по обрезке, выполняемой узлом 105 обработки изображений.

[0015] Фиг. 3 показывает примеры соотношений сторон и размеров возможных областей обрезки.

[0016] Фиг. 4 - блок-схема последовательности операций, показывающая пример обработки для установки приоритетов возможных областей объекта.

[0017] Фиг. 5A показывает пример вычисления значения оценки, соответствующего площади возможной области объекта, а фиг. 5B показывает пример вычисления значения оценки, соответствующего расстоянию от центра изображения до возможной области объекта.

[0018] Фиг. 6 - блок-схема последовательности операций, показывающая пример обработки по определению возможной области обрезки.

[0019] Фиг. 7A показывает размер области лица, фиг. 7B показывает размер области тела, оцененный из размера области лица, фиг. 7C показывает пример, в котором по меньшей мере одна из области лица и области тела интересующего объекта перекрывает область лица или область тела другого объекта, и фиг. 7D показывает пример, в котором по меньшей мере одна из области лица и области тела интересующего объекта не перекрывает область лица или область тела другого объекта.

[0020] Фиг. 8 показывает схемы для описания предпочтительных размещений интересующей области лица при независимой обрезке.

[0021] Фиг. 9 - блок-схема последовательности операций, показывающая пример обработки по оценке для независимой обрезки.

[0022] Фиг. 10A показывает пример, в котором величина выступания целевой возможной области объекта за пределы целевого изображения является большой, а фиг. 10B показывает пример, в котором величина выступания целевой возможной области объекта за пределы целевого изображения является небольшой.

[0023] Фиг. 11A, 11B и 11C показывают схемы для описания способов для вычисления значения оценки в обработке по оценке для независимой обрезки.

[0024] Фиг. 12 показывает схемы для описания предпочтительных размещений области лица при множественной обрезке.

[0025] Фиг. 13 - блок-схема последовательности операций, показывающая пример обработки по оценке для множественной обрезки.

[0026] Фиг. 14 показывает схемы для описания обработки для случая, где область лица находится за пределами возможной области обрезки.

[0027] Фиг. 15 - блок-схема последовательности операций, показывающая пример обработки для выбора области обрезки для каждой области объекта.

[0028] Фиг. 16A и 16B - схемы для описания проблемы традиционной методики обрезки.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0029][ВАРИАНТ ОСУЩЕСТВЛЕНИЯ]

Сейчас будет подробно описываться пояснительный вариант осуществления настоящего изобретения со ссылкой на чертежи. Следует отметить, что в одном описанном ниже варианте осуществления настоящее изобретение применяется к цифровой камере, допускающей формирование изображения путем обрезки произвольной области из целевого изображения, при этом цифровая камера служит в качестве одного примера устройства обработки изображений. Однако настоящее изобретение применимо к любому устройству, допускающему установку области обрезки для целевого изображения.

[0030]<<КОНФИГУРАЦИЯ ЦИФРОВОЙ КАМЕРЫ 100>>

Фиг. 1 - блок-схема, показывающая функциональную конфигурацию цифровой камеры 100 в соответствии с вариантом осуществления настоящего изобретения.

[0031] Узел 101 управления является, например, CPU и управляет операциями узлов, включенных в цифровую камеру 100. Точнее говоря, узел 101 управления управляет операциями узлов путем считывания рабочих программ для узлов, сохраненных в ROM 102, загрузки считанных рабочих программ в RAM 103 и исполнения рабочих программ.

[0032] ROM 102 является, например, перезаписываемым энергонезависимым запоминающим устройством. ROM 102 хранит информацию о параметрах и т.п., необходимую для операций узлов, в дополнение к рабочим программам для узлов, включенных в цифровую камеру 100. RAM 103 является энергозависимым запоминающим устройством. RAM 103 используется не только в качестве области, в которую загружаются рабочие программы узлов, но также в качестве области памяти для временного хранения промежуточных данных, выведенных при операциях узлов.

[0033] Узел 104 получения сигнала изображения выводит цифровые сигналы изображения. Узел 104 получения сигнала изображения является, например, датчиком изображений, таким как датчик на CCD или на CMOS. Узел 104 получения сигнала изображения получает аналоговые сигналы изображения путем фотоэлектрического преобразования оптического изображения, которое образуется на поверхности формирования изображения с помощью оптической системы, которая не показана на чертежах, посредством захвата изображения. Узел 104 получения сигнала изображения также применяет предопределенную обработку изображений, например обработку по (выполнению) дискретизации, обработку по регулировке (выполнению регулировки) усиления и обработку по аналого-цифровому преобразованию (выполнению аналого-цифрового преобразования), к полученным аналоговым сигналам изображения и выводит цифровые сигналы изображения. Узел 104 получения сигнала изображения может конфигурироваться для приема и вывода любого сигнала изображения посредством внешнего носителя записи и сети.

[0034] Узел 105 обработки изображений применяет обработку изображений, например обработку по преобразованию цветов и обработку по увеличению/уменьшению, к цифровым сигналам изображения (в дальнейшем называемым просто изображением). Узел 105 обработки изображений также выполняет обработку по обрезке для извлечения произвольной области из входного изображения.

[0035]<КОНКРЕТНАЯ КОНФИГУРАЦИЯ УЗЛА 105 ОБРАБОТКИ ИЗОБРАЖЕНИЙ>

Со ссылкой на фиг. 2 нижеследующее предоставляет дополнительное описание функциональной конфигурации технологической линии, ассоциированной с обработкой по обрезке, выполняемой узлом 105 обработки изображений в настоящем варианте осуществления.

[0036] Узел 111 извлечения области объекта обнаруживает область объекта, соответствующую определенному объекту, включенному во входное изображение (цель). В нижеследующем описании настоящего варианта осуществления узел 111 извлечения области объекта в качестве области объекта обнаруживает область лица, соответствующую лицу человека, включенную в целевое изображение. Однако варианты осуществления настоящего изобретения этим не ограничиваются. Например, типы области объекта могут включать в себя лицо живого объекта помимо человека и объект, имеющий внешний вид со специфичным шаблоном. Кроме того, в нижеследующем описании настоящего варианта осуществления узел 111 извлечения области объекта обнаруживает область объекта из изображения яркости, соответствующего целевому изображению, введенному в узел 105 обработки изображений. Однако область объекта не ограничивается обнаруженной из изображения яркости. В качестве альтернативы, область объекта может быть обнаружена из цветоразностных сигналов, соответствующих целевому изображению. Например, узел 111 извлечения области объекта выводит информацию о центральных координатах обнаруженной области лица на целевом изображении и размер обнаруженной области лица в результате обнаружения области объекта.

[0037] Кроме того, если нельзя обнаружить область лица из входного изображения, то узел 111 извлечения области объекта разделяет изображение на множество блоков и получает оттенок каждого блока, чтобы обнаружить объект помимо области лица. Затем области, сгруппированные по оттенку, извлекаются путем объединения соседних блоков с похожими оттенками в виде одного и того же объекта. После этого из этих областей, сгруппированных по оттенку, области, которые не примыкают к границам изображения и имеют размер, больше либо равный предопределенному размеру, устанавливаются и выводятся в качестве возможных вариантов для области объекта (возможные области объекта).

[0038] Когда узел 111 извлечения области объекта установил множество возможных областей объекта, которые не являются областями лиц, узел 112 установки приоритета по областям выполняет вычисление для определения порядков приоритетов по областям относительно множества обнаруженных возможных областей объекта. Узел 112 установки приоритета по областям вычисляет значения оценки возможных областей объекта на основе, например, позиций, размеров и информации расстояния возможных областей объекта на изображении и устанавливает более высокий порядок приоритета для области с большим вычисленным значением оценки. Например, если значения оценки вычисляются на основе позиций, то чем ближе барицентрические координаты возможной области объекта к центральным координатам изображения, тем выше значение оценки на основе позиции. Возможная область со значением оценки не меньше некоторой пороговой величины и с порядком приоритета в предопределенном диапазоне (например, наивысшим или вторым наивысшим порядком приоритета) определяется в качестве области объекта. Этот способ для установки приоритетов для областей будет описываться позже со ссылкой на фиг. 4.

[0039] Узел 113 установки возможных областей обрезки устанавливает возможные области обрезки, которые являются возможными вариантами для областей, которые должны быть вырезаны при обработке по обрезке. Узел 105 обработки изображений в соответствии с настоящим вариантом осуществления выполняет обработку по обрезке, чтобы вырезать из целевого изображения, полученного посредством захвата изображения, изображения областей, которые показывают кадрирование, при котором область объекта размещается предпочтительным образом. По этой причине узел 113 установки возможных областей обрезки устанавливает для каждой из областей объекта, обнаруженных узлом 111 извлечения области объекта, множество возможных областей обрезки, которые удовлетворяют условиям касательно размещения области объекта. В качестве альтернативы узел 113 установки возможных областей обрезки может определить области объекта из возможных областей объекта, установленных узлом 111 извлечения области объекта, на основе информации о значениях оценки и порядках приоритетов, поступившей от узла 112 установки приоритета по областям, и установить множество возможных областей обрезки для каждой из определенных областей объекта. В настоящем варианте осуществления узел 113 установки возможных областей обрезки устанавливает прямоугольные области с соотношениями сторон и размерами (количество пикселей), показанными на фиг. 3, в качестве возможных областей обрезки.

[0040] Узел 114 оценки областей обрезки вычисляет значение оценки для каждой из возможных областей обрезки, установленных узлом 113 установки возможных областей обрезки, на основе позиций областей объекта в возможных областях обрезки. Способ для вычисления значений оценки возможных областей обрезки в узле 114 оценки областей обрезки будет конкретизирован ниже по тексту в описании обработки для определения области обрезки.

[0041] Узел 115 выбора области обрезки выбирает область обрезки из возможных областей обрезки, установленных узлом 113 установки возможных областей обрезки, на основе значений оценки, вычисленных узлом 114 оценки областей обрезки. Например, в случае, когда нужно сформировать одно изображение обрезки из одного изображения, узел 115 выбора области обрезки выбирает возможную область обрезки, для которой узел 114 оценки областей обрезки вычислил наивысшее значение оценки, в качестве области обрезки. С другой стороны, в случае, когда нужно сформировать множество изображений обрезки из одного изображения, узел 115 выбора области обрезки определяет области обрезки, соответствующие по количеству изображениям обрезки, которые будут сформированы из множества возможных областей обрезки во взаимодействии с описанным ниже по тексту узлом 116 определения подобий.

[0042] В случае, когда нужно сформировать множество изображений обрезки из одного изображения, узел 116 определения подобий определяет подобия возможных областей обрезки и возвращает результат определения в узел 115 выбора области обрезки, чтобы не дать узлу 115 выбора области обрезки выбрать области обрезки с похожим кадрированием. Например, узел 116 определения подобий последовательно принимает возможные области обрезки от узла 115 выбора области обрезки в порядке от наивысшего значения оценки и определяет подобие между каждым принятым возможным вариантом и областями обрезки, которые уже определены. Если результат определения указывает подобие, то узел 115 выбора области обрезки не устанавливает соответствующую возможную область обрезки в качестве области обрезки и исключает ее из возможных вариантов. С другой стороны, если результат определения не указывает подобие, то узел 115 выбора области обрезки устанавливает соответствующую возможную область обрезки в качестве области обрезки. Пока количество возможных областей обрезки, которые выбраны в качестве областей обрезки, не достигнет количества изображений обрезки, которые должны быть выведены, узел 115 выбора области обрезки повторно выводит возможные области обрезки для определения подобий с помощью узла 116 определения подобий и повторно выполняет выбор/определение на основе подобий. Способ для определения подобий и областей обрезки будет описываться ниже по тексту со ссылкой на фиг. 15.

[0043] Следует отметить, что в случае, когда нужно сформировать одно изображение обрезки из одного изображения, узлу 115 выбора области обрезки следует выбрать только одну область обрезки, и поэтому обработку в узле 116 определения подобий выполнять не нужно.

[0044] Узел 117 вывода результата извлечения области обрезки формирует изображение обрезки путем обрезки целевого изображения на основе информации об области обрезки, выбранной узлом 115 выбора области обрезки, или на основе информации об области, которая была определена узлом 116 определения подобий в качестве окончательной области обрезки, а затем выводит сформированное изображение обрезки.

[0045] Узел 106 отображения в цифровой камере 100 является устройством отображения, например LCD, предоставленным в цифровой камере 100. Узел 106 отображения отображает, например, изображения, полученные посредством захвата изображения, выполняемого узлом 104 получения сигнала изображения, и посредством обработки по обрезке, выполняемой узлом 105 обработки изображений, либо изображения, записанные на носителе 107 записи.

[0046] Носитель 107 записи является записывающим устройством, например встроенным запоминающим устройством, предоставленным в цифровой камере 100, или записывающим устройством, которое подключается к цифровой камере 100 присоединяемым/отсоединяемым способом, например картой памяти и HDD. Изображения, полученные посредством захвата изображения, выполняемого узлом 104 получения сигнала изображения, и посредством обработки по обрезке, выполняемой узлом 105 обработки изображений, записываются на носитель 107 записи.

[0047] Хотя настоящий вариант осуществления описывается при допущении, что обработку реализуют узлы, включенные в цифровую камеру 100 в виде аппаратных средств, варианты осуществления настоящего изобретения этим не ограничиваются; в качестве альтернативы обработку в узлах можно реализовать с помощью программ, исполняющих похожую обработку.

[0048]<ОБРАБОТКА ДЛЯ УСТАНОВКИ ПРИОРИТЕТОВ ПО ОБЛАСТЯМ>

Со ссылкой на блок-схему последовательности операций из фиг. 4 нижеследующее описывает характерную обработку, связанную со способом для установки приоритетов множеству возможных вариантов для областей объекта (возможные области объекта) в узле 112 установки приоритета по областям. Следует отметить, что настоящая блок-схема последовательности операций запускается, например, когда узел 111 извлечения области объекта не обнаружил область лица и поэтому установил множество возможных областей объекта на основе оттенков.

[0049] Сначала на этапе S200 узел 112 установки приоритета по областям определяет, завершено ли вычисление комплексного значения оценки по отношению ко всем обнаруженным возможным областям объектов. Узел 112 установки приоритета по областям переходит к процессу этапа S201, если вычисление не завершено, и к процессу этапа S206, если вычисление завершено.

[0050] На этапе S201 узел 112 установки приоритета по областям выбирает из обнаруженных возможных областей объекта возможную область объекта (целевую возможную область объекта), для которой еще не вычислено комплексное значение оценки, и получает площадь целевой возможной области объекта. В настоящем варианте осуществления узел 112 установки приоритета по областям в качестве площади получает количество блоков, используемое при установке целевой возможной области объекта. Далее на основе количества блоков, полученного на этапе S201, узел 112 установки приоритета по областям вычисляет значение оценки по отношению к площади целевой возможной области объекта (этап S202). Фиг. 5A показывает пример вычисления значения оценки по отношению к площади целевой возможной области объекта. Точнее говоря, фиг. 5A показывает связь между отношением площади целевой возможной области объекта ко всему изображению, другими словами, отношением количества блоков, ассоциированных с целевой возможной областью объекта, к общему количеству блоков, и значением оценки по отношению к площади. Как показано на фиг. 5A, достаточно установить значение оценки по отношению к площади целевой возможной области объекта так, что чем больше площадь целевой возможной области объекта, тем выше значение оценки.

[0051] После этого на этапе S203 узел 112 установки приоритета по областям вычисляет расстояние от центра изображения до целевой возможной области объекта. Точнее говоря, узел 112 установки приоритета по областям сначала вычисляет расстояния от центра изображения до блоков, составляющих целевую возможную область объекта. Затем среднее значение вычисленных расстояний от центра изображения до всех блоков, составляющих целевую возможную область объекта, используется в качестве расстояния от центра изображения до целевой возможной области объекта. Далее на этапе S204 на основе расстояния от центра изображения, вычисленного на этапе S203, узел 112 установки приоритета по областям вычисляет значение оценки по отношению к расстоянию от центра изображения до целевой возможной области объекта. Фиг. 5B показывает пример вычисления значения оценки по отношению к расстоянию от центра изображения. Как показано на фиг. 5B, достаточно установить значение оценки по отношению к расстоянию от центра изображения до целевой возможной области объекта так, что чем больше расстояние от центра изображения до целевой возможной области объекта, тем меньше значение оценки.

[0052] Потом на этапе S205 узел 112 установки приоритета по областям вычисляет комплексное значение оценки целевой возможной области объекта на основе двух типов значений оценки, вычисленных на этапах S202 и S204. Достаточно вычислить комплексное значение оценки, например, путем умножения значений оценки двух типов, вычисленных на этапах S202 и S204. После процесса этапа S205 узел 112 установки приоритета по областям возвращается к процессу S200 и снова определяет, завершено ли вычисление комплексного значения оценки для всех возможных областей объекта, и если вычисление не завершено, то повторяет вышеописанные процессы для следующей возможной области объекта.

[0053] Если вычисление комплексного значения оценки завершено для всех возможных областей объекта (ветвь ДА у этапа S200), то на этапе S206 узел 112 установки приоритета по областям назначает порядки приоритетов возможным областям объектов в порядке от наивысшего комплексного значения оценки.

[0054]<<ОБРАБОТКА ПО ОПРЕДЕЛЕНИЮ ВОЗМОЖНОЙ ОБЛАСТИ ОБРЕЗКИ>>

Со ссылкой на блок-схему последовательности операций из фиг. 6 нижеследующее описывает подробности обработки по определению возможной области обрезки, которая выполняется в случае, когда узел 111 извлечения области объекта вывел области лица в качестве областей объекта. Обработка, соответствующая этой блок-схеме последовательности операций, реализуется узлом 113 установки возможных областей обрезки и узлом 114 оценки областей обрезки под управлением узла 101 управления. Следует отметить, что настоящая обработка по определению возможной области обрезки будет описываться при допущении, что она запускается, например, когда узел 111 извлечения области объекта обнаруживает область объекта после того, как установлено целевое изображение, к которому должна быть применена автоматическая обработка по обрезке. Также предполагается, что в настоящей обработке по определению возможной области обрезки по меньшей мере одна область лица включается в целевое изображение.

[0055] На этапе S301 узел 113 установки возможных областей обрезки получает информацию о позиции и размере области лица (области объекта), обнаруженной узлом 111 извлечения области объекта.

[0056] На этапе S302 узел 113 установки возможных областей обрезки определяет, является ли количество областей лиц, включенных в целевое изображение, больше либо равным предопределенному количеству. В цифровой камере 100 в соответствии с настоящим вариантом осуществления, если количество областей лиц, включенных в целевое изображение, больше либо равно предопределенному количеству, то узел 113 установки возможных областей обрезки определяет, что целевое изображение является групповой фотографией. Другими словами, в случае групповой фотографии, даже если область обрезки (кадрирование) определяется так, чтобы разместить одну область лица в предпочтительной позиции на обрезанном изображении, могло бы быть большое количество областей лица, которые не размещаются в предпочтительных позициях. По этой причине в настоящем варианте осуществления, если определяется, что захвачена групповая фотография, другими словами, если количество областей лица, включенных в целевое изображение, больше либо равно предопределенному количеству, то узел 113 установки возможных областей обрезки не определяет область обрезки на основе размещения одной области лица.

[0057] Хотя настоящий вариант осуществления описывается при допущении, что захваченное целевое изображение определяется как групповая фотография, если количество областей лица, включенных в целевое изображение, больше либо равно предопределенному количеству, на основе сочетания размера областей лица и других условий можно определить, является ли целевое изображение групповой фотографией. Например, если захваченное целевое изображение включает в себя неподходящего человека, который появился во время захвата изображения, то неуместно определять область лица этого человека в качестве объекта групповой фотографии. В связи с этим, например, можно установить диапазон для размера области лица, и только области лиц с размером, попадающим в установленный диапазон, могут учитываться как области лица, которые используются при определении, является ли целевое изображение групповой фотографией.

[0058] Узел 113 установки возможных областей обрезки переходит к процессу этапа S309, если определяет, что количество областей лиц, включенных в целевое изображение, больше либо равно предопределенному количеству, и переходит к процессу этапа S303, если узел определяет, что количество областей лиц, включенных в целевое изображение, меньше предопределенного количества.

[0059] На этапе S303 узел 113 установки возможных областей обрезки определяет, только ли одна область лица включается в целевое изображение. В настоящем варианте осуществления узел 114 оценки областей обрезки использует разные способы оценки в зависимости от того, включать ли множество областей лиц в возможную область обрезки, установленную для обработки по обрезке. По этой причине на настоящем этапе узел 113 установки возможных областей обрезки использует способ оценки, который применяется к условию, что количество областей лиц, которое можно включить в возможную область обрезки, определенно равно одному. Узел 113 установки возможных областей обрезки переходит к процессу этапа S305, если определяет, что только одна область лица включается в целевое изображение, и переходит к процессу этапа S304, если узел определяет, что множество областей лица включается в целевое изображение.

[0060] На этапе S304 узел 113 установки возможных областей обрезки определяет размещения множества объектов, точнее говоря, перекрываются ли на целевом изображении захваченные объекты, соответствующие областям лица. Точнее говоря, узел 101 управления для объектов, соответствующих обнаруженным областям лица, оценивает области тела, которые предполагаются находящимися рядом с нижними границами обнаруженных областей лица, и определяет, перекрывают ли эти области тела, области лица или области тела других объектов в предопределенном отношении или больше.

[0061] Например, в случае области лица, показанной на фиг. 7A, достаточно оценить область тела путем умножения ширины и высоты области лица на предварительно установленные коэффициенты, как показано на фиг. 7B. Если по меньшей мере одна из области лица и области тела интересующего объекта перекрывает область лица или область тела другого объекта, как показано на фиг. 7C, то узел 113 установки возможных областей обрезки определяет, что эти области лица не следует разделять на разные возможные области обрезки. С другой стороны, если ни область лица, ни область тела интересующего объекта не перекрывает область лица или область тела другого объекта, как показано на фиг. 7D, то определяется, что предпочтительное кадрирование достигается путем разделения областей лица, соответствующих этим объектам, на разные возможные области обрезки.

[0062] Хотя способ для установки области тела описан в настоящем варианте осуществления при допущении, что тело находится рядом с нижней границей области лица, настоящий вариант осуществления этим не ограничивается. Например, область тела можно установить в соответствии с ориентацией лица, вычисленной из области лица. В качестве альтернативы, если цифровая камера 100 допускает обнаружение направления силы тяжести, то область тела можно установить при допущении, что она находится вертикально ниже области лица. В качестве альтернативы на основе расстояния между областями лица без получения областей тела можно определить, перекрываются ли захваченные объекты на целевом изображении.

[0063] Узел 113 установки возможных областей обрезки переходит к процессу этапа S307, если определяет, что захваченные объекты, соответствующие областям лиц, перекрываются на целевом изображении, и переходит к процессу этапа S305, если узел определяет, что захваченные объекты, соответствующие областям лица, не перекрываются на целевом изображении. Следует отметить, что процесс настоящего этапа может выполняться для каждой обнаруженной области лица. Точнее говоря, управление может выполняться так, что узел 113 установки возможных областей обрезки применяет обработку по оценке на этапе S305 только к области лица, про которую определено, что она не перекрывает ни один из других объектов, соответствующих областям лица, включенным в целевое изображение. В этом случае узлу 101 управления достаточно выполнить управление так, что обработка по оценке на этапе S307 применяется к области лица, про которую определено, что она перекрывает любой из других объектов, соответствующих областям лица.

[0064] На этапе S305 узел 113 установки возможных областей обрезки устанавливает возможные области обрезки для области лица, которая должна быть обрезана независимо от целевого изображения. Точнее говоря, узел 113 установки возможных областей обрезки последовательно выбирает области лица (интересующие области лица), которые должны быть обрезаны независимо, и устанавливает множество шаблонов возможных областей обрезки для каждой из выбранных областей лица. Узел 113 установки возможных областей обрезки устанавливает каждую возможную область обрезки так, что интересующая область лица размещается в предварительно установленной позиции в установленной возможной области обрезки. В настоящем варианте осуществления, как показано на фиг. 8, устанавливается шесть типов возможных областей обрезки, в которых интересующая область лица располагается на основе отрезков прямой, которые делят возможные области обрезки на три равные части в горизонтальном и вертикальном направлениях, чтобы добиться кадрирования, которое считается предпочтительным в условиях эксперимента. Как упоминалось выше по тексту, возможные области обрезки, которые устанавливаются узлом 113 установки возможных областей обрезки в соответствии с настоящим вариантом осуществления, являются прямоугольными областями, соответствующими пяти типам соотношений сторон и трем размерам для каждого соотношения сторон. Поэтому устанавливается 5×3×6=90 типов возможных областей обрезки для одной интересующей области лица. Следует отметить, что вышеупомянутые шесть типов кадрирования являются всего лишь пояснительными, и можно использовать другие типы кадрирования, например кадрирование, в котором область лица размещается в центре, и кадрирование, в котором область лица размещается в центре сверху.

[0065] На этапе S306 узел 114 оценки областей обрезки применяет обработку по оценке для независимой обрезки ко всем возможным областям обрезки, установленным на этапе S305, чтобы получить значения оценки возможных областей обрезки.

[0066]<ОБРАБОТКА ПО ОЦЕНКЕ (НЕЗАВИСИМАЯ)>

Со ссылкой на блок-схему последовательности операций из фиг. 9 нижеследующее описывает подробности обработки по оценке для независимой обрезки, выполняемой на настоящем этапе. В нижеследующем описании возможная область обрезки, намеченная для настоящей обработки по оценке, называется "возможной целевой областью".

[0067] На этапе S601 узел 114 оценки областей обрезки определяет, относится ли часть возможной целевой области к области за пределами целевого изображения. Точнее говоря, как показано на фиг. 10A, узел 114 оценки областей обрезки на настоящем этапе определяет, содержит ли возможная целевая область, указанная пунктирной линией, область, которая выступает за пределы диапазона целевого изображения, указанного сплошной линией, в область обрезки. Если узел 114 оценки областей обрезки определяет, что возможная целевая область относится к области за пределами целевого изображения, то узел 101 управления переходит к процессу этапа S602. Если узел 114 оценки областей обрезки определяет, что возможная целевая область относится к области внутри целевого изображения, то узел 101 управления переходит к процессу этапа S604.

[0068] На этапе S602 узел 114 оценки областей обрезки определяет, являются ли величины, на которые возможная целевая область выступает за пределы целевого изображения, меньше либо равными предварительно установленной пороговой величине. На настоящем этапе узел 114 оценки областей обрезки получает величины, на которые возможная целевая область выступает за пределы целевого изображения (величина выступания) относительно горизонтального и вертикального направлений, и определяет, являются ли величины выступания меньше либо равными пороговой величине, что дает возможность точной регулировки возможной целевой области. В примере из фиг. 10A, когда возможная целевая область выступает за пределы целевого изображения только в вертикальном направлении, определение выполняется на основе ее величины выступания Δ в вертикальном направлении. Узел 101 управления переходит к процессу этапа S603, если узел 114 оценки областей обрезки определяет, что величины выступания меньше либо равны предварительно установленной пороговой величине, и к процессу этапа S605, если определяет, что величины выступания превышают предварительно установленную пороговую величину.

[0069] На этапе S603 под управлением узла 101 управления узел 113 установки возможных областей обрезки обновляет эталонный диапазон в соответствии с информацией о величинах выступания, полученной на этапе S602, так что возможная целевая область входит в целевое изображение. Например, если величина выступания Δ меньше либо равна пороговой величине, что дает возможность точной регулировки, как показано на фиг. 10B, то достаточно обновить возможную целевую область путем перемещения возможной целевой области только на Δ в направлении выступания, другими словами, в вертикальном направлении.

[0070] На этапе S604 узел 114 оценки областей обрезки вычисляет значение оценки возможной целевой области. В настоящем варианте осуществления значение оценки E возможной области обрезки вычисляется путем умножения следующих четырех значений (E₁, E₂, E₃, E₄).

[0071] 1. Значение оценки E₁, которое определяется относительно отношения площади интересующей области лица в возможной целевой области.

[0072] 2. Значение оценки E₂, которое определяется относительно позиции размещения интересующей области лица.

[0073] 3. Значение оценки E₃, которое определяется относительно соотношения сторон.

[0074] 4. Случайное значение E₄, которое подавляет смещение в результате оценки.

[0075] Например, как показано на фиг. 11A, значение в диапазоне от Val 1 до Val 2 устанавливается в качестве значения оценки E₁ в соответствии с отношением (заполненностью) площади интересующей области лица в возможной целевой области. В примере из фиг. 11A значение оценки E₁ принимает максимальное значение Val 2 в диапазоне R2≤R<3, который определяется как предпочтительный диапазон заполненности R интересующей области лица. Значение оценки E₁ принимает минимальное значение Val 1 в диапазоне R<R1 и диапазоне R≥R4, которые определяются как слишком маленький или слишком большой. Кроме того, значение оценки E₁ принимает промежуточное значение между максимальным значением и минимальным значением в соответствии с отношением в промежуточных диапазонах R1≤R<R2 и R3≤R<R4 между вышеупомянутыми диапазонами.

[0076] Хотя значение оценки E₁, описанное в настоящем варианте осуществления, устанавливается как показано на фиг. 11A, варианты осуществления настоящего изобретения этим не ограничиваются. Например, если область фона за человеком включает в себя большое количество пикселей с бликами из-за захвата изображения с передержкой, то область обрезки, включающая в себя области с бликами, не рассматривается в качестве предпочтительного кадрирования. В случае, когда область помимо области, соответствующей объекту, включает в себя пиксели со значениями яркости выше предопределенного значения яркости, и отношение у таких пикселей превышает предопределенное значение, значение оценки E₁ можно установить так, что чем выше заполненность интересующей области лица, тем больше значение оценки E₁. С другой стороны, например, в случае, когда целевое изображение показывает обстановку с низкой яркостью в целом из-за захвата изображения с недодержкой, если интересующая область лица слишком большая, то обстановка целевого изображения, включающая в себя фон, с меньшей вероятностью останется в обрезанном изображении. В этом случае, например, значение оценки E₁ можно установить так, что чем меньше заполненность интересующей области лица, тем выше значение оценки E₁.

[0077] Значение оценки E₂ устанавливается, например, относительно позиции, в котором интересующая область лица размещается в возможной области обрезки, как показано на фиг. 11B. Точнее говоря, более высокое значение оценки E₂ устанавливается для возможной области обрезки, в которой интересующая область лица размещается на верхней линии из линий, делящих возможную область обрезки на три равные части в вертикальном направлении, и на линиях, делящих возможную область обрезки на три равные части в горизонтальном направлении, при этом делящие на три равные части линии обеспечивают кадрирование, которое считается предпочтительным в условиях эксперимента. Следует отметить, что распределение значения оценки E₂ этим не ограничивается и может меняться так, что высокая оценка назначается предпочтительному кадрированию, определенному в соответствии с результатом определения захваченной сцены, режимом захвата изображения, который был установлен во время захвата изображения, и т.п.

[0078] Значение оценки E₃ определяется в соответствии с соотношением сторон целевого изображения так, что высокое значение оценки назначается соотношению сторон, которое предпочтительно для возможной области обрезки. Узел 114 оценки областей обрезки вычисляет высоту Hobj и ширину Wobj минимальной прямоугольной области, которая включает в себя область лица и область тела в целевом изображении, и получает соотношение сторон этой прямоугольной области, другими словами, Wobj/Hobj. Предполагая, что соотношения сторон возможных областей обрезки, показанных на фиг. 3, выражаются в виде Wtri:Htri, узел 114 оценки областей обрезки получает значение подобия между двумя соотношениями сторон, используя следующие выражения.

[0079] (i) В случае Wobj/Hobj<Wtri/Htri:

Значение подобия соотношений=(Wobj/Hobj)/(Wtri/Htri)

(ii) В случае Wobj/Hobj≥Wtri/Htri:

Значение подобия соотношений=(Wtri/Htri)/(Wobj/Hobj)

[0080] Как показано на фиг. 11C, узел 114 оценки областей обрезки устанавливает более высокое значение оценки E₃ для возможной области обрезки со значением подобия соотношений ближе к единице. В качестве альтернативы узел 114 оценки областей обрезки может определить значение оценки E₃ возможной области обрезки из значения подобия на основе соотношения сторон целевого изображения и соотношения сторон возможной области обрезки вместо соотношения сторон минимальной прямоугольной области, включающей в себя область лица и область тела.

[0081] Случайное значение E₄ используется для изменения результата оценки так, что автоматически установленные области обрезки каждый раз не имеют одного и того же кадрирования. Желательно, чтобы случайное значение E₄ устанавливалось в значение, которое обладает небольшим влиянием на другие значения оценки, например, в диапазоне от 0,9 до 1,1, чтобы предотвратить значительное изменение результата оценки, которое приводит к выбору нежелательного кадрирования в качестве области обрезки.

[0082] После вычисления значения оценки E путем умножения четырех значений, которые получаются для возможной целевой области вышеописанным способом, узел 114 оценки областей обрезки завершает настоящую обработку по оценке.

[0083] Если узел 114 оценки областей обрезки на этапе S602 определяет, что величины выступания превышают предварительно установленную пороговую величину, то на этапе S605 он назначает возможной целевой области значение оценки, равное нулю (низкая оценка), а затем завершает настоящую обработку по оценке.

[0084] С другой стороны, если желательно выполнить обрезку для включения множества областей лиц, то узел 113 установки возможных областей обрезки устанавливает возможные области обрезки под управлением узла 101 управления. Точнее говоря, узел 113 установки возможных областей обрезки рассматривает все области лица, которые определены перекрывающими друг друга, как одну группу. Затем узел 113 установки возможных областей обрезки устанавливает возможные области обрезки так, что крайняя левая область лица и крайняя правая область лица в группе размещаются в предварительно установленных позициях.

[0085] Условия касательно крайней левой области лица и крайней правой области лица могут быть такими, как показано на фиг. 12. Фиг. 12 показывает примеры условий касательно позиций размещения для случая, где целевое изображение включает в себя две области лица. В частности, возможные области обрезки устанавливаются так, что крайняя левая область лица размещается на левой линии из линий, делящих возможные области обрезки на три равные части в горизонтальном направлении, и на одной из (i) верхней линии из линий, делящих возможные области обрезки на три равные части в вертикальном направлении, (ii) средней части между линиями, делящими возможные области обрезки на три равные части в вертикальном направлении, и (iii) нижней линии из линий, делящих возможные области обрезки на три равные части в вертикальном направлении. Также возможные области обрезки устанавливаются так, что крайняя правая область лица размещается на правой линии из линий, делящих возможные области обрезки на три равные части в горизонтальном направлении, и на одной из (i) верхней линии из линий, делящих возможные области обрезки на три равные части в вертикальном направлении, (ii) центральной части между линиями, делящими возможные области обрезки на три равные части в вертикальном направлении, и (iii) нижней линии из линий, делящих возможные области обрезки на три равные части в вертикальном направлении.

[0086] Поэтому на настоящем этапе устанавливается 5×3×6=90 типов возможных областей обрезки относительно "всех" целевых областей лиц.

[0087] На этапе S308 под управлением узла 101 управления узел 114 оценки областей обрезки применяет обработку по оценке для множественной обрезки ко всем возможным областям обрезки, установленным на этапе S307, чтобы получить значения оценки этих возможных областей обрезки.

[0088]<ОБРАБОТКА ПО ОЦЕНКЕ (МНОЖЕСТВЕННАЯ)>

Со ссылкой на блок-схему последовательности операций из фиг. 13 нижеследующее описывает подробности обработки по оценке для множественной обрезки, выполняемой на настоящем этапе. В нижеследующем описании этапам, включающим в себя процессы, которые похожи на процессы в вышеупомянутой обработке по оценке для независимой обрезки, даются такие же ссылочные номера, а их описание пропускается.

[0089] После процессов вплоть до этапа S603 касательно связи между возможной целевой областью и целевым изображением узел 114 оценки областей обрезки на этапе S1001 определяет, включаются ли все области лица в группе в возможную целевую область. Узел 101 управления переходит к процессу этапа S1004, если узел 114 оценки областей обрезки определяет, что все области лица включаются в возможную целевую область, и к процессу S1002, если определяет, что не все области лица включаются в возможную целевую область.

[0090] Узел 114 оценки областей обрезки определяет, являются ли величины, на которые минимальная прямоугольная область, которая задается включающей в себя все области лица в группе, выступает за пределы возможной целевой области, меньше либо равными предварительно установленной пороговой величине. На настоящем этапе узел 114 оценки областей обрезки получает величины выступания, на которые области лица выступают за пределы возможной целевой области относительно горизонтального и вертикального направлений, и определяет, являются ли величины выступания меньше либо равными пороговой величине, что дает возможность точной регулировки возможной целевой области. Точнее говоря, из областей лица в группе при определении получаются и используются величины выступания крайней верхней, крайней нижней, крайней левой и крайней правой областей лица за пределы возможной целевой области. Узел 101 управления переходит к процессу этапа S1003, если узел 114 оценки областей обрезки определяет, что величины выступания меньше либо равны предварительно установленной пороговой величине, и переходит к процессу этапа S605, если определяет, что величины выступания превышают предварительно установленную пороговую величину.

[0091] На этапе S1003 под управлением узла 101 управления узел 113 установки возможных областей обрезки обновляет эталонный диапазон в соответствии с информацией о величинах выступания, полученной на этапе S1002, так что все области лица в группе входят в возможную целевую область. Например, если величина выступания Δ в вертикальном направлении меньше либо равна пороговой величине, что дает возможность точной регулировки, как показано на фиг. 14, то достаточно обновить возможную целевую область путем перемещения возможной целевой области только на Δ в вертикальном направлении. Если все области лица в группе не входят в возможную целевую область даже при обновлении позиции возможной целевой области на настоящем этапе, то обработка переходит к этапу S605. В качестве альтернативы значение оценки может вычисляться на описанном позже этапе S1004 в состоянии, где все области лица не входят в возможную целевую область, и значение, полученное путем умножения вычисленного значения оценки на некоторый коэффициент меньше 1 (например, 0,8), может использоваться в качестве нового значения оценки.

[0092] Как только возможная целевая область установлена вышеупомянутым способом, узел 114 оценки областей обрезки на этапе S1004 вычисляет значение оценки возможной целевой области аналогично этапу S604 обработки по оценке для независимой обрезки, а затем завершает настоящую обработку по оценке. Способ оценки, используемый на настоящем этапе, может быть похожим или отличаться от способа оценки, используемого для случая независимой обрезки. При использовании способа, похожего на способ, используемый для случая независимой обрезки, достаточно использовать среднюю заполненность, вычисленных для всех областей лиц в возможной целевой области, в качестве значения оценки E₁, и использовать сумму значений оценки для позиций размещения всех областей лица в качестве значения оценки E₂. Значение оценки E₂ можно просто установить таким, что чем больше расстояние между крайней нижней областью лица в группе и нижней границей возможной целевой области, тем больше значение оценки E₂.

[0093] С другой стороны, если узел 101 управления на этапе S302 обработки по определению возможной области обрезки определяет, что количество областей лица, включенных в целевое изображение, больше либо равно предопределенному количеству, то узел 113 установки возможных областей обрезки устанавливает возможные области обрезки для групповой фотографии на этапе S309. Точнее говоря, узел 113 установки возможных областей обрезки устанавливает возможные области обрезки, при этом барицентрическое положение всех областей лица на целевом изображении служит в качестве центра. Как упоминалось раньше, в настоящем варианте осуществления возможные области обрезки предварительно устанавливаются так, чтобы соответствовать пяти типам соотношений сторон и трем размерам для каждого соотношения сторон, и поэтому на настоящем этапе устанавливается 5×3=15 типов возможных областей обрезки.

[0094] На этапе S310 под управлением узла 101 управления узел 114 оценки областей обрезки вычисляет значения оценки всех возможных областей обрезки, установленных на этапе S309. Хотя в этом документе не описываются подробности обработки по оценке для обрезки групповой фотографии, оценка будет выполняться исходя из того, что включаются все области лица.

[0095] Это завершает описание способа для определения возможных областей обрезки для случая, где целевое изображение включает в себя по меньшей мере одну область лица.

[0096] Хотя в вышеприведенном описании способ оценки меняется в зависимости от количества обнаруженных областей лица, варианты осуществления настоящего изобретения этим не ограничиваются. Другими словами, легко предсказать, что не должно быть проблем при применении вышеупомянутой обработки по оценке для множественной обрезки к возможным областям обрезки, установленным для целевого изображения, которое включает в себя только одну область лица.

[0097] Теперь приводится описание способа для определения возможных областей обрезки для случая, где узел 111 извлечения области объекта вывел возможные области объекта, другими словами, для случая, где целевое изображение не включает в себя области лица. Как описано выше, в случае, когда целевое изображение не включает в себя никакую область лица, области объекта определяются на основе значений оценки и порядков приоритетов, вычисленных узлом 112 установки приоритета по областям.

[0098] В отношении областей лица узел 113 установки возможных областей обрезки определяет, перекрываются ли на целевом изображении захваченные объекты, соответствующие областям лица; в отличие от этого в отношении областей объекта, которые не являются областями лица, это определение не выполняется. Причина в том, что считается, что пользователя не беспокоило бы выступание объекта помимо лица за пределы области обрезки. Поэтому в случае, когда целевое изображение не включает в себя никакую область лица, достаточно установить возможные области обрезки для каждой области объекта, используя способ, похожий на используемый способ для случая, где обнаружена одна область лица.

[0099] Точнее говоря, при получении информации о позиции и размере области объекта, которая не является областью лица, узел 113 установки возможных областей обрезки располагает область объекта на основе отрезков прямой, делящих возможную область обрезки на три равные части в горизонтальном и вертикальном направлениях. В качестве альтернативы возможные области обрезки можно установить так, что область объекта, которая не является областью лица, располагается в центре, либо возможные области обрезки могут включать в себя только часть области объекта, которая не является областью лица. В этих случаях область объекта должна занимать по меньшей мере 50 процентов каждой возможной области обрезки, и возможные области обрезки следует установить так, что обе границы области объекта в горизонтальном или вертикальном направлениях не выступают за пределы возможных областей обрезки.

[0100] Затем узел 114 оценки областей обрезки применяет обработку по оценке для независимой обрезки ко всем возможным областям обрезки, которые установлены, чтобы получить значения оценки возможных областей обрезки. В то же время достаточно выполнить обработку, похожую на обработку по оценке для областей лица.

[0101]<СПОСОБЫ ДЛЯ ВЫБОРА ОБЛАСТИ ОБРЕЗКИ И ОПРЕДЕЛЕНИЯ ПОДОБИЯ>

Далее приводится описание способа для выбора области обрезки в узле 116 определения подобий и узле 115 выбора области обрезки.

[0102] Фиг. 15 - блок-схема последовательности операций способа для определения области обрезки из возможных областей обрезки, которые установлены для одной области объекта, на основе значений оценки, вычисленных для возможных областей обрезки в настоящем варианте осуществления. Обработка в настоящей блок-схеме последовательности операций завершается каждый раз, когда определяется одна область обрезки, но выполняется повторно до тех пор, пока не выберется количество областей обрезки, предварительно установленных для одной области объекта (количество изображений обрезки, которые должны быть сформированы). Кроме того, если целевое изображение включает в себя множество областей объекта, то эта обработка выбирает обнаруженные области объекта в порядке от наивысшего приоритета и выполняется до тех пор, пока не установится предопределенное количество областей обрезки для каждой области объекта.

[0103] Сначала на этапе S1501 узел 115 выбора области обрезки выбирает из возможных областей обрезки, которые установлены, возможную область обрезки, для которой вычислено наибольшее значение оценки, в качестве возможной цели определения. Узел 115 выбора области обрезки затем выводит информацию о выбранной возможной цели определения в узел 116 определения подобий.

[0104] На этапе S1502 узел 116 определения подобий в соответствии с принятой информацией о возможной цели определения определяет подобие между возможной областью обрезки, выбранной в качестве цели определения (возможной цели определения), и областями обрезки, которые уже определены для той же области объекта, в показателях соотношения сторон. Точнее говоря, узел 116 определения подобий сравнивает соотношения сторон всех областей обрезки, которые уже определены, с соотношением сторон возможной цели определения; если разница между ними входит в предопределенный диапазон, то узел переходит к процессу этапа S1503. С другой стороны, если разница между ними не входит в предопределенный диапазон, то узел 116 определения подобий выводит в узел 115 выбора области обрезки результат определения, указывающий отсутствие подобия, и переходит к процессу этапа S1506. Затем на этапе S1506 узел 115 выбора области обрезки определяет возможную цель определения в виде одной из областей обрезки для обрабатываемой области объекта и завершает настоящую обработку с выбором.

[0105] На этапе S1503 узел 116 определения подобий определяет подобие между возможной целью определения и областями обрезки, которые уже определены для той же области объекта, в показателях размера. Узел 116 определения подобий сравнивает размеры всех областей обрезки, которые уже определены, с размером возможной цели определения; если разница между ними входит в предопределенный диапазон, то узел переходит к процессу этапа S1504. С другой стороны, если разница между ними не входит в предопределенный диапазон, то узел 116 определения подобий выводит в узел 115 выбора области обрезки результат определения, указывающий отсутствие подобия, и переходит к процессу этапа S1506.

[0106] На этапе S1504 узел 116 определения подобий определяет подобие между возможной целью определения и областями обрезки, которые уже определены для той же области объекта, в показателях диапазона обрезки. Сначала узел 116 определения подобий получает начальные координаты области для всех областей обрезки и возможной цели определения (например, координаты верхних левых углов областей). Затем узел 116 определения подобий вычисляет разности между начальными координатами области областей обрезки и начальными координатами области возможной цели определения в горизонтальном и вертикальном направлениях; если какая-нибудь из разностей удовлетворяет обоим условным выражениям, предоставленным ниже, то он выводит в узел 115 выбора области обрезки результат определения, указывающий подобие, и переходит к процессу этапа S1505. Если никакая из разностей не удовлетворяет по меньшей мере одному из условных выражений, то узел 116 определения подобий выводит в узел 115 выбора области обрезки результат определения, указывающий отсутствие подобия, и переходит к процессу этапа S1506.

(Разница между начальными координатами области в горизонтальном направлении)/(количество пикселей в области обрезки в горизонтальном направлении) <1/2

(Разница между начальными координатами области в вертикальном направлении)/(количество пикселей в области обрезки в вертикальном направлении) <1/2

[0107] На этапе S1505 на основе принятого результата определения узел 115 выбора области обрезки не определяет возможную цель определения в качестве области обрезки и исключает возможную цель определения из возможных областей обрезки. Затем узел 115 выбора области обрезки выбирает возможную область обрезки со вторым наибольшим значением оценки рядом с возможной целью определения, для которой выполнено определение до этого момента, в качестве новой возможной цели определения, выводит информацию о новой возможной цели определения в узел 116 определения подобий и возвращается к процессу этапа S1502.

[0108] В случае, когда нужно сформировать множество изображений обрезки для одной области объекта, вышеприведенная обработка может пропустить установку областей обрезки с похожим кадрированием.

[0109] Определенная таким образом информация об областях обрезки передается в узел 117 вывода результата извлечения области обрезки. Узел 117 вывода результата извлечения области обрезки применяет обработку по обрезке к целевому изображению в соответствии с переданной информацией и выводит результирующие изображения обрезки.

[0110] Как описано выше, устройство обработки изображений в соответствии с настоящим вариантом осуществления обнаруживает определенный объект, включенный в полученное целевое изображение, к которому должна быть применена обрезка. По отношению к этому целевому изображению устройство обработки изображений устанавливает и оценивает одну или несколько возможных областей обрезки, с помощью которых один обнаруженный объект размещается в позиции в обрезанной области, которое удовлетворяет предопределенным условиям.

[0111] Это позволяет установить не только позиции размещения объектов в области обрезки, но также и область обрезки с предпочтительным кадрированием, которое включает в себя все определенные объекты.

[0112] Кроме того, если возможная область обрезки с большим значением оценки похожа на другие области обрезки, которые уже выбраны для той же области объекта, то эта возможная область обрезки не выбирается в качестве области обрезки; следовательно, можно остановить формирование множества похожих изображений обрезки.

[0113] ДРУГИЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ

Варианты осуществления настоящего изобретения также можно реализовать с помощью компьютера в системе или устройстве, который считывает и исполняет исполняемые компьютером инструкции, записанные на носителе информации (например, на неизменяемом со временем (невременном) считываемом компьютером носителе информации), чтобы выполнять функции одного или нескольких описанных выше вариантов осуществления настоящего изобретения, и с помощью способа, выполняемого компьютером в системе или устройстве, например, путем считывания и исполнения исполняемых компьютером инструкций с носителя информации, чтобы выполнять функции одного или нескольких описанных выше вариантов осуществления. Компьютер может содержать одно или несколько из центрального процессора (CPU), микропроцессора (MPU) или других схем и может включать в себя сеть из отдельных компьютеров или отдельных процессоров компьютера. Исполняемые компьютером инструкции могут предоставляться компьютеру, например, из сети или с носителя информации. Носитель информации может включать в себя, например, одно или несколько из жесткого диска, оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM), хранилища распределенных вычислительных систем, оптического диска (например, компакт-диска (CD), цифрового универсального диска (DVD) или диска Blu-ray (BD)™), флэш-памяти, карты памяти и т.п.

[0114] Хотя настоящее изобретение описано со ссылкой на типовые варианты осуществления, нужно понимать, что изобретение не ограничивается раскрытыми типовыми вариантами осуществления. Объем нижеследующей формулы изобретения должен соответствовать самой широкой интерпретации, чтобы заключать в себе все такие модификации и равноценные конструкции и функции.

Изобретение относится к вычислительной технике. Технический результат заключается в формировании предпочтительных изображений обрезки. Устройство обработки изображений содержит средство задания для задания областей объекта из изображения; средство установки для установки множества возможных областей обрезки для каждой из областей объекта, заданных средством задания; средство оценивания для получения значений оценки множества возможных областей обрезки, установленных средством установки; средство выбора для выбора предопределенного количества областей обрезки из множества возможных областей обрезки, и средство формирования для извлечения, из изображения, изображений областей, определенных областями обрезки, выбранными средством выбора, и вывода извлеченных областей, причем средство выбора выбирает предопределенное количество областей обрезки на основе подобий среди множества возможных областей обрезки и на основе значений оценки множества возможных областей обрезки. 6 н. и 10 з.п. ф-лы, 24 ил.

1. Устройство обработки изображений, содержащее:
средство задания для задания областей объекта из изображения;
средство установки для установки множества возможных областей обрезки для каждой из областей объекта, заданных средством задания;
средство оценивания для получения значений оценки множества возможных областей обрезки, установленных средством установки;
средство выбора для выбора предопределенного количества областей обрезки из множества возможных областей обрезки, и
средство формирования для извлечения, из изображения, изображений областей, определенных областями обрезки, выбранными средством выбора, и вывода извлеченных изображений, причем
средство выбора выбирает предопределенное количество областей обрезки на основе подобий среди множества возможных областей обрезки и на основе значений оценки множества возможных областей обрезки.

2. Устройство обработки изображений по п. 1, в котором
средство выбора выбирает предопределенное количество областей обрезки из множества возможных областей обрезки в порядке от наивысшего значения оценки с пропуском возможных областей обрезки, определенных как подобные области обрезки, которая была выбрана раньше.

3. Устройство обработки изображений по п. 2, в котором
средство выбора выбирает предопределенное количество областей обрезки из возможных областей обрезки, которые удовлетворяют условию, что разница между их соотношением сторон и соотношением сторон каждой области обрезки, которая была выбрана раньше, выходит за пределы предварительно установленного диапазона.

4. Устройство обработки изображений по п. 2, в котором
средство выбора выбирает предопределенное количество областей обрезки из возможных областей обрезки, которые удовлетворяют условию, что разница между их размером и размером каждой области обрезки, которая была выбрана раньше, выходит за пределы предварительно установленного диапазона.

5. Устройство обработки изображений по п. 2, в котором
средство выбора выбирает предопределенное количество областей обрезки из возможных областей обрезки, которые удовлетворяют условию, что разница между их начальными координатами области и начальными координатами области каждой области обрезки, которая была выбрана раньше, выходит за пределы диапазона, который предварительно установлен относительно ширины и высоты области обрезки, которая была выбрана раньше.

6. Устройство обработки изображений по п. 1, в котором
средство оценивания получает значения оценки множества возможных областей обрезки на основе площадей и расстояний от центра изображения.

7. Устройство обработки изображений по п. 1, в котором
средство оценивания получает значения оценки множества возможных областей обрезки с использованием случайного значения.

8. Устройство обработки изображений, содержащее:
средство задания для задания областей объекта из изображения;
средство установки для установки множества возможных областей обрезки для каждой из областей объекта, заданных средством задания, и
средство формирования для извлечения, из изображения, изображений областей на основе множества возможных областей обрезки, и вывода извлеченных изображений, причем
средство установки устанавливает возможные области обрезки так, что области объекта размещаются в предопределенных позициях в возможных областях обрезки, при этом в случае, когда средство задания задало множество областей объекта, средство установки выполнено с возможностью установки множества возможных областей обрезки для каждой из множества областей объекта или установки множества возможных областей обрезки для области, включающей в себя множество областей объекта, на основе по меньшей мере одного из условия расстояний между множеством областей объекта и условия, перекрывается ли множество областей объекта.

9. Устройство обработки изображений по п. 8, в котором
в случае, когда средство задания задало предопределенное количество областей объекта или больше, средство установки устанавливает возможные области обрезки для области, включающей в себя предопределенное количество областей объекта или больше.

10. Устройство обработки изображений по п. 8, в котором
средство установки устанавливает возможные области обрезки с разными количествами пикселей и разными соотношениями сторон для областей объекта, заданных средством задания.

11. Устройство обработки изображений по п. 8, в котором
в случае, когда средство установки не может установить возможные области обрезки так, чтобы области объекта, заданные средством задания, размещались в предопределенных позициях, средство установки устанавливает возможные области обрезки так, что области объекта размещаются в позициях, смещенных от предопределенных позиций.

12. Устройство обработки изображений по п. 8, дополнительно содержащее:
средство оценивания для получения значений оценки множества возможных областей обрезки, установленных средством установки; и
средство выбора для выбора предопределенного количества областей обрезки из множества возможных областей обрезки.

13. Устройство захвата изображений, содержащее:
устройство обработки изображений по п. 1; и
средство захвата изображений для захвата изображения.

14. Устройство захвата изображений, содержащее:
устройство обработки изображений по п. 8; и
средство захвата изображений для захвата изображения.

15. Способ обработки изображений, содержащий:
этап задания, на котором задают области объекта из изображения;
этап установки, на котором устанавливают множество возможных областей обрезки для каждой из областей объекта, заданных на этапе задания;
этап оценивания, на котором получают значения оценки множества возможных областей обрезки, установленных на этапе установки;
этап выбора, на котором выбирают предопределенное количество областей обрезки из множества возможных областей обрезки, и
этап формирования, на котором извлекают, из изображения, изображения областей, определенных областями обрезки, выбранными на этапе выбора, и выводят извлеченные изображения, причем
этап выбора выбирает области обрезки на основе подобий среди множества возможных областей обрезки и на основе значений оценки множества возможных областей обрезки.

16. Способ обработки изображений, содержащий:
этап задания, на котором задают области объекта из изображения;
этап установки, на котором устанавливают множество возможных областей обрезки для каждой из областей объекта, заданных на этапе задания, и
этап формирования, на котором извлекают, из изображения, изображения областей на основе множества возможных областей обрезки, и выводят извлеченные изображения, причем
этап установки устанавливает возможные области обрезки так, что области объекта размещаются в предопределенных позициях в возможных областях обрезки, и при этом в случае, когда на этапе задания задано множество областей объекта, этап установки выполнен с возможностью установки множества возможных областей обрезки для каждой из множества областей объекта или установки множества возможных областей обрезки для области, включающей в себя множество областей объекта, на основе по меньшей мере одного из условия расстояний между множеством областей объекта и условия, перекрывается ли множество областей объекта.