УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СПОСОБ И ПРОГРАММА Российский патент 2015 года по МПК G06T1/00 H04N5/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображений и способу обработки изображений и программе, и, в частности, настоящее изобретение относится к устройству обработки изображений и к способу обработки изображений и программе, которые позволяют классифицировать композицию входного изображения.

Уровень техники

В последние годы была разработана технология, позволяющая различать структуру композиции изображения, снимаемого устройством формирования изображения, таким как цифровая камера и т.п.

Например, была разработана технология, которая распознает субъект внимания, распознает состояние субъекта внимания и выбирает структуру композиции, включающую в себя субъект внимания среди множества записанных структур композиции на основе распознанного состояния субъекта внимания. Например, пример такой технологии раскрыт в Публикации №2008-81246 находящейся на экспертизе заявки на японский патент.

Кроме того, было предложено устройство обработки изображений, которое детектирует характерную структуру путем анализа входного изображения, рассчитывает, как значение оценки, степень ассоциации между множеством предварительно подготовленных композиций и детектируемой характерной структурой и определяет композицию входного изображения на основе значения оценки. Например, пример такого устройства обработки изображений раскрыт в публикации №2009-159023 находящейся на экспертизе заявки на японский патент.

Кроме того, была предложена камера, которая выделяет кромку, соответствующую верхнему краю основного субъекта снятого изображения, или кромку, продолжающуюся между двумя соответствующими сторонами снятого изображения, сравнивает положение или степень наклона выделенной кромки с предварительно определенной соответствующей протяженностью, и определяет, является ли композиция правильной или неправильной. Например, пример такого устройства обработки изображений раскрыт в японском патенте №4029174.

Сущность изобретения

Однако в способе в соответствии с публикацией №2008-81246 находящейся на экспертизе заявки на японский патент требовалось выполнение дорогостоящих операций для распознавания субъекта или распознавания состояния субъекта внимания.

Кроме того, в способе в соответствии с публикацией №2009-159023 находящейся на экспертизе заявки на японский патент, поскольку оценочное значение между множеством предварительно подготовленных композиций и характерной структурой, детектируемой на основе анализа входного изображения, рассчитывают относительно каждого из пикселей, также требовалось выполнять дорогостоящую операцию.

Кроме того, в способе по японскому патенту №4029174, поскольку критерий решения, для определения, является ли композиция правильной или неправильной, основан только на кромке, соответствующей верхнему краю основного предмета в снятом изображении, или кромке, продолжающейся между двумя соответствующими сторонами снятого изображения, тип композиции, который может быть определен, был ограничен.

Настоящее изобретение направлено на решение описанных выше задач. Кроме того, желательно классифицировать композицию входного изображения на подробные структуры композиции, используя операции, выполняемые с более низкими затратами.

В соответствии с этим, раскрыто устройство для обработки входного изображения. Устройство может включать в себя модуль расчета степени симметрии, который может быть выполнен с возможностью приема входного изображения и расчета степени симметрии входного изображения. Устройство также может включать в себя модуль детектирования линии разделения, который может быть выполнен с возможностью приема входного изображения и детектирования линии разделения, которая разделяет две стороны входного изображения. Кроме того, устройство может включать в себя модуль классификации, который может быть выполнен с возможностью классификации входного изображения на основе степени симметрии и линии разделения. Модуль классификации также может быть выполнен с возможностью генерировать сигнал классификации для обеспечения, по меньшей мере, одного из отображения или сохранения классификации.

Здесь также раскрыт способ обработки входного изображения. Процессор может выполнять программу для обеспечения выполнения устройством способа. Программа может быть сохранена в энергонезависимом, считываемом компьютером носителе информации. Способ может включать в себя прием входного изображения. Кроме того, способ может включать в себя расчет степени симметрии входного изображения. Способ также может включать в себя детектирование линии разделения, которая разделяет две стороны входного изображения. Кроме того, способ может включать в себя классификацию входного изображения на основе степени симметрии и линии разделения. Способ также может включать в себя генерирование сигнала классификации для обеспечения, по меньшей мере, одного из отображения или сохранения классификации.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая пример функциональной конфигурации устройства обработки изображений в соответствии с вариантом осуществления раскрытой теперь технологии;

на фиг.2 показана блок-схема, иллюстрирующая пример функциональной конфигурации модуля расчета степени симметрии (то есть программного модуля, модуля аппаратных средств или комбинации программного модуля и модуля аппаратных средств);

на фиг.3 показана блок-схема, иллюстрирующая пример функциональной конфигурации модуля расчета степени симметрии кромки;

на фиг.4 показана блок-схема, иллюстрирующая пример функциональной конфигурации модуля расчета степени симметрии цвета;

на фиг.5 показана блок-схема, иллюстрирующая пример функциональной конфигурации модуля детектирования линии разделения;

на фиг.6 показана блок-схема, иллюстрирующая пример функциональной конфигурации горизонтального модуля детектирования линии разделения;

на фиг.7 показана блок-схема, иллюстрирующая пример функциональной конфигурации модуля детектирования вертикальной линии разделения;

на фиг.8 показана блок-схема, иллюстрирующая пример функциональной конфигурации наклонного модуля детектирования линии разделения;

на фиг.9 показана блок-схема последовательности операций, поясняющая обработку классификации композиции;

на фиг.10 показана схема, поясняющая структуру композиции, обычно рекомендуемую для фотоснимка и т.п.;

на фиг.11 показана блок-схема последовательности операций, поясняющая обработку вычисления степени симметрии;

на фиг.12 показана блок-схема последовательности операций, поясняющая обработку вычисления степени симметрии кромки;

на фиг.13 показана схема, поясняющая входное изображение и изображение кромки;

на фиг.14 показана схема, поясняющая пример вычисления степени симметрии кромки слева направо;

на фиг.15 показана схема, поясняющая пример вычисления степени симметрии кромки сверху вниз;

на фиг.16 показана схема, поясняющая входное изображение и изображение кромки;

на фиг.17 показана блок-схема последовательности операций, поясняющая обработку вычисления степени симметрии цвета;

на фиг.18 показана схема, поясняющая весовой коэффициент на основе различий цвета;

на фиг.19 показана схема, поясняющая преобразование суммы различий цвета;

на фиг.20 показана блок-схема последовательности операций, поясняющая обработку детектирования линии разделения;

на фиг.21 показана схема, поясняющая входное изображение и изображение кромки;

на фиг.22 показана блок-схема последовательности операций, поясняющая горизонтальную обработку детектирования линии разделения;

на фиг.23 показана схема, поясняющая значение интегрирования в горизонтальном направлении информации кромки;

на фиг.24 показана схема, поясняющая пример результата детектирования горизонтальной линии разделения;

на фиг.25 показана блок-схема последовательности операций, поясняющая вертикальную обработку детектирования линии разделения;

на фиг.26 показана схема, поясняющая значение интегрирования в вертикальном направлении информации кромки;

на фиг.27 показана блок-схема последовательности операций, поясняющая обработку детектирования наклонной линии разделения;

на фиг.28 показана схема, поясняющая входное изображение и изображение кромки, преобразование в двоичную форму изображения кромки и поворот изображения кромки;

на фиг.29 показана схема, поясняющая пример нормализации значения интегрирования информации кромки каждой линии в направлении под наклоном;

на фиг.30 показана схема, поясняющая пример нормализации значения интегрирования информации кромки каждой линии в направлении под наклоном;

на фиг.31 показана схема, поясняющая значение интегрирования в направлении под наклоном информации кромки;

на фиг.32 показана схема, поясняющая пример результата детектирования наклонной линии разделения;

на фиг.33 показана схема, поясняющая другой пример нормализации значения интегрирования информации кромки каждой линии в направлении под наклоном;

на. фиг.34 показана схема, поясняющая другой пример нормализации значения интегрирования информации кромки каждой линии в направлении под наклоном;

на фиг.35 показана схема, поясняющая другой пример нормализации значения интегрирования информации кромки каждой линии в направлении под наклоном;

на фиг.36 показана схема, поясняющая пример структуры композиции, в которой классифицирована композиция входного изображения;

на фиг.37 показана схема, поясняющая пример структуры композиции, классифицированной на основе горизонтальной линии разделения;

на фиг.38 показана схема, поясняющая пример структуры композиции, классифицированной на основе вертикальной линии разделения;

на фиг.39А и 39В представлены схемы, поясняющие примеры структуры композиции, классифицированной на основе наклонной линии разделения;

на фиг.40 показана схема, поясняющая пример структуры композиции, классифицированной на основе наклонной линии разделения;

на фиг.41 показана схема, иллюстрирующая взаимосвязь между степенью симметрии и линией разделения;

на фиг.42 показана блок-схема последовательности операций, поясняющая другую операцию обработки классификации композиции;

на фиг.43 показана блок-схема, иллюстрирующая пример функциональной конфигурации устройства формирования изображения;

на фиг.44 показана схема, поясняющая пример отображения рекомендации композиции;

на фиг.45 показана схема, поясняющая пример отображения рекомендации композиции; и

на фиг.46 показана блок-схема, иллюстрирующая пример конфигурации компьютерного оборудования.

Подробное описание изобретения

Ниже, со ссылкой на чертежи, будут описаны варианты осуществления раскрываемой в настоящее время технологии.

[Пример конфигурации устройства обработки изображений]

На фиг.1 иллюстрируется пример функциональной конфигурации устройства обработки изображений в соответствии с вариантом осуществления раскрываемой в настоящее время технологии.

Например, устройство 11 обработки изображений на фиг.1 рассчитывает степень симметрии, обозначающую симметрию линии входного изображения, вводимого из устройства формирования изображения, такого как цифровая камера и т.п., или другого устройства обработки изображений, и детектирует линию разделения, разделяющую входное изображение на заданные области. Кроме того, устройство 11 обработки изображений классифицирует композицию входного изображения на заданные структуры композиции (то есть классификации) на основе, по меньшей мере, одной из степени симметрии и линии разделения.

Устройство 11 обработки изображений включает в себя модуль 31 расчета степени симметрии, модуль 32 детектирования линии разделения и модуль 33 классификации композиции.

Входное изображение, вводимое в устройство 11 обработки изображений, подают в модуль 31 расчета степени симметрии и модуль 32 детектирования линии разделения.

Модуль 31 расчета степени симметрии рассчитывает степень симметрии, обозначающую линию симметрии информации пикселя (значение пикселя) каждого из пикселей во входном изображении, относительно друг друга в направлении слева направо и в направлении сверху вниз входного изображения, и подает степень симметрии в модуль 33 классификации композиции.

[Пример функциональной конфигурации модуля расчета степени симметрии]

На фиг.2 иллюстрируется пример функциональной конфигурации модуля 31 расчета степени симметрии.

Модуль 31 расчета степени симметрии включает в себя модуль 41 расчета степени симметрии кромки, модуль 42 расчета степени симметрии цвета и модуль 43 определения степени симметрии.

Модуль 41 расчета степени симметрии кромки рассчитывает степень симметрии (ниже называется степенью симметрии кромки) для информации кромки, которая представляет собой тип информации о пикселе каждого из пикселей во входном изображении, и подает степень симметрии в модуль 43 определения степени симметрии.

[Пример функциональной конфигурации модуля расчета степени симметрии кромки]

На фиг.3 иллюстрируется пример функциональной конфигурации модуля 41 расчета степени симметрии кромки.

Модуль 41 расчета степени симметрии кромки включает в себя модуль 51 генерирования изображения кромки, модуль 52 расчета степени симметрии слева направо (то есть модуль расчета первой степени симметрии кромки) и модуль 53 расчета степени симметрии сверху вниз (то есть второй модуль расчета степени симметрии кромки).

Модуль 51 генерирования изображения кромки генерирует изображение кромки, включающие в себя информацию кромки каждого из пикселей во входном изображении (то есть изображение кромки, которое обозначает кромки входного изображения), на основе каждого из пикселей и передает изображение кромки в модуль 52 расчета степеней симметрии слева направо и в модуль 53 расчета степени симметрии сверху вниз.

Модуль 52 расчета степени симметрии слева направо рассчитывает степень симметрии кромки слева направо, то есть степень симметрии информации кромки относительно центральной линии в направлении слева направо в изображении кромки (то есть первая воображаемая линия на изображении кромки, которая параллельна стороне изображения кромки), подаваемой из модуля 51 генерирования изображения кромки, и выводит степень степени симметрии кромки слева направо.

Модуль 53 расчета степени симметрии сверху вниз рассчитывает степень симметрии кромки сверху вниз, которая представляет собой степень симметрии информации кромки относительно центральной линии в направлении сверху вниз в изображении кромки (то есть вторая воображаемая линия в изображении кромки, которая перпендикулярна первой воображаемой линии), передаваемом из модуля 51 генерирования изображения кромки, и выводит полученную степень симметрии кромки сверху вниз.

Таким образом, модуль 41 расчета степени симметрии кромки подает, как степень симметрии кромки, степень симметрии кромки слева направо и степень симметрии кромки сверху вниз в модуль 43 определения степени симметрии.

Возвращаясь к описанию фиг.2, модуль 42 расчета степени симметрии цвета рассчитывает степень симметрии (ниже называется степенью симметрии цвета) информации цветов, которая представляет собой тип информации пикселя каждого из пикселей во входном изображении, и подает степень симметрии в модуль 43 определения степени симметрии.

[Пример функциональной конфигурации модуля расчета степени симметрии цвета]

На фиг.4 иллюстрируется пример функциональной конфигурации модуля 42 расчета степени симметрии цвета.

Модуль 42 расчета степени симметрии цвета включает в себя модуль 61 преобразования цветового пространства, модуль 62 расчета степени симметрии слева направо (то есть модуль расчета первой степени симметрии цвета) и модуль 63 расчета степени симметрии сверху вниз (то есть второй модуль расчета степени симметрии цвета).

Модуль 61 преобразования цветового пространства преобразует в другое цветовое пространство цветовое пространство, в котором представлена информация пикселя (информация цвета) каждого из пикселей во входном изображении, и подает в модуль 62 расчета степени симметрии слева направо и в модуль 63 расчета степени симметрии сверху вниз входное изображение, включающее в себя информацию о цвете, представленную в преобразованном цветовом пространстве.

Модуль 62 расчета степени симметрии слева направо рассчитывает степень симметрии цвета слева направо, которая представляет собой степень симметрии информации цвета относительно центральной линии в направлении слева направо во входном изображении (то есть первая воображаемая линия во входном изображении, которая параллельна стороне входного изображения), подаваемом из модуля 61 преобразования цветового пространства, и выводит степень симметрии цвета слева направо.

Модуль 63 расчета степени симметрии сверху вниз рассчитывает степень симметрии цвета сверху вниз, которая представляет собой степень симметрии информации цвета относительно центральной линии в направлении сверху вниз во входном изображении (то есть вторая воображаемая линия во входном изображении, которая перпендикулярна первой воображаемой линии), подаваемой из модуля 61 преобразования цветового пространства, и выводит степень симметрии цвета сверху вниз.

Таким образом, модуль 42 расчета степени симметрии цвета подает, как степень симметрии цвета, степень симметрии цвета слева направо и степень симметрии цвета сверху вниз в модуль 43 определения степени симметрии.

Возвращаясь к описанию фиг.2, на основе степени симметрии кромки, подаваемой из модуля 41 расчета степени симметрии кромки и степени симметрии цвета, подаваемой из модуля 42 расчета степени симметрии цвета, модуль 43 определения степени симметрии определяет степень симметрии слева направо, обозначающую линию симметрии относительно направления слева направо во входном изображении, и степень симметрии сверху вниз, обозначающую линию симметрии относительно направления сверху вниз во входном изображении. В частности, модуль 43 определения степени симметрии определяет, как степень симметрии слева направо, одну из степени симметрии кромки слева направо, подаваемую, как степень симметрии кромки, из модуля 41 расчета степени симметрии кромки, и степени симметрии цвета слева направо, подаваемую, как степень симметрии цвета, из модуля 42 расчета степени симметрии цвета, определенное значение, удовлетворяющее заданному условию. Кроме того, модуль 43 определения степени симметрии определяет, как степень симметрии сверху вниз, одну из степени симметрии кромки сверху вниз, подаваемую, как степень симметрии кромки из модуля 41 расчета степени симметрии кромки, и степени симметрии цвета сверху вниз, подаваемую, как степень симметрии цвета, из модуля 42 расчета степени симметрии цвета, определенную так, чтобы она удовлетворяла заданному условию.

Таким образом, модуль 31 расчета степени симметрии подает, как степень симметрии, степень симметрии слева направо и степень симметрии сверху вниз, в модуль 33 классификации композиции.

Возвращаясь к описанию на фиг.1, модуль 32 детектирования линии разделения детектирует линию разделения для разделения входного изображения, по вариации распределения информации пикселя во входном изображении, и подает информацию линии разделения, обозначающую детектированную линию разделения, в модуль 33 классификации композиции.

[Пример функциональной конфигурации модуля детектирования линии разделения]

На фиг.5 показан пример функциональной конфигурации модуля 32 детектирования линии разделения.

Модуль 32 детектирования линии разделения включает в себя модуль 71 генерирования изображения кромки, модуль 72 детектирования горизонтальной линии разделения (то есть модуль детектирования первой линии разделения), модуль 73 детектирования вертикальной линии разделения (то есть модуль детектирования второй линии разделения) и модули 74 и 75 детектирования наклонной линии разделения (то есть модули детектирования третьей и четвертой линии разделения).

Таким же образом, как и модуль 51 генерирования изображения кромки на фиг.3, модуль 71 генерирования изображения кромки генерирует изображение кромки, включающее в себя информацию кромки каждого из пикселей во входном изображении, на основе каждого из пикселей, и подает изображение кромки в модуль 72 детектирования горизонтальной линии разделения в модуль 75 детектирования линии разделения под наклоном.

Модуль 72 детектирования горизонтальный линии разделения интегрирует информацию кромки в горизонтальном направлении в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и детектирует линию горизонтального разделения (то есть первую линию разделения), разделяющую входное изображение в горизонтальном направлении (а именно наверх и вниз), по распределению значения его интегрирования. Модуль 72 детектирования горизонтальной линии разделения выводит информацию линии горизонтального разделения, обозначающую детектированную горизонтальную линию разделения.

Модуль 73 детектирования вертикальной линии разделения интегрирует информацию кромки в вертикальном направлении в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и детектирует линию вертикального разделения (то есть вторую линию разделения, которая расположена под углом относительно первой линии разделения), которая разделяет входное изображение в вертикальном направлении (а именно на правую и левую части), по распределению его интегрированного значения. Модуль 73 детектирования вертикальной линии разделения выводит информацию вертикальной линии разделения, обозначающую детектированную вертикальную линию разделения.

Модуль 74 детектирования наклонной линии разделения интегрирует информацию кромки в наклонном направлении вверх и вправо в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и детектирует наклонную линию разделения, направленную вверх и вправо (то есть третью линию разделения, которая расположена под углом относительно первой и второй линий разделения), которая разделяет входное изображение в наклонном направлении вверх и вправо, по распределению ее интегрированного значения. Модуль 74 детектирования наклонной линии разделения выводит первую информацию наклонной линии разделения, обозначающую детектированную наклонную линию разделения в направлении вверх и вправо.

Модуль 75 детектирования наклонной линии разделения интегрирует информацию кромки в наклонном направлении вверх и влево в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и детектирует наклонную линию разделения в направлении верх и влево (то есть четвертую линию разделения, которая расположена под углом относительно первой, второй и третьей линий разделения), которые разделяют входное изображение в наклонном направлении вверх и влево, из распределения его интегрального значения. Модуль 75 детектирования наклонной линии разделения выводит информацию наклонной линии разделения, обозначающую детектированную наклонную линию разделения в направлении вверх и влево.

Таким образом, в качестве информации линии разделения модуль 32 детектирования линии разделения подает информацию линии горизонтального разделения, информацию линии вертикального разделения, первую информацию наклонной линии разделения и вторую информацию наклонной линии разделения в модуль 33 классификации композиции.

Здесь со ссылкой на фиг.6-8 представлены примеры функциональной конфигурации от модуля 72 детектирования горизонтальной линии разделения до модуля 75 детектирования наклонной линии разделения.

[Пример функциональной конфигурации модуля детектирования горизонтальной линии разделения]

На фиг.6 иллюстрируется пример функциональной конфигурации модуля 72 детектирования горизонтальной линии разделения.

Модуль 72 детектирования горизонтальной линии разделения включает в себя модуль 111 интегрирования в горизонтальном направлении, фильтр 112 низкой частоты (LPF), модуль 113 детектирования значения пика и модуль 114 обработки порогового значения.

Модуль 111 интегрирования в горизонтальном направлении интегрирует информацию пикселя (информацию кромки) пикселя относительно каждой из линий, включающих в себя пиксели (ниже просто называется линией) в горизонтальном направлении, в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и подает результат ее интегрирования в LPF 112. Результат интегрирования, получаемый здесь, представляет собой значение интегрирования информации кромки в горизонтальном направлении, относительно положения пикселя в вертикальном направлении в изображении кромки (входное изображение).

В результате выполнения процесса обработки фильтрации для результата интегрирования из модуля 111 интегрирования в горизонтальном направлении, а именно значения интегрирования информации кромки в горизонтальном направлении относительно положения пикселя в вертикальном направлении в изображении кромки, LPF 112 удаляет шумы из результата интегрирования и подает результат интегрирования в модуль 113 детектирования значения пика.

Модуль 113 детектирования значения пика детектирует значение пика для значения интегрирования из результата интегрирования, из которого были удалены шумы с помощью LPF 112, и подает в модуль 114 обработки порогового значения детектированное значение пика и положение пикселя в вертикальном направлении линии, продолжающейся в горизонтальном направлении, на которой было получено значение интегрирования, представляющее собой значение пика.

Модуль 114 обработки порогового значения сравнивает значение пика из модуля 113 детектирования значения пика с заданным пороговым значением. Кроме того, когда значение пика больше, чем заданное пороговое значение, модуль 114 обработки порогового значения определяет, как горизонтальную линию разделения, линию в горизонтальном направлении, от которой получают значение интегрирования, которое должно быть значением пика, и выводит как информацию горизонтальной линии разделения положение пикселя в вертикальном направлении линии в изображении кромки.

[Пример функциональной конфигурации модуля детектирования линии вертикального разделения]

На фиг.7 иллюстрируется пример функциональной конфигурации модуля 73 детектирования линии вертикального разделения.

Модуль 73 детектирования линии вертикального разделения включает в себя модуль 121 интегрирования в вертикальном направлении, LPF 122, модуль 123 детектирования значения пика и модуль 124 обработки порогового значения.

Модуль 121 интегрирования в вертикальном направлении интегрирует информацию кромки относительно каждой из линий в вертикальном направлении в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и передает результат его интегрирования в LPF 122. Полученный здесь результат интегрирования представляет собой значение интегрирования информации кромки в вертикальном направлении относительно положения пикселя в горизонтальном направлении в изображении кромки (входное изображение).

В результате выполнения обработки фильтрации результата интегрирования из модуля 121 интегрирования в вертикальном направлении, а именно значения интегрирования информации кромки в вертикальном направлении относительно положения пикселя в горизонтальном направлении в изображении кромки, LPF 122 удаляет шумы из результата интегрирования и подает результат интегрирования в модуль 123 детектирования значения пика.

Модуль 123 детектирования значения пика детектирует значение пика для значения интегрирования из результата интегрирования, из которого были удалены шумы с помощью LPF 122, и подает в модуль 124 обработки порогового значения детектированное значение пика и положение пикселя в горизонтальном направлении линии, в вертикальном направлении, от которой получают значение интегрирования как значение пика.

Модуль 124 обработки порогового значения сравнивает пиковое значение из модуля 123 детектирования значения пика с заданным пороговым значением. Кроме того, когда значение пика больше, чем заданное пороговое значение, модуль 124 обработки порогового значения определяет, как вертикальную линию разделения, линию в вертикальном направлении, от которой получают значение интегрирования, которое должно представлять собой значение пика, и выводит, как информацию вертикальной линии разделения, положение пикселя в горизонтальном направлении на линии на кромке изображении.

[Пример функциональной конфигурации модуля детектирования наклонной линии разделения]

На фиг.8 иллюстрируется пример функциональной конфигурации модуля 74 детектирования наклонной линии разделения.

Модуль 74 детектирования наклонной линии разделения включает в себя модуль 131 интегрирования наклонного направления, LPF 132, модуль 133 детектирования пикового значения и модуль 134 обработки порогового значения.

Модуль 131 интегрирования наклонного направления интегрирует информацию кромки относительно каждой из линий в наклонном направлении вверх и вправо в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и подает его результат интегрирования в LPF 132. Результат интегрирования, полученный здесь, представляет собой значение интегрирования информации кромки в наклонном направлении вверх и вправо относительно положения пикселя в наклонном направлении вверх и влево в изображении кромки (входное изображение).

В результате выполнения обработки фильтрации для результата интегрирования из модуля 131 интегрирования наклонного направления, а именно значения интегрирования информации кромки в наклонном направлении вверх и вправо относительно положения пикселя в наклонном направлении вверх и влево на изображении кромки, LPF 132 удаляет шумы из результата интегрирования и подает результат интегрирования в модуль 133 детектирования значения пика.

Модуль 133 детектирования значения пика детектирует значение пика для значения интегрирования из результата интегрирования, из которого шумы были удалены с помощью LPF 132, и подает в модуль 134 обработки порогового значения детектированное значение пика и положение пикселя в наклонном направлении вверх и влево линии наклонного направления вверх и вправо, от которой получают значение интегрирования, которое должно представлять собой значение пика.

Модуль 134 обработки порогового значения сравнивает значение пика из модуля 133 детектирования значения пика с заданным пороговым значением. Кроме того, когда значение пика больше чем заданное пороговое значение, модуль 114 обработки порогового значения определяет, как наклонную линию разделения вверх и вправо, линию в наклонном направлении вверх и вправо, от которой было получено значение интегрирования, которое должно представлять собой значение пика, и выводит, как информацию первой линии разделения, положение пикселя в наклонном направлении вверх и влево линии на кромке изображения.

Кроме того, пример функциональной конфигурации модуля 75 детектирования наклонной линии разделения, в основном, является тем же, что и модуль 74 детектирования наклонной линии разделения по фиг.8 за исключением того, что в отдельных модулях модуля 74 детектирования наклонной линии разделения обработка для наклонного направления вверх и вправо информации кромки заменяется обработкой для наклонного направления вверх и влево информации кромки. Поэтому ее описание будет исключено.

Кроме того, возвращаясь к описанию на фиг.1, модуль 33 классификации композиции классифицирует композицию во входном изображении на одну из заранее определенных структур композиции, на основе степени симметрии из модуля 31 расчета степени симметрии и информации линии разделения из модуля 32 детектирования линии разделения и выводит структуру композиции вместе со степенью симметрии и информацией линии разделения в устройство обработки информации, устройство сохранения и т.п., которые не показаны.

[Обработка классификации композиции, выполняемая в устройстве обработки изображения]

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг.9, будет описана обработка классификации композиции, выполняемая в устройстве 11 обработки изображения на фиг.1.

Композицию входного изображения, подаваемого в устройство 11 обработки изображения, классифицируют на одну из заранее определенных структур композиции на основе обработки классификации композиции, представленной в блок-схеме последовательности операций на фиг.9.

Здесь структура композиции, обычно рекомендованная при фотосъемке и т.п., будет описана со ссылкой на фиг.10.

Структура С композиции, иллюстрируемая на фиг.10, включает в себя две репрезентативные структуры композиции, такие как композиция, основанная на правиле трех, и диагональная композиция.

Композиция, основанная на правиле трех, представляет собой композицию, включающую в себя горизонтальные линии H1 и Н2 разделения и вертикальные линии V1 и V2 разделения, называемые линиями деления на 3. Кроме того, установлена граница субъекта или ландшафта, по меньшей мере, на одной линии из горизонтальных линий H1 и Н2 разделения и вертикальных линий V1 и V2 разделения, или субъект расположен в одной из четырех точек пересечения (точек пересечения линии деления на 3) между линиями H1 и Н2 горизонтального разделения и линиями V1 и V2 вертикального разделения, обеспечивая, таким образом, возможность получения хорошо сбалансированного изображения.

Кроме того, диагональная композиция представляет собой композицию, включающую в себя диагональные линии D1 и D2, и границу субъекта или ландшафта устанавливают, по меньшей мере, на одной линии из диагональных линий D1 и D2, обеспечивая, таким образом, возможность получения хорошо сбалансированного изображения.

При обработке классификации композиции, описанной ниже, определяют, насколько симметричной является композиция входного изображения относительно направления слева направо или направления вверх и вниз или на какую из описанных выше композиций на основе правила трех или диагональной композиции похожа композиция входного изображения.

На этапе S11 в блок-схеме последовательности операций на фиг.9 модуль 31 расчета степени симметрии выполняет обработку расчета степени симметрии и рассчитывает степень симметрии информации пикселя каждого из пикселей во входном изображении относительно каждого из направления слева направо и направления сверху вниз входного изображения.

[Обработка расчета степени симметрии, выполняемая в модуле расчета степени симметрии]

Здесь обработка расчета степени симметрии, выполняемая на этапе S11 в блок-схеме последовательности операций на фиг.9, будет описана со ссылкой на блок-схему последовательности операций на фиг.11.

На этапе S31 модуль 41 расчета степени симметрии кромки в модуле 31 расчета степени симметрии выполняет обработку расчета степени симметрии кромки и рассчитывает степень симметрии кромки входного изображения.

[Обработка расчета степени симметрии кромки, выполняемая в модуле расчета степени симметрии кромки]

Здесь обработка расчета степени симметрии кромки, выполняемая на этапе S31 в блок-схеме последовательности операций на фиг.11, будет описана со ссылкой на блок-схему последовательности операций на фиг.12.

На этапе S41 модуль 51 генерирования изображения кромки в модуле 41 расчета степени симметрии кромки получает изображение яркости из входного изображения и генерирует изображение кромки, которое включает в себя значение кромки (информацию кромки), полученную путем применения фильтра выделения кромки, такого как фильтр Собеля, фильтр Габора и т.п., в изображении яркости.

Кроме того, модуль 51 генерирования изображения кромки может получать изображения каналов цвета, таких как R, G, В и т.п., из входного изображения, сравнивать значения кромки, полученные индивидуально, применяя фильтр выделения кромки с цветным изображениями канала, друг с другом между каналами относительно каждого пикселя, и генерировать изображение кромки, включающее в себя индивидуальное максимальное значение.

Кроме того, модуль 51 генерирования изображения кромки также может выполнять разделение области по цвету, в котором используется алгоритм среднего сдвига (способ сдвига среднего) и т.п., для входного изображения, и генерировать изображение кромки путем назначения значения кромки для пикселя на граничной линии разделенной области. Например, в этом случае значение "1" кромки назначают для пикселя на граничной области, и значение "0" кромки назначают для пикселя в другой области, кроме граничной линии.

Например, когда, как показано на фиг.13, изображение сцены, в которой субъект представляет собой гору, вводят, как входное изображение Р1, модуль 51 генерирования изображения кромки генерирует изображение P1e кромки, которое обозначает форму профиля сцены, включающей в себя гору. Изображение P1e кромки, сгенерированное таким образом, подают в модуль 52 расчета степеней симметрии слева направо и в модуль 53 расчета степени симметрии сверху вниз.

На этапе S42, модуль 52 расчета степеней симметрии слева направо рассчитывает степень для степени симметрии кромки слева направо, которая представляет собой степень симметрии слева направо изображения кромки, на основе изображения кромки, подаваемого из модуля 51 генерирования изображения кромки.

Здесь пример расчета степени для степени симметрии кромки слева направо будет описан со ссылкой на фиг.14. На фиг.14 иллюстрируется изображение P1e кромки.

Как показано на фиг.14, если изображение P1e кромки включает в себя Н×W пиксели, центральная линия в направлении слева направо в изображении P1e кромки представляет собой линию, расположенную в положении W/2 пикселей.

Кроме того, внимание сфокусировано на линии в горизонтальном направлении, в положении пикселя в направлении вверх вниз, которое обозначено "i", и предполагается, что положение пикселя для пикселя, расположенного на j пикселей с правой стороны от пикселя (пикселя, положение пикселя которого представляет собой W/2) на центральной линии в направлении слева направо, представлено как "+j", и положение пикселя для пикселя, расположенного на j пикселей с левой стороны от пикселя на центральной линии в горизонтальном направлении, представлено как "-j".

В это время в изображении P1e кромки, сумма d разности между частями информации кромки пары пикселей, расположенных на противоположных сторонах от центральной линии в направлении слева направо (их положение пикселя составляет W/2), положения пикселя пары пикселей, представляющих положения пикселя (i, j) и (i, - j) (ниже просто называется положением пикселя (i, j)), и сумма s частей информации кромки пар пикселей, расположенных на противоположных сторонах от центральной линии в направлении слева направо (а именно сумма частей информации кромки всех пикселей), обозначена следующими выражениями (1) и (2), соответственно.

$$d=\frac{{\displaystyle \sum _{i=0}^{H-1}{\displaystyle \sum _{j=1}^{W/2-1}\left|I\left(W/2-j\right)-I\left(W/2+j\right)\right|}\cdot W}}{{\displaystyle \sum W}}\cdots \left(1\right)$$

$$S=\frac{{\displaystyle \sum _{i=0}^{H-1}{\displaystyle \sum _{j=1}^{W/2-1}\left\{I\left(W/2-j\right)+I\left(W/2+j\right)\right\}}\cdot W}}{{\displaystyle \sum W}}\cdots \left(2\right)$$

В выражениях (1) и (2) коэффициент w представляет собой взвешивающий коэффициент, степень взвешивания которого уменьшается при увеличении расстояния положения пикселя (i, j) для пикселя, на котором сосредоточено внимание, от центральной точки входного изображения, положение (i, j) пикселя определяют относительно центра кромки изображения, и когда расстояние положения (i, j) пикселя от центральной точки входного изображения будет обозначено, как r, коэффициент w будет обозначен следующим выражением (3)

$$W=\exp \left(-\frac{r^2}{{\sigma }^2}\right)\cdots \left(3\right)$$

Кроме того, предполагается, что константа σ в выражении (3) представляет собой произвольно установленное значение.

"Сумма разностей между частями информации кромки" d, обозначенная выражением (1), имеет значение, приближающееся к "0", которое увеличивается при симметрии слева направо изображения P1e кромки, и "сумма разностей между частями информации кромки" d имеет значение, приближающееся к "сумме частей информации кромки" s, и увеличивается при асимметрии слева направо изображения P1e кромки. Поэтому степень симметрии кромки слева направо sym_edg_LR, которая представляет собой степень симметрии слева направо изображения кромки, обозначена следующим выражением (4).

$$sy{m}_{-}ed{g}_{-}LR=1-\frac{d}{s}\cdots \left(4\right)$$

А именно степень симметрии кромки слева направо sym_edg_LR имеет значение, диапазон которого составляет 0<sym_edg_LR<1, и имеет значение, приближающееся к "1" при увеличении симметрии слева направо изображения P1e кромки.

Таким образом, рассчитывают степень степени кромки слева направо.

Возвращаясь к блок-схеме последовательности операций на фиг.12, на этапе S43, модуль 53 расчета степени симметрии сверху вниз рассчитывает степень симметрии кромки сверху вниз, которая представляет собой степень симметрии сверху вниз изображения кромки, на основе изображения кромки, подаваемого из модуля 51 генерирования изображения кромки.

Кроме того, что касается степени симметрии кромки сверху вниз sym_edg_TB, как показано на фиг.15, предполагается, что центральная линия в направлении вверх вниз изображения P1e кромки представляет собой линию, положение пикселя которой составляет Н/2, и внимание фокусируется на линии, включающей в себя пиксели в вертикальном направлении, расположенном в положении j пикселя в направлении слева направо. Кроме того, когда предполагается, что положение пикселя для пикселя, расположенного на расстоянии i пикселей от на нижней стороны от пикселя (пикселя, положение пикселя которого составляет Н/2) на центральной линии в направлении вверх вниз, представлено как "+i", и положение пикселя для пикселя, расположенного на i пикселей с верхней стороны от пикселя на центральной линии в направлении вверх вниз, представлено как "-i", степень симметрии кромки в направлении сверху вниз, sym_edg_TB, рассчитывают путем замены значения Н и значения W друг на друга в выражениях (1) и (2), так же, как и степень симметрии кромки слева направо sym_edg_LR.

Таким образом, рассчитывают степень симметрии кромки сверху вниз.

После этапа S43 обработка возвращается на этап S31 в блок-схему последовательности операций на фиг.11 и переходит на этап S32.

В частности, когда, как входное изображение, вводят входное изображение Р2, в котором овощи, как субъекты съемки, имеющие приблизительно одинаковую форму и разные цвета, размещены рядом друг с другом, как представлено с левой стороны на фиг.16, изображение Р2е кромки, показанное с правой стороны на фиг.16, генерируют при обработке расчета степени симметрии кромки.

Поскольку изображение Р2е кромки, показанное на фиг.16, имеет высокую линейную симметрию относительно направления слева направо, большое значение получают, как степень симметрии кромки слева направо. Однако поскольку цвета субъектов, размещенных рядом друг с другом, отличаются друг от друга в фактическом входном изображении Р2, нет необходимости обеспечивать высокое значение линейной симметрии относительно направления слева направо.

Таким образом, при обработке расчета степени симметрии кромки трудно получить симметрию линии для цвета входного изображения.

Поэтому на этапе S32 модуль 42 расчета степени симметрии цвета выполняет обработку расчета степени симметрии цвета и рассчитывает степень симметрии цвета во входном изображении, получая, таким образом, симметрию линии цвета входного изображения.

[Обработка расчета степени симметрии цвета, выполняемая в модуле расчета степени симметрии цвета]

Здесь будет описана, со ссылкой на блок-схему последовательности операций, показанную на фиг.17, обработка, выполняемая при расчете степени симметрии цвета, выполняемая на этапе S31, в блок-схеме последовательности операций, показанной на фиг.11.

На этапе S51, модуль 61 преобразования пространства цвета преобразует пространство цвета так, что отдельные пиксели во входном изображении, представленные пространством RGB, будут представлены, например, пространством L*a*b*. Модуль 61 преобразования пространства цвета подает входное изображение, представленное пространством L*a*b*, в модуль 62 расчета степени симметрии слева направо и в модуль 63 расчета степени симметрии сверху вниз.

На этапе S52 модуль 62 расчета степени симметрии слева направо рассчитывает степень симметрии цвета слева направо, которая представляет собой степень симметрии слева направо входного изображения, пространство цвета которого было преобразовано модулем 61 преобразования пространства цвета, входное изображение представлено пространством L*a*b*.

Здесь будет описан пример расчета степени симметрии цвета слева направо. Кроме того, предполагается, что входное изображение, представленное пространством L*a*b*, выражено таким же образом, как и изображение P1e кромки, описанное со ссылкой на фиг.14.

В это время во входном изображении сумма D разности цветов между парой пикселей, расположенных на противоположных сторонах центральной линии в направлении слева направо (положение их пикселя представляет собой W/2), положения пикселя пары пикселей, представляющих собой положение (i, j), пикселя, обозначены следующим выражением (5).

$$D=\frac{{\displaystyle \sum _{i=0}^{H-1}{\displaystyle \sum _{j=1}^{W/2-1}dE\left(i,j\right)}\cdot W}}{{\displaystyle \sum W}}\cdots \left(5\right)$$

В выражении (5) разность dE цветов между пикселями, расположенными в положении (i, j) пикселя, разность dL между их компонентами L на L* оси, разность da между их компонентами а на оси а* и разность db между их компонентами b на оси b* индивидуально обозначены следующим выражением (6).

$$\begin{array}{c}dE=\sqrt{d{L}^2+d{a}^2+d{b}^2}\\ dL=L\left(i,W/2-j\right)-L\left(i,W/2+j\right)\\ da=a\left(i,W/2-j\right)-a\left(i,W/2+j\right)\\ db=b\left(i,W/2-j\right)-b\left(i,W/2+j\right)\end{array}\}\cdots \left(6\right)$$

Кроме того, коэффициент w в выражении (5) представляет собой взвешивающие коэффициенты, относящимся к разности dE цветов между пикселями, расположенными в положении (i, j) пикселей, и коэффициент w обозначен следующим выражением (7).

$$W=W_P\cdot W_E\cdots \left(7\right)$$

В выражении (7) взвешивающий коэффициент w_p представляет собой взвешивающий коэффициент, взвешивающая способность которого уменьшается при увеличении расстояния положения (i, j) пикселя от центральной точки входного изображения, и взвешивающий коэффициент w_p обозначен следующим выражением (8).

$$W_P=\exp \left[-\beta \left\{{\left(i-\frac{H}{2}\right)}^2+{\left(j-\frac{W}{2}\right)}^2\right\}\right]\cdots \left(8\right)$$

Кроме того, предполагается, что постоянная β в выражении (8) представляет собой произвольно установленное значение.

Кроме того, в выражении (7), взвешивающий коэффициент w_Е представляет собой взвешивающий коэффициент, взвешивающая функция которого будет выше в области, в которой разность цветов dE между пикселями, расположенными в положении (i, j) пикселя, на которое направлено внимание, будет больше, и взвешивающий коэффициент w_Е имеет такую характеристику, как показана на фиг.18. В частности, когда разность dE цветов будет меньше, чем значение dE₁, взвешивающий коэффициент w_E имеет значение 1,0, и когда разность dE цветов будет больше, чем значение dE₂, взвешивающий коэффициент w_E имеет значение w_EM. Кроме того, когда разность dE цветов находится в диапазоне от значения dE₁ до значения dE₂, взвешивающий коэффициент w_E также увеличивается в соответствии с увеличением разности dE цветов.

А именно взвешивающий коэффициент w_Е взвешивают относительно разности dE цветов таким образом, что разность dE цветов будет в большей степени выражена для области, цвета которой значительно изменяются справа налево, таким образом, как входное изображение Р2, показанное на фиг.16.

В соответствии с этим, в то время как "сумма разности цветов" D, обозначенная выражением (5), имеет значение, которое уменьшается при увеличении симметрии слева направо цветов во входном изображении, и имеет значение, которое увеличивается с увеличением асимметрии слева направо цвета входного изображения, "сумму разности цветов" D преобразуют, как показано на фиг.19, для того, чтобы было легче с ней работать.

А именно в соответствии с фиг.19, когда сумма разности D цветов будет меньше, чем минимальное значение dE_min разности dE цветов между пикселями, расположенными в положении (i, j) пикселя, сумма разности D' цветов после преобразования имеет значение "0", и когда сумма разности D цветов больше, чем максимальное значение dE_max разности dE цветов между пикселями, расположенными в положении (i, j) пикселя, сумма разности D' цветов после преобразования имеет значение "1". Кроме того, когда сумма разности D цветов находится в диапазоне от dE_min до dE_max, сумма разности D' цветов после преобразования также увеличивается в ответ на увеличение суммы разности D цветов.

Кроме того, степень симметрии цветов слева направо sym_col_LR, которая представляет собой степень симметрии слева направо цвета во входном изображении, обозначена следующим выражением (9).

$$sy{m}_{-}co{l}_{-}LR=1-D\text{'}\cdots \left(9\right)$$

А именно степень симметрии цветов слева направо sym_col_LR имеет значение, диапазон которого составляет 0≤sym_col_LR≤1, и имеет значение, приближающееся к "1", с увеличением симметрии цветов слева направо во входном изображении.

Таким образом, рассчитывают степень симметрии цветов слева направо.

Возвращаясь к блок-схеме последовательности операций, показанной на фиг.17, на этапе S53, модуль 63 расчета степени симметрии сверху вниз рассчитывает степень симметрии цвета сверху вниз, которая представляет собой степень симметрии сверху вниз входного изображения, пространство цветов которого преобразовано с помощью модуля 61 преобразования пространства цветов, при этом входное изображение представлено, как пространство L*a*b*.

Кроме того, что касается степени симметрии цветов сверху вниз sym_col_TB, таким же образом, как и в изображении Pie кромки, показанном на фиг.15, предполагается, что центральная линия в направлении сверху вниз входного изображения представляет собой линию, положение пикселей которой составляет Н/2, и внимание фокусируется на линии в вертикальном направлении, расположенной в положении j пикселя в направлении слева направо. Кроме того, когда предполагается, что положение пикселя для пикселя, расположенного на i- пикселей с нижней стороны от пикселя (пикселя, положение пикселя которого составляет Н/2) на центральной линии в направлении вверх-вниз, представлено, как "+i" и положение пикселя для пикселя, расположенного на i пикселей с верхней стороны от пикселя на центральной линии в направлении вверх вниз, представлено, как "-i", степень симметрии кромки сверху вниз, sym_edg_TB, рассчитывают путем замены значения Н и значения W друг другом в Выражениях (5) и (6), таким же образом, как и степень симметрии цвета слева направо sym_col_LR.

Таким образом, рассчитывают степень симметрии цвета вверх вниз.

После этапа S53 обработка возвращается на этап S32 в блок-схеме последовательности операций на фиг.11, и переходит на этап S33.

На этапе S33 модуль 43 определения степени симметрии определяет степень симметрии слева направо и степень симметрии сверху вниз входного изображения на основе степени симметрии кромки, подаваемой из модуля 41 расчета степени симметрии кромки, и степени симметрии цвета, подаваемой из модуля 42 расчета степени симметрии цвета.

Например, модуль 43 определения степени симметрии определяет, как степень симметрии слева направо, одну из степени симметрии кромки слева направо, подаваемой из модуля 41 расчета степени симметрии кромки и степени симметрии цвета слева направо, подаваемой из модуля 42 расчета степени симметрии цвета, причем определенная степень меньше, чем другие. Таким же образом, модуль 43 определения степени симметрии определяет, как степень симметрии сверху вниз, одну из степени симметрии кромки сверху вниз, подаваемую из модуля 41 расчета степени симметрии кромки и степени симметрии цвета сверху вниз, подаваемой из модуля 42 расчета степени симметрии цвета, причем определенная степень меньше, чем другие.

Кроме того, модуль 43 определения степени симметрии может также определять как степень симметрии слева направо, одну из степени симметрии кромки слева направо и степени симметрии цвета слева направо, при этом определенное значение будет больше, чем другое, и определять, как степень симметрии сверху вниз, одну из степени симметрии кромки сверху вниз и степени симметрии цвета сверху вниз, при этом определенное значение является большим, чем другие.

Модуль 31 расчета степени симметрии подает, как степень симметрии, степень симметрии слева направо и степень симметрии сверху вниз, определенные таким образом, в модуль 33 классификации композиции, и обработка возвращается на этап S11 на фиг.9.

После этапа S11, на этапе S12, модуль 32 детектирования линии разделения выполняет обработку детектирования линии разделения и детектирует линию разделения по вариации в распределении информации пикселя во входном изображении.

[Обработка детектирования линии разделения, выполняемая в модуле детектирования линии разделения]

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг.20, будет описана обработка детектирования линии разделения, выполняемая на этапе S12, в блок-схеме последовательности операций, показанной на фиг.9.

На этапе S71, таким же образом, как и обработка, выполняемая на этапе S41 в блок-схеме последовательности операций, показанной на фиг.12, модуль 71 генерирования изображения кромки в модуле 32 детектирования линии разделения получает изображение яркости из входного изображения, и генерирует изображение кромки, которое включает в себя значение кромки (информацию кромки), полученную путем применения фильтра выделения кромки, такого, как фильтр Собеля, фильтр Габора и т.п., для изображения яркости.

Кроме того, модуль 71 генерирования изображения кромки может получать изображения канала цвета, такие как R, G, В и т.п., сравнивать значения кромки, полученные путем индивидуального применения фильтра выделения кромки, с изображениями канала цвета, друг с другом между каналами относительно каждого пикселя, и генерировать изображение кромки, включающее в себя отдельные максимальные значения.

Кроме того, модуль 71 генерирования изображения кромки также может выполнять разделение области цвета, при котором используется алгоритм сдвига среднего (способ сдвига среднего) и т.п., для входного изображения, и генерировать изображение кромки путем назначения значения кромки пикселю на граничной линии области разделения. Например, в этом случае, значение "1" кромки назначают для пикселя на граничной линии области, и значение "0" кромки назначают для пикселя в другой области, чем граничная линия.

Например, когда, как показано на фиг.21, изображение сцены, включающее в себя горизонт, вводят, как входное изображение Р3, модуль 71 генерирования изображения кромки генерирует изображение Р3е кромки, которое обозначает форму профиля сцены. Изображение Р3е кромки, сгенерированное таким образом, подают в модуль 72 детектирования горизонтальной линии разделения, в модуль 75 детектирования наклонной линии разделения.

На этапе S72 модуль 72 детектирования горизонтальной линии разделения выполняет обработку детектирования горизонтальной линии разделения, и детектирует горизонтальную линию разделения, которая разделяет входное изображение в горизонтальном направлении (а именно вверх и вниз), на основе изображения кромки, поданного из модуля 71 генерирования изображения кромки.

[Обработка детектирования горизонтальной линии разделения, выполняемая модулем детектирования горизонтальной линии разделения]

Здесь обработка детектирования горизонтальной линии разделения, выполняемая на этапе S72 в блок-схеме последовательности операций на фиг.20, будет описана со ссылкой на блок-схему последовательности операций, показанную на фиг.22.

На этапе S81 модуль 111 интегрирования горизонтального направления в модуле 72 детектирования горизонтальной линии разделения интегрирует информацию кромки относительно каждой из линий в горизонтальном направлении для изображения кромки, подаваемого из модуля 71 генерирования изображения кромки, и подает результат его интегрирования в LPF 112.

Кроме того, при интегрировании информации кромки модуль 111 интегрирования горизонтального направления может интегрировать информацию кромки после взвешивания информации кромки каждого пикселя с таким взвешивающим коэффициентом w, как показано в упомянутом выше выражении (3). В соответствии с этим значение интегрирования уменьшается при увеличении расстояния значения интегрирования от центра изображения кромки.

Результат интегрирования, полученный здесь, представляет собой значение интегрирования информации кромки в горизонтальном направлении, относительно положения пикселя в вертикальном направлении в изображении кромки (входном изображении), и результат интегрирования представлен графически черными ромбами на графике, показанном на фиг.23.

На фиг.23 иллюстрируются примеры значений интегрирования в горизонтальном направлении информации кромки, рассчитанной в результате обработки детектирования горизонтальной линии разделения, и значения, полученного путем выполнения операции, описанной ниже по значению интегрирования.

На графике, показанном на фиг.23, на горизонтальной оси обозначено положение пикселя в вертикальном направлении изображения кромки (входного изображения).

Кроме того, на этапе S82, в результате выполнения обработки фильтрации для значения интегрирования информации кромки, подаваемого из модуля 111 интегрирования в горизонтальном направлении, LPF 112 удаляет шумы и подает значение интегрирования модуля 113 детектирования значения пика. На фиг.23 результат интегрирования, из которого были удалены шумы, представлен на графике белыми квадратами.

На этапе S83 модуль 113 детектирования значения пика детектирует значение пика значения интегрирования из результата интегрирования, из которого были удалены шумы с помощью LPF 112.

В частности, модуль 113 детектирования значения пика рассчитывает первое дифференциальное значение (представлено на графике белыми треугольниками на фиг.23) значения интегрирования, из которого удалены шумы, и, кроме того, рассчитывает первое дифференциальное абсолютное значение (представлено на графике метками в виде крестиков на фиг.23), которое представляет собой абсолютное значение первого дифференциального значения. Модуль 113 детектирования значения пика определяет, как значение пика, значения интегрирования, такое значение интегрирования (точка, окруженная кружком из сплошной линии на фиг.23), которое соответствует первому дифференциальному абсолютному значению (точке, окруженной кружком из пунктирной линии на фиг.23), где его первое дифференциальное значение имеет отрицательное значение, и первое дифференциальное абсолютное значение имеет локальное максимальное значение. В соответствии с этим в значении интегрирования детектируется резко изменяющееся значение пика.

Модуль 113 детектирования значения пика подает в модуль 114 обработки порогового значения детектируемое значение пика и положение пикселя (положение 7 пикселя в примере по фиг.23) в вертикальном направлении на линии в горизонтальном направлении, из которой требуется получить значение интегрирования значения пика.

На этапе S84, модуль 114 обработки порогового значения сравнивает значение пика из модуля 113 детектирования значения пика с заданным пороговым значением, и определяет, является или нет значение пика большим, чем заданное пороговое значение.

На этапе S84, когда определяют, что значение пика больше, чем заданное пороговое значение, обработка переходит на этап S85, и модуль 114 обработки порогового значения определяет, как горизонтальную линию разделения, линию в горизонтальном направлении (линию в положении 7 пикселя в вертикальном направлении), из которой получают значение интегрирования, которое должно быть значением пика. Кроме того, модуль 114 обработки порогового значения выводит, как информацию линии горизонтального разделения, положение пикселя в вертикальном направлении линии на изображении кромки, и обработка детектирования горизонтальной линии разделения заканчивается. После этого обработка возвращается на этап S72 на фиг.20.

Таким образом, когда такое входное изображение Р3, как показано на фиг.21, вводят линию в горизонтальном направлении на горизонтальном участке входного изображения Р3 детектируют, как линию горизонтального разделения, как показано на фиг.24.

С другой стороны, когда, на этапе S84 определяют, что значение пика не больше, чем заданное пороговое значение, обработку на этапе S85 пропускают. В этом случае линию горизонтального разделения не детектируют, и обработка детектирования линии горизонтального разделения заканчивается. После этого обработка возвращается на этап S72 на фиг.20.

После этапа S72, на этапе S73, модуль 73 детектирования линии вертикального разделения выполняет обработку детектирования линии вертикального разделения, и детектирует линию вертикального разделения, которая делит входное изображение в вертикальном направлении (а именно на правую и левую части), на основе изображения кромки, подаваемого из модуля 71 генерирования изображения кромки.

[Обработка детектирования вертикальной линии разделения, выполняемая в модуле детектирования вертикальной линии разделения]

Здесь обработка детектирования вертикальной линии разделения, выполняемая на этапе S73 на блок-схеме последовательности операций на фиг.20, будет описана со ссылкой на блок-схему последовательности операций, описанную на фиг.25.

На этапе S91 модуль 121 интегрирования в вертикальном направлении в модуле 73 детектирования вертикальной линии разделения интегрирует информацию кромки относительно каждой из линий в вертикальном направлении в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, и подает его результат интегрирования в LPF 122.

Кроме того, в случае интегрирования информации кромки, модуль 121 интегрирования в вертикальном направлении может интегрировать информацию кромки после взвешивания информации кромки с таким коэффициентом w взвешивания, как обозначено в упомянутом выше Выражении (3). В соответствии с этим значение интегрирования уменьшается при увеличении расстояния значения интегрирования от центра изображения кромки.

Результат интегрирования, полученный здесь, представляет собой значение интегрирования информации кромки в вертикальном направлении относительно положения пикселя в горизонтальном направлении в изображении кромки (входном изображении), и результат интегрирования отображают на графике, представленном черными ромбами на графике, показанном на фиг.26.

На фиг.26 иллюстрируются примеры значения интегрирования в вертикальном направлении информации кромки, рассчитанной с помощью обработки детектирования вертикальной линии разделения, и значение, получаемое в результате выполнения операции, описанной ниже, для значения интегрирования. На графике, показанном на фиг.26, горизонтальная ось обозначает положение пикселя в горизонтальном направлении изображения кромки (входного изображения).

Кроме того, на этапе S92, в результате выполнении обработки фильтрации для значения интегрирования информации кромки, подаваемой из модуля 121 интегрирования в вертикальном направлении, LPF 122 удаляет шумы и подает значение интегрирования в модуль 123 детектирования значения пика. На фиг.26 результат интегрирования, из которого шумы были удалены, обозначен белыми квадратами.

На этапе S93 модуль 123 детектирования значения пика детектирует значение пика для значения интегрирования из результата интегрирования, из которого шумы были удалены с помощью LPF 122.

В частности, модуль 123 детектирования значения пика рассчитывает первое дифференциальное значение (представлено на графике с помощью белого треугольника на фиг.26) для значения интегрирования, из которого были удалены шумы, и, кроме того, рассчитывает первое дифференциальное абсолютное значение (представленное на графике метками в виде крестиков на фиг.26), которое представляет собой абсолютное значение первого дифференциального значения. Модуль 123 детектирования значения пика определяет, как значение пика значения интегрирования, значение интегрирования, соответствующее первому дифференциальному абсолютному значению, где его первое дифференциальное значение имеет отрицательное значение, и первое дифференциальное абсолютное значение имеет локальное максимальное значение. На фиг.26, хотя здесь отсутствует значение пика, резко изменяющееся таким образом, как в примере, показанном на фиг.23, значение интегрирования, которое должно представлять собой значение пика, получают в положении 11 пикселя в горизонтальном направлении.

Модуль 123 детектирования значения пика передает в модуль 124 обработки порогового значения детектированное значение пика и положение пикселя (положение 11 пикселя на фиг.26) в горизонтальном направлении по линии в вертикальном направлении, из которой было получено значение интегрирования, которое должно представлять собой значение пика.

На этапе S94 модуль 124 обработки порогового значения сравнивает значение пика из модуля 123 детектирования значения пика с заданным пороговым значением и определяет, превышает или нет значение пика заданное пороговое значение.

На этапе S94, когда определяют, что значение пика больше, чем заданное пороговое значение, обработка переходит на этап S95, и модуль 124 обработки порогового значения определяет, как вертикальную линию разделения, линию в вертикальном направлении, от которой получают значение интегрирования, которое должно представлять собой значение пика. Кроме того, модуль 124 обработки порогового значения выводит, как информацию вертикальной линии разделения, положение пикселя в горизонтальном направлении линии на изображении кромки, и обработка детектирования вертикальной линии разделения заканчивается. После этого обработка возвращается на этап S73 на фиг.20.

С другой стороны, когда, на этапе S94, определяют, что значение пика не больше, чем заданное пороговое значение, обработку на этапе S95 пропускают. Например, когда значение пика на фиг.26 меньше, чем заданное пороговое значение, вертикальную линию разделения не детектируют, и обработка детектирования вертикальной линии разделения заканчивается. После этого обработка возвращается на этап S73 по фиг.20.

После этапа S73, на этапе S74, модуль 74 детектирования наклонной линии разделения выполняет обработку 1 детектирования наклонной линии разделения, и детектирует первую вертикальную линию разделения, разделяющую входное изображение в наклонном направлении вверх направо, на основе изображения кромки, подаваемого из модуля 71 генерирования изображения кромки.

[Обработка детектирования линии наклонного разделения, выполняемая в модуле детектирования наклонного разделения]

Здесь обработка 1 детектирования линии наклонного разделения, выполняемая на этапе S74 в блок-схеме последовательности операций на фиг.20, поясняется со ссылкой на блок-схему последовательности операций на фиг.27.

Здесь, когда, как представлено на верхнем участке на фиг.28, изображение сцены, включающее в себя гору, склон которой наклонно продолжается из верхнего правого в нижний левый угол, вводят, как входное изображение Р4, модуль 71 генерирования изображения кромки генерирует изображение Р4е кромки, обозначающее форму профиля сцены, показанной на втором верхнем участке на фиг.28, и подает входное изображение Р4 в модуль 72 детектирования горизонтальной линии разделения в модуль 75 детектирования наклонной линии разделения.

На этапе S101 модуль 131 интегрирования в наклонном направлении в модуле 74 детектирования наклонной линии разделения преобразует в двоичную форму, представленную одним из "0" и "1", информацию кромки в каждом из пикселей в изображении кромки, подаваемом из модуля 71 генерирования изображения кромки, на основе заданного порогового значения. Например, когда информация кромки изображения кромки имеет значение в пределах от "0" до "255", модуль 131 интегрирования наклонного направления определяет, как "0", значение пикселя, значение которого меньше, чем пороговое значение "127", и определяет, как "1", значение пикселя, значение которого больше, чем пороговое значение "127", относительно информации кромки изображения кромки, которое представляет собой значение от "0" до "255". В соответствии с этим, получают такое преобразованное в двоичную форму изображение P4f кромки, как представлено на третьем верхнем участке на фиг.28.

На этапе S102, модуль 131 интегрирования направления под наклоном поворачивает преобразованное в двоичную форму изображение P4f кромки в направлении против часовой стрелки таким образом, чтобы диагональная линия вверх направо в преобразованном в двоичную форму изображении P4f кромки становится перпендикулярной горизонтальной оси в произвольно установленной координате. Угол поворота в это время рассчитывают на основе соотношения размеров преобразованного в двоичную форму изображения P4f кромки (входного изображения Р4). В соответствии с этим получают такое повернутое преобразованное в двоичную форму изображение Р4 r кромки, как иллюстрируется на четвертом верхнем участке на фиг.28.

Поскольку преобразованное в двоичную форму изображение P4f кромки, которое было преобразовано в двоичную форму, поворачивают таким образом, количество пикселей, представляющих собой цели обработки поворота, может быть уменьшено по сравнению с поворотом изображения Р4е кромки перед преобразованием в двоичную форму. Поэтому стоимость обработки данной операции может быть уменьшена.

На этапе S103, модуль 131 интегрирования наклонного направления интегрирует информацию кромки относительно каждой из линий в вертикальном направлении в установленной координате, в повернутом, преобразованном в двоичную форму изображении Р4f кромки, другими словами, относительно каждой из линий в наклонном направлении, которая является параллельной наклонной диагональной линии сверху вправо, в преобразованном в двоичную форму изображении P4f кромки перед поворотом, и подает его результат интегрирования в LPF 132.

Кроме того, когда модуль 131 интегрирования наклонного направления интегрирует информацию кромки в направлении под наклоном, количество включенных пикселей изменяется в зависимости от линии, на которой интегрируют информацию кромки. Поэтому модуль 131 интегрирования в наклонном направлении нормализует значение интегрирования информации кромки каждой линии, используя интегрированное количество пикселей.

Здесь примеры нормализации значения интегрирования информации кромки относительно каждой из линий в наклонном направлении будут описаны со ссылкой на фиг.29 и 30.

На каждой из фиг.29 и 30 иллюстрируется повернутое, преобразованное в двоичную форму изображение кромки (ниже также просто называется изображением кромки), которое повернуто так, что наклонная диагональная линия D1 вверх направо будет перпендикулярна произвольно установленной координате (оси X). Кроме того, как показано на каждой из фиг.29 и 30, предполагается, что длина длинной стороны изображения кромки перед поворотом равна "а", длина ее короткой стороны равна "b", и угол между длинной стороной и диагональной линией D1 составляет "θ". Кроме того, например, изображение кромки поворачивают в направлении против часовой стрелки на 90 градусов - θ из состояния, показанного на третьем верхнем участке на фиг.28, и, следовательно, диагональная линия D1 будет перпендикулярна оси X. Кроме того, предполагается, что координата x на оси Х обозначает положение виртуального пикселя на линии в наклонном направлении.

Кроме того, на каждой из фиг.29 и 30 предполагается, что те участки, которые обозначены шириной "m" и расположены с обоих концов проекции кромки изображения на ось X, исключены из целей обработки интегрирования из-за их низкого интегрированного количества пикселей.

Вначале, как показано на фиг.29, когда линия в наклонном направлении, в котором интегрируют информацию кромки, расположена с левой стороны диагональной линии D1, а именно диапазон координаты х составляет m≤x≤b*cosθ, интегрированное количество 1 пикселей обозначено следующим выражением (10).

$$I=x\left(\tan \theta +\frac{1}{\tan \theta }\right)\cdots \left(10\right)$$

Кроме того, как показано на фиг.30, когда линия в наклонном направлении, в котором интегрируют информацию кромки, расположена с правой стороны диагональной линии D1, а именно, диапазон координаты х составляет b x cosθ≤x≤a*sinθ+b*cosθ-m, интегрированное количество 1 пикселей обозначается следующим выражением (11).

$$\begin{array}{c}I=x\text{'}\left(\tan \theta +\frac{1}{\tan \theta }\right)\\ x\text{'}=a\sin \theta +b\cos \theta -x\end{array}\}\cdots \left(11\right)$$

Таким образом, модуль 131 интегрирования в наклонном направлении рассчитывает количество пикселей, включенных в интегрированную линию, и нормализует значение интегрирования информации кромки каждой линии, используя интегрированное количество пикселей.

Нормализованный результат интегрирования, полученный здесь, представляет собой значение интегрирования информации кромки в вертикальном направлении, относительно положения пикселя в направлении оси Х для изображения кромки, представленного на каждой из фиг.29 и 30, и результат интегрирования представлен на графике, обозначенном черными ромбами, показанном на фиг.31.

На фиг.31 представлены примеры значения интегрирования в наклонном направлении сверху вправо информации кромки, рассчитанной с помощью обработки 1 детектирования наклонной линии разделения, и значения, полученного путем выполнения операции, описанной ниже по значению интегрирования.

На графике, показанном на фиг.31, на горизонтальной оси обозначено положение пикселя в направлении оси Х изображения кромки (входного изображения), показанного на каждой из фиг.29 и 30.

Кроме того, на этапе S104, в результате выполнения обработки фильтрации для значения интегрирования информации кромки, подаваемой из модуля 131 интегрирования наклонного направления, LPF 132 удаляет шумы и подает значение интегрирования в модуль 133 детектирования значения пика. На фиг.31 результат интегрирования, из которого были удалены шумы, отображен, будучи обозначенным белыми квадратами.

На этапе S105, модуль 133 детектирования значения пика детектирует значение пика для значения интегрирования из результатов интегрирования, в которых были удалены шумы, с помощью LPF 132.

В частности, модуль 133 детектирования значения пика рассчитывает первое дифференциальное значение (отображено белым треугольником на фиг.31) для значения интегрирования, из которого были удалены шумы, и, кроме того, рассчитывает первое дифференциальное абсолютное значение (обозначено на графике метками в виде крестиков на фиг.31), которое представляет собой абсолютное значение первого дифференциального значения. Модуль 133 детектирования пикового значения определяет, как пиковое значение значения интегрирования, причем это значение интегрирования (точка, окруженная кружком из сплошной линии на фиг.31), соответствует первому дифференциальному абсолютному значению (точка, окруженная кружком из пунктирной линии на фиг.31), где первое ее дифференциальное значение имеет отрицательное значение, и первое дифференциальное абсолютное значение имеет локальное максимальное значение. В соответствии с этим в значении интегрирования детектируют значение круто изменяющегося пика.

Модуль 133 детектирования значения пика подает в модуль 134 обработки порогового значения детектированное значение пика и положение пикселя (положение 27 пикселя в примере по фиг.31) в направлении оси Х линии в наклонном направлении вверх направо, из которого получают значение интегрирования, которое должно представлять собой значение пика.

На этапе S106, модуль 134 обработки порогового значения сравнивает значение пика из модуля 133 детектирования значения пика с заданным пороговым значением и определяет, является или нет значение пика большим, чем заданное пороговое значение.

На этапе S106, когда определяют, что значение пика больше, чем заданное пороговое значение, обработка переходит на этап S107, и модуль 134 обработки порогового значения определяет, как наклонную линию разделения в направлении вверх направо, линию в наклонном направлении вверх направо (линию в положении 27 пикселя в направлении оси X), из которой получают значение интегрирования, которое должно представлять собой значение пика. Кроме того, модуль 134 обработки порогового значения выводит, как информацию первой наклонной линии разделения, положение пикселя в направлении оси Х и угол Q линии в изображении кромки, и обработка 1 детектирования наклонной линии разделения заканчивается. После этого обработка возвращается на этап S74 на фиг.20.

Таким образом, когда вводят такое входное изображение Р4, как показано на фиг.28, линия в наклоном направлении вверх направо на наклонном участке горы, во входном изображении Р4 детектируется, как наклонная линия разделения вверх направо, как показано на фиг.32.

С другой стороны, когда на этапе S106 определяют, что значение пика не больше, чем заданное пороговое значение, обработку на этапе S107 пропускают. В этом случае наклонная линия разделения вверх направо не детектируется, и обработка 1 детектирования наклонной линии разделения заканчивается. После этого обработка возвращается на этап S74 на фиг.20.

После этапа S74, на этапе S75, модуль детектирования наклонной линии 75 разделения выполняет обработку 2 детектирования наклонной линии разделения, и детектирует вторую вертикальную линию разделения, делящую входное изображение в наклонном направлении вверх налево, на основе изображения кромки, подаваемого из модуля 71 генерирования изображения кромки.

Кроме того, обработка 2 детектирования наклонной линии разделения, выполняемая с помощью модуля 75 детектирования наклонной линии разделения, в принципе, является той же, что и упомянутая выше обработка 1 детектирования наклонной линии разделения, за исключением того, что изображение кромки поворачивается так, что наклонная диагональная линия верх налево изображения кромки устанавливается перпендикулярно оси X. Поэтому ее описание будет исключено.

В частности, хотя в представленном выше описании изображение кромки поворачивали так, что наклонная диагональная линия D1 верх направо и наклонная диагональная линия D2 верх налево располагались перпендикулярно оси X, детектируя, таким образом, наклонную линию разделения верх направо и наклонную линию разделения верх налево, изображение кромки можно поворачивать так, что линия в произвольном наклонном в изображении кромки будет перпендикулярна оси X, в результате чего выполняют детектирование наклонной линии разделения вверх направо и наклонной линии разделения вверх налево.

Кроме того, даже если информация кромки будет интегрирована в произвольном наклонном направлении, количество включенных пикселей изменяется в зависимости от линии, на которой интегрируют информацию кромки. Поэтому, необходимо нормализовать значение интегрирования информации кромки каждой линии, используя интегрированное количество пикселей.

Здесь примеры нормализации значения интегрирования информации кромки относительно каждой из линий в произвольном наклонном направлении будут описаны со ссылкой на фиг.33-35.

Каждая из фиг.33-35 иллюстрирует повернутое, преобразованное в двоичную форму изображение кромки (изображение кромки), которое повернуто так, что наклонная линия Dn вверх направо, установленная на изображении кромки, будет перпендикулярна оси X. Кроме того, как показано на каждой из фиг.33 - 35, предполагается, что длина длинной стороны изображения кромки перед поворотом равна "a", длина ее короткой стороны равна "b", и угол между длинной стороной и наклонной линией Dn вверх направо составляет "θ". Кроме того, например, изображение кромки поворачивают в направлении против часовой стрелки на 90 градусов - θ от состояния, в котором длинная сторона расположена параллельно оси X, и, следовательно, наклонная линия Dn вверх направо устанавливается перпендикулярно оси X. Кроме того, предполагается, что координата x на оси Х обозначает виртуальное положение пикселя линии в наклонном направлении

Кроме того, на каждой из фиг.33-35 предполагается, что участки, которые обозначены значениями "m" ширины и расположены на обоих концах изображения кромки, проецированного на ось X исключены из целей обработки интегрирования, из-за малого количества пикселей, в которых интегрируется информация кромки.

Вначале, как представлено на фиг.33, когда диапазон координаты х составляет m≤x≤b*cosθ, интегрированное количество 1 пикселей обозначено следующим выражением (12).

$$I=x\left(\tan \theta +\frac{1}{\tan \theta }\right)\cdots \left(12\right)$$

Кроме того, как показано на фиг.34, когда диапазон координаты x составляет b*cosθ<x≤a*sinθ, интегрированное количество 1 пикселей обозначено следующим выражением (13).

$$I=\frac{b}{\sin \theta }\cdots \left(13\right)$$

Кроме того, как представлено на фиг.35, когда диапазон координаты х представляет a*sinθ<x≤a*sinθ+b*cosθ-m, интегрированное количество 1 пикселей обозначено следующим выражением (14).

$$\begin{array}{c}I=x\text{'}\left(\tan \theta +\frac{1}{\tan \theta }\right)\\ x\text{'}=a\sin \theta +b\cos \theta -x\end{array}\}\cdots \left(14\right)$$

Таким образом, даже если информация кромки будет интегрирована относительно каждой из линий в произвольном наклонном направлении, рассчитывают количество пикселей, включающих в себя интегрированную линию, и значение интегрирования информации кромки каждой линии нормализуют, используя интегрированное количество пикселей.

Как описано выше, модуль 32 детектирования линии разделения подает в модуль 33 классификации композиции линию разделения, детектируемую при обработке детектирования линии разделения, среди информации линии горизонтального разделения, информации линии вертикального разделения, информации первой наклонной линии разделения и информации второй наклонной линии разделения, и обработка возвращается на этап S12 на фиг.9.

После этапа S12, на этапе S13, модуль 33 классификации композиции классифицирует композицию входного изображения на одну из предварительно определенных структур композиции, на основе степени симметрии из модуля 31 расчета степени симметрии, и информацию линии разделения из модуля 32 детектирования линии разделения.

Здесь, примеры структур композиции, на которые классифицируют композицию входного изображения, будут описаны со ссылкой на фиг.36.

В соответствии со структурами композиции, представленными на фиг.36, вначале входное изображение классифицируют на основе степени симметрии (степень симметрии слева направо и степень симметрии сверху вниз).

[В случае, когда степень симметрии слева направо больше чем или равна пороговому значению Th_LR, и степень симметрии сверху вниз больше чем или равна пороговому значению Th_TB]

В этом случае композицию входного изображения классифицируют на структуру композиции с "симметрией вверх вниз и слева направо".

[В случае, когда степень симметрии слева направо больше чем или равна пороговому значению Th_LR, и степень симметрии сверху вниз меньше, чем пороговое значение Th_TB]

В этом случае композицию входного изображения дополнительно классифицируют на основе информации горизонтальной линии разделения. А именно, когда горизонтальная линия разделения, обозначенная информацией горизонтальной линии разделения, размещена выше горизонтальной линии Н2 разделения в композиции на основе правила трех, описанной на фиг.10, композицию входного изображения классифицируют на структуру композиции "верхняя сторона горизонтальной линии разделения". Когда горизонтальная линия разделения, обозначенная информацией горизонтальной линии разделения, расположена между горизонтальной линией Н2 разделения и горизонтальной линией H1 разделения в композиции на основе правила трех, описанного на фиг.10, композицию входного изображения классифицируют на структуру композиции "между горизонтальными линиями разделения". Кроме того, когда горизонтальная линия разделения, обозначенная информацией горизонтальной линии разделения, расположена ниже горизонтальной линии H1 разделения в композиции на основе правила трех, описанной на фиг.10, композицию входного изображения классифицируют на структуру композиции "нижняя сторона горизонтальной линии разделения".

Например, как показано на фиг.37, во входном изображении, высота которого (длина короткой стороны) равна "b", положения координат на оси Y, соответствующие горизонтальным линиям H1 и Н2 разделения на фиг.10 составляют "b/3" и "2*b/3", соответственно. В это время, когда горизонтальная линия Нр разделения детектируется на основе обработки детектирования линии разделения, и информацию горизонтальной линии разделения, обозначающую положение пикселя (положение координаты) y_Н, подают из модуля 32 детектирования линии разделения, модуль 33 классификации композиции определяет, что 2*b/3≤y_Н≤b, и классифицируют композицию входного изображения на структуру композиции "верхняя сторона горизонтальной линии разделения". Кроме того, когда определяют, что 0≤y_Н≤b/3, модуль 33 классификации композиции классифицирует композицию входного изображения на структуру композиции "нижняя сторона горизонтальной линии разделения". Кроме того, при определении, что b/3<y_Н≤2*b/3, модуль 33 классификации композиции классифицирует композицию входного изображения на структуру композиции "между горизонтальными линиями разделения".

Кроме того, когда горизонтальная линия разделения не детектируется на основе обработки детектирования линии разделения, и информацию о горизонтальной линии разделения не подают из модуля 32 детектирования линии разделения, модуль 33 классификации композиции классифицирует композицию входного изображения на структуру композиции "другая".

[В случае, когда степень симметрии слева направо меньше, чем пороговое значение, Th_LR, и степень симметрии сверху вниз больше, чем или равна пороговому значению Th_TB]

В этом случае композицию входного изображения дополнительно классифицируют на основе информации вертикальной линии разделения. А именно, когда вертикальная линия разделения, обозначенная информацией вертикальной линии разделения, размещена с левой стороны линии VI вертикального разделения в композиции на основе правила трех, описанного на фиг.10, композицию входного изображения классифицируют на структуру композиции "левая сторона" вертикальной линии разделения. Когда вертикальная линия разделения, обозначенная информацией вертикальной линии разделения, размещена между вертикальной линией V1 разделения и вертикальной линией V2 разделения в композиции на основе правила трех, описанной на фиг.10, композицию входного изображения классифицируют на структуру композиции "между вертикальными линиями разделения". Кроме того, когда вертикальная линия разделения, обозначенная информацией вертикальной линии разделения, размещена на правой стороне от вертикальной линии V2 разделения в композиции на основе правила трех, описанной на фиг.10, композицию входного изображения классифицируют на структуру композиции "правая сторона" вертикальной линии разделения.

Например, как показано на фиг.38, во входном изображении, ширина которого (длина длинной стороны) равна "a", положения координат оси X, соответствующие вертикальным линиям V1 и V2 разделения на фиг.10, составляют "а/3" и "2*а/3", соответственно. В это время, когда вертикальную линию Vg разделения детектируют на основе обработки детектирования линии разделения, и информацию вертикальной линии разделения, обозначающую положение пикселя (положение координаты) x_V, подают из модуля 32 детектирования линии разделения, модуль 33 классификации композиции определяет, что а/3<x_V≤2*a/3, и классифицирует композицию входного изображения на структуру композиции "между вертикальными линиями разделения". Кроме того, когда определяют, что 0≤xV≤а/3, модуль 33 классификации композиции классифицирует композицию входного изображения на структуру композиции "левая сторона" вертикальной линии разделения. Кроме того, когда определяют, что 2*а/3<x_V≤a, модуль 33 классификации композиции классифицирует композицию входного изображения на структуру композиции "между вертикальными линиями разделения".

Кроме того, когда вертикальную линию разделения не детектируют на основе обработки детектирования линии разделения, и информацию вертикальной линии разделения не подают из модуля 32 детектирования линии разделения, модуль 33 классификации композиции классифицирует композицию входного изображения, как структуру композиции "другая".

[В случае, когда степень симметрии слева направо меньше, чем пороговое значение Th_LR, и степень симметрии сверху вниз меньше, чем пороговое значение Th_TB]

В этом случае композицию входного изображения дополнительно классифицируют на основе информации первой или второй линии наклонного разделения. А именно, когда угол линии наклонного разделения относительно горизонтального направления, обозначенного первой информацией линии наклонного разделения, включен в пределы заданного диапазона углов от угла диагональной линии D1 относительно горизонтального направления в диагональной композиции, описанной на фиг.10, композицию входного изображения классифицируют на структуру композиции "линия наклонного разделения" вверх направо. В частности, как показано на фиг.39В, когда угол диагональной линии D1 относительно горизонтального направления равен θ_R, и угол θ линии наклонного разделения относительно горизонтального направления, обозначенный информацией первой наклонной линии разделения, включен в пределы диапазона θ_R-Δθ≤θ≤θ_R+Δθ, композицию входного изображения классифицируют на структуру композиции "линия наклонного разделения вверх направо". Кроме того, когда угол линии наклонного разделения относительно горизонтального направления, обозначенный информацией о второй линии наклонного разделения, включен в пределы заданного углового диапазона от угла диагональной линии D2 относительно горизонтального направления в диагональной композиции, описанной на фиг.10, композицию входного изображения классифицируют на структуру композиции "линия наклонного разделения вверх налево". В частности, как показано на фиг.39А, когда угол диагональной линии D2 относительно горизонтального направления составляет θ_L и угол θ линии наклонного разделения относительно горизонтального направления, обозначенный информацией о линии наклонного разделения, включен в пределы диапазона θ_L-Δθ≤θ≤θL+Δθ, композицию входного изображения классифицируют, как структуру композиции "линия наклонного разделения вверх налево".

Например, когда линию Ds наклонного разделения детектируют на основе обработки детектирования линии разделения, во входном изображении, представленном на фиг.40, и информацию первой линии наклонного разделения, обозначающую угол θ, подают из модуля 32 детектирования линии разделения, модуль 33 классификации композиции определяет, что θ_R-Δθ≤θ≤θ_R+Δθ, и классифицируют композицию входного изображения на структуру композиции "линия наклонного разделения вверх направо". Кроме того, при определении, что θ_L-Δθ≤θ≤θ_L+Δθ, модуль 33 классификации композиции классифицирует композицию входного изображения на структуру композиции "линия наклонного разделения вверх налево".

Кроме того, когда ни одна из линий наклонного разделения вверх направо и линии наклонного разделения вверх налево не детектируется на основе обработки детектирования линии разделения, и ни одна из информации первой линии наклонного разделения и информации второй линии наклонного разделения не поступает из модуля 32 детектирования линии разделения, модуль 33 классификации композиции классифицирует композицию входного изображения на структуру композиции "другая".

Структуры композиции, классифицированные таким образом, выводят, вместе с информацией о степени симметрии и линии разделения, в устройство обработки информации, устройство сохранения и т.п., которые не показаны.

В соответствии с описанной выше обработкой, поскольку композиция входного изображения классифицирована на основе степени симметрии, обозначающей симметрию линии информации кромки и информации цвета во входном изображении, и линии разделения, обозначающей вариации при распределении информации пикселя (информация кромки) во входном изображении, композиция входного изображения может быть классифицирована, хотя нет необходимости распознавать субъект или состояние субъекта, или рассчитывать значение оценки между входным изображением и предварительно подготовленной композицией относительно каждого из пикселей. Кроме того, композицию не классифицируют, используя только симметрию линии информации кромки, но композиция входного изображения может быть классифицирована дополнительно, используя симметрию линии информации цвета или положение линии разделения. В соответствии с этим композиция входного изображения может быть классифицирована на детальные структуры композиции, используя операцию с малыми затратами.

Кроме того, информация о степени симметрии и линии разделения, выводимая вместе со структурами композиции в устройство обработки информации, устройство сохранения и т.п., которые не представлены, может быть назначена, как метаданные входного изображения.

В соответствий с этим записанные изображения могут быть найдены или классифицированы на основе степени симметрии или информации о линии разделения (положение линии разделения).

Кроме того, степень симметрии или информация о линии разделения используется в качестве характерной величины входного изображения, наряду с распределением частоты или распределением цветов, и следовательно, точность распознавания в распознавании изображения может быть улучшена.

В частности, в представленном выше описании, как описано со ссылкой на фиг.36, когда классифицируют композицию входного изображения, эту композицию приблизительно классифицируют вначале на основе степени симметрии, и, кроме того, ее точно классифицируют на основе положения линии разделения. Здесь взаимосвязь между степенью симметрии и линией разделения, описанная со ссылкой на фиг.36, представлена на фиг.41.

На фиг.41 горизонтальная ось и вертикальная ось обозначают степень симметрии слева направо и степень симметрии сверху вниз, соответственно, и структуры С1-С4 композиции распределены в двумерном пространстве, определенными отдельными осями.

В двумерном пространстве, представленном на фиг.41, структура С1 композиции, обозначающая структуру композиции "симметрия сверху вниз и слева направо", размещена в области, в которой как степень симметрии слева направо, так и степень симметрии сверху вниз велика. Кроме того, структура композиции С2, обозначающая структуру композиции "между горизонтальными линиями разделения", размещена в области, в которой степень симметрии слева направо велика, и степень симметрии сверху вниз мала, и структура С3 композиции, обозначающая, что структура композиции "между вертикальными линиями разделения" расположена в области, в которой степень симметрии слева направо мала, и степень симметрии сверху вниз велика. Кроме того, структура С4 композиции, обозначающая структуру композиции "наклонной линии разделения вверх направо", размещена в области, в которой обе степени симметрии слева направо и степень симметрии вверх вниз малы.

Кроме того, например, структура композиции "вертикальной линии разделения верхней стороны" не размещена в области, в которой степень симметрии слева направо велика, и степень симметрии вверх вниз мала, и, например, структура композиции "горизонтальной линии разделения нижней стороны" не размещена в области, в которой степень симметрии слева направо мала, и степень симметрии сверху вниз велика.

Таким образом, поскольку линии разделения, выполненные с возможностью детектирования, и структура композиции, выполненная с возможностью классифицирования, ограничены, в зависимости, от результатов расчета степени симметрии слева направо и степени симметрии сверху вниз, часть или вся обработка детектирования линии разделения может быть исключена.

А именно, когда, как степень симметрии слева направо, так и степень симметрии сверху вниз, велика, композицию входного изображения классифицируют на структуру композиции с "симметрией сверху вниз и слева направо", независимо от результата детектирования линии разделения. Поэтому вся обработка детектирования линии разделения может быть исключена.

Кроме того, когда степень симметрии слева направо велика, и степень симметрии сверху вниз мала, композицию входного изображения классифицируют на одну из структур композиции "верхняя сторона горизонтальной линии разделения", "между горизонтальными линиями разделения", "нижняя сторона горизонтальной линии разделения" и "другие". Поэтому необходимо только выполнить обработку детектирования горизонтальной линии разделения, и обработку детектирования вертикальной линии разделения, при этом обработка 1 детектирования наклонной линии разделения, и обработка 2 детектирования наклонной линии разделения, могут быть исключены.

Таким же образом, когда степень симметрии слева направо мала и степень симметрии сверху вниз велика, композицию входного изображения классифицируют на одну из структур композиции "левая сторона" вертикальной линии разделения, "между вертикальными линиями разделения", "правая сторона вертикальной линии разделения" и "другие". Поэтому необходимо только выполнить обработку детектирования вертикальной линии разделения и обработку детектирования горизонтальной линии разделения, при этом обработка 1 детектирования наклонной линии разделения и обработка 2 детектирования наклонной линии разделения, могут быть исключены.

Кроме того, когда, как степень симметрии слева направо, так и степень симметрии сверху вниз, малы, композицию входного изображения классифицируют на одну из структур композиции "наклонная линия разделения вверх направо", "наклонная линия разделения вверх налево" и "другие". Поэтому, необходимо только выполнить обработку 1 детектирования наклонной линии разделения, и обработку 2 детектирования наклонной линии разделения, и при этом обработка детектирования горизонтальной линии разделения и обработка детектирования вертикальной линии разделения могут быть исключены.

Таким образом, обработка детектирования линии разделения, выполняемая после обработки расчета степени симметрии, и, следовательно, часть или вся обработка детектирования линии разделения может быть исключена, в зависимости от результата расчета обработки расчета степени симметрии. Поэтому, композиция входного изображения может быть классифицирована с использованием операции с меньшими затратами.

Кроме того, в то время как, в приведенном выше описании, как на блок-схеме последовательности операций на фиг.9, обработку детектирования линии разделения выполняют после обработки расчета степени симметрии, обработка расчета степени симметрии может быть выполнена после обработки детектирования линии разделения, и, наоборот, как в блок-схеме последовательности операций, показанной на фиг.42.

На фиг.42 показана блок-схема последовательности операций, поясняющая обработку классификации композиции, в которой обработку расчета степени симметрии требуется выполнить после обработки детектирования линии разделения.

Кроме того, поскольку при обработке, выполняемой на этапе S211-S213 в блок-схеме последовательности операций на фиг.42, обработку, выполняемую на этапе S12, и обработку, выполняемую на этапе S11 в блок-схеме последовательности операций на фиг.9, только заменяют друг другом, подробное их описание будет исключено.

В этом отношении, однако, поскольку благодаря взаимосвязи между степенью симметрии и линией разделения, описанной на фиг.41, линии разделения, которые могут быть детектированы, и структуры композиции, которые могут быть классифицированы, ограничены также в зависимости от результата расчета линии разделения, при этом часть обработки расчета степени симметрии может быть исключена.

А именно, когда только горизонтальную линию разделения детектируют, как линию разделения, степень симметрии слева направо проявляет тенденцию быть большой, и степень симметрии сверху вниз проявляет тенденцию быть малой. Поэтому обработка расчета степени симметрии сверху вниз при обработке расчета степени симметрии кромки или обработке расчета степени симметрии цвета может быть исключена.

Кроме того, когда только вертикальную линию разделения детектируют как линию разделения, степень симметрии слева направо проявляет тенденцию быть малой, и степень симметрии сверху вниз проявляет тенденцию быть большой. Поэтому, обработка расчета степени симметрии слева направо при обработке расчета степени симметрии кромки или обработке расчета степени симметрии цвета может быть исключена.

Таким образом, обработка расчета степени симметрии выполняется после обработки детектирования линии разделения, и, следовательно, часть или вся обработка расчета степени симметрии может быть исключена в зависимости от результата расчета обработки детектирования линии разделения. Поэтому, композиция входного изображения может быть классифицирована с использованием операции с малой стоимостью.

В то время как в приведенном выше описании было описано устройство обработки изображения, в котором композиция входного изображения классифицирована с изображением, снятым с помощью устройства формирования изображения и т.п., в качестве входного изображения, конфигурация, в которой композицию снятого изображения, которое было снято, прямо классифицируют, может быть предусмотрена в устройстве формирования изображения.

[Пример конфигурации устройства формирования изображения]

На фиг.43 представлен пример конфигурации устройства формирования изображения, в котором классифицируют композицию снятого изображения, которое было снято. Кроме того, в устройстве 311 формирования изображения по фиг.43, то же название и тот же знак назначен для той же конфигурации, имеющей ту же функцию, как и функция, предусмотренная в устройстве 11 обработки изображений на фиг.1, и его описание будет исключено.

А именно устройство 311 формирования изображения на фиг.43 отличается от устройства 11 обработки изображений на фиг.1 тем, что модуль 331 съемки изображения, модуль 332 обработки изображения, модуль 333 дисплея и модуль 334 сохранения вновь предусмотрены в устройстве 311 формирования изображения.

Кроме того, модуль классификации композиции по фиг.43 передает информацию о степени симметрии и линии разделения в модуль 333 дисплея или в модуль 334 сохранения, вместе со структурой композиции (то есть, модуль классификации композиции на фиг.43 генерирует сигнал классификации для обеспечения, по меньшей мере, одного из отображения или сохранения классификации).

Модуль 331 съемки изображения включает в себя оптический объектив, элемент формирования изображения и модуль аналогово/цифрового преобразования (A/D) (здесь они не представлены). В модуле 331 съемки изображения, на элемент формирования изображения направляют свет, поступающий в оптический объектив, и он выполняет фотоэлектрическое преобразование, отображая, таким образом, субъект, и полученный сигнал аналогового изображения подвергают A/D преобразованию. Модуль 331 съемки изображения подает в модуль 332 обработки изображения, данные цифрового изображения (снятого изображения), полученные, как результат A/D преобразования.

Модуль 332 обработки изображения выполняет обработку изображения, такую как обработка устранения шумов и т.п. для снятого изображении из модуля 331 съемки изображения, и подает как входное изображение реального времени (так называемое, прямое изображение объектива), снятое изображение в модуль 31 расчета степени симметрии, модуль 32 детектирования линии разделения и модуль 333 дисплея. А именно модуль 31 расчета степени симметрии и модуль 32 детектирования линии разделения выполняет обработку расчета степени симметрии и обработку детектирования линии разделения для входного изображения реального времени, как движущегося изображения, соответственно.

Кроме того, при выполнении пользователем операции с затвором, который выполняет операцию с устройством 311 формирования изображения, он нажимает на кнопку затвора и т.п., которая не показана, модуль 332 обработки изображения выполняет обработку изображения, такую как обработка устранения шумов и т.п. для снятого изображения в это время, и подает входное изображение, как неподвижное изображение, в модуль 31 расчета степени симметрии, модуль 32 детектирования линии разделения и модуль 334 сохранения. В это время модуль 31 расчета степени симметрии и модуль 32 детектирования линии разделения выполняют обработку расчета степени симметрии и обработку детектирования линии разделения для входного изображения, как неподвижного изображения, соответственно.

Вместе со снятым изображением (изображение, полученное через объектив) из модуля 332 обработки изображения, модуль 333 дисплея отображает информацию на основе, по меньшей мере, одной из структуры композиции, степени симметрии и информации линии разделения, переданных из модуля 33 классификации композиции. Например, вместе с изображением, полученным через объектив, модуль 333 дисплея отображает название структуры композиции, по которой композицию изображения, полученного через объектив, классифицируют, получает количественную оценку степени симметрии слева направо и степени симметрии сверху вниз, и линии разделения, обозначенной информацией линии разделения.

Вместе со снятым изображением (неподвижным изображением) из модуля 332 обработки изображений, модуль 334 сохранения сохраняет, как метаданные снятого изображения, структуру композиции, степень симметрии и информацию линии разделения, подаваемые из модуля 33 классификации композиции.

В соответствии с этим, среди изображений, сохраненных в модуле 334 сохранения, может быть выполнен поиск или они могут быть классифицированы на основе степени симметрии или информации о линии разделения (положение линии разделения).

Используя такую конфигурацию, как описана выше, устройство 311 формирования изображения выполняет обработку классификации композиции, при которой классифицируют композицию снятого изображения. Кроме того, обработку классификации композиции, выполняемую в устройстве 311 формирования изображения, выполняют таким же образом, как и обработку классификации композиции, выполняемую в устройстве 11 обработки изображения, описанном со ссылкой на фиг.9 или фиг.42, и получают тот же самый преимущественный эффект. Поэтому их описание будет исключено.

Кроме того, устройство 311 формирования изображения может представлять рекомендованную композицию пользователю на основе структуры композиции, степени симметрии или информации о линии разделения, полученных из обработки классификации композиции.

Например, когда степень симметрии слева направо изображения, полученного через объектив, отображаемого с помощью модуля 333 дисплея, будет велика, и изображение классифицируют на структуру композиции "между горизонтальными линиями разделения", модуль 333 дисплея отображает горизонтальную линию разделения, детектированную при обработке детектирования линии разделения, вместе с изображением, полученным через объектив, как обозначено на левом участке на фиг.44. В это время, например, пользователь выполняет операции с модулем операций, который не показан, и, следовательно, линии 3-ого разделения (пунктирные линии), обозначающие композицию на основе правила трех, могут отображаться, как представлено на правом участке на фиг.44. Кроме того, может отображаться стрелка, которая указывает, что пользователь может регулировать горизонтальную линию разделения, детектируемую при обработке детектирования линии разделения на линии разделения на 3 части, соответствующую горизонтальной линии Н2 разделения, обозначенной на фиг.10.

Кроме того, когда изображение, полученное через объектив, отображают с помощью модуля 333 дисплея, выполняют переход из состояния, в котором степень симметрии слева направо мала, как показано на левом участке на фиг.45, в состояние, в котором степень симметрии слева направо велика, как показано на правом участке на фиг.45, при этом может отображаться линия (пунктирная линия), которая обозначает, что композиция становится симметричной слева направо.

Кроме того, предполагается, что устройство 311 формирования изображения имеет конфигурацию, в которой основной объектив, имеющий типичный угол обзора и вспомогательный объектив, имеющий полный, гораздо более широкий угол обзора, чем у основного объектива, предусмотрены, как оптические объективы в модуле 331 съемки изображения, и модуль 333 отображения обеспечивает отображение композитного изображения, в котором основное изображение, снятое через основный объектив, комбинируют со вспомогательным изображением, снятым через вспомогательный объектив.

Композитное изображение представляет собой изображение, в котором основное изображение, имеющее узкий угол обзора, комбинируют с участком вспомогательного изображения, имеющим широкий угол обзора так, что положения субъекта соответствуют друг другу, и путем подтверждения композитного изображения, пользователь может подтвердить композицию, имеющую широкий диапазон (композицию, соответствующую вспомогательному изображение), что было трудно подтвердить, используя только основное изображение.

Когда, в устройстве 311 формирования изображения, имеющем такую конфигурацию, как описано выше, обработку классификации композиции индивидуально выполняют для основного изображения и вспомогательного изображения, и, следовательно, степень симметрии вспомогательного изображения выше, чем степень симметрии основного изображения или линия разделения вспомогательного изображения очень близка к линии разделения на 3 части композиции на основе правила трех, может быть выполнено отображение, в котором предлагается, что пользователь выполняет операции с устройством 311 формирования изображения таким образом, что композиция основного изображения становится аналогичной композиции вспомогательного изображения.

Как описано выше, поскольку пользователь может найти рекомендованную композицию для изображения, съемку которого выполняют, пользователь может выполнить съемку с лучшей композицией. Кроме того, когда композиция соответствует рекомендованной композиции, устройство 311 формирования изображения может автоматически выполнять операцию с затвором.

Кроме того, следует понимать, что обработка, описанная выше, в которой рассчитывают степень симметрии, детектируют линию разделения, и классифицируют композицию входного изображения на основе степени симметрии и линии разделения, также может быть выполнена для движущегося изображения.

Последовательность операций при обработке, описанной выше, может быть выполнена с использованием части аппаратных или программных средств. Когда последовательность операций обработки, описанная выше, выполняется с использованием части программных средств, программу, включенную в программное средство, устанавливают с носителя записи программы в компьютер, который встроен в часть специализированных аппаратных средств, или в компьютер, например, персональный компьютер общего назначения, в котором различного вида функции могут быть выполнены путем установки различного вида программ.

На фиг.46 показана блок-схема, иллюстрирующая пример конфигурации аппаратных средств компьютера, который выполняет последовательность операций обработки, используя программу.

В компьютере центральное процессорное устройство (CPU) 901, постоянное запоминающее устройство (ROM) 902 и оперативное запоминающее устройство (RAM) 903 соединены друг с другом через шину 904.

Кроме того, интерфейс 905 ввода-вывода соединен с шиной 904. Модуль 906 ввода, включающий в себя клавиатуру, мышь, микрофон и т.п., модуль 907 вывода, включающий в себя дисплей, громкоговоритель и т.п., модуль 908 сохранения, включающий в себя жесткий диск, энергонезависимое запоминающее устройство и т.п., модуль 909 передачи данных, включающий в себя сетевой интерфейс и т.п., привод 910, управляющий съемным носителем 911 (то есть энергонезависимый, считываемый компьютером носитель информации), такой как магнитный диск, оптический диск, магнитооптический диск, полупроводниковое запоминающее устройство и т.п., соединены с интерфейсом 905 ввода-вывода.

В компьютере, имеющем такую конфигурацию, как описано выше, например, CPU 901 загружает программу, сохраненную в модуле 908 сохранения, в RAM 903 через интерфейс 905 ввода-вывода и шину 904, и выполняет программу, выполняя, таким образом, последовательность операций обработки, описанную выше.

Например, программа, выполняемая с помощью компьютера (CPU 901), записана на съемном носителе 911 записи, который представляет собой пакетный носитель, используя магнитный диск (включая в себя гибкий диск), оптический диск (постоянное запоминающее устройство на компакт-диске (CD-ROM), цифровой универсальный диск (DVD) и т.п.), магнитооптический диск, полупроводниковое запоминающее устройство и т.п., и его представляют, или программу передают через кабельную или беспроводную среду передачи данных, такую как локальная вычислительная сеть, Интернет или цифровая спутниковая широковещательная передача.

Кроме того, путем загрузки съемного носителя 911 в привод 910, программа может быть установлена в модуль 908 сохранения через интерфейс 905 ввода-вывода. Кроме того, программа может быть принята через кабельную или беспроводную среду передачи данных с помощью модуля 909 передачи данных, и установлена в модуле 908 сохранения. Кроме того, программа может быть заранее установлена в ROM 902 или в модуле 908 сохранения.

Кроме того, программа, выполняемая с помощью компьютера, может представлять собой программу, в которой операции обработки выполняют во временной последовательности, в порядке, описанном в спецификации, и может представлять собой программу, в которой операции обработки выполняют параллельно или в необходимые моменты времени, такие как моменты времени, когда выполняют операции вызова и т.п.

Кроме того, вариант осуществления раскрытой в настоящее время технологии не ограничивается описанными выше вариантами осуществления, и различные модификации могут быть выполнены, если только они находятся в пределах объема раскрытой технологии.

Изобретение относится к области обработки изображений, в частности, к устройству и способу обработки изображений, которые позволяют классифицировать композицию входного изображения. Технический результат заключается в автоматизации классификации композиции входного изображения на подробные структуры композиции на основе степени симметрии и линии разделения. Технический результат достигается за счет устройства, включающего в себя модуль детектирования линии разделения, который может быть выполнен с возможностью приема входного изображения и детектирования линии разделения, которая разделяет две стороны входного изображения, модуль классификации, который может быть выполнен с возможностью классификации входного изображения на основе степени симметрии и линии разделения; модуль классификации также может быть выполнен с возможностью генерирования сигнала классификации для обеспечения, по меньшей мере, одного из отображения или сохранения классификации. 3 н. и 16 з.п. ф-лы, 46 ил.

1. Устройство обработки входного изображения, содержащее:
модуль расчета степени симметрии, выполненный с возможностью:
принимать входное изображение; и
вычислять степень симметрии, обозначающую симметрию линии разделения, разделяющую входное изображение на заданные области; в котором модуль расчета степени симметрии включает в себя:
модуль расчета степени симметрии цвета, выполненный с возможностью вычислять степень симметрии цвета входного изображения, при этом степень симметрии цвета представляет собой степень симметрии между информацией цветов пикселей во входящем изображении, и
модуль расчета степени симметрии кромки, выполненный с возможностью вычислять степень симметрии кромки входного изображения, при этом степень симметрии кромки представляет собой степень симметрии между информацией кромок пикселей во входящем изображении;
модуль детектирования линии разделения, выполненный с возможностью:
принимать входное изображение; и
детектировать информацию линии разделения на основании информации пикселя во входном изображении, при этом информация линии разделения обозначает линию разделения, которая разделяет входное изображение;
модуль классификации композиции, выполненный с возможностью:
классифицировать входное изображение на основе степени симметрии и информации линии разделения; и
генерировать сигнал классификации для обеспечения, по меньшей мере, одного из отображения или сохранения классификации.

2. Устройство по п.1, в котором модуль расчета степени симметрии цвета включает в себя:
первый модуль расчета степени симметрии цвета, выполненный с возможностью вычислять степень симметрии цвета относительно первой воображаемой линии входного изображения; и
второй модуль расчета степени симметрии цвета, выполненный с возможностью вычислять степень симметрии цвета относительно второй воображаемой линии входного изображения, причем вторая воображаемая линия расположена под углом относительно первой воображаемой линии.

3. Устройство по п.2, в котором вторая воображаемая линия перпендикулярна первой воображаемой линии.

4. Устройство по п.3, в котором первая воображаемая линия расположена параллельно стороне входного изображения.

5. Устройство по п.2, в котором модуль расчета степени симметрии цвета включает в себя модуль преобразования цветового пространства, выполненный с возможностью преобразования первого цветового пространства каждого пикселя входного изображения во второе цветовое пространство.

6. Устройство по п.1, в котором модуль расчета степени симметрии кромки включает в себя модуль генерирования изображения кромки, выполненный с возможностью генерировать изображение кромки, которое обозначает кромки входного изображения на основе входного изображения.

7. Устройство по п.6, в котором модуль расчета степени симметрии кромки включает в себя:
первый модуль расчета степени симметрии кромки, выполненный с возможностью вычислять степень симметрии кромки относительно первой воображаемой линии изображения кромки; и
второй модуль расчета степени симметрии кромки, выполненный с возможностью вычислять степень симметрии кромки относительно второй воображаемой линии изображения кромки, причем вторая воображаемая линия расположена под углом относительно первой воображаемой линии.

8. Устройство по п.1, в котором модуль расчета степени симметрии включает в себя модуль определения степени симметрии, выполненный с возможностью определять степень симметрии входного изображения на основе степени симметрии цвета входного изображения и степени симметрии кромки входного изображения.

9. Устройство по п.1, в котором модуль детектирования линии разделения включает в себя модуль генерирования изображения кромки, выполненный с возможностью генерировать изображение кромки, которое обозначает кромки входного изображения на основе входного изображения.

10. Устройство по п.9, в котором модуль детектирования линии разделения включает в себя:
первый модуль детектирования линии разделения, выполненный с возможностью детектировать первую линию разделения, которая разделяет две стороны входного изображения на основе изображение кромки; и
второй модуль детектирования линии разделения, выполненный с возможностью детектировать вторую линию разделения, которая разделяет две стороны входного изображения на основе изображение кромки, причем вторая линия разделения расположена под углом относительно первой линии разделения.

11. Устройство по п.10, в котором вторая линия разделения перпендикулярна первой линии разделения.

12. Устройство по п.11, в котором модуль детектирования линии разделения включает в себя третий модуль детектирования линии разделения, выполненный с возможностью детектировать третью линию разделения, которая разделяет две стороны входного изображения на основе изображение кромки, причем третья линия разделения расположена под углом относительно первой и второй линий разделения.

13. Устройство по п.1, содержащее модуль дисплея, выполненный с возможностью отображения классификации.

14. Устройство по п.13, в котором модуль дисплея выполнен с возможностью одновременного отображения классификации и входного изображения.

15. Устройство по п.1, содержащее модуль сохранения, выполненный с возможностью содержать входное изображение и классификацию входного изображения, причем классификация входного изображения содержится как метаданные входного изображения.

16. Устройство по п.1, в котором модуль классификации композиции, выполнен с возможностью классификации входного изображения на одну из множества заранее определенных структур композиции.

17. Устройство по п.1, в котором множество заранее определенных структур композиции включают композицию, основанную на правиле трех, и диагональную композицию.

18. Способ обработки входного изображения, содержащий:
принимают входное изображение;
вычисляют степень симметрии входного изображения, в котором
вычисление степени симметрии включает в себя:
вычисление степени симметрии цвета входного изображения, при этом степень симметрии цвета представляет собой степень симметрии между информацией цветов пикселей во входящем изображении, и
вычисление степени симметрии кромки входного изображения, при этом степень симметрии кромки представляет собой степень симметрии между информацией кромок пикселей во входящем изображении;
детектируют информацию линии разделения на основании информации пикселя во входном изображении, при этом информация линии разделения обозначает линию разделения, которая разделяет входное изображение;
классифицируют входное изображение на основе степени симметрии и информации линии разделения; и
генерируют сигнал классификации, чтобы обеспечить, по меньшей мере, одно из отображения или сохранения классификации.

19. Энергонезависимый, считываемый компьютером носитель информации, содержащий программу, которая, при выполнении ее процессором, обеспечивает выполнение устройством способа обработки входного изображения, способ, содержащий:
принимают входное изображение, в котором
вычисление степени симметрии включает в себя:
вычисление степени симметрии цвета входного изображения, при этом степень симметрии цвета представляет собой степень симметрии между информацией цветов пикселей во входящем изображении, и
вычисление степени симметрии кромки входного изображения, при этом степень симметрии кромки представляет собой степень симметрии между информацией кромок пикселей во входящем изображении; вычисляют степень симметрии входного изображения;
детектируют информацию линии разделения на основании информации пикселя во входном изображении, при этом информация линии разделения обозначает линию разделения, которая разделяет входное изображение;
классифицируют входное изображение на основе степени симметрии и информации линии разделения; и
генерируют сигнал классификации, чтобы обеспечить, по меньшей мере, одно из отображения или сохранения классификации.