Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству и способу обработки изображения, обучающемуся устройству и способу обучения и программе. Более конкретно, настоящее изобретение относится к устройству и способу обработки изображений, обучающемуся устройству и способу обучения и программе, которые позволяют с легкостью выбирать изображение, которое оценивается как приемлемое для просмотра.
Уровень техники
В случае использования функции создания альбома для организации изображений, полученные посредством захвата изображений, таких как фотографии, или функции последовательной демонстрации изображений, пользователи должны выбирать изображения, подлежащие сохранению или отображению. Однако выбор необходимых изображений из большого количества изображений представляет собой трудную задачу.
Так, например, в качестве технологии для выбора так называемого наилучшего снимка, то есть изображения, оцениваемого как приемлемое для просмотра пользователем, из числа множества изображений, известна технология выбора наилучшего снимка из числа множества непрерывно снимаемых изображений (смотри, например, PTL 1).
В дополнение к этому, в качестве технологий, относящихся к изображениям, также известны технологии для оценки фотографического качества изображения на основе резкости изображения, качества изображения лица и наличия или отсутствия блика (смотри, например, PTL 2), и технология для обнаружения лица на изображении и выбора и извлечения оптимальной композиции в соответствии с результатом этого обнаружения (смотри, например, PTL 3).
Список упоминаемых документов
Патентная литература
PTL 1: публикация японской нерассмотренной патентной заявки номер 2006-311340
PTL 2: публикация японской нерассмотренной патентной заявки номер (перевод патентной заявки РСТ 2005-521927
PTL 3: публикация японской нерассмотренной патентной заявки 2007-27971
Сущность изобретения
Техническая задача
Однако в технологиях, описанных выше, было трудно надежно оценить то, является ли оцениваемое изображение изображением, оцениваемым как приемлемое для рассмотрения пользователем, то есть изображением, на котором объект виден четко.
Например, технология для выбора наилучшего снимка из числа непрерывно снимаемых изображений включает в себя оценку нерезкости и экспозиции всего изображения. Однако оценка нерезкости или экспозиции обычных изображений, отличных от изображений, полученных непрерывной съемкой, не обязательно может привести к более высокой оценке хорошо снятых изображений.
В общем, иначе говоря, на фотографии, на которой объект находится в фокусе на размытом фоне, объект виден четко и, следовательно, такая фотография часто является хорошо снятым кадром, именуемым наилучшим снимком. Однако использование технологии, описанной в PTL 1, для изображений, отличных от непрерывно снимаемых изображений, может привести к тому, что в качестве наилучшего снимка будет выбрано изображение, на котором в фокусе находится все изображение, а не изображение, на котором в фокусе находится объект, но фон является размытым.
В дополнение к этому, в технологии, описанной в PTL 2, поскольку качество изображения оценивается на основе предположения, что объектом является человеческое лицо, то в случае, при котором на изображении нельзя обнаружить лица, качество изображения оценивается с использованием резкости и наличия или отсутствия блика. Следовательно, в таком случае, изображение, на котором в фокусе находится все изображение, может иметь более высокую оценку, чем изображение, на котором в фокусе находится объект, но фон является размытым.
Кроме того, технология, описанная в PTL 3, делает возможной извлечение оптимальной композиции, но не позволяет оценить, является ли изображение хорошо снятым изображением. Кроме того, эта технология не позволяет извлечь оптимальную композицию в случае, при котором изображение не включает в себя в качестве объекта человеческое лицо.
Настоящее изобретение было сделано с учетом такой ситуации и предназначено для обеспечения более надежной оценки того, является ли оцениваемое изображение изображением, при котором объект виден четко.
Решение задачи
Устройство обработки изображений в первом аспекте настоящего изобретения включает в себя средство генерирования для генерирования на основе входного изображения, информации указания объекта для указания области объекта на входном изображении и средство определения для определения степени размытости объекта в области, включающей в себя объект на входном изображении, причем область используется в качестве целевой области для обработки с использованием информации указания объекта и входного изображения.
Средство генерирования может быть снабжено средством генерирования информационной карты для извлечения значения признака для признака области объекта из входного изображения и генерирования информационной карты, представляющей значение признака в каждой области входного изображения, и средством генерирования информации указания объекта для генерирования информации указания объекта посредством выполнения взвешенного суммирования множества информационных карт, представляющих значение признака для указанного признака, которые отличаются друг от друга.
Средство определения можно заставить определять четкость контура в области объекта, чтобы тем самым определить степень размытости объекта.
Средство генерирования информационной карты можно заставить извлекать значение признака из входного изображения для генерирования изображения признака, представляющего значение признака в каждой области входного изображения, и можно дополнительно заставить генерировать множество изображений признака, имеющих разрешения, отличающиеся друг от друга, на основе изображения признака и определять разность между множеством изображений признака, чтобы тем самым сгенерировать информационную карту.
Способ обработки изображений или программа в первом аспекте настоящего изобретения включает в себя этапы, на которых: генерируют, на основе входного изображения, информацию указания объекта для указания области объекта на входном изображении и определяют степень размытости объекта в области, включающей в себя объект на входном изображении, причем область используется в качестве целевой области для обработки с использованием информации указания объекта и входного изображения.
В первом аспекте настоящего изобретения на основе входного изображения генерируется информация указания объекта для указания области объекта на входном изображении, и информация указания объекта и входное изображение используются для определения степени размытости объекта в области, включающей в себя объект на входном изображении, причем область используется в качестве целевой области для обработки.
Обучающееся устройство во втором аспекте настоящего изобретения представляет собой обучающееся устройство, которое определяет весовой коэффициент, используя обучение на основе нейронной сети, причем весовой коэффициент используется для генерирования карты объекта для указания области объекта на изображении, включающее в себя: средство генерирования информационной карты, предназначенное для извлечения значения признака для признака области объекта из обучающего изображения, которое включает в себя объект и которое используется для обучения, и генерирования информационной карты, представляющей значение признака в каждой области обучающего изображения; средство генерирования карты объекта для генерирования карты объекта посредством выполнения взвешенного суммирования, используя весовой коэффициент, множества информационных карт, представляющих значение признака для этого признака, которые отличаются друг от друга, средство вычисления величины изменения весового коэффициента для вычисления величины изменения, на которую должен быть изменен весовой коэффициент, с использованием карты объекта и ярлыка изображения, который определен заранее и который представляет область объекта на обучающем изображении, и средство обновления для суммирования величины изменения с весовым коэффициентом и обновления весового коэффициента.
Способ обучения или программа во втором аспекте настоящего изобретения представляет собой способ обучения или программу для определения весового коэффициента с использованием обучения на основе нейронной сети, причем весовой коэффициент используется для генерирования карты объекта для указания области объекта на изображении, включающие в себя этапы, на которых: извлекают значения признака для признака области объекта из обучающего изображения, которое включает в себя объект и которое используется для обучения, и генерируют информационную карту, представляющую значение признака в каждой области обучающего изображения; генерируют карту объекта посредством выполнения взвешенного суммирования, используя весовой коэффициент, множества информационных карт, представляющих значение признака для этого признака, которые отличаются друг от друга; вычисляют величину изменения, на которую должен быть изменен весовой коэффициент, используя карту объекта и ярлык изображения, который определен заранее и который представляет область объекта на обучающем изображении; и суммируют величину изменения с весовым коэффициентом и обновляют весовой коэффициент.
Во втором аспекте настоящего изобретения в ходе процесса обучения для определения весового коэффициента с использованием обучения на основе нейронной сети, причем весовой коэффициент используется для генерирования карты объекта для указания области объекта на изображении, из обучающего изображения, которое включает в себя объект и которое используется для обучения, извлекают значение признака для признака области объекта и генерируют информационную карту, представляющую значение признака в каждой области обучающего изображения; генерируют карту объекта, выполняя взвешенное суммирование, используя весовой коэффициент, множества информационных карт, представляющих значение признака для этого признака, которые отличаются друг от друга; вычисляют величину изменения, на которую должен быть изменен весовой коэффициент с использованием карты объекта и ярлыка изображения, который определен заранее и который представляет область объекта на обучающем изображении; и суммируют величину изменения с весовым коэффициентом и обновляют весовой коэффициент.
Полезные результаты изобретения
В соответствии с первым аспектом настоящего изобретения имеется возможность оценивать изображение. В частности, согласно первому аспекту настоящего изобретения имеется возможность с более высокой надежностью выбирать изображение, на котором, как оценивается, объект виден четко.
В дополнение к этому, в соответствии со вторым аспектом настоящего изобретения имеется возможность определять весовой коэффициент, который используется для оценки изображения. В частности, согласно второму аспекту настоящего изобретения имеется возможность предоставить весовой коэффициент, который используется для более надежного выбора изображения, на котором, как оценивается, объект виден четко.
Краткое описание чертежей
Фиг.1 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию варианта осуществления устройства обработки изображений, к которому применимо настоящее изобретение.
Фиг.2 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля извлечения информации о яркости.
Фиг.3 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля извлечения информации о цвете.
Фиг.4 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля извлечения информации о контурах.
Фиг.5 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля извлечения информации о лице, показанного на фиг.1.
Фиг.6 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля извлечения информации о движении.
Фиг.7 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля определения размытости.
Фиг.8 представляет собой блок-схему алгоритма, поясняющую процесс оценки изображения.
Фиг.9 представляет собой блок-схему алгоритма, поясняющую процесс извлечения информации о яркости.
Фиг.10 представляет собой блок-схему алгоритма, поясняющую процесс извлечения информации о цвете.
Фиг.11 представляет собой блок-схему алгоритма, поясняющую процесс извлечения информации о контурах.
Фиг.12 представляет собой блок-схему алгоритма, поясняющую процесс извлечения информации о лице.
Фиг.13 представляет собой блок-схему алгоритма, поясняющую процесс извлечения информации о движении.
Фиг.14 представляет собой блок-схему алгоритма, поясняющую процесс определения размытости.
Фиг.15 представляет собой схему, поясняющую генерирование карты контуров.
Фиг.16 представляет собой схему, поясняющую генерирование локальных максимумов.
Фиг.17 представляет собой схему, поясняющую примеры структуры контура.
Фиг.18 представляет собой схему, дающую общее представление об обучении на основе нейронной сети.
Фиг.19 представляет собой схему, дающую общее представление об обучении на основе нейронной сети.
Фиг.20 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию варианта осуществления обучающегося устройства, в котором применено настоящее изобретение.
Фиг.21 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля извлечения объекта.
Фиг.22 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля извлечения информации о яркости.
Фиг.23 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля извлечения информации о цвете.
Фиг.24 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля извлечения информации о контурах.
Фиг.25 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля вычисления весовых коэффициентов.
Фиг.26 представляет собой блок-схему алгоритма, поясняющую процесс обучения.
Фиг.27 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию системы оценки изображений.
Фиг.28 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию компьютера.
Описание вариантов осуществления изобретения
Далее со ссылкой на чертежи будут объяснены варианты осуществления, к которым применяется настоящее изобретение.
Конфигурация устройства обработки изображений
Фиг.1 представляет собой блок-схему, иллюстрирующую приведенную в качестве примера конфигурацию варианта осуществления устройства обработки изображений, к которому применимо настоящее изобретение.
Устройство (11) обработки изображений установлено, например, в устройстве захвата изображения, таком как фотокамера, и выполняет оценку входного изображения, которое было захвата. При оценке входного изображения изображение, для которого, согласно оценке, объект на входном изображении не расфокусирован или размыт, но виден четко, расценивается как хорошо снятое изображение, а именно как наилучший снимок. Наоборот, изображение с размытым объектом или изображение, которое выглядит передержанным, расценивается как плохо снятое изображение, а именно как плохой снимок.
Таким образом, входное изображение, для которого, согласно оценке, объект выглядит более четко, расценивается как изображение, которое более приемлемо для рассмотрения пользователем, и ему дается более высокое значение оценки (оценки в баллах). Затем, например, в случае, при котором входное изображение имеет значение оценки, большее некоторого заданного порогового значения или равное ему, входное изображение расценивается как наилучший снимок.
Устройство (11) обработки изображений выполнено с возможностью использования модуля (21) извлечения объекта и модуля (22) определения, и на модуль (21) извлечения объекта и модуль (22) определения подается входное изображение, полученное захватом изображения.
Модуль (21) извлечения объекта обнаруживает объект на поданном входном изображении, генерирует карту объекта, которая представляет собой информацию для указания области, включающей в себя объект на входном изображении, и подают карту объекта на модуль (22) определения. В данном случае обнаружение объекта выполняется в предположении, что объектом является предмет на входном изображении, который признан привлекающим внимание пользователя в случае, когда пользователь смотрит на входное изображение, то есть предмет, на который, согласно оценке, пользователь направляет свой взгляд. Следовательно, термин "объект" не обязательно ограничивается человеком.
Модуль (21) извлечения объекта выполнен с использованием модуля (41) извлечения информации о яркости, модуля (42) извлечения информации о цвете, модуля (43) извлечения информации о контурах, модуля (44) извлечения информации о лице, модуля (45) извлечения информации о движении и модуля (46) генерирования карты объекта.
Модуль (41) извлечения информации о яркости генерирует на основании поданного входного изображения, карту информации о яркости, указывающую информацию о яркости в каждой области входного изображения, и предоставляет карты информации о яркости модулю (46) генерирования карты объекта. Модуль (42) извлечения информации о цвете генерирует на основании поданного входного изображения карту информации о цвете, указывающую информацию о цветах в каждой области входного изображения, и предоставляет карты информации о цвете модулю (46) генерирования карты объекта.
Модуль (43) извлечения информации о контурах генерирует на основании поданного входного изображения карту информации о контурах, указывающую информацию о контурах в каждой области входного изображения, и предоставляет карты информации о контурах модулю (46) генерирования карты объекта. Модуль (44) извлечения информации о лице генерирует на основании поданного входного изображения карту информации о лице, указывающую информацию о человеческом лице как объекте в каждой области входного изображения, и предоставляет карты информации о лице модулю (46) генерирования карты объекта. Модуль (45) извлечения информации о движении генерирует на основании поданного входного изображения карту информации о движении, указывающую информацию о движении в каждой области входного изображения, и предоставляет карты информации о движении модулю (46) генерирования карты объекта.
Отметим, что далее карты: от карты информации о яркости до карт информации о движении, выводимые из модулей: от модуля (41) извлечения информации о яркости до модуля (45) извлечения информации о движении, будут также именоваться просто как информационные карты, если только их не требуется по отдельности отличить друг от друга. Информация, входящая в состав этих информационных карт, считается элементами информации, указывающими значения признаков для большего количества признаков, входящих в состав области, включающей в себя объект, и размещение элементов информации в соответствии с каждой областью входного изображения называется информационной картой. Таким образом, можно сказать, что информационная карта представляет собой информацию, указывающую значение признака в каждой области входного изображения.
Таким образом, область на входном изображении, соответствующая области с более высоким объемом информации на каждой информационной карте, то есть область с более высоким значением признака, становится областью, которая с большей вероятностью включает в себя объект, и отдельные информационные карты позволяют описать область, включающую в себя объект на входном изображении.
Модуль (46) генерирования карты объекта линейным образом объединяет карты информации о яркости, карты информации о цвете, карты информации о контурах, карты информации о лицах и карты информации о движении, предоставляемые из модулей: от модуля (41) извлечения информации о яркости до модуля (45) извлечения информации о движении для генерирования карты объекта. Иначе говоря, информация (значения признаков) карт: от карт информации о яркости до карт информации о движении, по каждой области подвергается взвешенному суммированию для каждой из областей, расположенных в одном и том же месте, и генерируется карта объекта. Модуль (46) генерирования карты объекта предоставляет сгенерированную карту объекта модулю (22) определения.
Модуль (22) определения вычисляет оценку в баллах, служащую в качестве показателя для оценки входного изображения с использованием предоставляемого входного изображения и карты объекта, предоставляемой модулем (46) генерирования карты объекта, входящим в состав модуля (21) извлечения объекта, и выводит оценку в баллах. Модуль (22) определения содержит модуль (51) определения размытости, модуль (52) определения экспозиции, модуль (53) определения баланса белого и модуль (54) вычисления оценки в баллах.
Модуль (51) определения размытости использует предоставляемое входное изображение и карту объекта, предоставляемую из модуля (46) генерирования карты объекта, для определения степени размытости объекта в области, включающей в себя объект на входном изображении, то есть области, используемой в качестве целевой области для обработки, и предоставляет результат этого определения модулю (54) вычисления оценки в баллах.
Модуль (52) определения экспозиции определяет на основании поданного входного изображения степень точности экспозиции на всем входном изображении и предоставляет результат этого определения модулю (54) вычисления оценки в баллах. В дополнение к этому, модуль (53) определения баланса белого определяет на основании входного изображения степень точности баланса белого на всем входном изображении и предоставляет результат этого определения модулю (54) вычисления оценки в баллах. Модуль (54) вычисления оценки в баллах вычисляет на основании результатов определения, предоставленных соответственно из модуля (51) определения размытости, модуля (52) определения экспозиции и модуля (53) определения баланса белого, оценку в баллах входного изображения и выводит оценку в баллах.
Далее со ссылкой на фиг.2-7 приводится более подробное пояснение конфигураций модулей: от модуля (41) извлечения информации о яркости до модуля (45) извлечения информации о движении и модуля (51) определения размытости, показанных на фиг.1.
Фиг.2 представляет собой блок-схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля (41) извлечения информации о яркости.
Модуль (41) извлечения информации о яркости содержит модуль (81) генерирования яркостного изображения, модуль (82) генерирования пирамидного изображения, модуль (83) вычисления разности и модуль (84) генерирования карты информации о яркости.
Модуль (81) генерирования изображения яркости использует предоставляемое входное изображение для генерирования яркостного изображения, на котором в качестве пиксельного значения для пикселя используется значение яркости пикселя на входном изображении, и предоставляет это яркостное изображение модулю (82) генерирования пирамидного изображения. При этом значение пикселя требуемого пикселя на яркостном изображении представляет значение яркости пикселя, расположенного на входном изображении в том же месте, что и место расположения этого пикселя.
Модуль (82) генерирования пирамидного изображения генерирует с использованием яркостного изображения, предоставленного из модуля (81) генерирования яркостного изображения, множество яркостных изображений, имеющих разрешения, отличающиеся друг от друга, и предоставляет эти яркостные изображения модулю (83) вычисления разности в качестве пирамидных изображений яркости.
Например, генерируются пирамидные изображения в восемь слоев разрешений, имеющих уровни от L1 до L8, и предполагается, что пирамидные изображения с разрешениями, имеющими уровни от L1 до L8, упорядочены в порядке убывания от пирамидного изображения с разрешением, имеющим уровень L1, являющийся самым высоким уровнем.
В этом случае яркостное изображение, сгенерированное модулем (81) генерирования яркостного изображения, считается пирамидным изображением уровня L1. В дополнение к этому, среднее значение значений пикселей для четырех смежных пикселей на пирамидном изображении уровня Li (где 1≤i≤7) считается значение пикселя для одного пикселя, соответствующего этим пикселям, на пирамидном изображении уровня L(i+1). Таким образом, пирамидное изображение уровня L(i+1) представляет собой изображение, имеющее горизонтальные и вертикальные размеры, которые составляют половину от пирамидного изображения уровня Li (в случае, когда значения неделимы, они округляются).
Модуль (83) вычисления разности выбирает два пирамидных изображения в различных слоях из множества пирамидных изображений, предоставляемых из модуля (82) генерирования пирамидного изображения, и определяют разность между выбранными пирамидными изображениями для генерирования изображения разности яркостей. Отметим, что поскольку пирамидные изображения в соответствующих слоях отличаются по размеру (количеству пикселей), то во время генерирования изображения разности меньшее пирамидное изображение подвергается повышающему преобразованию в соответствии с большим пирамидным изображением.
Когда сгенерировано заданное количество изображений разности яркостей, модуль (83) вычисления разности нормирует эти сгенерированные разностные изображения и предоставляет результаты модулю (84) генерирования карты информации о яркости. Модуль (84) генерирования карты информации о яркости генерирует на основании разностных изображений, предоставленных из модуля (83) вычисления разности, карты информации о яркости и предоставляет эти карты информации о яркости модулю (46) генерирования карты объекта.
Фиг.3 представляет собой блок-схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля (42) извлечения информации о цвете, показанного на фиг.1.
Модуль (42) извлечения информации о цвете содержит модуль (111) генерирования изображения разности "красное/зеленое", модуль (112) генерирования изображения разности "синее/желтое", модуль (113) генерирования пирамидного изображения, модуль (114) генерирования пирамидного изображения, модуль (115) вычисления разности, модуль (116) вычисления разности, модуль (117) генерирования карты информации о цвете и модуль (118) генерирования карты информации о цвете.
Модуль (111) генерирования изображения разности "красное/зеленое" использует предоставленное входное изображение для генерирования изображения разности "красное/зеленое", на котором в качестве пиксельного значения для пикселя используется разность между R (красной) составляющей и G (зеленой) составляющей пикселя на входном изображении, и предоставляет это изображение разности "красное/зеленое" модулю (113) генерирования пирамидного изображения. Значение пикселя для требуемого пикселя на изображении разности "красное/зеленое" представляет значение разности между красной составляющей и зеленой составляющей пикселя, расположенного на входном изображении в том же самом месте, что и место расположения этого пикселя.
Модуль (112) генерирования изображения разности "синее/желтое" использует предоставленное входное изображение для генерирования изображения разности "синее/желтое", на котором разность между В (синей) составляющей и Y (желтой) составляющей пикселя на входном изображении используется в качестве пиксельного значения для пикселя, и предоставляет это изображение разности "синее/желтое" модулю (114) генерирования пирамидного изображения. Значение пикселя для требуемого пикселя на изображении разности "синее/желтое" представляет значение разности между В (синей) составляющей и Y (желтой) составляющей пикселя, расположенного на входном изображении в том же месте, что и место расположения этого пикселя.
Модуль (113) генерирования пирамидного изображения и модуль (114) генерирования пирамидного изображения используют изображение разности "красное/зеленое" и изображение разности "синее/желтое", предоставленные из модуля (111) генерирования изображения разности "красное/зеленое" и модуля (112) генерирования изображения разности "синее/желтое", для генерирования множества изображений разности "красное/зеленое", имеющих разрешения, отличающиеся друг от друга, и множества изображений разности "синее/желтое", имеющих разрешения, отличающиеся друг от друга. Затем модуль (113) генерирования пирамидного изображения и модуль (114) генерирования пирамидного изображения предоставляют эти сгенерированные изображения разности "красное/зеленое" и изображения разности "синее/желтое" модулю (115) вычисления разности и модулю (116) вычисления разности в качестве пирамидных изображений разностей "красное/зеленое" и пирамидных изображений разностей "синее/желтое".
В качестве пирамидных изображений разностей "красное/зеленое" и пирамидных изображений разностей "синее/желтое", аналогично случаю пирамидных изображений яркости, генерируются, например, пирамидные изображения в восемь слоев с разрешениями, имеющими уровни соответственно от L1 до L8.
Модуль (115) вычисления разности и модуль (116) вычисления разности выбирают два пирамидных изображения в различных слоях из множества пирамидных изображений, предоставляемых из модуля (113) генерирования пирамидного изображения и модуля (114) генерирования пирамидного изображения, и определяют разность между выбранными пирамидными изображениями для генерирования изображения разности для разности "красное/зеленое" и разности "синее/желтое". Отметим, что поскольку пирамидные изображения в соответствующих слоях отличаются по размеру, то во время генерирования разностного изображения меньшее пирамидное изображение подвергается повышающему преобразованию, так чтобы иметь тот же размер, что и большее пирамидное изображение.
Когда сгенерировано заданное количество изображений разности для разностей "красное/зеленое" и заданное количество изображений разности для разностей "синее/желтое", модуль (115) вычисления разности и модуль (116) вычисления разности нормируют эти сгенерированные изображения разности и предоставляют результаты модулю (117) генерирования карты информации о цвете и модулю (118) генерирования карты информации о цвете. Модуль (117) генерирования карты информации о цвете и модуль (118) генерирования карты информации о цвете генерируют на основании изображений разности, предоставляемых из модуля (115) вычисления разности и модуля (116) вычисления разности, карты информации о цвете и предоставляет эти карты информации о цвете модулю (46) генерирования карты объекта. Модуль (117) генерирования карты информации о цвете генерирует карты информации о цвете для разностей "красное/зеленое", а модуль (118) генерирования карты информации о цвете генерирует карты информации о цвете для разностей "синее/желтое".
Фиг.4 представляет собой блок-схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля (43) извлечения информации о контурах, показанного на фиг.1.
Модуль (43) извлечения информации о контурах содержит модули 141-144 генерирования изображений контуров, модули 145-148 генерирования пирамидных изображений, модули 149-152 вычисления разности и модули 153-156 генерирования карты информации о контурах.
Модули 141-144 генерирования изображений контуров выполняют процесс фильтрования на предоставленном входном изображении с использованием фильтра Габора для генерирования, например, изображения контуров, в которых в качестве пиксельного значения для пикселя используется контрастность контура (edge strength) в направлениях 0 градусов, 45 градусов, 90 градусов и 135 градусов, и предоставляют изображения контуров модулям 145-148 генерирования пирамидных изображений.
Например, значение пикселя для требуемого пикселя на изображении контура, сгенерированном модулем (141) генерирования изображения контуров, представляет контрастность контура в направлении 0 градусов для пикселя, который расположен на входном изображении в том же месте, что и место расположения этого пикселя. Отметим, что каждое направление контура относится к направлению, представленному угловой составляющей в функциях Габора, образующих фильтр Габора.
Модули 145-148 генерирования пирамидных изображений генерируют с использованием изображений контуров в соответствующих направлениях, предоставляемых из модулей 141-144 генерирования изображений контуров, множество изображений контуров, имеющих разрешения, отличающиеся друг от друга. Затем модули 145-148 генерирования пирамидных изображений предоставляют эти сгенерированная изображения контуров в соответствующих направлениях модулям 149-152 вычисления разности в качестве пирамидных изображений в соответствующих направлениях контуров.
В качестве пирамидных изображений соответствующих направлений контуров, аналогично случаю пирамидных изображений яркости, генерируются, например, пирамидные изображения в восемь слоев с разрешениями, имеющими соответственно уровни от L1 до L8.
Модули 149-152 вычисления разности выбирают два пирамидных изображения в различных слоях из множества пирамидных изображений, предоставляемых из модулей 145-148 генерирования пирамидных изображений, и определяют разность между выбранными пирамидными изображениями для генерирования изображений разности в соответствующих направлениях контуров. Отметим, что поскольку пирамидные изображения в соответствующих слоях отличаются по размеру, то во время генерирования изображения разности меньшее пирамидное изображение подвергается повышающему преобразованию.
Когда сгенерировано заданное количество изображений в соответствующих направлениях, модули 149-152 вычисления разности нормируют эти сгенерированные изображения разности и предоставляют результаты модулям 153-156 генерирования карт информации о контурах. Модули 153-156 генерирования карт информации о контурах генерируют на основании изображений разности, предоставляемых из модулей 149-152 вычисления разности, карты информации о контурах и предоставляют эти карты информации о контурах модулю (46) генерирования карты объекта.
Фиг.5 представляет собой блок-схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля (44) извлечения информации о лице, показанном на фиг.1.
Модуль (44) извлечения информации о лице содержит модуль (181) обнаружения лица и модуль (182) генерирования карты информации о лице.
Модуль (181) обнаружения лица обнаруживает область человеческого лица, служащего в качестве объекта, на предоставленном входном изображении и предоставляет результат обнаружения модулю (182) генерирования карты информации о лице. Модуль (182) генерирования карты информации о лице генерирует на основании результата обнаружения предоставленного из модуля (181) обнаружения лица карту информации о лице, и предоставляет карту информации о лице модулю (46) генерирования карты объекта.
Фиг.6 представляет собой блок-схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля (45) извлечения информации о движении, показанного на фиг.1.
Модуль (45) извлечения информации о движении содержит модуль (211) извлечения локального вектора движения, модуля (212) извлечения глобального вектора движения, модуля (213) вычисления разности и модуля (214) генерирования карты информации о движении.
Модуль (211) извлечения локального вектора движения использует предоставленное входное изображение и другое входное изображение, имеющее время захвата изображения, отличное от этого входного изображения, для определения вектора движения каждого пикселя на входном изображении в качестве локального вектора движения и предоставляет эти векторы движения модулю (213) вычисления разности. Модуль (212) извлечения глобального вектора движения использует предоставляемое входное изображение и другое входное изображение, имеющее время захвата изображения, отличное от этого входного изображения, для определения вектора движения каждого пикселя на входном изображении и, дополнительно, определения, например, среднего значения этих векторов движения отдельных пикселей в качестве глобального вектора движения, и предоставляет этот глобальный вектор движения модулю (213) вычисления разности. Этот глобальный вектор движения представляет направление движения на всем входном изображении.
Модуль (115) вычисления разности определяет абсолютные значения разностей между локальными векторами движения из модуля (211) извлечения локального вектора движения и глобальным вектором движения из модуля (212) извлечения глобального вектора движения для генерирования изображения разности движения, и предоставляет это изображение разности движения модулю (214) генерирования карты информации о движении. При этом значения пикселя для требуемого пикселя на изображении разности движения представляет абсолютное значение разности между локальным вектором движения пикселя, расположенного на входном изображении в том же месте, что и место расположения этого пикселя, и глобальным вектором движения всего входного изображения. Таким образом, пиксельное значение пикселя на изображении разности движения представляет величину относительного перемещения предмета (или фона), отображаемого в этом пикселе на входном изображении, относительно всего входного изображения, то есть фона.
Модуль (214) генерирования карты информации о движении генерирует на основании изображения разности движения, поступающего из модуля (213) вычисления разности, карту информации о движении, и предоставляет карту информации о движении модулю (46) генерирования карты объекта. Более конкретно отметим, что генерирование карты информации о движении выполняется в случае, при котором в качестве входных изображений предоставляются изображения, захваченные последовательно во времени, например, в случае, при котором входное изображение представляет собой последовательность непрерывно снимаемых изображений или двигающееся изображение.
Фиг.7 представляет собой блок-схему, иллюстрирующую приведенную в качестве примера конфигурацию модуля (51) определения размытости, показанного на фиг.1.
Модуль (51) определения размытости, модуль (241) генерирования карты контуров, модуль (242) определения динамического диапазона, модуль (243) настройки параметра вычисления, модуль (244) генерирования локальных максимумов, модуль (245) извлечения точек контура, модуль (246) определения количества извлечений, модуль (247) анализа контура и модуль (248) определения степени размытости.
Модуль (241) генерирования карты контуров использует предоставленное входное изображение и карту объекта, поступающую из модуля (46) генерирования карты объекта, для извлечения из входного изображения в качестве изображения объекта некоторой области, которая, согласно оценке, включает в себя объект.
В дополнение к этому, модуль (241) генерирования карты контуров определяет на основании изображения объекта контрастность контура изображения объекта в единицах трех типов блоков, имеющих размеры, отличающиеся друг от друга, и генерирует карту контуров, в которой в качестве значения пикселя используется установленная в результате определения контрастность контура. Эта карта контуров генерируется для каждого размера блока, и карты контуров в масштабах от SC1 до SC3 упорядочены от самого малого до самого большого. Модуль (241) генерирования карты контуров предоставляет эти три сгенерированных карты контуров модулю (242) определения динамического диапазона и модулю (244) генерирования локальных максимумов.
Модуль (242) определения динамического диапазона использует карты контуров, поступающие из модуля (241) генерирования карты контуров, для определения динамического диапазона, который представляет собой разность между максимальным значением и минимальным значением контрастности контура изображения объекта, и предоставляет результат этого определения модулю (243) настройки параметра вычисления.
Модуль (243) настройки параметра вычисления настраивает на основании результата определения, предоставляемого из модуля (242) определения динамического диапазона, параметр вычисления, который используется для извлечения точек контура, так что количество извлечений точек контура (в дальнейшем также именуемое как извлекаемое количество точек контура), используемое для определения степени размытости изображения объекта, могло принять надлежащее значение. При этом термин "точки контура" относятся к пикселям, формирующим контуры на изображении.
В дополнение к этому, параметр вычисления включает в себя опорное значение для контура, используемое для определения точки контура, и опорное значение для извлечений, используемое для определения надлежащего количества извлечений точек контура. Модуль (243) настройки параметра вычисления предоставляет опорное значение для контура модулю (245) извлечения точек контура и модулю (246) определения количества извлечений, и предоставляет опорное значение для извлечений модулю (246) определения количества извлечений.
Модуль (244) генерирования локальных максимумов делит каждую из карт контуров, предоставляемых из модуля (241) генерирования карты контуров, на блоки, каждый из которых имеет заданный размер, и извлекает максимальное значение пикселя в каждом блоке для генерирования локального максимума. Локальные максимумы генерируют для каждого из масштабов карт контуров и предоставляют из модуля (244) генерирования локальных максимумов модулю (245) извлечения точек контура и модулю (247) анализа контура. Локальные максимумы, сгенерированные на основе карт контуров в масштабах SC1-SC3 в дальнейшем именуются, соответственно, локальными максимумами LM1-LM3.
Модуль (245) извлечения точек контура извлекает на основании карты объекта, поступающей из модуля (46) генерирования карты объекта, опорного значения для контура, поступающего из модуля (243) настройки параметра вычисления, и локальных максимумов, поступающих из модуля (244) генерирования локальных максимумов, точки контура в области объекта на изображении объекта. В дополнение к этому, модуль (245) извлечения точек контура генерирует таблицу точек контура, указывающую информацию об извлеченных точках контура, и предоставляет эту таблицу точек контура модулю (246) определения количества извлечений. Отметим, что таблицы точек контура, полученные на основе локальных максимумов LM1-LM3, в дальнейшем именуются, соответственно, таблицами ЕТ1-ЕТ3 точек контура.
Модуль (246) определения количества извлечений определяет на основании таблиц точек контура, поступающих из модуля (245) извлечения точек контура, и опорном значении для извлечений, поступающем из модуля (243) настройки параметра вычисления, является ли надлежащим количество извлечений точек контура. В случае, когда количество извлечений точек контура не является надлежащим, модуль (246) определения количества извлечений уведомляет модуль (243) настройки параметра вычисления о том, что количество извлечений точек контура не является надлежащим. В случае, когда количество извлечений точек контура является надлежащим, модуль (246) определения количества извлечений предоставляет текущее опорное значение для контура и таблицу точек контура модулю (247) анализа контура.
Модуль (247) анализа контура выполняет на основании таблиц точек контура, поступающих из модуля (246) определения количества извлечений, анализ точек контура в области объекта в пределах изображения объекта, и предоставляет результат этого анализа модулю (248) определения степени размытости. Модуль (248) определения степени размытости определяет на основании анализа точек контура степень размытости, которая является показателем, указывающим степень размытости объекта на входном изображении, и предоставляет эту степень размытости модулю (54) вычисления оценки в баллах.
Функционирование устройства обработки изображений
В случае, когда входное изображение предоставляется устройству (11) обработки изображений, устройство (11) обработки изображений начинает процесс оценки изображения для определения оценки в баллах, представляющую оценку для входного изображения, и выводит эту оценку в баллах. Процесс оценки изображения будет разъяснен ниже со ссылкой на блок-схему алгоритма, показанную на фиг.8.
На этапе S11 модуль (41) извлечения информации о яркости выполняет процесс извлечения информации о яркости, чтобы на основании предоставленного входного изображения сгенерировать карты информации о яркости, и предоставляет эти карты информации о яркости модулю (46) генерирования карты объекта. Затем на этапе S12 модуль (42) извлечения информации о цвете выполняет процесс извлечения информации о цвете, чтобы на основании предоставленного входного изображения сгенерировать карты информации о цвете, и предоставляет эти карты информации о цвете модулю (46) генерирования карты объекта.
На этапе S13 модуль (43) извлечения информации о контурах выполняет процесс извлечения информации о контурах, чтобы на основании предоставленного входного изображения сгенерировать карты информации о контурах, и предоставляет эти карты информации о контурах модулю (46) генерирования карты объекта. В дополнение к этому, на этапе S14 модуль (44) извлечения информации о лице выполняет процесс извлечения информации о лице, чтобы на основании предоставленного входного изображения сгенерировать карты информации о лице, и предоставляет эти карты информации о лице модулю (46) генерирования карты объекта. Кроме этого, на этапе S15 модуль (45) извлечения информации о движении выполняет процесс извлечения информации о движении, чтобы на основании предоставленного входного изображения сгенерировать карты информации о движении, и предоставляет эти карты информации о движении модулю (46) генерирования карты объекта.
Отметим, что подробности вышеупомянутых процесса извлечения информации о яркости, процесса извлечения информации о цвете, процесса извлечения информации о контурах, процесса извлечения информации о лице и процесса извлечения информации о движении будут описаны ниже. В дополнение к этому уточним, что процесс извлечения информации о движении не выполняется в случае, когда модулю (21) извлечения объекта не предоставляются входные изображения, захваченные последовательно во времени.
На этапе S16 модуль (46) генерирования карты объекта генерирует карту объекта, используя карты: от карт информации о яркости до карт информации о движении, предоставляемые из модулей: от модуля (41) извлечения информации о яркости до модуля (45) извлечения информации о движении, и предоставляет карту объекта модулю (51) определения размытости.
Например, модуль (46) генерирования карты объекта линейным образом объединяет отдельные информационные карты с использованием весовых коэффициентов (Wb) информации, которые представляют собой весовые коэффициенты, заданные для соответствующих информационных карт, и, кроме того, умножает значения пикселей получаемой в результате карты на весовой коэффициент (Wc) объекта, который представляет собой заданный весовой коэффициент для нормирования результатов при создании карты объекта.
Таким образом, принимая, что положение (пиксель), которое представляет интерес на карте объекта, подлежащей определению, в данный момент времени, является "интересующим положением", значения пикселя на отдельных информационных картах в том же самом положении (пикселе), что и интересующее положение, умножаются на весовые коэффициенты (Wb) информации, предназначенные для соответствующих информационных карт, и итоговая сумма значений пикселя, умноженных на весовые коэффициенты (Wb) информации, рассматривается в качестве значения пикселя в интересующем положении. Кроме того, значения пикселя в отдельно взятых положениях на карте объекта, определенной этим способом, умножаются на весовой коэффициент (Wc) объекта, заданный для карты объекта, и результаты нормируются для получения окончательной карты объекта.
Более конкретно отметим, что для генерирования карты объекта в качестве карт информации о цвете используются карты информации о цвете для разностей "красное/зеленое" и карты информации о цвете для разностей "синее/желтое", а в качестве карт информации о контурах используются карты информации о контурах в соответствующих направлениях: 0 градусов, 45 градусов, 90 градусов и 135 градусов. В дополнение к этому, весовой коэффициента (Wc) объекта определяется заранее посредством обучения, а нормирование выполняется таким образом, чтобы значение пикселя каждого пикселя на карте объекта могло быть значением в диапазоне от 0 до 1.
На этапе S17 модуль (51) определения размытости выполняет процесс определения размытости, используя карту объекта, поступающую из модуля (46) генерирования карты объекта, и предоставляемое входное изображение, для определения степени размытости, и предоставляет эту степень размытости модулю (54) вычисления оценки в баллах. Отметим, что в процессе определения размытости, подробное описания которого будет приведено ниже, используется карта объекта, и определяется степень размытости области объекта на входном изображении.
На этапе S18 модуль (52) определения экспозиции выполняет процесс определения экспозиции для определения степени точности экспозиции на всем входном изображении, и предоставляет результат этого определения модулю (54) вычисления оценки в баллах. Например, модуль (52) определения экспозиции использует предоставленное входное изображение для определения распределения (в котором по оси абсцисс откладываются значения соответствующих составляющих: R (красная), G (зеленая), и В (синяя), а по оси ординат откладывается частота (частота появления пикселя) соответствующих составляющих на всем входном изображении, и, исходя из распределения этих составляющих, определяет значение, представляющее степень точности, экспозиции. Это значение, представляющее степень точности экспозиции, определяется, например, в соответствии с разностью между частотами появления соответствующих составляющих с заданным значением по оси абсцисс и заранее заданной частотой на распределении соответствующих составляющих.
На этапе S19 модуль (53) определения баланса белого выполняет процесс определения баланса белого для определения степени точности баланса, белого на всем входном изображении, и предоставляет результат этого определения модулю (54) вычисления оценки в баллах. Например, модуль (53) определения баланса белого определяет на основании предоставленного входного изображения среднюю яркость всего входного изображения, и использует значение, определенное в соответствии со средней яркостью, в качестве значения, представляющего степень точности баланса белого.
Отметим, что из модуля (46) генерирования карты объекта в модуль (52) определения экспозиции и модуль (53) определения баланса белого может быть предоставлена карта объекта, и что процесс определения экспозиции и процесс определения баланса белого могут выполняться только над областью объекта (выступающей как целевая область обработки) на входном изображении, который определен картой объекта.
На этапе S20 модуль (54) вычисления оценки в баллах вычисляет на основании результатов определения, предоставленных, соответственно, из модуля (51) определения размытости, модуля (52) определения экспозиции и модуля (53) определения баланса белого, оценку в баллах для входного изображения, и выводит эту оценку в баллах.
Например, модуль (54) вычисления оценки в баллах линейным образом объединяет предоставленные результаты определения, а именно значение, представляющее степень размытости, значение, представляющее степень неблагоприятности экспозиции, и значение, представляющее степень неблагоприятности баланса белого, используя заранее определенные весовые коэффициенты, и использует полученное в результате значение в качестве оценки в баллах для входного изображения.
В дополнение к этому, модуль (54) вычисления оценки в баллах может также быть выполнен с возможностью выведения, наряду с полученной в результате определения оценкой в баллах, информацию, указывающую, является ли входное изображение наилучшим снимком. Входное изображение считается наилучшим снимком, когда значение полученной в результате определения оценки в баллах больше или равно заданному пороговому значению, и входное изображение считается плохим снимком, когда оценка в баллах меньше порогового значения. Когда оценка в баллах для входного изображения выведена таким образом, процесс оценки изображения завершается.
Устройство (11) обработки изображений генерирует карту объекта из входного изображения способом, описанным выше, и, используя карту объекта, определяет степень размытости области объекта на входном изображении. Затем устройство (11) обработки изображений выполняет оценку входного изображения в отношении степени размытости объекта, степени точности экспозиции и степени точности баланса белого для входного изображения.
Таким образом, степень размытости области объекта на входном изображении определяется с использованием карты объекта, и на основе результата определения определяется оценка в баллах для входного изображения. Это делает возможной более надежную оценку степени, в которой объект на входном изображении является размытым, иначе говоря, степени, в которой этот объект виден четко. Следовательно, имеется возможность более надежно определять, является ли оцениваемое изображение изображением, которое оценивается как приемлемое для рассмотрения пользователем, то есть самым лучшим кадром, и легко и надежно выбирать только входное изображение с высокой оценкой.
В частности, поскольку для определения оценки в баллах для входного изображения учитывается степень размытости объекта, в случае, когда, согласно оценке, область объекта на входном изображении является более размытой, оценка в баллах входного изображения является низкой независимо от того, является ли размытой область на входном изображении, в которой нет объекта (фон). Иначе говоря, если область объекта на входном изображении не является размытой (пока объект находится в фокусе), оценка в баллах для входного изображения является высокой. Следовательно, в случае, когда фон на входном изображении находится в фокусе, а объект является размытым, можно воспрепятствовать тому, чтобы входное изображение было ошибочно определено как наилучший снимок по причине его высокой оценки в баллах.
Использование оценки в баллах, определенной способом, описанным выше, позволило бы с легкостью выбирать из множества входных изображений только входное изображение, расцениваемое как наилучший снимок.
Далее поясняются процессы, соответствующие обработке данных на этапах S11-S15, показанных на фиг.8, со ссылкой, соответственно, на блок-схемы алгоритмов, приведенные на фиг.9-13.
Сначала, со ссылкой на блок-схему алгоритма, приведенную на фиг.9, будет описан процесс извлечения информации о яркости, соответствующий обработке данных на этапе S11, показанном на фиг.8.
На этапе S51 модуль (81) генерирования яркостного изображения генерирует с использованием предоставляемого входного изображения яркостное изображение, и предоставляет это яркостное изображение модулю (82) генерирования пирамидного изображения. Например, модуль (81) генерирования яркостного изображения умножает значения соответствующих красной, зеленой и синей составляющих пикселя на входном изображении на коэффициенты, определенными заранее для соответствующих составляющих, и расценивает сумму значений соответствующих составляющих, умноженных на эти коэффициенты в качестве пиксельного значение для пикселя, расположенного на яркостном изображении в том же положении, что и положение этого пикселя на входном изображении. Таким образом, определяется составляющая яркости в составном сигнале, образованном из составляющей (Y) яркости и цветоразностных составляющих (Cb, Cr). Отметим, что среднее значение для значений, соответствующих красной, зеленой и синей составляющих пикселя, может рассматриваться в качестве пиксельного значения для пикселя на изображении яркости.
На этапе S52 модуль (82) генерирования пирамидного изображения генерирует на основании яркостного изображения, предоставляемого из модуля (81) генерирования яркостного изображения, пирамидные изображения в соответствующих слоях уровней L1-L8, и предоставляет эти пирамидные изображения модулю (83) вычисления разности.
На этапе S53 модуль (83) вычисления разности генерирует разностные изображения, используя пирамидные изображения, предоставляемые из модуля (82) генерирования пирамидного изображения, нормирует изображения разности и предоставляет результаты модулю (84) генерирования карты информации о яркости. Нормирование выполняется таким образом, чтобы пиксельные значения для пикселей на разностных изображениях могли быть значениями в диапазоне, например, от 0 до 255.
В частности, модуль (83) вычисления разности определяет разность между пирамидными изображениями в каждой из комбинаций слоев уровней L6 и L3, уровней L7 и L3, уровней L7 и L4, уровней L8 и L4 и уровней L8 и L5 между пирамидными изображениями в соответствующих слоях яркости. Соответственно, получается в общей сложности пять изображений разности яркости.
Например, в случае, когда должно быть сгенерировано изображение разности для комбинации уровней L6 и L3, пирамидное изображение уровня L6 подвергается повышающему преобразованию в соответствии с размером пирамидного изображения уровня L3. Таким образом, пиксельное значение одного пикселя в пирамидном изображении уровня L6 перед повышающим преобразованием считается соответствующим пиксельным значениям нескольких смежных пикселей, соответствующих этому пикселю в пирамидном изображении уровня L6 после повышающего преобразования. Затем определяется разность между пиксельным значением для пикселя в пирамидном изображении уровня L6 и пиксельным значением для пикселя, расположенного в пирамидном изображении уровня L3 в том же положении, что и положение этого пикселя, и эта разность рассматривается в качестве пиксельного значения для пикселя на разностном изображении.
Процесс генерирования этих разностных изображений эквивалентен выполнению процесса фильтрования на яркостном изображении с использованием полосового фильтра для извлечения заданной частотной составляющей на яркостном изображении. Пиксельное значение для пикселя на разностном изображении, полученном таким образом, представляет разность между значениями яркости пирамидных изображений соответствующих уровней, то есть разность между яркостью заданного пикселя на входном изображении и средней яркостью соседних пикселей.
Обычно область, имеющая большое отличие по яркости от окружающей области на изображении, является областью, которая привлекает внимание человека, рассматривающего изображение, и, следовательно, вероятно, является область объекта. Поэтому про пиксели, имеющие более высокие значения пикселя на каждом разностном изображении, можно сказать, что они представляют область, которая с большей вероятностью является областью объекта.
На этапе S54 модуль (84) генерирования карты информации о яркости генерирует на основании разностного изображения, предоставленного из модуля (83) вычисления разности, карту информации о яркости, и предоставляет эту карту информации о яркости модулю (46) генерирования карты объекта. Когда карта информации о яркости предоставлена из модуля (84) генерирования карты информации о яркости модулю (46) генерирования карты объекта, процесс извлечения информации о яркости заканчивается, и процесс переходит у этапу S12, показанному на фиг.8.
Например, модуль (84) генерирования карты информации о яркости выполняет, для определения одного изображения, взвешенное суммирование предоставленных пяти разностных изображений с использованием разностных весовых коэффициентов (Wa), которые являются заданными весовыми коэффициентами для соответствующих изображений разности. Иначе говоря, пиксельные значения для пикселей, расположенных на соответствующих изображениях разности в одном и том же положении, умножаются на соответствующие разностные весовые коэффициенты (Wa), и определяется итоговая сумма значений пикселей, умноженных на разностные весовые коэффициенты (Wa).
Отметим, что во время генерирования карты информации о яркости, разностные изображения подвергаются повышающему преобразованию таким образом, чтобы отдельные разностные изображения могли иметь одинаковый размер.
Таким образом, модуль (41) извлечения информации о яркости определяет, исходя из входного изображения, яркостное изображение, и генерирует, исходя из этого яркостного изображения, карту информации о яркости. В соответствии с картой информации о яркости, полученной таким образом, имеется возможность легко обнаруживать область, имеющую большое отличие по яркости на входном изображении, то есть область, обращающую на себя внимание наблюдателя, который смотрит на входное изображение.
Далее со ссылкой на блок-схему алгоритма, приведенную на фиг.10, поясняется процесс извлечения информации о цвете, соответствующий обработке данных на этапе S12, показанном на фиг.8.
На этапе S81 модуль (111) генерирования изображения разности "красное/зеленое" генерирует с использованием предоставляемого входного изображения изображение разности "красное/зеленое" и предоставляет это изображение разности "красное/зеленое" модулю (113) генерирования пирамидного изображения.
На этапе S82 модуль (112) генерирования изображения разности "синее/желтое" генерирует с использованием предоставляемого входного изображения изображение разности "синее/желтое" и предоставляет это изображение разности "синее/желтое" модулю (114) генерирования пирамидного изображения.
На этапе S83 модули (113) и (114) генерирования пирамидных изображений генерируют с использованием изображения разности "красное/зеленое", поступающего из модуля (111) генерирования изображения разности "красное/зеленое", и изображения разности "синее/желтое", поступающего из модуля (112) генерирования изображения разности "синее/желтое", пирамидные изображения.
Например, модуль (113) генерирования пирамидного изображения генерирует множество изображений разности "красное/зеленое", имеющих разрешения, отличающиеся друг от друга, чтобы таким образом сгенерировать пирамидные изображения в соответствующих слоях уровней L1-L8, и предоставляет эти пирамидные изображения модулю (115) вычисления разности. Аналогичным образом модуль (114) генерирования пирамидного изображения генерирует множество изображений разности "синее/желтое", имеющих разрешения, отличающиеся друг от друга, чтобы таким образом сгенерировать пирамидные изображения в соответствующих слоях уровней L1-L8, и предоставляет эти пирамидные изображения модулю (116) вычисления разности.
На этапе S84 модули (115) и (116) вычисления разностей генерируют на основании пирамидных изображений, предоставленных из модулей (113) и (114) генерирования пирамидных изображений, разностные изображения, нормируют эти разностные изображения, и предоставляют результаты модулям (117) и (118) генерирования карт информации о цвете. При нормировании разностных изображений, например, пиксельные значения для пикселей становятся значениями в диапазоне от 0 до 255.
Например, модуль (115) вычисления разности определяет разность между пирамидными изображениями в каждой из комбинаций слоев уровней L6 и L3, уровней L7 и L3, уровней L7 и L4, уровней L8 и L4 и уровней L8 и L5 между пирамидными изображениями разностей "красное/зеленое" в соответствующих слоях. Соответственно, получается в общей сложности пять разностных изображений для разностей "красное/зеленое".
Аналогичным образом модуль (116) вычисления разности определяет разность между пирамидными изображениями в каждой из комбинаций слоев уровней L6 и L3, уровней L7 и L3, уровней L7 и L4, уровней L8 и L4 и уровней L8 и L5 из числа пирамидных изображений разностей "синее/желтое" в соответствующих слоях. Соответственно, получается в общей сложности пять разностных изображений для разностей "синее/желтое".
Процесс генерирования этих разностных изображений эквивалентен выполнению процесса фильтрования на изображениях разности "красное/зеленое" или изображениях разности "синее/желтое" с использованием полосового фильтра для извлечения заданной частотной составляющей на изображениях разности "красное/зеленое" или изображениях разности "синее/желтое". Пиксельное значение для пикселя на разностных изображениях, полученных таким образом, представляет разность по определенной цветовой составляющей между пирамидными изображениями соответствующих уровней, то есть разность между определенной цветовой составляющей в пикселе на входном изображении и средним значением этой определенной цветовой составляющей соседних пикселей.
Обычно область, имеющая более выраженный цвет, чем цвет окружающей области на изображении, то есть область, имеющая большое отличие по определенной цветовой составляющей от окружающего участка, является областью, которая привлекает внимание человека, рассматривающего изображение, и, следовательно, вероятно, является область объекта. Поэтому про пиксели, имеющие более высокие значения пикселя на каждом разностном изображении, можно сказать, что они представляют область, которая с большей вероятностью является областью объекта.
На этапе S85, модули (117) и (118) генерирования карт информации о цвете генерируют с использованием разностных изображений, поступающих из модуля (115) вычисления разности, и разностных изображений, поступающих из модуля (116) вычисления разности, карты информации о цвете и предоставляют эти карты информации о цвете модулю (46) генерирования карты объекта.
Например, модуль (117) генерирования карты информации о цвете выполняет, для создания одной карты информации о цвете для разности "красное/зеленое", взвешенное суммирование разностных изображений для разностей "красное/зеленое", предоставляемых из модуля (115) вычисления разности, с использованием заданных разностных весовых коэффициентов (Wa) для соответствующих разностных изображений.
Аналогичным образом модуль (118) генерирования карты информации о цвете выполняет, для создания одной карты информации о цвете для разности "синее/желтое", взвешенное суммирование разностных изображений для разностей "синее/желтое", предоставляемых из модуля (116) вычисления разности, с использованием заданных разностных весовых коэффициентов (Wa). Отметим, что во время генерирования карты информации о цвете, разностные изображения подвергаются повышающему преобразованию таким образом, чтобы отдельные разностные изображения могли иметь одинаковый размер.
Когда модули (117) и (118) генерирования карты информации о цвете предоставляют полученные таким образом карту информации о цвете для разности "красное/зеленое" и карту информации о цвете для разности "синее/желтое" модулю (46) генерирования карты объекта, процесс извлечения информации о цвете завершается, и процесс переходит к этапу S13, показанному на фиг.8.
Таким образом, модуль (42) извлечения информации о цвете определяет, исходя из входного изображения, изображение разности для определенной цветовой составляющей, и генерирует, исходя из этого изображения, карту информации о цвете. В соответствии с картой информации о цвете, полученной таким образом, имеется возможность легко обнаруживать область, имеющую большое отличие по определенной цветовой составляющей на входном изображении, то есть область, обращающую на себя внимание наблюдателя, который смотрит на входное изображение.
Отметим, что хотя в приведенном выше объяснении в качестве информации о цвете, извлекаемой из входного изображения, извлекаются разность между R (красной) составляющей и G (зеленой) составляющей и разность между В (синей) составляющей и Y (желтой) составляющей, модуль (42) извлечения информации о цвете может быть выполнен таким образом, чтобы извлекались цветоразностные составляющие Cr и Cb или им подобные. При этом цветоразностная составляющая Cr представляет собой разность между красной составляющей и яркостной составляющей, а цветоразностная составляющая Cb представляет собой разность между синей составляющей и яркостной составляющей.
Фиг.11 представляет собой блок-схему алгоритма, поясняющую процесс извлечения информации о контурах, соответствующий обработке данных на этапе S13, показанном на фиг.8. Этот процесс извлечения информации о контурах описывается ниже.
На этапе S111 модули 141-144 генерирования изображений контуров выполняют процесс фильтрования на предоставляемом входном изображении с использованием фильтра Габора для генерирования, например, изображения контуров, в которых в качестве пиксельного значения для пикселя используется контрастность контура в направлениях 0 градусов, 45 градусов, 90 градусов и 135 градусов. Затем модули 141-144 генерирования изображений контуров предоставляют изображения контуров модулям 145-148 генерирования пирамидных изображений.
На этапе S112 модули 145-148 генерирования пирамидных изображений генерируют с использованием изображений контуров, поступающих из модулей 141-144 генерирования изображений контуров, пирамидные изображения и предоставляют эти пирамидные изображения модулям 149-152 вычисления разности.
Например, модуль (145) генерирования пирамидного изображения генерирует множество изображений контуров в направлении 0 градусов, имеющих разрешения, отличающиеся друг от друга, чтобы таким образом сгенерировать пирамидные изображения в соответствующих слоях уровней от L1 до L8, и предоставляет эти пирамидные изображения модулю (149) вычисления разности. Аналогичным образом модули 146-148 генерирования пирамидного изображения генерируют пирамидные изображения в соответствующих слоях уровней от L1 до L8, и предоставляют эти пирамидные изображения модулям 150-152 вычисления разности.
На этапе S113 модули 149-152 вычисления разности генерируют с использованием пирамидных изображений, поступающих из модулей 145-148 генерирования пирамидных изображений, разностные изображения, нормируют эти разностные изображения и предоставляют результаты модулям 153-156 генерирования карт информации о контурах. При нормировании разностных изображений, например, пиксельные значения для пикселей становятся значениями в диапазоне от 0 до 255.
Например, модуль (149) вычисления разности определяет разность между пирамидными изображениями в каждой из комбинаций слоев уровней L6 и L3, уровней L7 и L3, уровней L7 и L4, уровней L8 и L4 и уровней L8 и L5 между пирамидными изображениями в направлении 0 градусов в соответствующих слоях, предоставляемых из модуля (145) генерирования пирамидного изображения. Соответственно, получается в общей сложности пять разностных изображений для контура.
Аналогичным образом модули 150-152 вычисления разности определяют разность между пирамидными изображениями в каждой из комбинаций слоев уровней L6 и L3, уровней L7 и L3, уровней L7 и L4, уровней L8 и L4 и уровней L8 и L5 между пирамидными изображениями в соответствующих слоях. Соответственно, получается в общей сложности пять разностных изображений для каждого из контуров в соответствующих направлениях.
Процесс генерирования этих разностных изображений эквивалентен выполнению процесса фильтрования на изображениях контуров с использованием полосового фильтра для извлечения заданной частотной составляющей на изображениях контуров. Пиксельное значение для пикселя на разностных изображениях, полученных таким образом, представляет разность контрастности контура между пирамидными изображениями на соответствующих уровнях, то есть разность между контрастностью контура в заданном положении на входном изображении и средней контрастностью контура в соседних положениях.
Обычно, область, имеющая более высокую контрастность контура, чем контрастность контура в окружающей области на изображении, является областью, которая привлекает внимание человека, рассматривающего изображение, и, следовательно, вероятно, является область объекта. Поэтому про пиксели, имеющие более высокие значения пикселя на каждом разностном изображении, можно сказать, что они представляют область, которая с большей вероятностью является областью объекта.
На этапе S114 модули 153-156 генерирования карт информации о контурах генерируют с использованием разностных изображений, поступающих из модулей 149-152 вычисления разности, карты информации о контурах в соответствующих направлениях и предоставляют эти карты информации о контурах модулю (46) генерирования карты объекта.
Например, модуль (153) генерирования карты информации о контурах выполняет, для создания карты информации о контурах в направлении 0 градусов, взвешенное суммирование разностных изображений, предоставляемых из модуля (149) вычисления разности, с использованием заданных разностных весовых коэффициентов (Wa).
Аналогичным образом модуль (154) генерирования карты информации о контурах выполняет взвешенное суммирование разностных изображений, поступающих из модуля (150) вычисления разности, с использованием разностных весовых коэффициентов (Wa), модуль (155) генерирования карты информации о контурах выполняет взвешенное суммирование разностных изображений, поступающих из модуля (151) вычисления разности, с использованием разностных весовых коэффициентов (Wa), и модуль (156) генерирования карты информации о контурах выполняет взвешенное суммирование разностных изображений, поступающих из модуля (152) вычисления разности, с использованием разностных весовых коэффициентов (Wa). Точно так же получают карты информации о контурах в соответствующих направлениях: 45 градусов, 90 градусов и 135 градусов. Отметим, что во время генерирования карты информации о контурах разностные изображения подвергаются повышающему преобразованию таким образом, чтобы отдельные разностные изображения могли иметь одинаковый размер.
Когда модули 153-156 генерирования карт информации о контурах предоставляют модулю (46) генерирования карты объекта в общей сложности четыре карты информации о контурах в соответствующих направлениях, полученных таким образом, процесс извлечения информации о контурах завершается, и процесс переходит к этапу S14, показанному на фиг.8.
Таким образом, модуль (43) извлечения информации о контурах определяет, исходя из входного изображения, разностное изображение для контура в определенном направлении, и исходя из этого разностного изображения, генерирует карту информации о контурах. В соответствии с картами информации о контурах, полученными таким образом для соответствующих направлений, имеется возможность легко обнаруживать область, имеющую более высокую разность контрастности контура в определенном направлении по сравнению с контрастностью контура в окружающей области на входном изображении, то есть область, обращающую на себя внимание наблюдателя, который смотрит на входное изображение.
Отметим что, хотя в вышеприведенном объяснении для извлечения контуров используется фильтр Габора, процесс извлечения информации о контурах может быть выполнен таким образом, чтобы использовать любой другой фильтр для извлечения контуров, такой как фильтр Собеля или фильтр Робертса (Roberts).
Кроме того, способ извлечения информации, такой как яркость, цвета и контуры, из изображения, пояснение которого было приведено со ссылкой на фиг.9-11, описан подробно, например, в Laurent Itti, Christof Koch, and Ernst Niebur, "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis" (Лоран Итти, Кристоф Коч и Эрнст Нибур, "Модель зрительного внимания на основе выступов, предназначенная для быстрого анализа кадров".
Далее, со ссылкой на блок-схему алгоритма, приведенную на фиг.12, будет пояснен процесс извлечения информации о лице, соответствующий обработке данных на этапе S14, показанном на фиг.8.
На этапе S141 модуль (181) обнаружения лица обнаруживает, исходя из предоставляемого входного изображения, область человеческого лица, и предоставляет результат обнаружения модулю (182) генерирования карты информации о лице. Например, модуль (181) обнаружения лица выполняет процесс фильтрования на входном изображении с использованием фильтра Габора для обнаружения характерных областей, таких как человеческий глаз, рот и нос, на входном изображении, и таким образом обнаруживает область лица на входном изображении.
На этапе S142 модуль (182) генерирования карты информации о лице генерирует с использованием результата обнаружения, поступившего из модуля (181) обнаружения лица, карту информации о лице, и предоставляет эту карту информации о лице модулю (46) генерирования карты объекта.
Например, предположим, что, исходя из входного изображения, в качестве результатов обнаружения лица было обнаружено множество прямоугольных областей (в дальнейшем именуемыми областями-кандидатами) на входном изображении, которые, согласно оценке, включают в себя лицо. При этом предполагается, что множество областей-кандидатов может быть обнаружено вблизи от некоторого заданного положения на входном изображении и что некоторые из этих областей-кандидатов могут перекрывать друг друга. То есть, например, в случае, при котором в отношении области одного лица на входном изображении было получено в качестве областей-кандидатов множество областей, включающих в себя это лицо, некоторые из этих областей-кандидатов перекрывают друг друга.
Модуль (182) генерирования карты информации о лице генерирует в отношении областей-кандидатов, полученных при обнаружении лица, изображение обнаружения, имеющее тот же самый размер, что и входное изображение для каждой из областей-кандидатов. На этом изображении обнаружения пиксельное значение для пикселя в той же области, что и область-кандидат, служащая в качестве целевой области для обработки, считается на изображении обнаружения более высоким, чем пиксельное значение для пикселя в области, отличной от области кандидата.
В дополнение к этому, пиксельные значения для пикселей на изображении обнаружения являются такими, что пиксель, расположенный в том же положении, что и положение расположения пикселя в области-кандидате, которая, согласно оценке, с большей вероятностью включает в себя человеческое лицо, имеет более высокое значение пикселя. Модуль (182) генерирования карты информации о лице суммирует вместе изображения обнаружения, полученные таким образом, для генерирования одного изображения и нормирует это изображение для создания карты информации о лице. Следовательно, пиксель на карте информации о лице, расположенный в той же области, что и область, в которой некоторая часть множества областей-кандидатов перекрывается на входном изображении, имеет более высокое значение пикселя, и вероятность того, что здесь имеется лицо, становится более высокой. Отметим, что нормирование выполняется таким образом, чтобы пиксельные значения для пикселей на карте информации о лице могли быть значениями в диапазоне, например, от 0 до 255.
Когда карта информации о лице сгенерирована, процесс извлечения информации о лице завершается, и процесс переходит к этапу S15, показанному на фиг.8.
Таким образом, модуль (44) извлечения информации о лице обнаруживает лицо на входном изображении и, исходя из результата обнаружения, генерирует карту информации о лице. В соответствии с картой информации о лице, полученной таким образом, имеется возможность легко обнаруживать область человеческого лица, служащего в качестве объекта на входном изображении.
Кроме того, со ссылкой на блок-схему алгоритма, приведенную на фиг.13, будет пояснен процесс извлечения информации о движении, соответствующий обработке данных на этапе S15, показанном на фиг.8.
На этапе S171 модуль (211) извлечения локального вектора движения использует предоставленное входное изображение для определения локального вектора движения каждого пикселя на входном изображении, используя градиентный метод или тому подобное, и предоставляет локальный вектор движения модулю (213) вычисления разности.
На этапе S172 модуль (212) извлечения глобального вектора движения использует предоставленное входное изображение для определения глобального вектора движения и предоставляет глобальный вектор движения модулю (213) вычисления разности.
На этапе S173 модуль (213) вычисления разности определяет абсолютную величину разности между локальным вектором движения, поступающим из модуля (211) извлечения локального вектора движения, и глобальным вектором движения, поступающим из модуля (212) извлечения глобального вектора движения, для генерирования изображения разности движения. Затем модуль (213) вычисления разности предоставляет сгенерированное изображение разности движения модулю (214) генерирования карты информации о движении.
На этапе S174 модуль (214) генерирования карты информации о движении нормирует разностное изображение, предоставленное из модуля (213) вычисления разности, для создания карты информации о движении и предоставляет эту карту информации о движении модулю (46) генерирования карты объекта. При этом нормирование разностного изображения выполняется таким образом, чтобы пиксельные значения для соответствующих пикселей могли быть значениями в диапазоне, например, от 0 до 255. Когда карта информации о движении сгенерирована, процесс извлечения информации о движении завершен, и процесс переходит к этапу S16, показанному на фиг.8.
Таким образом, модуль (45) извлечения информации о движении обнаруживает, исходя из входного изображения, движение и генерирует, исходя из результата обнаружения, карту информации о движении. В соответствии с картой информации о движении, полученной таким образом, имеется возможность легко обнаруживать область движущегося объекта на входном изображении. Область движущегося объекта на входном изображении является областью, обращающей на себя внимание наблюдателя, который смотрит на входное изображение, и может, вероятно, являться областью объекта.
С использованием процессов: от процесса извлечения информации о яркости до процесса извлечения информации о движении, разъясненных выше, получают соответствующие информационные карты, и исходя из этих информационных карт, генерируется карта объекта.
Далее, со ссылкой на блок-схему алгоритма, приведенную на фиг.14, будет пояснен процесс определения размытости, соответствующий обработке данных на этапе S17, показанном на фиг.8.
На этапе S211 модуль (241) генерирования карты контуров генерирует карту контуров, используя предоставляемое входное изображение и карту объекта, поступающую из модуля (46) генерирования карты объекта.
В частности, модуль (241) генерирования карты контуров извлекает из входного изображения изображение объекта, используя для этого карту объекта. Иначе говоря, область пикселя на входном изображении, которая совпадает с пикселем, пиксельное значение которого больше или равно заданному значению или на карте объекта, рассматривается в качестве области объекта на входном изображении, и область, имеющая заданный размер на входном изображении, которая включает в себя эту область, рассматривается в качестве изображения объекта.
В дополнение к этому, модуль (241) генерирования карты контуров делит изображение объекта на блоки, каждый из которых имеет размер 2×2 пикселя, и вычисляет абсолютные значения MTL-TR-MBL-BR разностей между пиксельными значениями для пикселей в каждом блоке, используя для этой формулы (1)-(6), приведенные ниже.
Математическое выражение 1
Отметим, что в формулах (1)-(6) каждая величина a, b, c, и d представляет пиксельное значение для пикселя в блоке, имеющем размер 2×2 пикселя изображения объекта. Например, как показано на фиг.15, пиксельное значение а представляет пиксельное значения для верхнего левого пикселя в блоке, показанном на этом чертеже. В дополнение к этому, пиксельное значение b представляет пиксельное значение для верхнего правого пикселя в блоке, показанном на этом чертеже, пиксельное значение с представляет пиксельное значение для нижнего левого пикселя в этом блоке, а пиксельное значение d представляет пиксельное значение для нижнего правого пикселя в этом блоке.
Затем модуль (241) генерирования карты контуров вычисляет среднее значение MAve для абсолютных значений MTL-TR-MBL-BR, используя для этого формулу (7), приведенную ниже. Это среднее значение MAve представляет среднее значение контрастностей контура в вертикальном, горизонтальном и диагональном направлениях в этом блоке.
Математическое выражение 2
Модуль (241) генерирования карты контуров располагает вычисленные средние значения MAve в том же порядке, что и порядок соответствующих блоков на изображении объекта, чтобы таким образом сгенерировать карту контуров в масштабе SC1.
Кроме того, для генерирования карты контуров в масштабах SC2 и SC3 модуль (241) генерирования карты контуров генерирует усредненное изображение в масштабах SC2 и SC3, используя для этого формулу (8), приведенную ниже.
Математическое выражение 3
Отметим, что в формуле (8) Pi(x,y) представляет пиксельное значение для пикселя, имеющего координаты (x,y) на усредненном изображении в масштабе SCi (где 1≤i≤3). Кроме того, Pi+1(x,y) представляет пиксельное значение для пикселя, имеющего координаты (x,y) на усредненном изображении в масштабе SCi+1. Отметим, что предполагается, что усредненное изображение в масштабе SC1 представляет собой изображение объекта. Следовательно, усредненное изображение в масштабе SC2 является изображением, в котором в качестве пиксельного значения одного пикселя используется среднее значение пиксельных значений для пикселей в каждом из блоков, получаемых при разделении изображения объекта на блоки, каждый из которых имеет размер 2×2 пикселей. В дополнение к этому, усредненное изображение в масштабе SC3 представляет собой изображение, в котором в качестве пиксельного значения одного пикселя используется среднее значение пиксельных значений для пикселей в каждом из блоков, получаемых при разделении усредненного изображения в масштабе SC2 на блоки, каждый из которых имеет размер 2×2 пикселей.
Модуль (241) генерирования карты контуров выполняет процессы, которые аналогичны процессам, выполняемым над изображением объекта, используя, соответственно, уравнения (1)-(7), над усредненными изображениями в масштабах SC2 и SC3 для генерирования карты контуров в масштабах SC2 и SC3.
Следовательно, карты контуров, выполненные в масштабах с SC1 по SC3, становятся изображениями, получаемыми посредством извлечения из входного изображения краевых составляющих различных диапазонов частот. Отметим, что количество пикселей карты контуров, выполненной в масштабе SC1, равно 1/4 (1/2 по вертикали × 1/2 по горизонтали) от количества пикселей изображения объекта, количество пикселей карты контуров, выполненной в масштабе SC2, равно 1/16 (1/4 по вертикали × 1/4 по горизонтали) от количества пикселей изображения объекта, и количество пикселей карты контуров, выполненной в масштабе SC3, равно 1/64 (1/8 по вертикали × 1/8 по горизонтали) от количества пикселей изображения объекта.
Модуль (241) генерирования карты контуров предоставляет сгенерированные карты контуров, выполненные в масштабах от SC1 до SC3, модулю (242) определения динамического диапазона и модуль (244) генерирования локальных максимумов. Таким образом, карты контуров, выполненных в различных масштабах, генерируются в единицах блоков различных размеров, что может, таким образом, устранить изменения контрастности контура.
На этапе S212, модуль (242) определения динамического диапазона определяет с использованием карт контуров, предоставляемых из модуля (241) генерирования карты контуров, динамический диапазон изображения объекта, и предоставляет результат определения модулю (243) настройки параметра вычисления.
В частности, модуль (242) определения динамического диапазона определяет максимальное пиксельное значение и минимальное пиксельное значение среди карт контуров, выполненных в масштабах от SC1 до SC3, и задает значение, полученное посредством вычитания этого определенного минимального пиксельного значения из этого определенного максимального пиксельного значения, в качестве динамического диапазона контрастности контура изображения объекта. Иначе говоря, в качестве динамического диапазона определена разность между максимальным значением и минимальным значением контрастности контура изображения объекта.
Отметим, что также могут быть предусмотрены способы, отличные от тех, что описаны выше. Например, для каждой карты контура может быть определен динамический диапазон, и в качестве динамического диапазона для фактического использования могут быть приняты максимальное значение, среднее значение или подобные им значения для этих определенных динамических диапазонов.
На этапе S213 модуль (243) настройки параметра вычисления задает начальное значение параметра вычисления в соответствии с динамическим диапазоном, предоставляемым из модуля (242) определения динамического диапазона.
Иначе говоря, модуль (243) настройки параметра вычисления определяет, что изображение объекта является изображением с малым динамическим диапазоном в случае, когда динамический диапазон меньше некоторого заданного порогового значения, и определяет, что изображение объекта является изображением с большим динамическим диапазоном в случае, когда динамический диапазон больше или равен этому пороговому значению.
Затем, в случае, когда изображение объекта является изображением с малым динамическим диапазоном, модуль (243) настройки параметра вычисления присваивает параметру вычисления начальное значение для изображения с малым динамическим диапазоном. Кроме того, в случае, когда изображение объекта является изображением с большим динамическим диапазоном, модуль (243) настройки параметра вычисления присваивает параметру вычисления начальное значение для изображения с большим динамическим диапазоном.
При этом полагают, что изображение с малым динамическим диапазоном имеет меньшее количество контуров, чем изображение с большим динамическим диапазоном, и имеет меньшее количество точек контура, подлежащих извлечению. Следовательно, начальному значению для опорного значения контура в случае изображения с малым динамическим диапазоном присваивается меньшее значение, чем начальное значение для опорного значения контура в случае изображения с большим динамическим диапазоном так, чтобы можно было извлечь достаточное количество точек контура для того, чтобы поддерживать точность определения степени размытости изображения объекта на некотором уровне или выше. Кроме того, начальному значению для опорного значения извлечений в случае изображения с малым динамическим диапазоном присваивается меньшее значение, чем начальному значению для опорного значения извлечений в случае изображения большого динамического диапазона.
Модуль (243) настройки параметра вычисления предоставляет опорное значение контура, заданное в соответствии с динамическим диапазоном модулю (245) извлечения точек контура, и предоставляет опорное значение контура и опорное значение извлечений модулю (246) определения количества извлечений.
На этапе S214 модуль (244) генерирования локальных максимумов генерирует с использованием карты контура, предоставленный из модуля (241) генерирования карты контуров, локальный максимум и предоставляет этот локальный максимум модулю (245) извлечения точек контура и модулю (247) анализа контура.
Например, как показано в левой части фиг.16, модуль (244) генерирования локальных максимумов делит карту контуров в масштабе SC1 на блоки, состоящие из 2×2 пикселей. Затем модуль (244) генерирования локальных максимумов извлекает максимальные значения в отдельных блоках карты контуров и располагает извлеченные максимальные значения в том же порядке, что и порядок расположения соответствующих блоков, таким образом генерируя локальные максимумы LM1 в масштабе SC1. Иначе говоря, извлекается максимальное значение из пиксельных значений для пикселей в каждом блоке.
В дополнение к этому, как показано в центре на этом чертеже, модуль (244) генерирования локальных максимумов делит карту контуров в масштабе SC2 на блоки, состоящие из 4×4 пикселей. Затем модуль (244) генерирования локальных максимумов извлекает максимальные значения в отдельных блоках карты контуров и располагает извлеченные максимальные значения в том же порядке, что и порядок расположения соответствующих блоков, таким образом генерируя локальные максимумы LM2 в масштабе SC2.
Кроме того, как показано в правой части на этой фигуре, модуль (244) генерирования локальных максимумов делит карту контуров в масштабе SC3 на блоки, состоящие из 8×8 пикселей. Затем модуль (244) генерирования локальных максимумов извлекает максимальные значения в индивидуальных блоках карты контуров и располагает извлеченные максимальные значения в том же порядке, что и порядок расположения соответствующих блоков, таким образом генерируя локальные максимумы LM3 в масштабе SC3.
На этапе S215 модуль (245) извлечения точек контура извлекает точку контура из области объекта на изображении объекта, используя для этого локальные максимумы, предоставляемые из модуля (244) генерирования локальных максимумов, и карту объекта, предоставляемую из модуля (46) генерирования карты объекта.
В частности, модуль (245) извлечения точек контура обращается к карте объекта для того, чтобы выбрать один из пикселей в области объекта на изображении объекта, и использует выбранный пиксель в качестве представляющего интерес пикселя. Отметим, что областью объекта на изображении объекта считается область, имеющая пиксели, расположенные на изображении объекта в тех же самых местах, что и места расположения пикселей на карте объекта, пиксельные значения которых больше или равны заданному значению.
В дополнение к этому, если предположить, что координаты выбранного представляющего интерес пикселя на изображении объекта в системе координат xy выражены как (x,y), то модуль (245) извлечения точек контура определяет координаты (x1,y1) пикселя, соответствующего интересующему пикселю в локальных максимумах LM1, используя следующую формулу (9).
Отметим, что предполагается, что в формуле (9) цифры после десятичной запятой в значениях x/4 и y/4 округляются в меньшую сторону.
Поскольку один пиксель в локальных максимумах LM1 генерируется из блока, состоящего из 4×4 пикселей на изображении объекта, то координаты пикселя в локальных максимумах LM1, который соответствует представляющему интерес пикселю на изображении объекта, имеет значения, которые составляют, соответственно, 1/4 значений координаты x и координаты y представляющего интерес пикселя.
Аналогичным образом, модуль (245) извлечения точек контура определяет координаты (x2,y2) пикселя, соответствующего представляющему интерес пикселю, в локальных максимумах LM2, и координаты (x3,y3) пикселя, соответствующего представляющему интерес пикселю, в местных максимумах LM3, используя следующие формулы (10) и (11)
Отметим, что предполагается, что в формулах (10) и (11) цифры после десятичной запятой в значениях x/16, y/16, x/64 и y/64 округляются в меньшую сторону.
Кроме того, в случае, когда пиксельное значение для пикселя с координатами (x1,y1) в локальных максимумах LM1 больше или равно опорному значению контура, модуль (245) извлечения точек контура извлекает представляющий интерес пиксель в качестве точки контура в локальных максимумах LM1. Затем модуль (245) извлечения точек контура сохраняет координаты (x,y) представляющего интерес пикселя и пиксельное значение для координат (x1,y1) в локальных максимумах LM1 в связи друг с другом.
Аналогичным образом в случае, когда пиксельное значение для пикселя с координатами (x2,y2) в локальных максимумах LM2 больше или равно опорному значению контура, модуль (245) извлечения точек контура извлекает представляющий интерес пиксель в качестве точки контура в локальных максимумах LM2 и сохраняет координаты (x,y) интересующего пикселя и пиксельное значение для координат (x2,y2) в локальных максимумах LM2 в связи друг с другом. В дополнение к этому, в случае, когда пиксельное значение для пикселя с координатами (x3,y3) в локальных максимумах LM3 больше или равно опорному значению контура, модуль (245) извлечения точек контура извлекает интересующий пиксель в качестве точки контура в локальных максимумах LM3 и сохраняет координаты (x,y) представляющего интерес пикселя и пиксельное значение для координат (x3,y3) в локальных максимумах LM3 в связи друг с другом.
Модуль (245) извлечения точек контура повторяет вышеописанный процесс до тех пор, пока в качестве представляющих интерес пикселей не будут рассмотрены все пиксели в области объекта в пределах изображения объекта.
Соответственно, в качестве точек контура на основе локальных максимумов LM1 извлекаются пиксели, входящие в состав блока, имеющего контрастность контура, большую или равную опорному значению контура, из числа блоков, имеющих размер 4×4 пикселей в области объекта на изображении объекта.
Аналогичным образом в качестве точек контура на основе локальных максимумов LM2 извлекаются пиксели, входящие в состав блока, имеющего контрастность контура в блоке, большую или равную опорному значению контура, из числа блоков, имеющих размер 16×16 пикселей в области объекта на изображении объекта. В дополнение к этому, в качестве точек контура на основе локальных максимумов LM3 извлекаются пиксели, входящие в состав блока, имеющего контрастность контура в блоке, большую или равную опорному значению контура, из числа блоков, имеющих размер 64×64 пикселей в области объекта на изображении объекта.
Следовательно, в качестве точек контура извлекаются пиксели, входящие в состав, по меньшей мере, одного из блоков, имеющих размер 4×4 пикселей, 16×16 пикселей или 64×64 пикселя в области объекта, в котором контрастность контура становится большей или равной опорному значению контура.
Модуль (245) извлечения точек контура генерирует таблицу (ЕТ1) точек контура, которая представляет собой таблицу, в которой координаты (x,y) точек контура, извлеченных на основе локальных максимумов LM1, и пиксельные значения для пикселей, соответствующих точкам контура в локальных максимумах LM1, связаны друг с другом.
Аналогичным образом, модуль (245) извлечения точек контура генерирует таблицу (ЕТ2) точек контура, в которой координаты (x,y) точек контура, извлеченных на основе локальных максимумов LM2, и пиксельные значения для пикселей, соответствующих точкам контура в локальных максимумах LM2, связаны друг с другом. В дополнение к этому, модуль (245) извлечения точек контура также генерирует таблицу (ЕТ3) точек контура, в которой координаты (x,y) точек контура, извлеченных на основе локальных максимумов LM3, и пиксельные значения, для пикселей, соответствующих точкам контура в локальных максимумах LM3, связаны друг с другом.
Затем модуль (245) извлечения точек контура предоставляет эти сгенерированные таблицы точек контуров модулю (246) определения количества извлечений.
На этапе S216 модуль (246) определения количества извлечений использует таблицы точек контуров, предоставляемые из модуля (245) извлечения точек контура, для того чтобы определить, является ли надлежащим количество извлечений точек контура. Например, в случае, при котором общее количество извлеченных точек контура, иначе говоря, сумма количества элементов данных в таблицах ЕТ1-ЕТ3 точек контуров, меньше опорного значения извлечений, предоставляемого из модуля (243) настройки параметра вычисления, принимается решение, что количество извлечений точек контура не является надлежащим.
В случае, когда на этапе S216 определено, что количество извлечений точек контура не является надлежащим, модуль (246) определения количества извлечений уведомляет модуль (243) настройки параметра вычисления о том, что количество извлечений точек контура не является надлежащим, и процесс переходит к этапу S217.
На этапе S217 модуль (243) настройки параметра вычисления настраивает параметр вычисления в соответствии с уведомлением, поступающим из модуля (246) определения количества извлечений.
Например, модуль (243) настройки параметра вычисления уменьшает опорное значение контура на заданное значение относительно текущего значения так, чтобы можно было извлечь большее количество точек контура по сравнению с извлеченным в настоящее время. Модуль (243) настройки параметра вычисления предоставляет настроенное опорное значение контура модулю (245) извлечения точек контура и модулю (246) определения количества извлечений.
После того как параметр вычисления настроен, процесс возвращается на этап S215, и описанный выше процесс повторяется до тех пор, пока не будет определено, что количество извлечений точек контура является надлежащим.
В дополнение к этому, в случае, когда на этапе S216 определено, что количество извлечений точек контура является надлежащим, модуль (246) определения количества извлечений предоставляет опорное значение контура, поступившее из модуля (243) настройки параметра вычисления и таблицы точек контуров модулю (247) анализа контура, и процесс переходит к этапу S218.
В вышеупомянутом процессе для того, чтобы улучшить точность определения степени размытости в отношении изображения объекта с малым динамическим диапазоном, точки контура также извлекаются из блока, имеющего слабую контрастность контура, так чтобы можно было поддерживать достаточное количество точек контура для того, чтобы сохранять точность определения степени размытости объекта на определенном уровне или выше. С другой стороны, в отношении изображения объекта с большим динамическим диапазоном точки контура извлекаются из блока, имеющего настолько высокую контрастность контура, насколько это возможно, так чтобы можно было извлечь точки контура, образующие более контрастный контур.
На этапе S218 модуль (247) анализа контура выполняет анализ контура, используя для этого опорное значение контура и таблицы точек контуров, предоставляемые из модуля (246) определения количества извлечений, и локальные максимумы, предоставляемые из модуля (244) генерирования локальных максимумов.
В частности, модуль (247) анализа контура назначает, основываясь на таблицах ЕТ1-ЕТ3 точек контуров, одну из точек контура, извлеченных из изображения объекта, в качестве представляющего интерес пикселя. В таком случае, если предположить, что координаты представляющего интерес пикселя в системе координат xy выражены как (x,y), то модуль (247) анализа контура определяет координаты (x1,y1)-(x3,y3) пикселей, соответствующих представляющему интерес пикселю в локальных максимумах от LM1 до LM3, используя формулы (9)-(11), описанные выше.
Модуль (247) анализа контура устанавливает максимальное значение из числа пиксельных значений для пикселей в блоке, имеющем размер m×m пикселей (например, 4×4 пикселя), в локальных максимумах LM1, причем пиксель с координатами (x1,y1) в локальных максимумах LM1 используется в качестве пикселя в верхнем левом углу, в значении Local Max 1 (x1,y1). В дополнение к этому модуль (247) анализа контура устанавливает максимальное значение из числа пиксельных значений в блоке, имеющем размер n×n пикселей (например, 2×2 пикселя), причем пиксель с координатами (x2,y2) в локальных максимумах LM2 используется в качестве пикселя в верхнем левом углу, в значении Local Max 2 (x2,y2), и устанавливает пиксельное значение с координатами (x3,y3) в локальных максимумах LM3 в значение Local Max 3 (x3,y3).
Отметим, что параметр m×m, который используется для установки значения Local Max 1 (x1,y1), и параметра n×n, который используется для установки значения Local Max 2 (x2,y2), являются параметрами для коррекции разности в размере между блоками на изображении объекта, которые соответствуют одному пикселю в локальных максимумах LM1-LM3.
Модуль (247) анализа контура определяет, удовлетворяют ли значения Local Max 1 (x1,y1), Local Max 2 (x2,y2) и Local Max 3 (x3,y3) неравенству (12), приведенному ниже. В случае, при котором Local Max 1 (x1,y1), Local Max 2 (x2,y2), и Local Max 3 (x3,y3) удовлетворяют неравенству (12), модуль (247) анализа контура увеличивает значение "Nedge" на единицу.
Математическое выражение 4
Отметим, что точки контура, удовлетворяющие неравенству (12), считаются точками контура, образующие контуры, обладающие определенной или большей степенью контрастности, такие как контуры, показанные в частях с А по D, показанных на фиг.17, независимо от их структуры.
При этом контур, показанный в части А на фиг.17, считается контуром, подобным крутому импульсу; контур, показанный в части В на фиг.17, считается контуром, в виде импульса с уклоном, меньшим уклона контура в части А на фиг.17, и контур, показанный в части С на фиг.17, считается ступенчатым контуром с уклоном почти под прямым углом. В дополнение к этому контур, показанный в части D на фиг.17 считается ступенчатым контуром с уклоном, меньшим уклона контура в части С на фиг.17.
Кроме того, в случае, когда значения Local Max 1 (x1,y1), Local Max 2 (x2,y2) и Local Max 3 (x3,y3) удовлетворяют неравенству (12), модуль (247) анализа контура определяет, удовлетворяют ли они неравенству (13) или (14), приведенным ниже. В случае, когда значения Local Max 1 (x1,y1), Local Max 2 (x2,y2) и Local Max 3 (x3,y3) удовлетворяют неравенству (13) или (14), модуль (247) анализа контура увеличивает переменную Nsmallblur на единицу.
Математическое выражение 5
Отметим, что точка контура, удовлетворяющая неравенству (12) и также удовлетворяющая неравенству (13) или (14), считается точкой контура, образующей контур, имеющий структуру, показанную в части В или D на фиг.17, с контрастностью, более слабой, чем контрастность контура в части А или С на фиг.17, хотя она и имеет определенную или более высокую степень контрастности.
Кроме того, в случае, когда значения Local Max 1 (x1,y1) Local Max 2 (x2,y2) и Local Max 3 (x3,y3) удовлетворяют неравенству (12) и также удовлетворяют неравенству (13) или (14), модуль (247) анализа контура определяет, удовлетворяет ли Local Max 1 (x1,y1) неравенству (15), приведенному ниже. В случае, когда Local Max 1 (x1,y1) удовлетворяет неравенству (15), модуль (17) анализа контура увеличивает переменную Nlargeblur на единицу.
Математическое выражение 6
Отметим, что точка контура, удовлетворяющая неравенству (12), также удовлетворяющая неравенству (13) или (14), и, кроме того, удовлетворяющая неравенству (15), считается точкой контура, образующей контур с отсутствием резкости по причине появления размытости на контурах, имеющих структуру в части В или D на фиг.17 с определенной или большей степенью контрастности. Другими словами, считается, что в этой точке контура имеет место размытость.
Модуль (247) анализа контура повторяет вышеописанный процесс до тех пор, пока в качестве представляющих интерес пикселей не будут рассмотрены все точки контура, извлеченные из изображения объекта. Соответственно, среди извлеченных точек контура определяется количество точек контура Nedge, количество точек контура Nsmallblur и количество точек контура Nlargeblur.
При этом количество Nedge представляет собой количество точек контура, удовлетворяющих неравенству (13), а количество Nsmallblur представляет собой количество точек контура, удовлетворяющих неравенству (12) и также удовлетворяющих неравенству (13) или (14). В дополнение к этому количество Nlargeblur представляет собой количество точек контура, удовлетворяющих неравенству (12), также удовлетворяющих неравенству (13) или (14), и, кроме того, удовлетворяющих неравенству (15).
Модуль (247) анализа контура предоставляет вычисленные количества Nsmallblur и Nlargeblur модулю (248) определения степени размытости.
На этапе S219 модуль (248) определения степени размытости вычисляет формулу (16), приведенную ниже, используя количества Nsmallblur и Nlargeblur, поступившие из модуля (247) анализа контура, для определения степени (BlurEstimation) размытости, служащую в качестве показателя величины размытости объекта на входном изображении.
Математическое выражение 7
Иначе говоря, степень размытости BlurEstimation представляет собой отношение количества точек контура, считающихся формирующими контуры, на которых имеет место размытость, к количеству точек контура, признаваемых формирующими контуры, имеющие структуру, показанную на фиг.17В или 17D, с определенной или большей степени контрастности. Следовательно, считается, что чем больше степень размытости BlurEstimation, тем выше величина размытости объекта, тогда как чем меньше степень размытости BlurEstimation, тем меньше величина размытости объекта.
Когда степень размытости BlurEstimation определена, модуль (248) определения степени размытости определяет в качестве окончательной степени размытости на основании степени размытости BlurEstimation, степень размытости, имеющую более высокое значение для меньшей величины размытости объекта. Затем, модуль (248) определения степени размытости предоставляет эту полученную в результате определения окончательную степень размытости модулю (54) вычисления оценки в баллах, и процесс определения размытости завершается. Процесс переходит к этапу S18, показанному на фиг.8.
При этом причина, по которой в качестве окончательной степени размытости определена степень размытости, имеющая более высокое значение для меньшей величины размытости объекта, заключается в том, что чем меньше величина размытости объекта, тем более высокой считается оценка в баллах входного изображения.
Как было сказано выше, модуль (51) определения размытости вычисляет степень размытости, представляющая величину размытости области объекта на входном изображении, исходя из входного изображения и карты объекта. Во время вычисления степени размытости условием, в соответствии с которым извлекаются точки контура, и количеством извлечений точек контура, надлежащим образом управляют в соответствии с изображением объекта, что позволяет повысить точность определения степени размытости объекта.
В дополнение к этому, определение величины размытости для области объекта с использованием карты объекта позволяет надежно определить величину размытости объекта независимо от объекта, такого как портретное изображение или пейзажное изображение. Кроме того, поскольку целью при определении величины размытости может быть только область объекта. Это позволяет увеличить скорость, которая составляет приблизительно полуторократную скорость от получаемой при использовании существующего способа определения величины размытости объекта с использованием вейвлет-преобразования.
Отметим что, хотя было дано вышеприведенное объяснение, в котором генерируется карта объекта и указывается область объекта на входном изображении, способ для указания области объекта на входном изображении не ограничивается картой объекта, и может быть использован и любой другой способ. Например, в качестве объекта может быть определен предмет на так называемой золотой линии на входном изображении, или в качестве объекта может быть определено человеческое лицо, обнаруженное на входном изображении.
В дополнение к этому, процесс определения степень размытости области объекта на входном изображении может быть выполнен с использованием любого способа. Например, точки контура, образующие контуры в области объекта на входном изображении, могут быть извлечены с использованием вейвлет-преобразования, и для определения степени размытости объекта могут быть проанализированы типы точек контура.
Такой способ для определения степени размытости объекта, использующий вейвлет-преобразование, описан, например, в работе: Hanghang Tong, Mingjing Li, Hongjiang Zhang and Changshui Zhang, "Blur Detection for Digital Images Using Wavelet Transform" ("Определения степени размытости для цифровых изображений с использованием вейвлет-преобразования") или в подобных работах.
Кроме того, было объяснено определение степени размытости объекта в области объекта на входном изображении, которая используется как целевая область обработки. Однако, в случае, когда объект на входном изображении не обнаружен, например, в случае, когда карта объекта не включает в себя пиксель, имеющий значение, превышающее или равное заданному значению, в качестве обрабатываемого процессом изображение рассматривается все входное изображение, и может быть определена степень размытости всего входного изображения. Степень размытости входного изображения, определенная таким способом, предоставляется модулю (54) вычисления оценки в баллах и используется для вычисления оценки в баллах входного изображения.
Краткий обзор определения весового коэффициента методом обучения
Устройство (11) обработки изображений обнаруживает объект на входном изображении и определяет оценку в баллах входного изображения, принимая во внимание нерезкость области объекта на входном изображении.
Традиционно в качестве способа для обнаружения объекта на изображении известен способ разделения переднего плана и фона на изображении (смотри, например, публикацию японской нерассмотренной патентной заявки 2003-16448). В этом способе для разделения изображения на передний план и фон выполняется процесс разделения изображения, состоящий из деления изображения на множество блоков и объединения схожих блоков с использованием цвета и яркости. В дополнение к этому, в качестве способа для обнаружения объекта на изображении также имеется способ для обнаружения в качестве области объекта на изображении области, имеющей цвет лица или кожи (смотри, например, публикацию японской нерассмотренной патентной заявки 2004-72655).
Однако с использованием этих технологий было трудно надежно обнаруживать объект на изображении.
Например, в способе, в котором в качестве области объекта рассматривается область на изображении, имеющая цвет лица или кожи, в качестве объекта могут быть обнаружены только лицо человека или кожа человека. Таким образом, в случае, при котором объектами являются животное, растение, здание и тому подобное, эти объекты не могли бы быть обнаружены на изображениях.
В дополнение к этому, в способе разделения изображения на передний план и фон, поскольку разделение между передним планом и фоном выполняется, исходя из схожести цвета или яркости между отдельными блоками, область, рассматриваемая в качестве переднего плана, не обязательно может быть областью объекта. Кроме того, поскольку это разделение выполняется на поблочной основе, то существует риск, что не удается точно определить наличие или отсутствие текстуры на изображении, и бывали случаи, когда объект нельзя было надежно обнаружить.
В противоположность этому, устройство (11) обработки изображений извлекает множество элементов информации, которая, согласно оценке, имеет большее количество областей объектов на входном изображении, и генерирует с использованием этих элементов информации карту объекта, благодаря чему способно болеет надежно обнаруживать область объекта на входном изображении. Кроме того, поскольку пиксельные значения карты объекта являются более высокими для области на входном изображении, на которую наблюдатель, который смотрит на входное изображение, с большей вероятностью направляет свой взор, то может быть обнаружен объект, который не является исключительно человеком, но также и предметом вообще, таким как животное, растение или здание.
Такого рода карта объекта генерируется посредством извлечения из входного изображения элементов информации, таких как яркость, цвета, контуры, лицо и движение. Иначе говоря, для создания информационных карт, разностные изображения, полученные из пирамидных изображений этих извлеченных элементов информации, подвергаются взвешенному суммированию с использованием разностных весовых коэффициентов (Wa), и эти информационные карты подвергаются взвешенному суммированию с использованием весовых коэффициентов (Wb) информации. Кроме того, затем полученные в результате изображения (карты) умножаются на весовой коэффициент (Wc) объекта для создания карты объекта.
Эти разностные весовые коэффициенты (Wa), весовые коэффициенты (Wb) информации и весовой коэффициент (Wc) объекта, используемые при генерирования карты объекта, определяются при помощи, например, обучения на основе нейронной сети. При использовании в качестве обучающего изображения, используемого во время определения этих весовых коэффициентов методом обучения, изображения, включающего в себя не только человека, но также и объект вообще, можно, используя карту объекта, сгенерированную с использованием весовых коэффициентов, полученных методом обучения, обнаруживать с более высокой надежностью на входном изображении объект вообще.
Определение методом обучения разностных весовых коэффициентов (Wa), весовых коэффициентов (Wb) информации и весового коэффициента (Wc) объекта, которые используются для генерирования карты объекта, будет пояснено ниже.
Сначала со ссылкой на фиг.18 и 19 будет дан краткий обзор обучения на основе нейронной сети.
Во время обучения, которое показано на фиг.18, используются разностные весовые коэффициенты (Wa), весовые коэффициенты (Wb) информации и весовой коэффициент (Wc) объекта, которым присваиваются начальные значения, и обучающее изображение, включающее в себя объект, и генерируется карта объекта.
В частности, из обучающего изображения генерируется разностное изображение An(m) (где 1≤n≤N, 1≤m≤6) для каждого элемента информации, извлекаемого во время генерирования карты объекта. При этом разностные изображения An(1)-An(6) представляют собой изображения разности элементов информации, извлекаемых из обучающего изображения.
Например, разностные изображения А1(1)-А1(6) считаются разностными изображениями яркости, когда они генерируются с использованием пирамидных изображений яркости, полученных из обучающего изображения. В дополнение к этому, например, разностные изображения AN(1)-AN(6) считаются разностными изображениями в направлении 0 градусов, когда они генерируются с использованием пирамидных изображений контуров в направлении 0 градусов, полученных из обучающего изображения.
Отметим, что на фиг.18 показан пример, в котором для каждого элемента информации, извлекаемой из обучающего изображения, получается шесть разностных изображений; однако может быть использовано любое количество разностных изображений.
Когда из обучающего изображения получены разностные изображения An(m) для соответствующих элементов информации, из этих разностных изображений и разностных весовых коэффициентов (Wa) для соответствующих разностных изображений генерируется информационная карта. Отметим, что разностные весовые коэффициенты (Wa), подлежащие умножению на разностные изображения An(m), в дальнейшем также называются разностными весовыми коэффициентами Wan(m).
Например, для создания информационной карты (B1in) разностные изображения А1(1)-А1(6) подвергаются взвешенному суммированию с использованием, соответственно, разностных весовых коэффициентов Wa1(1)-Wa1(6) для соответствующих разностных изображений. Кроме того, над этой информационной картой (B1in) выполняется вычисление с использованием некоторой заранее заданной функции f(x), и в результате получается информационная карта (B1out).
Например, функция f(x) рассматривается как функция гиперболического косинуса (функция гиперболического тангенса), представленная следующей формулой (17).
Отметим, что в формуле (17) a и b представляют заданные константы, а x представляет пиксельное значение для пикселя на изображении. Следовательно, в случае, когда должна быть определена информационная карта (B1out), x рассматривается как пиксельное значение для пикселя на информационной карте (B1in).
Иначе говоря, значение f(x), получаемое путем подстановки пиксельного значения (x) для пикселя на информационной карте (B1in) в формулу (17), рассматривается как пиксельное значение для пикселя, расположенного на информационной карте (B1out) в том же месте, что и место расположения этого пикселя. Информационная карта (B1out), полученная таким образом, соответствует информационной карте, генерируемой в устройстве (11) обработки изображений, например, карте информации о яркости.
Отметим, что функция f(x) не ограничена функцией гиперболического косинуса и может представлять собой любую функцию. Например, в идеальной модели функция f(x) рассматривается как сигмоидная функция, в которой значение "1" выводится в случае x≥0, и в которой значение "-1" выводится в случае x<0.
Когда, получено, как описано выше, N информационных карт B1out-BNout, эти информационные карты (Bnout) (где 1≤n≤N), подвергают взвешенному суммированию с использованием весовых коэффициентов (Wb) информации для соответствующих информационных карт для создания карты (Cin) объекта. Затем над этой картой (Cin) объекта выполняется вычисление с использованием заданной функции f(x), и в результате получается карта (Cout) объекта. Кроме того, эта карта (Cout) объекта умножается на весовой коэффициент (Wc) объекта, и результат нормируется с получением окончательной карты объекта.
В частности, отметим, что при генерировании карты (Cin) объекта взвешенное суммирование выполняется также с использованием информационной карты, полученной без генерирования разностных изображений, например, такой информационной карты, как карта информации о лице. В дополнение к этому отметим, что весовые коэффициенты (Wb) информации, подлежащие умножению на информационные карты (Bnout), в дальнейшем также называются весовыми коэффициентами (Wbn) информации.
Процесс генерирования карты объекта во время выполняемого таким образом обучения называется продвижением в прямом направлении. Затем, когда карта объекта сгенерирована, выполняется, как показано на фиг.19, процесс, называемый продвижением в обратном направлении, предназначенный для обновления разностных весовых коэффициентов (Wa), весовых коэффициентов (Wb) информации и весового коэффициента (Wc) объекта. В процессе, называемом продвижение в обратном направлении, определяют разность между весовыми коэффициентами, которая представляет собой значение, на которое должен быть увеличен или уменьшен каждый весовой коэффициент, используя для этого сгенерированную карту объекта и ярлык изображения, который приготавливается заранее для обучающего изображения, и который представляет собой информацию, указывающую область объекта на обучающем изображении.
При этом ярлык изображения является изображением, имеющим тот же размер, что и обучающее изображение, и является изображением, на котором пиксельное значение для пикселя, расположенного в том же месте, что и место расположения пикселя в области объекта на обучающем изображении, устанавливается в "1", в то время как пиксельное значение для пикселя, расположенного в том же месте, что и место расположения пикселя в области на обучающем изображении, в которой объект отсутствует, устанавливается в "0".
В ходе продвижения в обратном направлении, сначала определяется разность между картой объекта и ярлыком изображения, и полученное в результате изображение рассматривается в качестве карты оценки. Затем, исходя из карты оценки и карты (Cin) объекта с использованием нижеприведенной формулы (18) определяется разность (ΔWc) весового коэффициента объекта, которая представляет собой величину, на которую должен быть изменен весовой коэффициент (Wc) объекта.
В формуле (18), η представляет скорость обучения, которая является заданной константой, а Cin представляет карту (Cin) объекта. В частности, отметим, что Cin в формуле (18) считается пиксельным значением для одного пикселя на карте (Cin) объекта, а разность (ΔWc) весовых коэффициентов объекта определяется для каждого пикселя. В дополнение к этому отметим, что ΔС представляет собой разность карты объекта, и определяется с использованием следующей формулы (19).
В формуле (19) EV представляет карту оценки, a f'(Cin) представляет собой значение, получаемое путем подстановки карты (Cin) объекта в функцию, полученную путем дифференцирования функции f(x). Функция f'(x) получаемая путем дифференцирования функции f(x), задается, в частности, выражением a×b×sech(x×b)2.
Когда разности (ΔWc) весовых коэффициентов объекта получены таким образом, разности (ΔWc) весовых коэффициентов объекта суммируются с предшествующими значениями весовых коэффициентов (Wc) объекта для обновления и получаются новые весовые коэффициенты (Wc) объекта.
Затем с использованием формулы (20), приведенной ниже, определяется разность (ΔWbn) весового коэффициента информации, которая представляет собой величину, на которую должен быть изменен весовой коэффициент (Wbn) информации, при этом используется обновленный весовой коэффициент (Wc) объекта и информационная карта (Bnin), сгенерированная во время генерирования карты объекта.
В формуле (20) η представляет скорость обучения, которая является заданной константой, а Bnin представляет информационную карту (Bnin). В частности, отметим, что Bnin в формуле (20) считается пиксельным значением для одного пикселя на информационной карте (Bnin), и разность (ΔWbn) весового коэффициента информации определяется для каждого пикселя. В дополнение к этому отметим, что ΔBn представляет собой разность информационных карт и определяется с использованием следующей формулы (21).
В формуле (21) ΔС представляет значение, получаемое вычислением вышеприведенной формулы (19), a f'(Bnin) представляет собой значение, получаемое путем подстановки информационной карты (Bnin) в функцию, полученную путем дифференцирования функции f(x). В дополнение к этому отметим, что Wc представляет собой обновленный весовой коэффициент (Wc) объекта.
Когда разности (ΔWbn) весовых коэффициентов информации для информационных карт Bnin получены таким образом, разности (ΔWbn) весовых коэффициентов информации суммируются с весовыми коэффициентами (Wbn) информации для информационных карт (Bnin) с целью обновления, и определяются новые весовые коэффициенты (Wbn) информации.
Кроме того, с использованием нижеприведенной формулы (22) определяются разности (ΔWan(m)) разностных весовых коэффициентов, представляющие собой величину, на которую должны быть изменены разностные весовые коэффициенты (Wa), при этом используется обновленные весовые коэффициенты (Wbn) информации и разностные изображения An(m), сгенерированные при генерировании карты объекта.
В формуле (22) η представляет скорость обучения, которая является заданной константой, a An(m) представляет разностное изображение An(m). В частности отметим, что An(m) в формуле (22) считается пиксельным значением для одного пикселя на разностном изображении An(m), и разность ΔWan(m) определяется для каждого пикселя. В дополнение к этому отметим, что ΔAn(m) представляет собой разность разностных изображений и определяется с использованием формулы (23), которая следует ниже.
В формуле (23) ΔBn представляет значение, получаемое вычислением вышеприведенной формулы (21), a f'(An(m)) представляет собой значение, получаемое путем подстановки изображения (An(m)) разности в функцию, полученную путем дифференцирования функции f(x). В дополнение к этому отметим, что Wbn представляет собой обновленный весовой коэффициент (Wbn) информации.
Когда разности (ΔWan) разностных весовых коэффициентов для разностных изображений An(m) получены таким образом, разности ΔWan(m) разностных весовых коэффициентов суммируются с разностными весовыми коэффициентами Wan(m) для разностных изображений An(m) с целью обновления и определяются новые разностные весовые коэффициенты Wan(m).
После этого описанный выше процесс повторяется с использованием разностных весовых коэффициентов (Wa), весовых коэффициентов (Wb) информации и весовых коэффициентов (Wc) объекта, обновленных описанным выше образом, и получаются окончательные значения разностных весовых коэффициентов (Wa), весовых коэффициентов (Wb) информации и весовых коэффициентов (Wc) объекта.
Таким образом, в ходе обучения на основе нейронной сети, исходя из карты объекта, сгенерированной с использованием весового коэффициента, заданного заранее, и ярлыка изображения генерируют карту оценки, и, кроме того, исходя из этой карты оценки, с использованием вычисления, производимого в обратном порядке, определяют разность весового коэффициента, которая представляет собой величину изменения, на которую должен быть изменен каждый весовой коэффициент.
При этом ярлык изображения представляет собой информацию, указывающую область объекта на обучающем изображении, и можно, таким образом, сказать, что он представляет собой информацию, указывающую так называемый правильный вариант на карте объекта. Следовательно, карта оценки, которая представляет собой разность между картой объекта и ярлыком изображения, представляет погрешность между идеальной картой объекта и картой объекта, сгенерированной с использованием данного весового коэффициента, и вычисление, производимое в обратном порядке, с использованием карты оценки может определить погрешность между данным весовым коэффициентом и идеальным весовым коэффициентом.
В таком случае полученная в результате определения погрешность представляет собой величину изменения, на которую должен быть изменен данный весовой коэффициент, и суммирование этой величины изменения с весовым коэффициентом может определить весовой коэффициент, который является идеальным в настоящий момент времени. Генерирование карты объекта с использованием весового коэффициента, вновь определенного таким образом, позволило бы с более высокой надежностью обнаруживать объект на изображении, используя эту карту объекта,. В ходе обучения на основе нейронной сети, разности ΔWan(m), разности (ΔWbn) весовых коэффициентов информации и разности (ΔWc) весовых коэффициентов объекта определяются как величины изменения весовых коэффициентов, и соответствующие весовые коэффициенты обновляются.
Конфигурация обучающегося устройства
Далее будет объяснено обучающееся устройство, которое определяет разностные весовые коэффициенты (Wa), весовые коэффициенты (Wb) информации и весовые коэффициенты (Wc) объекта.
Фиг.20 представляет собой схему, иллюстрирующую приведенную в качестве примера конфигурацию варианта реализации обучающегося устройства, в котором применено настоящее изобретение.
С обучающимся устройством (301) соединены база (302) данных изображений и база (303) данных ярлыков изображений. База (302) данных изображений содержит записанные в ней обучающие изображения, и база (303) данных ярлыков изображений содержит записанные в ней ярлыки изображений, относящиеся к обучающим изображениям, записанным в базе (302) данных изображений. Обучающееся устройство (301) выполняет обучение, используя обучающие изображения и ярлыки изображений, получаемые из базы (302) данных изображений и базы (303) данных ярлыков изображений.
Обучающееся устройство (301) сконфигурировано с использованием модуля (311) извлечения объекта и модуля (312) вычисления весовых коэффициентов.
Модуль (311) извлечения объекта использует обучающее изображение, получаемое из базы (302) данных изображений, и разностные весовые коэффициенты (Wa), весовые коэффициенты (Wb) информации и весовые коэффициенты (Wc) объекта, предоставляемые из модуля (312) вычисления весовых коэффициентов, для генерирования из обучающего изображения карты объекта и предоставления этой карты объекта модулю (312) вычисления весовых коэффициентов. Модуль (312) вычисления весовых коэффициентов использует ярлык изображения, получаемый из базы (303) данных ярлыков изображений, и карту объекта, предоставляемую из модуля (311) извлечения объекта, для обновления разностных весовых коэффициентов (Wa), весовых коэффициентов (Wb) информации и весовых коэффициентов (Wc) объекта, и предоставляет результаты модулю (311) извлечения объекта.
Например, модуль (311) извлечения объекта имеет структуру, показанную на фиг.21. Иначе говоря, модуль (311) извлечения объекта имеет структуру, содержащую модуль (341) извлечения информации о яркости, модуль (342) извлечения информации о цвете, модуль (343) извлечения информации о контурах, модуль (44) извлечения информации о лице, модуль (45) извлечения информации о движении и модуль (344) генерирования карты объекта. Отметим, что на фиг.21 элементы, соответствующие элементам в случае, показанном на фиг.1, присвоены те же самые ссылочные позиции, и, соответственно, объяснения их опущены.
Модуль (341) извлечения информации о яркости генерирует карту информации о яркости, используя обучающее изображение, поступающее из базы (302) данных для изображений, и разностные весовые коэффициенты (Wa), поступающие из модуля (312) вычисления весовых коэффициентов, и предоставляет эту карту информации о яркости модулю (344) генерирования карты объекта. Модуль (342) извлечения информации о цвете генерирует карту информации о цвете, используя обучающее изображение, поступающее из базы (302) данных изображений, и разностные весовые коэффициенты (Wa), поступающие из модуля (312) вычисления весовых коэффициентов, и предоставляет эту карту информации о цвете модулю (344) генерирования карты объекта. В дополнение к этому, модуль (343) извлечения информации о контурах генерирует карту информации о контурах, используя обучающее изображение, поступающее из базы (302) данных изображений, и разностные весовые коэффициенты (Wa), поступающие из модуля (312) вычисления весовых коэффициентов, и предоставляет эту карту информации о контурах модулю (344) генерирования карты объекта.
Модуль (44) извлечения информации о лице генерирует карту информации о лице, используя обучающее изображение, поступающее из базы (302) данных изображений, и предоставляет эту карту информации о лице модулю (344) генерирования карты объекта. Модуль (45) извлечения информации о движении генерирует карту информации о движении, используя обучающее изображение, поступающее из базы (302) данных изображений, и предоставляет эту карту информации о движении модулю (344) генерирования карты объекта. В дополнение к этому, модули: от модуля (341) извлечения информации о яркости до модуля (343) извлечения информации о контурах, предоставляют модулю (344) генерирования карты объекта разностные изображения.
Модуль (344) генерирования карты объекта генерирует карту объекта, используя карты: от карты информации о яркости до карты информации о движении, поступающие из модулей: от модуля (341) извлечения информации о яркости до модуля (45) извлечения информации о движении, и весовые коэффициенты (Wb) информации и весовые коэффициенты (Wc) объекта, поступающие из модуля (312) вычисления весовых коэффициентов. В дополнение к этому, модуль (344) генерирования карты объекта предоставляет сгенерированную карту объекта и соответствующие информационные карты и разностные изображения, поступающие из модулей: от модуля (341) извлечения информации о яркости до модуля (45) извлечения информации о движении, модулю (312) вычисления весовых коэффициентов.
Модули: от модуля (341) извлечения информации о яркости до модуля (343) извлечения информации о контурах, показанные на фиг.21, в частности, имеют структуру, показанную на фиг.22-24.
Фиг.22 представляет собой схему, иллюстрирующую приведенную в качестве примера структуру модуля (341) извлечения информации о яркости.
Модуль (341) извлечения информации о яркости имеет структуру, содержащую модуль (371) генерирования яркостного изображения, модуль (372) генерирования пирамидного изображения, модуль (373) вычисления разности и модуля (374) генерирования карты информации о яркости. Отметим, что модули: от модуля (371) генерирования яркостного изображения до модуля (373) вычисления разности, аналогичны, соответственно, модулям: от модуля (81) генерирования яркостного изображения до модуля (83) вычисления разности, показанным на фиг.2, и, таким образом, объяснения их опускаются.
Модуль (374) генерирования карты информации о яркости выполняет взвешенное суммирование разностных изображений (соответствующих разностным изображениям An(m)), поступающих из модуля (373) вычисления разности, с использованием разностных весовых коэффициентов (Wa), поступающих из модуля (312) вычисления весовых коэффициентов. Затем, модуль (374) генерирования карты информации о яркости подставляет изображения (соответствующие информационным картам (Bnin)), полученные путем взвешенного суммирования, в функцию f(x) для выполнения вычисления, чтобы тем самым сгенерировать карты информации о яркости (соответствующие информационным картам (Bnout)), и предоставляет эти карты информации о яркости модулю (344) генерирования карты объекта.
Фиг.23 представляет собой схему, иллюстрирующую приведенную в качестве примера структуру модуля (342) извлечения информации о цвете, показанного на фиг.21.
Модуль (342) извлечения информации о цвете имеет структуру, содержащую модуль (401) генерирования изображения разности "красное/зеленое", модуль (402) генерирования изображения разности "синее/желтое", модуль (403) генерирования пирамидного изображения, модуль (404) генерирования пирамидного изображения, модуль (405) вычисления разности, модуль (406) вычисления разности, модуль (407) генерирования карты информации о цвете и модуль (408) генерирования карты информации о цвете. Отметим, что модули: от модуля (401) генерирования изображения разности "красное/зеленое" до модуля (406) вычисления разности, аналогичны, соответственно, модулям: от модуля (111) генерирования изображения разности "красное/зеленое" до модуля (116) вычисления разности, показанным на фиг.3, и, таким образом, объяснения их опускаются.
Модуль (407) генерирования карты информации о цвете выполняет взвешенное суммирование разностных изображений для разностей "красное/зеленое" (соответствующих разностным изображениям An(m)), поступающих из модуля (405) вычисления разности, с использованием разностных весовых коэффициентов (Wa), поступающих из модуля (312) вычисления весовых коэффициентов. Затем модуль (407) генерирования карты информации о цвете подставляет изображения (соответствующие информационным картам (Bnin)), полученные путем взвешенного суммирования, в функцию f(x) для выполнения вычисления для генерирования карты информации о цвете для разностей "красное/зеленое" (соответствующие информационным картам (Bnout)).
Аналогичным образом модуль (408) генерирования карты информации о цвете подставляет изображения, которые получены путем выполнения взвешенного суммирования разностных изображений для разностей "синее/желтое", поступающих из модуля (406) вычисления разности, с использованием весовых коэффициентов (Wa) разности, поступающих из модуля (312) вычисления весовых коэффициентов, в функцию f(x) для выполнения вычисления и генерирования карты информации о цвете для разностей "синее/желтое". Модули (407) и (408) генерирования карт информации о цвете предоставляют сгенерированные карты информации о цвете для разностей "красное/зеленое" и карты информации о цвете для разностей "синее/желтое" модулю (344) генерирования карты объекта.
Фиг.24 представляет собой схему, иллюстрирующую приведенную в качестве примера структуру модуля (343) извлечения информации о контурах, показанного на фиг.21.
Модуль (343) извлечения информации о контурах сконфигурирован с использованием модулей 441-444 генерирования изображений контуров, модулей 445-448 генерирования пирамидных изображений, модуля 449-452 вычисления разности и модулей 453-456 генерирования карт информации о контурах. Отметим, что модули: от модуля (441) генерирования изображения контуров до модуля (452) вычисления разности, аналогичны, соответственно, модулям: от модуля (141) генерирования изображения контуров до модуля (152) вычисления разности, показанным на фиг.4, и, таким образом, объяснения их опускаются.
Модуль (453) генерирования карты информации о контурах выполняет взвешенное суммирование разностных изображений в направлении 0 градусов (соответствующих разностным изображениям An(m), поступающих из модуля (449) вычисления разности, с использованием разностных весовых коэффициентов (Wa), поступающих из модуля (312) вычисления весовых коэффициентов. Затем модуль (453) генерирования карты информации о контурах подставляет изображения (соответствующие информационным картам (Bnin)), полученные путем взвешенного суммирования, в функцию f(x) для выполнения вычисления для генерирования карты информации о контурах в направлении 0 градусов (соответствующие информационным картам (Bnout)).
Аналогичным образом модули 454-456 генерирования карт информации о контурах выполняют взвешенное суммирование разностных изображений в соответствующих направлениях, предоставляемых из модулей 450-452 вычисления разности, с использованием разностных весовых коэффициентов (Wa), поступающих из модуля (312) вычисления весовых коэффициентов для выполнения вычисления функции f(x) и генерирования карты информации о контурах в соответствующих направлениях. Модули 453-456 генерирования карт информации о контурах предоставляют сгенерированные карты информации о контурах в соответствующих направлениях модулю (344) генерирования карты объекта.
Кроме того, модуль (312) вычисления весовых коэффициентов, показанный на фиг.20, имеет, в частности, структуру, показанную на фиг.25. Иначе говоря, модуль (312) вычисления весовых коэффициентов имеет структуру, содержащую модуль (481) генерирования карты оценки, модули 482-484 вычисления разности весовых коэффициентов и модуль (485) обновления весовых коэффициентов.
Модуль (481) генерирования карты оценки генерирует карту оценки, исходя из карты объекта, поступающей из модуля (344) генерирования карты объекта, и ярлыка изображения из базы (303) данных ярлыков изображений, и предоставляет эту карту оценки модулю (482) вычисления разности весового коэффициента.
Модуль (482) вычисления разности весового коэффициента генерирует разность (ΔWc) весового коэффициента объекта, используя карту оценки, поступающую из модуля (481) генерирования карты оценки, и карту (Cin) объекта, поступающую из модуля (344) генерирования карты объекта, и предоставляет результат модулю (485) обновления весовых коэффициентов. В дополнение к этому, модуль (482) вычисления разности весового коэффициента предоставляет разность (ΔС) карты объекта, которая была определена во время вычисления разности (ΔWc) весового коэффициента объекта, модулю (483) вычисления разности весового коэффициента.
Модуль (483) вычисления разности весового коэффициента генерирует разность (ΔWbn) весового коэффициента информации, используя разность (ΔС) карты объекта, поступающую из модуля (482) вычисления разности весового коэффициента, информационную карту (Bnin), поступающую из модуля (344) генерирования карты объекта, и весовой коэффициент (Wc) объекта, поступающий из модуля (485) обновления весовых коэффициентов, и предоставляет результат модулю (485) обновления весовых коэффициентов. В дополнение к этому, модуль (483) вычисления разности весового коэффициента предоставляет разность (ΔBn) информационной карты, которая была определена во время вычисления разности (ΔWbn) весового коэффициента информации, модулю (484) вычисления разности весового коэффициента.
Модуль (484) вычисления разности весового коэффициента генерирует разность ΔWan(m) разностного весового коэффициента, используя разность (ΔBn) информационной карты, поступающую из модуля (483) вычисления разности весового коэффициента, разностное изображение An(m), поступающее из модуля (344) генерирования карты объекта, и весовой коэффициент (Wbn) информации, поступающий из модуля (485) обновления весовых коэффициентов, и предоставляет результат модулю (485) обновления весовых коэффициентов.
Модуль (485) обновления весовых коэффициентов обновляет весовой коэффициент (Wc) объекта, весовой коэффициент (Wb) информации и разностный весовой коэффициент (Wa), используя разность (ΔWc) весового коэффициента объекта, разность (ΔWbn) весового коэффициента информации и разность ΔWan(m) разностного весового коэффициента, поступающие из модулей 482-484 вычисления разности весовых коэффициентов. В дополнение к этому, модуль (485) обновления весовых коэффициентов предоставляет обновленные весовой коэффициент объекта и весовой коэффициент информации модулю (344) генерирования карты объекта и также предоставляет разностный весовой коэффициент модулям: от модуля (341) извлечения информации о яркости до модуля (343) извлечения информации о контурах, или выводит весовой коэффициент объекта, весовой коэффициент информации и разностный весовой коэффициент в качестве окончательных значений весовых коэффициентов, полученных посредством обучения.
Функционирование обучающегося устройства
Далее, со ссылкой на блок-схему алгоритма, показанную на фиг.26, будет объяснен процесс обучения, который представляет собой процесс, в ходе которого обучающееся устройство (301) определяет весовой коэффициент (Wc) объекта, весовой коэффициент (Wb) информации и разностный весовой коэффициент (Wa) посредством обучения, используя обучающее изображение и ярлык изображения.
На этапе S251 модуль (341) извлечения информации о яркости выполняет процесс извлечения информации о яркости для генерирования карты информации о яркости и предоставляет сгенерированную карту информации о яркости и разностное изображение модулю (344) генерирования карты объекта. Отметим, что процесс извлечения информации о яркости аналогичен процессу извлечения информации о яркости, объясненному со ссылкой на фиг.9, и что по этой причине объяснение его опускается.
В этой связи, на этапе S251 используется обучающее изображение из базы (302) данных изображений и генерируется яркостное изображение. В дополнение к этому, в ходе процесса, соответствующего этапу S54, показанному на фиг.9, модуль (374) генерирования карты информации о яркости выполняет взвешенное суммирование разностных изображений, поступающих из модуля (373) вычисления разности, с использованием разностных весовых коэффициентов (Wa), поступающих из модуля (485) обновления весовых коэффициентов, и генерирует карту информации о яркости.
Иначе говоря, изображения разности яркостей, служащие в качестве разностных изображений An(m) подвергаются взвешенному суммированию с использованием разностных весовых коэффициентов Wan(m) для получения информационной карты (Bnin) и, кроме того, над информационной картой (Bnin) выполняется вычисление с использованием формулы (17) для генерирования карты информации о яркости, служащей в качестве информационной карты (Bnout).
При генерировании информационной карты (Bnin) пиксельное значение для пикселя на каждом из изображений An(m) разности яркости умножается на разностный весовой коэффициент Wan(m) для каждого разностного изображения, и итоговая сумма пиксельных значений для пикселей, расположенных в одном и том же положении на соответствующих разностных изображениях, которые были умножены на разностные весовые коэффициенты, считаются пиксельным значением для пикселя на информационной карте (Bnin). В дополнение к этому при вычислении формулы (17) в качестве пиксельного значения для пикселя на карте информации о яркости, служащей в качестве информационной карты (Bnout), рассматривается значение, получаемое путем подстановки пиксельного значения x для каждого пикселя на информационной карте (Bnin) в формулу (17).
Модуль (374) генерирования карты информации о яркости предоставляет разностные изображения, поступающие из модуля (373) вычисления разности, сгенерированную карту информации о яркости, и карты информации о яркости, служащие в качестве информационных карт (Bnin), модулю (344) генерирования карты объекта.
На этапе S252 модуль (342) извлечения информации о цвете выполняет процесс извлечения информации о цвете для генерирования карты информации о цвете и предоставляет сгенерированную карту информации о цвете и изображение разности модулю (344) генерирования карты объекта. Отметим, что процесс извлечения информации о цвете аналогичен процессу извлечения информации о цвете, объясненному со ссылкой на фиг.10, и что по этой причине объяснение его опускается.
В этой связи, на этапе S252 используется обучающее изображение из базы (302) данных изображений и генерируются изображение разности "красное/зеленое" и изображение разности "синее/желтое". В дополнение к этому, в ходе процесса, соответствующего этапу S85, показанному на фиг.10, модули (407) и (408) генерирования карты информации о цвете выполняют взвешенное суммирование разностных изображений, поступающих из модулей (405) и (406) вычисления разности, с использованием разностных весовых коэффициентов (Wa), поступающих из модуля (485) обновления весовых коэффициентов, для генерирования карты информации о цвете.
Иначе говоря, разностные изображения для разностей "красное/зеленое" или разностные изображения для разностей "синее/желтое", которые служат в качестве разностных изображений An(m), подвергаются взвешенному суммированию с использованием разностных весовых коэффициентов Wan(m) для получения информационной карты (Bnin). Кроме того, над информационной картой (Bnin) выполняется вычисление формулы (17), и генерируется карта информации о цвете для разностей "красное/зеленое" или карта информации о цвете для разностей "синее/желтое", которая служит в качестве информационной карты (Bnout).
Модули (407) и (408) генерирования карты информации о цвете предоставляют разностные изображения, поступающие из модулей (405) и (406) вычисления разности, сгенерированную карту информации о цвете и карты информации о цвете, служащие в качестве информационной карты (Bnin), модулю (344) генерирования карты объекта.
На этапе S253 модуль (343) извлечения информации о контурах выполняет процесс извлечения информации о контурах для генерирования карты информации о контурах, и предоставляет сгенерированную карту информации о контурах и разностные изображения модулю (344) генерирования карты объекта. Отметим, что процесс извлечения информации о контурах аналогичен процессу извлечения информации о контурах, объясненному со ссылкой на фиг.11, и что по этой причине объяснение его опускается.
В этой связи, на этапе S253 используется обучающее изображение из базы (302) данных изображений, и генерируются изображения контуров в соответствующих направлениях. В дополнение к этому, в ходе процесса, соответствующего этапу S114, показанному на фиг.11, модули 453-456 генерирования карт информации о контурах выполняют взвешенное суммирование разностных изображений, поступающих из модулей 449-452 вычисления разности, с использованием разностных весовых коэффициентов (Wa), поступающих из модуля (485) обновления весовых коэффициентов, и генерируют карты информации о контурах.
Иначе говоря, разностные изображения в соответствующих направлениях, служащие в качестве разностных изображений An(m) подвергаются взвешенному суммированию с использованием разностных весовых коэффициентов Wan(m) для этих соответствующих направлений для получения информационных карт (Bnin). Кроме того, над информационными картами (Bnin) выполняется вычисление формулы (17), и в качестве информационных карт (Bnout) генерируются карты информации о контурах в соответствующих направлениях, составляющих 0 градусов, 45 градусов, 90 градусов и 135 градусов.
Модули 453-456 генерирования карт информации о контурах предоставляют разностные изображения, поступающие от модулей 449-452 вычисления разности, сгенерированные карты информации о контурах в соответствующих направлениях и карты информации о контурах в соответствующих направлениях служат в качестве информационных карт (Bnin) модулю (344) генерирования карты объекта.
На этапе S254, модуль (44) извлечения информации о лице выполняет процесс извлечения информации о лице, используя обучающее изображение из базы (302) данных изображений для генерирования карты информации о лице, служащей в качестве информационной карты (Bnout), и предоставляет эту карту информации о лице модулю (344) генерирования карты объекта. Отметим, что этот процесс извлечения информации о лице аналогичен процессу извлечения информации о лице, объясненному со ссылкой на фиг.12, и по этой причине объяснение его опускается.
На этапе S255 модуль (45) извлечения информации о движении выполняет процесс извлечения информации о движении, используя обучающее изображение из базы (302) данных изображений для генерирования карты информации о движении, служащей в качестве информационной карты (Bnout), и предоставляет эту карту информации о движении модулю (344) генерирования карты объекта. Отметим, что этот процесс извлечения информации о движении аналогичен процессу извлечения информации о движении, объясненному со ссылкой на фиг.13, и по этой причине объяснение его опускается.
На этапе S256 модуль (344) генерирования карты объекта генерирует карту объекта, используя карты: от карты информации о яркости до карты информации о движении, поступающие из модулей: от модуля (341) извлечения информации о яркости до модуля (45) извлечения информации о движении, и весовые коэффициенты (Wb) информации и весовые коэффициенты (Wc) объекта, поступающие из модуля (485) обновления весовых коэффициентов.
Иначе говоря, модуль (344) генерирования карты объекта умножает карты: от карты информации о яркости до карты информации о движении, которые служат в качестве информационных карт (Bnout), на весовые коэффициенты (Wbn) информации для соответствующих информационных карт, для выполнения взвешенного суммирования для генерирования карты (Cin) объекта. При этом итоговая сумма пиксельных значений для пикселей в одном и том же месте на соответствующих информационных картах, которые были умножены на весовые коэффициенты (Wbn) информации, рассматривается в качестве пиксельного значения для соответствующего пикселя на карте (Cin) объекта.
В дополнение к этому, модуль (344) генерирования карты объекта рассматривает значение, полученное путем подстановки пиксельного значения x каждого пикселя на карте (Cin) объекта в формулу (17), в качестве пиксельного значения для соответствующего пикселя на карте (Cout) объекта и, кроме того, умножает пиксельное значение для каждого пикселя на карте (Cout) объекта на весовой коэффициент (Wc) объекта. Результаты нормируются для получения окончательной карты объекта.
Модуль (344) генерирования карты объекта предоставляет сгенерированную окончательную карту объекта модулю (481) генерирования карты оценки и также предоставляет карту (Cin) объекта модулю (482) вычисления разности весового коэффициента. В дополнение к этому, модуль (344) генерирования карты объекта предоставляет соответствующие информационные карты (Bnin), поступающие из модулей: от модуля (341) извлечения информации о яркости до модуля (45) извлечения информации о движении, модулю (483) вычисления разности весового коэффициента, и предоставляет соответствующие разностные изображения, поступающие из модулей: от модуля (341) извлечения информации о яркости до модуля (343) извлечения информации о контурах, модулю (484) вычисления разности весового коэффициента. Отметим, что в этом случае карта информации о лице и карта информации о движении, которые были сгенерированы в качестве информационных карт (Bnout), обрабатываются в качестве информационных карт (Bnin) и предоставляются модулю (483) вычисления разности весового коэффициента.
На этапе S257 модуль (481) генерирования карты оценки определяет разность между картой объекта, поступающей из модуля (344) генерирования карты объекта и ярлыками изображений из базы (303) данных ярлыков изображений для генерирования карты оценки. Иначе говоря, когда заданный пиксель на карте объекта рассматривается в качестве представляющего интерес пикселя, определяется разность между пиксельным значением для представляющего интерес пикселя и пиксельным значением для пикселя, расположенного на ярлыке изображения в том же месте, что и место расположения представляющего интерес пикселя, и эта разность рассматривается в качестве пиксельного значения для пикселя, расположенного на карте оценки в том же самом месте, что и место расположения представляющего интерес пикселя. Модуль (481) генерирования карты оценки предоставляет сгенерированную карту оценки модулю (482) вычисления разности весового коэффициента.
На этапе S258 модуль (485) обновления весовых коэффициентов обновляет весовой коэффициент (Wc) объекта. То есть модуль (482) вычисления разности весового коэффициента вычисляет описанные выше формулы (18) и (19), используя карту (EV) оценки, предоставляемую из модуля (481) генерирования карты оценки, и карту (Cin) объекта, поступающую из модуля (344) генерирования карты объекта, и определяет разность (ΔWc) весового коэффициента объекта.
Модуль (482) вычисления разности весового коэффициента предоставляет полученную в результате определения разность (ΔWc) весового коэффициента объекта модулю (485) обновления весовых коэффициентов и также предоставляет разность (ΔС) карты объекта, определенную путем вычисления формулы (19), модулю (483) вычисления разности весового коэффициента. Затем модуль (485) обновления весовых коэффициентов прибавляет разность (ΔWc) весового коэффициента объекта, поступившую из модуля (482) вычисления разности весового коэффициента к хранящемуся значению весового коэффициента (Wc) объекта для обновления весового коэффициента (Wc) объекта.
На этапе S259 модуль (485) обновления весовых коэффициентов обновляет весовой коэффициент (Wbn) информации. Иначе говоря, модуль (483) вычисления разности весового коэффициента вычисляет описанные выше формулы (20) и (21), используя разность (ΔС) карты объекта, предоставляемую из модуля (482) вычисления разности весового коэффициента, информационную карту (Bnin), предоставляемую из модуля (344) генерирования карты объекта, и обновленный весовой коэффициент (Wc) объекта, предоставляемый из модуля (485) обновления весовых коэффициентов, и определяет разность (ΔWbn) весового коэффициента информации. Эта разность (ΔWbn) весового коэффициента информации определяется для каждой информационной карты, то есть для каждой карты из карты информации о яркости, карты информации о цвете для разности "красное/зеленое", карты информации о цвете для разности "синее/желтое", карты информации о контурах в соответствующих направлениях, составляющих от 0 градусов до 135 градусов, карты информации о лице и карты информации о движении.
Модуль (483) вычисления разности весового коэффициента предоставляет полученную в результате определения разность (ΔWbn) весового коэффициента информации модулю (485) обновления весовых коэффициентов, и также предоставляет разность (ΔBn) информационной карты, определяемой путем вычисления формулы (21), модулю (484) вычисления разности весового коэффициента. Затем модуль (485) обновления весовых коэффициентов прибавляет разность (ΔWbn) весового коэффициента информации, поступившую из модуля (483) вычисления разности весового коэффициента, к хранящемуся значению весового коэффициента (Wbn) информации для обновления весового коэффициента (Wbn) информации.
Соответственно, соответствующие весовые коэффициенты (Wb) информации для карты информации о яркости, карты информации о цвете для разности "красное/зеленое", карты информации о цвете для разности "синее/желтое", карты информации о контурах в соответствующих направлениях, составляющих от 0 градусов до 135 градусов, карты информации о лице и карты информации о движении обновляются.
На этапе S260 модуль (485) обновления весовых коэффициентов обновляет весовой коэффициент (Wa) разности. Иначе говоря, модуль (484) вычисления разности весового коэффициента вычисляет формулы (22) и (23), описанные выше, используя разность (ΔBn) информационной карты, предоставляемой из модуля (483) вычисления разности весового коэффициента, разностное изображение An(m), предоставляемое из модуля (344) генерирования карты объекта, и обновленный весовой коэффициент (Wbn) информации, предоставляемый из модуля (485) обновления весовых коэффициентов, и определяет разность (ΔWan(m)) разностного весового коэффициента. Эта разность (ΔWan(m)) разностного весового коэффициента определяется для каждого разностного изображения в отношении соответствующих информационных карт. Например, как было описано выше, поскольку карта информации о яркости определяется, исходя из пяти изображений разности яркости, то разность (ΔWan(m)) разностного весового коэффициента разности определяется для каждого из этих пяти разностных изображений в отношении карты информации о яркости.
Модуль (484) вычисления разности весового коэффициента предоставляет полученную в результате определения разность (ΔWan(m)) модулю (485) обновления весовых коэффициентов, и модуль (485) обновления весовых коэффициентов прибавляет разность (ΔWan(m)), поступившую из модуля (484) вычисления разности весового коэффициента, к хранящемуся значению разностного весового коэффициента (Wan(m)) для обновления разностного весового коэффициента (Wan(m)).
При помощи вышеописанного процесса получают обновленные разностный весовой коэффициент (Wan(m)), весовой коэффициент (Wbn) информации и весовой коэффициент (Wc) объекта.
На этапе S261 модуль (312) вычисления весовых коэффициентов определяет, закончился ли процесс повторяющегося обновления разностного весового коэффициента (Wan(m)) разности, весового коэффициента (Wbn) информации и весового коэффициента (Wc) объекта. Например, в случае, когда абсолютное значение максимального значения из пиксельных значений для пикселей на карте оценки, которая была определена последней на этапе S257, меньше или равно заданному пороговому значению, и при котором обновление разностного весового коэффициента, весового коэффициента информации и весового коэффициента объекта было выполнено заданное число раз или более, принимается решение, что процесс закончен.
Иначе говоря, в случае, когда получена карта объекта, для которой объект извлекли из изображения с достаточной точностью, используя информационную карту, сгенерированную исходя из этого изображения, полученный в результате определения разностный весовой коэффициент Wan(m), весовой коэффициент (Wbn) информации и весовой коэффициента (Wc) объекта, принимается решение, что процесс закончен.
В случае, когда на этапе S261 определено, что процесс не закончен, модуль (485) обновления весовых коэффициентов снабжений предоставляет разностный весовой коэффициент Wan(m) модулям: от модуля (341) извлечения информации о яркости до модуля (343) извлечения информации о контурах, и предоставляет весовой коэффициент (Wbn) информации и весовой коэффициент (Wc) объекта модулю (344) генерирования карты объекта. После этого процесс возвращается на этап S251, и процесс, описанный выше, повторяется.
Отметим, что в ходе выполнения этапов S251-S255, которые выполняются неоднократно, используется то же изображение, что и использовавшееся ранее обучающее изображение, и генерируются отдельные информационные карты. Следовательно, в ходе выполнения этапов S251-S253, можно использовать использовавшееся ранее разностные изображение без изменений, и может быть сгенерирована информационная карта. В дополнение к этому, также в ходе выполнения этапов S254 и S255, использовавшаяся ранее информационная карта может без изменений рассматриваться в качестве сгенерированной информационной карты.
С другой стороны, в случае, когда на этапе S261 определено, что процесс закончен, то определен весовой коэффициент для получения карты объекта, для которой объект извлечен из изображения с достаточной точностью, и, следовательно, процесс переходит к этапу S262.
На этапе S262 модуль (485) обновления весовых коэффициентов выводит обновленный разностный весовой коэффициент Wan(m), весовой коэффициент (Wbn) информации и весовой коэффициент (Wc) объекта в качестве окончательных значений весовых коэффициентов, определенных посредством обучения, и процесс обучения завершается.
Таким образом, обучающееся устройство (301) выполняет процесс обучения, используя обучающее изображение, включающее в себя объект вообще, и генерирует весовой коэффициент, который используется для генерирования карты объекта. Следовательно, генерирование карты объекта с использованием весового коэффициента, получаемого посредством обучения, позволило бы, используя эту карту объекта, с более высокой надежностью обнаруживать на изображении объект вообще.
В дополнение к этому, в случае, когда для генерирования карты объекта из изображения используются информационная карта, полученная посредством извлечения информации об области, которая, согласно оценке, имеет большее количество объектов, чем другие области, и используется весовой коэффициент для генерирования карты объекта из изображения, весовой коэффициент генерируется посредством обучения на основе нейронной сети. Таким образом, весовой коэффициент может быть с легкостью получен.
Иначе говоря, структура, в которой информационная карта генерируется исходя из разностного изображения, и в которой карта объекта генерируется, исходя из информационной карты, является очень схожей с нейронно-сетевой моделью, и применение способа обучения, именуемого нейронной сетью, к определению весовых коэффициентов посредством обучения позволяет определять весовые коэффициенты при помощи простого процесса. В дополнение к этому, обучение на основе нейронной сети позволяет определять весовые коэффициенты для отдельных информационных карт и весовые коэффициенты для отдельных разностных изображений, используя параллельные процессы, и, таким образом, обеспечивает более быстрое генерирование весовых коэффициентов.
Отметим, что хотя было дано объяснение, в котором в обучающемся устройстве (301) в качестве окончательных значений весовых коэффициентов выводятся последний обновленный разностный весовой коэффициент Wan(m), весовой коэффициент (Wbn) информации и весовой коэффициент (Wc) объекта, в качестве окончательного значения весового коэффициента может быть выведен весовой коэффициент с самой высокой оценкой среди весовых коэффициентов, определенных при обновлении. В таком случае каждый раз при обновлении весового коэффициента этот весовой коэффициент и карта оценки, полученная с использованием этого весового коэффициента, записываются, и, после того, как весовой коэффициент обновлен заданное количество раз, из записанных весовых коэффициентов выводится весовой коэффициент с самым высоким значением оценки, которое определяется из абсолютных значений пиксельных значений для пикселей на картах оценки.
Обучающееся устройство (301), описанное выше, может быть включено в состав, например, устройства для ввода изображений или подобного ему устройства, выступая в качестве устройства, которое вместе с описанным выше устройством (11) обработки изображений образует систему оценки изображений.
В таком случае, система оценки изображений имеет структуру, показанную, например, на фиг.27. То есть система оценки изображений имеет структуру, содержащую устройство (11) обработки изображений, обучающееся устройство (301), базу (302) данных изображений, базу (303) данных ярлыков изображений, модуль (511) отображения и модуль (512) приема вводимых команд. Отметим, что на фиг.27 элементам, соответствующим элементам в случае, показанном на фиг.1 и 20, присвоены те же самые ссылочные позиции, и, соответственно, объяснения их опускаются.
В этой системе оценки изображений в качестве обучающего изображения рассматривается входное изображение, получаемое путем захвата изображения, или изображение, записанное ранее в базу (302) данных для изображений.
Например, в случае, когда в качестве обучающего изображения используется изображение, записанное в базе (302) данных изображений, обучающееся устройство (301) выполняет процесс обучения с использованием обучающего изображения, получаемого из базы (302) данных изображений, и ярлыка изображения, получаемого из базы (303) данных ярлыков изображений. Затем разностный весовой коэффициент Wan(m), весовой коэффициент (Wbn) информации и весовой коэффициент (Wc) объекта, которые были получены в ходе процесса обучения, предоставляются из обучающегося устройства (301) устройству (11) обработки изображений. Устройство (11) обработки изображений выполняет процесс оценки изображения, описанный со ссылкой на фиг.8, используя весовой коэффициент, предоставляемый из обучающегося устройства (301), и входного изображения, поступившего в него, и определяет и выводит оценку в баллах для входного изображения.
В противоположность этому, в случае, когда для выполнения обучения используется входное изображение, это входное изображение предоставляется модулю (511) отображения, устройству (11) обработки изображений и обучающемуся устройству (301). Модуль (511) отображения выполнен, например, из жидкокристаллического дисплея или тому подобного, и отображает поступившее в него входное изображение.
В дополнение к этому, на модуль (511) отображения наложен модуль (512) приема вводимых команд, выполненный, например, из сенсорной панели или тому подобного, и пользователь выполняет некоторое действие над модулем (512) приема вводимых команд для указания области, которая должна рассматриваться в качестве объекта на входном изображении, отображаемом на модуле (511) отображения. Модуль (512) приема вводимых команд генерирует в соответствии с действием пользователя ярлык изображения и предоставляет этот ярлык изображения обучающемуся устройству (301).
Например, модуль (512) приема вводимых команд устанавливает пиксельное значение для пикселя в области на изображении ярлыка, подлежащей генерированию с этого момента времени, которая совпадает с областью, указанной пользователем на входном изображении, равным "1", и устанавливает пиксельное значение для пикселя в остальной области, равным "0". Иначе говоря, пиксельное значение для пикселя в той же области на изображении ярлыка, что и область, которая не указана пользователем на входном изображении, устанавливается в "0".
Обучающееся устройство (301) рассматривает поступившее в него входное изображение в качестве обучающего изображения, и выполняет процесс обучения, используя это обучающее изображение и ярлык изображения, предоставляемый из модуля (512) приема вводимых команд, для генерирования разностного весового коэффициента Wan(m), весовой коэффициент (Wbn) информации и весовой коэффициент (Wc) объекта. Затем обучающееся устройство (301) предоставляет сгенерированный весовой коэффициент устройству (11) обработки изображений, и устройство (11) обработки изображений выполняет процесс оценки изображения, используя весовой коэффициент, поступивший из обучающегося устройства (301), и определяет и выводит оценку в баллах для входного изображения.
Следовательно, если такая система оценки изображений создана в устройстве ввода изображений, то устройство ввода изображений может на основе оценки в баллах, выводимой из устройства (11) обработки изображений, отображать оценку в баллах или тому подобное для входного изображения в отношении того, является ли введенное входное изображение самым лучшим снимком.
Отметим, что модуль (512) приема вводимых команд не ограничен сенсорной панелью и может иметь конструкцию, содержащую датчик или тому подобное, который использует инфракрасное излучение для определения направления линии взгляда пользователя, который смотрит через видоискатель. В таком случае входное изображение предоставляется модулю (512) приема вводимых команд, в качестве объекта принимается предмет, входящий в состав области, указанной на входном изображении с использованием направления линии взгляда, определенного датчиком, и генерируется ярлык изображения.
В дополнение к этому отметим, что последовательность процессов, описанных выше, может быть выполнена посредством аппаратного обеспечения или может также быть выполнена посредством программного обеспечения. В случае, при котором эта последовательность процессов выполняется посредством программного обеспечения, программа, составляющая программное обеспечение, устанавливается с носителя записи программы на компьютер, входящий в состав специализированного аппаратного обеспечения, или, например, универсальный персональный компьютер или тому подобное, способный к выполнению различных функций при установке на него различных программ.
Фиг.28 представляет собой блок-схему, иллюстрирующую приведенную в качестве примера аппаратную конфигурацию компьютера, который, используя программу, исполняет описанную выше последовательность процессов.
В этом компьютере ЦП (центральный процессор) (601), ПЗУ (постоянное запоминающее устройство) (602) и ОЗУ (оперативное запоминающее устройство) (603) соединены друг с другом посредством шины (604).
Кроме того, к шине (604) подсоединен интерфейс (605) ввода-вывода. К интерфейсу (605) ввода-вывода подсоединены: входное устройство (606), образованное клавиатурой, мышью, микрофоном и тому подобным, выходное устройство (607), образованное дисплеем, громкоговорителем и тому подобным, записывающее устройство (608), образованное жестким диском, энергонезависимым запоминающим устройством и тому подобным, устройство (609) связи, образованное сетевым интерфейсом и тому подобным, и привод (610), который приводит в действие съемный носитель (611) информации, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.
В компьютере, имеющем описанную выше конфигурацию, центральный процессор (601) загружает программу, записанную, например, в записывающем устройстве (608), в оперативное запоминающее устройство (603) через интерфейс (605) ввода-вывода и шину (604), и исполняет программу, выполняя, таким образом, последовательность процессов, описанных выше.
Программа, исполняемая компьютером (центральным процессором (601)), записана, например, на съемном носителе (611) информации, который представляет собой компактный носитель информации, образованный магнитным диском (включая гибкий диск), оптическим диском (таким как CD-ROM (постоянное запоминающее устройство на компакт-диске) или DVD (универсальный цифровой диск)), магнитооптическим диском, полупроводниковым запоминающим устройством или тому подобным, или предоставляется посредством проводной или беспроводной передающей среды, такой как локальная сеть, сеть Интернет или цифровое спутниковое вещание.
Затем съемный носитель (611) информации помещают в привод (610), позволяя тем самым установить программу в записывающее устройство (608) через интерфейс (605) ввода-вывода. В дополнение к этому программа может быть принята устройством (609) связи через проводную или беспроводную передающую среду, и может быть установлена в записывающее устройство (608). В качестве альтернативы, программа может быть установлена заранее в постоянное запоминающее устройство (602) или записывающее устройство(608).
Отметим, что программа, выполняемая компьютером, может представлять собой программу, в которой эти процессы выполняются последовательно во времени в порядке, объясненном в этом описании, или может представлять собой программу, в которой эти процессы выполняются параллельно или в требуемые моменты времени, как, например, когда их вызывают.
Отметим, что варианты реализации настоящего изобретения не должны ограничиваться вариантами реализации, описанными выше, и что можно внести разнообразные изменения, не выходя за рамки настоящего изобретения.
Список ссылочных позиций
11 - устройство обработки изображений, 41 - модуль извлечения информации о яркости, 42 - модуль извлечения информации о цвете, 43 - модуль извлечения информации о контурах, 44 - модуль извлечения информации о лице, 45 - модуль извлечения информации о движении, 46 - модуль генерирования карты объекта, 51 - модуль определения размытости, 54 - модуль вычисления оценки в баллах, 84 - модуль генерирования карты информации о яркости, 117 - модуль генерирования карты информации о цвете, 118 - модуль генерирования карты информации о цвете, 153-156 - модули генерирования карт информации о контурах, 182 - модуль генерирования карты информации о лице, 214 - модуль генерирования карты информации о движении, 241 - модуль генерирования карты контуров, 245 - модуль извлечения точек контура, 246 - модуль определения количества извлечений, 247 - модуль анализа контура, 248 - модуль определения степени размытости, 301 - обучающееся устройство, 311 - модуль извлечения объекта, 312 - модуль вычисления весовых коэффициентов.
Настоящее изобретение относится к устройству и способу обработки изображения. Техническим результатом является расширение функциональных возможностей за счет надежной оценки того, является ли оцениваемое изображение изображением, оцениваемым как приемлемое для рассмотрения пользователем, то есть изображением, на котором объект виден четко. Модуль (21) извлечения объекта использует входное изображение для генерирования карты объекта, представляющую область, включающую в себя объект на входном изображении, и предоставляет карту объекта модулю (22) определения. Модуль (22) определения использует входное изображение и карту объекта, поступившую из модуля (21) извлечения объекта, для определения степени размытости области объекта на входном изображении, и вычисляет на основе этой степени размытости оценку в баллах для входного изображения. Эта оценка в баллах рассматривается как показатель для оценки степени того, насколько четко виден объект на входном изображении. Настоящее изобретение может быть применено к устройству захвата изображений. 3 н. и 2 з.п. ф-лы. 28 ил.
1. Устройство обработки изображения, содержащее:
средство генерирования информационной карты, выполненное с возможностью извлечения значения признака области из входного изображения и генерирования информационной карты, представляющей указанное значение признака в каждой области входного изображения,
средство генерирования информации указания объекта, выполненное с возможностью генерирования информации указания объекта для указания объекта на входном изображении посредством выполнения взвешенного суммирования множества отличающихся друг от друга информационных карт, представляющих значение указанного признака, и
средство определения, выполненное с возможностью определения степени размытости объекта в области, включающей объект на входном изображении, с использованием информации указания объекта и входного изображения, причем указанная область используется в качестве целевой области обработки.
2. Устройство обработки изображения по п.1, в котором средство определения выполнено с возможностью определения контрастности контура в указанной области объекта, чтобы определить степень размытости объекта.
3. Устройство обработки изображения по п.2, в котором средство генерирования информационной карты выполнено с возможностью извлечения указанного значения признака из входного изображения и генерирования изображения признака, представляющего указанное значение признака в каждой области входного изображения с последующим генерированием множества изображений признака, имеющих разрешения, отличающиеся друг от друга, на основе указанного изображения признака и определения разности между множеством изображений признака, чтобы тем самым сгенерировать информационную карту.
4. Способ обработки изображения для устройства обработки изображения, содержащего:
средство генерирования информационной карты, выполненное с возможностью извлечения значения признака области объекта из входного изображения и генерирования информационной карты, представляющей указанное значение признака в каждой области входного изображения,
средство генерирования информации указания объекта, выполненное с возможностью генерирования информации указания объекта для указания объекта на входном изображении посредством выполнения взвешенного суммирования множества отличающихся друг от друга информационных карт, представляющих значение указанного признака, и
средство определения, выполненное с возможностью определения степени размытости объекта в области, включающей объект на входном изображении, с использованием информации указания объекта и входного изображения, причем указанная область используется в качестве целевой области обработки,
при этом способ содержит этапы, на которых:
с помощью средства генерирования информационной карты извлекают значение признака из входного изображения и генерируют информационную карту;
с помощью средства генерирования информации указания объекта генерируют информацию указания объекта и
с помощью средства определения определяют степень размытости объекта с использованием информации указания объекта и входного изображения.
5. Носитель информации, содержащий программу, вызывающую выполнение компьютером процесса, содержащего этапы, на которых:
извлекают значение признака области объекта из входного изображения и генерируют информационную карту, представляющую указанное значение признака в каждой области входного изображения;
генерируют информацию указания объекта для указания объекта на входном изображении посредством выполнения взвешенного суммирования множества отличающихся друг от друга информационных карт, представляющих значение указанного признака; и
определяют степень размытости объекта в области, включающей объект на входном изображении, с использованием информации указания объекта и входного изображения, причем указанная область используется в качестве целевой области обработки.
| Станок для изготовления деревянных ниточных катушек из цилиндрических, снабженных осевым отверстием, заготовок | 1923 |
|
SU2008A1 |
| Способ и приспособление для нагревания хлебопекарных камер | 1923 |
|
SU2003A1 |
| УСТРОЙСТВО ЗАПИСИ И ВОСПРОИЗВЕДЕНИЯ ИЗОБРАЖЕНИЯ, УСТРОЙСТВО СЪЕМА ИЗОБРАЖЕНИЯ И СПОСОБ КОРРЕКЦИИ ХРОМАТИЧЕСКОЙ АБЕРРАЦИИ | 2003 |
|
RU2321964C2 |
| ФОТОРЕГИСТРАТОР ДВИЖУЩЕЙСЯ МЕТКИ | 1998 |
|
RU2179304C2 |
