СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ И УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2014 года по МПК H04N5/232 

Область техники, к которой относится изобретение

Настоящее изобретение имеет отношение к процессу для получения порции данных изображения посредством суммирования и объединения нескольких порций данных изображения.

Уровень техники

Существует способ обработки изображений, в котором несколько изображений суммируются и объединяются для формирования одного изображения. Например, Выложенная Заявка на Патент Японии Номер 2003-46859 рассматривает способ тонального преобразования для сокращения надлежащим образом числа градаций объединенного изображения, в способе, в котором один и тот же объект отображается цифровой камерой несколько раз при разной величине экспозиции, и эти изображения объединяются для формирования объединенного изображения, обладающего большим динамическим диапазоном.

Там же рассматривается способ, в котором другой объект отображается несколько раз, и несколько изображений суммируются и объединяются для представления нескольких объектов в виде одного изображения. В этом случае имеется два способа: способ, в котором каждое из изображений отображается с надлежащей экспозицией и суммируется, и способ, в котором каждое из изображений отображается с экспозицией "1/(число формирований изображений)" и суммируется. При темном фоне, первый способ эффективен для обеспечения надлежащей яркости каждого объекта, тогда как второй способ является эффективным для обеспечения надлежащей экспозиции после процесса объединения, во время обычного захвата изображения.

Если объединяется несколько порций данных изображения, в которых захватываются разные объекты, и порции данных изображения получаются посредством обычного захвата изображения, которое не находится на темном фоне, контрастность объединенного изображения часто снижается, если оно получено путем лишь простого суммирования и объединения, описанных выше, и каждый объект в большинстве случаев может выглядеть прозрачным.

Список цитируемых материалов

Патентная литература

PTL 1: Выложенная Заявка на Патент Японии Номер 2003-46859

Сущность изобретения

Настоящее изобретение направлено на способ обработки изображений, который выполняет тональную коррекцию для получения объединенного изображения, обладающего подходящими яркостью и контрастностью, и на устройство обработки изображений, которое может исполнять этот способ.

Согласно одному из аспектов настоящего изобретения, способ обработки изображений для получения порции данных объединенного изображения посредством объединения нескольких порций данных изображения включает в себя этапы, на которых находят распределение яркости для каждой из этих нескольких порций данных изображения, вычисляют характеристическую величину каждого распределения яркости из упомянутого распределения яркости, и получают корректирующую величину для тональной коррекции, исполняемой по отношению к данным объединенного изображения, основываясь на полученной характеристической величине распределения яркости.

Дополнительные признаки и аспекты настоящего изобретения станут очевидными благодаря последующему подробному описанию иллюстративных вариантов осуществления со ссылкой на приложенные чертежи.

Краткое описание чертежей

Прилагаемые чертежи, которые включаются в описание изобретения и составляют его часть, поясняют иллюстративные варианты осуществления, признаки, а также аспекты настоящего изобретения и, наряду с описанием, служат для разъяснения принципов настоящего изобретения.

Фиг.1 является структурной схемой, иллюстрирующей цифровую камеру, которая может реализовывать устройство обработки изображений согласно настоящему изобретению.

Фиг.2 иллюстрирует блок-схему последовательности операций процесса нахождения характеристической величины.

Фиг.3 является концептуальным графическим представлением области получения яркости лица для найденного лица.

Фиг.4 является блок-схемой последовательности операций процесса вычисления величины тональной коррекции.

Фиг.5 является концептуальным графическим представлением величины тональной коррекции, когда лицо не найдено.

Фиг.6 является концептуальным графическим представлением величины тональной коррекции, когда лицо найдено.

Варианты осуществления изобретения

Ниже, со ссылкой на чертежи, будут подробно описаны различные иллюстративные варианты осуществления, признаки, а также аспекты настоящего изобретения.

Примеры

Фиг.1 является структурной схемой цифровой камеры, которая может реализовывать устройство обработки изображений согласно настоящему изобретению.

На Фиг.1, оптическое изображение объекта, которое проходит через фотообъектив (не показан), формируется на датчике 101 изображения (блоке ввода изображения), и преобразуется в заряды согласно своему количеству света.

Заряды, преобразованные фотоэлектрическим преобразующим элементом, выводятся на блок 102 аналого-цифрового (А/Ц) преобразования от датчика 101 изображения в виде электрического сигнала, и преобразуются в цифровой сигнал (данные изображения) посредством процесса А/Ц преобразования. Цифровой сигнал, выводящийся от блока 102 А/Ц преобразования, обрабатывается на центральном процессорном устройстве (ЦПУ) 100. Далее цифровой сигнал передается на блок 111 вывода данных изображения для воспроизведения. Процесс для ЦПУ 100 хранится в запоминающем устройстве (не показано) в виде программы, и исполняется на ЦПУ 100. Программа, которая будет выполняться, может быть извне записана на носителе записи или тому подобном. Описываемый ниже процесс исполняется на ЦПУ 100.

Цифровой сигнал, выводящийся от блока 102 А/Ц преобразования, передается на блок 103 нахождения баланса белого (ББ), блок 104 нахождения характеристической величины (блок нахождения распределения яркости, блок вычисления характеристической величины) и блок 105 обработки ББ соответственно. Блок 103 нахождения ББ выполняет нахождения ББ. В ходе упомянутого процесса, рассчитывается усиление баланса белого, подходящее для захваченного изображения, исходя из данных захваченного изображения. Усиление баланса белого может вычисляться традиционным способом. В блоке 105 обработки ББ, усиление баланса белого, полученного блоком 103 нахождения ББ, вносится в каждое значение "красный-зеленый-синий" (RGB - red-green-blue) элемента изображения данного изображения. Изображение, в которое вносится усиление баланса белого, временно сохраняется в запоминающем устройстве 106 для хранения изображений.

Данные изображения и характеристическая величина изображения записываются, соответственно, в запоминающее устройство 106 для хранения изображений и в запоминающее устройство 107 для каждого из некоторого числа формирований изображений. После того, как получено предварительно заданное количество порций данных изображения, блок 108 объединения данных изображения суммирует и объединяет порции данных изображения, записанные в запоминающем устройстве 106 для хранения изображений.

Блок 109 вычисления корректирующей величины (блок получения корректирующей величины) вычисляет величину тональной коррекции, основываясь на данных характеристической величины каждого изображения, сохраненного в запоминающем устройстве 107, и на данных характеристической величины объединенного изображения. Способ вычисления величины тональной коррекции будет описан ниже. Блок 110 обработки визуализации выполняет тональную коррекцию по отношению к данным объединенного изображения, используя величину тональной коррекции, передаваемую от блока 109 вычисления корректирующей величины, а затем скорректированные данные объединенного изображения передаются на блок 111 вывода данных изображения.

В настоящем иллюстративном варианте осуществления, величина тональной коррекции вычисляется на основании данных характеристической величины каждого изображения, записанного в запоминающем устройстве 107, и данных характеристической величины объединенного изображения. Впрочем, величина тональной коррекции может вычисляться из табличных данных с использованием характеристической величины каждого изображения, и информация о величине тональной коррекции может быть получена.

Фиг.2 является блок-схемой последовательности операций, иллюстрирующей процесс нахождения характеристической величины, выполняемый по отношению к данным каждого изображения в блоке 104 нахождения характеристической величины.

На этапе S201 на Фиг.2, находится гистограмма. На этапе S201, усиление ББ, вычисленное блоком 103 нахождения ББ, применяется ко всем порциям данных захваченного изображения, чтобы найти гистограмму, по отношению к которой выполняется процесс гамма-коррекции, как распределение яркости. Процесс гамма-коррекции может быть традиционной обработкой с использованием справочной таблицы. Диапазон, в котором находится гистограмма, может быть областью, в которой конец данных изображения вырезан.

На этапе S202, находится характеристическая величина гистограммы. В настоящем иллюстративном варианте осуществления, из гистограммы получаются значение (SD), с которым сочетается элемент изображения, имеющий накопленную частоту в 1% от темной (теневой) зоны, и значение (HL), с которым сочетается элемент изображения, имеющий накопленную частоту в 1% от яркой (освещенной) зоны.

На этапе S203, выполняется предварительная обработка поиска лица. В ходе упомянутого процесса, на входном изображении выполняется процесс сжатия или процесс гамма-коррекции, чтобы облегчить поиск лица, имеющегося на изображении.

На этапе S204, исполняется поиск лица для нахождения области лица на изображении. Не существует никаких особых ограничений на способ для поиска лица. Произвольно выбранный и традиционный способ может применяться к поиску лица. Традиционная технология поиска лица включает в себя способ, основанный на обучении, задействующий нейтральную сеть, и способ, в котором на изображении выявляется участок, имеющий характерную форму, к примеру, глаз, нос и рот, используя сравнение с шаблоном, и изображение считается лицом, если степень сходства велика. Дополнительно, рассматривались разнообразные способы, в том числе способ, в котором находится характеристическая величина изображения, такая, как цвет кожи или форма глаза, чтобы находить лицо, используя статистический анализ. Некоторые из этих способов могут комбинироваться для повышения точности поиска лица. В настоящем иллюстративном варианте осуществления, выделяется высокочастотная составляющая в изображении для получения размера лица, а расположение глаз сравнивается с шаблоном, который подготовлен заранее, и таким образом находится лицо.

На этапе S205, определяется, найдена ли в результате поиска лица на этапе S204 область (область лица), которая с высокой достоверностью является лицом. При нахождении одной или более областей лица (ДА на этапе S205) процесс переходит к этапу S206. Если нет области лица (НЕТ на этапе S205), процесс для нахождения характеристической величины заканчивается.

На этапе S206, вычисляется область получения яркости лица. Область получения яркости лица задается на части области лица. Например, области получения яркости лица задаются на трех участках, таких, как участки под обоими глазами, и участок на середине расстояния между глазами, как проиллюстрировано на Фиг.3, и размер каждой области вычисляется в соответствии с размером найденного лица. В настоящем иллюстративном варианте осуществления, область является квадратной. Фиг.3 включает в себя пространство данных 301 изображения, область 302 лица, и области 303, 304 и 305 получения яркости лица.

На этапе S207, получается среднее для значений каждого из элемента R изображения, элемента G изображения, элемента B изображения во входном изображении для каждой области получения яркости лица, и полученное значение преобразуется в значение Y яркости (освещенности) согласно формуле 1:

Y = 0,299∗R + 0,587∗G + 0,114∗B (Формула 1).

Для преобразования может применяться приближение, описываемое формулой 2:

Y = (3∗R + 6∗G + B)/10 (Формула 2).

На этапе S208 вычисляется репрезентативное значение яркости лица. Например, получается максимальное значение из значений яркости на трех участках каждого лица, и вычисляется среднее значение для значений яркости всех лиц.

Характеристическая величина изображения, найденная как описано выше, временно сохраняется в запоминающем устройстве 107, изображенном на Фиг.1.

Далее, со ссылкой на блок-схему последовательности операций на Фиг.4, будет описан порядок выполнения вычисления величины тональной коррекции в блоке 109 вычисления корректирующей величины.

На этапе S401, определяется, имеется ли изображение, в котором среди накопленных изображений найдена область лица. Если изображение, в котором найдена область лица, присутствует (ДА на этапе S401), процесс переходит к этапу S402, а если нет (НЕТ на этапе S401), процесс переходит к этапу S403.

На этапе S402, находится яркость области, соответствующей области лица объединенного изображения. Яркость находится путем нахождения значения яркости соответствующей области. Способ вычисления значения яркости может быть тем же, что и способ вычисления значения яркости каждого захваченного изображения, описанный выше.

На этапе S403 вычисляется характеристическая величина гистограммы объединенного изображения. Способ вычисления может быть тем же, что и способ вычисления характеристической величины гистограммы каждого захваченного изображения. В настоящем иллюстративном варианте осуществления, вычисляются HL и SD объединенного изображения.

На этапе S404 вычисляется искомое значение HL. В настоящем иллюстративном варианте осуществления, наибольшее значение HL каждого из захваченных изображений определяется как искомое значение.

На этапе S405 вычисляется искомое значение SD. В настоящем иллюстративном варианте осуществления наименьшее значение SD каждого из захваченных изображений определяется как искомое значение. Искомые значения HL и SD не ограничиваются значениями, удовлетворяющими условию, используемому в настоящем иллюстративном варианте осуществления, а могут быть изменены надлежащим образом. Например, распределение яркости данных изображения, имеющих наивысшую контрастность среди нескольких захваченных изображений, может определяться как искомое значение, или может вычисляться среднее значение HL и среднее значение SD соответствующих захваченных изображений, чтобы определяться как искомое значение.

На этапе S406 вычисляется корректирующая величина объединенного изображения. Если нет изображения, в котором найдена область лица, значения яркости, соответствующие SD и HL объединенного изображения, приближаются к искомым значениям SD и HL, вычисленным на этапах 404 и 405. SD и HL могут корректироваться до точного искомого значения. Однако может иметь место случай, когда контрастность является слишком большой, так что яркость корректируется, чтобы составлять половинные яркости SD и HL объединенного изображения и искомых SD и HL в настоящем иллюстративном варианте осуществления. Создается справочная таблица соответствия выходного значения яркости и входного значения яркости по соответствующим точкам SD и HL и минимальному значению и максимальному значению яркости изображения согласно сплайновой интерполяции.

Фиг.5 иллюстрирует один пример тональной кривой, полученной в результате вышеописанного процесса. SDin и HLin на Фиг.5 соответствуют SD и HL объединенного изображения, тогда как SDout и HLout соответствуют выходным значениям согласно тональной коррекции яркости.

Если есть изображение, в котором найдена область лица, коррекция производится таким образом, чтобы значение яркости области, соответствующей области лица объединенного изображения, становилось близким предпочтительному значению яркости для лица. А именно, корректирующая величина для репрезентативного значения яркости в области лица перед процессом объединения подготавливается в виде справочной таблицы. В этом случае, поправка вносится таким образом, что коррекция в отношении SD и HL ослабляется больше, чем коррекция в том случае, когда отсутствует изображение, в котором найдена область лица, вместе с корректирующей величиной яркости лица, чтобы эта коррекция не становилась неестественной с учетом корректирующей величины SD и HL. Затем создается справочная таблица соответствия выходного значения яркости и входного значения яркости при помощи сплайновой интерполяции по соответствующим точкам SD, HL, а также яркости лица и минимальному значению и максимальному значению яркости изображения.

Фиг.6 иллюстрирует один пример тональной кривой, полученной в результате вышеописанного процесса. FACEin на Фиг.6 обозначает репрезентативное значение яркости в области лица после процесса объединения, а FACEout обозначает соответствующее выходное значение яркости.

Согласно иллюстративному варианту осуществления настоящего изобретения, когда захватывается и объединяется несколько изображений объекта, может исполняться тональная коррекция для формирования объединенного изображения, имеющего надлежащие яркость и контрастность.

В настоящем иллюстративном варианте осуществления, значения яркости на темном участке и ярком участке каждого изображения находятся и используются в качестве данных для получения величины тональной коррекции объединенного изображения. Впрочем, тональная коррекция может исполняться в соответствии с долей элементов изображения, которые ярче, чем значение HLth яркости, и долей элементов изображения, которые темнее, чем значение SDth яркости в гистограмме яркости каждого найденного изображения. Предполагая, что значение яркости занимает от 0 до 255 младших значащих битов (МЗБ), HLth определяется как 240 МЗБ, а SDth определяется как 15 МЗБ, например. Как описано выше, настоящее изобретение применимо к процессу, в котором вычисляется величина тональной коррекции по отношению к объединенному изображению, используя распределение гистограммы яркости каждого из изображений, которые будут объединяться.

В настоящем иллюстративном варианте осуществления, гистограмма яркости каждого из изображений, которые будут объединяться, используется в качестве исходных данных для вычисления величины тональной коррекции по отношению к объединенному изображению. Однако, гистограмма G каждого изображения, например, может использоваться в качестве информации, соответствующей информации о яркости. В этом случае, данные G могут быть получены из порций данных R, G и B, которые являются выходными данными от блока 102 А/Ц преобразования, и соответствующая характеристическая величина может быть вычислена в блоке 104 нахождения характеристической величины.

В настоящем иллюстративном варианте осуществления, вносится усиление баланса белого для каждого из захваченных изображений, а затем эти порции данных изображения объединяются. Однако, после объединения порций данных изображения, может вноситься репрезентативное усиление баланса белого.

В настоящем иллюстративном варианте осуществления, характеристическая величина гистограммы находится из данных объединенного изображения. Однако, характеристическая величина гистограммы объединенного изображения может вычисляться из нескольких порций данных захваченного изображения до процесса объединения.

В настоящем иллюстративном варианте осуществления, цикл процесса объединения изображения исполняется при помощи ЦПУ 100. Впрочем, часть процесса может исполняться аппаратными средствами, такими, как электрическая схема.

В настоящем иллюстративном варианте осуществления, цифровая камера показана в качестве одного примера устройства обработки изображений, и данные изображения, поступающие от датчика 101 изображения, который извне принимает световой поток и преобразует упомянутый световой поток в сигнал изображения, используются в качестве данных изображения. С другой стороны, в качестве данных изображения могут использоваться данные изображения, поступающие от блока считывания изображения, который считывает изображение при помощи сканирующей оптической системы, или данных изображения, поступающие от блока сопряжения, который получает принятые извне данные изображения и вводит данные изображения в устройство. Конкретнее, примеры возможного устройства обработки изображений включают в себя камеру или видеокамеру, на которых установлен датчик изображений, печатающее устройство, сканирующее устройство или копировальная машина, на которых установлен блок считывания изображения, и компьютер, на котором установлен блок сопряжения, который вводит данные изображения, полученные с внешних носителей записи.

Дополнительно, задача настоящего изобретения может быть решена таким образом, что носитель данных, на который записывается программный код программного обеспечения для реализации функций иллюстративного варианта осуществления, поставляется в комплекте к системе или устройству, и компьютер (ЦПУ, микропроцессорный блок, или тому подобное) в системе или устройстве считывает программный код, сохраненный на носителе данных, и исполняет этот программный код.

В этом случае сам программный код, считываемый с носителя данных, реализует новую функцию настоящего изобретения, и носитель данных, хранящий программный код, а также программа, составляют настоящее изобретение. Примеры носителя данных для поставки программного кода включают в себя гибкий диск, жесткий диск, оптический диск, магнитный оптический диск, компакт-диск, предназначенный только для чтения (CD-ROM), компакт-диск одноразовой записи (CD-R), перезаписываемый компакт-диск (CD-RW), цифровой универсальный диск, предназначенный только для чтения (DVD-ROM), цифровой универсальный диск, перезаписываемый методом фазового перехода (DVD-RAM), перезаписываемый цифровой универсальный диск (DVD-RW), цифровой универсальный диск одноразовой записи (DVD-R), магнитную ленту, энергонезависимую плату запоминающего устройства, ПЗУ, и тому подобное.

Настоящее изобретение охватывает не только случай, когда функции иллюстративного варианта осуществления реализуются посредством выполнения считываемого компьютером программного кода, но также и случай, когда операционная система (ОС) работающая на компьютере, частично или полностью исполняет процесс на основе инструкций из программного кода, и функции иллюстративного варианта осуществления реализуются при помощи процесса, описанного выше.

Дополнительно, настоящее изобретение также охватывает случай, когда программный код, считываемый с носителя данных, записывается в запоминающее устройство, предусмотренное на плате функционального расширения, вставляемой в компьютер, или в запоминающее устройство, предусмотренное в блоке функционального расширения, подключенном к компьютеру, а затем ЦПУ или что-то подобное, предусмотренное на плате функционального расширения или в блоке функционального расширения, частично или полностью исполняет процесс на основе инструкций из программного кода, и функции иллюстративного варианта осуществления реализуются при помощи процесса, описанного выше.

Хотя настоящее изобретение и было описано со ссылкой на иллюстративные варианты осуществления, нужно понимать, что настоящее изобретение не ограничивается раскрытыми иллюстративными вариантами осуществления. Объем нижеследующей формулы изобретения должен получить расширительное толкование, чтобы охватить все модификации, эквивалентные структуры и функции.

Настоящая заявка претендует на приоритет по отношению к Выложенной Заявке на Патент Японии Номер 2003-46859, поданной 7 мая 2009 года, которая тем самым включается в настоящую заявку путем ссылки во всей полноте.

Изобретение относится к средствам обработки изображений. Техническим результатом является выполнение тональной коррекции для получения объединенного изображения, обладающего подходящими яркостью и контрастностью. Результат достигается тем, что находят распределение яркости для каждой из нескольких порций данных изображения, вычисляют характеристическую величину каждого распределения яркости из упомянутого распределения яркости и получают корректирующую величину для тональной коррекции, исполняемой по отношению к данным объединенного изображения, основываясь на полученной характеристической величине распределения яркости. 3 н. и 7 з.п. ф-лы, 6 ил.

1. Способ обработки изображений для получения порции данных объединенного изображения посредством объединения, включающего в себя суммирование, нескольких порций данных изображения, при этом способ содержит этапы, на которых:
находят распределение яркости для каждой из нескольких порций данных изображения;
вычисляют характеристическую величину каждого распределения яркости из упомянутого распределения яркости; и
получают корректирующую величину для тональной коррекции, исполняемой по отношению к данным объединенного изображения, основываясь на полученной характеристической величине распределения яркости.

2. Способ по п.1, который дополнительно содержит этапы, на которых: находят область, в которой присутствует лицо для каждой из нескольких порций данных изображения;
вычисляют характеристическую величину области лица, найденной в нескольких порциях данных изображения, и характеристическую величину области, соответствующей области лица, найденной в порции данных объединенного изображения; и
получают величину тональной коррекции области, соответствующей области лица в данных объединенного изображения, основываясь на характеристической величине области лица в нескольких порциях данных изображения.

3. Способ по п.1, в котором искомое значение характеристической величины распределения яркости данных объединенного изображения вычисляется из характеристических величин распределения яркости нескольких порций данных изображения, а величина тональной коррекции вычисляется на основании этого искомого значения.

4. Способ по п.3, в котором искомым значением является характеристическая величина распределения яркости данных изображения, которые имеют наивысшую контрастность среди нескольких порций данных изображения.

5. Способ по п.3, в котором искомым значением является среднее значение характеристических величин распределения яркости нескольких порций данных изображения.

6. Способ по п.3, в котором искомым значением является характеристическая величина распределения яркости данных изображения, которые имеют наибольшее значение среди значений освещенности нескольких порций данных изображения.

7. Способ по п.3, в котором искомым значением является характеристическая величина распределения яркости данных изображения, которые имеют наименьшее значение среди значений затенения нескольких порций данных изображения.

8. Устройство обработки изображений, которое получает порцию данных объединенного изображения посредством объединения, включающего в себя суммирование, нескольких порций данных изображения, полученных от блока ввода изображения, при этом устройство содержит:
блок нахождения распределения яркости, выполненный с возможностью нахождения распределения яркости для каждой из нескольких порций данных изображения;
блок вычисления характеристической величины, выполненный с возможностью вычисления характеристической величины каждого распределения яркости из упомянутого распределения яркости; и
блок получения корректирующей величины, выполненный с возможностью получения величины тональной коррекции, используемой для тональной коррекции, исполняемой по отношению к данным объединенного изображения, основываясь на характеристических величинах распределения яркости, полученных в блоке вычисления характеристической величины.

9. Устройство обработки изображений по п.8, в котором блок ввода изображения включает в себя датчик изображений, который извне принимает световой поток и преобразует упомянутый световой поток в сигнал изображения, блок считывания изображения, который считывает изображение при помощи сканирующей оптической системы, или блок сопряжения, который получает извне данные изображения и вводит их в устройство.

10. Носитель данных, который хранит программу для предписания компьютеру исполнять способ обработки изображений для получения порции данных объединенного изображения посредством объединения, включающего в себя суммирование, нескольких порций данных изображения, при этом программа содержит:
нахождение распределения яркости для каждой из нескольких порций данных изображения;
вычисление характеристической величины каждого распределения яркости из упомянутого распределения яркости; и
получение корректирующей величины для тональной коррекции, исполняемой по отношению к данным объединенного изображения, основываясь на полученной характеристической величине распределения яркости.