УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2014 года по МПК H04N9/07 

Область техники, к которой относится изобретение

Изобретение относится к обработке изображений, выполняемой для подавления генерации сигнала наложения помех, генерируемого в сигналах изображений.

Предшествующий уровень техники

Элементы захвата изображения, такие как ПЗС-датчики (прибор с зарядовой связью) и КМОП-датчики (комплементарная структура металл-оксид-полупроводник), включают в себя различные типы цветных фильтров. Типичный пример такого цветного фильтра включает в себя цветной фильтр, имеющий комбинацию основных цветов (красного, зеленого и синего) или дополнительных цветов (голубого, малинового и желтого).

Фиг.13 является диаграммой, иллюстрирующей структуру Байера для основных цветов элемента захвата изображения. В матрице, включающей в себя четыре пиксела, пиксел, соответствующий красному (R), и пиксел, соответствующий синему (B), расположены по диагонали, а пикселы, соответствующие зеленому (G1 и G2), расположены в оставшихся двух пикселах. Этот шаблон структуры повторяется.

Если объект включает в себя высокочастотную компоненту, которая превышает разрешающую способность элемента захвата изображения, то в сигнале изображения генерируется сигнал наложения помех, генерируемый элементом захвата изображения вследствие влияния высокочастотной компоненты. По той причине были предложены различные способы подавления генерации сигнала наложения помех.

Например для подавления генерации сигнала наложения помех был предложен способ генерирования сигнала яркости с использованием исключительно сигналов, соответствующих пикселам G (G1 и G2), без использования сигналов, соответствующих пикселам R и B в структуре Байера для основных цветов, изображенной на фиг.13.

Во-первых, среди сигналов, соответствующих пикселам R, G и B, полученных посредством оцифровки сигналов, выводимых из структуры Байера для основных цветов элемента захвата изображения, значения сигналов, отличные от сигналов, соответствующих пикселам G, устанавливают на 0. Затем выполняют обработку вертикальным фильтром нижних частот (V-LPF) для ограничения полосы частот в вертикальном направлении и выполняют обработку горизонтальным фильтром нижних частот (H-LPF) для ограничения полосы частот в горизонтальном направлении. Посредством этого в пикселах генерируют сигналы, которые были компенсированы для использования сигналов, соответствующих пикселам G, и получают сигнал яркости, соответствующий пикселам G. В дальнейшем в этом документе сигнал, полученный при помощи этого способа, называется "первым сигналом яркости".

Альтернативно значения сигналов, отличных от сигналов, соответствующих пикселам R, могут быть установлены на 0, а также могут быть выполнены обработка V-LPF и обработка H-LPF для генерирования сигнала яркости, соответствующего пикселам R. Кроме того, значения сигналов, отличные от сигналов, соответствующих пикселам B, могут быть установлены на 0, а также могут быть выполнены обработка V-LPF и обработка H-LPF для генерирования сигнала яркости, соответствующего пикселам B. Затем сигнал яркости R и сигнал яркости B могут быть добавлены к сигналу яркости G, а результирующий сигнал может быть определен как первый сигнал яркости.

Кроме того, для подавления генерации сигнала наложения помех был предложен способ генерирования сигнала яркости с использованием всех цветовых сигналов, включенных в структуру Байера для основных цветов, изображенную на фиг.13.

Обработку V-LPF, которая ограничивает полосу частот в вертикальном направлении, и обработку H-LPF, которая ограничивает полосу частот в горизонтальном направлении, выполняют с использованием сигналов, соответствующих пикселам всех цветов, то есть сигналов, соответствующих пикселам R, G и B, полученных посредством оцифровки сигналов, выводимых из элемента захвата изображения, имеющего структуру Байера для основных цветов, в то время как цвета сигналов не отличают друг от друга. Таким образом, сигнал получают заново. В дальнейшем в этом документе сигнал, полученный при помощи этого способа, будет называться "вторым сигналом яркости".

Фиг.14 является диаграммой, иллюстрирующей характеристики пространственной частоты, на которые могут быть разложены первый и второй сигналы яркости.

Ось x представляет разнос частот в горизонтальном (H) направлении, а ось y представляет разнос частот в вертикальном (V) направлении. Чем дальше положение от исходной частоты, тем выше пространственная частота.

Предел разрешения первого сигнала яркости, генерируемого только с использованием сигналов, соответствующих пикселам G в горизонтальном и вертикальном направлениях, равен частоте Найквиста (π/2) структуры пикселов G. Однако, поскольку в диагональном направлении существуют линии, которые не включают в себя пиксел G, предельное частотное разрешение в диагональном направлении ниже, чем в горизонтальном и вертикальном направлениях. Соответственно, область 1501 в форме ромба, изображенная на фиг.14, соответствует пространственной частоте с доступным разрешением.

Это верно для случая, в котором первый сигнал яркости генерируется посредством синтезирования сигналов яркости R, G и B, поскольку сигнал яркости G, сгенерированный исключительно с использованием сигналов, соответствующих пикселам G, имеет самое высокое разрешение из сигналов яркости R, G и B.

С другой стороны, поскольку второй сигнал яркости сгенерирован с использованием сигналов, соответствующих пикселам всех цветов, если объект является одноцветным, то квадратная область 1502, изображенная на фиг.14, соответствует пространственной частоте с доступным разрешением. В отличие от первого сигнала яркости, поскольку все линии имеют цветные пикселы также и в диагональном направлении, пространственная частота с доступным разрешением в диагональном направлении выше, чем из первого сигнала яркости. Однако если объект считан, то, например, сигналы, выведенные из пикселов, отличных от пикселов R, являются незначительными и, следовательно, получают разрешение исключительно в области 1503, которая является четвертой частью разрешения, полученного в случае одноцветного объекта.

Для подавления генерации сигнала наложения помех, включенного в состав сигнала изображения, был предложен способ генерирования сигнала яркости, учитывающего характеристики таких первого и второго сигналов яркости.

Например, был предложен способ генерирования сигнала яркости посредством изменения коэффициента смешения первого сигнала яркости со вторым сигналом яркости в зависимости от определения того, является ли объект черно-белым объектом или цветным объектом (см. патентную литературу 1).

Кроме того, был предложен способ генерирования сигнала яркости посредством изменения коэффициента смешения первого сигнала яркости со вторым сигналом яркости в зависимости от определения того, имеет ли объект высокую корреляцию в диагональном направлении, как показано на фиг.14 (см. патентную литературу 2).

Однако, несмотря на то, что эти способы имеют преимущества в отношении подавления генерации сигнала наложения помех, другие шумовые сигналы не подавляются.

Например, в последние годы пикселы элементов захвата изображения были миниатюризированы. Следовательно, в некоторых случаях, по причине миниатюризированных пикселов, шум увеличивается. Несмотря на то, что были предложены различные способы подавления генерации шумов посредством выполнения обработки сигнала, широко известен тот факт, что подавление генерации шумов вызывает потерю четкости изображений.

Для устранения этой проблемы был известен способ подавления генерации шумов посредством разделения сигнала изображения на множество частотных компонент (см. патентную литературу 3). Кроме того, известен способ генерирования сигнала изображения уменьшенного размера и синтезирования сигнала изображения уменьшенного размера и исходного сигнала друг с другом таким образом, чтобы подавлять генерирование шумов (смотри патентную литературу 4).

Например, обработка по уменьшению размера выполняется на входном сигнале изображения так, чтобы было сгенерировано уменьшенное изображение, включающее в себя частотные компоненты более низкие, чем у входного изображения. Затем измеряется краевая интенсивность уменьшенного сигнала изображения, имеющего низкочастотные компоненты, и область, которую должен занимать краевой компонент, получают в соответствии с краевой интенсивностью. После этого исходный сигнал изображения и уменьшенный сигнал изображения, имеющий низкочастотные компоненты, синтезируются друг с другом, в то время как к областям применяются различные веса для того, чтобы изображение, включенное в состав области, которую должен занимать краевой компонент, не потеряло четкость, посредством чего генерируется другой сигнал изображения.

Список библиографических ссылок

Патентная литература

PTL 1: Японская патентная публикация номер 2003-348609.

PTL 2: Японская патентная публикация номер 2008-072377.

PTL 3: Японская патентная публикация номер 2008-015741.

PTL 4: Японская патентная публикация номер 2009-199104.

Сущность изобретения

Техническая проблема

Однако в этом способе подавления генерации шумов посредством синтезирования сигналов изображения, имеющих множество полос частот, не учитывается сигнал наложения помех.

Если используется одноплатный датчик, такой как структура Байера для основных цветов, то каждый пиксел имеет все цветовые сигналы без выполнения компенсации посредством обработки по понижению дискретизации во время разделения полосы.

Причина этого описана ниже. В данном документе будет описан случай, в котором обработка по понижению дискретизации выполняется на половине пикселов в горизонтальном направлении.

Предполагается, что цветные фильтры R, G, R, G, и так далее, расположены в этом порядке в некотором ряду. В этом ряду, если сфокусироваться только на сигналах R, то сигналы R, которые были расположены в любом другом пикселе, располагаются в каждом пикселе в течение обработки по понижению дискретизации. Также, кроме того, если сфокусироваться только на сигналах G, то сигналы G, которые были расположены в любом другом пикселе, располагаются в каждом пикселе в течение обработки по понижению дискретизации. Отметим, что при выполнении обработки по понижению дискретизации на сигналах G значения получаются посредством вычисления средних значений с использованием значений смежных пикселов для того, чтобы нижние положения сигналов G соответствовали нижним положениям сигналов R. Как было описано выше, посредством выполнения обработки по понижению дискретизации, все цветовые сигналы R, G и B генерируются в тех же самых положениях пикселов без компенсации. В дальнейшем в данном документе этот процесс генерирования множества типов сигналов в одних и тех же положениях пикселов называется "синхронизацией".

Поскольку сигналы изображения, которые были подвергнуты обработке по понижению дискретизации, подвергаются синхронизации, исходный сигнал изображения должен быть подвергнут синхронизации для синтезирования исходного сигнала изображения с сигналом изображения, который был подвергнут обработке по понижению дискретизации. Однако, независимо от выполнения обработки по понижению дискретизации для подавления генерации шумов, если исходный сигнал изображения подвергается синхронизации, то сигнал наложения помех, включенный в состав исходного сигнала изображения, может быть наложен на синтезированный сигнал изображения.

Настоящее изобретение было выполнено с учетом вышеизложенной проблемы, и целью настоящего изобретения является обеспечение устройства обработки изображений, которое выполняет обработку шумов посредством разделения входного сигнала на множество полос частот и которое способно на подавление генерации сигнала наложения помех, включенного в состав сигнала изображения, который генерируется посредством дискретизации, выполняемой элементом захвата изображения.

Решение проблемы

Для устранения вышеупомянутых проблем настоящее изобретение, в соответствии с п.1 формулы изобретения настоящей заявки, обеспечивает устройство обработки изображений, включающее в себя: средство генерирования для приема сигнала изображения и генерирования множества сигналов изображения на других полосах частот из сигнала изображения; средство синтезирования для синтезирования друг с другом множества сигналов изображения, сгенерированных средством генерирования; средство генерирования первого сигнала яркости для приема сигнала изображения, включающего в себя множество цветовых сигналов, включающих в себя первый цветовой сигнал, и генерирования первого сигнала яркости с использованием сигналов изображения, полученных посредством компенсации пикселов, которые не соответствуют первому цветовому сигналу, посредством первого цветового сигнала; средство генерирования второго сигнала яркости для приема сигнала изображения, включающего в себя множество цветовых сигналов, включающих в себя первый цветовой сигнал, и генерирования второго сигнала яркости с использованием множества цветовых сигналов без различения множества цветовых сигналов друг от друга; и средство смешения яркости для генерирования сигнала яркости посредством синтезирования первого и второго сигналов яркости друг с другом или посредством выбора одного из первого и второго сигналов яркости. Сигнал изображения, из множества сигналов изображения, которые должны быть синтезированы друг с другом средством синтезирования, который имеет самую высокую полосу частот, включает в себя сигнал яркости, сгенерированный средством смешения яркости.

Подобным образом, для устранения вышеупомянутых проблем, настоящее изобретение, в соответствии с п. 7 формулы изобретения настоящей заявки, обеспечивает способ обработки изображений, включающий в себя: этап генерирования для приема сигнала изображения и генерирования множества сигналов изображения на других полосах частот из сигнала изображения; этап синтезирования для синтезирования друг с другом множества сигналов изображения, сгенерированных на этапе генерирования; этап генерирования первого сигнала яркости для приема сигнала изображения, включающего в себя множество цветовых сигналов, включающих в себя первый цветовой сигнал, и для генерирования первого сигнала яркости с использованием сигналов изображения, полученных посредством компенсации пикселов, которые не соответствуют первому цветовому сигналу, посредством первого цветового сигнала; этап генерирования второго сигнала яркости для приема сигнала изображения, включающего в себя множество цветовых сигналов, включающих в себя первый цветовой сигнал, и для генерирования второго сигнала яркости с использованием множества цветовых сигналов без различения друг от друга множества цветовых сигналов; и этап смешения яркости для генерирования сигнала яркости посредством синтезирования друг с другом первого и второго сигналов яркости, или посредством выбора одного из первого и второго сигналов яркости. Сигнал изображения, из множества сигналов изображения, которые должны быть синтезированы друг с другом на этапе синтезирования, который имеет самую высокую полосу частот, включает в себя сигнал яркости, сгенерированный на этапе смешения яркости.

Полезные эффекты изобретения

Как было описано выше, в соответствии с настоящим изобретением, генерирование сигналов наложения помех может быть подавлено во время выполнения процесса подавления шумов, посредством разделения сигнала изображения на множество полос частот.

Краткое описание чертежей

Фиг.1 является диаграммой, схематично иллюстрирующей конфигурацию цифровой фотокамеры в соответствии с вариантами осуществления настоящего изобретения.

Фиг.2 является диаграммой, иллюстрирующей часть конфигурации схемы 105 обработки изображения в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.3 является блок-схемой последовательности операций, иллюстрирующей процесс, выполняемый схемой 105 обработки изображения, изображенной на фиг.2.

Фиг.4 является диаграммой, иллюстрирующей процесс генерирования первого сигнала Ya яркости, выполняемый первой схемой 204 генерации сигнала яркости, изображенной на фиг.2.

Фиг.5 является диаграммой, иллюстрирующей процесс генерирования второго сигнала Yb яркости, выполняемый второй схемой 205 генерации сигнала яркости, изображенной на фиг.2.

Фиг.6 является диаграммой, иллюстрирующей коэффициент α смешения первого сигнала яркости, полученного в соответствии с насыщенностью S.

Фиг.7 является диаграммой, иллюстрирующей обработку по повышению дискретизации, выполняемую схемой 212 увеличения.

Фиг.8 является диаграммой, иллюстрирующей коэффициент фильтрации, используемый для обнаружения краев, выполняемого схемой 209 вычисления коэффициента синтеза.

Фиг.9 является диаграммой, иллюстрирующей коэффициент β смешения сигнала изображения высокочастотного уровня относительно краевого компонента.

Фиг.10 является диаграммой, иллюстрирующей часть конфигурации схемы 105 обработки изображения, в соответствии со вторым вариантом осуществления настоящего изобретения.

Фиг.11 является блок-схемой последовательности операций, иллюстрирующей процесс, выполняемый схемой 105 обработки изображения, изображенной на фиг.10.

Фиг.12 является диаграммой, иллюстрирующей часть конфигурации схемы 105 обработки изображения, в соответствии с третьим вариантом осуществления настоящего изобретения.

Фиг.13 является диаграммой, иллюстрирующей структуру Байера для основных цветов элемента захвата изображения.

Фиг.14 является диаграммой, иллюстрирующей характеристики пространственной частоты, на которые могут быть разложены первый и второй сигналы яркости.

Фиг.15 является диаграммой, иллюстрирующей случай, где каждый пиксел получает все цветовые сигналы при помощи обработки по понижению дискретизации.

Описание вариантов осуществления

Первый вариант осуществления

Фиг.1 является диаграммой, схематично иллюстрирующей конфигурацию цифровой фотокамеры в соответствии с вариантами осуществления настоящего изобретения. Настоящее изобретение может быть реализовано посредством цифровых видеокамер и персональных компьютеров, в дополнение к цифровой фотокамере, при условии, что устройства могут выполнять обработку изображения на сигналах изображения.

На фиг.1 оптическая система 101 включает в себя блок линз, включающий в себя линзу масштабирования и линзу фокусировки, устройство апертуры и устройство затвора. Оптическая система 101 управляет увеличением и положением фокуса изображения объекта, которое должно быть подано на элемент 102 захвата изображения, и количеством света. Элемент 102 захвата изображения соответствует элементу фотоэлектрического преобразования, такому как ПЗС-датчик (прибор с зарядовой связью) и КМОП-датчик (комплементарная структура метал-оксид-полупроводник), и генерирует сигнал изображения посредством преобразования изображения объекта в электрический сигнал. В этом варианте осуществления элемент 102 захвата изображения состоит из ПЗС-датчика.

Схема 103 предварительной обработки включает в себя схему CDS (двойной коррелированной выборки) и схему усиления. Схема CDS подавляет генерирование темнового тока в сигнале изображения, сгенерированного элементом 102 захвата изображения, а схема усиления усиливает сигнал изображения, выводимый из схемы CDS. А/Ц преобразователь 104 преобразовывает сигнал изображения, выводимый из схемы 103 предварительной обработки, в цифровой сигнал изображения.

Схема 105 обработки изображения выполняет обработку баланса белого, обработку по подавлению шумов, обработку по преобразованию оттенков и обработку по коррекции контуров на сигнале изображения таким образом, чтобы преобразовывать сигнал изображения в сигнал Y яркости и цветоразностные сигналы U и V, которые должны быть выведены. Кроме того, схема 105 обработки изображений вычисляет значение яркости объекта и значение фокуса, представляющее состояние фокуса объекта из сигнала изображения. Схема 105 обработки изображения может выполнять такую же обработку изображения также на сигнале изображения, считанном с носителя 109 информации, а также и на сигнале изображения, выведенном из А/Ц преобразователя 104. Схема 106 управления управляет различными схемами, включенными в состав цифровой фотокамеры, в соответствии с этим вариантом осуществления, таким образом, чтобы управлять работой цифровой фотокамеры. Схема 106 управления также осуществляет управление оптической системой 101 и элементом 102 захвата изображения, в соответствии со значением яркости, получаемым из сигнала изображения, который был обработан схемой 105 обработки изображения или в соответствии с командой, полученной из операционного элемента 110.

Запоминающее устройство 107 устройства отображения временно сохраняет сигнал изображения, соответствующий изображению, которое должно быть отображено на устройстве 108 отображения. Устройство 108 отображения включает в себя жидкокристаллическое устройство отображения или электролюминесцентное устройство отображения и отображает изображение с использованием сигнала изображения, сгенерированного элементом 102 захвата изображения, или сигнала изображения, считанного с носителя 109 информации. Устройство 108 отображения, по необходимости, обновляет и отображает сигналы изображений, непрерывно считываемые с элемента 102 захвата изображения, чтобы, тем самым функционировать в качестве электронного видоискателя. Устройство 108 отображения может отображать не только изображения, но также и состояние цифровой фотокамеры, скорость срабатывания затвора, выбранную посредством пользователя или определенную посредством камеры, значение апертуры, текстовую информацию, включающую в себя информацию о чувствительности, и график, представляющий распределение яркости, измеренной схемой 105 обработки изображения. Носитель 109 информации может являться съемным с цифровой фотокамеры или может быть включен в состав цифровой фотокамеры.

Операционный элемент 110 приводится в действие, если пользователь подает команду на цифровую фотокамеру. Шина 111 используется для передачи сигналов изображения между схемой 105 обработки изображения, схемой 106 управления, запоминающим устройством 107 устройства отображения и носителем 109 информации.

Теперь будет описан пример работы цифровой фотокамеры, в соответствии с этим вариантом осуществления, выполняемой, когда изображение захвачено.

Когда пользователь приводит в действие операционный элемент 110 с тем, чтобы была подана команда на запуск подготовки захвата изображения, схема 106 управления запускает управление работой схем.

Элемент 102 захвата изображения выполняет фотоэлектрическое преобразование на изображении объекта, поданном из оптической системы 101, таким образом, чтобы сгенерировать аналоговый сигнал изображения. А/Ц преобразователь 104 оцифровывает аналоговый сигнал изображения, который был обработан схемой 103 предварительной обработки. Схема 105 обработки изображения выполняет обработку баланса белого, обработку по подавлению шумов, обработку по преобразованию оттенков и обработку по коррекции контуров на сигнале изображения, выведенном из А/Ц преобразователя 104.

Сигнал изображения, обработанный схемой 105 обработки изображения, подается в запоминающее устройство 107 устройства отображения и отображается на устройстве 108 отображения в виде изображения. Как было описано выше, элемент 102 захвата изображения последовательно генерирует сигналы изображения, и устройство 108 отображения обновляет и отображает изображения объектов в режиме реального времени с использованием считанных непрерывных сигналов изображений, в случае необходимости, чтобы, тем самым, функционировать в качестве электронного видоискателя.

Этот процесс выполняется неоднократно, пока пользователь не приведет в действие кнопку затвора, включенную в состав операционного элемента 110. Когда пользователь приводит в действие кнопку затвора, схема 106 управления снова управляет работой оптической системы 101 в соответствии со значением яркости и значением фокуса, полученным посредством схемы 105 обработки изображения, и выполняет захват неподвижного изображения. Схема 105 обработки изображения выполняет различные процессы обработки изображений, включающие в себя обработку по подавлению шумов в сигнале изображения, соответствующем неподвижному изображению. Затем носитель 109 информации записывает сигнал изображения, выведенный из схемы 105 обработки изображения.

Теперь будет подробно описана обработка по подавлению шумов, которая является характерной особенностью настоящего изобретения, выполняемая схемой 105 обработки изображения. Фиг.2 является диаграммой, иллюстрирующей часть конфигурации схемы 105 обработки изображения.

Схема 105 обработки изображения включает в себя схему 201 баланса белого, схему 202 генерации яркости/цвета и схему 203 обработки полосы частот. Схема 202 генерации яркости/цвета включает в себя первую схему 204 генерации сигнала яркости, вторую схему 205 генерации сигнала яркости, схему 206 смешения яркости и схему 207 генерации цвета. Схема 203 обработки полосы частот включает в себя схему 208 подавления шумов, схему 209 вычисления коэффициента синтеза, схему 210 уменьшения, схему 211 подавления шумов, схему 212 увеличения и схему 213 синтеза изображения.

Фиг.3 является блок-схемой последовательности операций, иллюстрирующей процессы, выполняемые схемой 201 баланса белого, схемой 202 генерации яркости/цвета и схемой 203 обработки полосы частот, включенных в состав схемы 105 обработки изображения. При приеме сигнала изображения, введенного из А/Ц преобразователя 104, схема 105 обработки изображения выполняет процессы, включенные в состав блок-схемы последовательности операций, изображенной на фиг.3.

На этапе S301 схема 201 баланса белого выполняет обработку баланса белого на сигнале изображения, подаваемом из А/Ц преобразователя 104. На этом этапе сигнал изображения имеет формат RAW, и каждый пиксел имеет цветовой сигнал, соответствующий R, G или B. Схема 201 баланса белого вычисляет коэффициенты усиления для отдельных цветовых сигналов так, чтобы уровни сигналов R, G и B относительно объекта, рассматриваемого в качестве белого объекта, были, по существу, равными друг другу. Отметим, что вычисление коэффициентов усиления может быть выполнено посредством общего способа, и, следовательно, его подробное описание опущено.

На этапе S302 первая схема 204 генерации сигнала яркости генерирует первый сигнал Ya яркости. Фиг.4 является диаграммой, иллюстрирующей процесс генерирования первого сигнала Ya яркости, выполняемый первой схемой 204 генерации сигнала яркости.

Как показано на фиг.4, первая схема 204 генерации сигнала яркости принимает сигнал изображения в формате RAW в структуре Байера, который выводится из схемы 201 баланса белого и выполняет разделение сигналов изображений в формате RAW в соответствии с цветами. В частности, генерируется сигнал изображения, включающий в себя сигналы G, полученные посредством вставки 0 в сигналы пикселов, отличных от пикселов G, сигнал изображения, включающий в себя сигналы R, полученные посредством вставки 0 в сигналы пикселов, отличных от пикселов R, и сигнал изображения, включающий в себя сигналы B, полученные посредством вставки 0 в сигналы пикселов, отличных от пикселов B.

Затем первая схема 204 генерации сигнала яркости генерирует цветовые сигналы для пикселов при помощи обработки компенсации, посредством чего выполняется синхронизация.

Например, в сигнале изображения, включающем в себя сигналы R, допуская, что сигнал в координате (m, n), который не был подвергнут обработке компенсации, представлен посредством R(m, n), а сигнал в координате (m, n), который был подвергнут обработке компенсации, представлен посредством Ra(m, n), причем сигнал Ra(m, n), который был подвергнут обработке компенсации, вычисляется посредством операций, выполняемых в приведенных ниже выражениях с (1) по (4):

В сигнале изображения, включающем в себя сигналы B, сигнал Ba(m, n), который был подвергнут обработке компенсации, получают подобным способом.

Кроме того, в сигнале изображения, включающем в себя сигналы G, сигнал Ga(m, n), который был подвергнут обработке компенсации, может быть вычислен посредством операций, выполняемых в приведенных ниже выражениях с (5) по (8):

Эти способы компенсации являются лишь примерами, и могут быть использованы различные другие известные способы компенсации. Например, для подавления ухудшения высокочастотных характеристик исходного сигнала корреляции объекта в различных направлениях могут быть определены заранее, и наибольший вес может применяться к сигналам, установленным в направлении, имеющем самую высокую корреляцию для выполнения обработки по компенсации.

Сигналы Ra, Ga и Ba, полученные описанным выше способом, подставляют в приведенное ниже выражение (9), посредством чего получают первый сигнал Ya(m, n) яркости в координате (m, n):

Затем первая схема 204 генерации сигнала яркости подает полученный первый сигнал Ya яркости на схему 206 смешения яркости.

Отметим, что описание было выполнено при рассмотрении случая, в котором в качестве примера первый сигнал Ya яркости получают с использованием сигналов Ra, Ga и Ba. Однако сигнал Ga может быть использован в качестве первого сигнала Ya яркости.

На этапе S303 вторая схема 205 генерации сигнала яркости генерирует второй сигнал Yb яркости. В отличие от первого сигнала Ya яркости, второй сигнал Yb яркости генерируется с использованием сигналов пикселов всех цветов без различения цветов. Фиг.5 является диаграммой, иллюстрирующей процесс генерирования второго сигнала Yb яркости, выполняемый посредством второй схемы 205 генерации сигнала яркости.

Вторая схема 205 генерации сигнала яркости принимает сигнал изображения в формате RAW, изображенный на фиг.5, который был выведен из схемы 201 баланса белого. Вторая схема 205 генерации сигнала яркости выполняет обработку вертикальным фильтром нижних частот (V-LPF) и обработку горизонтальным фильтром нижних частот (H-LPF) сигнала изображения в формате RAW таким образом, чтобы сгенерировать второй сигнал Yb яркости. Например, при обработке V-LPF и обработке H-LPF используется коэффициент фильтрации, представленный как [1, 2, 1]. Альтернативно, направление фильтрации и коэффициент фильтрации могут быть изменены соответствующим образом, в соответствии с краевым состоянием сигнала изображения и уровнем корреляции с окружающими пикселами.

Отметим, что процесс, который будет выполнен второй схемой 205 генерации сигнала яркости, может быть опущен, и сигнал изображения в формате RAW может быть использован в качестве второго сигнала Yb яркости. Таким образом, второй сигнал Yb яркости может быть получен для каждого пиксела посредством операций, выполняемых в приведенных ниже выражениях с (10) по (13):

На этапе S304 схема 206 смешения яркости смешивает первый и второй сигналы Ya и Yb яркости таким образом, чтобы сгенерировать сигнал Yp яркости. Допуская, что коэффициент смешения первого сигнала яркости в сигнале Yp яркости представлен посредством α, схема 206 смешения яркости получает сигнал Yp яркости для каждого пиксела посредством подстановки первого и второго сигналов Ya и Yb яркости в приведенное ниже выражение (14) для каждого пиксела:

Отметим, что в этом варианте осуществления схема 206 смешения яркости определяет коэффициент α смешения первого сигнала яркости в сигнале Yp яркости, в соответствии с насыщенностью S объекта. Теперь будет описан способ получения коэффициента α смешения. В случае первой схемы 204 генерации сигнала яркости схема 206 смешения яркости разделяет сигнал изображения в формате RAW в соответствии с цветами таким образом, чтобы выполнить синхронизацию. Затем получают насыщенность S для каждого пиксела посредством добавления абсолютного значения различия между сигналом R и сигналом G к абсолютному значению различия между сигналом B и сигналом G для каждого пиксела:

Схема 206 смешения яркости считывает из запоминающего устройства, не показанного на чертеже, коэффициент α смешения, полученный в соответствии с насыщенностью S. Фиг.6 является диаграммой, иллюстрирующей коэффициент α смешения первого сигнала яркости, полученного в соответствии с насыщенностью S. Как показано на фиг.6, схема 206 смешения яркости выполняет управление для того, чтобы был получен большой коэффициент α смешения, то есть получен большой коэффициент смешения первого сигнала Ya яркости, причем для пиксела, имеющего высокую насыщенность, при этом получают малый коэффициент α смешения, то есть получают большой коэффициент смешения второго сигнала Yb яркости для пиксела, имеющего низкую насыщенность.

Отметим, что способ получения коэффициента смешения между первым и вторым сигналами Ya и Yb яркости этими действиями не ограничивается, и полученный коэффициент смешения, полученный с использованием абсолютного значения различия между сигналами R и G, может быть умножен на коэффициент смешения, полученный с использованием абсолютного значения различия между сигналами B и G для определения окончательного коэффициента смешения. Альтернативно первый и второй сигналы Ya и Yb яркости не могут быть добавлены друг к другу для выполнения синтезирования, но может быть выбран только один из первого и второго сигналов Ya и Yb яркости, который имеет более высокий коэффициент смешения. Альтернативно, если определено, что некоторая область имеет корреляцию в диагональном направлении, которая выше порогового значения, то второй сигнал Yb яркости может быть использован исключительно для этой области. Кроме того, поскольку коэффициент конфигурации цветов, включенный в состав высокочастотной компоненты первого сигнала Ya яркости, отличается от второго сигнала Yb яркости, то значение первого сигнала Ya яркости и значение второго сигнала Yb яркости значительно отличаются друг от друга, если объект имеет конкретный цвет, который занимает большую часть площади объекта. Следовательно, низкочастотная компонента первого сигнала Ya яркости и высокочастотная компонента второго сигнала Yb яркости могут быть получены и синтезированы друг с другом таким образом, чтобы был получен третий сигнал Yc яркости, и третий сигнал Yc яркости и первый сигнал Ya яркости могут быть смешаны друг с другом с описанным выше коэффициентом смешения.

На этапе S305 схема 207 генерации цвета генерирует цветоразностные сигналы Up и Vp с использованием сигнала RGB, выведенного из схемы 201 баланса белого. Схема 207 генерации цвета генерирует цветоразностные сигналы Up и Vp посредством выполнения обработки цветовой компенсации, обработки по удалению несоответствующего цвета и матричного преобразования на сигнале RGB. В качестве способа генерирования цветоразностных сигналов Up и Vp могут быть использованы общие способы. Поскольку эти способы являются широко известными, их подробное описание опущено.

Посредством выполнения процессов с этапа S301 по этап S305 сигнал Yp яркости, в котором сигнал наложения помех подавлен, а цветоразностные сигналы Up и Vp сгенерированы в схеме 202 генерации яркости/цвета, эти сигналы подаются на схему 203 обработки полосы частот.

На этапе S306 схема 210 уменьшения принимает сигнал Yp яркости, сгенерированный схемой 206 смешения яркости, и цветоразностные сигналы Up и Vp, сгенерированные схемой генерации цвета, и генерирует сигнал изображения, имеющий нижнюю полосу частот, с использованием принятых сигналов.

Схема 210 уменьшения выполняет обработку V-LPF и обработку H-LPF с использованием коэффициента фильтрации, представленного посредством [1, 2, 1] на сигнале Yp яркости и цветоразностных сигналах Up и Vp. Затем схема 210 уменьшения выполняет обработку по понижению дискретизации на сигнале Yp яркости и цветоразностных сигналах Up и Vp для того, чтобы количество пикселов было уменьшено вдвое в горизонтальном и вертикальном направлениях. Таким образом, схема 210 уменьшения генерирует сигнал $$Y_{low}$$ яркости и цветоразностные сигналы $$U_{low}$$ и $$V_{low}$$ .

В этом варианте осуществления самая высокая полоса частот сигнала изображения низкочастотного уровня соответствует половине самой высокой полосы частот сигнала изображения высокочастотного уровня, и полоса частот на нижней стороне сигнала изображения высокочастотного уровня накладывается на полосу частот сигнала изображения низкочастотного уровня.

На этапе S307 схема подавления 208 шумов выполняет обработку по подавлению шумов на сигнале изображения высокочастотного уровня, а схема 211 подавления шумов выполняет обработку по подавлению шумов на сигнале изображения низкочастотного уровня. Поскольку содержание обработки, выполняемой схемой 208 подавления шумов, и содержание обработки, выполняемой схемой 211 подавления шумов, являются одинаковыми для обеих схем, то будет выполнено описание, принимая в качестве примера в этом варианте осуществления обработку по подавлению шумов, выполняемую схемой 208 подавления шумов.

Схема 208 подавления шумов выполняет обработку по подавлению шумов с использованием сигнала Yp яркости целевого пиксела сигнала изображения высокочастотного уровня и сигналов Yp яркости окружающих пикселов, включенных в состав матрицы из 5 рядов и 5 столбцов, центром которой является целевой пиксел.

Схема 208 подавления шумов вычисляет абсолютные значения различий между сигналом Yp яркости целевого пиксела и сигналами Yp яркости окружающих пикселов и сравнивает абсолютные значения с пороговым значением. В частности, допуская, что сигнал Yp яркости целевого пиксела представлен посредством Yp(s, t), сигналы Yp яркости окружающих пикселов представлены посредством Yp(i, j), а пороговое значение представлено посредством THy, сигналы Y(i, j) яркости, которые удовлетворяют выражению (16), получают следующим образом:

После того, как сигналы Y (i, j) яркости, которые удовлетворяют выражению (16), извлечены, их среднее значение присваивается сигналу Yp(s, t) яркости целевого пиксела.

Кроме того, допуская, что цветоразностные сигналы целевого пиксела представлены посредством Up(s, t) и Vp(s, t), значения окружающих пикселов представлены посредством Up(i, j) и Vp(i, j), а пороговое значение представлено посредством TH_C, значения Up(i, j) и Vp(i, j), которые удовлетворяют выражению (17), получают следующим образом:

|Up(i,j)-Up(s,t)|+|Vp(i,j)-Vp(s,t)|<TH_С.

Заметьте, что

Затем значение Up(i, j) и значение Vp (i, j), которые удовлетворяют выражению (17), извлекают, и средние значения из значения Up(i, j) и значения Vp (i, j) присваивают цветоразностным сигналам Up(s, t) и Vp(s, t), соответственно.

Схема 208 подавления шумов подавляет шум сигнала изображения высокочастотного уровня посредством выполнения обработки, касающейся сигнала Yp яркости и цветоразностных сигналов Up и Vp во всех пикселах. Отметим, что, поскольку диапазон матрицы из 5 рядов и 5 столбцов не способен разместить пикселы, расположенные в краевых участках сигналов пикселов, подавление шумов выполняется в таких пикселах посредством соответственного изменения способа размещения окружающих пикселов.

Схема 211 подавления шумов также выполняет подавление шумов сигнала изображения низкочастотного уровня посредством выполнения подобной обработки на сигнале $$Y_{low}$$ яркости и цветоразностных сигналах $$U_{low}$$ и $$V_{low}$$ сигнала изображения низкочастотного уровня. Однако очевидно, что способ подавления шумов этим не ограничен, и могут быть использованы и другие известные способы подавления шумов.

Затем сигнал изображения низкочастотного уровня изображения, который был подвергнут обработке по подавлению шумов посредством схемы 211 подавления шумов, подается на схему 212 увеличения. Схема 212 увеличения выполняет обработку по повышению дискретизации на сигнале изображения низкочастотного уровня, который был подвергнут обработке по подавлению шумов для того, чтобы количество пикселов сигнала изображения низкочастотного уровня стало равным количеству пикселов сигнала изображения высокочастотного уровня. В частности, как показано на фиг.7, количество пикселов сигнала изображения низкочастотного уровня удваивается, и сигналы недавно сгенерированных пикселов установлены на 0. Затем, например, сигналы присваиваются всем пикселам посредством выполнения линейной компенсации на пикселах, имеющих значение 0 с использованием значений окружающих пикселов. Эта обработка выполняется на сигнале $$Y_{low}$$ яркости и цветоразностных сигналах $$U_{low}$$ и $$V_{low}$$ .

На этапе S308 схема 209 вычисления коэффициента синтеза вычисляет коэффициент синтеза между сигналом изображения высокочастотного уровня и сигналом изображения низкочастотного уровня. В частности, схема 209 вычисления коэффициента синтеза получает краевые компоненты пикселов сигнала Yp яркости из сигнала изображения высокочастотного уровня с использованием фильтра, изображенного на фиг.8. Затем схема 209 вычисления коэффициента синтеза считывает коэффициенты β смешения, соответствующие краевым компонентам, из запоминающего устройства (не показано). Фиг.9 является диаграммой, иллюстрирующей коэффициент β смешения сигнала изображения высокочастотного уровня относительно краевого компонента. Как показано на фиг.9, схема 209 вычисления коэффициента синтеза присваивает больший коэффициент β смешения пикселу, имеющему высокий краевой компонент для того, чтобы коэффициент смешения сигнала изображения высокочастотного уровня относительно сигнала изображения низкочастотного уровня стал высоким, тогда как схема 209 вычисления коэффициента синтеза присваивает низкий коэффициент β смешения пикселу, имеющему низкий краевой компонент для того, чтобы коэффициент смешения сигнала изображения низкочастотного уровня относительно сигнала изображения высокочастотного уровня стал высоким.

На этапе S309 схема 213 синтеза изображения синтезирует сигнал Yp яркости сигнала изображения высокочастотного уровня и сигнал $$Y_{low}$$ изображения низкочастотного уровня друг с другом с использованием коэффициента β смешения, полученного посредством схемы 209 вычисления коэффициента синтеза таким образом, чтобы получить сигнал Y яркости. В частности, сигнал Yp яркости сигнала изображения высокочастотного уровня, который был подвергнут обработке по подавлению шумов, и сигнал $$Y_{low}$$ яркости сигнала изображения низкочастотного уровня, который был подвергнут обработке по увеличению, выполняемой схемой 212 увеличения, добавляются друг к другу в соответствии с выражением (18)

Таким же образом, цветоразностные сигналы Up и Vp сигнала изображения высокочастотного уровня, который был подвергнут обработке по подавлению шумов посредством схемы 208 подавления шумов, и цветоразностные сигналы $$U_{low}$$ и $$V_{low}$$ сигнала изображения низкочастотного уровня, который был подвергнут обработке по увеличению посредством схемы 212 увеличения, добавляются друг к другу, соответственно, в соответствии с выражениями (19) и (20)

Как было описано выше, поскольку используется конфигурация, в которой сигналы изображения на множестве полос частот генерируют из сигнала изображения, в котором генерирование сигнала наложения помех заранее подавляется, даже если сигналы изображения на множестве полос частот синтезируют друг с другом, генерирование сигнала наложения помех может быть подавлено.

Отметим, что в этом варианте осуществления описание было выполнено с учетом конфигурации, в которой, в качестве примера генерируется исключительно сигнал изображения низкочастотного уровня на одном уровне. Однако конфигурация этим не ограничивается. Может быть предоставлено множество схем 210 уменьшения, множество схем 211 подавления шумов и множество схем 212 увеличения таким образом, чтобы выполнять обработку по подавлению шумов на сигналах изображения низкочастотного уровня на многих уровнях на других полосах частот, и после этого сигналы изображения низкочастотного уровня могут быть синтезированы друг с другом схемой 213 синтеза изображения.

Второй вариант осуществления

Теперь будет описан второй вариант осуществления настоящего изобретения. В этом варианте осуществления генерируют сигналы изображения из множества полос частот, и процесс подавления генерации сигнала наложения помех выполняется на некоторых из сигналов изображения. Базовая конфигурация является такой же, что и в первом варианте осуществления, и, следовательно, главным образом будут описаны отличающиеся позиции.

Фиг.10 является диаграммой, иллюстрирующей часть конфигурации схемы 105 обработки изображения в соответствии с этим вариантом осуществления. На фиг.10 схемы, имеющие ту же конфигурацию, что и на фиг.2, обозначены посредством тех же ссылочных позиций, что и на фиг.2. Схема 105 обработки изображения из этого варианта осуществления включает в себя схему 201 баланса белого, схему 202 генерации яркости/цвета и схему 1003 обработки полосы частот.

Схема 1003 обработки полосы частот включает в себя схему 208 подавления шумов, схему 209 вычисления коэффициента синтеза, схему 1010 уменьшения, схему 211 подавления шумов, схему 212 увеличения и схему 213 синтеза изображения. В первом варианте осуществления сигнал $$Y_{low}$$ яркости и цветоразностные сигналы $$U_{low}$$ и $$V_{low}$$ генерируются посредством ввода сигнала Yp яркости и цветоразностных сигналов Up и Vp в схему 210 уменьшения. Однако в этом варианте осуществления сигнал $$Y_{low}$$ яркости и цветоразностные сигналы $$U_{low}$$ и $$V_{low}$$ генерируются с использованием сигнала RGB в формате RAW, выведенного из схемы 201 баланса белого, а обработка по подавлению генерации сигнала наложения помех выполняется исключительно на сигнале изображения высокочастотного уровня.

Фиг.11 является блок-схемой последовательности операций, иллюстрирующей процессы, выполняемые схемой 201 баланса белого, схемой 202 генерации яркости/цвета и схемой 1003 обработки полосы частот, включенных в состав схемы 105 обработки изображения.

На этапе S1101 схема 201 баланса белого выполняет обработку баланса белого на сигнале изображения, подаваемом из А/Ц преобразователя 104.

На этапе S1102 схема 1010 уменьшения разделяет сигнал изображения в формате RAW в структуре Байера на сигналы изображения в соответствии с цветами. В частности, генерируются сигнал изображения, включающий в себя сигналы G, полученные посредством вставки 0 в сигналы пикселов, отличных от пикселов G, сигнал изображения, включающий в себя сигналы R, полученные посредством вставки 0 в сигналы пикселов, отличных от пикселов R, и сигнал изображения, включающий в себя сигналы B, полученные посредством вставки 0 в сигналы пикселов, отличных от пикселов B. Затем обработка V-LPF и обработка H-LPF выполняются на сигналах изображения, полученных в соответствии с цветами с использованием коэффициента фильтрации, например, представленного посредством [1, 2, 1], посредством чего выполняется синхронизация. После этого схема 1010 уменьшения выполняет обработку по понижению дискретизации на сигналах изображения, полученных для отдельных цветов, то есть синхронизированных сигналах изображения, таким образом, для генерирования сигналов изображения, включающих в себя некоторое количество пикселов, уменьшается вдвое в горизонтальном и вертикальном направлениях. Затем выполняется вычисление в соответствии с выражением (9) с использованием сигналов изображения, которые были подвергнуты обработке по понижению дискретизации для того, чтобы были сгенерированы сигнал яркости $$U_{low}$$ и цветоразностные сигналы $$U_{low}$$ и $$V_{low}$$ .

На этапе S1103 первая схема 204 генерации сигнала яркости генерирует первый сигнал Ya яркости с использованием сигнала изображения в формате RAW в структуре Байера, выведенного из схемы 201 баланса белого, при помощи процесса, подобного процессу, выполняемому на этапе S302 из фиг.3.

На этапе S1104 вторая схема 205 генерации сигнала яркости генерирует второй сигнал Yb яркости с использованием сигнала изображения в формате RAW в структуре Байера, выведенного из схемы 201 баланса белого, при помощи процесса, подобного процессу, выполняемому на этапе S303 из фиг.3.

На этапе S1105 схема 206 смешения яркости смешивает первый и второй сигналы Ya и Yb яркости при помощи процесса, подобного процессу, выполняемому на этапе S304 из фиг.3, таким образом, чтобы сгенерировать сигнал Yp яркости.

На этапе S1106 схема 207 генерации цвета генерирует цветоразностные сигналы Up и Vp с использованием сигнала RGB, выведенного из схемы 201 баланса белого при помощи процесса, подобного процессу, выполняемому на этапе S305 из фиг.3.

На этапе S1107 схема 208 подавления шумов выполняет обработку по подавлению шумов в сигнале изображения высокочастотного уровня, а схема 211 подавления шумов выполняет обработку по подавлению шумов на сигнале изображения низкочастотного уровня. Обработка по подавлению шумов подобна обработке, выполняемой на этапе S307 из фиг.3.

На этапе S1108 схема 209 вычисления коэффициента синтеза вычисляет коэффициент синтеза между сигналом изображения высокочастотного уровня и сигналом изображения низкочастотного уровня при помощи процесса, подобного процессу, выполняемому на этапе S308 из фиг.3.

На этапе S1109 схема 213 синтеза изображения синтезирует сигнал изображения высокочастотного уровня и сигнал изображения низкочастотного уровня друг с другом с использованием коэффициента β смешения, полученного посредством схемы 209 вычисления коэффициента синтеза при помощи процесса, подобного процессу, выполняемому на этапе S209 из фиг.3.

Как было описано выше, в этом варианте осуществления, несмотря на то, что процесс подавления генерации сигнала наложения помех выполняется на сигнале изображения высокочастотного уровня, процесс подавления генерации сигнала наложения помех не выполняется на сигнале изображения низкочастотного уровня, выведенном из схемы 1010 уменьшения. Причина состоит в том, что предполагается, что влияние сигнала наложения помех было подавлено, поскольку сигнал изображения был подвергнут обработке фильтром нижних частот для сглаживания сигнала изображения в ходе генерирования сигнала изображения низкочастотного уровня.

Как было описано выше, сигналы изображения на множестве полос частот генерируются из сигнала изображения, и генерирование сигнала наложения помех в сигнале изображения, имеющем самую высокую полосу частот, предотвращается заранее. Посредством этого, даже если сигналы изображения множества полос частот синтезируются друг с другом, генерирование сигналов наложения помех может быть подавлено.

Третий вариант осуществления

Теперь будет описан третий вариант осуществления настоящего изобретения. В первом варианте осуществления схема 203 обработки полосы частот генерирует сигнал изображения, имеющий полосу частот ниже, чем у исходного сигнала изображения. Однако этот вариант осуществления отличается от первого варианта осуществления в том отношении, что исходный сигнал разделен на множество частотных компонент других полос частот.

Фиг.12 является диаграммой, иллюстрирующей часть конфигурации другой схемы 105 обработки изображения. На фиг.12 схемы, имеющие такую же конфигурацию, что и схемы, изображенные на фиг.2, обозначаются посредством тех же самых ссылочных позиций, что и изображенные на фиг.2. Схема 105 обработки изображения из этого варианта осуществления включает в себя схему 201 баланса белого, схему 202 генерации яркости/цвета и схему 1203 обработки полосы частот.

Сигнал Yp яркости и цветоразностные сигналы Up и Vp, которые выводят из схемы 202 генерации яркости/цвета и в которых подавлены сигналы наложения помех, сначала подаются на LPF 1211 и фильтр 1212 верхних частот (HPF), включенные в состав схемы 1203 обработки полосы частот.

Как и в случае схемы 210 уменьшения, изображенной на фиг.2, LPF 1211 выполняет обработку V-LPF и обработку H-LPF на сигнале Yp яркости и цветоразностных сигналах Up и Vp таким образом, чтобы сгенерировать сигнал $$Y_{low1}$$ яркости и цветоразностные сигналы $$U_{low1}$$ и $$V_{low1}$$ . Обработка V-LPF и обработка H-LPF выполняются, например, с использованием коэффициента фильтрации, представленного посредством [1, 2, 1].

HPF 1212 вычитает сигнал $$Y_{low1}$$ яркости и цветоразностные сигналы $$U_{low1}$$ и $$V_{low1}$$ , сгенерированные посредством LPF 1211 из сигнала Yp яркости и цветоразностных сигналов Up и Vp. В результате HPF 1212 извлекает сигнал яркости $$Y_{high1}$$ и цветоразностные сигналы $$U_{high1}$$ и $$V_{high1}$$ , которые являются высокочастотными компонентами сигнала Yp яркости и цветоразностных сигналов и Vp, соответственно.

Сигнал яркости $$Y_{high1}$$ и цветоразностные сигналы $$U_{high1}$$ и $$V_{high1}$$ подаются на схему 1213 подавления шумов, которая выполняет обработку по подавлению шумов способом, подобным способу, используемому в схеме 208 подавления шумов, изображенной на фиг.2. Кроме того, сигнал $$Y_{high1}$$ яркости и цветоразностные сигналы $$U_{high1}$$ и $$V_{high1}$$ подаются на схему 1214 вычисления коэффициента синтеза, в которой коэффициент синтеза вычисляется способом, подобным способу, используемому в схеме 209 вычисления коэффициента синтеза, изображенной на фиг.2.

Сигнал $$Y_{low1}$$ яркости и цветоразностные сигналы $$U_{low1}$$ и $$V_{low1}$$ , сгенерированные посредством LPF 1211, подаются на схему 1215 понижающей дискретизации (DS). Схема 1215 DS выполняет обработку по понижению дискретизации на сигнале $$Y_{low1}$$ яркости и цветоразностном сигнале $$U_{low1}$$ и $$V_{low1}$$ для того, чтобы количество пикселов было уменьшено вдвое в горизонтальном и вертикальном направлениях таким образом, чтобы сгенерировать сигнал $$Y{p}_2$$ яркости и цветоразностные сигналы Up ₂ и Vp ₂.

Сигнал $$Y{p}_2$$ яркости и цветоразностные сигналы $$U{p}_2$$ и $$V{p}_2$$ , выводимые из схемы 1215 DS, подают на LPF 1216 и HPF 1217.

Как и в случае схемы 210 уменьшения, изображенной на фиг.2, LPF 1216 выполняет обработку V-LPF и обработку H-LPF на сигнале $$Y{p}_2$$ яркости и цветоразностных сигналах $$U{p}_2$$ и $$V{p}_2$$ таким образом, чтобы сгенерировать сигнал $$Y_{low2}$$ яркости и цветоразностные сигналы $$U_{low2}$$ и $$V_{low2}$$ .

HPF 1217 вычитает сигнал $$Y_{low2}$$ яркости и цветоразностные сигналы $$U_{low2}$$ и $$V_{low2}$$ , сгенерированные посредством LPF 1216, из сигнала $$Y{p}_2$$ яркости и цветоразностных сигналов $$U{p}_2$$ и $$V{p}_2$$ , выводимых из схемы DS 1215. В результате HPF 1217 извлекает сигнал $$Y_{high2}$$ яркости и цветоразностные сигналы $$U_{high2}$$ и $$V_{high2}$$ , которые являются высокочастотными компонентами сигнала $$Y{p}_2$$ яркости и цветоразностных сигналов $$U{p}_2$$ и $$V{p}_2$$ .

Сигнал $$Y_{high2}$$ яркости и цветоразностные сигналы $$U_{high2}$$ и $$V_{high2}$$ подают на схему 1218 подавления шумов, которая выполняет обработку по подавлению шумов способом, подобным способу, используемому в схеме 208 подавления шумов, изображенной на фиг.2. Кроме того, сигнал $$Y_{high2}$$ яркости и цветоразностные сигналы $$U_{high2}$$ и $$V_{high2}$$ подают на схему 1219 вычисления коэффициента синтеза, в которой коэффициент синтеза вычисляется способом, подобным способу, используемому в схеме 209 вычисления коэффициента синтеза, изображенной на фиг.2.

Сигнал $$Y_{low2}$$ яркости и цветоразностные сигналы $$U_{low2}$$ и $$V_{low2}$$ , сгенерированные посредством LPF 1216, подают на схему DS 1220. Схема DS 1220 выполняет обработку по понижению дискретизации на сигнале $$Y_{low2}$$ яркости и цветоразностных сигналах $$U_{low2}$$ и $$V_{low2}$$ для того, чтобы количество пикселов было уменьшено вдвое в горизонтальном и вертикальном направлениях таким образом, чтобы сгенерировать сигнал $$Y{p}_3$$ яркости и цветоразностные сигналы $$U{p}_3$$ и $$V{p}_3$$ .

Сигнал $$Y{p}_3$$ яркости и цветоразностные сигналы $$U{p}_3$$ и $$V{p}_3$$ , выведенные из схемы DS 1220, подаются на LPF 1221 и HPF 1222.

Как и в случае схемы 210 уменьшения, изображенной на фиг.2, LPF 1221 выполняет обработку V-LPF и обработку H-LPF на сигнале $$Y{p}_3$$ яркости и цветоразностных сигналах $$U{p}_3$$ и $$V{p}_3$$ таким образом, чтобы сгенерировать сигнал $$Y_{low3}$$ яркости и цветоразностные сигналы $$U_{low3}$$ и $$V_{low3}$$ .

HPF 1222 вычитает сигнал $$Y_{low3}$$ яркости и цветоразностные сигналы $$U_{low3}$$ и $$V_{low3}$$ , сгенерированные посредством LPF 1221, из сигнала $$Y{p}_3$$ яркости и цветоразностных сигналов $$U{p}_3$$ и $$V{p}_3$$ , выводимых из схемы DS 1215. В результате HPF 1222 извлекает сигнал $$Y_{high3}$$ яркости и цветоразностные сигналы $$U_{high3}$$ и $$V_{high3}$$ , которые являются высокочастотными компонентами сигнала $$Y{p}_3$$ яркости и цветоразностных сигналов $$U{p}_3$$ и $$V{p}_3$$ .

Сигнал $$Y_{high3}$$ яркости и цветоразностные сигналы $$U_{high3}$$ и $$V_{high3}$$ подаются на схему 1223 подавления шумов, которая выполняет обработку по подавлению шумов способом, подобным способу, используемому в схеме 208 подавления шумов, изображенной на фиг.2. Кроме того, сигнал $$Y_{high3}$$ яркости и цветоразностные сигналы $$U_{high3}$$ и $$V_{high3}$$ подаются на схему 1224 вычисления коэффициента синтеза, в которой коэффициент синтеза вычисляется способом, подобным способу, используемому в схеме 209 вычисления коэффициента синтеза, изображенной на фиг.2.

Сигнал $$Y_{low3}$$ яркости и цветоразностные сигналы $$U_{low3}$$ и $$V_{low3}$$ , сгенерированные посредством LPF 1221, подают на схему 1225 DS. Схема 1225 DS выполняет обработку по понижению дискретизации на сигнале $$Y_{low3}$$ яркости и цветоразностных сигналах $$U_{low3}$$ и $$V_{low3}$$ для того, чтобы количество пикселов было уменьшено вдвое в горизонтальном и вертикальном направлениях таким образом, чтобы сгенерировать сигнал $$Y{p}_4$$ яркости и цветоразностные сигналы $$U{p}_4$$ и $$V{p}_4$$ .

Сигнал $$Y{p}_4$$ яркости и цветоразностные сигналы $$U{p}_4$$ и $$V{p}_4$$ подают на схему 1226 подавления шумов, которая выполняет обработку по подавлению шумов способом, подобным способу, используемому в схеме 208 подавления шумов, изображенной на фиг.2.

Полосы частот сигналов $$Y_{high1}$$ , $$Y_{high2}$$ , $$Y_{high3}$$ и $$Y{p}_4$$ яркости не накладываются друг на друга, а полоса частот сигнала $$Y_{high1}$$ яркости является самой высокой, и за ней следуют полосы частот сигналов $$Y_{high2}$$ , $$Y_{high3}$$ и $$Y{p}_4$$ именно в таком порядке. То же правило применяется и для цветоразностных сигналов с $$U_{high1}$$ по $$U{p}_4$$ и с $$V_{high1}$$ по $$V{p}_4$$ .

Схема 1227 увеличения выполняет обработку по повышению дискретизации на сигналах, выводимых из схемы 1226 подавления шумов, для того чтобы количество пикселов сигналов, выводимых из схемы 1226 подавления шумов, стало равным количеству пикселов сигналов, выводимых из схемы 1223 подавления шумов. Схема 1228 синтеза изображений синтезирует сигналы, выводимые из схемы 1227 увеличения, и сигналы, выводимые из схемы 1223 подавления шумов, способом, подобным способу, используемому в схеме 213 синтеза изображения, изображенной на фиг.2, с использованием коэффициента синтеза, полученного посредством схемы 1224 вычисления коэффициента синтеза.

Схема 1229 увеличения выполняет обработку по повышению дискретизации на сигналах, выводимых из схемы 1228 синтеза изображения для того, чтобы количество пикселов сигналов, выводимых из схемы 1228 синтеза изображения, стало равным количеству пикселов сигналов, выводимых из схемы 1218 подавления шумов. Схема 1230 синтеза изображения синтезирует сигналы, выводимые из схемы 1229 увеличения, с сигналами, выводимыми из схемы 1218 подавления шумов с использованием коэффициента синтеза, полученного посредством схемы 1219 вычисления коэффициента синтеза, способом, подобным способу, используемому в схеме 213 синтеза изображения, изображенной на фиг.2.

Кроме того, схема 1231 увеличения выполняет обработку по повышению дискретизации, на сигналах, выводимых из схемы 1230 синтеза изображения для того, чтобы количество пикселов сигналов, выводимых из схемы 1230 синтеза изображения, стало равным количеству пикселов сигналов, выводимых из схемы 1213 подавления шумов. Схема 1232 синтеза изображения синтезирует сигналы, выводимые из схемы 1231 расширения, с сигналами, выводимыми из схемы 1213 подавления шумов, способом, подобным способу, используемому в схеме 213 синтеза изображения, изображенному на фиг.2, с использованием коэффициента синтеза, полученного посредством схемы 1214 вычисления коэффициента синтеза.

Как было описано выше, поскольку сигнал изображения, в котором сигнал наложения помех подавлен заранее, разделен на сигналы изображения множества полос частот, даже если сигналы изображения множества полос частот синтезируются друг с другом, генерация сигнала наложения помех может быть управляемой.

Как было описано выше, в предшествующих вариантах осуществления из сигналов изображения множества полос частот, которые должны быть синтезированы друг с другом, сигнал изображения самой высокой полосы частот включает в себя сигнал яркости, сгенерированный схемой смешения яркости. При такой конфигурации, поскольку генерация сигнала наложения помех сигнала изображения самой высокой полосы частот подавляется, даже если сигнал изображения синтезируется с сигналом изображения нижней полосы частот, влияние сигнала наложения помех просто увеличивается.

Отметим, что в предшествующих вариантах осуществления сигнал изображения низкочастотного уровня генерируется посредством выполнения уменьшения на исходном сигнале изображения. Однако сигнал изображения низкочастотного уровня может быть сгенерирован посредством выполнения обработки LPF на исходном сигнале, без выполнения уменьшения на сигнале изображения.

Отметим, что в настоящем изобретении положение, в котором расположена схема смешения яркости, не ограничено предшествующими вариантами осуществления, поскольку сигнал изображения самой высокой полосы частот из сигналов изображения множества полос частот, которые должны быть синтезированы друг с другом, включает в себя сигнал яркости, сгенерированный схемой смешения яркости.

Другие варианты осуществления

Кроме того, настоящее изобретение может быть реализовано посредством выполнения следующей обработки. Таким образом, программные средства (программа), которые реализуют функции из предшествующих вариантов осуществления, могут подаваться в систему или устройство через сетевые или другие носители данных, и компьютер (или CPU (центральный процессор), MPU (блок микропроцессора), или подобное) системы или устройства, могут считывать и выполнять программу.

Список ссылочных позиций

201 - схема баланса белого

202 - схема генерации яркости/цвета

203, 1003, 1203 - схема обработки полосы частот

204 - первая схема генерации сигнала яркости

205 - вторая схема генерации сигнала яркости

206 - схема смешения яркости

207 - схема генерации цветов

208, 211, 1213, 1218, 1223, 1226 - схема подавления шумов

209, 1214, 1219, 1224 - схема вычисления коэффициента синтеза

210, 1010 - схема уменьшения

212, 1227, 1229, 1231 - схема увеличения

213, 1228, 1230, 1232 - схема синтеза изображения

1211, 1216, 1221 - фильтр нижних частот (LPF)

1212, 1217, 1222 - фильтр верхних частот (HPF)

1215, 1220, 1225 - схема понижения дискретизации (DS)

Изобретение относится к схемам обработки изображений. Техническим результатом является подавление генерации сигнала наложения помех, включенного в состав сигнала изображения, который генерируется посредством дискретизации, выполняемой элементом захвата изображения. Результат достигается тем, что схема обработки полосы частот генерирует множество сигналов изображения других полос частот из сигнала изображения и подавляет шум посредством синтезирования сигналов изображения других полос частот, а схема генерации яркости/цвета генерирует сигнал яркости, в котором сигнал наложения помех подавлен. Сигнал изображения самой высокой полосы частот из сигналов изображения других полос частот, которые должны быть синтезированы друг с другом схемой обработки полосы частот, включает в себя сигнал яркости, который генерируется схемой генерации яркости/цвета и в котором подавлена генерация сигналов наложения помех. 3 н. и 7 з.п. ф-лы, 15 ил.

1. Устройство обработки изображений, содержащее:
средство генерирования для приема сигнала изображения и генерирования множества сигналов изображения на других полосах частот из сигнала изображения;
средство синтезирования для синтезирования друг с другом множества сигналов изображения, сгенерированных средством генерирования;
средство генерирования первого сигнала яркости для приема сигнала изображения, включающего в себя множество цветовых сигналов, включающих в себя первый цветовой сигнал, и генерирования первого сигнала яркости с использованием сигналов изображения, полученных посредством компенсации пикселов, которые не соответствуют первому цветовому сигналу, посредством первого цветового сигнала;
средство генерирования второго сигнала яркости для приема сигнала изображения, включающего в себя множество цветовых сигналов, включающих в себя первый цветовой сигнал, и генерирования второго сигнала яркости с использованием множества цветовых сигналов без различения друг от друга множества цветовых сигналов; и
средство смешения яркости для генерирования сигнала яркости посредством синтезирования друг с другом первого и второго сигналов яркости или посредством выбора одного из первого и второго сигналов яркости;
причем сигнал изображения из множества сигналов изображения, которые должны быть синтезированы друг с другом средством синтезирования, который имеет самую высокую полосу частот, включает в себя сигнал яркости, сгенерированный средством смешения яркости.

2. Устройство обработки изображений по п.1,
в котором средство генерирования принимает сигнал изображения, включающий в себя сигнал яркости, сгенерированный средством смешения яркости.

3. Устройство обработки изображений по п.1,
в котором средство генерирования первого сигнала яркости и средство генерирования второго сигнала яркости принимают сигнал изображения самой высокой полосы частот из множества сигналов изображения, сгенерированных средством генерирования.

4. Устройство обработки изображений по п.1,
в котором средство генерирования генерирует сигнал изображения полосы частот ниже, чем полоса частот входного сигнала изображения.

5. Устройство обработки изображений по п.1,
в котором средство генерирования первого сигнала яркости и средство генерирования второго сигнала яркости принимают сигнал изображения, включающий в себя цветовые сигналы, то есть «красный», «зеленый» и «синий» сигналы, сгенерированные элементом захвата изображения, имеющего структуру Байера,
и первый цветовой сигнал соответствует «зеленому» сигналу.

6. Устройство обработки изображений по п.1, дополнительно содержащее:
средство подавления шумов для выполнения обработки подавления шумов на множестве сигналов изображения, сгенерированных средством генерирования.

7. Способ обработки изображений, содержащий:
этап генерирования для приема сигнала изображения и генерирования множества сигналов изображения на других полосах частот из сигнала изображения;
этап синтезирования для синтезирования друг с другом множества сигналов изображения, сгенерированных на этапе генерирования;
этап генерирования первого сигнала яркости для приема сигнала изображения, включающего в себя множество цветовых сигналов, включающих в себя первый цветовой сигнал, и генерирования первого сигнала яркости с использованием сигналов изображения, полученных посредством компенсации пикселов, которые не соответствуют первому цветовому сигналу, посредством первого цветового сигнала;
этап генерирования второго сигнала яркости для приема сигнала изображения, включающего в себя множество цветовых сигналов, включающих в себя первый цветовой сигнал, и генерирования второго сигнала яркости с использованием множества цветовых сигналов без различения друг от друга множества цветовых сигналов; и
этап смешения яркости для генерирования сигнала яркости посредством синтезирования друг с другом первого и второго сигналов яркости или посредством выбора одного из первого и второго сигналов яркости;
причем сигнал изображения из множества сигналов изображения, которые должны быть синтезированы друг с другом на этапе синтезирования, который имеет самую высокую полосу частот, включает в себя сигнал яркости, сгенерированный на этапе смешения яркости.

8. Способ обработки изображений по п.7, в котором на этапе генерирования принимают сигнал изображения, включающий в себя сигнал яркости, сгенерированный посредством этапа смешения яркости.

9. Способ обработки изображений по п.8, в котором на этапе генерирования первого сигнала яркости и этапе генерирования второго сигнала яркости вводят сигнал изображения самой высокой полосы частот из множества сигналов изображения, сгенерированных на этапе генерирования.

10. Носитель данных, содержащий машиночитаемую программу, сохраненную на нем, для того, чтобы вызвать выполнение компьютером способа обработки изображений по п.7.