Область техники, к которой относится изобретение
Настоящее изобретение относится к способу для совмещения множества фрагментов данных изображения разных частотных диапазонов, которые сгенерированы на основании одного фрагмента данных изображения и подвергнуты обработке изображения.
Уровень техники, к которому относится изобретение
Обычно устройство захвата изображения, такое как цифровая камера или видеокамера, считывает данные изображения с датчика изображения, такого как прибор с зарядовой связью (CCD) или датчик с комплементарной структурой металл-оксид-полупроводник (CMOS), и выполняет различную обработку изображения, включающую в себя коррекцию гаммы, интерполяцию пикселей, матричное преобразование и тому подобное. Датчик изображения, состоящий из одной пластины, включает в себя цветовые фильтры для множества цветов. В таком датчике изображения для каждого пикселя предоставляют один цветовой фильтр для любого из множества цветов. Как проиллюстрировано на фиг.4, датчик изображения, имеющий матрицу Байера, которая включает в себя цветовые фильтры для основных цветов красного (R), зеленого (G) и синего (B) (RGB), обычно имеет нижеприведенную рекурсивную структуру пикселей. Точнее, в рекурсивной структуре пикселей один блок из четырех пикселей, 2 вертикальных * 2 горизонтальных, включает в себя один R пиксель и один B пиксель, предоставленные диагонально, и два других G пикселя, предоставленных на обратной диагонали.
Данные изображения, считанные из датчика изображения, обычно могут включать в себя шумовые компоненты, которые могут возникнуть в схеме элемента датчика изображения. Более того, в данных, считываемых с датчика изображения, может возникать феномен ложного цвета. Соответственно, данные изображения подвергают обработке изображения для уменьшения вышеописанных нежелательных компонент сигнала.
Например, существует общеизвестный способ, который уменьшает нежелательные компоненты сигнала, включенные в данные изображения, путем разделения входных данных изображения на множество фрагментов данных изображения разных частотных диапазонов и последующего объединения множества фрагментов данных изображения разных частотных диапазонов.
Способ, описанный в публикации японской патентной заявки №2008-015741, сперва иерархически выполняет обработку низкочастотной фильтрацией (LPF), уменьшаюшую обработку на данных изображения для разделения входных данных изображения на множество фрагментов данных изображения разных частотных диапазонов. Затем, компоненты высокого диапазона из множества фрагментов данных изображения, соответствующих каждому частотному диапазону, подвергают уменьшению шума в соответствии с краевой информацией, рассчитываемой на основании компонент низкого диапазона данных изображения каждого частотного диапазона. Далее, данные изображения высоких частотных диапазонов, каждый из которых был подвергнут уменьшению шума, и данные изображения низких частотных диапазонов объединяют вместе.
Ниже, со ссылкой на фиг.5, будет подробно описана конфигурация обычного блока обработки изображения, который сначала разделяет входящие данные изображения на множество фрагментов данных изображения разных частотных диапазонов и, позднее, соединяет вместе множество фрагментов данных изображения разных частотных диапазонов.
Обращаясь к фиг.5, блок обработки изображения включает блок 510 разделения, память 520, блок 530 коррекции и блок 540 объединения. Блок 510 разделения разделяет входные данные изображения на множество фрагментов данных изображения разных частотных диапазонов. Блок 530 коррекции выполняет коррекцию данных изображения для каждого частотного диапазона. Блок 540 объединения объединяет вместе обработанные изображения множества фрагментов разных частотных диапазонов.
Блок 510 разделения выводит входные данные Sin изображения в память 520 как данные изображения первого частотного диапазона. Затем, блок 510 разделения вводит входные данные Sin изображения в фильтр 511 высоких частот (HPF). Затем, блок 510 разделения выводит данные изображения, сгенерированные путем извлечения высокочастотных компонент, в память 520 как данные изображения первого частотного диапазона. Затем, блок 510 разделения вводит входные данные Sin изображения в фильтр 512 низких частот (LPF) для выполнения сглаживания на данных Sin изображения. Далее, сглаженные данные изображения подают в схему 513 уменьшения. Соответственно, генерируют данные изображения из пикселей, меньших, чем таковые, из входных данных Sin изображения. Далее, блок 510 разделения вводит данные изображения на фильтр 514 высоких частот. После этого блок 510 разделения выводит данные изображения, сгенерированные путем извлечения высокочастотных компонент, в память 520 как данные изображения второго частотного диапазона.
Дополнительно, фильтр 515 низких частот выполняет сглаживание на данных изображения, сгенерированных схемой 513 уменьшения. Затем, сглаженные данные изображения вводят в схему 516 уменьшения. Соответственно, генерируют данные изображения пикселей, меньших, чем пиксели данных изображения, сгенерированных схемой 513 уменьшения. Затем, данные изображения выводят в память 520 как данные изображения третьего частотного диапазона. В первом частотном диапазоне частотный диапазон наиболее высокий и становится ниже ко второму и третьему частотным диапазонам в этом возрастающем порядке.
В блоке 510 разделения, проиллюстрированном на фиг.5, фильтр высоких частот, фильтр низких частот и схема уменьшения составляют одну схему разделения на диапазоны. Другими словами, блок 510 разделения включает в себя две схемы разделения на диапазоны, которые предоставлены в древообразной конфигурации.
Блок 530 коррекции включает в себя три схемы с 531 по 533 коррекции, которые соответствуют данным изображения с первого по третий частотные диапазоны, соответственно. Схемы с 531 по 533 коррекции выполняют различную обработку, такую как уменьшение шума и обработку по сохранению краевой информации, для генерации изображения высокого разрешения или коррекции аберраций на данных изображения каждого частотного диапазона, считанных из памяти 520.
Блок 540 объединения вводит данные изображения из третьего частотного диапазона, обработанный схемой 533 коррекции, в схему 541 увеличения для генерации данных изображения того же количества пикселей, как у изображения второго частотного диапазона, которое было обработано схемой 532 коррекции. Затем, сгенерированные данные изображения сглаживаются фильтром 542 низких частот. Схема 543 добавления добавляет данные изображения второго частотного диапазона, обработанные схемой 532 коррекции, к данным изображения, выведенным из фильтра 542 низких частот. Схема увеличения 544 генерирует данные изображения такого же количества пикселей, что и данные изображения из первого частотного диапазона, которые были обработаны схемой 531 коррекции, на основании данных изображения, выведенных из схемы 543 добавления. Затем, сгенерированные данные изображения сглаживаются фильтром 545 низких частот. Схема 546 добавления добавляет данные изображения первого частотного диапазона к данным изображения, выведенным из фильтра 545 низких частот, генерируя выходные данные Sout изображения.
В блоке 540 объединения, проиллюстрированном на фиг.5, схема увеличения, фильтр низких частот и схема добавления составляют одну схему объединения диапазонов. Другими словами, блок 540 объединения включает в себя две схемы объединения диапазонов, предоставленных в древовидной конфигурации.
Как описано выше, в данных изображения, полученных датчиком изображения, обладающим фильтрами основных цветов в матрице Байера, которая включает в себя цветовые фильтры для множества цветов, расположенные в мозаичном порядке, от пикселя можно получить только значение, соответствующее единственному из множества цветов.
Однако публикация японской патентной заявки №2008-015741 не описывает ни один способ для обработки данных изображения, в которых каждый пиксель включает в себя сигнал, соответствующий любому цвету из множества цветов цветовых фильтров.
В случае однопластинного датчика изображения с матрицей Байера основных цветов каждый пиксель датчика изображения может обладать сигналами всех цветовых компонент путем выполнения уменьшающей обработки, которую реализуют понижающей дискретизацией, выполняемой на этапе разделения данных изображения на множество фрагментов данных изображения разных частотных диапазонов, без интерполяции пикселей с нулевыми сигналами для каждого цвета. Как показано на фиг.6, для конкретного описания определенного ряда датчика изображения, обладающего матрицей Байера, цветовой фильтр сигнала R и цветовой фильтр сигнала G рекурсивно расположены в этом порядке. Обычный способ для уменьшения количества пикселей, расположенных таким образом для уменьшения первоначального количества в горизонтальном направлении в два раза, будет описан ниже. Для отдельного описания сигналов R определенного ряда сигналы R, первоначально расположенные в периоде один сигнал R на два пикселя, уменьшают до одного сигнала на один пиксель путем уменьшающей обработки. Аналогично, для отдельного описания сигналов G этого ряда сигналы G, первоначально расположенные в периоде один сигнал R на два пикселя, уменьшают до одного сигнала на один пиксель путем уменьшающей обработки. Однако во время обработки по уменьшению G сигналов для выравнивания барицентрического положения сигналов G с барицентрическим положением сигналов R вычисляют значение барицентрического положения путем усреднения значений пикселей смежных пикселей. Путем выполнения уменьшения вышеописанным образом в позиции одного пикселя можно сгенерировать сигналы всех цветовых компонент основных цветов RGB без интерполяции на пикселях с нулевыми сигналами для каждого цвета. Как правило, генерацию сигналов множества цветов для одного пикселя называют синхронизацией.
Поскольку данные изображения второго частотного диапазона и данные изображения третьего частотного диапазона синхронизируют при уменьшении, данные изображения второго частотного диапазона и данные изображения третьего частотного диапазона можно сохранить в памяти 520 в синхронизированном состоянии. Если синхронизированные данные изображения второго частотного диапазона и синхронизированные данные изображения третьего частотного диапазона подвергают обратному преобразованию в данные изображения матрицы Байера, из-за обратного преобразования количество информации в данных изображения может уменьшиться. Таким образом, точность коррекции блоком 530 коррекции, выполняемой уменьшением шума или коррекцией аберрации, может снизиться.
Предположим, что данные изображения первого частотного диапазона можно подвергнуть синхронизации, связанной с данными изображения второго частотного диапазона и данными изображения третьего частотного диапазона и, затем, синхронизированные данные изображения сохраняют в памяти 520. Однако, в этом случае, количество информации в данных изображения первого частотного диапазона, содержащего в себе большинство данных, может утроиться. Следовательно, появляется необходимость увеличить емкость памяти 520 до очень больших величин.
Список цитирования
Патентная литература
[PTL 1] Публикация японской патентной заявки №2008-015741
Сущность изобретения
Настоящее изобретения направлено на улучшение устройства обработки изображения, сконфигурированного для разделения данных изображения, захваченных однопластинным датчиком изображения, включающим в себя множество цветовых фильтров, на множество фрагментов данных изображения разных частотных диапазонов, сохранения данных изображения в памяти и коррекции множества фрагментов данных изображения разных частотных диапазонов, считанных из памяти.
В соответствии с аспектом настоящего изобретения, устройство обработки изображения включает в себя средство разделения на диапазоны на основании первых данных изображения, включающих в себя сигналы цветовых компонент множества цветов, и каждый пиксель которых включает в себя любой сигнал цветовой компоненты из сигналов цветовых компонент множества цветов для вывода вторых данных изображения частотного диапазона ниже, чем частотный диапазон первых данных изображения, и третьих данных изображения частотного диапазона еще ниже, чем частотный диапазон вторых данных изображения, память для хранения первых данных изображения, вторых данных изображения и третьих данных изображения, средство коррекции для выполнения корректирующей обработки на первых данных изображения, вторых данных изображения и третьих данных изображения, сохраненных в памяти, и средство объединения для объединения вместе первых данных изображения, вторых данных изображения и третьих данных изображения, которые были скорректированы средством коррекции, причем часть или все пиксели каждых из вторых данных изображения и третьих данных изображения, выведенных из средства разделения на диапазоны, включают в себя сигналы цветовых компонент множества цветов, и причем память хранит первые данные изображения в состоянии, в котором каждый пиксель включает в себя любой сигнал цветовой компоненты из сигналов цветовых компонент множества цветов и хранит вторые данные изображения и третьи данные изображения в таком состоянии, что часть или все их пиксели включают в себя сигналы цветовых компонент множества цветов.
Дополнительные признаки и аспекты настоящего изобретения станут очевидны из нижеследующего подробного описания примерных вариантов осуществления со ссылкой на приложенные чертежи.
Краткое описание чертежей
Сопроводительные чертежи, включенные и представляющие собой часть описания, иллюстрируют примерные варианты осуществления, признаки и аспекты изобретения и, совместно с описанием, служат для пояснения принципов настоящего изобретения
На фиг.1 представлена функциональная блок-схема устройства захвата изображения в соответствии с примерным вариантом осуществления настоящего изобретения.
На фиг.2 представлена блок-схема, иллюстрирующая конфигурацию, относящуюся к уменьшению шума блоком обработки изображения, в соответствии с первым примерным вариантом осуществления настоящего изобретения.
На фиг.3 представлена блок-схема, иллюстрирующая конфигурацию, относящуюся к уменьшению шума блоком обработки изображения, в соответствии со вторым примерным вариантом осуществления настоящего изобретения.
На фиг.4 проиллюстрирован порядок пикселей в матрице Байера.
На фиг.5 приведена блок-схема, иллюстрирующая обычную конфигурацию блока обработки изображения, который выполняет обработку для объединения вместе множества фрагментов данных изображения разных частотных диапазонов.
На фиг.6 проиллюстрирована синхронизация данных изображения уменьшением с помощью понижающей дискретизации.
Описание вариантов осуществления
Ниже будут подробно со ссылкой на чертежи описаны различные примерные варианты осуществления, признаки и аспекты изобретения.
На фиг.1 приведена функциональная блок-схема устройства захвата изображения в соответствии с примерным вариантом осуществления настоящего изобретения.
Переходя к фиг.1, оптический блок 101 формирования изображения включает в себя линзу и диафрагму. Оптический блок 101 формирования изображения может управлять фокусировкой и выдержкой. Датчик 102 изображения обладает функцией фотоэлектрического преобразования для преобразования оптического изображения в электрические сигналы. Датчик 102 изображения представляет собой CCD или CMOS датчик. Схема 103 аналого-цифрового преобразования преобразует аналоговый сигнал изображения из датчика 102 изображения в цифровые данные изображения. Блок 104 обработки изображения выполняет различную обработку, такую как уменьшение шума, коррекцию аберраций, устранение ложных цветов, коррекцию гаммы, интерполяцию, матричное преобразование, на данных изображения, выведенных из схемы 103 аналого-цифрового преобразования.
Интерфейс (I/F) 105 памяти обладает функцией для записи и чтения данных изображения, обработанных блоком 104 обработки изображения, и различных данных управления, как интерфейс к памяти 106, которая представлена динамической памятью произвольного доступа (DRAM). Центральный процессор (CPU) 107 выполняет различные управляющие операции. Блок 108 отображения включает в себя жидкокристаллический (LCD) монитор отображения. Блок 108 отображения последовательно отображает данные изображения, обработанные блоком 104 обработки изображения, для обеспечения возможности пользователю просматривать и наблюдать захваченное изображение объекта в реальном режиме времени.
Свет, падающий на оптический блок 101 формирования изображения, формирует на светоприемной поверхности датчика 102 изображения изображение, и сигнал изображения выводят из датчика 102 изображения как аналоговый сигнал изображения. В датчике 102 изображения для каждого пикселя предоставлен каждый из R (красного), G (зеленого) и B (синего) фильтров цвета. Уровень сигнала, выводимого с каждого пикселя, соответствует уровню любого из R, G и B сигналов. Схема 103 аналого-цифрового преобразования преобразует аналоговый сигнал изображения в цифровые данные изображения, представляющие собой RAW изображение матрицы Байера, и, затем, цифровые данные изображения вводят в блок 104 обработки изображения.
На фиг.2 приведена блок-схема, иллюстрирующая конфигурацию, относящуюся к уменьшению шума блоком 104 обработки изображения в соответствии с первым примерным вариантом осуществления изобретения.
Переходя к фиг.2, блок 104 обработки изображения включает в себя блок 210 разделения, память 220, блок 230 коррекции и блок 240 объединения. Блок 210 разделения делит входящие данные изображения на данные изображения множества разных частотных диапазонов. Блок 230 коррекции выполняет на данных изображения каждого частотного диапазона уменьшение шума. Блок 240 объединения объединяет вместе данные изображения разных частотных диапазонов.
Блок 210 разделения выводит входные данные Sin изображения в память 220 как данные изображения первого частотного диапазона.
Далее, блок 210 разделения вводит данные Sin изображения в LPF 211. После сглаживания в LPF 211 входные данные Sin изображения вводят в схему 212 уменьшения. Соответственно, генерируют данные изображения, включающие в себя пикселей меньше, чем пикселей входных данных Sin изображения. В настоящем примерном варианте осуществления схема 212 уменьшения уменьшает входящие данные изображения так, что количество пикселей в обоих - вертикальном и горизонтальном направлениях может упасть в половину от первоначального количества пикселей путем выполнения понижающей дискретизации. Далее, схема 212 уменьшения выводит уменьшенные данные изображения в память 220 как данные изображения второго частотного спектра.
Кроме того, данные изображения, сгенерированные схемой 212 уменьшения, подвергают сглаживанию в фильтре 213 низких частот. Затем, сглаженные данные изображения вводят в схему 214 уменьшения. Таким образом, схема 214 уменьшения генерирует данные изображения, включающие в себя пикселей меньше, чем данные изображения, сгенерированные схемой 212 уменьшения. В настоящем примерном варианте осуществления схема 214 уменьшения аналогично выполняет понижающую дискретизацию на входных данных изображения для уменьшения размера данных изображения до половины первоначального размера в вертикальном и горизонтальном направлениях. Уменьшенные данные изображения выводят в память 220 как данные изображения третьего частотного диапазона.
Например, фильтры 211 и 213 низких частот можно реализовать следующей функцией преобразования.
H(z)=1/2*(1+Z -1 )... (Ур.1)
Блок 210 разделения функционирует как блок разделения на диапазоны. В первом частотном диапазоне частотный диапазон наиболее высокий. Второй и третий частотные диапазоны становятся ниже в этом порядке.
Как описано выше, данные изображения второго частотного диапазона и данные изображения третьего частотного диапазона обрабатывают фильтрами низких частот для проведения синхронизации, в которой сигналы всех цветовых компонент цветов RGB можно генерировать в одной позиции пикселя. Данные изображения второго частотного диапазона и данные изображения третьего частотного диапазона можно хранить в памяти 220 в синхронизированном состоянии.
Для данных изображения первого частотного диапазона блок 230 коррекции, следующий в порядке процесса, использует синхронизированные данные изображения. Однако данные изображения RAW в матрице Байера, которые еще не были синхронизированы, сохранены в памяти 220. Соответственно, настоящий примерный вариант осуществления изобретения может уменьшить требуемую для хранения данных изображения емкость памяти 220.
Блок 230 коррекции считывает данные изображения с первого по третий частотные диапазоны из памяти 220 и выполняет уменьшение шума на считанных данных изображения. Вместо считывания всех данных за один раз блок 230 коррекции считывает необходимые фрагменты данных изображения, соответствующих области, над которой нужно провести одну операцию фильтрами 231 и 232 высоких частот и схемами с 233 по 235 уменьшения при каждом выполнении обработки. Соответственно, блок 230 коррекции включает в себя память (не проиллюстрирована), но ее необходимая емкость, по сравнению с емкостью памяти 220, довольно мала. Например, фильтры 231 и 232 высоких частот можно реализовать следующей функцией преобразования.
H(z)=1/2*(1-Z -1 )... (Ур.2)
Блок 230 коррекции считывает данные изображения первого частотного диапазона, которые включают в себя заранее определенное количество пикселей, центрованное вокруг целевого пикселя. Затем, данные изображения первого частотного диапазона обрабатывают фильтром 231 высоких частот. Соответственно, блок 230 коррекции может извлечь компонент высокого диапазона из области данных изображения первого частотного диапазона, центрованного вокруг целевого пикселя. Затем, считанные данные изображения первого частотного диапазона, обладающие заранее определенным количеством пикселей, вводят в фильтр 231 высоких частот для выполнения синхронизации для генерации сигналов цветовых компонент всех цветов RGB в позиции каждого пикселя.
Схема 233 уменьшения шума (NR) использует данные изображения, обладающие компонентой высокого диапазона, которую вывели из фильтра 231 высоких частот, и определяет направление края данных изображения. Точнее, схема 233 уменьшения шума определяет направление края области считанных данных изображения на основании, например, уровня сигнала цветовой компоненты синхронизированного G сигнала. Дополнительно, схема 233 уменьшения шума выполняет обработку для микширования сигналов в определенном направлении края, чтобы сгладить данные изображения. Вышеописанным образом настоящий вариант осуществления уменьшает шумы, содержащиеся в данных изображения.
Аналогично, блок 230 коррекции считывает данные изображения второго частотного диапазона, которые включают в себя заранее известное количество пикселей, центрованных вокруг целевого пикселя, и заставляет фильтр 232 высоких частот извлечь компоненты высокого диапазона из считанных данных изображения второго частотного диапазона. Далее, блок 230 коррекции заставляет схему 234 уменьшения шума выполнить уменьшение шума на данных изображения, обработанных фильтром 232 высоких частот.
Блок 230 коррекции считывает данные изображения третьего частотного диапазона, которые включают в себя заранее определенное количество пикселей, центрованных вокруг целевого пикселя. Последовательно считанные данные изображения третьего частотного диапазона подвергают уменьшению шума в схеме 235 уменьшения шума без извлечения компонент высокого диапазона фильтром высоких частот.
Блок 230 коррекции может выполнять обработку для коррекции хроматических аберраций увеличения и обработку для удаления ложных цветов в дополнение к уменьшению шума, используя данные изображения с первого по третий частотные диапазоны. Даже если обработку, отличную от уменьшения шума, необходимо, для повышения качества изображения, выполнить в процессе коррекции, то настоящее изобретение можно применять, используя синхронизированные данные изображения второго частотного диапазона и синхронизированные данные изображения третьего частотного диапазона.
Далее, блок 240 объединения вводит данные изображения, выведенные из схемы 235 уменьшения шума, в схему 241 увеличения. Схема 241 увеличения увеличивает данные изображения так, что количество пикселей, включенных в такую же область, становится эквивалентным количеству пикселей данных изображения, выведенных из схемы 234 уменьшения шума. Точнее, схема 241 увеличения выполняет повышающую дискретизацию на данных изображения, выведенных из схемы 235 уменьшения шума, для увеличения количества пикселей как в вертикальном направлении, так и в горизонтальном направлении, удваивая его по сравнению с тем, что было до повышающей дискретизации. Далее, данные изображения, подвергнутые повышающей дискретизации, вводят в фильтр 242 низких частот. Фильтр 242 низких частот выполняет сглаживание данных изображения.
Схема 243 добавления объединяет вместе данные изображения, выведенные из фильтра 234 низких частот, и данные изображения, выведенные из схемы 234 уменьшения шума, совмещая их пространственные фазы. Затем, объединенные данные изображения выводят в схему 244 увеличения. Схема 244 увеличения увеличивает данные изображения так, что количество пикселей той же области становится эквивалентно количеству пикселей данных изображения, выведенных из схемы 233 уменьшения шума. Точнее, схема 244 увеличения выполняет повышающую дискретизацию на данных изображения, выведенных со схемы 243 добавления для увеличения количества пикселей, как в вертикальном направлении, так и в горизонтальном направлении, удваивая его по сравнению с тем, что было до повышающей дискретизации. Далее, данные изображения, подвергнутые повышающей дискретизации, вводят в фильтр 245 низких частот. Фильтр 245 низких частот выполняет сглаживание данных изображения.
Схема 246 добавления объединяет вместе данные изображения, выведенные из фильтра 245 низких частот, и данные изображения, выведенные из схемы 233 уменьшения шума, совмещая их пространственные фазы, для генерации выходных данных Sout изображения, соответствующих целевому пикселю. Блок 104 обработки изображения выполняет вышеописанную обработку на всех областях данных изображения. Соответственно, можно сгенерировать данные изображения, подвергнутые уменьшению шума.
Во время процесса добавления данных изображения в схемах 243 и 246 добавления данные изображения, выводимые из схем 233 и 234 уменьшения шума, задерживают для совмещения пространственной фазы данных изображения, которые необходимо добавить. Соответственно, блок 230 коррекции и блок 240 объединения могут снизить требуемую емкость памяти.
Для обеспечения считывания блоком 230 коррекции всех данных изображения необходимых областей в желаемое время требуется, чтобы память 220 хранила данные изображения с первого по третий частотные диапазоны для всех областей данных изображения. Если данные изображения первого частотного диапазона, обладающие наибольшим числом пикселей из всех фрагментов данных изображения с первого по третий частотные диапазоны, должны храниться в памяти 220 в синхронизированном состоянии как данные изображения второго частотного диапазона и данные изображения третьего частотного диапазона, то от памяти 220 потребуется обладать очень большой емкостью.
Для предотвращения этого в настоящем примерном варианте осуществления изобретения данные изображения второго частотного диапазона и данные изображения третьего частотного диапазона, каждый из которых уже синхронизирован блоком 210 разделения, сохранены в памяти 220 в синхронизированном состоянии. Данные изображения первого частотного диапазона, напротив, сохранены в памяти 220 без синхронизации.
Данные изображения, введенные в блок 104 обработки изображения, изначально включают в себя, для каждого цвета, сигнал цветовой компоненты, соответствующей только любому одному цвету цветового фильтра. Соответственно, если данные изображения первого частотного диапазона сохраняют в памяти как есть, то содержащееся в данных изображения количество информации не снижается. Если данные изображения первого частотного диапазона нужно подвергнуть коррекции, в которой можно сохранить матрицу Байера (например, коррекции дефектных пикселей), то коррекцию можно выполнить на данных изображения первого частотного диапазона до сохранения их в памяти 220.
Можно предположить, что синхронизированные фрагменты данных изображения второго частотного диапазона и третьего частотного диапазона подвергают дискретизации так, что каждый пиксель, обладающий одним сигналом цветовой компоненты, принадлежит конфигурации матрицы Байера, и затем сохраняют в памяти 220, аналогично данным изображения первого частотного диапазона. Однако, в этом случае, если блок 230 коррекции генерирует изображение, опять выполняя синхронизацию, то количество информации в данных изображения, по сравнению с таковым у изображения до предоставления его в матрице Байера, уменьшается. Другими словами, точность уменьшения шума может снижаться. С целью предотвращения этого в настоящем примерном варианте осуществления изобретения данные изображения второго частотного диапазона и данные изображения третьего частотного диапазона сохраняют в памяти 220 в синхронизированном состоянии.
Фильтры 231 и 232 высоких частот блока 230 коррекции нужны не всегда. Если отношение объединения данных изображения, выполняемое схемами 241 и 244 увеличения, можно соответственно изменять в соответствии с интенсивностью краевых компонент, включенных в данные изображения первого частотного диапазона, то блок 230 коррекции может исключить фильтры 231 и 232 высоких частот. В частности, отношение объединения данных изображения частотного диапазона можно увеличить, когда количество данных изображения, включенных в краевую компоненту, большое.
На фиг.3 приведена блок-схема, иллюстрирующая конфигурацию уменьшения шума, которую выполняют в блоке 104 обработки изображения, в соответствии со вторым примерным вариантом осуществления настоящего изобретения.
Ссылаясь на фиг.3, блок 104 обработки изображения состоит из блока 310 разделения, памяти 320, блока 330 коррекции и блока 340 объединения. Блок 310 разделения делит входные данные изображения на данные изображения множества частотных диапазонов. Блок 330 коррекции выполняет уменьшение шума на данных изображения каждого частотного диапазона. Блок 340 объединения объединяет данные изображения разных частотных диапазонов вместе.
Память 320 и блок 340 объединения обладают конфигурацией, аналогичной конфигурации памяти 220 и блока 240 объединения, проиллюстрированных на фиг.2, соответственно.
В блоке 310 разделения фильтр низких частот 311, схема 312 уменьшения, фильтр 313 низких частот и схема 314 уменьшения обладают конфигурацией, аналогичной конфигурации фильтра 211 низких частот, схемы 212 уменьшения, фильтра 213 низких частот и схемы 214 уменьшения, проиллюстрированных на фиг.2, соответственно. В отличие от блока 210 разделения, проиллюстрированного на фиг.2, блок 310 разделения, в соответствии с настоящим примерным вариантом осуществления изобретения, включает в себя схемы 315 и 316 преобразования красного и синего цветов (RB).
В блоке 330 коррекции фильтры 331 и 332 высоких частот и схемы с 333 по 335 уменьшения шума обладают конфигурацией, аналогичной конфигурации фильтров 231 и 232 высоких частот и схем с 233 по 235 уменьшения шума в блоке 230 коррекции, проиллюстрированном на фиг.2, соответственно. В отличие от блока 230 коррекции, проиллюстрированном на фиг.2, блок 330 коррекции, в соответствии с настоящим вариантом осуществления, включает в себя схемы 336 и 337 обратного преобразования RB.
Схемы 315 и 316 преобразования RB выполняют обработку для уменьшения горизонтального разрешения данных изображения, содержащих в себе сигналы красной и синей цветовой компоненты синхронизированных данных изображения, выведенных из схем 312 и 314 уменьшения, до половины их исходного горизонтального разрешения. Точнее, данные изображения обрабатывают так, что все пиксели обладают сигналами зеленой цветовой компоненты, но только часть (половина) пикселей обладает сигналами красной и синей цветовых компонент. Например, данные изображения можно сократить с помощью понижающей дискретизации в горизонтальном направлении с использованием фильтрации низких частот, которая реализуется нижеследующей функцией преобразования.
H(z)=1/4*(1+2*Z -1 +Z -2 )... (Ур.3)
Схемы 336 и 337 обратного преобразования RB выполняют обработку для возврата горизонтального разрешения данных изображения, включающих в себя сигналы красного и синего цветовых компонент, чье горизонтальное разрешение было уменьшено схемами 315 и 316 преобразования RB до уровня в половину от исходного, до уровня в два раза больше. Точнее, данные изображения можно проинтерполировать с помощью той же повышающей дискретизации, увеличивающей вдвое в горизонтальном направлении.
По сравнению с сигналом зеленой цветовой компоненты, эффект от сигнала красной цветовой компоненты и сигнала синей цветовой компоненты, влияние на визуальные характеристики данных изображения, включающих в себя сигналы красной, синей и зеленой цветовых компонент, относительно ниже. Соответственно, если горизонтальное разрешение каждой из красной цветовой компоненты и синей цветовой компоненты уменьшить до половины от исходного уровня, не изменяя горизонтальное разрешение зеленой цветовой компоненты, качество сфотографированного изображения может не быть снижено очень сильно.
Соответственно, в настоящем примерном варианте осуществления изобретения данные изображения второго частотного диапазона и данные третьего частотного диапазона сохраняют в памяти 320 после уменьшения горизонтального разрешения красной и синей цветовых компонент до половины от исходного уровня. Таким образом, настоящий примерный вариант осуществления изобретения может уменьшить требуемую емкость и пропускную способность памяти 320.
Необходимость выполнения обработки схемами 315 и 316 преобразования RB и схемами 336 и 337 обратного преобразования RB можно изменять в соответствии с рабочим режимом устройства захвата изображения. Современная цифровая камера включает в себя множество рабочих режимов (функций), таких как режим записи движущегося изображения и режим последовательной высокоскоростной съемки в дополнение к режиму съемки статичного изображения. В режиме записи движущегося изображения и в режиме последовательной высокоскоростной съемки требуется предоставить цифровой камере память, обладающую соответствующей пропускной способностью.
Если датчик 102 изображения находится в режиме работы, в котором используется большая пропускная способность памяти, таком как съемка движущегося изображения или последовательная высокоскоростная съемка, то можно включить обработку схемами 315 и 316 преобразования RB и схемами 336 и 337 обратного преобразования RB.
С другой стороны, если датчик 102 изображения находится в режиме съемки статичного изображения, обработку схемами 315 и 316 преобразования RB и схемами 336 и 337 обратного преобразования RB можно отключить. В вышеописанной конфигурации настоящий примерный вариант осуществления может выполнять уменьшение шума, используя данные изображения с большим количеством информации, по сравнению со случаем, когда включена вышеописанная обработка схемами преобразования RB и схемами обратного преобразования RB. Соответственно, настоящий примерный вариант осуществления может выполнять уменьшение шума с высокой точностью.
В каждом примерном варианте осуществления, описанном выше со ссылкой на соответствующие чертежи, предоставлены разные схемы для обработки разного содержимого для облегчения понимания. Однако вышеописанное множество схем можно реализовать интегральной схемой. С другой стороны, вышеописанную в рамках одной схемы обработку можно разделить и реализовать множеством схем.
Как описано выше, каждый примерный вариант осуществления изобретения использует данные изображения, сгенерированные датчиком изображения, обладающим матрицей Байера и обладающий цветовыми фильтрами для базовых цветов RGB. Однако настоящее изобретение не ограничивается этой конфигурацией. Другими словами, вышеописанную обработку можно также выполнять для данных изображения, сгенерированных датчиком, обладающим цветовыми фильтрами для дополнительных цветов, таких как желтый (Y), пурпурный (M) и голубой (C).
В каждом примерном варианте осуществления данные изображения делят на данные изображения трех разных частотных диапазонов. Однако настоящее изобретение можно реализовать иным делением данных изображения на данные изображения только двух частотных диапазонов. Кроме того, в качестве альтернативы, настоящее изобретение можно дополнительно реализовать, если данные изображения разделять на данные изображения четырех или более частотных диапазонов.
В качестве способа для деления данных изображения на множество фрагментов данных изображения разных частотных диапазонов, отличающегося от вышеописанного способа, можно альтернативно использовать следующий способ. Точнее, данные изображения можно, для реализации настоящего изобретения, делить на множество фрагментов данных изображения взаимно разных частотных диапазонов с использованием вейвлет-преобразования.
Кроме того, настоящее изобретение не ограничивается устройством захвата изображения. Также, настоящее изобретение можно реализовывать как персональный компьютер (PC), на который установлено приложение по обработке изображений, если PC может функционировать как устройство обработки изображения, способное обрабатывать данные изображения, включающие в себя сигналы разных цветовых компонент, соответствующих пикселям, выполняя синхронизацию на этих сигналах.
Настоящее изобретение также можно реализовать, предоставив систему или устройство с энергонезависимым носителем памяти, в котором сохранен программный код программного обеспечения, реализующий функции вариантов осуществления изобретения, и путем считывания и выполнения программного кода, сохраненного на носителе записи при помощи компьютера системы или устройства (CPU или микропроцессора (MPU)).
Несмотря на то, что настоящее изобретение было описано со ссылкой на примерные варианты осуществления изобретения, необходимо понимать, что изобретение не ограничивается описанными примерными вариантами осуществления. Область действия нижеприведенной формулы изобретения необходимо трактовать максимально широко, так, чтобы включить любые изменения, эквивалентные структуры и функции.
Настоящая заявка испрашивает приоритет по заявке на патент Японии № 2010-109548, поданной 11 мая 2010, которая полностью включена в настоящий документ посредством ссылки.
Изобретение относится к обработке изображений. Техническим результатом является то, что устройство обработки изображения может выполнять соответствующую обработку изображения, одновременно предотвращая увеличение емкости памяти для хранения множества фрагментов данных изображения разных частотных диапазонов. Результат достигается тем, что устройство обработки изображений сохраняет в памяти первые данные изображения, обладающие наибольшей частотой среди множества фрагментов данных изображения разных частотных диапазонов в состоянии, в котором каждый пиксель первых данных изображения включает в себя сигнал цветовой компоненты любого из множества цветов, и дополнительно сохраняет в памяти вторые данные изображения и третьи данные изображения, частотные диапазоны которых ниже, чем у первых данных изображения, в состоянии, в котором часть или все пиксели вторых и третьих данных изображения обладают сигналами цветовых компонент множества цветов. 3 н. и 5 з.п. ф-лы, 6 ил.
1. Устройство обработки изображения, включающее в себя:
средство разделения на диапазоны на основании первых данных изображения, которые включают в себя сигналы цветовых компонент множества цветов и каждый пиксель которых включает в себя любой сигнал цветовой компоненты из сигналов цветовых компонент множества цветов для вывода вторых данных изображения частотного диапазона ниже, чем частотный диапазон первых данных изображения, и третьих данных изображения частотного диапазона еще ниже, чем частотный диапазон вторых данных изображения;
память для хранения первых данных изображения, вторых данных изображения и третьих данных изображения;
средство коррекции для выполнения корректирующей обработки на первых данных изображения, вторых данных изображения и третьих данных изображения, сохраненных в памяти; и
средство объединения для объединения вместе первых данных изображения, вторых данных изображения и третьих данных изображения, которые были скорректированы средством коррекции,
причем часть или все пиксели каждых из вторых данных изображения и третьих данных изображения, выведенных из средства разделения на диапазоны, включают в себя сигналы цветовых компонент множества цветов, и
причем память хранит первые данные изображения в состоянии, в котором каждый пиксель включает в себя любой сигнал цветовой компоненты из сигналов цветовых компонент множества цветов и хранит вторые данные изображения и третьи данные изображения в состоянии, в котором часть или все их пиксели включают в себя сигналы цветовых компонент множества цветов.
2. Устройство обработки изображения по п.1,
в котором средство разделения на диапазоны генерирует на основании первых данных изображения четвертые данные изображения, частотный диапазон которых ниже, чем частотный диапазон первых данных изображения, и каждый пиксель которых включает в себя сигналы цветовых компонент множества цветов, и пятые данные изображения, частотный диапазон которых ниже, чем частотный диапазон четвертых данных изображения, и каждый пиксель которых включает в себя сигналы цветовых компонент множества цветов, средство разделения на диапазоны дополнительно генерирует шестые данные изображения на основании четвертых данных изображения путем уменьшения количества пикселей, включающих в себя любой сигнал цветовой компоненты из сигналов цветовых компонент множества цветов четвертых данных изображения, и седьмые данные изображения на основании пятых данных изображения путем уменьшения количества пикселей, включающих в себя любой сигнал цветовой компоненты из сигналов цветовых компонент множества цветов пятых данных изображения, и средство разделения на диапазоны еще дополнительно выводит в память шестые данные изображения и седьмые данные изображения в качестве вторых данных изображения и третьих данных изображения соответственно и
в котором средство коррекции выполняет корректирующую обработку после изменения количества пикселей, включающих в себя любые из сигналов цветовых компонент шестых данных изображения, которые были сохранены в памяти в качестве вторых данных изображения, до количества такого же, как количество пикселей, включающих в себя любые из сигналов цветовых компонент четвертых данных изображения, и дополнительно выполняет корректирующую обработку после изменения количества пикселей, включающих в себя любые из сигналов цветовых компонент седьмых данных изображения, которые были сохранены в памяти в качестве третьих данных изображения, до количества такого же, как количество пикселей, включающих в себя любые из сигналов цветовых компонент пятых данных изображения.
3. Устройство обработки изображения по п.2,
в котором средство разделения на диапазоны определяет, нужно ли выводить в память четвертые данные изображения в качестве вторых данных изображения или выводить в память шестые данные изображения в качестве вторых данных изображения, и определяет, нужно ли выводить в память пятые данные изображения в качестве третьих данных изображения или выводить в память седьмые данные изображения в качестве третьих данных изображения, в соответствии с режимом работы датчика изображения, который сконфигурирован для генерирования первых данных изображения.
4. Устройство обработки изображения по п.2,
в котором сигналы цветовых компонент множества цветов включают в себя сигналы красного (R), зеленого (G) и синего (B) цветовых компонент и в котором сигнал цветовой компоненты, соответствующий любому из множества цветов, включает в себя сигнал цветовой компоненты R и сигнал цветовой компоненты B.
5. Устройство обработки изображения по п.1,
в котором корректирующая обработка включает в себя, по меньшей мере, одно из обработки уменьшения шума, обработки коррекции хроматических аберраций увеличения и обработки удаления ложного цвета.
6. Устройство обработки изображения по п.1,
в котором средство коррекции преобразует первые данные изображения так, что каждый пиксель первых данных изображения включает в себя сигналы цветовых компонент множества цветов и, затем, выполняет корректирующую обработку на первых данных изображения.
7. Способ для управления устройством обработки изображения, причем упомянутый способ содержит этапы, на которых:
выводят на основании первых данных изображения, которые включают в себя сигналы цветовых компонент множества цветов и каждый пиксель которых включает в себя любой сигнал цветовой компоненты из сигналов цветовых компонент множества цветов, вторые данные изображения, имеющие частотный диапазон ниже, чем частотный диапазон первых данных изображения, и третьи данные изображения, имеющие частотный диапазон еще ниже, чем частотный диапазон вторых данных изображения;
сохраняют первые данные изображения, вторые данные изображения и третьи данные изображения в памяти;
выполняют корректирующую обработку на первых данных изображения, вторых данных изображения и третьих данных изображения, сохраненных в памяти; и
объединяют вместе скорректированные первые данные изображения, вторые данные изображения и третьи данные изображения,
причем часть или все пиксели каждых из вторых данных изображения и третьих данных изображения включают в себя сигналы цветовых компонент множества цветов и
причем память хранит первые данные изображения в состоянии, в котором каждый пиксель включает в себя любой сигнал цветовой компоненты из сигналов цветовых компонент множества цветов и хранит вторые данные изображения и третьи данные изображения в состоянии, в котором часть или все их пиксели включают в себя сигналы цветовых компонент множества цветов.
8. Считываемый компьютером энергонезависимый носитель записи, содержащий сохраненные на нем выполняемые на компьютере инструкции, заставляющие компьютер выполнять способ для управления устройством обработки изображения по п.7.
