УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ФИКСАЦИИ ИЗОБРАЖЕНИЯ И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2011 года по МПК G06T5/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображений, устройству фиксации изображения и способу обработки изображений, которые используются для выполнения обработки изображений над изображением, которое получено от датчика изображения, например датчика изображения CCD (прибор с зарядовой связью) или датчика изображения CMOS (комплементарный металлооксидный полупроводник). В частности, настоящее изобретение относится к повышению качества изображения у снятого изображения.

Описание предшествующего уровня техники

Датчик изображения, такой как датчик изображения CCD или датчик изображения CMOS, используется для устройства фиксации изображения, например цифровой фотокамеры или видеокамеры. В последние годы количество пикселей на датчике изображения увеличилось, сопутствуя сокращению размера каждого пикселя. Использование датчика изображения, имеющего увеличенное количество пикселей, все еще требует высокоскоростной обработки, чтобы не потерять удобство в использовании, например при использовании постоянной скорости съемки. Типовой способ высокоскоростной обработки включает в себя многоканальный подход, который предоставляет множество выходных каналов для датчика изображений, чтобы одновременно считывать множество пикселей. Однако возникает случай, когда пиксели восприимчивы к влиянию шума, поскольку оптические сигналы становятся слабыми из-за сокращения в размере пикселя. К тому же величина шума отличается в зависимости от выходных каналов под влиянием многоканальных эффектов.

Например, в многоканальном датчике изображения CMOS, имеющем множество выходных усилителей, разности уровней возникают в каждом столбце, если есть колебания в характеристиках этих выходных усилителей. Эта разность уровней называется "структурным шумом в вертикальном направлении". К тому же, поскольку источник питания и заземление (GND) являются совместно используемыми для каждого пикселя, разность уровней возникает во всей выбранной строке, если источник питания и заземление для каждого пикселя колеблются во время считывания выбранной строки. Эта разность уровней называется "структурным шумом в горизонтальном направлении".

Структурный шум в горизонтальном направлении может вызывать разность интенсивности в левом и правом направлениях в зависимости от положения, в котором источник питания и заземление предоставляются внутри датчика изображения. Поскольку длина проводки от источника питания и заземления для каждого пикселя разная, полное сопротивление провода также разное для разных пикселей. Отсюда полное сопротивление проводки увеличивается, чем дальше пиксель располагается от источника питания и заземления, в силу чего влияние колебаний в источнике питания и заземлении становится сильнее. Поэтому интенсивность структурного шума может увеличиваться в более отдаленном положении от источника питания и заземления. Такой структурный шум может вызывать ухудшение качества изображения, которое требует уменьшения величины шума.

Поскольку структурный шум в вертикальном направлении должен определяться однозначно с помощью характеристик выходных усилителей, он может быть исправлен посредством исправления колебаний для каждого выходного усилителя. С другой стороны, структурный шум в горизонтальном направлении может стать произвольным, если колебания в источнике питания и заземлении произвольные. Типовой способ для исправления такого структурного шума включает в себя коррекцию сдвига, которая будет описана ниже.

Датчик изображения оборудуется областью, называемой "оптическим уровнем черного" (в дальнейшем называется "OB"), которая экранируется, чтобы не позволить свету, отраженному от объекта, дойти до датчика изображения. Структурный шум также возникает в участке OB. Таким образом, в коррекции сдвига величина структурного шума в горизонтальном направлении вычисляется путем вычисления среднего для каждой строки горизонтального оптического уровня черного (в дальнейшем называется "HOB"), предоставленного в виде полосы на одном крае горизонтального направления в пиксельной области из участка OB. Структурный шум исправляется путем вычитания этого значения из каждой строки рабочего участка, который является неэкранированной обычной областью.

Кроме того, в качестве способа для устранения шума предложен способ устранения шума, использующий частотное разложение. Выложенный патентный документ Японии №2006-309749 раскрывает способ, в котором изображение раскладывается на низкочастотные составляющие и высокочастотные составляющие в множестве полос частот посредством нескольких преобразований разрешения, и обработка с устранением шума выполняется для каждой из полученных разложением низкочастотных составляющих и высокочастотных составляющих. В этом способе сохраняющий края сглаживающий фильтр используется для обработки с устранением шума и синтезируются частотные составляющие с устраненным шумом, чтобы получить исправленное изображение.

К тому же, выложенный патентный документ Японии №2008-15741 раскрывает способ, который повторяет операции раскладывания изображения, полученного датчиком изображения, на высокочастотную составляющую и низкочастотную составляющую, раскладывает результирующие составляющие на множество полос частот, удаляет составляющую шума из высокочастотной составляющей в каждой полосе частот, чтобы посредством этого получить исправленное изображение с помощью частотного синтеза. Для устранения шума из высокочастотной составляющей низкочастотная составляющая в той же полосе частот подвергается фильтрации с выделением краев с тем, чтобы не удалить неумышленно составляющую края объекта, чтобы посредством этого сформировать сохраняющую края информацию. Шум из участка, отличного от участка края, удаляется с использованием этой информации.

К сожалению, не только структурный шум, сформированный для каждой строки или столбца, но также и случайный шум, сформированный произвольно для каждого пикселя, включаются в снятое изображение. Когда присутствует большое количество случайного шума, коррекция сдвига, которая вычитает среднее для каждой строки области HOB из рабочего участка, не может точно обнаружить структурный шум из области HOB из-за влияния случайного шума. К тому же, когда возникает структурный шум, имеющий разность интенсивности в левом и правом направлениях, разность интенсивности в левом и правом направлениях не может быть обнаружена с помощью одной области HOB. В результате в дополнение к недостижимому эффекту достаточного исправления качество изображения может ухудшаться.

Поскольку способ устранения шума, раскрытый в выложенном патентном документе Японии №2006-309749, использует сохраняющий края сглаживающий фильтр, любой шум исправляется независимо от наличия или отсутствия шума на участке, отличном от участка края. Также, способ устранения шума, раскрытый в выложенном патентном документе Японии №2008-15741, также выполняет уменьшение шума независимо от наличия или отсутствия шума в положении, отличном от положения, где обнаружен край с помощью фильтра выделения краев. Поэтому традиционные способы устранения шума выполняют уменьшение шума даже в положении, где шум изначально отсутствует, и соответственно исправление является излишним, и результат которого может вызвать ухудшение разрешения изображения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Желательно предоставить устройство обработки изображений, устройство фиксации изображения, способ обработки изображений, которые могут точно обнаруживать структурный шум, имеющий разность интенсивности в левом и правом направлениях или в направлении выше и ниже, в снятом изображении, и могут повысить качество изображения путем исправления такого структурного шума.

Настоящее изобретение предоставляет устройство обработки изображений, содержащее секцию разложения на частотные составляющие, которая раскладывает изображение, полученное от датчика изображения, имеющего экранированную от света пиксельную область и неэкранированную от света пиксельную область, на две или более частотные составляющие; секцию вычисления величины шума, которая вычисляет величину шума для частотной составляющей на основе частотной составляющей в экранированной от света пиксельной области; секцию подавления шумов, которая подавляет составляющую шума для частотной составляющей в неэкранированной от света пиксельной области в соответствии с величиной шума, которая вычислена секцией вычисления величины шума; и секцию синтеза частотной составляющей, которая синтезирует частотную составляющую, которая разложена секцией разложения на частотные составляющие, чтобы посредством этого сформировать изображение.

Желательно, чтобы структурный шум, имеющий разность интенсивности в левом и правом направлениях или в направлении выше и ниже, мог быть точно обнаружен в снятом изображении, и качество изображения могло быть повышено путем исправления такого структурного шума.

Дополнительные признаки настоящего изобретения станут очевидными из нижеследующего описания типовых вариантов осуществления со ссылкой на оформленные чертежи.

Перечень чертежей

Фиг.1 - блок-схема, показывающая первый вариант осуществления устройства фиксации изображения с устройством обработки изображений из настоящего изобретения.

Фиг.2 - изображение, показывающее схематическую конфигурацию датчика 60 изображения из первого варианта осуществления, использующую датчик изображения CMOS.

Фиг.3 - изображение, показывающее пример схемы для единичного пикселя 600 (одного пикселя) в датчике изображения CMOS.

Фиг.4 - изображение, показывающее общую компоновку датчика изображения CMOS в многоканальной конфигурации, принятой датчиком 60 изображения из первого варианта осуществления.

Фиг.5 - блок-схема, показывающая пример конфигурации схемы секции 100 обработки изображений.

Фиг.6 - функциональная блок-схема, показывающая пример конфигурации схемы секции 110 разложения на частотные составляющие.

Фиг.7 - изображение, показывающее, как входное изображение раскладывается на множество частотных составляющих.

Фиг.8 - функциональная блок-схема, показывающая пример конфигурации схемы секции 120 синтеза частотной составляющей.

Фиг.9 - блок-схема, показывающая конфигурацию секции 123 исправления.

Фиг.10А и 10В - схемы, иллюстрирующие обработку по исправлению.

Фиг.11A и 11B - соответственно изображение, показывающее абсолютные значения коэффициентов вейвлет-расширения у строки, в которой присутствует структурный шум в изображении LH, и изображение, показывающее абсолютные значения коэффициентов вейвлет-расширения у строки, в которой не возникает структурный шум в изображении LH.

Фиг.12А-12D - изображения, показывающие поправочный коэффициент, на который коэффициент вейвлет-расширения умножается в секции подавления шумов.

Фиг.13 - блок-схема последовательности операций, показывающая ход обработки каждой строки в изображении LH, выполняемой секцией исправления.

Фиг.14 - типовая блок-схема последовательности операций, показывающая обработку по подавлению шумов в секции 100 обработки изображений.

Фиг.15 - функциональная блок-схема, показывающая пример конфигурации схемы секции 220 синтеза частотной составляющей по второму варианту осуществления.

Фиг.16 - блок-схема, показывающая конфигурацию секции 223 исправления.

Фиг.17 - блок-схема последовательности операций, показывающая ход обработки каждой строки в изображении LH, которая должна выполняться секцией исправления в третьем варианте осуществления.

Фиг.18А и 18В - изображения, показывающие, как вычислить отношение Wr(m) интенсивностей.

Фиг.19 - изображение, показывающее абсолютное значение и пороговое значение Wth'(n, m) коэффициента расширения у строки, в которой присутствует структурный шум в изображении LH, когда структурный шум, имеющий разность интенсивности, возникает в зависимости от его горизонтального положения.

Фиг.20 - изображение, показывающее поправочный коэффициент, разделенный на отношение Wr(m) интенсивностей.

Фиг.21 - функциональная блок-схема, показывающая пример конфигурации схемы секции 420 синтеза частотной составляющей в четвертом варианте осуществления.

Фиг.22 - блок-схема, показывающая конфигурацию секции 423 исправления.

Фиг.23 - график для вычисления коэффициента яркости из уровня яркости объекта.

Фиг.24 - блок-схема, показывающая пример конфигурации схемы секции 500 обработки изображений по пятому варианту осуществления.

Фиг.25 - функциональная блок-схема, показывающая пример конфигурации схемы секции 520 синтеза частотной составляющей.

Фиг.26 - блок-схема, показывающая конфигурацию секции 523 исправления.

Фиг.27 - изображение, показывающее схематическую конфигурацию датчика 60 изображения по шестому варианту осуществления, использующую датчик изображения CMOS.

Фиг.28А и 28В - схемы, иллюстрирующие обработку по исправлению.

Фиг.29 - изображение, показывающее абсолютные значения коэффициентов вейвлет-расширения у строки, в которой присутствует структурный шум в изображении LH.

Фиг.30 - график поправочного коэффициента c'.

Фиг.31 - изображение, показывающее абсолютное значение коэффициента вейвлет-расширения после обработки по подавлению шумов для строки, в которой присутствует структурный шум в изображении LH.

Фиг.32 - блок-схема последовательности операций, показывающая ход обработки каждой строки в изображении LH, выполняемой секцией исправления.

Фиг.33 - блок-схема последовательности операций, показывающая ход обработки каждой строки в изображении LH, выполняемой секцией исправления в седьмом варианте осуществления.

Фиг.34А и 34В - схемы, иллюстрирующие обработку, выполняемую секцией подавления шумов в седьмом варианте осуществления.

Описание вариантов осуществления настоящего изобретения со ссылкой на прилагаемые чертежи

Первый вариант осуществления

Фиг.1 - блок-схема, показывающая первый вариант осуществления устройства фиксации изображения с устройством обработки изображений из настоящего изобретения. Устройство фиксации изображения по первому варианту осуществления является цифровой фотокамерой и включает в себя съемочный объектив 10, блок 11 управления объективом, затвор 12 и секцию 13 управления затвором. Устройство фиксации изображения также включает в себя аналоговую входную схему 14 (в дальнейшем называется "AFE"), цифровую входную схему 15 (в дальнейшем называется "DFE"), схему 16 формирования синхронизации (в дальнейшем называется "TG"), схему 17 управления памятью и память 18 воспроизведения изображений. Устройство фиксации изображения дополнительно включает в себя секцию 19 воспроизведения изображений, память 20, секцию 21 управления измерением расстояния, термометр 22, секцию 23 управления измерением света, секцию 24 вспышки, разъем 25 для аксессуаров, схему 26 управления системой, память 27, секцию 28 отображения, энергонезависимую память 29, секцию 30 управления и секцию 31 регулирования мощности. Устройство фиксации изображения, более того, включает в себя секцию 32 питания, носитель 40 информации, датчик 60 изображения и секцию 100 обработки изображений.

Съемочный объектив 10 является снимающим изображение объективом для получения изображений изображения объекта на датчике 60 изображения. Съемочный объектив 10 оборудуется двигателем (не показан) и оборудуется механизмом, который управляет двигателем для достижения фокуса в соответствии с результатами обработки секции 21 управления измерением расстояния, которая будет описана ниже. Блок 11 управления объективом передает информацию, принятую от съемочного объектива 10, в схему 26 управления системой, а также управляет работой съемочного объектива 10. Затвор 12 является механическим затвором, который управляет величиной выдержки у датчика 60 изображения. Секция 13 управления затвором управляет затвором 12.

AFE 14 включает в себя аналого-цифровой преобразователь, который преобразует аналоговый сигнал, выведенный из датчика 60 изображения, в цифровой сигнал, схему фиксации (схему регулятора сдвига) и цифроаналоговый преобразователь. DFE 15 принимает цифровые выходные данные от AFE 14 и выполняет цифровую обработку, например исправление или перестановку. TG 16 поставляет тактовый сигнал или управляющий сигнал датчику 60 изображения, AFE 14 и DFE 15. TG 16 управляется схемой 17 управления памятью и схемой 26 управления системой.

Схема 17 управления памятью управляет AFE 14, DFE 15, TG 16, секцией 100 обработки изображений, памятью 18 воспроизведения изображений и памятью 20. Данные из DFE 15 записываются в память 18 воспроизведения изображений или память 20 посредством секции 100 обработки изображений и схемы 17 управления памятью, либо посредством только схемы 17 управления памятью. Память 18 воспроизведения изображений является памятью для отображения изображения. Секция 19 воспроизведения изображений является дисплеем для отображения изображения, например секцией воспроизведения изображений, состоящей из LCD (Жидкокристаллический дисплей) типа TFT (Тонкопленочный транзистор). Память 20 является памятью, которая хранит снятое неподвижное изображение или движущееся изображение и обладает объемом памяти, достаточным для хранения заранее установленного количества неподвижных изображений и заранее установленного периода времени движущихся изображений.

Секция 21 управления измерением расстояния управляется схемой 26 управления системой и выполняет измерение расстояний для выполнения обработки с AF (автоматическая фокусировка). Термометр 22 выполняет измерение температуры для измерения температуры окружающей среды в условиях съемки или внутренней температуры в фотокамере (около датчика изображения или т.п.). Секция 23 управления измерением света управляется схемой 26 управления системой и выполняет измерение света для выполнения обработки с AE (автоматическая экспозиция). Секция 23 управления измерением света также имеет функцию для съемки со вспышкой совместно с секцией 24 вспышки.

Секция 24 вспышки является электронной вспышкой, которая излучает дополнительное освещение, когда яркость объекта низкая. Секция 24 вспышки также имеет функцию "заполняющего света" для дополнительного освещения автоматической фокусировки. Секция 24 вспышки напрямую подключена к разъему 25 для аксессуаров. Однако в зависимости от условий съемки секция 24 вспышки также может располагаться в положении, удаленном от устройства фиксации изображения при соединении через специальный кабель или соединении по беспроводной связи посредством секции беспроводной связи (не показана). Состояние соединения секции 24 вспышки может определяться с использованием части линии связи в разъеме 25 для аксессуаров или может определяться из состояния связи секции беспроводной связи (не показана). В этом конкретном варианте осуществления секция 24 вспышки существует в виде, который является съемным с устройства фиксации изображения. Однако секция 24 вспышки также может существовать в виде, который встраивается в устройство фиксации изображения. Разъем 25 для аксессуаров является секцией соединения, с которой аксессуар, например секция 24 вспышки, является съемной и прочно устанавливается на устройство фиксации изображения.

Схема 26 управления системой является секцией управления для общего управления устройством фиксации изображения из настоящего варианта осуществления и содержит известный CPU или т.п. Память 27 является средством хранения для хранения констант, переменных или программ для функционирования схемы 26 управления системой. Секция 28 отображения является секцией отображения для отображения рабочего состояния или сообщения в соответствии с выполнением программы схемой 26 управления системой. Энергонезависимая память 29 является средством хранения, например EEPROM (Электрически стираемое и программируемое ROM), в котором сохранены различные программы, необходимые для функционирования устройства фиксации изображения.

Секция 30 управления является секцией управления, включающей главный переключатель (переключатель запуска) для ввода различных рабочих команд схемы 26 управления системой, переключатель затвора, диск установки режима для переключения режима съемки, или т.п. Секция 31 регулирования мощности включает в себя схему обнаружения батареи или преобразователь постоянного тока и управляет источником питания. Секция 32 питания является источником питания, состоящим из основной батареи, например щелочной батареи или литиевой батареи, вторичной батареи, например никель-кадмиевой батареи, никель-металлогидридной батареи и литиевой батареи, адаптера переменного тока и т.п. Носитель 40 информации является съемным носителем информации, например картой памяти или жестким диском. Носитель информации может считывать и записывать информацию в состоянии, в котором он устанавливается в устройство чтения/записи (не показано).

Датчик 60 изображения преобразует изображение объекта, то есть оптическое изображение, в электрический сигнал. В этом конкретном варианте осуществления в качестве датчика 60 изображения используется датчик изображения CMOS. Датчик 60 изображения имеет микролинзу ML для передачи и концентрирования света для каждого пикселя и цветной фильтр CF с шаблоном Байера (Bayer), имеющий разный спектральный коэффициент пропускания, предусмотренные на поверхности полупроводниковой секции, которая выполняет фотоэлектрическое преобразование. Подробности датчика 60 изображения будут описываться позже. Секция 100 обработки изображений выполняет различные обработки изображения, например заранее установленную обработку по интерполяции пикселей, обработку по преобразованию цвета и обработку по исправлению структурного шума относительно данных, принятых от DFE 15, или данных, принятых от схемы 17 управления памятью. В этом конкретном варианте осуществления датчик 60 изображения обладает свойствами, в частности в отношении обработки по исправлению структурного шума, подробности которой будут описываться позднее.

Фиг.2 - изображение, показывающее схематическую конфигурацию датчика 60 изображения по первому варианту осуществления, использующую датчик изображения CMOS. Датчик 60 изображения включает в себя горизонтальный оптический уровень 61 черного (в дальнейшем называется "HOB"), вертикальный оптический уровень 62 черного (в дальнейшем называется "VOB") и рабочий участок 63 в качестве пиксельной области. HOB 61 является экранированной пиксельной областью, предоставленной в виде полосы на одном крае горизонтального направления в пиксельной области и экранированной, чтобы не позволить свету, отраженному от объекта, дойти до датчика 60 изображения. В примере на фиг.2 HOB 61 предоставляется на левом крае датчика 60 изображения. VOB 62 является экранированной пиксельной областью, предоставленной в виде полосы на одном крае вертикального направления в пиксельной области и экранированной, чтобы не позволить свету, отраженному от объекта, дойти до датчика 60 изображения. В примере на фиг.2 VOB 62 предоставляется на верхнем крае датчика 60 изображения. Рабочий участок 63 является неэкранированной пиксельной областью, к которой свет, отраженный от объекта, может дойти без экранирования.

Фиг.3 - изображение, показывающее пример схемы для единичного пикселя 600 (одного пикселя) в датчике изображения CMOS. Единичный пиксель 600 включает в себя фотодиод 601 (в дальнейшем называется "PD"), передаточный ключ 602 (в дальнейшем называется "TX"), переключатель 603 сброса, усилитель 604 плавающей диффузии (в дальнейшем называется "FD"), усилитель 605 и переключатель 606 выбора строки. Единичный пиксель 600 подключается к вертикальной выходной линии 607. PD 601 принимает свет изображения объекта, который сфокусирован съемочным объективом 10 (см. фиг.1), для формирования и накопления электрического заряда. TX 602 является переключателем, который передает к FD 604 электрический заряд, сформированный на PD 601, и основывается на МОП-транзисторе. Переключатель 603 сброса сбрасывает потенциал FD 604. FD 604 является конденсатором, который временно накапливает электрический заряд. Усилитель 605 является МОП-усилителем для усиления, который функционирует в качестве истокового повторителя. Переключатель 606 выбора строки является переключателем выбора строки. С помощью вышеупомянутой компоновки электрический заряд, который накоплен в PD 601, передается посредством TX 602 к FD 604 для преобразования этого электрического заряда в напряжение, при помощи чего вывод пикселя выводится из усилителя 605 в вертикальную выходную линию 607 через истоковый повторитель.

Фиг.4 - изображение, показывающее общую компоновку датчика изображения CMOS в многоканальной конфигурации, принятой датчиком 60 изображения из первого варианта осуществления. В размещении, показанном на фиг.4, единичные пиксели 600, которые уже описаны на фиг.3, размещаются в виде матрицы n на m (единичные пиксели 600 (1-1)-600 (n-m)), где n и m - натуральные числа. Управление накоплением для каждого пикселя выполняется с помощью сигналов (управляющий сигнал ϕTX для TX 602, управляющий сигнал ϕRES для переключателя 603 сброса и управляющий сигнал ϕSEL для переключателя 606 выбора строки), сформированных из схемы 647 кадровой развертки.

Также вертикальная выходная линия 607 (607(1)-607(m)) подключается подобно единичным пикселям 600, упорядоченным в вертикальном направлении. Эта вертикальная выходная линия 607 подключается к схеме S-N 645 (645 (1)-645 (m)) для каждой линии. Управление выбором выхода в схеме S-N 645 (645 (1)-645 (m)) выполняется с помощью схемы 646 строчной развертки (646a и 646b). Выход схемы S-N 645 (645 (1)-645 (m)) выводится в схемы последующей обработки, например AFE 14, показанную на фиг.1, через выходные усилители 644 (644-1 - 644-4).

Чтобы обеспечить высокоскоростную обработку, датчик изображения CMOS, показанный на фиг.4, оборудуется четырьмя выходными усилителями 644, чтобы множество горизонтальных пикселей (четыре пикселя на фиг.4) могло обрабатываться одновременно, при помощи чего сигналы назначаются индивидуальным выходным каналам для вывода результирующих данных. К тому же, чтобы эффективно спланировать эту конфигурацию, выходной канал проходит от вертикальной выходной линии 607 через схему S-N 645 к выходному усилителю 644, и выходные линии для нечетных пикселей (1 столбец, 3 столбец и т.п.) среди горизонтальных пикселей размещаются на верхней части конструкции датчика изображения. Также выходная линия для четных пикселей (2 столбец, 4 столбец и т.п.) среди горизонтальных пикселей размещается на нижней части конструкции датчика изображения.

Другими словами, выходной канал сигнала в датчике изображения CMOS, принятом датчиком 60 изображения из настоящего варианта осуществления, свободно разделяется на следующие два канала. Один является выходным каналом сигнала для нечетных столбцов, который проходит от пикселя, выведенного через блок 645a схемы S-N, размещенный на верхней части датчика изображения, к блокам 644a выходного усилителя (644-1 и 644-3), размещенным на верхней части датчика изображения. Другой является выходным каналом сигнала для четных столбцов, который проходит от пикселя, выведенного через блок 645b схемы S-N, размещенный на нижней части датчика изображения, к блокам 644b выходного усилителя (644-2 и 644-4), размещенным на нижней части датчика изображения.

Схема S-N 645 служит для устранения шума, специфичного для датчика изображения CMOS, при помощи чего может быть получено соотношение S/N, эквивалентное таковому у датчика изображения CCD. В отношении вывода пикселя у строки, выбранной переключателем 606 выбора строки, составляющая S сигнала и составляющая N шума соответственно сохраняются, чтобы посредством этого вычесть составляющую N шума из составляющей S сигнала для каждого пикселя с помощью выходного усилителя 644, при помощи чего выводится бесшумный сигнал пикселя.

Составляющая шума является той, что хранит FD 604, который сброшен переключателем 603 сброса, пока TX 602 выключен, наподобие сигнала N (шумового) схемы S-N 645 через усилитель 605, переключатель 606 выбора строки и вертикальную выходную линию 607. Такая составляющая шума включает в себя шум сброса у FD 604, колебания от пикселя к пикселю в напряжении "затвор-исток" усилителя 605 или т.п. Составляющая сигнала поддерживается в виде сигнала S (Сигнал) в схеме S-N 645, как и в составляющей шума, путем преобразования электрического заряда, сформированного PD 601, в напряжение в FD 604 с помощью включения TX 602 посредством импульса. Составляющая шума все же включается в сохраненный сигнал. С помощью вычитания сигнала N из сигнала S, когда он считывается усилителем 644, составляющая шума подавляется.

Как описано в предшествующем уровне техники, когда имеются колебания в характеристиках блока 644a выходного усилителя (644-1 и 644-3) и блока 644b (644-2 и 644-4), практически одинаковые разности уровней возникают в каждом столбце, приводя к структурному шуму в вертикальном направлении. К тому же, поскольку источник питания и заземление общие у соответствующих пикселей 600 (1-1)-600 (n-m), разность уровней возникает во всей выбранной строке, если источник питания и заземление для этих пикселей меняются во время считывания выбранной строки, приводя к структурному шуму в горизонтальном направлении. Структурный шум в вертикальном и горизонтальном направлениях возникает не только в рабочем участке, но также возникает в участке OB. В этом конкретном варианте осуществления эти структурные шумы уменьшаются с посредством работы секции 100 обработки изображений.

Фиг.5 - блок-схема, показывающая пример конфигурации схемы секции 100 обработки изображений. Секция 100 обработки изображений включает в себя секцию 110 разложения на частотные составляющие и секцию 120 синтеза частотной составляющей. Также секция 120 синтеза частотной составляющей включает в себя секцию 123(124) исправления. Секция 110 разложения на частотные составляющие раскладывает входное изображение для секции 100 обработки изображений на множество частотных составляющих путем применения вейвлет-преобразования. Секция 120 синтеза частотной составляющей осуществляет обработку по подавлению структурного шума с помощью секции 123 (124) исправления в отношении частотной составляющей, которая разложена секцией 110 разложения на частотные составляющие. Разложенная частотная составляющая затем синтезируется для получения выходного изображения. В этом конкретном варианте осуществления в качестве вейвлет-преобразования используется дискретное вейвлет-преобразование (DWT).

Фиг.6 - функциональная блок-схема, показывающая пример конфигурации схемы секции 110 разложения на частотные составляющие. Как показано на фиг.6, секция 110 разложения на частотные составляющие включает в себя множество секций разложения на частотные составляющие, например первая секция 111 разложения на частотные составляющие (уровень 1), вторая секция 112 разложения на частотные составляющие (уровень 2) и т.д. Секция 110 разложения на частотные составляющие раскладывает входное изображение на множество частотных составляющих с помощью применения вейвлет-преобразования в первой секции 111 разложения на частотные составляющие, затем во второй секции 112 разложения на частотные составляющие и т.д. Секция 110 разложения на частотные составляющие также включает в себя множество секций 1111, 1121 горизонтального DWT и т.д. и множество секций 1112, 1113, 1122, 1123 вертикального DWT и т.д., предусмотренных для того, чтобы соответствовать первой секции 111 разложения на частотные составляющие, второй секции 112 разложения на частотные составляющие и т.д. соответственно.

Секции 1111, 1121 горизонтального DWT и т.д. выполняют обработку по вейвлет-преобразованию в горизонтальном направлении для изображения LL, сформированного входным изображением или секциями 1113, 1123 вертикального DWT и т.д., которые будут описаны ниже. С помощью этой обработки по вейвлет-преобразованию секции 1111, 1121 горизонтального DWT и т.д. формируют высокочастотную составляющую, состоящую из коэффициента вейвлет-расширения, и низкочастотную составляющую, состоящую из коэффициента масштабирования.

Фиг.7 - изображение, показывающее, как входное изображение раскладывается на множество частотных составляющих. Как показано на Фиг.7, входное изображение 71 раскладывается на две составляющие: высокочастотную составляющую (изображение H 72) и низкочастотную составляющую (изображение L 73) в горизонтальном направлении. В то же время количества пикселей у изображения H 72 и изображения L 73 в горизонтальном направлении уменьшаются наполовину от таковых у изображения до разложения. Секции 1112, 1122 вертикального DWT и т.д. выполняют обработку по вейвлет-преобразованию в вертикальном направлении для изображения H, сформированного секциями 1111, 1121 горизонтального DWT и т.д., чтобы сформировать высокочастотную составляющую вертикального направления и высокочастотную составляющую диагонального направления. Другими словами, как показано на фиг.7, изображение H 72 раскладывается на две составляющие: высокочастотную составляющую вертикального направления (изображение HL 74) и высокочастотную составляющую диагонального направления (изображение HH 75). В то же время количества пикселей у изображения HL 74 и изображения HH 75 в вертикальном направлении уменьшаются наполовину от таковых у изображения до разложения.

Секции 1113, 1123 вертикального DWT и т.п. выполняют обработку по вейвлет-преобразованию в вертикальном направлении для изображения L, сформированного секциями 1111, 1121 горизонтального DWT и т.д., чтобы сформировать низкочастотную составляющую и высокочастотную составляющую горизонтального направления. Другими словами, как показано на фиг.7, изображение L 73 раскладывается на две составляющие: низкочастотную составляющую (изображение LL 76) и высокочастотную составляющую горизонтального направления (изображение LH 77). В то же время количество пикселей у изображения LL 76 и изображения LH 77 в вертикальном направлении уменьшается наполовину от таковых у изображения до разложения.

Посредством вышеупомянутой обработки в первой секции 111 разложения на частотные составляющие входное изображение 71, показанное на фиг.7, раскладывается на четыре изображения: изображение HH 75, изображение HL 74, изображение LH 77 и изображение LL 76. Из числа этих четырех изображений изображение LL 76 вводится во второй секции 112 разложения на частотные составляющие и дополнительно раскладывается на четыре изображения: изображение HH 79, изображение HL 78, изображение LH 711 и изображение LL 710. Из числа этих четырех изображений изображение LL 710 вводится в третью секцию разложения на частотные составляющие и также раскладывается на четыре изображения: изображения HH, LH, HL и LL. Таким образом, повторяется процесс разложения входного изображения на три высокочастотные составляющие с их составляющими по направлениям и одну низкочастотную составляющую и дополнительного разложения одной низкочастотной составляющей на три высокочастотные составляющие и одну низкочастотную составляющую. В результате вышеупомянутой обработки входное изображение 71 раскладывается на множество частотных составляющих. Здесь разложение в первой секции 111 разложения на частотные составляющие, второй секции 112 разложения на частотные составляющие и т.д. относится соответственно к разложению на уровне 1, 2 и т.д.

Конкретный пример вычисления в обработке по частотному разложению будет описываться относительно фиг.7. Предположим, что размер пикселя у входного изображения 71 равен 16 на 16, и значение для каждого пикселя равно s_n,m ⁽⁰⁾, где n представляет вертикальное положение, m представляет горизонтальное положение, а надстрочное число представляет уровень разложения. Уровень 0 является входным изображением. Секция 1111 горизонтального DWT вычисляет изображение L 73(s_n,m ^(1')), состоящее из коэффициента масштабирования, и изображение H 72(ω_n,m ^(1')), состоящее из коэффициента вейвлет-расширения, путем выполнения вычисления, показанного в Формуле (1) и Формуле (2) для каждой строки входного изображения 71(s_n,m ⁽⁰⁾).

В Формуле (1) p_k (k=0 до 3) является последовательностью, представляющей масштабирование. В этом конкретном варианте осуществления используется последовательность Добеши (Daubechies), показанная в следующей Таблице 1.

p₀ 0,482962913 p₁ 0,836536304 p₂ 0,224143868 p₃ -0,129409523

Отметим, что число последовательностей равно количеству отводов, необходимых для вычисления с использованием Формулы (1) и Формулы (2). В этом конкретном варианте осуществления количество отводов равно четырем. В Формуле (2) q_k является последовательностью, представляющей вейвлет, которая может вычисляться из последовательности p_k, представляющей масштабирование, с использованием Формулы (3).

[Формула 3]

Диапазон m для изображения L 73 (s_n,m ^(1')) и изображения H 72 (ω_n,m ^(1')) составляет от 1 до 8. Количество пикселей в горизонтальном направлении уменьшается на 1/2 (разложение: 1/2) от входного изображения, но n остается на 16, первоначальном вертикальном количестве пикселей.

Секция 1112 вертикального DWT вычисляет изображение HL 74 (ω_n,m ^(1,v)) и изображение HH 75 (ω_n,m ^(1,d)) путем выполнения вычисления, показанного в Формуле (4) и Формуле (5) для каждого столбца в изображении H 72(ω_n,m ^(1')), которое получено разложением, выполненным секцией 1111 горизонтального DWT.

Части v и d надстрочных обозначений представляют составляющую вертикального направления и составляющую диагонального направления соответственно. Диапазон n для изображения HL 74(ω_n,m ^(1,v)) и изображения HH 75(ω_n,m ^(1,d)) составляет от 1 до 8. Количество пикселей в вертикальном направлении уменьшается на 1/2 (разложение: 1/2) от изображения до разложения. Секция 1113 вертикального DWT вычисляет изображение LL 76 (s_n,m ⁽¹⁾) и изображение LH 77 (ω_n,m ^(1,h)) путем выполнения вычисления, показанного в Формуле (6) и Формуле (7), для каждого столбца для изображения L 73(s_n,m ^(1')), которое получено разложением в секции 1111 горизонтального DWT.

В Формуле (7) часть h надстрочного обозначения представляет составляющую горизонтального направления. Диапазон n для изображения LL 76(s_n,m ⁽¹⁾) и изображения LH 77(ω_n,m ^(1,h)) составляет от 1 до 8. Количество пикселей в вертикальном направлении уменьшается на 1/2 (разложение: 1/2) от изображения до разложения. С помощью вышеупомянутых процедур первая секция 111 разложения на частотные составляющие выполняет разложение (уровень 1 разложения) по отношению к s_n,m ⁽⁰⁾ (n,m=1 до 16), то есть входному изображению 71. В результате разложения выводятся три высокочастотные составляющие ω_n,m ^(1,v), ω_n,m ^(1,d) и ω_n,m ^(1,h) (n, m=1 до 8) и одна низкочастотная составляющая s_n,m ⁽¹⁾, разрешение которых как в горизонтальном направлении, так и в вертикальном направлении уменьшено наполовину. Из них s_n,m ⁽¹⁾, то есть низкочастотная составляющая, вводится во вторую секцию 112 разложения на частотные составляющие. Вторая секция 112 разложения на частотные составляющие выполняет аналогичное упомянутому выше вычисление по отношению к s_n,m ⁽¹⁾, чтобы посредством этого вывести ω_n,m ^(2,v), ω_n,m ^(2,d), ω_n,m ^(2,h) и s_n,m ⁽²⁾ (n, m=1 до 4).

Фиг.8 - функциональная блок-схема, показывающая пример конфигурации схемы секции 120 синтеза частотной составляющей. Секция 120 синтеза частотной составляющей включает в себя множество секций синтеза частотной составляющей, например первую секция 121 синтеза частотной составляющей, вторую секцию синтеза 122 частотной составляющей и т.д. Секция 120 синтеза частотной составляющей также включает в себя множество секций 123, 124 исправления и т.д., предусмотренных для того, чтобы соответствовать соответствующим секциям синтеза частотной составляющей. Секция 120 синтеза частотной составляющей синтезирует изображения HH, LH, HL и LL в соответствующих полосах частот, которые сформированы обработкой по разложению на частотные составляющие, выполненной секцией 110 разложения на частотные составляющие, путем применения обратного вейвлет-преобразования. Секция 120 синтеза частотной составляющей включает в себя секции 1211, 1212, 1221, 1222 вертикального инверсного DWT и т.д. и секции 1213, 1223 горизонтального инверсного DWT и т.д., предусмотренные для того, чтобы соответствовать первой секции 121 синтеза частотной составляющей, второй секции 122 синтеза частотной составляющей и т.д. соответственно.

Каждая из секций вертикального инверсного DWT применяет обратное вейвлет-преобразование в вертикальном направлении по отношению к изображениям HH, LH, HL и LL, которые сформированы секцией 110 разложения на частотные составляющие, чтобы посредством этого сформировать высокочастотное изображение (изображение H) и низкочастотное изображение (изображение L). Секции 1211 и 1221 вертикального инверсного DWT выполняют обработку по синтезу в вертикальном направлении по отношению к изображению HH и изображению HL, чтобы посредством этого сформировать изображение H. Другими словами, это соответствует обработке для синтезирования изображения HH 75 и изображения HL 74, показанных на фиг.7, чтобы посредством этого сформировать изображение H 72. Результат этой обработки состоит в том, что количество пикселей в вертикальном направлении становится в два раза больше, чем у изображения перед синтезом. Секция 1212, 1222 вертикального инверсного DWT выполняет обработку по синтезу в вертикальном направлении по отношению к изображению LH и изображению LL, чтобы посредством этого сформировать изображение L. Другими словами, это соответствует обработке для синтезирования изображения LH 77 и изображения LL 76, показанных на фиг.7, чтобы посредством этого сформировать изображение L 73. Посредством этой обработки количество пикселей в вертикальном направлении становится в два раза больше, чем у изображения перед синтезом.

Секции 1213 и 1223 горизонтального инверсного DWT применяют обратное вейвлет-преобразование в горизонтальном направлении по отношению к изображениям H и L, которые сформированы вышеупомянутыми секциями 1211, 1221, 1212 и 1222 вертикального инверсного DWT, чтобы посредством этого сформировать синтезированное изображение. Другими словами, это соответствует обработке для синтезирования изображения L 73 и изображения H 72, показанных на фиг.7, чтобы посредством этого сформировать синтезированное изображение 71. Если это синтезированное изображение синтезировано (j+1)-й секцией синтеза частотной составляющей, оно становится изображением LL, которое нужно ввести в j-ю секцию синтеза частотной составляющей. Изображение, которое синтезировано в первой секции синтеза частотной составляющей, становится выходным изображением. Как описано выше, секция 120 синтеза частотной составляющей выполняет обработку по синтезу в порядке, обратном обработке по разложению, выполненной секцией 110 разложения на частотные составляющие.

Конкретный пример вычисления при обработке по частотному синтезу будет описываться относительно фиг.7. Изображение HH 79 (ω_n,m ^(2,d)), которое получено разложением во второй секции 112 разложения на частотные составляющие, и изображение HL 78 (ω_n,m ^(2,v)), которое получено разложением во второй секции 112 разложения на частотные составляющие и компенсировано секцией 123 исправления, который описывается ниже, вводятся в секции 1211 вертикального инверсного DWT. Изображение H (ω_n,m ^(2')) синтезируется в вычислении, показанном в Формуле (8). Посредством этой обработки по синтезу количество пикселей в вертикальном направлении становится в два раза больше, чем у изображения перед синтезом.

Изображение 710 (s_n,m ⁽²⁾), которое синтезировано и выведено третьей секцией синтеза частотной составляющей, вводится в секцию 1212 вертикального инверсного DWT в качестве изображения LL. Изображение LH 711 (ω_n,m ^(2,h)), которое получено разложением во второй секции 112 разложения на частотные составляющие и компенсировано секцией 123 исправления, которая описывается ниже, также вводится туда. Изображение L (s_n,m ^(2')) формируется путем вычисления, показанного в Формуле (9). Посредством этой обработки по синтезу количество пикселей в вертикальном направлении становится в два раза больше, чем у изображения перед синтезом.

Изображение H (ω_n,m ^(2')), которое синтезировано в секции 1211 вертикального инверсного DWT, и изображение L (s_n,m ^(2')), которое синтезировано в секции 1212 вертикального инверсного DWT, вводятся в секцию 1213 горизонтального инверсного DWT. Синтезированное изображение 76 (s_n,m ⁽¹⁾) формируется путем вычисления, показанного в Формуле (10). Посредством этой обработки по синтезу количество пикселей в вертикальном направлении становится в два раза больше, чем у изображения перед синтезом.

С помощью вышеупомянутых процедур вторая секция 121 синтеза частотной составляющей выполняет синтез изображения s_n,m ⁽²⁾ (n, m=1 до 4), которое синтезировано и выведено третьей секцией синтеза частотной составляющей, и трех высокочастотных изображений ω_n,m ^(2,d), ω_n,m ^(2,v) и ω_n,m ^(2,h) (n,m=1 до 4), которые получены разложением во второй секции 112 разложения на частотные составляющие. В результате синтеза формируется синтезированное изображение s_n,m ⁽¹⁾ (n,m=1 до 8), количество пикселей которого увеличено вдвое как в горизонтальном направлении, так и в вертикальном направлении. Это синтезированное изображение s_n,m ⁽¹⁾ становится изображением LL, которое нужно ввести в первую секцию 122 синтеза частотной составляющей.

Первая секция 122 синтеза частотной составляющей выполняет вычисление, аналогичное упомянутому выше, по отношению к вышеупомянутым s_n,m ⁽¹⁾ (n,m=1 до 8) и ω_n,m ^(1,d), ω_n,m ^(1,v), и ω_n,m ^(1,h) (n,m=1 до 8), которые получены разложением в первой секции 111 разложения на частотные составляющие. В результате формируется синтезированное изображение s_n,m ⁽⁰⁾ (n,m=1 до 16). Это синтезированное изображение s_n,m ⁽⁰⁾ является исправленным изображением входного изображения для секции обработки изображений.

Далее будет более точно описываться обработка по исправлению, выполняемая секцией исправления, со ссылкой на обработку изображения LH в качестве примера. Секции исправления 123, 124 и т.д. предоставляются в соответствии с первой секцией 121 синтеза частотной составляющей, второй секцией 122 синтеза частотной составляющей и т.д. соответственно. Изображения HL, LH и HH вводятся в секции 123, 124 и т.д. исправления, предусмотренные внутри секций синтеза частотной составляющей. Из них секции 123, 124 и т.д. исправления выполняют обработку по подавлению структурного шума в отношении изображений HL и LH. Фиг.9 - блок-схема, показывающая конфигурацию секции 123 исправления. Секция 123 исправления включает в себя секцию 1231 обращения к HOB, секцию 1232 обращения к VOB и секции 1233 и 1234 подавления шумов.

Секция 1231 обращения к HOB включает в себя секцию 1231а вычисления величины шума. Секция 1231а вычисления величины шума вычисляет величины составляющей структурного шума для соответствующих строк, соответствующих полосам частот, из коэффициента вейвлет-расширения для участка HOB входного изображения LH, и подробности этого будут описываться позднее. Секция 1231 обращения к HOB также включает в себя секцию 1231b определения шума. Секция 1231b определения шума определяет, имеется ли какой-нибудь структурный шум, из величины составляющей шума, вычисленной секцией 1231а вычисления величины шума. Строка, для которой определено, что возник шум, подвергается обработке по подавлению шумов, выполняемой секцией 1233 подавления шумов, которая будет описываться ниже.

Секция 1232 обращения к VOB включает в себя секцию 1232а вычисления величины шума. Секция 1232а вычисления величины шума вычисляет величины составляющей структурного шума для соответствующих столбцов, соответствующих полосам частот, из коэффициента вейвлет-расширения для участка VOB входного изображения HL. Секция 1232 обращения к VOB также включает в себя секцию 1232b определения шума. Секция 1232b определения шума определяет, имеется ли какой-нибудь структурный шум, из величины составляющей шума, вычисленной секцией 1232а вычисления величины шума. Столбец, для которого определено, что возник шум, подвергается обработке по подавлению шумов, выполняемой секцией 1234 подавления шумов, который будет описываться ниже. Эта обработка дает возможность уравновешивания любой строки или столбца только там, где возникает структурный шум.

Секции 1233 и 1234 подавления шумов выполняют обработку по подавлению шумов в отношении любой строки или столбца, для которого определено, что возник шум, в секции 1231 обращения к HOB или секции 1232 обращения к VOB. Секции 1233 и 1234 подавления шумов включают в себя секции 1233a и 1234a отделения шумов соответственно. Секции 1233а и 1234а отделения шумов также служат в качестве секции определения порогового значения, который определяет пороговое значение для разделения составляющей объекта и составляющей шума в рабочем участке из величины составляющей структурного шума, вычисленной секциями 1231а и 1232а вычисления величины шума соответственно. Секции 1233а и 1234а отделения шумов разделяют составляющую объекта и составляющую структурного шума, используя определенное пороговое значение. Секции 1233 и 1234 подавления шумов умножают коэффициент вейвлет-расширения на поправочный коэффициент, чтобы подавить только составляющую структурного шума, которая отделена секциями 1233а и 1234а отделения шумов, и подробности которого будут описываться позже.

Обработка по исправлению, выполняемая секцией 123 исправления, будет более точно описываться со ссылкой на обработку изображения LH в качестве примера. Фиг.10 - схема, иллюстрирующая обработку по исправлению. Фиг.10А показывает пример входного изображения. В примере на фиг.10А предположим, что количество пикселей представляется с помощью N в вертикальном направлении и M в горизонтальном направлении. В этом изображении столбцы с 1-го по 32-й с левого края являются HOB. Это входное изображение вводится в первую секцию 111 разложения на частотные составляющие для формирования изображения LH посредством частотного разложения (уровень 1 разложения). Такое изображение LH показано на фиг.10B. В вышеупомянутом изображении LH количество пикселей уменьшается до 1/2 от изображения до разложения для каждого столбца и строки. Поэтому HOB в изображении LH соответствует столбцам с 1-го по 16-й с левого края. Однако следует отметить, что из вычисления с использованием Формулы (2) 16-ый столбец включает в себя обе составляющие участка HOB и рабочего участка. Когда извлекаются значения (коэффициент вейвлет-расширения) в (n-1)-й строке и n-й строке изображения LH для вычисления посредством этого соответствующих абсолютных значений, соответствующие абсолютные значения показаны на фиг.11А и B.

Фиг.11 показывает абсолютное значение коэффициента вейвлет-расширения у строки, в которой присутствует структурный шум в изображении LH (фиг.11В) и в которой структурный шум не возникает в изображении LH (Фиг.11А). Составляющая структурного шума включается как в рабочий участок, так и в экранированный участок HOB (как видно на фиг.11В), тогда как составляющая края объекта (показана самостоятельно на фиг.11А) включается только в рабочий участок. Отсюда путем вычисления среднего ave(n) из абсолютных значений коэффициентов вейвлет-расширения для соответствующих строк в участке HOB в секции вычисления величины шума могут быть вычислены величины составляющей структурного шума для соответствующих строк, соответствующих соответствующим полосам частот, где n представляет количество строк.

Однако в рамках HOB диапазон столбцов, используемых для вычисления среднего ave(n), отличается в зависимости от полос частот. Фиг.10А - пример входного изображения. В изображении LH уровня 1, которое получено разложением в первой секции разложения на частотные составляющие, столбцы с 1-го по 16-й с левого края соответствуют HOB, а столбцы с 1-го по 15-й, за исключением 16-го столбца, в который включается составляющая рабочего участка, используются для вычисления посредством этого среднего ave(n). В изображении LH уровня 2 столбцы с 1-го по 8-й с левого края соответствуют HOB, и используются столбцы с 1-го по 7-й, за исключением 8-го столбца, в который включается составляющая рабочего участка. Также в изображении LH уровня 3 используются столбцы с 1-го по 3-й с левого края. Таким образом, диапазон столбцов в HOB уменьшается наполовину, так как уровень разложения увеличивается. Среди уменьшенных столбцов, за исключением пикселей, в которые включается составляющая рабочего участка, диапазон столбцов используется для вычисления ave(n).

Как показано на фиг.11А, когда вычисленное среднее ave(n) ниже заранее установленного опорного значения определения шума, секция 1231b определения шума определяет, что в той строке нет структурного шума. Таким образом, секция 1233 подавления шумов не выполняет обработку по подавлению шумов по отношению к той строке. С другой стороны, как показано на фиг.11B, когда среднее ave(n) выше вышеупомянутого опорного значения определения шума, секция 1231b определения шума определяет, что в той строке присутствует структурный шум. Таким образом, секция 1233 подавления шумов выполняет обработку по подавлению шумов. Здесь опорное значение определения шума может быть фиксированным значением или может быть отдельным значением для каждой секции исправления каждой полосы частот.Также может использоваться значение, вычисленное из изображения HH, то есть высокочастотной составляющей диагонального направления, подвергнутой частотному разложению. Подробности этого будут описываться во втором варианте осуществления.

Далее будет описываться обработка в секции 1233 подавления шумов. Секция 1233 подавления шумов выполняет обработку по подавлению шумов на строке, определенной секцией 1231b определения шума в секции 1231 обращения к HOB, чтобы получить структурный шум. Рабочий участок строки, для которой определено, что возник шум, включает в себя составляющую края и составляющую структурного шума у объекта. Поскольку амплитуда структурного шума меньше уровня сигнала объекта в рабочем участке, составляющая структурного шума у абсолютных значений коэффициентов вейвлет-расширения, подвергнутых частотному преобразованию, меньше составляющей края объекта. Поэтому значение Wth(n), полученное из среднего ave(n), вычисленного в вышеупомянутом участке HOB, умноженное на заранее установленный коэффициент, учитывая колебания коэффициента расширения, как показано в Формуле (11), может использоваться в качестве порогового значения для разделения составляющей структурного шума и составляющей края объекта. Секция 1233а отделения шумов разделяет составляющую структурного шума и составляющую края объекта с использованием порогового значения. Здесь заранее установленный коэффициент, который нужно умножить на ave(n), был 1,1 в качестве примера, учитывая вышеупомянутое колебание.

[Формула 11]

Затем абсолютное значение коэффициента вейвлет-расширения в рабочем участке вычисляется из расчета на единичный пиксель. Поправочный коэффициент умножается на коэффициент вейвлет-расширения в соответствии с величиной абсолютного значения каждого единичного пикселя. Поправочный коэффициент отличается в значениях до и после порогового значения Wth(n), как показано на фиг.12. Фиг.12А - изображение, показывающее поправочный коэффициент, на который коэффициент вейвлет-расширения умножается в секции подавления шумов. В единичном пикселе, где абсолютное значение коэффициента вейвлет-расширения в рабочем участке меньше порогового значения Wth(n), другими словами, когда единичный пиксель является составляющей структурного шума, поправочный коэффициент c (0≤c<1) умножается на коэффициент вейвлет-расширения, чтобы подавить составляющую структурного шума. Значение поправочного коэффициента c равно, например, 0,4. В единичном пикселе, где абсолютное значение коэффициента вейвлет-расширения в рабочем участке больше порогового значения Wth(n), другими словами, когда единичный пиксель является составляющей края объекта, поправочный коэффициент c=1 умножается на коэффициент вейвлет-расширения, чтобы сохранить составляющую края объекта.

Вышеупомянутая обработка может быть обобщена, как показано в Формуле (12), где w_n,m ^(j,h) - коэффициент вейвлет-расширения до исправления; и w'_n,m ^(j,h) - коэффициент вейвлет-расширения после исправления. Также j является уровнем, представляющим полосу частот, а h является составляющей горизонтального направления.

Здесь поправочный коэффициент c, используемый в случае, где абсолютное значение вышеупомянутого коэффициента вейвлет-расширения меньше порогового значения Wth(n), может быть фиксированным значением, как в вышеупомянутом примере, или может быть отдельным значением для каждой полосы частот.Когда поправочный коэффициент является прерывным до и после порогового значения, эта прерывность может влиять на контур изображения. Поправочный коэффициент может изменяться непрерывно, как показано на фиг.12B, например, чтобы предотвратить это отрицательное последствие. В этом примере поправочный коэффициент c равен 0,4, когда коэффициент вейвлет-расширения равен Wth(n)/2 или меньше, c равен 1, когда коэффициент равен Wth(n) или больше, и c изменяется линейно между 0,4 и 1, когда коэффициент находится между Wth(n)/2 и Wth(n).

В качестве альтернативы, как показано на фиг.12C, поправочный коэффициент устанавливается в X(ave(n)) для использования, когда абсолютное значение коэффициента вейвлет-расширения меньше порогового значения Wth(n), чтобы поправочный коэффициент мог изменяться в соответствии со средним ave(n) для каждой строки, вычисленной на участке HOB. В этом случае значение X(ave(n)) устанавливается, например, как показано на фиг.12D. В примере на фиг.12D X(ave(n)) (то есть поправочный коэффициент c) устанавливается в 1, когда составляющая ave(n) структурного шума равна опорному значению определения шума, X(ave(n)) линейно уменьшается, когда составляющая структурного шума становится больше, и его нижняя граница устанавливается в 0,1. Другими словами, любая строка, имеющая составляющую структурного шума, имеет меньший поправочный коэффициент, при помощи чего увеличивается величина подавления составляющей структурного шума.

Амплитуда структурного шума исправленного изображения, которое должно быть синтезировано, может уменьшаться путем выполнения обработки по исправлению в отношении вышеупомянутого изображения LH. Как описывалось ранее, когда амплитуда структурного шума отличается в зависимости от горизонтального положения, коррекция сдвига, с помощью которой среднее у OB вычитается из рабочего участка, может не получить достаточный результат исправления в положении, удаленном от OB. С другой стороны, способ исправления в соответствии с настоящим вариантом осуществления, который подавляет структурный шум путем умножения коэффициента вейвлет-расширения на поправочный коэффициент, уменьшает амплитуду структурного шума, даже когда амплитуда структурного шума отличается в зависимости от горизонтального положения, при помощи чего может быть получено равномерное исправление.

Обработка по исправлению (пример операций по обработке в отношении изображения LH), осуществляемая секцией 123 исправления, как описано выше, обобщается с использованием блок-схемы последовательности операций. Фиг.13 - блок-схема последовательности операций, показывающая ход обработки каждой строки в изображении LH, выполняемой секцией исправления. Во-первых, среднее ave(n) абсолютных значений коэффициентов расширения вычисляется секцией 1231а вычисления величины шума в секции 1231 обращения к HOB (этап 101 (в дальнейшем называется "S")).

Затем секция 1231b определения шума сравнивает ave(n), вычисленное секцией 1231а вычисления величины шума, с опорным значением определения структурного шума (этап S102). Когда ave(n) меньше опорного значения определения и определяется, что структурный шум в той строке отсутствует (S102: Нет), секция подавления шумов не выполняет обработку по подавлению шумов, чтобы завершить тем самым обработку для той строки. С другой стороны, когда ave(n) больше опорного значения определения (S102: Да), секция 1233 подавления шумов выполняет обработку по подавлению шумов.

Секция 1233а отделения шумов в секции 1233 подавления шумов вычисляет пороговое значение Wth(n) для разделения структурного шума и составляющей края объекта по отношению к строке, для которой определено, что там возник шум (этап S103). Затем вычисляется абсолютное значение коэффициента расширения для каждого пикселя в рабочем участке (этап S104). Поправочный коэффициент, имеющий пороговое значение Wth(n), умножается на коэффициент вейвлет-расширения для каждого пикселя в соответствии с величиной вычисленного абсолютного значения, чтобы подавить составляющую структурного шума (этап S105). Обработка с этапа S101 по S105 выполняется для каждой строки. С помощью выполнения вышеупомянутой обработки в секциях исправления в соответствующих секциях синтеза частотной составляющей подавляется только составляющая структурного шума и посредством этого получается изображение LH, которое содержит составляющую края объекта.

Описана обработка, осуществляемая секцией 1231 обращения к HOB и секцией 1233 подавления шумов по отношению к изображению LH. Когда описанная выше обработка выполняется для изображения HL в секции 1232 обращения к VOB и секции 1234 подавления шумов, может быть подавлена составляющая структурного шума в вертикальном направлении.

Далее будет описываться ход обработки по подавлению шумов в секции 100 обработки изображений устройства фиксации изображения из первого варианта осуществления. Фиг.14 - типовая блок-схема последовательности операций, показывающая обработку по подавлению шумов в секции 100 обработки изображений. Сначала секция 100 обработки изображений получает изображение, полученное от DFE 15 или т.п.(этап S201).

Затем это входное изображение вводится в первую секцию 111 разложения на частотные составляющие, чтобы сформировать высокочастотные изображения (изображения HH, HL и LH) и низкочастотное изображение (изображение LL) (этап S202). Это низкочастотное изображение (изображение LL) вводится во вторую секцию 112 разложения на частотные составляющие, чтобы также сформировать высокочастотные изображения (изображения HH, HL и LH) и низкочастотное изображение (изображение LL) (этап S203). Также низкочастотное изображение (изображение LL), сформированное во второй секции разложения на частотные составляющие, вводится в третью секцию разложения на частотные составляющие для дополнительного разложения. Эта обработка повторяется, пока не достигнут заранее установленный уровень разложения (этап S204).

Высокочастотные изображения (изображения HH, HL и LH) и низкочастотное изображение (изображение LL), которые получены разложением в j-й секции разложения на частотные составляющие, то есть наивысшем уровне разложения, вводятся в j-ю секцию синтеза частотной составляющей. Из этих четырех изображений изображения HL и LH подвергаются подавлению шума посредством секции исправления. В отношении изображений HH и LL и изображений HL и LH с подавленным шумом затем выполняется частотный синтез, чтобы сформировать синтезированное изображение (этап S205).

Это синтезированное изображение вводится в (j-1)-ю секцию синтеза частотной составляющей, как и изображение LL вместе с изображениями HH, HL и LH, сформированными в (j-1)-й секции разложения на частотные составляющие, чтобы вывести синтезированное изображение с помощью описанной выше обработки по частотному синтезу. В результате повторения вышеупомянутой обработки изображение синтезируется в порядке, обратном к обработке по разложению. В операции подавления шумов, выполняемой на этапе S205, описанном выше, и операциях на этапах S206 и S207, показанных в дальнейшем, выполняется операция подавления шумов, описанная ранее со ссылкой на фиг.13.

Изображение (изображение LL), которое синтезировано в третьей секции синтеза частотной составляющей, и изображения HH, HL и LH, которые получены разложением в третьей секции разложения на частотные составляющие, вводятся во вторую секцию 121 синтеза частотной составляющей. Изображения HL и LH подвергаются подавлению шума в секции исправления, а затем синтезируются вместе с изображениями HH и LL (этап S206).

Синтезированное изображение (изображение LL), которое сформировано во второй секции 121 синтеза частотной составляющей, и изображения HH, HL и LH, которые получены разложением во второй секции 112 разложения на частотные составляющие, вводятся в первую секцию 122 синтеза частотной составляющей. Изображения HL и LH, в которых подавлен шум в секции исправления, и изображения HH и LL затем синтезируются по частоте, чтобы сформировать синтезированное изображение (S207). Это изображение является исправленным изображением с подавленным структурным шумом по отношению ко входному изображению и выводится из секции обработки изображений (этап S208). Входное изображение может быть изображением для каждого цветового канала, а именно R, Gb, Gr и B, подвергнутым разделению Байера. В этом случае каждый из процессов, показанных на фиг.14, может выполняться для каждого из четырех изображений.

Как описано выше, в первом варианте осуществления каждая из секций разложения на частотные составляющие последовательно раскладывает входное изображение на изображения HH, HL, LH и LL для каждой полосы частот. Составляющие структурного шума для соответствующих изображений HL и LH подавляются в секции исправления с тем, чтобы последовательно синтезировать каждое изображение, которое разложено, секцией синтеза частотной составляющей, при помощи чего может быть получено исправленное изображение, в котором структурный шум подавляется только в части, где существует структурный шум.

(Второй вариант осуществления)

Второй вариант осуществления является таким же, как и первый вариант осуществления, за исключением того, что секция 220 синтеза частотной составляющей, которая выполняет работу, отличную от секции 120 синтеза частотной составляющей, предоставляется вместо секции 120 синтеза частотной составляющей. Поэтому части, которые обладают такой же функцией, что и у описанного выше первого варианта осуществления, обозначаются такими же номерами ссылок, что и в первом варианте осуществления, и их дублирующее описание соответственно пропускается. Фиг.15 - функциональная блок-схема, показывающая пример конфигурации схемы секции 220 синтеза частотной составляющей согласно второму варианту осуществления. Секция 220 синтеза частотной составляющей включает в себя первую и вторую секции 221 и 222 синтеза частотной составляющей, которые содержат секции 2211, 2212, 2221, 2222 вертикального инверсного DWT и т.д. и секции 2213, 2223 горизонтального инверсного DWT и т.д. Каждый из этих секций имеет такую же функцию, что и секции 1211, 1212, 1221, 1222 вертикального инверсного DWT и т.п.и секции 1213, 1223 горизонтального инверсного DWT и т.п.из первого варианта осуществления. Секция 220 синтеза частотной составляющей также включает в себя секции 223, 224 и т.д. исправления. Изображения HL, LH и HH, которые сформированы в каждой секции разложения на частотные составляющие, вводятся в секции 223, 224 и т.д. исправления.

Фиг.16 - блок-схема, показывающая конфигурацию секцию 223 исправления. Секция 223 исправления включает в себя секцию 2231 обращения к HOB, секцию 2232 обращения к VOB и секции 2233 и 2234 подавления шумов. Как и в первом варианте осуществления, секция 2231 обращения к HOB и секция 2232 обращения к VOB обе включают в себя секцию вычисления величины шума и секцию определения шума (обе не показаны). Как и в первом варианте осуществления, секции 2233 и 2234 подавления шумов также обе включают в себя секцию отделения шумов (не показана).

Изображение HH, которое введено в секцию 223 исправления, вводится в секцию 2231 обращения к HOB и секцию 2232 обращения к VOB. Секция 2231 обращения к HOB вычисляет среднее из абсолютных значений коэффициентов расширения для участка HOB в изображении HH. Секция 2232 обращения к VOB вычисляет среднее из абсолютных значений коэффициентов расширения для участка VOB в изображении HH. Эти средние значения, умноженные на заранее установленный коэффициент (например, 1,1), являются опорными значениями определения шума в секции 2231 обращения к HOB и секции 2232 обращения к VOB соответственно. Обработка по исправлению в отношении изображений HL и LH по использованию этих опорных значений определения шума является такой же, как описана со ссылкой на блок-схему последовательности операций из Фиг.13 в первом варианте осуществления.

В первом варианте осуществления заранее установленное фиксированное значение используется в качестве опорного значения определения шума для определения того, формируется ли какой-нибудь структурный шум для каждой строки или каждого столбца в секции 1231 обращения к HOB или секции 1232 обращения к VOB, которые оба предусмотрены в секции исправления. В отличие от этого, в соответствии со вторым вариантом осуществления опорное значение определения шума вычисляется из среднего из абсолютных значений коэффициентов расширения для участка HOB или участка VOB в изображении HH, которое является высокочастотной составляющей диагонального направления, сформированной в каждой секции разложения на частотные составляющие. Случайный шум включается как в участок OB, так и в рабочий участок снятого изображения, используя датчик изображения. Практически такая же величина случайного шума включается по отношению к высокочастотным составляющим HH, HL и LH для всех полос частот, полученных разложением, выполненным секцией разложения на частотные составляющие. Среди них, поскольку изображение HH не содержит составляющей структурного шума в горизонтальном или вертикальном направлении, участок HOB изображения HH содержит только составляющую случайного шума.

Например, когда не возникает никакого структурного шума в горизонтальном направлении, абсолютное значение коэффициента расширения для HOB в изображении LH практически такое же, как и у изображения HH. Наоборот, когда возникает структурный шум в горизонтальном направлении, абсолютное значение коэффициента расширения только той строки в участке HOB изображения LH, в которой присутствует структурный шум, больше чем в участке HOB у изображения HH. Поэтому значение, вычисленное из среднего абсолютных значений коэффициентов расширения в участке HOB или участке VOB изображения HH, может использоваться в качестве опорного значения определения шума для определения наличия или отсутствия структурного шума в изображениях LH и HL.

Таким образом, во втором варианте осуществления значение, вычисленное из среднего абсолютных значений коэффициентов расширения в участке HOB или участке VOB изображения HH, используется в качестве опорного значения определения шума для определения наличия или отсутствия структурного шума в изображениях LH и HL. Следовательно, условия возникновения структурного шума могут быть точно определены независимо от величины случайного шума, и посредством этого может быть повышено качество изображения после подавления шумов.

(Третий вариант осуществления)

Третий вариант осуществления является таким же, как и первый вариант осуществления, за исключением того, что секция 3233 подавления шумов (соответствующий 2233 из Фиг.16), которая выполняет работу, отличную от секций 1233 и 1234 подавления шумов в первом варианте осуществления, предоставляется вместо секций 1233 и 1234 подавления шумов. Поэтому части, которые обладают такой же функцией, что и у описанного выше первого варианта осуществления, обозначаются такими же номерами ссылок, что и в первом варианте осуществления, и их дублирующее описание соответственно пропускается. Фиг.17 - блок-схема последовательности операций, показывающая ход обработки каждой строки в изображении LH, которая должна выполняться секцией исправления в третьем варианте осуществления. Фиг.17 соответствует Фиг.13 из первого варианта осуществления. Работа данного варианта осуществления отличается от работы первого варианта осуществления в том, что отношение Wr(m) интенсивностей используется на этапах S304 и S306. В противном случае, S301-S303 соответствуют S101-S103. Здесь будет описываться отношение Wr(m) интенсивностей.

Как описывалось ранее, поскольку источник питания и заземление для каждого пикселя в датчике изображения CMOS являются совместно используемыми, структурный шум в горизонтальном направлении возникает, если источник питания и заземление для этих пикселей временно колеблются. Поскольку длина проводки от источника питания и заземления для каждого пикселя отличается в зависимости от положения, в котором размещаются источник питания и заземление, предусмотренные в датчике изображения, полное сопротивление провода также отличается в зависимости от пикселя. Поэтому пиксели в положении, удаленном от источника питания и заземления, заставляют расти полное сопротивление в проводе, в силу чего влияние колебаний в источнике питания и заземлении становится сильнее. Следовательно, интенсивность структурного шума также увеличивается в более отдаленном положении от источника питания и заземления. Например, когда источник питания и заземление подаются с левой стороны датчика изображения, интенсивность структурного шума увеличивается на правой стороне пикселей.

В случае структурного шума, имеющего разную интенсивность в зависимости от горизонтального положения, который возникает из-за положений, в которых размещаются источник питания и заземление, отношение интенсивностей определяется расстоянием от источника питания и заземления, и соответственно это отношение является фиксированным значением. Соответственно, с помощью съемки экранированного от света изображения в процессе производства датчика изображения, определения отношения интенсивностей в зависимости от горизонтального положения структурного шума из снятого изображения и использования отношения интенсивностей в секции исправления может быть исправлен структурный шум, имеющий интенсивность, которая отличается в зависимости от вышеупомянутого горизонтального положения. В этом конкретном варианте осуществления это отношение интенсивностей изображается в виде отношения Wr(m) интенсивностей.

Далее будет описываться способ для вычисления отношения Wr(m) интенсивностей. Изображение, снятое в экранированном состоянии в процессе производства, раскладывается на изображения HH, LH, HL и LL для каждой полосы частот с помощью секции 110 разложения на частотные составляющие, показанной на Фиг.6 из первого варианта осуществления. Когда исправляется интенсивность, зависящая от горизонтального положения структурного шума, абсолютное значение изображения LH для каждой полученной разложением полосы частот выбирается так, чтобы извлекать максимальное значение для каждого столбца. Разность интенсивности, зависящая от горизонтального положения структурного шума, появляется на графике извлеченного максимального значения для каждого столбца.

Фиг.18 - изображение, показывающее, как вычислить отношение Wr(m) интенсивностей. Фиг.18А - график извлеченного максимального значения для каждого столбца, вычисленного из абсолютного значения коэффициента расширения у изображения LH, которое получено разложением, выполненным первой секцией 111 разложения на частотные составляющие. Горизонтальная ось фиг.18 обозначает горизонтальное положение датчика изображения, которое показано соответствующим положению датчика изображения в направлении слева направо. Когда источник питания и заземление подаются с левой стороны датчика изображения, коэффициент расширения составляющей структурного шума становится еще ближе к правосторонней области датчика изображения, как показано на Фиг.18А. Фиг.18B - график, показывающий все данные максимального значения для каждого столбца, поделенного на вычисленное среднее участка HOB. Фиг.18B показывает отношение интенсивностей в горизонтальном положении на основе интенсивности структурного шума в участке HOB. Отношение интенсивностей вычисляется для каждой полосы частот для того, чтобы определить функцию Wr(m), в которой отношения интенсивностей соответствуют линейному или полиномиальному уравнению. Это отношение Wr(m) интенсивностей, которое нужно использовать для исправления разности интенсивности, которое зависит от горизонтального положения структурного шума, если m - горизонтальное положение. Данные об отношении интенсивностей, показанные на фиг.18B, могут использоваться как есть вместо отношения Wr(m) интенсивностей.

Возвращаясь обратно к фиг.17, будет описываться работа секции исправления из данного варианта осуществления. Этапы с S301 по S303 являются такими же, как и S101-S103, показанные на фиг.13 из первого варианта осуществления. На этапе S304 вместо порогового значения Wth(n) в качестве порогового значения вычисляется Wth'(n,m), полученное из порогового значения Wth(n), умноженного на отношение Wr(m) интенсивностей, для разделения составляющей структурного шума и составляющей края объекта. Этап S305 такой же, как этап S104, показанный на фиг.13 из первого варианта осуществления. На этапе S306 составляющая структурного шума и составляющая края объекта разделяются с использованием порогового значения Wth'(n,m) в зависимости от величины вычисленного абсолютного значения, и поправочный коэффициент, имеющий пороговое значение Wth'(n,m), умножается на коэффициент расширения для каждого пикселя, при помощи чего подавляется составляющая структурного шума.

Фиг.19 - изображение, показывающее абсолютное значение и пороговое значение Wth'(n,m) коэффициента расширения у строки, в которой присутствует структурный шум в изображении LH, когда структурный шум, имеющий разность интенсивности, возникает в зависимости от его горизонтального положения. В результате установки Wth'(n,m), которое является функцией n и m, в качестве порогового значения с использованием отношения Wr(m) интенсивностей, которое вычислено заранее, часть, имеющая большую интенсивность структурного шума, имеет большее пороговое значение. Отсюда, даже если структурный шум имеет разные интенсивности в зависимости от горизонтального положения, составляющая структурного шума может быть точно отделена от составляющей края объекта. Вместо Формулы (12) поправочный коэффициент, который нужно умножить на коэффициент расширения на этапе S105, как показано на фиг.13 из первого варианта осуществления, также задается в виде Формулы (13) с использованием отношения Wr(m) интенсивностей.

Составляющая, для которой абсолютное значение коэффициента расширения меньше порогового значения Wth'(n, m), то есть поправочный коэффициент, который нужно умножить на составляющую структурного шума, делится на отношение Wr(m) интенсивностей. Фиг.20 - изображение, показывающее поправочный коэффициент, разделенный на отношение Wr(m) интенсивностей. В примере на фиг.20 используемое отношение Wr(m) интенсивностей является отношением, показанным на фиг.18B. В результате уменьшения поправочного коэффициента в части, где интенсивность структурного шума большая, подавление шумов увеличивается. При этом точное исправление может достигаться даже для структурного шума, имеющего разность интенсивности в зависимости от горизонтального положения.

(Четвертый вариант осуществления)

Четвертый вариант осуществления является таким же, как и первый вариант осуществления, за исключением того, что секция 420 синтеза частотной составляющей, которая выполняет работу, отличную от секции 120 синтеза частотной составляющей, предоставляется вместо секции 120 синтеза частотной составляющей. Поэтому части, которые обладают такой же функцией, что и у описанного выше первого варианта осуществления, обозначаются такими же номерами ссылок, что и в первом варианте осуществления, и их дублирующее описание соответственно пропускается. Фиг.21 - функциональная блок-схема, показывающая пример конфигурации схемы секции 420 синтеза частотной составляющей в четвертом варианте осуществления.

Секция 420 синтеза частотной составляющей включает в себя первую, вторую и т.д. секции 421, 422 и т.д. синтеза частотной составляющей, содержащие секции 4211, 4212, 4221, 4222 вертикального инверсного DWT и т.д. и секции 4213, 4223 горизонтального инверсного DWT и т.д. Каждая из этих секций имеет такую же функцию, что и секции 1211, 1212, 1221, 1222 вертикального инверсного DWT и т.д. и секции 1213, 1223 горизонтального инверсного DWT и т.д. из первого варианта осуществления. Секция 420 синтеза частотной составляющей также включает в себя секции 423, 424 и т.д. исправления. Изображения HL и LH и изображение LL, которые сформированы в каждой секции разложения на частотные составляющие, вводятся в секции 423, 424 и т.д. исправления.

Фиг.22 - блок-схема, показывающая конфигурацию секции 423 исправления. Секция 423 исправления включает в себя секцию 4231 обращения к HOB, секция 4232 обращения к VOB и секции 4233 и 4234 подавления шумов. Как и в первом варианте осуществления, секция 4231 обращения к HOB и секция 4232 обращения к VOB включают в себя секцию вычисления величины шума и секцию определения шума (обе не показаны). Как и в первом варианте осуществления, обе секции 4233 и 4234 подавления шумов включают в себя секцию отделения шумов (не показана). Секция 423 исправления также включает в себя секцию 4235 базовой яркости.

Секция 4235 базовой яркости делит каждый коэффициент масштабирования во входном изображении LL на 2^j, чтобы тем самым привести его к уровню яркости, если j - уровень разложения у изображения LL. Коэффициент Y(n, m) яркости в соответствии с уровнем яркости, который показан на фиг.23, например, вычисляется из значения для каждого пикселя изображения LL, которое преобразовано в уровень яркости, если n и m - вертикальное положение и горизонтальное положение соответственно. Фиг.23 - график для вычисления коэффициента яркости из уровня яркости объекта.

Коэффициент Y(n, m) яркости, который вычислен секцией 4235 базовой яркости, вводится в секции 4233 и 4234 подавления шумов. Обработка, выполняемая секциями 4233 и 4234 подавления шумов, практически такая же, как и выполняемая секциями 1233 и 1234 подавления шумов, показанными на фиг.9, из первого варианта осуществления, и поэтому подробное описание будет пропущено. Секции 4233 и 4234 подавления шумов отличаются от секций 1233 и 1234 подавления шумов в том, что поправочный коэффициент, который нужно умножить на коэффициент вейвлет-расширения, не является фиксированным значением, как показано в Формуле (12), а является значением поправочного коэффициента, умноженного на коэффициент Y(n, m) яркости, который вычислен как описано выше. Другими словами, как показано в Формуле (14), поправочный коэффициент в зависимости от яркости для каждого единичного пикселя используется для умножения составляющей, имеющий меньший коэффициент расширения, чем пороговое значение Wth(n), то есть составляющей структурного шума.

Как описано выше, в четвертом варианте осуществления поправочный коэффициент, используемый для умножения изображений HL и LH в секции подавления шумов в секции исправления, предоставленный для каждой полосы частот, меняется в зависимости от яркости снятого изображения. Когда структурный шум возникает в снятом изображении, в котором четко определенная светло-темная часть смешана, уровень сигнала является низким в темной части по сравнению с таковым в светлой части, приводя к плохому соотношению S/N. Следовательно, структурный шум не заметен в светлой части, тогда как структурный шум заметен в темной части. Поэтому, когда шум подавляется с использованием поправочного коэффициента, который одинаков для всего изображения, структурный шум в темной части все еще остается видимым, хотя структурный шум в светлой части невидим.

Чтобы решить эти случаи, в четвертом варианте осуществления поправочный коэффициент, используемый для умножения каждого местоположения в изображениях HL и LH в секции подавления шумов, меняется в зависимости от уровня яркости у снятого изображения. Другими словами, поправочный коэффициент устанавливается меньше в местоположении, где уровень яркости снятого изображения ниже, чтобы увеличить величину подавления шумов.

Уровень яркости получается из изображения LL, которое является низкочастотной составляющей для каждой полосы частот, вместо получения уровня яркости из снятого изображения. Это изображение LL имеет такое же разрешение, как и у изображений HL и LH, которые нужно исправить, поэтому нет необходимости вычислять яркость для каждого единичного пикселя с помощью применения преобразования разрешения снова от снятого изображения. Следует отметить, что разрешение у изображения LL, которое сформировано в секции разложения на частотные составляющие из первого варианта осуществления как в вертикальном, так и в горизонтальном направлении, уменьшается вполовину на 1 уровень разложения по сравнению с изображением LL до разложения, тогда как каждый коэффициент масштабирования увеличивается в два раза.

Поэтому изображение LL уровня 1, которое сформировано в первой секции разложения на частотные составляющие, может быть преобразовано в уровень яркости путем деления каждого коэффициента масштабирования на 2. Изображение LL уровня 2 может быть преобразовано в уровень яркости путем деления каждого коэффициента масштабирования на 2². Таким образом, изображение LL уровня j преобразуется в уровень яркости для использования путем деления коэффициента масштабирования на 2^j. В соответствии с четвертым вариантом осуществления, поправочный коэффициент изменяется в соответствии с уровнем яркости, в силу чего структурный шум в темной части может быть значительно подавлен даже для снятого изображения, имеющего большую разницу яркости внутри изображения.

(Пятый вариант осуществления)

В изображении с низким разрешением, которое сформировано секцией разложения на частотные составляющие из первого варианта осуществления, составляющая рабочего участка также включается в частотную составляющую пикселя OB рядом с рабочим участком. Отсюда возникают случаи, что этот пиксель не может использоваться при вычислении среднего в участке OB. В пятом варианте осуществления вышеупомянутый случай решается путем разделения входного изображения на рабочий участок, участок HOB и участок VOB соответственно, с тем чтобы обеспечить индивидуальное частотное разложение. Также в пятом варианте осуществления части, которые обладают такой же функцией, что и у описанного выше первого варианта осуществления, обозначаются такими же номерами ссылок, что и в первом варианте осуществления, и их дублирующее описание соответственно пропускается.

Фиг.24 - блок-схема, показывающая пример конфигурации схемы секции 500 обработки изображений из пятого варианта осуществления. Секция 500 обработки изображений включает в себя секции 510a, 510b и 510c разложения на частотные составляющие, секцию 520 синтеза частотной составляющей и секцию 530 разделения области изображения. Секция 530 разделения области изображения разделяет входное изображение на три секции: рабочий участок, участок HOB и участок VOB. Полученные разделением изображения соответственно вводятся в секции 510a, 510b и 510c разложения на частотные составляющие. Внутренняя конфигурация секций 510a, 510b и 510c разложения на частотные составляющие является такой же, как и конфигурация секции 110 разложения на частотные составляющие, показанной на фиг.6 из первого варианта осуществления. Чтобы различать изображения, сформированные в каждой секции разложения на частотные составляющие, изображения для каждой полосы частот, которые должны быть сформированы из рабочего участка изображения в секции 510a разложения на частотные составляющие, обозначаются HH_a, HL_a, LH_a и LL_a. Секция 510b разложения на частотные составляющие предназначена для формирования изображений HH_h, HL_h, LH_h и LL_h для каждой полосы частот из изображения HOB. Секция 510c разложения на частотные составляющие предназначена для формирования изображений HH_v, HL_v, LH_v и LL_v для каждой полосы частот из изображения VOB. Поскольку изображения HH_h и HL_h и изображения HH_v и LH_v непосредственно не используются в этом варианте осуществления, они могут не предоставляться. Изображения, которые сформированы в секциях 510a, 510b и 510c разложения на частотные составляющие, вводятся в секцию 520 синтеза частотной составляющей.

Фиг.25 - функциональная блок-схема, показывающая пример конфигурации схемы секции 520 синтеза частотной составляющей. Секция 520 (521, 522) синтеза частотной составляющей включает в себя секции 5211, 5212, 5221, 5222 вертикального инверсного DWT и т.д. и секции 5213, 5223 горизонтального инверсного DWT и т.д. Каждая из этих секций имеет такую же функцию, что и секции 1211, 1212, 1221, 1222 вертикального инверсного DWT и т.д. и секции 1213, 1223 горизонтального инверсного DWT и т.д. из первого варианта осуществления. Секция 520 синтеза частотной составляющей также включает в себя секции 523, 524 и т.д. исправления. HL_a и LH_a, которые сформированы из рабочего участка изображения, LH_h, которое сформировано из изображения участка HOB, и HL_v, которое сформировано из изображения участка VOB, вводятся в секции 523, 524 и т.п.исправления.

Фиг.26 - блок-схема, показывающая конфигурацию секции 523 исправления. Секция 523 исправления включает в себя секцию 5231 обращения к HOB, секцию 5232 обращения к VOB и секции 5233 и 5234 подавления шумов. Как и в первом варианте осуществления, секция 5231 обращения к HOB и секция 5232 обращения к VOB включают в себя секцию вычисления величины шума и секцию определения шума (обе не показаны). Как и в первом варианте осуществления, обе секции 5233 и 5234 подавления шумов включают в себя секцию отделения шумов (не показана).

Секция 5231 обращения к HOB принимает ввод изображения LH_h, вычисляет среднее ave (n) из абсолютных значений коэффициентов расширения для каждой строки и сравнивает его с опорным значением определения шума, где n - вертикальное положение. Подробности этой обработки аналогичны описанным в секции 1231 обращения к HOB, показанной на Фиг.9 из первого варианта осуществления.

Секция 5232 обращения к VOB вводит изображение HL_v, вычисляет среднее ave (m) из абсолютных значений коэффициентов расширения для каждой строки и сравнивает его с опорным значением определения шума, где n - вертикальное положение. Подробности этой обработки аналогичны описанным в секции 1232 обращения к VOB, показанной на фиг.9 из первого варианта осуществления. Секции 5233 и 5334 подавления шумов соответственно вводят изображения HL_a и LH_a, которые сформированы из рабочего участка изображения. Секция 5233 подавления шумов выполняет обработку по подавлению шумов в отношении строки, определенной секцией 5231 обращения к HOB, чтобы получить структурный шум. Секция 5234 подавления шумов выполняет обработку по подавлению шумов в отношении столбца, в котором секция 5232 обращения к VOB определила, что там возник структурный шум. Подробности этой обработки аналогичны описанным в секциях 1233 и 1234 подавления шумов, показанных на фиг.9 из первого варианта осуществления.

Обработка по подавлению шумов в секции 523 исправления выполняется для каждой полосы частот, чтобы последовательно синтезировать каждое изображение, которое получено разложением секцией синтеза частотной составляющей, при помощи чего может быть получен рабочий участок изображения, в котором подавлен структурный шум. В соответствии с пятым вариантом осуществления все пиксели участка OB могут использоваться для вычисления среднего по участку OB, при помощи чего обработка по подавлению шумов может выполняться точнее.

(Шестой вариант осуществления)

В первом варианте осуществления датчик 60 изображения (показанный на фиг.27) включает в себя два участка OB, которые предоставляются в виде полосы на одном крае горизонтального направления и вертикального направления соответственно. Точнее говоря, датчик 60 изображения включает в себя горизонтальный оптический уровень 61 черного (HOB), предусмотренный на левом крае датчика 60 изображения, и вертикальный оптический уровень 62 черного (VOB), предусмотренный на верхнем крае датчика 60 изображения, как показано на фиг.2. В отличие от этого, датчик 60 изображения из данного варианта осуществления включает в себя участки OB (первую и вторую экранированные пиксельные области), которые предусматриваются на обоих краях горизонтального направления и вертикального направления соответственно. Другими словами, участки OB предусматриваются в виде полос на двух противоположных сторонах. Работа, отличная от выполняемой секцией исправления, является такой же, как и в первом варианте осуществления, и здесь не будет дано никакого дополнительного описания.

Фиг.27 - изображение, показывающее схематическую конфигурацию датчика 60 изображения из данного варианта осуществления, использующую датчик изображения CMOS. Датчик 60 изображения включает в себя горизонтальные оптические уровни черного (HOB_L 661 и HOB_R 662), вертикальные оптические уровни черного (VOB_U 663 и VOB_D 664) и рабочий участок 665 в качестве пиксельной области. HOB_L 661 и HOB_R 662 являются экранированными пиксельными областями, которые предоставляются соответственно в виде полос на левом и правом краях пиксельной области и экранируются, чтобы предотвратить попадание света, отраженного от объекта, на датчик 60 изображения. VOB_U 663 и VOB_D 664 являются экранированными пиксельными областями, которые предоставляются соответственно в виде полос на верхнем и нижнем краях пиксельной области и экранируются, чтобы предотвратить попадание света, отраженного от объекта, на датчик 60 изображения. Рабочий участок 665 является неэкранированной пиксельной областью, на которую может попадать свет, отраженный от объекта без экранирования.

Ниже будет описываться ход обработки каждой строки в изображении LH, выполняемой секцией 123 исправления из шестого варианта осуществления. Фиг.28 - схема, иллюстрирующая обработку по исправлению. Фиг.28А показывает пример входного изображения. В примере на фиг.28А N является количеством пикселей в вертикальном направлении, а M является количеством пикселей в горизонтальном направлении. На этом чертеже левый и правый края каждого из 32 столбцов являются областями HOB_L и HOB_R соответственно. Это входное изображение вводится в секцию 110 разложения на частотные составляющие с тем, чтобы сформировать изображение LH с помощью частотного разложения. Такое изображение LH показано на фиг.28B. В вышеупомянутом изображении LH количество пикселей составляет 1/2 от изображения до разложения для столбца и строки. Поэтому области HOB_L и HOB_R в изображении LH соответствуют соответствующим 16 столбцам, предоставленным с левого и правого краев. Однако следует отметить, как можно понять из вычисления с использованием Формулы (2), что столбец рядом с рабочим участком включает в себя обе составляющие участка HOB и рабочего участка. Фиг.29 показывает результат вычисленных абсолютных значений после извлечения значения (коэффициент вейвлет-расширения) у строки изображения LH.

Составляющая структурного шума включается как в рабочий участок, так и в экранированный участок HOB, тогда как составляющая края объекта включается только в рабочий участок. Отсюда путем вычисления средних величин ave_L(n) и ave_R(n) из абсолютных значений коэффициентов вейвлет-расширения для соответствующих строк HOB_L и HOB_R в секции вычисления величины шума могут быть вычислены величины составляющей структурного шума для соответствующих строк, соответствующих соответствующим полосам частот, где n представляет количество строк. Однако следует отметить, что поскольку составляющая рабочего участка включается в столбец областей HOB_L и HOB_R рядом с рабочим участком, этот столбец не используется для вычисления средних величин ave_L(n) и ave_R(n).

В секции определения шума ave_L(n) и ave_R(n), которые вычислены в секции вычисления величины шума, сравниваются с опорными значениями определения шума, которые соответственно задаются для областей HOB_L и HOB_R. Когда ave_L(n) и ave_R(n) оба превышают опорное значение определения шума, секция определения шума определяет, что в той строке присутствует структурный шум. Условие для определения того, что присутствует структурный шум, также может быть таким, что любое из ave_L(n) и ave_R(n) превышает опорное значение определения шума. Как и во втором варианте осуществления, среднее из абсолютных значений коэффициентов расширения для соответствующей области HOB_L и области HOB_R в изображении HH, которое является высокочастотной составляющей диагонального направления, образованной в соответствующих секциях разложения на частотные составляющие, используется в качестве опорного значения определения шума.

Далее будет описываться обработка в секции 1233 подавления шумов. Секция 1233 подавления шумов выполняет обработку по подавлению шумов в отношении строки, в которой секция 1231b определения шума в секции 1231 обращения к HOB определила, что там возник структурный шум. Рабочий участок строки, для которой определено, что там возник шум, включает в себя составляющую края и составляющую структурного шума у объекта. Поскольку амплитуда структурного шума меньше уровня сигнала объекта в рабочем участке, составляющая структурного шума у абсолютных значений коэффициентов вейвлет-расширения, к которым применено частотное преобразование, также меньше составляющей края объекта. Поэтому функция Wth(n, m) путем линейной интерполяции ее значений ave_L(n) и ave_R(n), которые вычислены в областях HOB_L и HOB_R соответственно, как показано в Формуле (15), может использоваться в качестве порогового значения для разделения составляющей структурного шума и составляющей края объекта, где n представляет количество строк, а m представляет количество столбцов. В Формуле (15), учитывая колебания коэффициента расширения, коэффициент для умножения равен 1,1. Нижеследующая формула изображается в виде линейной функции, но может быть любым типом функции.

Секция 1233а отделения шумов разделяет составляющую структурного шума и составляющую края объекта с использованием вышеупомянутого порогового значения. Используя вышеупомянутый способ, составляющая структурного шума может точно отделяться от составляющей края объекта, даже если структурный шум имеет разную интенсивность в левом и правом направлениях. Затем абсолютное значение коэффициента вейвлет-расширения в рабочем участке вычисляется из расчета на единичный пиксель. Поправочный коэффициент умножается на коэффициент вейвлет-расширения в соответствии с величиной абсолютного значения каждого единичного пикселя. Этот поправочный коэффициент может обобщаться, как показано в Формуле (16), где w_n,m ^(j,h) - коэффициент вейвлет-расширения до исправления, а w'_n,m ^(j,h) - коэффициент вейвлет-расширения после исправления. Также j является уровнем, представляющим полосу частот, а h является составляющей горизонтального направления.

В единичном пикселе, где абсолютное значение коэффициента вейвлет-расширения в рабочем участке меньше порогового значения Wth(n, m), другими словами, когда единичный пиксель является составляющей структурного шума, поправочный коэффициент c' (0<c'<1) умножается на коэффициент вейвлет-расширения, чтобы подавить составляющую структурного шума. В единичном пикселе, где абсолютное значение коэффициента вейвлет-расширения в рабочем участке больше порогового значения Wth(n, m), другими словами, когда единичный пиксель является составляющей края объекта, поправочный коэффициент c=1 умножается на коэффициент вейвлет-расширения, чтобы сохранить составляющую края объекта. Поправочный коэффициент c', который нужно умножить на составляющую структурного шума, вычисляется из ave_L(n) и ave_R(n), как показано в Формуле (17).

Поправочный коэффициент c', показанный в Формуле (17), является прямой линией, тянущейся между инверсиями ave_L(n) и ave_R(n). График поправочного коэффициента c' показан на фиг.30. Чем меньше становится поправочный коэффициент c', тем больше становится составляющая структурного шума, в силу чего величина подавления шумов также увеличивается. Следовательно, разность интенсивности между правым и левым направлениями после подавления шумов может уменьшаться. В отличие от коэффициента w_n,m ^(j,h) расширения, показанного на фиг.29, абсолютные значения коэффициента w'_n,m ^(j,h) расширения после вычисления, показанного в Формулах (16) и (17), показываются на фиг.31. С помощью определения порогового значения, используя оба значения областей HOB_L и HOB_R и используя поправочный коэффициент, соответствующий составляющей структурного шума, который показан в Формуле (17), может быть успешно подавлен структурный шум, имеющий разность интенсивности между левым и правым направлением.

Обработка по исправлению (пример операций по обработке в отношении изображения LH), осуществляемая секцией 123 исправления, как описано выше, обобщается с использованием блок-схемы последовательности операций. Фиг.32 - блок-схема последовательности операций, показывающая ход обработки каждой строки в изображении LH, выполняемой секцией исправления. Во-первых, вычисляются средние величины ave_L(n) и ave_R(n) абсолютных значений коэффициентов расширения в соответствующих областях HOB_L и HOB_R с помощью секции 1231а вычисления величины шума в секции 1231 обращения к HOB (этап 601 (в дальнейшем называется "S")). Затем секция 1231b определения шума сравнивает каждое из ave_L(n) и ave_R(n), которые вычислены секцией 1231а вычисления величины шума, с опорным значением определения структурного шума (этап S602).

Когда одно или оба из ave_L(n) и ave_R(n) меньше опорного значения определения шума и определяется, что в той строке нет структурного шума (S602: Нет), секция подавления шумов не выполняет обработку по подавлению шумов, и в силу этого обработка для той строки завершается. С другой стороны, когда оба ave_L(n) и ave_R(n) больше опорного значения определения (S602: Да), секция 1233 подавления шумов выполняет обработку по подавлению шумов. Секция 1233а отделения шумов в секции 1233 подавления шумов вычисляет пороговое значение Wth(n) для отделения структурного шума и составляющей края объекта по отношению к строке, для которой определено, что там возник структурный шум (этап S603).

Затем вычисляется абсолютное значение коэффициента расширения для каждого пикселя в рабочем участке (этап S604). Поправочный коэффициент, имеющий пороговое значение Wth(n, m), умножается на коэффициент вейвлет-расширения для каждого пикселя в соответствии с величиной вычисленного абсолютного значения, чтобы подавить составляющую структурного шума (этап S605). Обработка с этапа S601 по S605 выполняется в отношении каждой строки. С помощью выполнения вышеупомянутой обработки в секциях исправления в соответствующих секциях синтеза частотной составляющей подавляется только составляющая структурного шума, посредством чего получается изображение LH с сохраненной составляющей края объекта.

Описана обработка, осуществляемая секцией 1231 обращения к HOB и секцией 1233 подавления шумов в отношении изображения LH. Когда описанная выше обработка выполняется для изображения HL в секции 1232 обращения к VOB и секции 1234 подавления шумов, может быть подавлена составляющая структурного шума в вертикальном направлении.

(Седьмой вариант осуществления)

Как и в шестом варианте осуществления, датчик 60 изображения из данного варианта осуществления включает в себя участки OB, которые предоставляются в виде двух полос на обоих краях горизонтального направления и вертикального направления соответственно. В шестом варианте осуществления составляющая структурного шума подавляется путем умножения коэффициента вейвлет-расширения у рабочего участка на поправочный коэффициент меньше 1 в секции подавления шумов в секции исправления. В качестве другого способа подавления шумов в седьмом варианте осуществления составляющая шума удаляется путем вычитания составляющей структурного шума, которая вычислена из областей HOB_L и HOB_R, из коэффициента расширения рабочего участка.

Фиг.33 - блок-схема последовательности операций, показывающая ход обработки каждой строки в изображении LH, выполняемой секцией исправления в седьмом варианте осуществления. Этапы S701 и S702 являются такими же, как и S601 и S602, показанные на Фиг.32 шестого варианта осуществления. На этапе S703 составляющая Wpn(n, m) структурного шума вычисляется с использованием Формулы (18) из значений ave_L(n) и ave_R(n), которые вычислены секцией обращения к HOB. В Формуле (18) n представляет количество строк, а m представляет количество столбцов.

На этапе S704 коэффициент w'_n,m ^(j,h) расширения после исправления вычисляется путем вычитания составляющей Wpn(n, m) структурного шума из коэффициента w_n,m ^(j,h) расширения для каждого пикселя рабочего участка, как показано в Формуле (19).

Фиг.34А показывает результат вычисленных абсолютных значений после извлечения значения (коэффициент вейвлет-расширения) у строки изображения LH. Фиг.34А также показывает составляющую Wpn(n, m) структурного шума, которая вычислена с использованием Формулы (18). Фиг.34B показывает результат, полученный из обработки, показанной в Формуле (19), выполненной над коэффициентом расширения. С помощью выполнения вышеупомянутой обработки для каждой строки составляющая структурного шума, имеющая разность интенсивности в левом и правом направлениях, может удаляться из рабочего участка.

(Модификации)

Нужно понимать, что настоящее изобретение не ограничивается описанным выше предпочтительным вариантом осуществления. Различные изменения и модификации могут быть сделаны в изобретении без отклонения от его сущности и объема.

(1) В каждом из вышеупомянутых вариантов осуществления, хотя обработка по исправлению выполняется секцией обработки изображений, предусмотренном в устройстве фиксации изображения, обработка по исправлению может выполняться с помощью внешней схемы, например персонального компьютера, после вывода изображения, снятого датчиком изображения. В этом случае персональный компьютер или аналогичный может функционировать как средство, эквивалентное описанной выше секции обработки изображений, с помощью установки программы обработки изображений.

(2) Хотя в каждом из вышеупомянутых вариантов осуществления описание выполнено касательно примера цифровой фотокамеры, настоящее изобретение этим не ограничивается. Например, настоящее изобретение может применяться к другим видам устройства фиксации изображения, например видеокамере или камере наблюдения.

(3) Хотя описание в каждом из вышеупомянутых вариантов осуществления выполнено касательно примера, в котором датчик изображения CMOS используется в качестве датчика 60 изображения, настоящее изобретение этим не ограничивается. Например, настоящее изобретение может применяться для датчика изображения CCD.

Хотя варианты осуществления и вариации могут использоваться в подходящем сочетании, здесь не будет дано никакого дополнительного описания. Настоящее изобретение не ограничивается вышеупомянутыми вариантами осуществления.

Хотя настоящее изобретение описано со ссылкой на типовые варианты осуществления, нужно понимать, что изобретение не ограничивается раскрытыми типовыми вариантами осуществления. Объем, определяемый нижеследующей формулой изобретения, должен соответствовать самой широкой интерпретации, чтобы заключать в себе все такие модификации и равноценные конструкции и функции. По данной заявке испрашивается приоритет заявок на патент Японии №№2008-207787 и 2009-092987, поданных 12 августа 2008 г. и 7 апреля 2009 г. соответственно, которые настоящим полностью включаются в этот документ путем отсылки.

Изобретения относятся к области обработки изображений. Способ обработки изображений содержит этапы, на которых выполняют разложение изображения, полученного от датчика изображения, имеющего экранированную от света пиксельную область и неэкранированную от света пиксельную область, на две или более частотных составляющих; вычисляют величину шума для частотной составляющей из частотной составляющей в экранированной от света пиксельной области; подавляют составляющую шума для частотной составляющей в неэкранированной от света пиксельной области в соответствии с вычисленной величиной шума; и синтезируют разложенную частотную составляющую, чтобы посредством этого сформировать изображение. Также заявлены устройства, реализующие данный способ. Технический результат заключается в уменьшении шумов, возникающих при обработки изображений. 3 н. и 11 з.п. ф-лы, 34 ил., 1 табл.

1. Устройство обработки изображений, содержащее секцию разложения на частотные составляющие, которая раскладывает изображение, полученное от датчика изображения, имеющего экранированную от света пиксельную область и неэкранированную от света пиксельную область, на две или более частотных составляющих; секцию вычисления величины шума, которая вычисляет величину шума для частотной составляющей на основе частотной составляющей в экранированной от света пиксельной области; секцию подавления шумов, которая подавляет составляющую шума для частотной составляющей в неэкранированной от света пиксельной области в соответствии с величиной шума, которая вычислена секцией вычисления величины шума; и секцию синтеза частотной составляющей, которая синтезирует частотную составляющую, которая разложена секцией разложения на частотные составляющие, чтобы посредством этого сформировать изображение.

2. Устройство обработки изображений по п.1, содержащее секцию отделения шумов, которая отделяет составляющую шума от составляющей объекта для частотной составляющей в неэкранированной от света пиксельной области в соответствии с величиной шума, которая вычислена секцией вычисления величины шума, при этом секция подавления шумов подавляет составляющую шума, которая отделена секцией отделения шумов.

3. Устройство обработки изображений по п.2, в котором секция отделения шумов определяет наличие или отсутствие генерации шума для каждого столбца или строки путем сравнения величины шума столбца или строки, вычисленной секцией вычисления величины шума, с опорным значением определения шума, и разделяет составляющую шума и составляющую объекта в столбце или строке, для которых определено, что там возник шум.

4. Устройство обработки изображений по п.3, в котором опорное значение определения шума определяется на основе величины шума, которая вычислена секцией вычисления величины шума из высокочастотной составляющей диагонального направления в экранированной от света пиксельной области, причем высокочастотная составляющая диагонального направления раскладывается секцией разложения на частотные составляющие.

5. Устройство обработки изображений по п.2, содержащее секцию определения порогового значения, которая определяет пороговое значение на основе величины шума, которая вычислена секцией вычисления величины шума, при этом секция отделения шумов разделяет составляющую шума и составляющую объекта, используя пороговое значение, определенное секцией определения порогового значения.

6. Устройство обработки изображений по п.5, в котором экранированная от света пиксельная область состоит из первой и второй экранированных от света пиксельных областей, которые экранированы от света по меньшей мере по двум противоположным сторонам, и секция определения порогового значения определяет пороговое значение с помощью линейной интерполяции величины шума между первой и второй экранированными от света пиксельными областями.

7. Устройство обработки изображений по п.1, в котором секция подавления шумов подавляет составляющую шума путем умножения высокочастотной составляющей среди двух или более частотных составляющих, полученных разложением, выполненным секцией разложения на частотные составляющие, на поправочный коэффициент.

8. Устройство обработки изображений по п.7, в котором поправочный коэффициент является значением, которое может изменяться в соответствии с яркостью снятого изображения.

9. Устройство обработки изображений по п.1, в котором секция подавления шумов вычитает составляющую шума из высокочастотной составляющей среди частотных составляющих, полученных разложением, выполненным секцией разложения на частотные составляющие.

10. Устройство обработки изображений по п.5, в котором секция подавления шумов подавляет составляющую шума путем умножения высокочастотной составляющей среди частотных составляющих, полученных разложением, выполненным секцией разложения на частотные составляющие, на поправочный коэффициент, причем поправочный коэффициент является значением, которое может изменяться в соответствии с пороговым значением, определенным секцией определения порогового значения.

11. Устройство обработки изображений по п.1, содержащее секцию разделения области изображения, которая разделяет изображение, полученное от датчика изображения, на изображение, полученное из экранированной от света пиксельной области, и изображение, полученное из неэкранированной от света пиксельной области, при этом секция разложения на частотные составляющие выполняет разложение на две или более частотных составляющих для каждого изображения, полученного разделением в секции разделения области изображения.

12. Устройство обработки изображений по п.1, в котором секция разложения на частотные составляющие выполняет вейвлет-преобразование, а секция синтеза частотной составляющей выполняет обратное вейвлет-преобразование.

13. Устройство фиксации изображения, содержащее датчик изображения, имеющий экранированную от света пиксельную область и неэкранированную от света пиксельную область; секцию разложения на частотные составляющие, которая раскладывает изображение, полученное от упомянутого датчика изображения, на две или более частотных составляющих; секцию вычисления величины шума, которая вычисляет величину шума для частотной составляющей на основе частотной составляющей в экранированной от света пиксельной области; секцию подавления шумов, которая подавляет составляющую шума для частотной составляющей в неэкранированной от света пиксельной области в соответствии с величиной шума, которая вычислена секцией вычисления величины шума; и секцию синтеза частотной составляющей, которая синтезирует частотную составляющую, которая разложена секцией разложения на частотные составляющие, чтобы посредством этого сформировать изображение.

14. Способ обработки изображений, содержащий этапы, на которых выполняют разложение изображения, полученного от датчика изображения, имеющего экранированную от света пиксельную область и неэкранированную от света пиксельную область, на две или более частотных составляющих; вычисляют величину шума для частотной составляющей из частотной составляющей в экранированной от света пиксельной области; подавляют составляющую шума для частотной составляющей в неэкранированной от света пиксельной области в соответствии с вычисленной величиной шума; и синтезируют разложенную частотную составляющую, чтобы посредством этого сформировать изображение.