УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ УПРАВЛЕНИЯ УСТРОЙСТВОМ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2016 года по МПК H04N5/367 H04N5/217 

ОБЛАСТЬ ТЕХНИКИ

[0001] Изобретение относится к устройству обработки изображений и способу управления устройством обработки изображений и, в частности, относится к методу коррекции дефектного пикселя.

ОПИСАНИЕ УРОВНЯ ТЕХНИКИ

[0002] Устройство захвата изображений, например цифровая камера, получает изображение с использованием датчика изображения, например датчика КМОП. В общем случае, в датчике изображения существует дефектный пиксель, поскольку в нем обеспечено большое количество пикселей. В качестве метода коррекции значения такого дефектного пикселя известен способ, который использует пиксельное значение, оцененное из одного или более значений одного или более недефектных пикселей, существующий на периферии дефектного пикселя, в качестве пиксельного значения в позиции дефектного пикселя. Далее, в настоящем описании изобретения получение пиксельного значения в позиции дефектного пикселя, которое могло бы быть получено, если бы пиксель не был дефектным, будет именоваться коррекцией дефектных пикселей.

[0003] Например, в выложенной японской патентной заявке № 11-220661 раскрыт способ, в котором значения периферийных пикселей того же цвета, что и дефектный пиксель используются в качестве опорных, форма объекта вблизи дефектного пикселя классифицируется в соответствии с любым из заранее определенных шаблонов, и дефектный пиксель корректируется с использованием периферийных пикселей, и способ, который соответствует классифицированному шаблону. В выложенной японской патентной заявке № 2005-175547 раскрыт способ, который использует, когда пространственная частота объекта вблизи дефектного пикселя высока, смежные пиксели для обнаружения опорного направления пикселя, подлежащего использованию при коррекции дефектного пикселя, таким образом, реализуя более точную интерполяцию, чем в случае использования пикселей того же цвета, что и дефектный пиксель.

[0004] Однако традиционные методы, раскрытые в вышеупомянутых патентных документах, позволяют точно скорректировать дефектный пиксель для объекта, имеющего заранее определенный конкретный угол, но возможны случаи, когда происходит ошибочная коррекция в случае объекта, имеющего другой угол. Например, рассмотрим случай, когда объект имеет угол (здесь, приблизительно 27 градусов), который близок к горизонтали, как показано на фиг. 13A. На фиг. 13A опорная область пикселей, используемая при коррекции дефектного пикселя традиционными методами, обозначается толстой рамкой. Исходя из того, что пиксельное значение в позиции дефектного пикселя равно значению (0), показанному на фиг. 13B, дефектный пиксель невозможно надлежащим образом скорректировать значением (30 или 40) пикселя того же цвета, что и дефектный пиксель в опорной области.

[0005] Более вероятно, что пиксельное значение, пригодное для коррекции дефектного пикселя, будет найдено в опорной области путем расширения опорной области. Если же, например, пиксельные значения объекта, имеющего повторяющийся шаблон, показанный на фиг. 13C, такие же, как показано на фиг. 13D, вследствие дефектного пикселя, возможны случаи, когда угол объекта невозможно точно определить на основании разности между двумя точками.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0006] Изобретение предусматривает устройство обработки изображений и способ управления устройством обработки изображений, который реализует надлежащую коррекцию дефектного пикселя, даже когда объект, содержащий дефектный пиксель, не имеет конкретного угла.

[0007] Согласно аспекту изобретения предусмотрено устройство обработки изображений, содержащее: средство получения для получения изображения; первое средство задания для задания на основании позиции целевого пикселя коррекции первой области изображения, причем первая область включает в себя множество пикселей в строке, представляющей интерес, которая задана так, чтобы проходить через целевой пиксель коррекции; второе средство задания для задания множества вторых областей изображения, причем каждая вторая область основана на позициях множества пикселей, существующих в, по меньшей мере, одной из опорных строк, которые заданы так, чтобы не проходить через целевой пиксель коррекции; средство вычисления корреляции для вычисления величин корреляции между соответствующими вторыми областями и первой областью; и средство коррекции для вычисления значения коррекции для коррекции значения пикселя, соответствующего целевому пикселю коррекции, с использованием значения пикселя в каждой из, по меньшей мере, одной из опорных строк, причем значение определяется на основании величин корреляции, и коррекции значения пикселя, соответствующего целевому пикселю коррекции, с использованием значения коррекции.

[0008] Согласно другому аспекту изобретения предусмотрен способ управления устройством обработки изображений, причем способ содержит: этап получения, на котором получают изображение; первый этап задания, на котором задают на основании позиции целевого пикселя коррекции первую область изображения, причем первая область включает в себя множество пикселей в строке, представляющей интерес, которая задана так, чтобы проходить через целевой пиксель коррекции; второй этап задания, на котором задают множество вторых областей изображения, причем каждая вторая область основана на позициях множества пикселей, существующих в, по меньшей мере, одной из опорных строк, которые заданы так, чтобы не проходить через целевой пиксель коррекции; этап вычисления корреляции, на котором вычисляют величины корреляции между соответствующими вторыми областями и первой областью; и этап коррекции, на котором вычисляют значение коррекции для коррекции значения пикселя, соответствующего целевому пикселю коррекции, с использованием значения пикселя в каждой из, по меньшей мере, одной из опорных строк, причем значение определяется на основании величин корреляции, и коррекции значения пикселя, соответствующегоцелевому пикселю коррекции, с использованием значения коррекции.

[0009] Дополнительные признаки изобретения следуют из нижеследующего описания вариантов осуществления со ссылкой на прилагаемые чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0010] Фиг. 1A и 1B - блок-схемы устройства захвата изображений и устройства обработки информации согласно вариантам осуществления изобретения.

[0011] Фиг. 2 - схема, демонстрирующая иллюстративную пиксельную матрицу в датчике изображения согласно вариантам осуществления.

[0012] Фиг. 3 - блок-схема операций, демонстрирующая коррекцию дефектных пикселей обработка в первом варианте осуществления.

[0013] Фиг. 4 - схема обработки вычисления величины корреляции в первом варианте осуществления.

[0014] Фиг. 5A-5C - конкретные примеры обработки вычисления величины корреляции согласно вариантам осуществления.

[0015] Фиг. 6 - упрощенная схема, демонстрирующая задание опорной строки во втором варианте осуществления.

[0016] Фиг. 7 - упрощенные схемы, иллюстрирующие третий вариант осуществления.

[0017] Фиг. 8A и 8B - упрощенные схемы, иллюстрирующие четвертый вариант осуществления.

[0018] Фиг. 9 - упрощенная схема, демонстрирующая общий вид коррекции дефектных пикселей в четвертом варианте осуществления.

[0019] Фиг. 10 - блок-схема операций, демонстрирующая обработка коррекции дефектных пикселей в четвертом варианте осуществления.

[0020] Фиг. 11A-11D - схемы, демонстрирующие иллюстративный способ объединения значений коррекции в четвертом варианте осуществления.

[0021] Фиг. 12A-12B - схемы, иллюстрирующие способ объединения значений коррекции в четвертом варианте осуществления.

[0022] Фиг. 13A и 13D - схемы, демонстрирующие пример условия объекта, которым трудно оперировать традиционными методами.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0023] Варианты осуществления изобретения будут подробно описаны в соответствии с прилагаемыми чертежами. Каждый из вариантов осуществления изобретения, описанных ниже, можно реализовать по отдельности или в виде комбинации множества вариантов осуществления или их признаков, при необходимости или когда комбинация элементов или признаков отдельных вариантов осуществления в единичном варианте осуществления полезна.

[0024] Заметим, что, хотя следующие варианты осуществления будут описывать примеры, в которых изобретение применимо к устройству захвата изображений, конфигурации, уникальные для устройства захвата изображений, например, функции, связанные с фотографированием и записью фотографического изображения, не существенны для устройства обработки изображений согласно изобретению. Изобретение можно реализовать в любом электронном устройстве, способном получать данные изображения, полученного фотографированием, и информацию, связанную с дефектным пикселем в датчике изображения, используемом при этом фотографировании. "Устройство захвата изображений" не ограничивается устройством, основной функцией которого является фотографирование, например цифровой камерой, и означает любое электронное устройство, имеющее функцию фотографирования.

[0025] ПЕРВЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

На фиг. 1A показана блок-схема, демонстрирующая иллюстративную функциональную конфигурацию устройства 100 захвата изображений (или устройства обработки изображений), которое является иллюстративным устройством обработки изображений согласно варианту осуществления изобретения.

[0026] Устройство 100 захвата изображений представляет собой такое устройство, как цифровая камера или цифровая видеокамера, которая фотографирует объект и получает данные (данные изображения), представляющие изображение объекта. Оптическая система 101 имеет объектив, затвор и диафрагму и формирует оптическое изображение объекта на датчике 102 изображения, под управлением ЦП 103. Датчик 102 изображения, который может представлять собой датчик изображения на основе ПЗС или КМОП, осуществляет фотоэлектрическое преобразование на сформированном оптическом изображении объекта на каждом пикселе и преобразует его в аналоговый сигнал изображения. ЦП 103 преобразует аналоговый сигнал изображения в цифровой сигнал изображения (данные изображения) и применяет к нему так называемую обработку проявки, например регулировку баланса белого и обработку цветовой интерполяции, а также обработку кодирования. ЦП 103 реализует различные функции устройства 100 захвата изображений путем выполнения программ и управления каждым функциональным блоком. Заметим, что, по меньшей мере, некоторые из функций, описанных как функции, реализованные программными средствами с помощью ЦП 103, можно реализовать аппаратными средствами (т.е. дискретными схемами, ASIC, программируемыми логическими устройствами и т.д.).

[0027] Первичное запоминающее устройство 104 представляет собой энергозависимое запоминающее устройство, например ОЗУ, и используется в качестве области временного хранения данных, например, рабочей области для ЦП 103. Вторичное запоминающее устройство 105 представляет собой энергонезависимое запоминающее устройство, например ЭСППЗУ, где хранятся программы (программно-аппаратное обеспечение) для управления устройством 100 захвата изображений, программы, выполняемые ЦП 103, различная информация настроек и пр.

[0028] Например, на носителе 106 данных, который является полупроводниковой картой памяти, данные изображения, полученного фотографированием, хранятся в виде файла данных заранее определенного формата. Носитель 106 данных можно удалять из устройства 100 захвата изображений и также можно использовать с другими устройствами, имеющими функцию обращения к носителю 106 данных, например персональным компьютером. Таким образом, устройству 100 захвата изображений нужно только иметь функцию обращения к носителю 106 данных и быть способным считывать и записывать данные с/на носитель 106 данных.

[0029] Блок 107 отображения используется для отображения изображения, формируемого видоискателем во время фотографирования, отображения полученного изображения или изображения считанного с носителя 106 данных и отображения пользовательского интерфейса, например, для интерактивной операции. Операционный блок 108 имеет, например, устройства ввода, например кнопку, переключатель, рычаг и сенсорную панель, и позволяет пользователю давать различные инструкции устройству 100 захвата изображений и конфигурировать их настройки. Заметим, что конфигурация, которая реализует способ ввода, который не требует физической операции, например голосового ввода или ввода на основе движения глаз, также включена в операционный блок 108.

[0030] Устройство 109 связи позволяет устройству 100 захвата изображений передавать и принимать команды управления и данные на/от внешнего устройства. Протокол, используемый для связи с внешним устройством, не имеет конкретных ограничений и может быть, например, PTP (протокол переноса изображений). Заметим, что, например, устройство 109 связи может осуществлять связь с внешним устройством посредством проводного соединения с использованием кабеля USB (универсальная последовательная шина) и т.п., или может осуществлять связь с внешним устройством посредством беспроводного соединения с использованием беспроводной LAN и т.п. Устройство 109 связи может быть непосредственно подключено к внешнему устройству или может быть соединено через сервер или через сеть, например интернет.

[0031] На фиг. 2, часть 2a показана иллюстративная пиксельная матрица в датчике 102 изображения в настоящем варианте осуществления. Датчик 102 изображения имеет цветовой фильтр, имеющий первичную цветовую байеровскую матрицу. В частности, он имеет матрицу с блоком повторения, образованным четырьмя пикселями, то есть два пикселя по горизонтали × два пикселя по вертикали. В блоке повторения верхним левым пикселем является красный (R) пиксель, верхним правым и нижним левым пикселями являются зелеными (G) пикселями, и нижним правым пикселем является синий (B) пиксель. Хотя в части 2a показаны пиксели на очень малом участке с дефектным пикселем в центре, другой участок также имеет такую же матрицу. Заметим, что, хотя датчик изображения имеет "дефектный пиксель", пиксели в датчике изображения и пиксели изображения, полученного фотографированием, находятся в отношении соответствия, и соответственно в нижеследующем описании пиксель в изображении, соответствующий дефектному пикселю, также будем называть "дефектным пикселем". Кроме того, дефектный пиксель может именоваться целевым пикселем коррекции.

[0032] Далее будет описана в общем виде операция коррекции дефектных пикселей в настоящем варианте осуществления. Здесь предполагается, что пиксель R является дефектным пикселем, как показано в части 2a фиг. 2. Первоначально при получении изображения, показанного в части 2a, множество пикселей, которое включает в себя дефектный пиксель, который должен быть целью коррекции и представлять характеристику строки (строки, представляющей интерес), проходящей через дефектный пиксель, извлекается из этой строки, и генерируется последовательность характеристических пикселей, показанная в части 2b, образованная извлеченными пикселями. Здесь показан пример, в котором строка, представляющая интерес, является горизонтальной строкой, и пиксели того же цвета, что и дефектный пиксель, которые располагаются в той же горизонтальной координате, что и дефектный пиксель, извлекаются для генерации последовательности характеристических пикселей. Заметим, что, хотя описание приведено здесь в качестве примера извлечения, в качестве характеристических пикселей, дефектный пиксель и два пикселя того же цвета, что и дефектный пиксель, которые располагаются впереди и позади дефектного пикселя на строке, представляющей интерес, способ извлечения характеристических пикселей этим не ограничивается.

[0033] Затем множество пикселей, представляющее характеристику другой строки (опорной строки), параллельной строке, представляющей интерес, извлекаются из пикселей, существующих на этой строке, и генерируется последовательность характеристических пикселей, показанная в части 2c, образованная извлеченными пикселями. Здесь показан пример, в котором опорная строка задана в двух пикселях над строкой, представляющей интерес, и пиксели того же цвета, что и дефектный пиксель, извлекаются из пикселей на опорной строке для генерации последовательности характеристических пикселей. Поскольку величина корреляции вычисляется, как описано ниже, количество характеристических пикселей, извлеченных из опорной строки, больше количества характеристических пикселей, извлеченных из строки, представляющей интерес.

[0034] Заметим, что, в настоящем варианте осуществления опорная строка задана таким образом, что на строке существуют пиксели того же цвета, что и дефектный пиксель. Соответственно в случае, когда блок повторения образован двумя пикселями, например пикселем R и пикселем B в байеровской матрице, опорная строка задана таким образом, что ее расстояние от строки, представляющей интерес, кратно (2n [пикселей], где n - целое число, большее или равное 1) блоку повторения.

[0035] Пример соответствующих пиксельных значений последовательностей характеристических пикселей, генерируемых из строки, представляющей интерес, и опорной строки, и формы волны, генерируемые из пиксельных значений последовательностей характеристических пикселей показан в части 2d. После такой генерации двух форм волны из последовательностей характеристических пикселей на строке, представляющей интерес, и опорной строки получается величина корреляции в отношении множества относительных позиций (величин сдвига), что позволяет получить величину и направление сдвига, обеспечивающие наивысшую корреляцию между двумя формами волны.

[0036] Например, предполагается, что, в результате сдвига формы волны последовательности характеристических пикселей на строке, представляющей интерес, на +2 (т.е. на два пикселя вправо), ее корреляция с формой волны последовательности характеристических пикселей на опорной строке достигается максимума, как показано в части 2e. Поскольку последовательность характеристических пикселей образована одними и теми же цветными пикселями в байеровской матрице, величина сдвига (+2)×2 соответствует разности координат пикселя в исходной пиксельной матрице. Соответственно установлено, что пиксель на опорной строке, наиболее коррелирующий с дефектным пикселем, располагается в +4 от дефектного пикселя по горизонтальной координате (т.е. в 4 пикселях вправо от него), как показано в части 2f.

[0037] По этой причине в простейшем способе дефектный пиксель можно корректировать с использованием в качестве значения дефектного пикселя, например значения пикселя, наиболее коррелирующего с дефектным пикселем.

[0038] Далее, с использованием блок-схемы операций, показанной на фиг. 3, будет приведено описание того, как реализовать вышеописанную коррекцию дефектных пикселей в настоящем варианте осуществления с помощью устройства 100 захвата изображений, показанного на фиг. 1A.

[0039] Первоначально на этапе S301 ЦП 103 получает данные изображения, которые являются целью обработки. Здесь данные изображения можно получать фотографированием или можно получать путем считывания данных изображения, записанных на носителе 106 данных. Альтернативно их можно получать из внешнего устройства через устройство 109 связи. Заметим, что полученные здесь данные изображения находятся в состоянии, когда дефектный пиксель не скорректирован, и являются, например, необработанными данными изображения.

[0040] ЦП 103 загружает полученные данные изображения, например, в первичное запоминающее устройство 104. Затем ЦП 103 сканирует каждый пиксель данных изображения, применяя обработку на этапах S302-S307 к пикселю, представляющему интерес, который является дефектным пикселем согласно определению на этапе S302. Заметим, что, хотя на этапе S302 производится определение, является ли каждый пиксель, представляющий интерес данных изображения дефектным пикселем, в примере на фиг. 3, обработка на этапах S303-S307 может последовательно осуществляться на дефектном пикселе с использованием информации позиции дефектного пикселя.

[0041] Информация дефектного пикселя может быть информацией дефектного пикселя, которая сохраняется во вторичном запоминающем устройстве 105, например, во время изготовления устройства 100 захвата изображений. Также, например, дефектный пиксель в датчике 102 изображения можно обнаруживать из изображения, полученного в конкретных условиях, например, при запуске устройства 100 захвата изображений, и информация его позиции может сохраняться во вторичном запоминающем устройстве 105. В это время, информация сохраненная во время изготовления, может обновляться информацией дефектного пикселя, полученной последующей обработкой обнаружения. Информация дефектного пикселя может записываться в качестве дополнительной информации о данных изображения.

[0042] Далее приведено описание обработки на этапе S303 и последующих этапах, осуществляемых на пикселе, который является дефектным пикселем согласно определению. На этапе S303 ЦП 103 генерирует последовательность характеристических пикселей (первая последовательность пикселей) на строке, представляющей интерес. Например, на этом этапе может осуществляться обработка для извлечения пикселей того же цвета, что и дефектный пиксель, которые существуют в той же горизонтальной координате, что и дефектный пиксель и генерации последовательности характеристических пикселей, как описано с использованием части 2b на фиг. 2. Заметим, что извлечение характеристических пикселей можно осуществлять с использованием других способов, как описано в других вариантах осуществления.

[0043] Затем на этапе S304 ЦП 103 генерирует последовательность характеристических пикселей (вторую последовательность пикселей) на опорной строке. Здесь также на этом этапе может осуществляться обработка для извлечения пикселей того же цвета, что и дефектный пиксель, которые располагаются на опорной строке, которая задана в двух пикселях над строкой, представляющей интерес, и генерации последовательности характеристических пикселей, как описано, например, с использованием части 2c на фиг. 2.

[0044] На этапе S305 ЦП 103 регистрирует величину сдвига, обеспечивающую наибольшую корреляцию, изменяя при этом относительные позиции последовательностей характеристических пикселей, генерируемых из строки, представляющей интерес, и опорной строки для определения пиксельного значения, пригодного в качестве опорного для коррекции дефектных пикселей.

[0045] Конкретный пример обработки вычисления величины корреляции на этапе S305 будет описан с использованием фиг. 4.

[0046] В этом варианте осуществления величина корреляции вычисляется между последовательностью характеристических пикселей на строке, представляющей интерес, и частью последовательности характеристических пикселей на опорной строке (областью в опорной строке), имеющей такое же количество пикселей, как в последовательности характеристических пикселей на строке, представляющей интерес. Всякий раз, когда величина сдвига между последовательностями изменяется, другая область последовательности характеристических пикселей на опорной строке используется для вычисления величины корреляции для величины сдвига. Таким образом, последовательность характеристических пикселей на опорной строке можно рассматривать как состоящую из множества пиксельных областей.

[0047] На фиг. 4 схематически показан пример вычисления величины корреляции во время сдвига последовательности характеристических пикселей на опорной строке на X пикселей (X - целое число, указывающее направление вправо, когда имеет положительный знак, и указывающее направление влево, когда имеет отрицательный знак) относительно последовательности характеристических пикселей на строке, представляющей интерес. ЦП 103 суммирует разности между пиксельными значениями, соединенные соответствующими стрелками, при каждой величине сдвига (относительная позиция). Например, предположим, что количество пикселей, в отношении которого вычисляется корреляция, равно 2W+1 (W - положительное целое число), пиксельное значение с индексом i (см. фиг. 4) последовательности характеристических пикселей на строке, представляющей интерес, равно T_i, и пиксельное значение с индексом i последовательности характеристических пикселей на опорной строке равно R_i. В это время, величина корреляции S_x во время величины сдвига X вычисляется согласно следующему уравнению:

$$S_X={\displaystyle \sum _{i=-W}^W\left|T_i-R_{i+X}\right|}$$ (1)

[0048] Таким образом, меньшая величина корреляции S_x представляет более высокую корреляцию. Заметим, что в вышеописанном способе характеристические пиксели, включающие в себя дефектный пиксель, извлекаются из строки, представляющей интерес для генерации последовательности характеристических пикселей. По этой причине значение дефектного пикселя (T0) нельзя использовать при вычислении значения корреляции. Соответственно только когда i=0, величина корреляции S_x получается, когда величина корреляции, добавляемая в уравнение (1), равна, например, 0.

[0049] Позицию опорного пикселя для коррекции дефектного пикселя можно определить из величины сдвига X, при котором получается наименьшее значение корреляции S_x, из значений корреляции S_x, вычисленных в отношении множества величин сдвига в заранее определенном диапазоне. Например, если величина корреляции S_x принимает наименьшее значение при величине сдвига X=+2, принимается решение, что среди пикселей того же цвета, что и дефектный пиксель, пиксель, расположенный в двух пикселях вправо от него (т.е. расположенный на опорной строке в четырех пикселях вправо от дефектного пикселя) является опорным пикселем.

[0050] На фиг. 5A показана блок-схема операций, демонстрирующая конкретный пример обработки вычисления величины корреляции на этапе S305. Первоначально на этапе S1701 ЦП 103 подставляет -W, который служит начальным индексом, вместо X, и после этого на этапе S1702 инициализирует наименьшие величину корреляции S_min и величину сдвига X_min при наименьшей величине корреляции. После этого ЦП 103 выполняет обработку на этапах S1703-S1706, увеличивая X на этапе S1705.

[0051] На этапе S1703 ЦП 103 определяет, меньше ли вычисленная величина корреляции S_x, чем наименьшая величина корреляции S_min в этот момент времени, переводит обработку к этапу S1704, если S_x<S_min, и переводит обработку к этапу S1705, если S_x≥S_min. Заметим, что, когда величина корреляции S_x вычисляется в первый раз (здесь, в случае, когда X=-W), ЦП 103 переводит обработку к этапу S1704.

[0052] На этапе S1704 ЦП 103 обновляет наименьшую величину корреляции S_min текущей величиной корреляции S_x. Величина сдвига W_min, соответствующая наименьшей величине корреляции S_min, также обновляется текущим значением X. Затем на этапе S1705 ЦП 103 увеличивает X и на этапе S1706 ЦП 103 определяет, осуществлена ли обработка для всего диапазона сдвига. ЦП 103 заканчивает обработку, если обработка осуществлена для всего диапазона сдвига, и возвращает обработку к этапу S1703, если существуют данные, еще не подвергнутые обработке. Вышеописанная обработка позволяет получить наименьшую величину корреляции S_min в диапазоне сдвига и величину сдвига W_min, при которой можно получить наименьшую величину корреляции.

[0053] Заметим, что способ обработки вычисления величины корреляции, показанный на фиг. 5A, является всего лишь примером, и можно использовать любой другой способ, позволяющий получить аналогичный результат. Например, величину сдвига X не обязательно увеличивать от наименьшего значения, и значения могут изменяться в любом порядке при условии, что можно вычислить значение корреляции, соответствующее каждой величине сдвига. Также все значения корреляции, соответствующие соответствующим величинам сдвига, могут сохраняться, и величину сдвига, соответствующую наименьшему значению корреляции, можно выбирать в последнюю очередь.

[0054] После того, как позиция опорного пикселя определена таким образом на основании величины корреляции последовательности характеристических пикселей, ЦП 103 вычисляет значение коррекции на этапе S306. В простейшем случае значение коррекции может быть значением опорного пикселя, но значение коррекции можно вычислить с использованием других способов. Например, дефектный пиксель можно корректировать с использованием величины признака, например, цветоразности, вычисленной из значения опорного пикселя и значений периферийных пикселей опорного пикселя.

[0055] После вычисления значения коррекции на этапе S306 на этапе S307 ЦП 103 корректирует дефектный пиксель с использованием значения коррекции. После этого ЦП 103 определяет на этапе S308, закончено ли сканирование пикселей, и повторно выполняет этапы S302-S307, пока сканирование не закончится.

[0056] Заметим, что, хотя в настоящем варианте осуществления описан пример задания строки, представляющей интерес, и опорной строки в горизонтальном направлении, не существует ограничения по углу, с которым задаются строка, представляющая интерес, и опорная строка, и строку, представляющую интерес, и опорную строку можно задавать в любом направлении, например в вертикальном направлении или в наклонном направлении.

[0057] Хотя настоящий вариант осуществления задает опорную строку в двух пикселях над строкой, представляющей интерес, которая проходит через дефектный пиксель, опорную строку можно задавать на других расстояниях или в других направлениях. Например, опорную строку можно задавать в двух пикселях под строкой, представляющей интерес, или опорные строки можно задавать в двух пикселях над и под строкой, представляющей интерес, соответственно, или значения коррекции, вычисленные из опорных пикселей, определенных на соответствующих опорных строках, можно усреднять. Задавая, таким образом, множество опорных строк в направлении (вертикальном направлении), ортогональном строке, представляющей интерес, и используя значения коррекции, вычисленные на соответствующих опорных строках, можно осуществлять точную интерполяцию, которая также отражает изменение в уровне сигнала в вертикальном направлении. Многие опорные строки можно задавать вблизи строки, представляющей интерес, и точную интерполяцию можно осуществлять, когда опорные строки заданы по обе стороны строки, представляющей интерес, по сравнению со случаем задания множества опорных строк с одной стороны строки, представляющей интерес.

[0058] Кроме того, хотя в настоящем варианте осуществления описан иллюстративный случай, когда пиксель R в байеровской матрице является дефектным пикселем, изобретение аналогично применимо, даже если дефектный пиксель является пикселем B или пикселем G.

[0059] Как описано выше, согласно настоящему варианту осуществления опорный пиксель определяется на основании величины корреляции между строкой, представляющей интерес, включающей в себя дефектный пиксель, и опорной строкой. По этой причине опорный пиксель, пригодный для коррекции дефектного пикселя, можно определять независимо от формы объекта. Кроме того, можно снизить неблагоприятные последствия ошибочной коррекции, расширяя опорную область.

[0060] ВТОРОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

В первом варианте осуществления описан способ коррекции в случае, когда дефектный пиксель является пикселем цвета, который появляется один раз в каждом блоке повторения цветового фильтра, например пикселем R или пикселем B в байеровской матрице. Настоящий вариант осуществления относится к способу коррекции в случае, когда дефектный пиксель является пикселем, который появляется в каждой строке пикселей, например пикселем G в байеровской матрице.

[0061] В случае, когда пиксель R или пиксель B в байеровской матрице является дефектным пикселем, поскольку блок повторения образован двумя пикселями, пикселя того же цвета, что и дефектный пиксель, не существует в смежной строке пикселей, и располагается в позиции, отстоящей от дефектного пикселя на, по меньшей мере, два пикселя, и, таким образом, опорная строка задается на строке пикселей, отдельной от строки, представляющей интерес двумя пикселями. Однако, например, если пиксель G является дефектным пикселем, как показано в части 6a фиг. 6, пиксель того же цвета, что и дефектный пиксель, существует на смежной строке пикселей. По этой причине опорную строку можно задавать на строке пикселей, параллельной строке, представляющей интерес, и отделенной от нее на один пиксель, как показано в части 6c фиг. 6.

[0062] Если опорную строку можно, таким образом, задавать на смежной строке пикселей, величину корреляции можно вычислять более точно, чем в случае задания опорной строки на строке пикселей, отделенной двумя пикселями, поскольку расстояние между строкой, представляющей интерес, и опорной строкой короче. Однако, поскольку координаты пикселей G на смежных строках пикселей сдвинуты друг от друга на один пиксель в байеровской матрице, этот сдвиг нужно рассматривать при получении позиции опорного пикселя с использованием величины сдвига X, которая обеспечивает наивысшую корреляцию между последовательностями характеристических пикселей (т.е. наименьшее значение корреляции Sx).

[0063] Например, если последовательности характеристических пикселей генерируются, как показано в частях 6b и 6c на фиг. 6, пиксель, соответствующий дефектному пикселю с величиной сдвига 0, является пикселем, горизонтальная координата которого меньше, чем у дефектного пикселя (т.е. влево от него) на один пиксель на опорной строке. Соответственно, если получена величина сдвига X, принимается решение, что пиксель на опорной строке, горизонтальная координата которого сдвинута относительно дефектного пикселя на (X×2-1), является опорным пикселем. Например, в случае наивысшей корреляции при величине сдвига X=2, принимается решение, что пиксель на опорной строке, отделенный от горизонтальной координаты дефектного пикселя на (2×2-1)=+3 пикселя, т.е. пиксель, отстоящий от него вправо на три пикселя, является опорным пикселем, как показано в части 6d фиг. 6.

[0064] Согласно настоящему варианту осуществления дефектный пиксель можно скорректировать более точно, когда пиксель того же цвета, что и дефектный пиксель, существует на смежной строке пикселей. Заметим, что цвет дефектного пикселя может сохраняться совместно с информацией позиции дефектного пикселя или может вычислять с использованием информации, хранящейся отдельно от информации позиции. Заметим, что информацию шаблона цветовой конфигурации цветового фильтра, обеспеченного в датчике изображения, используемом при фотографировании, можно сохранять во вторичном запоминающем устройстве 105 или можно получать из дополнительной информации, например, данных изображения. Соответственно первый вариант осуществления и настоящий вариант осуществления можно конфигурировать для избирательного выполнения в зависимости от шаблона цветовой конфигурации цветового фильтра и цвета дефектного пикселя.

[0065] ТРЕТИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

В первом и втором вариантах осуществления описан способ коррекции в случае, когда дефектный пиксель изолирован. В настоящем варианте осуществления описан способ коррекции в случае, когда дефектные пиксели одного и того же цвета существуют последовательно. Такие дефектные пиксели возникают вследствие производственного допуска или порчи со временем, а также в случае, когда пиксели для обнаружения фокуса размещены в датчике изображения, как показано в части 7a фиг. 7. Поскольку пиксели обнаружения фокуса генерируют сигнал для осуществления обнаружения фокуса согласно способу обнаружения разности фаз, их диапазон приема света уже, чем обычные пиксели, или цветовой фильтр не обеспечен в нем, и, следовательно, полученное пиксельное значение отличается от пиксельного значения обычных пикселей. Соответственно коррекцию необходимо осуществлять с учетом того, что эти пиксели обнаружения фокуса следуют за дефектными пикселями того же цвета, как показано в части 7b фиг. 7.

[0066] Исходя из того, что строка, представляющая интерес, располагается в горизонтальном направлении, как в вышеописанных вариантах осуществления, нельзя использовать способ, описанный в первом варианте осуществления, в котором последовательность характеристических пикселей генерируется с использованием дефектного пикселя и пикселей того же цвета, что и дефектный пиксель, который существуют на строке, представляющей интерес.

[0067] В настоящем варианте осуществления последовательности характеристических пикселей на строке, представляющей интерес, и опорной строке генерируются с использованием иного способа, чем в вышеописанных вариантах осуществления. В частности, при обработке для генерации последовательности характеристических пикселей на строке, представляющей интерес на этапе S303 на фиг. 3, ЦП 103 извлекает в качестве характеристических пикселей пиксели в той же горизонтальной координате, цвет которых "отличается" от цвета дефектного пикселя, в качестве дефектного пикселя, как на части 7c фиг. 7. Здесь, поскольку используется байеровская матрица цветовой фильтр, и дефектный пиксель является пикселем R, пиксели G извлекаются из строки, представляющей интерес, для генерации последовательности характеристических пикселей.

[0068] Кроме того, поскольку дефектный пиксель является пикселем R, ЦП 103 задает опорную строку в позиции, отделенной (здесь, выше) на два пикселя, которая образует блок повторения цветового фильтра, как в первом варианте осуществления. Затем на этапе S304 ЦП 103 извлекает в качестве характеристических пикселей пиксели на опорной строке, цвет которых "отличается" от цвета дефектного пикселя, для генерации последовательности характеристических пикселей, как со строкой, представляющей интерес, показанной в части 7d (фиг. 7). Поскольку цветовая конфигурация цветового фильтра на опорной строке также же, как в строке, представляющей интерес, те же пиксели G извлекаются из опорной строки для генерации последовательности характеристических пикселей, как со строкой, представляющей интерес.

[0069] После обнаружения величины сдвига, обеспечивающей наименьшую величину корреляции между последовательностями характеристических пикселей, коррекция осуществляется с использованием в качестве опорного пикселя пикселя в позиции, отстоящей от дефектного пикселя на эту величину сдвига. Поскольку опорный пиксель определяется относительно позиции дефектного пикселя в качестве величины сдвига 0, опорный пиксель является пикселем того же цвета, что и дефектный пиксель.

[0070] Заметим, что в случае, когда пиксели цвета, который существует на смежной строке пикселей, например пиксели G в байеровской матрице, являются последовательно дефектными пикселями, опорная строка задана таким образом, что последовательности характеристических пикселей на строке, представляющей интерес, и опорной строке образованы одними и теми же цветными пикселями.

[0071] Кроме того, хотя последовательности характеристических пикселей генерируются с использованием значений пикселей цвета, отличающегося от дефектного пикселя как такового в настоящем варианте осуществления, можно использовать, например, среднее пиксельное значение множества пикселей, включающего в себя смежные пиксели.

[0072] Как описано выше, в настоящем варианте осуществления также можно реализовать тот же эффект, как в вышеописанных вариантах осуществления.

[0073] Заметим, что, хотя здесь приведено описание коррекции, осуществляемой с использованием пикселей цвета, отличающегося от дефектных пикселей, когда дефектные пиксели одного и того же цвета существуют последовательно, такая же коррекция, как в настоящем варианте осуществления, может выполняться также в случае коррекции изолированного дефектного пикселя. Например, первый вариант осуществления можно конфигурировать таким образом, что пиксели G на строке, представляющей интерес, и опорной строке извлекаются в качестве характеристических пикселей.

[0074] ЧЕТВЕРТЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

В вышеописанных вариантах осуществления описан случай, когда опорный пиксель получается из опорной строки, которая задана на строке пикселей, которая отделена от строки, представляющей интерес, в вертикальном направлении на один блок повторения цветового фильтра, или на строке пикселей, которая примыкает к строке, представляющей интерес. Таким образом, это случай, когда строка, представляющая интерес, и опорная строка значительно коррелируют в горизонтальном направлении.

[0075] Однако в случае объекта, показанного на фиг. 8A, повторяющийся шаблон которого имеет угол, близкий к горизонтали, строка пикселей, которая отделена от строки, представляющей интерес, в вертикальном направлении на один блок повторения цветового фильтра или которая примыкает к строке, представляющей интерес, значительно не коррелирует. Заметим, что, хотя фиг. 8A показан случай, когда дефектные пиксели последовательно существуют, как в третьем варианте осуществления, такая же проблема может возникать в случае изолированного дефектного пикселя.

[0076] В случае такого использования строки, представляющей интерес, включенной в объект, имеющей угол, близкий к горизонтали, и опорной строки, которая не включена в объект, даже если величина корреляции получена сдвигом последовательности характеристических пикселей в горизонтальном направлении, маловероятно определить надлежащий опорный пиксель, если величина сдвига изменяется в достаточно широком диапазоне. Если дефектный пиксель корректируется с использованием ненадлежащего опорного пикселя, происходит ошибочная коррекция, что приводит к пиксельному значению, которое сильно отличается от исходного пиксельного значения. В частности, для объекта, имеющего повторяющуюся форму, повторно происходит ошибочная коррекция, и генерируется повторяющийся шаблон, которого объект первоначально не имеет.

[0077] В случае, когда дефектный пиксель включен в объект, имеющий повторяющуюся форму, с углом, близким к горизонтали, как показано на фиг. 8A, надлежащий опорный пиксель (пиксель, имеющий значение, равное или близкое к значению дефектного пикселя) легче найти путем расширения вертикальной области поиска, а не расширения горизонтальной области поиска. Если же область поиска просто расширяется в вертикальном направлении, расстояние между строкой, представляющей интерес, и опорной строкой возрастает, как показано на фиг. 8B, и соответственно возможны случаи, когда точность величины корреляции между последовательностями характеристических пикселей снижается. Например, такие случаи включают в себя случай, когда объект, отличный от объекта в дефектном пикселе, появляется в пикселе в позиции, отстоящей от дефектного пикселя в вертикальном направлении на четыре пикселя. В этом случае ошибочная коррекция может осуществляться на дефектном пикселе в результате ссылки на пиксельное значение другого объекта. Настоящий вариант осуществления предусматривает способ коррекции, который может подавлять ошибочную коррекцию, расширяя опорную область в вертикальном направлении.

[0078] На фиг. 9 показана упрощенная схема, демонстрирующая общий вид коррекции дефектных пикселей в настоящем варианте осуществления. Процессы 1001 и 1002 указывают обработку для определения опорного пикселя с использованием опорных строк A и B с разными расстояниями от строки, представляющей интерес, таким же образом, как в третьем варианте осуществления. В процессе 1001 строка пикселей в двух пикселях над строкой, представляющей интерес, задана как опорная строка A, и в процессе 1002 строка пикселей в четырех пикселях над строкой, представляющей интерес, задана как опорная строка B. Окончательное значение коррекции получается с использованием опорного пикселя, определенного на каждой опорной строке, и используется при коррекции дефектного пикселя.

[0079] На фиг. 10 показана блок-схема операций, демонстрирующая последовательность операций обработки в настоящем варианте осуществления, и одни и те же ссылочные позиции обозначают те же процессы, что и на фиг. 3. Как явствует из сравнения между фиг. 3 и 10, обработка в третьем варианте осуществления (в случае, когда дефектный пиксель изолирован, первый вариант осуществления) выполняется по отдельности на опорных строках A и B, и полученные значения коррекции объединяются для получения значения коррекции дефектного пикселя.

[0080] Признаком настоящего варианта осуществления является объединение на этапе S1110 значений коррекции, вычисленных в отношении каждой из разных опорных строк. На этапе S1110 ЦП 103 объединяет значение коррекции Qa, вычисленное из опорной строки A, и значение коррекции Qb, вычисленное из опорной строки B. Здесь, исходя из того, что составной коэффициент равен α0 (0≤α≤1), окончательное значение коррекции Q вычисляется согласно следующему уравнению:

Q=α×Qa+(1−α)×Qb (2)

[0081] Далее будет описано три примера с использованием разных критериев оценивания в качестве способов определения составного коэффициента α.

[0082] Во-первых, опишем определение составного коэффициента α в соответствии с наименьшей величиной корреляции. В этом случае составной коэффициент α определяется с использованием величины корреляции, полученной при обработке вычисления величины корреляции на этапах S305A и S305B, в соответствии с величиной разности между наименьшей величиной корреляции Sa на опорной строке A и наименьшей величиной корреляции Sb на опорной строке B. Предположим, что различие в наименьшей величине корреляции равно Ssub

Ssub=Sa−Sb (3)

[0083] Иллюстративное соотношение между различием Ssub в наименьшей величине корреляции и составным коэффициентом α показано на фиг. 11A. Поскольку корреляция между двумя последовательностями характеристических пикселей увеличивается с уменьшением величины корреляции, как упомянуто выше, отношение (составной коэффициент α) значения коррекции Qa, вычисленного из опорной строки A, увеличивается с уменьшением различия Ssub в величине корреляции. Также, чем больше различие Ssub в величине корреляции, тем меньше составной коэффициент α, и отношение (1-α) значения коррекции Qb, вычисленного из опорной строки B, увеличивается.

[0084] Во-вторых, опишем определение составного коэффициента α в соответствии с результатом обнаружения направления в отношении пикселя, представляющего интерес. Поскольку настоящий вариант осуществления особенно эффективен для объекта, имеющего повторяющуюся форму, с углом, близким к горизонтали, составной коэффициент α определяется с использованием результата обнаружения направления объекта, например, на периферии дефектного пикселя. Хотя не существует ограничения по способу обнаружения направления, в качестве иллюстративного простого способа горизонтальную степень H можно вычислить нижеследующим образом, исходя из того, что значения пикселей, смежных с дефектным пикселем, представляют собой G_R, G_U, G_L и G_D, как показано на фиг. 11B,

H=|G_U-G_D|-|G_L-G_R| (4)

[0085] Большее значение горизонтальной степени H указывает более высокую вероятность горизонтального объекта. Поскольку эта горизонтальная степень H получается из значений смежных пикселей дефектного пикселя, более высокая горизонтальная степень H указывает более высокую вероятность того, что дефектный пиксель существует на краевом участке объекта с углом, близким к горизонтали. Соответственно, когда горизонтальная степень H велика, ее можно рассматривать, что опорная строка, которая более отделена от строки, представляющей интерес, более достоверна.

[0086] Соответственно, как показано на фиг. 11C, чем меньше горизонтальная степень H, тем больше отношение (составной коэффициент α) значения коррекции Qa, вычисленного из более близкой опорной строки A, и чем больше горизонтальная степень H, тем меньше составной коэффициент α и тем больше отношение (1-α) значения коррекции Qb, вычисленного из более удаленной опорной строки B.

[0087] В-третьих, опишем определение составного коэффициента α в соответствии с различием в наклоне данных между строкой, представляющей интерес, и опорной строкой. Например, когда объект таков, как показано на фиг. 12A, возможны случаи, когда оптические характеристики области X и области B на фиг. 12A аналогичны друг другу, тогда как оптические характеристики области X и области A различны вследствие влияния аберрационных свойств объектива и т.п.

[0088] Например, когда последовательности характеристических пикселей, генерируемых из строки, представляющей интерес, опорной строки A и опорной строки B, имеют пиксельные значения, показанные на фиг. 12B, величина корреляции S_x последовательности характеристических пикселей на опорной строке A, вычисленная согласно уравнению (1), меньше. Однако возможны случаи, когда область A, через которую проходит опорная строка A, и область X, через которую проходит строка, представляющая интерес, имеют разные оптические характеристики, как упомянуто выше, и в таких случаях можно использовать значение коррекции, полученное с помощью опорной строки B.

[0089] Можно определить, отличаются ли оптические характеристики на основании различия в тенденции изменения в пиксельном значении между последовательностями характеристических пикселей, например, величины различия в наклоне линии, соединяющей пиксельные значения на обоих концах последовательности характеристических пикселей на каждой строке, например в примере на фиг. 12B линии, соединяющие пиксельные значения на обоих концах соответствующих последовательностей характеристических пикселей на строке, представляющей интерес, и опорной строке B, которые имеют аналогичные оптические характеристики, имеют аналогичный наклон. С другой стороны, наклон линии, соединяющей пиксельные значения на обоих концах последовательности характеристических пикселей на опорной строке A, имеющей разные оптические характеристики, отрицателен и сильно отличается от наклона, полученного в отношении строки, представляющей интерес. Индекс G, который представляет такое различие в тенденции изменения в пиксельных значениях последовательностей характеристических пикселей между строкой, представляющей интерес, и каждой опорной строкой можно вычислить, например, согласно следующему уравнению:

(5)

[0090] Поскольку индекс G представляет различие в наклоне линии, соединяющей пиксельные значения на обоих концах последовательности характеристических пикселей, меньшее значение указывает, что пиксельные значения последовательностей характеристических пикселей опорной строки и строки, представляющей интерес, изменяются аналогично. Составной коэффициент α можно определять в соответствии с разностью Gsub=Ga-Gb между индексом Ga, полученным в отношении строки, представляющей интерес, и опорной строки A, и индексом Gb, полученным в отношении строки, представляющей интерес, и опорной строки B. В частности, как показано на фиг. 11D, чем меньше значение Gsub, тем больше отношение (составной коэффициент α) значения коррекции Qa, вычисленного из опорной строки A, и чем больше значение Gsub, тем меньше составной коэффициент α и тем больше отношение (1-α) значения коррекции Qb, вычисленного из опорной строки B.

[0091] Заметим, что с учетом тенденции изменения в пиксельных значениях последовательности характеристических пикселей на каждой строке величину корреляции можно вычислить, получая различие в дифференциальном значении. В этом случае величина корреляции получается из нижеследующего уравнения (6):

$$S_X={\displaystyle \sum _{i=-W}^{W-1}\left|(T_{i+1}-T_i)-(R_{i+X+1}-R_{i+X})\right|}$$ (6)

[0092] Заметим, что соотношения между значением составного коэффициента α и значением соответствующих критериев оценивания, показанных на фиг. 11A, 11C и 11D, являются всего лишь примерами, и составной коэффициент α можно определить на основании других соотношений. Составной коэффициент α также можно определить на основании критерия оценивания, который отличается от вышеупомянутых трех критериев оценивания. Также можно выбирать один из составных коэффициентов, определенных на основании множества разных критериев оценивания или можно использовать взвешенное среднее таких составных коэффициентов. Выбор или весовой коэффициент в этом случае можно определять в соответствии с величиной признака объекта, полученной из изображения, и т.п.

[0093] Хотя описан случай использования двух опорных строк, можно использовать три или более опорные строки. Опорные строки можно задавать не только над строкой, представляющей интерес, но и под строкой, представляющей интерес.

[0094] Как описано выше, согласно настоящему варианту осуществления задается множество опорных строк, имеющих разные расстояния от строки, представляющей интерес, и окончательное значение коррекции получается из значений коррекции, полученных в отношении соответствующих опорных строк. По этой причине надлежащий опорный пиксель или значение коррекции можно получить для различных объектов по сравнению со случаем определения опорного пикселя из одной опорной строки, и дефектный пиксель можно лучше скорректировать.

[0095] В частности, даже если объект имеет край в направлении, близком к направлению строки, представляющей интерес, или имеет повторяющуюся форму, можно подавлять ошибочную коррекцию и можно повышать точность коррекции дефектных пикселей.

[0096] ПЯТЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Теперь опишем пятый вариант осуществления изобретения. В первом варианте осуществления описан с использованием фиг. 5A иллюстративный способ получения величины сдвига X, обеспечивающей наименьшую величину корреляции S_x. При обработке на фиг. 5A, если величина корреляции S_x, полученная в диапазоне сдвига, постоянная, условие на этапе S1703 никогда не выполняется (за исключением случая первоначального вычисления величины корреляции S_x) и соответственно X_min, полученный в результате, является начальным значением (-W). В этом случае, хотя одна и та же величина корреляции вычисляется независимо от величины сдвига, дефектный пиксель корректируется со ссылкой на пиксель в наиболее удаленной позиции от дефектного пикселя в диапазоне сдвига.

[0097] Например, рассмотрим случай объектов A и B, имеющих аналогичные значения G и разные значения R, и пиксель R, в котором появляется объект A, является дефектным пикселем, как показано на фиг. 5B. Также предположим, что в это время способ, в котором пиксель на строке, представляющей интерес, цвет которого отличается от дефектного пикселя, извлекается в качестве характеристического пикселя, используется как описано в третьем варианте осуществления. Когда горизонтальная область, показанная на фиг. 5B, является опорной областью, значения G объектов A и B одинаковы и соответственно величина корреляции S_x с каждой величиной сдвига X одинакова. Соответственно, если осуществляется обработка, показанная на фиг. 5A, значение коррекции вычисляется со ссылкой на верхний левый пиксель на фиг. 5B, причем пиксель наиболее удален от дефектного пикселя на опорной строке. Однако, поскольку объект B появляется в этом пикселе и его значение R отличается от значения R объекта A, точность коррекции дефектных пикселей снижается. Настоящий вариант осуществления относится к способу коррекции, позволяющему сгладить эту проблему.

[0098] В частности, обработка для обнаружения величины сдвига, обеспечивающей наименьшую величину корреляции S_x (S305 на фиг. 3), отличается от первого варианта осуществления (и третьего варианта осуществления). На фиг. 5C показана блок-схема операций, демонстрирующая конкретный пример обработки вычисления величины корреляции в настоящем варианте осуществления. Одни и те же ссылочные позиции обозначают ту же обработку, что и на фиг. 5A, и его повторное описание будет опущено.

[0099] По окончании инициализации переменных на этапе S1702, на этапе S1710 ЦП 103 определяет, действительно ли текущая величина сдвига X меньше или равна 0 или положительна. Если величина сдвига X меньше или равна 0, ЦП 103 переводит обработку к этапу S1711, и если величина сдвига X положительна, ЦП 103 переводит обработку к этапу S1712.

[0100] На этапе S1711 ЦП 103 определяет, действительно ли текущее значение корреляции S_x меньше или равно наименьшей величине корреляции S_min. Если текущее значение корреляции S_x меньше или равно наименьшей величине корреляции S_min, ЦП 103 переводит обработку к этапу S1704, и если текущее значение корреляции S_x больше наименьшей величине корреляции S_min, ЦП 103 переводит обработку к этапу S1705. Заметим, что, если X равно начальному значению (=-X), ЦП 103 переводит обработку к этапу S1704. Если текущее значение корреляции S_x равно наименьшей величине корреляции S_min согласно обработке определения на этапе S1711, величина сдвига X_min, соответствующая наименьшей величине корреляции S_min, обновляется.

[0101] С другой стороны, на этапе S1712 ЦП 103 определяет, меньше ли текущее значение корреляции S_x, чем наименьшая величина корреляции S_min. Если текущее значение корреляции S_x меньше, чем наименьшая величина корреляции S_min, ЦП 103 переводит обработку к этапу S1704, и если текущее значение корреляции S_x больше или равно наименьшей величине корреляции S_min, ЦП 103 переводит обработку к этапу S1705. Если текущее значение корреляции S_x равно наименьшей величине корреляции S_min согласно обработке определения на этапе S1712, величина сдвига X_min, соответствующая наименьшей величине корреляции S_min, не обновляется.

[0102] В результате, если во всем диапазоне сдвига получается одно и то же значение корреляции S_x, величина сдвига X_min, соответствующая наименьшей величине корреляции S_min, обновляется, когда величина сдвига отрицательна или равна 0, и величина сдвига X_min, соответствующая наименьшей величине корреляции S_min, не обновляется, когда величина сдвига находится в положительном диапазоне. Соответственно, величина сдвига X_min, полученная при обработке вычисления величины корреляции, равна 0. Как описано выше, согласно настоящему варианту осуществления, при наличии множества величин сдвига, обеспечивающих наименьшую величину корреляции S_min, обнаруживается величина сдвига, имеющая наименьшее абсолютное значение.

[0103] Чем ниже абсолютное значение величины сдвига, тем короче расстояние между дефектным пикселем и опорным пикселем для коррекции дефектного пикселя, что позволяет соответственно вычислять с использованием обработки вычисления величины корреляции в настоящем варианте осуществления значение коррекции со ссылкой на пиксель, который сильно коррелирует и располагается в позиции, ближайшей к дефектному пикселю в возможном диапазоне.

[0104] Заметим, что способ обработки вычисления величины корреляции, показанный на фиг. 5C, является всего лишь примером, и можно использовать любой другой способ, позволяющий получить аналогичный результат. Например, величина сдвига X не обязательно увеличивается от наименьшего значения, и значения могут изменяться в любом порядке при условии, что можно вычислить значение корреляции, соответствующее каждой величине сдвига. Кроме того, все величины сдвига, обеспечивающие наименьшее значение корреляции, могут сохраняться, и можно выбирать величину сдвига, при которой соответствующая позиция пикселя на опорной строке располагается ближе всех к дефектному пикселю.

[0105] Как описано выше, согласно настоящему варианту осуществления, если одна и та же величина корреляции получается для множества величин сдвига, величина корреляции вычисляется таким образом, что величина сдвига, имеющая наименьшее абсолютное значение из множества величин сдвига, сохраняется. По этой причине, например, если одна и та же величина корреляции получается во всем диапазоне сдвига, величина сдвига 0 обнаруживается как величина сдвига, соответствующая наименьшему значению корреляции, и коррекцию можно осуществлять со ссылкой на пиксель, находящийся на коротком расстоянии от дефектного пикселя.

[0106] ДРУГОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Хотя выше были описаны варианты осуществления изобретения, изобретение не ограничивается этими вариантами осуществления, и допускают различные модификации или изменения в объеме, заданном формулой изобретения.

[0107] Хотя в вышеприведенных вариантах осуществления описан только случай, когда строка, представляющая интерес, задана в горизонтальном направлении, ее можно задавать в других направлениях. Например, в случае обнаружения, что край объекта существует вблизи дефектного пикселя, строку, представляющую интерес, можно задавать в направлении, пригодном для характеристики объекта, например задавать строку, представляющую интерес, в направлении, пересекающем край.

[0108] Некоторые из вышеописанных вариантов осуществления можно избирательно использовать или комбинировать в соответствии с условием получения изображения или результатом анализа характеристик.

[0109] Хотя в вышеприведенных вариантах осуществления описана коррекция изображения, полученного с использованием датчика изображения, снабженного цветовым фильтром, имеющим первичную цветовую байеровскую матрицу, коррекцию также можно аналогично осуществлять на изображении, полученном с использованием датчика изображения, снабженного цветовым фильтром, имеющим другие типы повторяющегося шаблона.

[0110] На фиг. 1B показана блок-схема, демонстрирующая иллюстративную функциональную конфигурацию устройства 200 обработки информации, которое служит примером другого устройства обработки изображений согласно вариантам осуществления. На фиг. 1B блок 201 отображения используется для отображения фотографического изображения или отображения пользовательского интерфейса для интерактивной операции. Операционный блок 202, который включает в себя, например, клавиатуру, мышь, сенсорную панель и т.п., позволяет пользователю давать различные инструкции устройству 200 обработки информации и конфигурировать их настройки. ЦП 203 реализует обработку коррекции дефектных пикселей согласно вышеописанным вариантам осуществления путем выполнения OS и прикладных программ и управление каждым функциональным блоком.

[0111] Первичное запоминающее устройство 204 представляет собой энергозависимое запоминающее устройство, например ОЗУ, и используется в качестве области временного хранения данных, например рабочей области для ЦП 203. Вторичное запоминающее устройство 205 представляет собой энергонезависимое запоминающее устройство, например жесткий диск, SSD или ЭСППЗУ, и хранит OS, программно-аппаратное обеспечение, прикладные программы, различную информацию настроек и пр.

[0112] Устройство 206 связи позволяет устройству 200 обработки информации передавать и принимать команды управления и данные на/от внешнего устройства. Заметим, что например, устройство 206 связи может осуществлять связь с внешним устройством посредством проводного соединения с использованием кабеля USB (универсальной последовательной шины) и т.п. или может осуществлять связь с внешним устройством посредством беспроводного соединения с использованием беспроводной LAN и т.п. Устройство 206 связи может быть непосредственно подключено к внешнему устройству или может быть соединено через сервер или через сеть, например интернет.

[0113] Устройство 206 связи также может включать в себя функцию обращения к сменному носителю записи, например носителю 106 данных устройства 100 захвата изображений. Присоединяя носитель записи, удаленный из устройства захвата изображений, к устройству 206 связи, данные изображения можно загружать в устройство 200 обработки информации с носителя записи.

[0114] Варианты осуществления изобретения также могут быть реализованы компьютером системы или устройством, которое считывает и выполняет компьютерно-исполнимые инструкции (например, одну или более программ), записанные на носитель данных (который также может именоваться более общо как 'нетранзиторный компьютерно-считываемый носитель данных') для осуществления функций одного или более из вышеописанных вариантов осуществления и/или который включает в себя одну или более схем (например, специализированную интегральную схему (ASIC)) для осуществления функций одного или более из вышеописанных вариантов осуществления, и способом, осуществляемым компьютером системы или устройства, например, путем считывания и выполнения компьютерно-исполнимых инструкций с носителя данных для осуществления функций одного или более из вышеописанных вариантов осуществления и/или управления одной или более схемами для осуществления функций одного или более из вышеописанных вариантов осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (ЦП), микропроцессор (MPU)) и может включать в себя сеть из отдельных компьютеров или отдельных процессоров для считывания и выполнения компьютерно-исполнимых инструкций. Компьютерно-исполнимые инструкции могут поступать на компьютер, например, из сети или носителя данных. Носитель данных может включать в себя, например, один или более из жесткого диска, оперативной памяти (ОЗУ), постоянной памяти (ПЗУ), хранилища распределенных вычислительных систем, оптического диска (например, компакт-диска (CD), цифрового универсального диска (DVD) или диска Blu-ray (BD)™), устройства флэш-памяти, карты памяти и пр.

[0115] Хотя изобретение описано со ссылкой на иллюстративные варианты осуществления, следует понимать, что изобретение не ограничивается раскрытыми иллюстративными вариантами осуществления. Объем нижеследующей формулы изобретения должен соответствовать самой широкой интерпретации, чтобы охватывать все подобные модификации и эквивалентные структуры и функции.

Изобретение относится к устройству и способу обработки изображений, в частности для коррекции дефектного пикселя. Техническим результатом является обеспечение надлежащей коррекции дефектного пикселя, даже когда объект, содержащий дефектный пиксель, не имеет конкретного угла. Указанный технический результат достигается тем, что первая область изображения генерируется из множества пикселей, существующих в строке, представляющей интерес, которая задана так, чтобы проходить через пиксель, соответствующий целевому пикселю коррекции. Множество вторых областей генерируется, причем каждая вторая область основана на позициях множества пикселей, существующих в, по меньшей мере, одной из опорных строк, которые заданы так, чтобы не проходить через целевой пиксель коррекции. Значение пикселя, соответствующего целевому пикселю коррекции, корректируется с использованием значения пикселя в каждой из, по меньшей мере, одной из опорных строк, причем значение определяется на основании величин корреляции между соответствующими вторыми областями и первой областью. 2 н. и 10 з.п. ф-лы, 24 ил.

1. Устройство обработки изображений, содержащее:
средство получения для получения изображения, причем изображение сгенерировано датчиком изображения, имеющим множество пикселей обнаружения фокуса, расположенных в заранее определенной строке пикселей;
первое средство задания для задания, на основании позиции целевого пикселя коррекции датчика изображения, первой области изображения, причем первая область включает в себя множество пикселей, включающих в себя пиксель, соответствующий целевому пикселю коррекции, и причем целевой пиксель коррекции является одним из множества пикселей обнаружения фокуса;
второе средство задания для задания множества вторых областей изображения, причем каждая вторая область имеет множество пикселей и задана на основе позиций множества пикселей в, по меньшей мере, одной из опорных строк, которые заданы так, чтобы не проходить через пиксель, соответствующий целевому пикселю коррекции;
средство вычисления корреляции для вычисления величин корреляции между соответствующими вторыми областями и первой областью; и
средство коррекции для вычисления значения коррекции для коррекции значения пикселя, соответствующего целевому пикселю коррекции, с использованием значения пикселя в каждой из, по меньшей мере, одной из опорных строк, причем значение определяется на основании величин корреляции, и коррекции значения пикселя, соответствующего целевому пикселю коррекции, с использованием значения коррекции.

2. Устройство обработки изображений по п. 1, в котором средство коррекции вычисляет значение коррекции с использованием значения пикселя в каждой из, по меньшей мере, одной из опорных строк, причем пиксель задается для каждой из, по меньшей мере, одной из опорных строк на основании одной из множества вторых областей, в которых получена наивысшая величина корреляции с первой областью, из множества вторых областей.

3. Устройство обработки изображений по п. 1, в котором, если наивысшая величина корреляции с первой областью получена для некоторой из множества вторых областей, заданной для той же опорной строки, средство коррекции вычисляет значение коррекции с использованием значения пикселя, расстояние которого от пикселя, соответствующего целевому пикселю коррекции, является кратчайшим из множества пикселей, которые существуют в той же опорной строке, и заданы некоторой из множества вторых областей.

4. Устройство обработки изображений по любому из пп. 1-3, в котором первое средство задания задает первую область посредством извлечения пикселя того же цвета, что и пиксель, соответствующий целевому пикселю коррекции, и второе средство задания задает множество вторых областей посредством извлечения пикселя того же цвета, что и пиксель, извлеченный первым средством задания.

5. Устройство обработки изображений по любому из пп. 1-3, в котором первое средство задания задает первую область посредством извлечения пикселя цвета, который отличается от пикселя, соответствующего целевому пикселю коррекции, и второе средство задания задает множество вторых областей посредством извлечения пикселя того же цвета, что и пиксель, извлеченный первым средством задания.

6. Устройство обработки изображений по любому из пп. 1-3, в котором второе средство задания задает множество вторых областей для каждой из множества опорных строк, имеющих разные расстояния от строки пикселей, представляющей интерес, которая включает в себя пиксель, соответствующий целевому пикселю коррекции.

7. Устройство обработки изображений по п. 6, в котором средство коррекции вычисляет множество значений коррекции с использованием значения пикселя, существующего в каждой из множества опорных строк, объединяет множество значений коррекции, и вычисляет окончательное значение коррекции.

8. Устройство обработки изображений по п. 7, в котором средство коррекции объединяет множество значений коррекции таким образом, что отношение значения коррекции, полученного с использованием пиксельного значения, определенного на основании величины корреляции, которая представляет более высокую корреляцию, среди величин корреляции соответствующих вторых областей с первой областью, больше.

9. Устройство обработки изображений по п. 7, в котором средство коррекции объединяет множество значений коррекции таким образом, что, чем ближе направление объекта, появляющегося в пикселе, соответствующем целевому пикселю коррекции, к направлению строки пикселей, представляющей интерес, тем больше отношение значения коррекции, полученного с использованием пиксельного значения, определенного на основании величины корреляции, вычисленной в отношении второй области, которая генерируется из опорной строки, имеющей большее расстояние от строки пикселей, представляющей интерес.

10. Устройство обработки изображений по п. 7, в котором средство коррекции объединяет множество значений коррекции таким образом, что отношение значения коррекции, полученного с использованием пиксельного значения, определенного на основании величины корреляции второй области, имеющей тенденцию к изменению пиксельного значения, мало отличающегося от пиксельного значения первой области, среди величин корреляции соответствующих вторых областей с первой областью, больше.

11. Устройство обработки изображений по любому из пп. 1-3, в котором расстояние между каждой из, по меньшей мере, одной из опорных строк и строкой пикселей, которая включает в себя пиксель, соответствующий целевому пикселю коррекции, кратно блоку повторения цветового фильтра, обеспеченного в датчике изображения, который генерирует изображение.

12. Способ управления устройством обработки изображений, причем упомянутый способ содержит этапы, на которых:
получают изображение, причем изображение сгенерировано датчиком изображения, имеющим множество пикселей обнаружения фокуса, расположенных в заранее определенной строке пикселей;
задают, на основании позиции целевого пикселя коррекции датчика изображения, первую область изображения, причем первая область включает в себя множество пикселей, включающих в себя пиксель, соответствующий целевому пикселю коррекции, и причем целевой пиксель коррекции является одним из множества пикселей обнаружения фокуса;
задают множество вторых областей изображения, причем каждая вторая область имеет множество пикселей и задана на основе позиций множества пикселей в, по меньшей мере, одной из опорных строк, которые заданы так, чтобы не проходить через пиксель, соответствующий целевому пикселю коррекции;
вычисляют величины корреляции между соответствующими вторыми областями и первой областью; и
вычисляют значение коррекции для коррекции значения пикселя, соответствующего целевому пикселю коррекции, с использованием значения пикселя в каждой из, по меньшей мере, одной из опорных строк, причем значение определяется на основании величин корреляции, и корректируют значение пикселя, соответствующего целевому пикселю коррекции, с использованием значения коррекции.