Область техники
Настоящее изобретение относится к устройству формирования цветного изображения и, в частности, к устройству формирования цветного изображения, которое может подавлять генерацию цветовых комбинационных искажений (цветного муара).
Уровень техники
В устройстве формирования цветного изображения, включающем в себя одноплатный элемент формирования цветного изображения, изображение, получаемое на выходе из элемента формирования цветного изображения, является RAW-изображением (мозаичным изображением). Таким образом, многоканальное изображение получается в процессе интерполяции пикселя пропущенного цвета из окружающего пикселя (обработки демозаицирования). В этом случае, существует проблема в репродукции характеристик высокочастотного сигнала формирования изображения.
Матрица Байера основных цветов в качестве цветовой матрицы наиболее широко используемая в одноплатном элементе формирования цветного изображения включает в себя пиксели зеленого цвета (G), размещенные в шахматном порядке и пиксели красного (R) и синего (B) цветов, размещенные линия за линией. Таким образом, существует проблема низкочастотного окрашивания (цветовых комбинационных искажений), обусловленного складыванием высокочастотных сигналов, превышающих полосы репродукции цветов, и обусловленного отклонением фаз цветов.
Например, черно-белое наклонное высокочастотное изображение, показанное на фиг. 14(A), поступает на элемент формирования изображения в матрице Байера, показанной на фиг. 14(B), и изображение сортируется по цветовым матрицам Байера для сравнения цветов. Согласно фиг. 14(C)-14(E), R и B формируют светлые и плоские цветные изображения, а G формируют темное и плоское цветное изображение. Предполагая, что значение черного равно 0, и значение белого равно 255, черно-белое наклонное высокочастотное изображение превращается в зеленое, поскольку только G равен 255. Таким образом, наклонное высокочастотное изображение не может верно воспроизводиться в матрице Байера.
В устройстве формирования цветного изображения, использующем одноплатный элемент формирования цветного изображения, оптический фильтр низких частот, образованный анизотропным веществом, например, кристаллом, в общем случае размещается на передней стороне элемента формирования цветного изображения во избежание оптического ослабления высокочастотной волны. Однако, хотя окрашивание, обусловленное складыванием высокочастотного сигнала, можно уменьшать согласно способу, существует проблема соответственного снижения разрешения.
Для решения проблемы предложен элемент формирования цветного изображения, в котором матрица цветовых фильтров элемента формирования цветного изображения является трехцветной случайной матрицей, удовлетворяющей ограничениям, налагаемым на матрицу, в которой произвольный целевой пиксель соседствует с тремя цветами, включающими в себя цвет целевого пикселя на четырех сторонах целевого пикселя (PTL 1).
Также предложен датчик изображения в виде матрицы цветовых фильтров, причем датчик изображения включает в себя множество фильтров, которые отличаются спектральной чувствительностью, и первые и вторые фильтры из множества фильтров попеременно размещены с первым заранее определенным периодом в одном из диагональных направлений пиксельной сетки датчика изображения и попеременно размещены со вторым заранее определенным периодом в другом диагональном направлении (PTL 2).
Между тем, PTL 3 описывает метод использования окружающих пикселей целевого пикселя мозаичного изображения в матрице Байера для вычисления корреляций в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях (в четырех направлениях), и весовые коэффициенты применяются согласно отношениям вычисленных корреляций для интерполяции пикселей.
Также предложено устройство формирования изображения, включающее в себя элемент формирования цветного изображения, в котором R и B из трех основных цветов RGB размещены через каждые три пикселя в горизонтальном и вертикальном направлениях, и G размещен между R и B (PTL 4). В элементе формирования цветного изображения, описанном в PTL 4, пиксели G, которые вносят наибольший вклад в получение сигналов яркости, размещены гораздо больше, чем пиксели RB, исходя из того, что разрешение сигналов цветового контраста может быть ниже разрешения сигналов яркости. Это может повышать разрешение в горизонтальном и вертикальном направлениях.
Библиография
Патентные источники
{PTL 1}
выложенная японская патентная заявка № 2000-308080
{PTL 2}
выложенная японская патентная заявка № 2005-136766
{PTL 3}
выложенная японская патентная заявка № 2010-104019
{PTL 4}
выложенная японская патентная заявка № 8-23543
Сущность изобретения
Техническая задача
Трехцветная случайная матрица, описанная в PTL 1, эффективна для низкочастотных цветовых комбинационных искажений, но не эффективна для ложного цвета высокочастотной секции.
В матрице цветовых фильтров датчика изображения, описанной в PTL 2, фильтры R, G и B периодически размещены в линиях в горизонтальном и вертикальном направлениях матрицы цветовых фильтров. При обработке демозаицирования мозаичного изображения на выходе датчика изображения, включающего в себя матрицу цветовых фильтров в изобретении, описанном в PTL 2, вокруг целевого пикселя выделяется локальная область с заранее определенным размером изображения, вычисляются статистика, связанная с формой распределения цвета для цвета целевого пикселя в локальной области и форма распределения цвета другого цвета, подлежащая оценке, и формы распределения цвета подвергаются линейной регрессии на основании насыщенности цветов в позиции целевого пикселя и статистики форм распределения цвета, чтобы, таким образом, вычислять оценочное значение другого цвета в позиции целевого пикселя. Вычисление статистики (значений ковариации), связанной с формами распределения цвета и процесс вычисления регрессии необходимы в изобретении, описанном в PTL 2, и существует проблема в том, что обработка изображения усложняется.
Между тем, способ интерполяции пикселей, описанный в PTL 3, применяется к мозаичному изображению в матрице Байера. Однако, пиксели G не являются последовательными в горизонтальном и вертикальном направлениях в матрице Байера, и корреляции в горизонтальном и вертикальном направлениях не могут вычисляться с минимальными пиксельными интервалами. Например, корреляции определяются неверно, когда вводится вертикально-полосковая или горизонтально полосковая высокочастотная волна, и существует проблема в том, что пиксели невозможно правильно интерполировать.
Отношение пикселей G относительно пикселей RB в элементе формирования цветного изображения, описанном в PTL 4, выше, чем отношение в матрице Байера, и разрешение в горизонтальном и вертикальном направлениях можно увеличить. Однако сигналы RGB на выходе элемента формирования цветного изображения однородно синхронизируются интерполяционными фильтрами в устройстве формирования изображения, описанном в PTL 4, и существует проблема в том, что легко генерируется ложный цвет.
Настоящее изобретение сделано ввиду вышеописанных обстоятельств, и задачей настоящего изобретения является обеспечение устройства формирования цветного изображения, которое может подавлять генерацию ложного цвета высокочастотной секции путем простой обработки изображения.
Решение задачи
Для решения задачи, изобретение согласно аспекту настоящего изобретения включает в себя: одноплатный элемент формирования цветного изображения, включающий в себя: множество пикселей, включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном и вертикальном направлениях; и цветовые фильтры в виде заранее определенной матрицы цветовых фильтров, размещенной на множестве пикселей, причем матрица цветовых фильтров включает в себя первые фильтры, соответствующие первому цвету, которые вносят наибольший вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета, причем первые и вторые фильтры размещены периодически, и первые фильтры включают в себя две или более секций, соседствующих друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях; блок получения изображения, который получает мозаичное изображение, соответствующее матрице цветовых фильтров, из элемента формирования цветного изображения; блок определения направления, который получает, для целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, пиксельные значения пикселей, соответствующих первым фильтрам вблизи целевого пикселя и соседствующих друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях, и который определяет, какое из горизонтального, вертикального и наклонного (С-В, С-З) направлений является направлением корреляции яркости, на основании пиксельных значений соседних пикселей; блок обработки демозаицирования, который вычисляет пиксельное значение другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, и который использует одно или более пиксельных значений одного или более пикселей другого цвета в направлении корреляции, определенном блоком определения направления для вычисления пиксельного значения; и блок управления, который повторяющимся образом оперирует блоком определения направления и блоком обработки демозаицирования, одновременно сдвигая целевой пиксель обработки демозаицирования, выделенный из мозаичного изображения, на единицу целевого пикселя обработки демозаицирования.
Матрица цветовых фильтров элемента формирования цветного изображения включает в себя секции, где два или более первых фильтра, которые вносят наибольший вклад в получение сигналов яркости, соседствуют друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях (в четырех направлениях). Таким образом, какое из четырех направлений является направление корреляции яркости, можно определить с минимальными пиксельными интервалами на основании пиксельных значений пикселей, соседствующих друг с другом в направлениях. При вычислении пиксельного значения другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, пиксельное значение пикселя другого цвета в определенном направлении корреляции можно использовать для точной оценки пиксельного значения пикселя другого цвета, и генерацию ложного цвета на высокочастотной секции можно подавлять.
В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, заранее определенная матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовый шаблон матрицы, включающий в себя первые и вторые фильтры, причем базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях, и один или более из первых фильтров и один или более из вторых фильтров размещены в каждой линии в горизонтальном и вертикальном направлениях базового шаблона матрицы. Один или более из первых фильтров и один или более из вторых фильтров размещены в каждой линии в горизонтальном и вертикальном направлениях базового шаблона матрицы. Таким образом, генерацию цветовых комбинационных искажений (ложного цвета) в горизонтальном и вертикальном направлениях можно подавлять для повышения разрешения. Базовый шаблон матрицы повторяется в горизонтальном и вертикальном направлениях в матрице цветовых фильтров. Таким образом, обработку демозаицирования (интерполяции) на более поздней стадии можно выполнять согласно повторяющемуся шаблону.
Предпочтительно, в матрице цветовых фильтров устройства формирования цветного изображения согласно другому аспекту настоящего изобретения, первые фильтры размещены в центре и четырех углах группы 3×3 пикселей, и группа 3×3 пикселей повторяющимся образом размещена в горизонтальном и вертикальном направлениях. Первые фильтры размещены в четырех углах группы 3×3 пикселей. Таким образом, если группа 3×3 пикселей повторяющимся образом размещена в горизонтальном и вертикальном направлениях, матрица цветовых фильтров включает в себя квадратные матрицы, соответствующие 2×2 пикселям, включающим в себя первые фильтры. Пиксельные значения 2×2 пикселей можно использовать для определения направления с высокой корреляцией из горизонтального, вертикального и наклонных (С-В, С-З) направлений.
Предпочтительно, в матрице цветовых фильтров устройства формирования цветного изображения согласно другому аспекту настоящего изобретения, первые фильтры размещены вертикально и горизонтально по обе стороны фильтра в центре группы 3×3 пикселей, и группа 3×3 пикселей повторяющимся образом размещена в горизонтальном и вертикальном направлениях. Первые фильтры размещены вертикально и горизонтально по обе стороны фильтра в центре группы 3×3 пикселей. Таким образом, если группа 3×3 пикселей повторяющимся образом размещена в горизонтальном и вертикальном направлениях, первые фильтры соседствуют друг с другом (в двух пикселях) в горизонтальном и вертикальном направлениях по обе стороны фильтра в центре группы 3×3 пикселей в матрице цветовых фильтров. Пиксельные значения пикселей (всего восемь пикселей), соответствующих первым фильтрам, можно использовать для определения направления корреляции четырех направлений.
В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, блок определения направления вычисляет абсолютные значения разности пиксельных значений соседних пикселей в каждом из горизонтального, вертикального и наклонного (С-В, С-З) направлений и определяет направление с минимальным абсолютным значением разности из абсолютных значений разности в направлениях в качестве направления корреляции.
В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, блок определения направления вычисляет отношения пиксельных значений соседних пикселей в каждом из горизонтального, вертикального и наклонного (С-В, С-З) направлений и определяет направление с отношением, наиболее близким к 1 из отношений в направлениях в качестве направления корреляции.
Множество абсолютных значений разности или отношений можно вычислять для каждого из направлений, и сумма или среднее значение множества абсолютных значений разности или среднее значение отношений можно вычислять для каждого из направлений. В этом случае, направление корреляции можно определить более точно.
В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, блок обработки демозаицирования задает пиксельное значение пикселя другого цвета в направлении корреляции, определенном блоком определения направления, в качестве пиксельного значения другого цвета в пиксельной позиции целевого пикселя или задает значение, полученное путем интерполяции пиксельных значений множества пикселей другого цвета в направлении корреляции, определенном блоком определения направления, в качестве пиксельного значения другого цвета в пиксельной позиции целевого пикселя.
В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, в отсутствие пикселя другого цвета в направлении корреляции, определенном блоком определения направления, блок обработки демозаицирования интерполирует пиксельное значение целевого пикселя на основании цветового контраста или цветового отношения в пиксельных позициях пикселей другого цвета вблизи целевого пикселя для вычисления пиксельного значения другого цвета. Цветовой контраст и цветовое отношение в пиксельных позициях пикселей другого цвета выражают разность (цветовой контраст) и отношение (цветовое отношение) между пиксельным значением пикселя в пиксельной позиции и пиксельным значением другого цвета, уже оцененным путем определения направления в направлении корреляции.
В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие красному (R), зеленому (G) и синему (B) цветам, причем, когда целевым пикселем обработки демозаицирования является пиксель G, пиксельное значение равно G, и не существует пикселей R и B в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей R и B вблизи пикселя G равны R и B, и пиксельные значения G в пиксельных позициях пикселей равны GR и GB, блок обработки демозаицирования вычисляет пиксельные значения RG и BG пикселей R и B в позиции целевого пикселя согласно следующим формулам
RG=G+(R-GR) и BG=G+(B-GB), причем
когда целевым пикселем обработки демозаицирования является пиксель R, пиксельное значение равно R, и не существует пикселей G и B в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и B вблизи пикселя R равны G и B, и пиксельные значения R в пиксельных позициях пикселей равны RG и RB, блок обработки демозаицирования вычисляет пиксельные значения GR и BR пикселей G и B в позиции целевого пикселя согласно следующим формулам
GR=R+(G-RG) и BR=R+(B-RB), причем
когда целевым пикселем обработки демозаицирования является пиксель B, пиксельное значение равно B, и не существует пикселей G и R в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и R вблизи пикселя B равны G и R, и пиксельные значения B в пиксельных позициях пикселей равны BG и BR, блок обработки демозаицирования вычисляет пиксельные значения GB и RB пикселей G и R в позиции целевого пикселя согласно следующим формулам
GB=B+(G-BG) и RB=B+(R-BR).
В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие красному (R), зеленому (G) и синему (B) цветам, причем, когда целевым пикселем обработки демозаицирования является пиксель G, пиксельное значение равно G, и не существует пикселей R и B в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей R и B вблизи пикселя G равны R и B, и пиксельные значения G в пиксельных позициях пикселей равны GR и GB, блок обработки демозаицирования вычисляет пиксельные значения RG и BG пикселей R и B в позиции целевого пикселя согласно следующим формулам
RG=G×(R/GR) и BG=G×(B/GB), причем
когда целевым пикселем обработки демозаицирования является пиксель R, пиксельное значение равно R, и не существует пикселей G и B в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и B вблизи пикселя R равны G и B, и пиксельные значения R в пиксельных позициях пикселей равны RG и RB, блок обработки демозаицирования вычисляет пиксельные значения GR и BR пикселей G и B в позиции целевого пикселя согласно следующим формулам
GR=R×(G/RG) и BR=R×(B/RB), причем
когда целевым пикселем обработки демозаицирования является пиксель B, пиксельное значение равно B, и не существует пикселей G и R в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и R вблизи пикселя B равны G и R, и пиксельные значения B в пиксельных позициях пикселей равны BG и BR, блок обработки демозаицирования вычисляет пиксельные значения GB и RB пикселей G и R в позиции целевого пикселя согласно следующим формулам
GB=B×(G/BG) и RB=B×(R/BR).
В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, блок определения направления определяет отсутствие направления корреляции, когда значения разности пиксельных значений пикселей, соседствующих друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях равны, и если блок определения направления определяет отсутствие направления корреляции, блок обработки демозаицирования использует одно или более пиксельных значений одного или более пикселей другого цвета вблизи пиксельной позиции целевого пикселя обработки демозаицирования для вычисления пиксельного значения другого цвета в пиксельной позиции.
В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие красному (R), зеленому (G) и синему (B) цветам, и матрица фильтров включает в себя: первую матрицу, соответствующую 3×3 пикселям, причем первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры B, вертикально размещенные по обе стороны фильтра G в центре, и фильтры R, горизонтально размещенные по обе стороны фильтра G в центре; и вторую матрицу, соответствующую 3×3 пикселям, причем вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, вертикально размещенные по обе стороны фильтра G в центре, и фильтры B, горизонтально размещенные по обе стороны фильтра G в центре, причем первые и вторые матрицы попеременно размещены в горизонтальном и вертикальном направлениях.
Согласно матрице цветовых фильтров с конфигурацией, при выделении 5×5 пикселей (локальной области мозаичного изображения) вокруг первой или второй матрицы, существует 2×2 пикселей G в четырех углах 5×5 пикселей. Пиксельные значения 2×2 пикселей G можно использовать для определения направления корреляции четырех направлений.
В устройстве формирования цветного изображения согласно другому аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие красному (R), зеленому (G) и синему (B) цветам, и матрица фильтров включает в себя: первую матрицу, соответствующую 3×3 пикселям, причем первая матрица включает в себя фильтр R, размещенный в центре, фильтры B, размещенные в четырех углах, и фильтры G, вертикально и горизонтально размещенные по обе стороны фильтра R в центре; и вторую матрицу, соответствующую 3×3 пикселям, причем вторая матрица включает в себя фильтр B, размещенный в центре, фильтры R, размещенные в четырех углах, и фильтры G, вертикально и горизонтально размещенные по обе стороны фильтра B в центре, причем первые и вторые матрицы попеременно размещены в горизонтальном и вертикальном направлениях.
Согласно матрице цветовых фильтров с конфигурацией, при выделении 5×5 пикселей (локальной области мозаичного изображения) вокруг первой или второй матрицы, существуют пиксели G, соседствующие друг с другом в горизонтальном и вертикальном направлениях по обе стороны пикселя (пиксель R или пиксель B) в центре 5×5 пикселей. Пиксельные значения пикселей G (всего восемь пикселей) можно использовать для определения направления корреляции четырех направлений.
Положительные результаты изобретения
Согласно настоящему изобретению, используется элемент формирования цветного изображения, включающий в себя цветовые фильтры, включающие в себя секции, где два или более первых фильтра, которые вносят наибольший вклад в получение сигналов яркости, соседствуют друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях (в четырех направлениях). Элемент формирования цветного изображения включает в себя первые фильтры и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета, которые периодически размещены в линиях в горизонтальном и вертикальном направлениях. Направление корреляции яркости определяется на основании значений разности пиксельных значений пикселей, соседствующих друг с другом в направлениях. Таким образом, пиксельные значения с минимальными пиксельными интервалами можно использовать для определения направления корреляции. При вычислении пиксельного значения другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, пиксельное значение пикселя другого цвета в определенном направлении корреляции используется для вычисления пиксельного значения другого цвета в пиксельной позиции целевого пикселя. Таким образом, можно точно оценивать пиксельное значение пикселя другого цвета, и можно подавлять генерацию ложного цвета на высокочастотной секции.
Краткое описание чертежей
Фиг. 1 - блок-схема, демонстрирующая варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению.
Фиг. 2 - схема, демонстрирующая матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения первого варианта осуществления.
Фиг. 3 - схема, демонстрирующая базовый шаблон матрицы, включенный в матрицу цветовых фильтров элемента формирования цветного изображения первого варианта осуществления.
Фиг. 4 - схема, демонстрирующая состояние, в котором базовый шаблон матрицы из 6×6 пикселей, включенных в матрицу цветовых фильтров элемента формирования цветного изображения первого варианта осуществления, делится на матрицы A и матрицы B 3×3 пикселя.
Фиг. 5 - схема, демонстрирующая состояние, в котором базовый шаблон матрицы из 6×6 пикселей, включенных в матрицу цветовых фильтров элемента формирования цветного изображения первого варианта осуществления, делится на матрицы A и матрицы B 3×3 пикселя, и матрицы A и матрицы B размещены.
Фиг. 6 - схема, используемая для пояснения способа определения направления корреляции яркости и способа интерполяции пикселей при обработке демозаицирования.
Фиг. 7A - схема, демонстрирующая наклонное высокочастотное изображение, падающее на элемент формирования цветного изображения.
Фиг. 7B - схема, используемая для пояснения способа определения направления корреляции, когда наклонное высокочастотное изображение падает на элемент формирования цветного изображения.
Фиг. 8 - схема, демонстрирующая второй вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.
Фиг. 9 - схема, демонстрирующая третий вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.
Фиг. 10 - схема, демонстрирующая четвертый вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.
Фиг. 11 - схема, демонстрирующая пятый вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.
Фиг. 12 - схема, демонстрирующая шестой вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.
Фиг. 13 - схема, демонстрирующая седьмой вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению.
Фиг. 14 - схема, используемая для пояснения проблемы традиционного элемента формирования цветного изображения, включающего в себя цветовые фильтры в матрице Байера.
Описание вариантов осуществления
Далее, предпочтительные варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению будут подробно описаны со ссылкой на прилагаемые чертежи.
Общая конфигурация устройства формирования цветного изображения
На фиг. 1 показана блок-схема, демонстрирующая варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению.
Оптическая система формирования изображения 10 формирует изображение предмета, и оптическое изображение, указывающее изображение предмета, формируется на светоприемной поверхности элемента 12 формирования цветного изображения (элемента формирования цветного изображения первого варианта осуществления).
Элемент 12 формирования цветного изображения является одноплатным элементом формирования цветного изображения, включающим в себя: множество пикселей (не показано), включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном и вертикальном направлениях (двухмерную матрицу); и цветовые фильтры в заранее определенной матрице цветовых фильтров, размещенных на светоприемных поверхностях пикселей. Матрица цветовых фильтров элемента 12 формирования цветного изображения отличается тем, что включает в себя: фильтры всех цветов из красного (R), зеленого (G) и синего (B), периодически размещенные в линиях в горизонтальном и вертикальном направлениях; и секции, где два или более фильтров G, соответствующих пикселям G, которые вносят наибольший вклад в получение сигналов яркости, соседствуют друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях. Детали, касающиеся элемента 12 формирования цветного изображения, будут описаны ниже.
Элементы фотоэлектрического преобразования преобразуют изображение предмета, сформированное на элементе 12 формирования цветного изображения, в заряды сигнала, соответствующие количеству падающего света. Заряды сигнала, накопленные на элементах фотоэлектрического преобразования, последовательно считываются с элемента 12 формирования цветного изображения в виде сигналов напряжения (сигналов формирования изображения), соответствующих зарядам сигнала, на основании импульсов возбуждения, выдаваемых блоком 18 возбуждения согласно инструкции блока 20 управления. Сигналы формирования изображения, считываемые с элемента 12 формирования цветного изображения, являются сигналами R, G и B, указывающими мозаичное изображение R, G и B, соответствующее матрице цветовых фильтров элемента 12 формирования цветного изображения. Элемент 12 формирования цветного изображения не ограничивается элементом формирования цветного изображения типа ПЗС (прибором с зарядовой связью) и может относиться к другому типу элемента формирования изображения, например, являться элементом формирования изображения на основе КМОП (комплементарных транзисторов типа металл-окисел-полупроводник).
Сигналы формирования изображения, считываемые с элемента 12 формирования цветного изображения, поступают на блок 14 обработки изображения. Блок 14 обработки изображения включает в себя: схему коррелированной двухступенчатой выборки (CDS), которая устраняет шум сброса, присутствующий в сигналах формирования изображения; схему АРУ (автоматической регулировки усиления), которая усиливает сигналы формирования изображения и регулирует размер на определенном уровне; и А/Ц преобразователь. Блок 14 обработки изображения применяет процесс коррелированной двухступенчатой выборки к входным сигналам формирования изображения и усиливает сигналы формирования изображения, после чего выводит RAW-данные, которые формируется путем преобразования сигналов формирования изображения в цифровые сигналы формирования изображения, на блок 16 обработки изображения.
Блок 16 обработки изображения включает в себя схема коррекции баланса белого, схему гамма-коррекции, схему обработки демозаицирования согласно настоящему изобретению (схему обработки, которая вычисляет (преобразует в синхронную систему) всю цветовую информацию пикселей RGB из мозаичного изображения RGB, связанного с матрицей цветовых фильтров одноплатного элемента 12 формирования цветного изображения), схему генерации сигнала яркости/цветового контраста, схему коррекции контуров, схему цветовой коррекции и пр. Согласно инструкции от блока 20 управления, блок 16 обработки изображения применяет необходимую обработку сигнала к RAW-данным мозаичного изображения, поступающим из блока 14 обработки изображения, для генерации данных изображения (данных YUV), включающих в себя данные яркости (данные Y) и данные цветового контраста (данные Cr, Cb).
Для неподвижных изображений, схема обработки сжатия/растяжения применяет процесс сжатия, который согласуется со стандартом JPEG (joint photographic experts group), в данные изображения, генерируемые блоком 16 обработки изображения. Для движущихся изображений, схема обработки сжатия/растяжения применяет процесс сжатия, который согласуется со стандартом MPEG2 (moving picture experts group), в данные изображения. Данные изображения записываются на носитель записи (карту памяти) и выводятся на устройство отображения (не показано), например, жидкокристаллический монитор, и отображаются на нем.
Детали обработки схемой обработки демозаицирования согласно настоящему изобретению на блоке 16 обработки изображения будут описаны ниже.
Признаки матрицы цветовых фильтров
Матрица цветовых фильтров элемента 12 формирования цветного изображения имеет следующие признаки (1), (2) и (3).
Признак (1)
На фиг. 2 показана схема, демонстрирующая матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе 12 формирования цветного изображения. Согласно фиг. 2, матрица цветовых фильтров элемента 12 формирования цветного изображения включает в себя базовый шаблон P матрицы (шаблон, указанный толстой рамкой) сформированный шаблоном квадратной матрицы, соответствующей 6×6 пикселям, и базовый шаблон P матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях. Таким образом, матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтры R, фильтры G и фильтры B), размещенные с заранее определенным периодом.
Таким образом, фильтры R, фильтры G и фильтры B размещены с заранее определенным периодом. Таким образом, обработка демозаицирования и пр. сигналов R, G и B, считываемых из элемента 12 формирования цветного изображения, может осуществляться согласно повторяющемуся шаблону.
Признак (2)
В матрице цветовых фильтров, показанной на фиг. 2, фильтры всех цветов R, G и B размещены в линиях в горизонтальном и вертикальном направлениях базового шаблона P матрицы. Таким образом, как описано ниже, когда направление корреляции определяется как горизонтальное направление или вертикальное направление при обработке демозаицирования, пиксельное значение пикселя другого цвета в горизонтальном направлении или вертикальном направлении можно использовать для интерполяции. Таким образом, можно подавлять генерацию цветовых комбинационных искажений (ложный цвет). Поскольку можно управлять генерацией ложного цвета, можно не размещать оптический фильтр низких частот на оптическом пути от плоскости падения до плоскости формирования изображения оптической системы. Даже в случае применения оптического фильтра низких частот, можно применять фильтр с меньшим эффектом срезания высокочастотных составляющих для предотвращения генерации ложного цвета, и можно предотвращать потерю разрешения.
На Фиг. 3 показано состояние, в котором базовый шаблон P матрицы, показанный на фиг. 2, делится на четыре набора 3×3 пикселя.
Согласно фиг. 3, базовый шаблон P матрицы можно рассматривать как шаблон, включающий в себя матрицы A 3×3 пикселя, окруженные рамкой сплошных линий, и матрицы B 3×3 пикселя, окруженные рамкой пунктирных линий, попеременно размещенные в горизонтальном и вертикальном направлениях, как показано на фиг. 4.
Каждая из матриц A и B включает в себя фильтры G в качестве пикселей яркости, размещенных в четырех углах и в центре, и фильтры G размещены на обеих диагоналях. В матрице A фильтры R размещены в горизонтальном направлении, и фильтры B размещены в вертикальном направлении, по обе стороны фильтра G в центре. Между тем, в матрице B, фильтры B размещены в горизонтальном направлении, и фильтры R размещены в вертикальном направлении, по обе стороны фильтра G в центре. Таким образом, хотя позиционное соотношение между фильтрами R и B противоположно в матрицах A и B, в остальном, компоновка одинакова.
Признак (3)
Базовый шаблон P матрицы для матрицы цветовых фильтров, показанной на фиг. 2, включает в себя секции, где два или более фильтров G соседствуют друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях. Матрица цветовых фильтров, включающая в себя базовые шаблоны P матрицы, размещенные в горизонтальном и вертикальном направлениях, включает в себя квадратные матрицы, соответствующие 2×2 пикселям фильтров G.
Дело в том, что, как показано на фиг. 3, фильтры G в качестве пикселей яркости размещены в четырех углах и в центре группы 3×3 пикселя в матрицах A и B, и 3×3 пикселя попеременно размещены в горизонтальном и вертикальном направлениях с образованием фильтров G квадратных матриц, соответствующих 2×2 пикселям. Пиксельные значения 2×2 пикселей фильтров G можно использовать для вычисления направления корреляции яркости (определения направления) в горизонтальном направлении, вертикальном направлении и наклонных направлениях (С-В, С-З).
Схема обработки демозаицирования блока 16 обработки изображения
Ниже будут описаны детали, касающиеся обработки, осуществляемой схемой обработки демозаицирования блока 16 обработки изображения.
Согласно фиг. 5, пиксели G группы 2×2 пикселя, соответствующие фильтрам G, выделяются из мозаичного изображения, выводимого из элемента 12 формирования цветного изображения. Когда пиксельные значения пикселей G заданы как G1, G2, G3 и G4 по порядку от верхнего левого угла до нижнего правого угла, схема определения направления, входящая в состав схемы обработки демозаицирования, вычисляет абсолютное значение разности каждого направления.
В частности, абсолютное значение разности в вертикальном направлении равно (|G1-G3|+|G2-G4|)/2. Абсолютное значение разности в горизонтальном направлении равно (|G1-G2|+|G3-G4|)/2. Абсолютное значение разности в наклонном направлении вверх направо равно |G2-G3|. Абсолютное значение разности в наклонном направлении вверх налево равно |G1-G4|.
Схема определения направления определяет наличие корреляции (направление корреляции) в направлении с минимальным абсолютным значением разности из четырех абсолютных значений корреляции.
Когда локальная область 5×5 пикселей выделяется из мозаичного изображения, так что матрица A 3×3 пикселя (см. фиг. 3) располагается в центре, как показано на фиг. 6, пиксели G группы 2×2 пикселя размещены в четырех углах. Таким образом, когда 3×3 пикселя матрицы A в локальной области являются целевыми пикселями обработки демозаицирования, схема определения направления вычисляет суммы (или средние значения) абсолютных значений корреляции в направлениях в четырех углах и определяет направление с минимальным значением среди сумм (или средних значений) абсолютных значений корреляции в направлениях в качестве направления корреляции яркости в целевых пикселях обработки демозаицирования.
При вводе шаблона, показанного на фиг. 7A (черный это 0, и белый это 255), сумма абсолютных значений разности в вертикальном направлении пиксельных значений 2×2 пикселей G в четырех углах, показанных на фиг. 7B, равна |0-255|×8=2040, и сумма абсолютных значений разности в горизонтальном направлении также равна |0-255|×8=2040. Между тем, сумма абсолютных значений разности в наклонном направлении вверх направо равна |255-255|×2+|0-0|×2=0, и сумма абсолютных значений разности в наклонном направлении вверх налево равна |0-0|×2+|255-255|×2=0. Таким образом, существует два направления (наклонное направление вверх направо и наклонное направление вверх налево) с минимальной суммой абсолютных значений разности. Однако в шаблоне на фиг. 7A вводится наклонная максимальная частота, и можно принять любое из наклонных направлений.
Как описано, поскольку направление корреляции определяется из 2×2 пикселей G, соседствующих друг с другом, направление корреляции можно определить с минимальными пиксельными интервалами. Таким образом, направление корреляции можно точно определить, не подвергаясь влиянию высокочастотной волны.
Согласно варианту осуществления, хотя направление с минимальным изменением яркости (направление корреляции с высокой корреляцией) определяется на основании значений разности пиксельных значений соседних пикселей G, компоновка этим не ограничивается. Направление с минимальным изменением яркости можно определять на основании отношений пиксельных значений соседних пикселей G. Когда изменение яркости определяется на основании отношений пиксельных значений соседних пикселей G, направление с отношением (средним значением отношений, когда вычисляется множество отношений в четырех направлениях) наиболее близким к 1 определяется как направление с минимальным изменением яркости.
Ниже будет описан способ применения обработки демозаицирования к мозаичному изображению RGB схемой обработки демозаицирования блока 16 обработки изображения.
Когда направление корреляции в целевом пикселе обработки демозаицирования определено, схема обработки демозаицирования использует одно или более пиксельных значений одного или более пикселей другого цвета в определенном направлении корреляции при вычислении пиксельного значения другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования.
Согласно фиг. 4, в горизонтальном и вертикальном направлениях существуют пиксели всех цветов (пиксели R, пиксели G и пиксели B). Таким образом, если определено, что существует направление корреляции в горизонтальном или вертикальном направлении, получается пиксельное значение пикселя другого цвета вблизи целевого пикселя в горизонтальном или вертикальном направлении. Полученное пиксельное значение одного пикселя или значение, полученное путем интерполяции пиксельных значений множества пикселей, задается в качестве пиксельного значения другого цвета в пиксельной позиции целевого пикселя.
Например, если определено, что направление корреляции является горизонтальным направлением, пиксельное значение R12 или R32 задается в качестве пиксельного значения R в пиксельной позиции пикселя G22 на фиг. 6, или пиксельные значения R12 и R32 интерполируются для определения пиксельного значения.
Аналогично, пиксельное значение B02 или B42 задается в качестве пиксельного значения B в пиксельной позиции пикселя G22, или пиксельные значения B02 и B42 интерполируются для определения пиксельного значения.
Пиксельное значение R12 задается в качестве пиксельного значения R в пиксельной позиции пикселя B02, или пиксельные значения R12 и R32 интерполируются для определения пиксельного значения.
Пиксельное значение G22 задается в качестве пиксельного значения G в пиксельной позиции пикселя B02, или пиксельное значение пикселя G в той же самой горизонтальной позиции соседней матрицы B и пиксельное значение G22 интерполируются для определения пиксельного значения.
Пиксельное значение другого цвета в вертикальном направлении можно аналогично использовать, когда определено, что направление корреляции является вертикальным направлением.
В матрице цветовых фильтров элемента 12 формирования цветного изображения первого варианта осуществления, существуют только пиксели G в наклонных направлениях (диагональных направлениях) вокруг пикселя G матрицы A 3×3 пикселя. Таким образом, если определено, что направление корреляции является наклонным направлением с последовательными пикселями G, пиксельные значения других цветов вычисляются путем интерполяции пиксельного значения целевого пикселя на основании цветовых контрастов между пиксельными значениями соседних пикселей R и B, где вычисляются пиксельные значения G.
Согласно фиг. 6, когда определено, что существует направление корреляции с наклоном вверх влево в результате определения направления, не существует пикселей R и B в направлении интерполяции пикселя G11. Таким образом, цветовые контрасты между пиксельными значениями R12 и R21 пикселей R12 и B21 вблизи пикселя G11 и пиксельными значениями R12' и G21' G в пиксельных позициях пикселей используются для интерполяции пиксельного значения G11 пикселя G11 для вычисления пиксельных значений R11' и B11' R и G в пиксельной позиции пикселя G11.
В частности, интерполяция осуществляется согласно следующим формулам.
R11'=G11+(R12-G12') (a)
B11'=G11+(B21-B21') (b)
В выражениях (a) и (b), G12'=G01 и G21'=G10. Таким образом, пиксельные значения G12' и G21' являются пиксельными значениями G в пиксельных позициях пикселей R12 и B21, оцененными путем определения направления в направлении наклона влево.
Аналогично, цветовые контрасты между пиксельными позициями пикселей R12 и R32 вблизи пикселей R и B в пиксельной позиции пикселя G22 и пиксельными позициями пикселей B21 и B23 используются для интерполяции пиксельного значения G22 пикселя G22 для вычисления пиксельных значений R22' и B22' R и G в пиксельной позиции пикселя G22.
В частности, интерполяция осуществляется согласно следующим формулам.
R22'=G22+{(R12+R32)/2-(G12'+G32')/2} (c)
B22'=G22+{(B21+B23)/2-(G21'+G23')/2} (d)
В формулах, G32'=G43 и G23'=G34.
По окончании обработки демозаицирования всех пикселей группы 3×3 пикселя (матрицы A), такая же обработка (определение направления и обработка демозаицирования) применяется к целевым пикселям соседней группы 3×3 пикселя (матрицы B), и обработка повторяется со сдвигом обработки на 3×3 пикселя.
Как описано, в матрице цветовых фильтров элемента 12 формирования цветного изображения, только пиксели G могут существовать в наклонных направлениях при вычислении пиксельных значений R и B в пиксельной позиции пикселя G в качестве целевого пикселя обработки демозаицирования. В зависимости от матрицы цветовых фильтров, возможен случай, когда целевым пикселем обработки демозаицирования является пиксель R, и пикселей G и пикселей B не существует в наклонных направлениях при вычислении пиксельных значений G и B в пиксельной позиции. Также возможен случай, когда целевым пикселем обработки демозаицирования является пиксель B, и пикселей G и пикселей R не существует в наклонных направлениях при вычислении пиксельных значений G и R в пиксельной позиции.
Даже в этих случаях, пиксельные значения других цветов можно вычислять согласно выражениям (a)-(d) путем интерполяции пиксельных значений целевого пикселя на основании цветовых контрастов между пиксельными значениями соседних пикселей, где вычисляются пиксельные значения RGB.
Ниже приведено краткое описание способа вычисления пиксельных значений других цветов путем интерполяции пиксельных значений целевого пикселя на основании цветовых контрастов между соседними пикселями.
Когда целевым пикселем обработки демозаицирования является пиксель G, пиксельное значение равно G, и не существует пикселей R и B в направлении корреляции, определенном схемой определения направления, если пиксельные значения пикселей R и B вблизи пикселя G равны R и B, и пиксельные значения G в пиксельных позициях пикселей равны GR и GB, пиксельные значения RG и BG пикселей R и B в позиции целевого пикселя вычисляются согласно следующим формулам.
RG=G+(R-GR), BG=G+(B-GB) (1)
Выражение (1) эквивалентно выражениям (a) и (b).
Аналогично, когда целевым пикселем обработки демозаицирования является пиксель R, пиксельное значение равно R, и не существует пикселей G и B в направлении корреляции, определенном схемой определения направления, если пиксельные значения пикселей G и B вблизи пикселя R равны G и B, и пиксельные значения R в пиксельных позициях пикселей равны RG и RB, пиксельные значения GR и BR пикселей G и B в позиции целевого пикселя вычисляются согласно следующим формулам.
GR=R+(G-RG), BR=G+(B-RB) (2)
Когда целевым пикселем обработки демозаицирования является пиксель B, пиксельное значение равно B, и не существует пикселей G и R в направлении корреляции, определенном схемой определения направления, если пиксельные значения пикселей G и R вблизи пикселя B равны G и R, и пиксельные значения B в пиксельных позициях пикселей равны BG и BR, пиксельные значения GB и RB пикселей G и R в позиции целевого пикселя вычисляются согласно следующим формулам.
GB=B+(G-BG), RB=B+(R-BR) (3)
В отличие от выражений (1) - (3), при наличии множества пикселей того же цвета, что и цвет, подлежащий интерполяции и вычислению вблизи целевого пикселя обработки демозаицирования, средний цветовой контраст множества пикселей можно использовать для интерполяции согласно выражениям (c) и (d).
Согласно варианту осуществления, в отсутствие пикселей других цветов в определенном направлении корреляции по отношению к целевому пикселю обработки демозаицирования, пиксельные значения целевого пикселя интерполируются на основании цветовых контрастов между соседними пикселями других цветов для вычисления пиксельных значений других цветов. Однако компоновка этим не ограничивается. Пиксельные значения целевого пикселя можно интерполировать на основании цветовых отношений соседних пикселей других цветов для вычисления пиксельных значений других цветов.
Ниже будет описан конкретный пример способа вычисления пиксельных значений других цветов путем интерполяции пиксельных значений целевого пикселя на основании цветовых отношений соседних пикселей.
Когда целевым пикселем обработки демозаицирования является пиксель G, пиксельное значение равно G, и не существует пикселей R и B в направлении корреляции, определенном схемой определения направления, если пиксельные значения пикселей R и B вблизи пикселя G равны R и B, и пиксельные значения G в пиксельных позициях пикселей равны GR и GB, пиксельные значения RG и BG пикселей R и B в позиции целевого пикселя вычисляются согласно следующим формулам.
RG=G×(R/GR), BG=G×(B/GB) (4)
Аналогично, когда целевым пикселем обработки демозаицирования является пиксель R, пиксельное значение равно R, и не существует пикселей G и B в направлении корреляции, определенном схемой определения направления, если пиксельные значения пикселей G и B вблизи пикселя R равны G и B, и пиксельные значения R в пиксельных позициях пикселей равны RG и RB, пиксельные значения GR и BR пикселей G и B в позиции целевого пикселя вычисляются согласно следующим формулам.
GR=R×(G/RG), BR=R×(B/RB) (5)
Когда целевым пикселем обработки демозаицирования является пиксель B, пиксельное значение равно B, и не существует пикселей G и R в направлении корреляции, определенном схемой определения направления, если пиксельные значения пикселей G и R вблизи пикселя B равны G и R, и пиксельные значения B в пиксельных позициях пикселей равны BG и BR, пиксельные значения GB и RB пикселей G и R в позиции целевого пикселя вычисляются согласно следующим формулам.
GB=B×(G/BG), RB=B×(R/BR) (6)
В основе настоящего изобретения лежит элемент формирования цветного изображения, включающий в себя пиксели R, G и B, периодически размещенные в линиях в горизонтальном и вертикальном направлениях. Однако когда используется элемент формирования цветного изображения, который также включает в себя пиксели R, G и B, периодически размещенные в наклонных (С-В, С-З) направлениях, пиксельные значения других цветов не подлежат интерполяции и вычислению согласно выражениям (1)-(6) и т.п.
Когда абсолютные значения разности пиксельных значений пикселей G, соседствующих друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях, равны друг другу (когда абсолютные значения разности равны 0 или практически равны 0 во всех направлениях), схема определения направления определяет отсутствие направления корреляции. В этом случае, пиксельные значения пикселей других цветов вблизи пиксельной позиции используются для пиксельных значений других цветов в пиксельной позиции целевого пикселя обработки демозаицирования.
Второй вариант осуществления элемента формирования цветного изображения
На фиг. 8 показана схема, демонстрирующая второй вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению. На Фиг. 8 в частности показана матрица цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Согласно фиг. 8, матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовые шаблоны матрицы, образованный шаблонами квадратной матрицы, соответствующими 6×6 пикселям, причем базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях. Таким образом, матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтры R, фильтры G и фильтры B), размещенные с заранее определенным периодом.
Матрица цветовых фильтров, показанная на фиг. 8, включает в себя фильтры всех цветов R, G и B, размещенные в линиях в горизонтальном и вертикальном направлениях базового шаблона матрицы.
Если базовый шаблон матрицы делится на четыре набора 3×3 пикселя, как показано на фиг. 8, базовый шаблон матрицы можно также рассматривать как матрицу цветовых фильтров, включающую в себя матрицы A 3×3 пикселя, окруженные рамками сплошных линий, и матрицы B 3×3 пикселя, окруженные рамками пунктирных линий, которые попеременно размещены в горизонтальном и вертикальном направлениях.
В матрице A, фильтр R размещен в центре группы 3×3 пикселя, фильтры B размещены в четырех углах, и фильтры G размещены вертикально и горизонтально по обе стороны фильтра R в центре. Между тем, в матрице B, фильтр B размещен в центре группы 3×3 пикселя, фильтры R размещены в четырех углах, и фильтры G размещены вертикально и горизонтально по обе стороны фильтра B в центре. Таким образом, хотя позиционное соотношение между фильтрами R и B противоположно в матрицах A и B, в остальном, компоновка одинакова.
Матрица цветовых фильтров, показанная на фиг. 8, включает в себя секции, где два фильтры G соседствуют друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях.
Фильтры G в качестве пикселей яркости размещены вертикально и горизонтально по обе стороны фильтра в центре группы 3×3 пикселей в матрице A или B. Таким образом, если группы 3×3 пикселей повторяющимся образом размещены в горизонтальном и вертикальном направлениях, два пикселя размещены по соседству друг с другом в горизонтальном и вертикальном направлениях через фильтры в центрах групп 3×3 пикселей.
Согласно матрице цветовых фильтров, пиксельные значения пикселей (всего восемь пикселей), соответствующие фильтру G в качестве пикселя яркости, позволяют определять корреляции яркости в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях на основании пиксельных значений с минимальными пиксельными интервалами.
Когда группа 3×3 пикселя, соответствующая матрице A, образована целевыми пикселями обработки демозаицирования, существуют последовательные пиксели G в горизонтальном и вертикальном направлениях по обе стороны пикселя R в центре (пиксели G размещены в форме креста). Корреляции яркости в горизонтальном и вертикальном направлениях можно вычислить на основании пиксельных значений последовательных пикселей G в горизонтальном и вертикальном направлениях, и корреляции яркости в наклонных направлениях (С-В, С-З) можно вычислить из четырех вертикальных и горизонтальных пикселей G, соседствующих с пикселем R.
Матрица цветовых фильтров элемента формирования цветного изображения второго варианта осуществления имеет такие же признаки, что и признаки (1), (2) и (3) матрицы цветовых фильтров элемента 12 формирования цветного изображения первого варианта осуществления. Может осуществляться определение направления и интерполяция пикселей согласно настоящему изобретению.
В матрице цветовых фильтров элемента формирования цветного изображения второго варианта осуществления, если, например, пиксель R в центре матрицы A или пиксель B в центре матрицы B является целевым пикселем обработки демозаицирования, и определено, что наклонное направление является направлением корреляции, не существует пикселей G в наклонном направлении. В этом случае, пиксельные значения G можно вычислять на основании выражений (2) и (3) или выражений (5) и (6).
Третий вариант осуществления элемента формирования цветного изображения
На фиг. 9 показана схема, демонстрирующая третий вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению. На Фиг. 9 в частности показана матрица цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Согласно фиг. 9, матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовый шаблон матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующим 5×5 пикселей. При этом базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях. Таким образом, матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтры R, фильтры G и фильтры B), размещенные с заранее определенным периодом.
Матрица цветовых фильтров, показанная на фиг. 9, включает в себя фильтры всех цветов R, G и B, размещенные в линиях в горизонтальном и вертикальном направлениях базового шаблона матрицы.
В базовом шаблоне матрицы, два или более последовательных фильтра G (пикселей G) размещены в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях. Пиксельные значения последовательных пикселей G позволяют определять корреляции яркости в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях с минимальными пиксельными интервалами.
Матрица цветовых фильтров элемента формирования цветного изображения третьего варианта осуществления имеет такие же признаки, что и признаки (1), (2) и (3) матрицы цветовых фильтров элемента 12 формирования цветного изображения первого варианта осуществления. Может осуществляться определение направления и интерполяция пикселей согласно настоящему изобретению.
Четвертый вариант осуществления элемента формирования цветного изображения
На фиг. 10 показана схема, демонстрирующая четвертый вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению. На Фиг. 10 в частности показана матрица цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Согласно фиг. 10, матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовый шаблон матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующим 7×7 пикселей, причем базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях. Таким образом, матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтры R, фильтры G и фильтры B), размещенные с заранее определенным периодом.
В матрице цветовых фильтров, показанной на фиг. 10, фильтры всех цветов R, G и B размещены в линиях в горизонтальном и вертикальном направлениях базового шаблона матрицы.
В базовом шаблоне матрицы, последовательные фильтры G (пиксели G) размещены в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях. В частности, в базовом шаблоне матрицы существует четыре набора последовательных по вертикали и горизонтали 2×2 пикселей G.
Пиксельные значения последовательных пикселей G позволяют определять корреляции яркости в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях с минимальными пиксельными интервалами.
Матрица цветовых фильтров элемента формирования цветного изображения четвертого варианта осуществления имеет такие же признаки, что и признаки (1), (2) и (3) матрицы цветовых фильтров элемента 12 формирования цветного изображения первого варианта осуществления. Может осуществляться определение направления и интерполяция пикселей согласно настоящему изобретению.
Пятый вариант осуществления элемента формирования цветного изображения
На фиг. 11 показана схема, демонстрирующая пятый вариант осуществления элемента формирования цветного изображения, применяемый к настоящему изобретению. На Фиг. 11 в частности показана матрица цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Согласно фиг. 11, матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовый шаблон матрицы (шаблон, указанный толстой рамкой), сформированный шаблоном квадратной матрицы, соответствующим 8×8 пикселей, причем базовый шаблон матрицы повторяющимся образом размещен в горизонтальном и вертикальном направлениях. Таким образом, матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтры R, фильтры G и фильтры B), размещенные с заранее определенным периодом.
Матрица цветовых фильтров, показанная на фиг. 11, включает в себя фильтры всех цветов R, G и B, размещенные в линиях в горизонтальном и вертикальном направлениях базового шаблона матрицы.
В базовом шаблоне матрицы, последовательные фильтры G (пиксели G) размещены в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях. В частности, в базовом шаблоне матрицы существует четыре набора пикселей G, включающих в себя последовательные по вертикали и горизонтали 2×2 пикселя.
Пиксельные значения последовательных пикселей G позволяют определять корреляции яркости в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях с минимальными пиксельными интервалами.
Матрица цветовых фильтров элемента формирования цветного изображения пятого варианта осуществления имеет такие же признаки, что и признаки (1), (2) и (3) матрицы цветовых фильтров элемента 12 формирования цветного изображения первого варианта осуществления. Может осуществляться определение направления и интерполяция пикселей согласно настоящему изобретению.
Шестой и седьмой варианты осуществления элемента формирования цветного изображения
На фиг. 12 и 13 показаны схемы, соответственно демонстрирующие шестой и седьмой варианты осуществления элемента формирования цветного изображения, применяемые к настоящему изобретению. На Фиг. 12 и 13 в частности показаны матрицы цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.
Матрица цветовых фильтров элемента формирования цветного изображения шестого варианта осуществления, показанная на фиг. 12, включает в себя матрицы A 3×3 пикселя первого варианта осуществления, показанные на фиг. 3, размещенные в горизонтальном и вертикальном направлениях.
Между тем, матрица цветовых фильтров элемента формирования цветного изображения седьмого варианта осуществления, показанная на фиг. 13, включает в себя матрицы B 3×3 пикселя первого варианта осуществления, показанные на фиг. 3, размещенные в горизонтальном и вертикальном направлениях.
Базовые шаблоны матрицы малы (3×3 пикселя) в матрицах цветовых фильтров элемента формирования цветного изображения шестого и седьмого вариантов осуществления, и преимущественный эффект состоит в облегчении обработки демозаицирования сигналов R, G и B.
Между тем, фильтры всех цветов R, G и B не размещены в линиях в горизонтальном и вертикальном направлениях в базовых шаблонах матрицы, и матрицы не имеют признака (2) матрицы цветовых фильтров элемента 12 формирования цветного изображения первого варианта осуществления. Однако матрицы имеют те же признаки, что и признаки (1) и (3), и может осуществляться определение направления и интерполяция пикселей согласно настоящему изобретению.
Прочие
Хотя устройство формирования цветного изображения, включающее в себя элемент формирования цветного изображения с цветовыми фильтрами трех основных цветов RGB было описано в вариантах осуществления, настоящее изобретение этим не ограничивается. Настоящее изобретение также можно применять к устройству формирования цветного изображения, включающему в себя элемент формирования цветного изображения с цветовыми фильтрами четырех цветов, включающих в себя три основных цвета RGB и другой цвет (например, изумрудный (E)).
Настоящее изобретение также можно применять к устройству формирования цветного изображения, включающему в себя элемент формирования цветного изображения с цветовыми фильтрами четырех дополнительных цветов, включающих в себя G помимо C (голубого), M (малинового) и Y (желтого), которые являются цветами, дополнительными к основным цветам RGB.
Очевидно, что настоящее изобретение не ограничивается вариантам осуществления и допускает различные модификации, не выходящие за рамки сущности настоящего изобретения.
Перечень ссылочных позиций
10 - оптическая система формирования изображения
12 - элемент формирования цветного изображения
14 - блок обработки изображения
16 - блок обработки изображения
18 - блок возбуждения
20 - блок управления
Изобретение относится к устройству формирования цветного изображения, которое подавляет генерацию цветовых комбинационных искажений (цветного муара). Техническим результатом является подавление генерации ложного цвета высокочастотной секции путем простой обработки изображения. Предложен элемент формирования цветного изображения с матрицей цветовых фильтров, включающей в себя периодически размещенные фильтры RGB, соответствующий цветам RGB и включающие в себя секции, где используются два или более фильтров G, которые вносят наибольший вклад в получение сигналов яркости, соседствуют друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях (в четырех направлениях). На основании пиксельных значений пикселей G, соседствующих друг с другом в направлениях, какое из четырех направлений является направлением корреляции яркости, определяется с минимальными пиксельными интервалами. Пиксельное значение пикселя другого цвета в определенном направлении корреляции используется для вычисления пиксельного значения другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения. Таким образом, пиксельное значение пикселя другого цвета точно оценивается. 4 н. и 8 з.п. ф-лы, 15 ил. 
1. Устройство формирования цветного изображения, содержащее
одноплатный элемент формирования цветного изображения, содержащий: множество пикселей, включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном направлении и в вертикальном направлении, и цветовые фильтры в виде заранее определенной матрицы цветовых фильтров, размещенной на множестве пикселей, причем матрица цветовых фильтров включает в себя первые фильтры, соответствующие первому цвету, которые вносят наибольший вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета, причем первые и вторые фильтры размещены периодически, и упомянутый элемент формирования изображения включает в себя: первую секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в горизонтальном направлении таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей в первой секции, вторую секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в вертикальном направлении таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей во второй секции, и третью секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в наклонных (С-В, С-З) направлениях таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей в третьей секции;
блок получения изображения, который получает мозаичное изображение, соответствующее матрице цветовых фильтров, из элемента формирования цветного изображения;
блок определения направления, который получает, для целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, пиксельные значения пикселей, которые соответствуют первым фильтрам вблизи целевого пикселя и смежным образом размещены в каждом из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений, и который определяет, какое из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений является направлением корреляции яркости, на основании пиксельных значений упомянутых двух или более пикселей, смежным образом размещенных в каждом из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений;
блок обработки демозаицирования, который вычисляет пиксельное значение другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, и который использует одно или более пиксельных значений одного или более пикселей другого цвета в направлении корреляции, определенном блоком определения направления для вычисления пиксельного значения, и
блок управления, который повторяющимся образом оперирует блоком определения направления и блоком обработки демозаицирования, одновременно сдвигая целевой пиксель обработки демозаицирования, выделенный из мозаичного изображения, на единицу целевого пикселя обработки демозаицирования, причем
матрица цветовых фильтров включает в себя базовый шаблон матрицы, включающий в себя первые и вторые фильтры, причем базовый шаблон матрицы повторяющимся образом размещен в упомянутом горизонтальном направлении и в упомянутом вертикальном направлении, и
один или более из первых фильтров и один или более из вторых фильтров, соответствующих каждому из упомянутых двух или более вторых цветов, размещены в каждой линии в горизонтальном направлении и в вертикальном направлении базового шаблона матрицы.
2. Устройство формирования цветного изображения, содержащее
одноплатный элемент формирования цветного изображения, содержащий: множество пикселей, включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном направлении и в вертикальном направлении, и цветовые фильтры в виде заранее определенной матрицы цветовых фильтров, размещенной на множестве пикселей, причем матрица цветовых фильтров включает в себя первые фильтры, соответствующие первому цвету, которые вносят наибольший вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета, причем первые и вторые фильтры размещены периодически, и упомянутый элемент формирования изображения включает в себя: первую секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в горизонтальном направлении таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей в первой секции, вторую секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в вертикальном направлении таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей во второй секции, и третью секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в наклонных (С-В, С-З) направлениях таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей в третьей секции;
блок получения изображения, который получает мозаичное изображение, соответствующее матрице цветовых фильтров, из элемента формирования цветного изображения,
блок определения направления, который получает, для целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, пиксельные значения упомянутых двух или более пикселей, которые соответствуют первым фильтрам вблизи целевого пикселя и смежным образом размещены в каждом из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений, и который определяет, какое из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений является направлением корреляции яркости, на основании пиксельных значений упомянутых двух или более пикселей, смежным образом размещенных в каждом из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений,
блок обработки демозаицирования, который вычисляет пиксельное значение другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, и который использует одно или более пиксельных значений одного или более пикселей другого цвета в направлении корреляции, определенном блоком определения направления для вычисления пиксельного значения, и
блок управления, который повторяющимся образом оперирует блоком определения направления и блоком обработки демозаицирования, одновременно сдвигая целевой пиксель обработки демозаицирования, выделенный из мозаичного изображения, на единицу целевого пикселя обработки демозаицирования, причем
в матрице цветовых фильтров, упомянутые первые фильтры размещены в центре и четырех углах группы 3×3 пикселей, и группа 3×3 пикселей повторяющимся образом и плотно размещена в горизонтальном направлении и в вертикальном направлении.
3. Устройство формирования цветного изображения, содержащее
одноплатный элемент формирования цветного изображения, содержащий: множество пикселей, включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном направлении и в вертикальном направлении, и цветовые фильтры в виде заранее определенной матрицы цветовых фильтров, размещенной на множестве пикселей, причем матрица цветовых фильтров включает в себя первые фильтры, соответствующие первому цвету, которые вносят наибольший вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета, причем первые и вторые фильтры размещены периодически, упомянутый элемент формирования изображения включает в себя: первую секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в горизонтальном направлении таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей в первой секции, вторую секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в вертикальном направлении таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей во второй секции, и третью секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в наклонных (С-В, С-З) направлениях таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей в третьей секции;
блок получения изображения, который получает мозаичное изображение, соответствующее матрице цветовых фильтров, из элемента формирования цветного изображения,
блок определения направления, который получает, для целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, пиксельные значения упомянутых двух или более пикселей, которые соответствуют первым фильтрам вблизи целевого пикселя и смежным образом размещены в каждом из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений, и который определяет, какое из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений является направлением корреляции яркости, на основании пиксельных значений упомянутых двух или более пикселей, смежным образом размещенных в каждом из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений;
блок обработки демозаицирования, который вычисляет пиксельное значение другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, и который использует одно или более пиксельных значений одного или более пикселей другого цвета в направлении корреляции, определенном блоком определения направления для вычисления пиксельного значения, и
блок управления, который повторяющимся образом оперирует блоком определения направления и блоком обработки демозаицирования, одновременно сдвигая целевой пиксель обработки демозаицирования, выделенный из мозаичного изображения, на единицу целевого пикселя обработки демозаицирования, причем
в матрице цветовых фильтров, первые фильтры размещены вертикально и горизонтально по обе стороны фильтра в центре группы 3×3 пикселей, и группа 3×3 пикселей повторяющимся образом и плотно размещена в упомянутом горизонтальном направлении и в упомянутом вертикальном направлении.
4. Устройство формирования цветного изображения по п. 1, в котором
блок определения направления вычисляет абсолютные значения разности пиксельных значений соседних пикселей в каждом из горизонтального, вертикального и наклонного (С-В, С-З) направлений и определяет направление с минимальным абсолютным значением разности из абсолютных значений разности в направлениях в качестве направления корреляции.
5. Устройство формирования цветного изображения по п. 1, в котором
блок определения направления вычисляет отношения пиксельных значений соседних пикселей в каждом из горизонтального, вертикального и наклонного (С-В, С-З) направлений и определяет направление с отношением, наиболее близким к 1 из отношений в направлениях в качестве направления корреляции.
6. Устройство формирования цветного изображения по п. 1, в котором
блок обработки демозаицирования задает пиксельное значение пикселя другого цвета в направлении корреляции, определенном блоком определения направления, в качестве пиксельного значения другого цвета в пиксельной позиции целевого пикселя или задает значение, полученное путем интерполяции пиксельных значений множества пикселей другого цвета в направлении корреляции, определенном блоком определения направления, в качестве пиксельного значения другого цвета в пиксельной позиции целевого пикселя.
7. Устройство формирования цветного изображения, содержащее одноплатный элемент формирования цветного изображения, содержащий: множество пикселей, включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном направлении и в вертикальном направлении, и цветовые фильтры в виде заранее определенной матрицы цветовых фильтров, размещенной на множестве пикселей, причем матрица цветовых фильтров включает в себя первые фильтры, соответствующие первому цвету, которые вносят наибольший вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторым цветам, отличным от первого цвета, причем первые и вторые фильтры размещены периодически, и упомянутый элемент формирования изображения включает в себя: первую секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в горизонтальном направлении таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей в первой секции, вторую секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в вертикальном направлении таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей во второй секции, и третью секцию, в которой два или более пикселей, соответствующие первым фильтрам, смежным образом размещены в наклонных (С-В, С-З) направлениях таким образом, чтобы не было пикселей цвета, отличного от первого цвета, между упомянутыми двумя или более пикселей в третьей секции;
блок получения изображения, который получает мозаичное изображение, соответствующее матрице цветовых фильтров, из элемента формирования цветного изображения,
блок определения направления, который получает, для целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, пиксельные значения упомянутых двух или более пикселей, которые соответствуют первым фильтрам вблизи целевого пикселя и смежным образом размещены в каждом из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений, и который определяет, какое из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений является направлением корреляции яркости, на основании пиксельных значений упомянутых двух или более пикселей, смежным образом размещенных в каждом из упомянутого горизонтального направления, упомянутого вертикального направления и упомянутых наклонных (С-В, С-З) направлений;
блок обработки демозаицирования, который вычисляет пиксельное значение другого цвета в пиксельной позиции целевого пикселя обработки демозаицирования, выделенного из мозаичного изображения, и который использует одно или более пиксельных значений одного или более пикселей другого цвета в направлении корреляции, определенном блоком определения направления для вычисления пиксельного значения, и
блок управления, который повторяющимся образом оперирует блоком определения направления и блоком обработки демозаицирования, одновременно сдвигая целевой пиксель обработки демозаицирования, выделенный из мозаичного изображения, на единицу целевого пикселя обработки демозаицирования, причем
в отсутствие пикселя другого цвета в направлении корреляции, определенном блоком определения направления, блок обработки демозаицирования интерполирует пиксельное значение целевого пикселя на основании цветового контраста или цветового отношения в пиксельных позициях пикселей другого цвета вблизи целевого пикселя для вычисления пиксельного значения другого цвета.
8. Устройство формирования цветного изображения по п. 7, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие красному (R), зеленому (G) и синему (В) цветам, причем
когда целевым пикселем обработки демозаицирования является пиксель G, пиксельное значение равно G, и не существует пикселей R и В в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей R и В вблизи пикселя G равны R и В, и пиксельные значения G в пиксельных позициях пикселей равны GR и GB, блок обработки демозаицирования вычисляет пиксельные значения RG и BG пикселей R и В в позиции целевого пикселя согласно следующим формулам
RG=G+(R-GR) и BG=G+(B-GB), причем
когда целевым пикселем обработки демозаицирования является пиксель R, пиксельное значение равно R, и не существует пикселей G и В в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и В вблизи пикселя R равны G и В, и пиксельные значения R в пиксельных позициях пикселей равны RG и RB, блок обработки демозаицирования вычисляет пиксельные значения GR и BR пикселей G и В в позиции целевого пикселя согласно следующим формулам
GR=R+(G-RG) и BR=R+(B-RB), причем
когда целевым пикселем обработки демозаицирования является пиксель В, пиксельное значение равно В, и не существует пикселей G и R в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и R вблизи пикселя В равны G и R, и пиксельные значения В в пиксельных позициях пикселей равны BG и BR, блок обработки демозаицирования вычисляет пиксельные значения GB и RB пикселей G и R в позиции целевого пикселя согласно следующим формулам
GB=B+(G-BG) и RB=B+(R-BR).
9. Устройство формирования цветного изображения по п. 7, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие красному (R), зеленому (G) и синему (В) цветам, причем
когда целевым пикселем обработки демозаицирования является пиксель G, пиксельное значение равно G, и не существует пикселей R и В в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей R и В вблизи пикселя G равны R и В, и пиксельные значения G в пиксельных позициях пикселей равны GR и GB, блок обработки демозаицирования вычисляет пиксельные значения RG и BG пикселей R и В в позиции целевого пикселя согласно следующим формулам
RG=G×(R/GR) и BG=G×(B/GB), причем
когда целевым пикселем обработки демозаицирования является пиксель R, пиксельное значение равно R, и не существует пикселей G и В в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и В вблизи пикселя R равны G и В, и пиксельные значения R в пиксельных позициях пикселей равны RG и RB, блок обработки демозаицирования вычисляет пиксельные значения GR и BR пикселей G и В в позиции целевого пикселя согласно следующим формулам
GR=R×(G/RG) и BR=R×(B/RB), причем
когда целевым пикселем обработки демозаицирования является пиксель В, пиксельное значение равно В, и не существует пикселей G и R в направлении корреляции, определенном блоком определения направления, если пиксельные значения пикселей G и R вблизи пикселя В равны G и R, и пиксельные значения В в пиксельных позициях пикселей равны BG и BR, блок обработки демозаицирования вычисляет пиксельные значения GB и RB пикселей G и R в позиции целевого пикселя согласно следующим формулам
GB=B×(G/BG) и RB=B×(R/BR).
10. Устройство формирования цветного изображения по п. 1, в котором
блок определения направления определяет отсутствие направления корреляции, когда значения разности пиксельных значений пикселей, соседствующих друг с другом в горизонтальном, вертикальном и наклонных (С-В, С-З) направлениях, равны, и
если блок определения направления определяет отсутствие направления корреляции, блок обработки демозаицирования использует одно или более пиксельных значений одного или более пикселей другого цвета вблизи пиксельной позиции целевого пикселя обработки демозаицирования для вычисления пиксельного значения другого цвета в пиксельной позиции.
11. Устройство формирования цветного изображения по любому из пп. 1, 2, 4-10, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие красному (R), зеленому (G) и синему (В) цветам, и
матрица фильтров включает в себя первую матрицу, соответствующую 3×3 пикселям, причем первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры В, вертикально размещенные по обе стороны фильтра G в центре, и фильтры R, горизонтально размещенные по обе стороны фильтра G в центре, и вторую матрицу, соответствующую 3×3 пикселям, причем вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, вертикально размещенные по обе стороны фильтра G в центре, и фильтры В, горизонтально размещенные по обе стороны фильтра G в центре, причем первые и вторые матрицы попеременно размещены в горизонтальном и вертикальном направлениях.
12. Устройство формирования цветного изображения по любому из пп. 1, 3-10, в котором
цветовые фильтры включают в себя фильтры R, фильтры G и фильтры В, соответствующие красному (R), зеленому (G) и синему (В) цветам, и
матрица фильтров включает в себя первую матрицу, соответствующую 3×3 пикселям, причем первая матрица включает в себя фильтр R, размещенный в центре, фильтры В, размещенные в четырех углах, и фильтры G, вертикально и горизонтально размещенные по обе стороны фильтра R в центре, и вторую матрицу, соответствующую 3×3 пикселям, причем вторая матрица включает в себя фильтр В, размещенный в центре, фильтры R, размещенные в четырех углах, и фильтры G, вертикально и горизонтально размещенные по обе стороны фильтра В в центре, причем первые и вторые матрицы попеременно размещены в горизонтальном и вертикальном направлениях.
| US 2009066821 A1, 2009-03-12 | |||
| US 2007013786 A1, 2007-01-18 | |||
| US 2010053351 A1, 2010-03-04 | |||
| US 2009096899 A1, 2009-04-16 | |||
| US 7206021 B2, 2007-04-17 | |||
| АДАПТИВНОЕ ПОВЫШЕНИЕ ДИСКРЕТИЗАЦИИ ДЛЯ МАСШТАБИРУЕМОГО КОДИРОВАНИЯ ВИДЕО | 2008 |
|
RU2419248C2 |
