АВТОМАТИЧЕСКАЯ ОБРАБОТКА БАЛАНСА БЕЛОГО С ГИБКИМ ВЫБОРОМ ЦВЕТОВОГО ПРОСТРАНСТВА Российский патент 2014 года по МПК H04N9/73 G06T7/40 

Уровень техники

[0001] Настоящее раскрытие относится, в общем, к устройствам формирования цифрового изображения и, в частности, к системам и способу для обработки данных изображения, полученных с использованием датчика изображения устройства формирования цифрового изображения.

[0002] Этот раздел предназначен для ознакомления читателя с различными аспектами уровня техники, которые могут быть связаны с различными аспектами настоящего изобретения, которые описаны и/или заявлены ниже. Предполагается, что данное рассмотрение будет полезно для предоставления читателю основополагающей информации для облегчения лучшего понимания различных аспектов настоящего раскрытия. Соответственно, следует понимать, что эти положения следует воспринимать в этом свете, а не как допущения уровня техники.

[0003] В последние годы устройства формирования цифрового изображения приобретают все большую популярность в силу, по меньшей мере, частично, того, что такие устройства становятся все более доступными по цене для среднего потребителя. Кроме того, помимо ряда автономных цифровых камер, доступных в настоящее время на рынке, существует тенденция интеграции устройств формирования цифрового изображения в другое электронное устройство, например, стационарный или переносной компьютер, сотовый телефон или портативный медиаплеер.

[0004] Для получения данных изображения, большинство устройств формирования цифрового изображения включают в себя датчик изображения, который обеспечивает ряд световоспринимающих элементов (например, фотодетекторов), сконфигурированных для преобразования света, регистрируемого датчиком изображения, в электрический сигнал. Датчик изображения также может включать в себя матрицу цветовых фильтров, которая фильтрует свет, улавливаемый датчиком изображения, для захвата информации цвета. Данные изображения, захваченные датчиком изображения могут затем обрабатываться конвейером обработки изображений, который может применять различные операции обработки изображений к данным изображения для генерации полноцветного изображения, которое может отображаться для просмотра на устройстве отображения, например мониторе.

[0005] В то время как традиционные методы обработки изображений, в общем случае, нацелены на формирование наблюдаемого изображения, которое объективно и субъективно доставляет удовольствие наблюдателю, такие традиционные методы могут неадекватно справляться с ошибками и/или искажениями в данных изображения, вносимыми устройством формирования изображения и/или датчиком изображения. Например, дефектные пиксели на датчике изображения, которые могут быть обусловлены производственными дефектами или отказом при эксплуатации, могут не позволять точно воспринимать уровни света и, в отсутствие коррекции, могут проявляться как артефакты, возникающие в результирующем обработанном изображении. Дополнительно, спад интенсивности света на краях датчика изображения, который может быть обусловлен дефектами при изготовлении объектива, может негативно сказываться на характеристических измерениях и может приводить к созданию изображения, в которых общая интенсивность света неоднородна. Конвейер обработки изображений также может осуществлять один или более процессов для повышения резкости изображения. Однако традиционные методы повышения резкости могут не адекватно учитывать существующий шум в сигнале изображения или могут быть не способны различать шум от краев и текстурированных областей в изображении. В таких случаях традиционные методы повышения резкости могут фактически повышать заметность шума в изображении, что, в общем случае, нежелательно. Кроме того, можно осуществлять различные дополнительные этапы обработки изображений, некоторые из которых могут опираться на статистику изображения, собранную машиной сбора статистики.

[0006] Другая операция обработки изображений, которая может применяться к данным изображения, захваченным датчиком изображения, является операцией демозаики (преобразования RGB массива в цветное изображение). Поскольку матрица цветовых фильтров в общем случае обеспечивает цветовые данные на одной длине волны для каждого пикселя датчика, полный набор цветовых данных, в общем случае, интерполируется для каждого цветового канала для воспроизведения полноцветного изображения (например, RGB-изображения). Традиционные методы демозаики, в общем случае, интерполируют значения для отсутствующих цветовых данных в горизонтальном или вертикальном направлении, в общем случае, в зависимости от некоторого типа фиксированного порога. Однако такие традиционные методы демозаики могут не адекватно учитывать положения и направление краев в изображении, что может приводить к краевым артефактам, например ступенчатости, шахматным артефактам или радужным артефактам, вносимым в полноцветное изображение, в особенности вдоль диагональных краев в изображении.

[0007] Соответственно, различными соображениями следует руководствоваться при обработке цифрового изображения, полученного с помощью цифровой камеры или другого устройства формирования изображения для улучшения внешнего вида результирующего изображения. В частности, некоторые аспекты нижеприведенного раскрытия призваны устранять один или более недостатков, кратко упомянутых выше.

Сущность изобретения

[0008] Ниже представлено краткое изложение раскрытых здесь некоторых вариантов осуществления. Следует понимать, что эти аспекты представлены лишь для снабжения читателя краткой сводкой этих некоторых вариантов осуществления, и что эти аспекты не призваны ограничивать объем этого раскрытия. В действительности, это раскрытие может охватывать различные аспекты, которые могут быть не изложены ниже.

[0009] Настоящее раскрытие обеспечивает различные подходы к сбору и обработке статистических данных в процессоре сигнала изображения (ISP). В одном варианте осуществления, машину сбора статистики можно реализовать в блоке предварительной обработки ISP, в результате чего статистика собирается до обработки конвейером ISP, расположенным после блока предварительной обработки. В соответствии с одним аспектом раскрытия, машина сбора статистики может быть сконфигурирована для получения статистики, относящейся к автоматическому балансу белого, автоматической установке экспозиции и автофокусировке. В одном варианте осуществления, машина сбора статистики может принимать первичные байеровские RGB данные, полученные датчиком изображения, и может быть сконфигурирована для осуществления одного или более преобразований цветового пространства для получения пиксельных данных в других цветовых пространствах. Набор пиксельных фильтров может быть сконфигурирован для накопления сумм пиксельных данных условно на основании характеристик YC1C2, заданных пиксельным условием для каждого пиксельного фильтра. В зависимости от выбранного цветового пространства, пиксельные фильтры могут генерировать суммы цветов, которые можно использовать для согласования текущего источника света с набором опорных источников света, с помощью которого датчик изображения был ранее откалиброван.

[0010] В соответствии с другим аспектом раскрытия, статистику автофокусировки можно использовать для генерации показателей грубой и точной автофокусировки для определения оптимального фокусного расстояния, на котором нужно располагать объектив, связанный с датчиком изображения. Например, логика статистики может определять грубую позицию, которая указывает оптимальную зону фокусирования, которую, в одном варианте осуществления, можно определить путем поиска первой грубой позиции, в которой показатель грубой автофокусировки снижается относительно предыдущей позиции. Используя эту позицию в качестве исходного пункта для поиска точного показателя, оптимальную позицию фокуса можно определить путем поиска пика в показателях точной автофокусировки. Статистику автофокусировки также можно определить на основании каждого байеровского RGB цвета, таким образом, что, даже при наличии хроматических аберраций, относительные показатели автофокусировки для каждого цвета можно использовать для определения направления фокуса. Кроме того, собранная статистика может выводиться в память и использоваться ISP для обработки полученных данных изображения.

[0011] В связи с различными аспектами настоящего раскрытия могут существовать различные уточнения вышеупомянутых признаков. Кроме того, признаки также могут быть включены в эти различные аспекты. Эти уточнения и дополнительные признаки могут существовать по отдельности или в любой комбинации. Например, различные признаки, рассмотренные ниже в связи с одним или более из проиллюстрированных вариантов осуществления, могут быть включены в любой из вышеописанных аспектов настоящего раскрытия по отдельности или в любой комбинации. Опять же, представленная выше краткая сводка предназначена лишь для ознакомления читателя с некоторыми аспектами и контекстами вариантов осуществления настоящего раскрытия без ограничения заявленным предметом изобретения.

Краткое описание чертежей

[0012] Файл патента или заявки содержит, по меньшей мере, один чертеж, выполненный в цвете. Копии этого патента или опубликованной патентной заявки с цветными чертежами будут предоставлены патентным ведомством по запросу и после оплаты необходимых сборов.

[0013] Различные аспекты этого раскрытия можно лучше понять, ознакомившись с нижеследующим подробным описанием и обратившись к чертежам, в которых:

[0014] фиг. 1 - упрощенная блок-схема, изображающая компоненты примера электронного устройства, которое включает в себя устройство формирования изображения и схему обработки изображений, сконфигурированную для реализации одного или более методов обработки изображений, изложенных в настоящем раскрытии;

[0015] фиг. 2 - графическое представление пиксельного блока 2×2 матрицы байеровских цветовых фильтров, которую можно реализовать в устройстве формирования изображения, показанном на фиг. 1;

[0016] фиг. 3 - вид в перспективе электронного устройства, показанного на фиг. 1 в форме портативного вычислительного устройства, в соответствии с аспектами настоящего раскрытия;

[0017] фиг. 4 - вид спереди электронного устройства, показанного на фиг. 1 в форме стационарного вычислительного устройства, в соответствии с аспектами настоящего раскрытия;

[0018] фиг. 5 - вид спереди электронного устройства, показанного на фиг. 1 в форме карманного портативного электронного устройства, в соответствии с аспектами настоящего раскрытия;

[0019] фиг. 6 - вид сзади электронного устройства, показанного на фиг. 5;

[0020] фиг. 7 - блок-схема, иллюстрирующая логику предварительной обработки сигнала изображения (ISP) и логику конвейерной обработки ISP, которые можно реализовать в схеме обработки изображений, показанной на фиг. 1, в соответствии с аспектами настоящего раскрытия;

[0021] фиг. 8 - более детализированная блок-схема, демонстрирующая вариант осуществления логики предварительной обработки ISP, показанной на фиг. 7, в соответствии с аспектами настоящего раскрытия;

[0022] фиг. 9 - блок-схема операций, изображающая способ для обработки данных изображения в логике предварительной обработки ISP, показанной на фиг. 8, в соответствии с вариантом осуществления;

[0023] фиг. 10 - блок-схема, иллюстрирующая конфигурацию регистров двойной буферизации и регистров управления, которые можно использовать для обработки данных изображения в логике предварительной обработки ISP, в соответствии с одним вариантом осуществления;

[0024] фиг. 11-13 - временные диаграммы, изображающие различные режимы для запуска обработки кадра изображения, в соответствии с вариантами осуществления настоящего изобретения;

[0025] фиг. 14 - схема, более подробно изображающая регистр управления, в соответствии с одним вариантом осуществления;

[0026] фиг. 15 - блок-схема операций, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 8, работает в однодатчиковом режиме;

[0027] фиг. 16 - блок-схема операций, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 8, работает в двухдатчиковом режиме;

[0028] фиг. 17 - блок-схема операций, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 8, работает в двухдатчиковом режиме;

[0029] фиг. 18 - блок-схема операций, изображающая способ, в котором оба датчика изображения активны, но в котором первый датчик изображения посылает кадры изображения на блок предварительной обработки пикселей, тогда как второй датчик изображения посылает кадры изображения на блок статистической обработки, благодаря чему статистика формирования изображения для второго датчика доступна сразу, когда второй датчик изображения продолжает посылать кадры изображения на блок предварительной обработки пикселей в более позднее время, в соответствии с одним вариантом осуществления.

[0030] фиг. 19 - графическое представление различных областей формирования изображения, которые можно задать в исходном кадре изображения, захваченном датчиком изображения, в соответствии с аспектами настоящего раскрытия.

[0031] фиг. 20 - блок-схема, которая обеспечивает более детализированный вид одного варианта осуществления блока предварительной обработки пикселей ISP, показанного в логике предварительной обработки ISP, показанной на фиг. 8, в соответствии с аспектами настоящего раскрытия;

[0032] фиг. 21 - схема обработки, демонстрирующая возможное применение временной фильтрации к пиксельным данным изображения, принятым блоком предварительной обработки пикселей ISP, показанным на фиг. 20, в соответствии с одним вариантом осуществления;

[0033] фиг. 22 иллюстрирует набор пикселей опорного изображения и набор соответствующих пикселей текущего изображения, которые можно использовать для определения одного или более параметров для процесса временной фильтрации, показанного на фиг. 21;

[0034] фиг. 23 - блок-схема операций, демонстрирующая процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения, в соответствии с одним вариантом осуществления;

[0035] фиг. 24 - блок-схема операций, демонстрирующая метод вычисления значения дельты движения для использования во временной фильтрации пикселя текущего изображения, показанного на фиг. 23, в соответствии с одним вариантом осуществления;

[0036] фиг. 25 - блок-схема операций, демонстрирующая другой процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения, который включает в себя использование разных коэффициентов усиления для каждой цветовой компоненты данных изображения, в соответствии с другим вариантом осуществления;

[0037] фиг. 26 - схема обработки, демонстрирующаяся, как метод временной фильтрации, который использует отдельные таблицы движения и яркости для каждой цветовой компоненты пиксельных данных изображения, принятых блоком предварительной обработки пикселей ISP, показанным на фиг. 20, в соответствии с дополнительным вариантом осуществления;

[0038] фиг. 27 - блок-схема операций, демонстрирующая процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения с использованием таблиц движения и яркости, показанных на фиг. 26, в соответствии с дополнительным вариантом осуществления;

[0039] фиг. 28 изображает дискретизацию первичных данных изображения с полным разрешением, которое может быть захвачено датчиком изображения, в соответствии с аспектами настоящего раскрытия;

[0040] фиг. 29 иллюстрирует датчик изображения, который может быть сконфигурирован для применения биннинга к первичным данным изображения с полным разрешением, показанным на фиг. 28, для вывода выборки подвергнутых биннингу первичных данных изображения, в соответствии с вариантом осуществления настоящего раскрытия;

[0041] фиг. 30 изображает дискретизацию подвергнутых биннингу первичных данных изображения, которая может обеспечиваться датчиком изображения, показанным на фиг. 29, в соответствии с аспектами настоящего раскрытия;

[0042] фиг. 31 изображает подвергнутые биннингу первичные данные изображения из фиг. 30 после осуществления повторной дискретизации фильтром компенсации биннинга для обеспечения, в соответствии с аспектами настоящего раскрытия;

[0043] фиг. 32 изображает фильтр компенсации биннинга, который можно реализовать в блоке предварительной обработки пикселей ISP, показанном на фиг. 20, в соответствии с одним вариантом осуществления;

[0044] фиг. 33 - графическое представление различных величин шага, которые могут применяться к дифференциальному анализатору для выбора центральных входных пикселей и индекс/фазы для фильтрации с компенсацией биннинга, в соответствии с аспектами настоящего раскрытия;

[0045] фиг. 34 - блок-схема операций, демонстрирующая процесс для масштабирования данных изображения с использованием фильтра компенсации биннинга, показанного фиг. 32, в соответствии с одним вариантом осуществления;

[0046] фиг. 35 - блок-схема операций, демонстрирующая процесс для определения текущего входного исходного центрального пикселя для горизонтальной и вертикальной фильтрации, осуществляемой фильтром компенсации биннинга, показанным на фиг. 32, в соответствии с одним вариантом осуществления;

[0047] фиг. 36 - блок-схема операций, демонстрирующая процесс для определения индекса для выбора коэффициентов фильтрации для горизонтальной и вертикальной фильтрации, осуществляемой фильтром компенсации биннинга, показанным на фиг. 32, в соответствии с одним вариантом осуществления;

[0048] фиг. 37 - более детализированная блок-схема, демонстрирующая вариант осуществления блока статистической обработки, который можно реализовать в логике предварительной обработки ISP, показанной на фиг. 8, в соответствии с аспектами настоящего раскрытия;

[0049] фиг. 38 демонстрирует различные случаи границы кадра изображения, которые можно рассматривать при применении методов обнаружения и коррекции дефектных пикселей в ходе статистической обработки блоком статистической обработки, показанным на фиг. 37, в соответствии с аспектами настоящего раскрытия;

[0050] фиг. 39 - блок-схема операций, демонстрирующая процесс для осуществления обнаружения и коррекции дефектных пикселей в ходе статистической обработки, в соответствии с одним вариантом осуществления;

[0051] фиг. 40 демонстрирует трехмерный профиль, изображающий зависимость интенсивности света от позиции пикселя для традиционного объектива устройства формирования изображения;

[0052] фиг. 41 - цветной чертеж, который демонстрирует неоднородное распределение интенсивности света по изображению, что может быть результатом неравномерностей затенения объектива;

[0053] фиг. 42 - графическая иллюстрация первичного кадра формирования изображения, который включает в себя область коррекции затенения объектива и сетку коэффициентов усиления, в соответствии с аспектами настоящего раскрытия;

[0054] фиг. 43 иллюстрирует интерполяцию значения коэффициента усиления для пикселя изображения, окруженного четырьмя граничными точками сетки коэффициентов усиления, в соответствии с аспектами настоящего раскрытия;

[0055] фиг. 44 - блок-схема операций, демонстрирующая процесс для определения интерполированных значений коэффициентов усиления, которые могут применяться к пикселям формирования изображения в ходе операции коррекции затенения объектива, в соответствии с вариантом осуществления настоящего изобретения;

[0056] фиг. 45 - трехмерный профиль, изображающий интерполированные значения коэффициентов усиления, которые могут применяться к изображению, который демонстрирует характеристики интенсивности света, показанные на фиг. 40, при осуществлении коррекции затенения объектива, в соответствии с аспектами настоящего раскрытия;

[0057] фиг. 46 демонстрирует цветной чертеж из фиг. 41, который демонстрирует повышенную однородность интенсивности света после применения операции коррекции затенения объектива, в соответствии с аспектами настоящего раскрытия;

[0058] фиг. 47 графически иллюстрирует, как радиальное расстояние между текущим пикселем и центром изображения можно вычислять и использовать для определения радиальной компоненты коэффициента усиления для коррекции затенения объектива, в соответствии с одним вариантом осуществления;

[0059] фиг. 48 - блок-схема операций, демонстрирующая процесс, позволяющий использовать радиальные коэффициенты усиления и интерполированные коэффициенты усиления из сетки коэффициентов усиления для определения полного коэффициента усиления, который может применяться к пикселям формирования изображения в ходе операции коррекции затенения объектива, в соответствии с вариантом осуществления настоящего изобретения;

[0060] фиг. 49 - график, демонстрирующий области белого и оси низкой и высокой цветовой температуры в цветовом пространстве;

[0061] фиг. 50 - таблица, демонстрирующая как можно сконфигурировать коэффициенты усиления баланса белого для различных условий опорного источника света, в соответствии с одним вариантом осуществления;

[0062] фиг. 51 - блок-схема, демонстрирующая машину сбора статистики, которую можно реализовать в логике предварительной обработки ISP, в соответствии с вариантом осуществления настоящего раскрытия;

[0063] фиг. 52 иллюстрирует понижающую дискретизацию первичных байеровских RGB данных, в соответствии с аспектами настоящего раскрытия;

[0064] фиг. 53 изображает двухмерную цветовую гистограмму, которая может быть собрана машиной сбора статистики, показанной на фиг. 51, в соответствии с одним вариантом осуществления;

[0065] фиг. 54 изображает трансфокацию и панорамирование в двухмерной цветовой гистограмме;

[0066] фиг. 55 - более детализированный вид, демонстрирующий логику для реализации пиксельного фильтра машины сбора статистики, в соответствии с одним вариантом осуществления;

[0067] фиг. 56 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с одним вариантом осуществления;

[0068] фиг. 57 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с другим вариантом осуществления;

[0069] фиг. 58 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с еще одним дополнительным вариантом осуществления;

[0070] фиг. 59 - график, демонстрирующий как можно определить времена интегрирования датчика изображения для компенсации мерцания, в соответствии с одним вариантом осуществления;

[0071] фиг. 60 - подробная блок-схема, демонстрирующая логику, которую можно реализовать в машине сбора статистики, показанной на фиг. 51, и сконфигурированную для сбора статистики автофокусировки в соответствии с одним вариантом осуществления;

[0072] фиг. 61 - график, изображающий метод осуществления автофокусировки с использованием значений показателей грубой и точной автофокусировки, в соответствии с одним вариантом осуществления;

[0073] фиг. 62 - блок-схема операций, изображающая процесс для осуществления автофокусировки с использованием значений показателей грубой и точной автофокусировки, в соответствии с одним вариантом осуществления;

[0074] фиг. 63 и 64 демонстрируют прореживание первичных байеровских данных для получения значения яркости, сбалансированного по уровню белого;

[0075] фиг. 65 демонстрирует метод осуществления автофокусировки с использованием относительных значений показателей автофокусировки для каждой цветовой компоненты, в соответствии с одним вариантом осуществления;

[0076] фиг. 66 - более детализированный вид блока статистической обработки, показанного на фиг. 37, демонстрирующий как можно использовать байеровские RGB данные гистограммы для помощи в компенсации уровня черного, в соответствии с одним вариантом осуществления;

[0077] фиг. 67 - блок-схема, демонстрирующая вариант осуществления логики конвейерной обработки ISP, показанной на фиг. 7, в соответствии с аспектами настоящего раскрытия;

[0078] фиг. 68 - более детализированный вид, демонстрирующий вариант осуществления блока обработки первичных пикселей, который можно реализовать в логике конвейерной обработки ISP, показанной на фиг. 67, в соответствии с аспектами настоящего раскрытия;

[0079] фиг. 69 демонстрирует различные случаи границы кадра изображения, которые можно рассматривать при применении методов обнаружения и коррекции дефектных пикселей в ходе обработки блоком обработки первичных пикселей, показанным на фиг. 68, в соответствии с аспектами настоящего раскрытия;

[0080] фиг. 70-72 - блок-схемы операций, которые изображают различные процессы для обнаружения и коррекции дефектных пикселей, которые могут осуществляться в блоке обработки первичных пикселей, показанном на фиг. 68, в соответствии с одним вариантом осуществления;

[0081] фиг. 73 демонстрирует положение двух пикселей зеленого в пиксельном блоке 2×2 байеровского датчика изображения, которые можно интерполировать при применении методов коррекции неоднородности зеленого в ходе обработки логикой обработки первичных пикселей, показанной на фиг. 68, в соответствии с аспектами настоящего раскрытия;

[0082] фиг. 74 иллюстрирует набор пикселей, который включает в себя центральный пиксель и связанные с ним горизонтально соседние пиксели, которые можно использовать как часть процесса горизонтальной фильтрации для шумопонижения, в соответствии с аспектами настоящего раскрытия;

[0083] фиг. 75 иллюстрирует набор пикселей, который включает в себя центральный пиксель и связанные с ним вертикальные соседние пиксели, которые можно использовать как часть процесса вертикальной фильтрации для шумопонижения, в соответствии с аспектами настоящего раскрытия;

[0084] фиг. 76 - упрощенная блок-схема операций, которая изображает как можно применять демозаику к шаблону первичного байеровского изображения для создания полноцветного RGB-изображения;

[0085] фиг. 77 изображает набор пикселей шаблона байеровского изображения, из которого можно вывести горизонтальные и вертикальные энергетические компоненты для интерполяции значений зеленого цвета в ходе демозаики шаблона байеровского изображения, в соответствии с одним вариантом осуществления;

[0086] фиг. 78 демонстрирует набор горизонтальных пикселей, к которым может применяться фильтрация для определения горизонтальной компоненты интерполированного значения зеленого цвета в ходе демозаики шаблона байеровского изображения, в соответствии с аспектами настоящего изобретения;

[0087] фиг. 79 демонстрирует набор вертикальных пикселей, к которым может применяться фильтрация для определения вертикальной компоненты интерполированного значения зеленого цвета в ходе демозаики шаблона байеровского изображения, в соответствии с аспектами настоящего изобретения;

[0088] фиг. 80 демонстрирует различные пиксельные блоки 3×3, к которым может применяться фильтрация для определения интерполированных значений красного и синего в ходе демозаики шаблона байеровского изображения, в соответствии с аспектами настоящего изобретения;

[0089] фиг. 81-84 демонстрируют блок-схемы операций, которые изображают различные процессы для интерполяции значений зеленого, красного и синего цвета в ходе демозаики шаблона байеровского изображения, в соответствии с одним вариантом осуществления;

[0090] фиг. 85 демонстрирует цветной чертеж сцены исходного изображения, которое может захватываться датчиком изображения и обрабатываться в соответствии с аспектами раскрытых здесь методов демозаики;

[0091] фиг. 86 демонстрирует цветной чертеж шаблона байеровского изображения сцены изображения, показанной на фиг. 85;

[0092] фиг. 87 демонстрирует цветной чертеж RGB-изображения, реконструированного с использованием традиционного метода демозаики на основании шаблона байеровского изображения, показанного на фиг. 86;

[0093] фиг. 88 демонстрирует цветной чертеж RGB-изображения, реконструированного из шаблона байеровского изображения, показанного на фиг. 86, в соответствии с аспектами раскрытых здесь методов демозаики;

[0094] фиг. 89 - более детализированный вид, демонстрирующий один вариант осуществления блока обработки RGB, который можно реализовать в логике конвейерной обработки ISP, показанной на фиг. 67, в соответствии с аспектами настоящего раскрытия;

[0095] фиг. 90 - более детализированный вид, демонстрирующий один вариант осуществления блока обработки YCbCr, который можно реализовать в логике конвейерной обработки ISP, показанной на фиг. 67, в соответствии с аспектами настоящего раскрытия;

[0096] фиг. 91 - графическое представление активных областей источника для яркости и цветности, заданных в буфере источника с использованием 1-плоскостного формата, в соответствии с аспектами настоящего раскрытия;

[0097] фиг. 92 - графическое представление активных областей источника для яркости и цветности, заданных в буфере источника с использованием 2-плоскостного формата, в соответствии с аспектами настоящего раскрытия;

[0098] фиг. 93 - блок-схема, иллюстрирующая логику повышения резкости изображения, которую можно реализовать в блоке обработки YCbCr, показанном на фиг. 90, в соответствии с одним вариантом осуществления;

[0099] фиг. 94 - блок-схема, иллюстрирующая логику подчеркивания краев, которую можно реализовать в блоке обработки YCbCr, показанном на фиг. 90, в соответствии с одним вариантом осуществления;

[0100] фиг. 95 - график, демонстрирующий соотношение коэффициентов ослабления цветности со значениями яркости при повышенной резкости, в соответствии с аспектами настоящего раскрытия;

[0101] фиг. 96 - блок-схема, иллюстрирующая логику регулировки яркости, контрастности и цвета (BCC) изображения, которую можно реализовать в блоке обработки YCbCr, показанном на фиг. 90, в соответствии с одним вариантом осуществления; и

[0102] фиг. 97 демонстрирует цветовой круг тона и насыщенности в цветовом пространстве YCbCr, задающий различные углы тона и значения насыщенности, который можно применять в ходе регулировки цвета в логике регулировки BCC, показанной на фиг. 96.

Подробное описание конкретных вариантов осуществления

[0103] Ниже будут описаны один или более конкретных вариантов осуществления настоящего раскрытия. Эти описанные варианты осуществления являются лишь примерами описанного здесь изобретения. Дополнительно, с целью обеспечения краткого описания этих вариантов осуществления, в описании изобретения могут быть описаны не все признаки фактической реализации. Очевидно, что при разработке любой такой фактической реализации, как в любом инженерном или конструкторском проекте, многочисленные решения, зависящие от реализации, должны быть приняты для достижения конкретных целей разработчиков, например, согласования с ограничениями, связанными с системой и предприятием, которые могут изменяться от реализации к реализации. Кроме того, очевидно, что такие конструкторские работы могут быть сложными и занимать много времени, но тем не менее будет рутинным делом проектирования, изготовления и производства для специалистов, изучивших это раскрытие.

[0104] При первичном упоминании элементов различных вариантов осуществления настоящего раскрытия, употребление их названий в единственном числе подразумевает наличие одного или более элементов. Термины “содержащий”, “включающий в себя” и “имеющий” имеют включительный смысл и подразумевают, что могут существовать дополнительные элементы кроме перечисленных элементов. Дополнительно, следует понимать, что ссылки на “один вариант осуществления” или “вариант осуществления” настоящего раскрытия не следует интерпретировать как исключающие наличие дополнительных вариантов осуществления, которые тоже включают в себя упомянутые признаки.

[0105] Как будет рассмотрено ниже, настоящее раскрытие относится, в общем случае, к методам обработки данных изображения, полученных через одно или более устройств считывания изображения. В частности, некоторые аспекты настоящего раскрытия могут относиться к методам обнаружения и коррекции дефектных пикселей, методам демозаики шаблона первичного изображения, методам повышения резкости яркостного изображения с использованием многомасштабной нерезкой маски и методам применения коэффициентов усиления затенения объектива для коррекции неравномерностей затенения объектива. Кроме того, следует понимать, что описанное здесь изобретение можно применять, как к неподвижным изображениям, так и к движущимся изображениям (например, видео), и можно использовать в приложении формирования изображения любого пригодного типа, например цифровой камере, электронном устройстве со встроенной цифровой камерой, системе безопасности или видеонаблюдения, системе медицинского формирования изображения и т.д.

[0106] Имея в виду все вышесказанное, обратимся к фиг. 1, где показана блок-схема, иллюстрирующая пример электронного устройства 10, которое может обеспечивать обработку данных изображения с использованием одного или более методов обработки изображений, кратко упомянутых выше. Электронное устройство 10 может представлять собой электронное устройство любого типа, например, переносной или стационарный компьютер, мобильный телефон, цифровой медиаплеер, и т.п., которое сконфигурировано для приема и обработки данных изображения, например, данных, полученных с использованием одного или более компонентов считывания изображения. Исключительно в порядке примера, электронное устройство 10 может представлять собой портативное электронное устройство, например, модель iPod® или iPhone®, доступную от Apple Inc. Купертино, Калифорния. Дополнительно, электронное устройство 10 может представлять собой переносной или стационарный компьютер, например, модель MacBook®, MacBook® Pro, MacBook Air®, iMac®, Mac® Mini или Mac Pro®, доступную от Apple Inc. В других вариантах осуществления, электронное устройство 10 также может представлять собой модель электронного устройства другого производителя, которое способно получать и обрабатывать данные изображения.

[0107] Следует понимать, что электронное устройство 10, независимо от его формы (например, портативной или непортативной), может обеспечивать обработку данных изображения с использованием одного или более методов обработки изображений, кратко рассмотренных выше, которые могут включать в себя, в том числе, методы коррекции и/или обнаружения дефектных пикселей, методы коррекции затенения объектива, методы демозаики или методы повышения резкости изображения. В некоторых вариантах осуществления, электронное устройство 10 может применять такие методы обработки изображений к данным изображения, хранящимся в памяти электронного устройства 10. В дополнительных вариантах осуществления, электронное устройство 10 может включать в себя одно или более устройств формирования изображения, например, встроенную или внешнюю цифровую камеру, сконфигурированную для получения данных изображения, которые могут затем обрабатываться электронным устройством 10 с использованием одного или более из вышеупомянутых методов обработки изображений. Варианты осуществления, демонстрирующие как портативные, так и непортативные варианты осуществления электронного устройства 10, будут далее рассмотрены ниже на фиг. 3-6.

[0108] Как показано на фиг. 1, электронное устройство 10 может включать в себя различные внутренние и/или внешние компоненты, которые участвуют в функции устройства 10. Специалистам в данной области техники очевидно, что различные функциональные блоки, показанные на фиг. 1, могут содержать аппаратные элементы (включающие в себя схему), программные элементы (включающие в себя компьютерный код, хранящийся на машиночитаемом носителе) или комбинацию аппаратных и программных элементов. Например, в проиллюстрированном здесь варианте осуществления, электронное устройство 10 может включать в себя порты 12 ввода/вывода (I/O), структуры 14 ввода, один или более процессоров 16, запоминающее устройство 18, энергонезависимое хранилище 20, плату(ы) 22 расширения, сетевое устройство 24, источник 26 питания и дисплей 28. Дополнительно, электронное устройство 10 может включать в себя одно или более устройств 30 формирования изображения, например, цифровую камеру и схему 32 обработки изображений. Как будет дополнительно описано ниже, схема 32 обработки изображений может быть сконфигурирована для реализации одного или более из рассмотренных выше методов обработки изображений при обработке данных изображения. Очевидно, что данные изображения, обработанные схемой 32 обработки изображений, можно извлекать из памяти 18 и/или устройства() 20 энергонезависимого хранения, или можно получать с использованием устройства 30 формирования изображения.

[0109] Прежде чем продолжить, следует понять, что системная блок-схема устройства 10, показанного на фиг. 1, призвана быть схемой управления высокого уровня, изображающей различные компоненты, которые могут быть включены в такое устройство 10. Таким образом, соединительные линии между отдельными компонентами, показанными на фиг. 1, не всегда представляют пути или направления переноса или передачи данных между различными компонентами устройства 10. Действительно, как рассмотрено ниже, изображенный(е) процессор(ы) 16 может(ут), в некоторых вариантах осуществления, включать в себя множественные процессоры, например, главный процессор (например, ЦП), и специализированные процессоры изображения и/или видео. В таких вариантах осуществления, обработка данных изображения может, в основном, осуществляться этими специализированными процессорами, таким образом, эффективно снимая такие задания с главного процессора (ЦП).

[0110] В отношении каждого из компонентов, проиллюстрированных на фиг. 1, порты 12 ввода/вывода могут включать в себя порты, сконфигурированные для подключения к различным внешним устройствам, например, источнику питания, устройству вывода аудио (например, головной гарнитуре или наушникам) или другим электронным устройствам (например, карманным устройствам и/или компьютерам, принтерам, проекторам, внешним дисплеям, модемам, док-станциям, и т.д.). В одном варианте осуществления, порты 12 ввода/вывода могут быть сконфигурированы для подключения к внешнему устройству формирования изображения, например цифровой камере, для получения данных изображения, которые можно обрабатывать с использованием схемы 32 обработки изображений. Порты 12 ввода/вывода могут поддерживать любой пригодный тип интерфейса, например, порт универсальной последовательной шины (USB), порт последовательного соединения, порт IEEE-1394 (FireWire), порт Ethernet или модема, и/или порт подключения адаптера питания.

[0111] В некоторых вариантах осуществления, определенные порты 12 ввода/вывода могут быть сконфигурированы для обеспечения более чем одной функции. Например, в одном варианте осуществления, порты 12 ввода/вывода могут включать в себя фирменный порт от Apple Inc., который может функционировать не только для облегчения переноса данных между электронным устройством 10 и внешним источником, но и для подключения устройства 10 к интерфейсу зарядки/питания, например адаптеру питания, предназначенному для подачи мощности от электрической розетки, или интерфейсный кабель, сконфигурированный для отбора мощности от другого электрического устройства, например, переносного или стационарного компьютера, для зарядки источника 26 питания (который может включать в себя один или более акуумуляторов). Таким образом, порт 12 ввода/вывода может быть сконфигурирован для двойного функционирования, как порт переноса данных и как порт подключения адаптера питания в зависимости, например, от того, какой внешний компонент подключен к устройству 10 через порт 12 ввода/вывода.

[0112] Структуры 14 ввода могут обеспечивать процессор(ы) 16 пользовательским вводом или обратной связью. Например, структуры 14 ввода могут быть сконфигурированы для управления одной или более функциями электронного устройства 10, например, приложениями, выполняющимися на электронном устройстве 10. Исключительно в порядке примера, структуры 14 ввода могут включать в себя кнопки, ползунки, переключатели, панели управления, клавиши, ручки, колесики прокрутки, клавиатуры, мыши, сенсорные панели и т.д. или некоторую их комбинацию. В одном варианте осуществления, структуры 14 ввода могут позволять пользователю осуществлять навигацию по графическому пользовательскому интерфейсу (GUI), отображаемому на устройстве 10. Дополнительно, структуры 14 ввода могут включать в себя тактильно-чувствительный механизм, обеспеченный совместно с дисплеем 28. В таких вариантах осуществления, пользователь может выбирать отображаемые элементы интерфейса или взаимодействовать с ними через тактильно-чувствительный механизм.

[0113] Структуры 14 ввода могут включать в себя различные устройства, схемы и каналы для подачи пользовательского ввода или обратной связи на один или более процессоров 16. Такие структуры 14 ввода могут быть сконфигурированы для управления функцией устройства 10, приложений, выполняющихся на устройстве 10, и/или любых интерфейсов или устройств, подключенных к электронному устройству 10 или используемых им. Например, структуры 14 ввода могут позволять пользователю осуществлять навигацию по отображаемому пользовательскому интерфейсу или интерфейсу приложения. Примеры структур 14 ввода могут включать в себя кнопки, ползунки, переключатели, панели управления, клавиши, ручки, колесики прокрутки, клавиатуры, мыши, сенсорные панели и т.д.

[0114] В некоторых вариантах осуществления, структура 14 ввода и устройство 28 отображения могут быть обеспечены совместно, например, в случае “сенсорного экрана”, благодаря чему тактильно-чувствительный механизм обеспечивается совместно с дисплеем 28. В таких вариантах осуществления, пользователь может выбирать отображаемые элементы интерфейса или взаимодействовать с ними через тактильно-чувствительный механизм. Таким образом, отображаемый интерфейс может обеспечивать интерактивные функциональные возможности, позволяющие пользователю осуществлять навигацию по отображаемому интерфейсу, прикасаясь к дисплею 28. Например, взаимодействие пользователя со структурами 14 ввода, например, для взаимодействия с пользовательским интерфейсом или интерфейсом приложения, отображаемым на дисплее 28, может генерировать электрические сигналы, указывающие пользовательский ввод. Эти входные сигналы могут маршрутизироваться через пригодные каналы, например входной концентратор или шину данных, на один или более процессоров 16 для дальнейшей обработки.

[0115] Помимо обработки различных входных сигналов, принятых через структуру(ы) 14 ввода, процессор(ы) 16 может(ут) управлять работой устройства 10 в целом. Например, процессор(ы) 16 может(ут) обеспечивать возможности обработки для выполнения операционной системы, программ, пользовательских интерфейсов и интерфейсов приложений и любых других функций электронного устройства 10. Процессор(ы) 16 может(ут) включать в себя один или более микропроцессоров, например, один или более микропроцессоров “общего назначения”, один или более микропроцессоров специального назначения и/или микропроцессоров для конкретного приложения (ASIC) или комбинацию таких компонентов обработки. Например, процессор(ы) 16 может(ут) включать в себя один или более процессоров с фиксированным набором команд (например, RISC), а также графических процессоров (ГП), видеопроцессоров, аудиопроцессоров и/или соответствующие чипсеты. Очевидно, что, процессор(ы) 16 может(ут) быть подключен(ы) к одной или более шинам данных для переноса данных и инструкций между различными компонентами устройства 10. В некоторых вариантах осуществления, процессор(ы) 16 может(ут) обеспечивать возможности обработки для выполнения приложений формирования изображения на электронном устройстве 10, например, Photo Booth®, Aperture®, iPhoto® или предварительный просмотр®, доступных от Apple Inc., или приложений “Camera” и/или “Photo”, обеспеченных Apple Inc. и доступных на моделях iPhone®.

[0116] Инструкции или данные, подлежащие обработке процессором(ами) 16, могут храниться на машиночитаемом носителе, например запоминающем устройстве 18. Запоминающее устройство 18 может быть обеспечено как энергозависимая память, например оперативная память (ОЗУ), или как энергонезависимая память, например постоянная память (ПЗУ), или как комбинация одного или более устройств ОЗУ и ПЗУ. В памяти 18 может храниться различная информация, и ее можно использовать в различных целях. Например, в памяти 18 могут храниться программно-аппаратное обеспечение для электронного устройства 10, например, базовая система ввода/вывода (BIOS), операционная система, различные программы, приложения или любые другие процедуры, которые могут выполняться на электронном устройстве 10, включающие в себя функции пользовательского интерфейса, функции процессора и т.д. Кроме того, память 18 можно использовать для буферизации или кэширования в ходе эксплуатации электронного устройства 10. Например, в одном варианте осуществления, память 18 включают в себя один или более кадровые буферы для буферизации видеоданных при выводе их на дисплей 28.

[0117] Помимо запоминающего устройства 18, электронное устройство 10 может дополнительно включать в себя энергонезависимое хранилище 20 для постоянного хранения данных и/или инструкций. Энергонезависимое хранилище 20 может включать в себя флэш-память, жесткий диск или любые другие оптические, магнитные и/или твердотельные носители данных, или некоторую их комбинацию. Таким образом, хотя для наглядности на фиг. 1 изображено единичное устройство, следует понимать, что устройство(а) 20 энергонезависимого хранения может(ут) включать в себя комбинацию одного или более из вышеперечисленных запоминающих устройств, действующих совместно с процессором(ами) 16. Энергонезависимое хранилище 20 можно использовать для хранения программно-аппаратного обеспечения, файлов данных, данных изображения, программ и приложений, информации беспроводного соединения, персональной информации, пользовательских предпочтений и любых других пригодных данных. В соответствии с аспектами настоящего раскрытия, данные изображения, хранящиеся в энергонезависимом хранилище 20 и/или запоминающем устройстве 18, могут обрабатываться схемой 32 обработки изображений до вывода на дисплей.

[0118] Вариант осуществления, представленный на фиг. 1, также может включать в себя одно или более гнезд для платы или расширения. Гнезда для платы могут быть сконфигурированы для приема платы 22 расширения, которую можно использовать для добавления функциональных возможностей, например, дополнительной памяти, функциональных возможностей ввода/вывода или сетевых возможностей, в электронное устройство 10. Такая плата 22 расширения может подключаться к устройству через любой тип пригодного разъема, и доступ к ней можно осуществлять внутренне или внешне относительно корпуса электронного устройства 10. Например, в одном варианте осуществления, платой 24 расширения может быть карта флэш-памяти, например, карта SecureDigital (SD), mini- или microSD, плата CompactFlash и т.п., или может быть устройство PCMCIA. Дополнительно, платой 24 расширения может быть карта модуля идентификации абонента (SIM) для использования согласно варианту осуществления электронного устройства 10, который обеспечивает возможности мобильного телефона.

[0119] Электронное устройство 10 также включает в себя сетевое устройство 24, которым может быть сетевой контроллер или карта сетевого интерфейса (NIC), которая может обеспечивать возможность сетевой связи согласно стандарту беспроводной связи 802.11 или любому другому пригодному стандарту сетевой связи, например, локальной сети (LAN), глобальной сети (WAN), например, сети Повышенной скорости передачи данных для эволюции GSM (край), сети передачи данных 3G или интернета. В некоторых вариантах осуществления, сетевое устройство 24 может обеспечивать соединение с онлайновым поставщиком цифрового медиаконтента, например, музыкальным сервисом iTunes®, доступным от Apple Inc.

[0120] Источник 26 питания устройства 10 может включать в себя возможности обеспечения питания устройства 10 как в непортативном, так и в портативном исполнении. Например, в портативном исполнении, устройство 10 может включать в себя одну или более батарей, например, литий-ионную батарею, для обеспечения питания устройства 10. Батарею можно перезаряжать, подключая устройство 10 к внешнему источнику питания, например к электрической розетке. В непортативном исполнении, источник 26 питания может включать в себя блок электропитания (PSU), сконфигурированный для отбора мощности от электрической розетки, и для раздачи мощности на различные компоненты непортативного электронного устройства, например, стационарной вычислительной системы.

[0121] Дисплей 28 можно использовать для отображения различных изображений, генерируемых устройством 10, например GUI для операционной системы, или данных изображения (включающих в себя неподвижные изображения и видеоданные), обработанных схемой 32 обработки изображений, как будет дополнительно описано ниже. Как упомянуто выше, данные изображения могут включать в себя данные изображения, полученные с использованием устройства 30 формирования изображения, или данные изображения, извлеченные из памяти 18 и/или энергонезависимого хранилища 20. Дисплеем 28 может быть любой пригодный тип дисплея, например, жидкокристаллический дисплей (ЖКД), плазменный дисплей, или, например, органо-светодиодный (ОСИД) дисплей. Дополнительно, как рассмотрено выше, дисплей 28 может быть обеспечен совместно с рассмотренным выше тактильно-чувствительным механизмом (например, сенсорным экраном), который может функционировать как часть интерфейса управления для электронного устройства 10.

[0122] Проиллюстрированное(ые) устройство(а) 30 формирования изображения может(ут) быть обеспечено(ы) в виде цифровой камеры, сконфигурированной для получения неподвижных изображений и движущихся изображений (например, видео). Камера 30 может включать в себя объектив и один или более датчиков изображения, сконфигурированных для захвата и преобразования света в электрические сигналы. Исключительно в порядке примера, датчик изображения может включать в себя датчик изображения на основе КМОП (например, датчик с активными пикселями (APS) на основе КМОП) или датчик на основе ПЗС (прибор с зарядовой связью). В общем случае, датчик изображения в камере 30 включает в себя интегральную схему, имеющую матрицу пикселей, в которой каждый пиксель включает в себя фотодетектор, улавливающий свет. Специалистам в данной области техники очевидно, что фотодетекторы в пикселях формирования изображения в общем случае регистрируют интенсивность света, улавливаемого через линзы камеры. Однако фотодетекторы сами по себе в общем случае не способны регистрировать длину волны захваченного света и, таким образом, не способны определять информацию цвета.

[0123] Соответственно, датчик изображения может дополнительно включать в себя матрицу цветовых фильтров (CFA), которая может перекрывать или располагаться поверх пиксельной матрицы датчика изображения для захвата информации цвета. Матрица цветовых фильтров может включать в себя матрицу малых цветовых фильтров, каждый из которых может перекрывать соответствующий пиксель датчика изображения и фильтровать захваченный свет по длине волны. Таким образом, при совместном использовании, матрица цветовых фильтров и фотодетекторы могут обеспечивать информацию длины волны и интенсивности в отношении света, улавливаемого посредством камеры, которая может представлять захваченное изображение.

[0124] В одном варианте осуществления, матрица цветовых фильтров может включать в себя матрицу байеровских цветовых фильтров, которая обеспечивает шаблон фильтра, который на 50% состоит из зеленых элементов, на 25% из красных элементов и на 25% из синих элементов. Например, фиг. 2 демонстрирует, что пиксельный блок 2×2 байеровской CFA включает в себя 2 зеленых элемента (Gr и Gb), 1 красный элемент (R), и 1 синий элемент (B). Таким образом, датчик изображения, который использует матрицу байеровских цветовых фильтров, может обеспечивать информацию, касающуюся интенсивности света, принятого камерой 30 на длинах волны зеленого, красного и синего цветов, благодаря чему, каждый пиксель изображения регистрирует только один из трех цветов (RGB). Эта информация, которая может именоваться “первичными данными изображения” или данными в “первичной области”, может затем обрабатываться с использованием одного или более методов демозаики для преобразования первичных данных изображения в полноцветное изображение, в общем случае, путем интерполяции набора значений красного, зеленого и синего для каждого пикселя. Как будет дополнительно описано ниже, такие методы демозаики могут осуществляться схемой 32 обработки изображений.

[0125] Как упомянуто выше, схема 32 обработки изображений может обеспечивать различные этапы обработки изображений, например, операции обнаружения/коррекции дефектных пикселей, коррекции затенения объектива, демозаики и повышения резкости изображения, шумопонижения, гамма-коррекции, улучшения изображения, преобразования цветового пространства, сжатия изображения, цветовой субдискретизации и масштабирования изображения, и т.д. В некоторых вариантах осуществления, схема 32 обработки изображений может включать в себя различные подкомпоненты и/или дискретные блоки логики, которые совместно образуют “конвейер” обработки изображений для осуществления каждого из различных этапов обработки изображений. Эти подкомпоненты можно реализовать с использованием оборудования (например, процессоров цифрового сигнала или ASIC) или программного обеспечения, или посредством комбинации аппаратных и программных компонентов. Различные операции обработки изображений, которые могут обеспечиваться схемой 32 обработки изображений и, в частности, операции обработки, относящиеся к обнаружению/коррекции дефектных пикселей, коррекции затенения объектива, демозаике и повышению резкости изображения, будут более подробно рассмотрены ниже.

[0126] Прежде чем продолжить, следует отметить, что хотя различные варианты осуществления различных методов обработки изображений, рассмотренных ниже, могут использовать байеровскую CFA, описанное здесь изобретение не подлежит ограничению в связи с этим. Действительно, специалистам в данной области техники очевидно, что обеспеченные здесь методы обработки изображений можно применять к любому пригодному типу матрицы цветовых фильтров, включающих в себя фильтры RGBW, фильтры CYGM и т.д.

[0127] Возвращаясь к электронному устройству 10, фиг. 3-6 иллюстрируют различные формы, которые может принимать электронное устройство 10. Как упомянуто выше, электронное устройство 10 может принимать форму компьютера, включающего в себя компьютеры, которые, в общем случае, являются портативными (например, компьютеры типа лэптоп, ноутбук и планшет), а также компьютеры, которые, в общем случае, являются непортативными (например, стационарные компьютеры, рабочие станции и/или серверы), или другой тип электронного устройства, например карманные портативные электронные устройства (например, цифровой медиаплеер или мобильный телефон). В частности, на фиг. 3 и 4 изображено электронное устройство 10 в форме портативного компьютера 40 и стационарного компьютера 50, соответственно. Фиг. 5 и 6 демонстрируют виды спереди и сзади, соответственно, электронного устройства 10 в форме карманного портативного устройства 60.

[0128] Как показано на фиг. 3, изображенный портативный компьютер 40 включает в себя корпус 42, дисплей 28, порты 12 ввода/вывода и структуры 14 ввода. Структуры 14 ввода могут включать в себя клавиатуру и сенсорную панель с функцией мыши, которые объединены с корпусом 42. Дополнительно, структура 14 ввода может включать в себя различные другие кнопки и/или переключатели, которые можно использовать для взаимодействия с компьютером 40, например, для включения питания или запуска компьютера, для эксплуатации GUI или приложения, выполняющегося на компьютере 40, а также регулировки различных других аспектов, относящихся к работе компьютера 40 (например, громкости звука, яркости дисплея и т.д.). Компьютер 40 также может включать в себя различные порты 12 ввода/вывода, которые обеспечивают возможность подключения к дополнительным устройствам, рассмотренным выше, например, порт FireWire® или USB, порт мультимедийного интерфейса высокой четкости (HDMI), или любой другой тип порта, который пригоден для подключения к внешнему устройству. Дополнительно, компьютер 40 может включать в себя возможность сетевой связи (например, сетевое устройство 26), память (например, память 20), и возможности хранения (например, запоминающее устройство 22), как описано выше со ссылкой на фиг. 1.

[0129] Кроме того, портативный компьютер 40, в проиллюстрированном варианте осуществления, может включать в себя встроенное устройство 30 формирования изображения (например, камеру). В других вариантах осуществления, портативный компьютер 40 может использовать внешнюю камеру (например, внешнюю USB-камеру или “веб-камеру”), подключенную к одному или более из портов 12 ввода/вывода вместо встроенной камеры 30 или совместно с ней. Например, внешней камерой может быть камера iSight®, доступная от Apple Inc. Камера 30, встроенная или внешняя, может обеспечивать захват и запись изображений. Пользователь может просматривать такие изображения с использованием приложения просмотра изображений, или эти изображения могут использовать другие приложения, включающие в себя приложения видеоконференцсвязи, например iChat®, и приложения просмотра/редактирования изображений, например Photo Booth®, Aperture®, iPhoto® или предварительный просмотр®, доступные от Apple Inc. В некоторых вариантах осуществления, изображенный портативный компьютер 40 может представлять собой модель MacBook®, MacBook® Pro, MacBook Air® или PowerBook®, доступную от Apple Inc. Дополнительно, компьютер 40, в одном варианте осуществления, может представлять собой портативное планшетное вычислительное устройство, например модель планшетного компьютера iPad®, также доступного от Apple Inc.

[0130] Фиг. 4 дополнительно иллюстрирует вариант осуществления, в котором электронное устройство 10 обеспечено как стационарный компьютер 50. Очевидно, что стационарный компьютер 50 может включать в себя ряд признаков, которые могут быть, в общем случае, аналогичны тем, которые обеспечены портативным компьютером 40, показанным на фиг. 4, но могут иметь, в общем случае, больший общий формфактор. Как показано, стационарный компьютер 50 может быть заключен в оболочку 42, которая включает в себя дисплей 28, а также различные другие компоненты, рассмотренные выше в отношении блок-схемы, показанной на фиг. 1. Кроме того, стационарный компьютер 50 может включать в себя внешнюю клавиатуру и мышь (структуры 14 ввода), которые могут быть подключены к компьютеру 50 через один или более портов 12 ввода/вывода (например, USB) или может сообщаться с компьютером 50 без помощи проводов (например, РЧ, Bluetooth и т.д.). Стационарный компьютер 50 также включает в себя устройство 30 формирования изображения, которое может представлять собой внутреннюю или внешнюю камеру, как рассмотрено выше. В некоторых вариантах осуществления, изображенный стационарный компьютер 50 может представлять собой модель iMac®, Mac® mini или Mac Pro®, доступную от Apple Inc.

[0131] Как дополнительно показано, дисплей 28 может быть сконфигурирован для генерации различных изображений, которые может просматривать пользователь. Например, в ходе эксплуатации компьютера 50, дисплей 28 может отображать графический пользовательский интерфейс (“GUI”) 52, который позволяет пользователю взаимодействовать с операционной системой и/или приложением, выполняющимся на компьютере 50. GUI 52 может включать в себя различные слои, окна, экраны, шаблоны или другие графические элементы, которые могут отображаться на всем, или участке, устройства 28 отображения. Например, в представленном варианте осуществления, GUI 52 операционной системы может включать в себя различные графические пиктограммы 54, каждая из которых может соответствовать различным приложениям, которые могут открываться или выполняться по обнаружении выбора пользователя (например, посредством ввода с помощью клавиатуры/мыши или сенсорного экрана). Пиктограммы 54 могут отображаться в док-панели 56 или в одном или более графических оконных элементах 58, отображаемых на экране. В некоторых вариантах осуществления, выбор пиктограммы 54 может приводить к иерархическому навигационному процессу, благодаря чему выбор пиктограммы 54 приводит к экрану или открывает другое графическое окно, которое включает в себя одно или более дополнительных пиктограмм или других элементов GUI. Исключительно в порядке примера, GUI 52 операционной системы, отображаемый на фиг. 4, может формировать версию операционной системы Mac OS®, доступной от Apple Inc.

[0132] На фиг. 5 и 6 электронное устройство 10 дополнительно проиллюстрировано в форме портативного карманного электронного устройства 60, которое может представлять собой модель iPod® или iPhone®, доступную от Apple Inc. В представленном варианте осуществления, карманное устройство 60 включает в себя оболочку 42, которая может функционировать для защиты внутренних компонентов от физического повреждения и для их экранирования от электромагнитной помехи. Оболочку 42 можно сформировать из любого пригодного материала или комбинации материалов, например, пластика, металла или композитного материала, и могут позволять некоторым частотам электромагнитного излучения, например сигналам беспроводной сети, проникать к схеме беспроводной связи (например, сетевому устройству 24), которая может располагаться в оболочке 42, как показано на фиг. 5.

[0133] Оболочка 42 также включает в себя различные структуры 14 пользовательского ввода, посредством которых пользователь может взаимодействовать с карманным устройством 60. Например, такая структура 14 ввода может быть сконфигурирована для управления одной или более функциями соответствующего устройства при нажатии или активации. В порядке примера, одна или более структур 14 ввода могут быть сконфигурированы для вызова “главного” экрана 42 или меню, подлежащего отображению, для переключения между режимами сна, пробуждения или включения/отключения питания, для отключения звонка для приложения сотового телефона, для увеличения или уменьшения уровня громкости и т.д. Следует понимать, что проиллюстрированные структуры 14 ввода являются всего лишь примерными, и что карманное устройство 60 может включать в себя любое количество пригодных структур пользовательского ввода, существующих в различных формах, включающих в себя кнопки, переключатели, клавиши, ручки, колесики прокрутки и т.д.

[0134] Как показано на фиг. 5, карманное устройство 60 может включать в себя различные порты 12 ввода/вывода. Например, изображенные порты 12 ввода/вывода могут включать в себя фирменный соединительный порт 12a для передачи и приема файлов данных или для зарядки источника 26 питания и соединительный порт 12b аудио для подключения устройства 60 к устройству вывода аудио (например, наушникам или громкоговорителям). Кроме того, в вариантах осуществления, где карманное устройство 60 обеспечивает функциональные возможности мобильного телефона, устройство 60 может включать в себя порт 12c ввода/вывода для приема карты модуля идентификации абонента (SIM) (например, платы 22 расширения).

[0135] Устройство 28 отображения, которое может представлять собой ЖКД, ОСИД или любой пригодный тип дисплея, может отображать различные изображения, генерируемые карманным устройством 60. Например, дисплей 28 может отображать различные системные индикаторы 64, обеспечивающие обратную связь с пользователем в отношении одного или более состояний карманного устройства 60, например, состояния питания, интенсивности сигнала, соединений внешнего устройства и т.д. Дисплей также может отображать GUI 52, который позволяет пользователю взаимодействовать с устройством 60, как рассмотрено выше со ссылкой на фиг. 4. GUI 52 может включать в себя графические элементы, например пиктограммы 54, которые могут соответствовать различным приложениям, которые могут открываться или выполняться по обнаружении выбора пользователем соответствующей пиктограммы 54. В порядке примера, одна из пиктограмм 54 может представлять приложение 66 камеры, которое можно использовать совместно с камерой 30 (показанной пунктирными линиями на фиг. 5) для получения изображений. Кратко обратившись к фиг. 6, проиллюстрирован вид сзади карманного электронного устройства 60, изображенного на фиг. 5, который демонстрирует камеру 30, встроенную в корпус 42 и расположенную на тыльной стороне карманного устройства 60.

[0136] Как упомянуто выше, данные изображения, полученные с использованием камеры 30 можно обрабатывать с использованием схемы 32 обработки изображений, которая может включать в себя оборудование (например, расположенное в оболочке 42) и/или программное обеспечение, хранящееся на одном или более запоминающих устройствах (например, память 18 или энергонезависимое хранилище 20) устройства 60. Изображения, полученные с использованием приложения 66 камеры и камеры 30, могут храниться на устройстве 60 (например, в запоминающем устройстве 20) и могут просматриваться в более позднее время с использованием приложения 68 просмотра фотографий.

[0137] Карманное устройство 60 также может включать в себя различные элементы ввода и вывода аудио. Например, элементы ввода/вывода аудио, указанные, в общем случае, ссылочной позицией 70, могут включать в себя приемник ввода, например один или более микрофонов. Например, когда карманное устройство 60 включает в себя функциональные возможности сотового телефона, приемники ввода могут быть сконфигурированы для приема пользовательского ввода аудио, например голоса пользователя. Дополнительно, элементы 70 ввода/вывода аудио могут включать в себя один или более передатчиков вывода. Такие передатчики вывода могут включать в себя один или более громкоговорителей, которые могут функционировать для передачи аудиосигналов пользователю, например при воспроизведении музыкальных данных с использованием приложения 72 медиаплеера. Кроме того, в вариантах осуществления, где карманное устройство 60 включает в себя приложение сотового телефона, может быть обеспечен дополнительный передатчик 74 вывода аудио, как показано на фиг. 5. Наподобие передатчиков вывода элементов 70 ввода/вывода аудио, передатчик 74 вывода также может включать в себя один или более громкоговорителей, сконфигурированных для передачи аудиосигналов пользователю, например голосовых данных, принятых в ходе телефонного вывода. Таким образом, элементы 70 и 74 ввода/вывода аудио могут действовать совместно с такой функцией, как элементы приема и передачи аудио телефона.

[0138] Предоставив некоторый контекст в отношении различных форм, которые может принимать электронное устройство 10, сосредоточимся на схеме 32 обработки изображений, изображенной на фиг. 1. Как упомянуто выше, схема 32 обработки изображений может быть реализована с использованием аппаратных и/или программных компонентов и может включать в себя различные блоки обработки, которые образуют конвейер обработки сигнала изображения (ISP). В частности, можно рассмотреть аспекты методов обработки изображений, изложенных в настоящем раскрытии, в частности, относящиеся к методам обнаружения/коррекции дефектных пикселей, методам коррекции затенения объектива, методам демозаики и методам повышения резкости изображения.

[0139] На фиг. 7 проиллюстрирована упрощенная блок-схема высокого уровня, изображающая несколько функциональных компонентов, которые можно реализовать как часть схемы 32 обработки изображений, в соответствии с одним вариантом осуществления описанного здесь изобретения. В частности, фиг. 7 призвана иллюстрировать как данные изображения могут течь через схему 32 обработки изображений, в соответствии с, по меньшей мере, одним вариантом осуществления. Для обеспечения общего обзора схемы 32 обработки изображений, здесь обеспечено общее описание действия этих функциональных компонентов для обработки данных изображения со ссылкой на фиг. 7, хотя более конкретное описание каждого из проиллюстрированных функциональных компонентов, а также их соответствующих подкомпонентов, будет дополнительно обеспечено ниже.

[0140] Согласно проиллюстрированному варианту осуществления, схема 32 обработки изображений может включать в себя логику 80 предварительной обработки предварительной обработки для обработки сигнала изображения (ISP), логику 82 конвейерной обработки ISP и управляющую логику 84. Данные изображения, захваченные устройством 30 формирования изображения, могут сначала обрабатываться логикой 80 предварительной обработки ISP и анализироваться для захвата статистики изображения, которую можно использовать для определения одного или более параметров управления для логики 82 конвейера ISP и/или устройства 30 формирования изображения. Логика 80 предварительной обработки ISP может быть сконфигурирована для захвата данных изображения из входного сигнала датчика изображения. Например, как показано на фиг. 7, устройство 30 формирования изображения может включать в себя камеру, имеющую одну или более линз 88 и датчик(и) 90 изображения. Как рассмотрено выше, датчик(и) 90 изображения может(ут) включать в себя матрицу цветовых фильтров (например, байеровский фильтр) и, таким образом, обеспечивать информацию интенсивности и длины волны света, улавливаемого каждым пикселем формирования изображения датчиков 90 изображения для обеспечения набора первичных данных изображения, которые могут обрабатываться логикой 80 предварительной обработки ISP. Например, выходной сигнал 92 устройства 30 формирования изображения может приниматься интерфейсом 94 датчика, который затем может передавать первичные данные 96 изображения логике 80 предварительной обработки ISP на основании, например, типа интерфейса датчика. В порядке примера, интерфейс 94 датчика может использовать интерфейс стандартной архитектуры формирования изображения для мобильных устройств (SMIA) или другие последовательные или параллельные интерфейсы камеры или некоторую их комбинацию. В некоторых вариантах осуществления, логика 80 предварительной обработки ISP может действовать в своей собственной области тактового сигнала и может обеспечивать асинхронный интерфейс к интерфейсу 94 датчика для поддержки датчиков изображения разных размеров и требований к тактированию.

[0141] Первичные данные 96 изображения могут передаваться логике 80 предварительной обработки ISP и обрабатываться на попиксельной основе в нескольких форматах. Например, каждый пиксель изображения может иметь битовую глубину 8, 10, 12 или 14 битов. Логика 80 предварительной обработки ISP может осуществлять одну или более операций обработки изображений на первичных данных 96 изображения, а также собирать статистику по данным 96 изображения. Операции обработки изображений, а также сбора статистических данных, могут осуществляться при одном и том же или при разных значениях точности по битовой глубине. Например, в одном варианте осуществления, обработка первичных пиксельных данных 96 изображения может осуществляться с 14-битовой точностью. В таких вариантах осуществления, первичные пиксельные данные, принятые логикой 80 предварительной обработки ISP, которые имеют битовую глубину менее 14 битов (например, 8 битов, 10 битов, 12 битов), могут подвергаться повышающей дискретизации до 14 битов в целях обработки изображений. В другом варианте осуществления, статистическая обработка может происходить с точностью 8 битов и, таким образом, первичные пиксельные данные, имеющие более высокую битовую глубину, могут подвергаться понижающей дискретизации до 8-битового формата в целях статистики. Очевидно, что понижающая дискретизация до 8 битов может уменьшать размер (например, площадь) оборудования и также снижать сложность обработки/вычислений для статистических данных. Дополнительно, первичные данные изображения можно подвергать пространственному усреднению, чтобы статистические данные были более устойчивы к шуму.

[0142] Кроме того, как показано на фиг. 7, логика 80 предварительной обработки ISP также может принимать пиксельные данные из памяти 108. Например, как указано ссылочной позицией 98, первичные пиксельные данные могут отправляться в память 108 из интерфейса 94 датчика. Первичные пиксельные данные, присутствующие в памяти 108, могут затем поступать на логику 80 предварительной обработки ISP для обработки, что указано ссылочной позицией 100. Память 108 может входить в состав запоминающего устройства 18, запоминающего устройства 20 или может быть отдельной специализированной памятью в электронном устройстве 10 и может включать в себя признаки прямого доступа к памяти (DMA). Кроме того, в некоторых вариантах осуществления, логика 80 предварительной обработки ISP может действовать в своей собственной области тактового сигнала и обеспечивать асинхронный интерфейс к интерфейсу 94 датчика для поддержки датчики разных размеров и имеющих разные требования к тактированию.

[0143] Приняв первичные данные 96 изображения (от интерфейса 94 датчика) или 100 (из памяти 108), логика 80 предварительной обработки ISP может осуществлять одну или более операций обработки изображений, например, временную фильтрацию и/или фильтрацию с компенсацией биннинга. Обработанные данные изображения могут затем передаваться логике 82 конвейера ISP (выходной сигнал 109) для дополнительной обработки до отображения (например, на устройстве 28 отображения) или могут отправляться в память (выходной сигнал 110). Логика 82 конвейера ISP принимает “предварительно” обработанные данные, либо непосредственно от логики 80 предварительной обработки ISP, либо из памяти 108 (входной сигнал 112) и может обеспечивать для дополнительной обработки данных изображения в первичной области, а также в цветовых пространствах RGB и YCbCr. Данные изображения, обработанные логикой 82 конвейера ISP, могут затем выводиться (сигнал 114) на дисплей 28 для просмотра пользователем и/или могут дополнительно обрабатываться машиной графики или ГП. Дополнительно, выходной сигнал логики 82 конвейера ISP может отправляться в память 108 (сигнал 115), и дисплей 28 может считывать данные изображения из памяти 108 (сигнал 116), которая, в некоторых вариантах осуществления, может быть сконфигурирована для реализации одного или более кадровых буферов. Кроме того, в некоторых реализациях, выходной сигнал логики 82 конвейера ISP также могут поступать на машину 118 сжатия/декомпресии (сигнал 117) для кодирования/декодирования данных изображения. Кодированные данные изображения могут сохраняться и затем подвергаться декомпресии до отображения на устройстве 28 отображения (сигнал 119). В порядке примера, машина сжатия или “кодер” 118 может представлять собой машину сжатия JPEG для кодирования неподвижных изображений или машину сжатия H.264 для кодирования видеоизображений или некоторую их комбинацию, а также соответствующую машину декомпресии для декодирования данных изображения. Дополнительная информация в отношении операций обработки изображений, которые могут обеспечиваться в логике 82 конвейера ISP, будут более подробно рассмотрены ниже в отношении фиг. 67-97. Также следует отметить, что логика 82 конвейера ISP также может принимать первичные данные изображения из памяти 108, изображенные в виде входного сигнала 112.

[0144] Статистические данные 102, определяемые логикой 80 предварительной обработки ISP, могут передаваться блоку 84 управляющей логики. Статистические данные 102 могут включать в себя, например, статистику датчика изображения, относящуюся к автоматической установке экспозиции, автоматическому балансу белого, автофокусировке, обнаружению мерцания, компенсации уровня черного (BLC), коррекции затенения объектива и т.д. Управляющая логика 84 может включать в себя процессор и/или микроконтроллер, сконфигурированный для выполнения одной или более процедур (например, программно-аппаратного обеспечения), которые могут быть сконфигурированы для определения, на основании принятых статистических данных 102, параметров 104 управления для устройства 30 формирования изображения, а также параметров 106 управления для логики 82 конвейерной обработки ISP. Исключительно в порядке примера, параметры 104 управления могут включать в себя параметры управления датчиком (например, коэффициенты усиления, время интегрирования для управления экспозицией), параметры управления вспышкой камеры, параметры управления объективом (например, фокусное расстояние для фокусировки или трансфокации), или комбинацию таких параметров. Параметры 106 управления ISP могут включать в себя уровни усиления и коэффициенты матрицы цветовой коррекции (CCM) для автоматического баланса белого и регулировки цвета (например, при обработке RGB), а также параметры коррекции затенения объектива, которые, как рассмотрено ниже, можно определить на основании параметров баланса белого по точкам. В некоторых вариантах осуществления, управляющая логика 84 может, помимо анализа статистических данных 102, также анализировать историческую статистику, которая может храниться на электронном устройстве 10 (например, в памяти 18 или хранилище 20).

[0145] По причине, в общем случае, сложной показанной здесь конструкции схемы 32 обработки изображений, может быть выгодно раздельно рассматривать логику 80 предварительной обработки ISP и логику 82 конвейерной обработки ISP в разных разделах, как показано ниже. В частности, фиг. 8-66 настоящей заявки могут относиться к рассмотрению различных вариантов осуществления и аспектов логики 80 предварительной обработки ISP, тогда как фиг. 67-97 настоящей заявки могут относиться к рассмотрению различных вариантов осуществления и аспектов логики 82 конвейерной обработки ISP.

Логика предварительной обработки ISP

[0146] На фиг. 8 показана более детализированная блок-схема, демонстрирующая функциональные логические блоки, которые можно реализовать в логике 80 предварительной обработки ISP, в соответствии с одним вариантом осуществления. В зависимости от конфигурации устройства 30 формирования изображения и/или интерфейса 94 датчика, как рассмотрено выше на фиг. 7, первичные данные изображения могут передаваться логике 80 предварительной обработки ISP одним или более датчиками 90 изображения. В представленном варианте осуществления, первичные данные изображения могут передаваться логике 80 предварительной обработки ISP первым датчиком 90a изображения (Sensor0) и вторым датчиком 90b изображения (Sensor1). Как будет дополнительно описано ниже, каждый датчик 90a и 90b изображения может быть сконфигурирован для применения биннинга к данным изображения с полным разрешением для повышения отношения сигнал/шум сигнала изображения. Например, можно применять метод биннинга, например биннинг 2×2, который может интерполировать “подвергнутый биннингу” первичный пиксель изображения на основании четырех пикселей изображения с полным разрешением одного и того же цвета. В одном варианте осуществления, это может приводить к тому, что четыре накопленных компоненты сигнала, связанные с подвергнутым биннингу пикселем, соответствуют одной шумовой компоненте, что повышает отношение сигнал-шум данных изображения, но снижает общее разрешение. Дополнительно, биннинг также может приводить к неравномерной или неоднородной пространственной дискретизации данных изображения, которую можно корректировать с использованием фильтрации с компенсацией биннинга, которая будет более подробно рассмотрена ниже.

[0147] Как показано, датчики 90a и 90b изображения могут обеспечивать первичные данные изображения как сигналы Sif0 и Sif1, соответственно. Каждый из датчиков 90a и 90b изображения, в общем случае, может быть связан с соответствующими блоками 120 (StatsPipe0) и 122 (StatsPipe1) статистической обработки, которые могут быть сконфигурированы для обработки данных изображения для определения одного или более наборов статистики (указанных сигналами Stats0 и Stats1), включающих в себя статистику, относящуюся к автоматической установке экспозиции, автоматическому балансу белого, автофокусировке, обнаружению мерцания, компенсации уровня черного и коррекции затенения объектива и т.д. В некоторых вариантах осуществления, когда только один из датчиков 90a или 90b активно получает изображение, данные изображения могут отправляться на оба StatsPipe0 и StatsPipe1, если нужна дополнительная статистика. Например, для обеспечения одного примера, если оба StatsPipe0 и StatsPipe1 доступны, StatsPipe0 можно использовать для сбора статистики для одного цветового пространства (например, RGB), и StatsPipe1 можно использовать для сбора статистики для другого цветового пространства (например, YUV или YCbCr). Таким образом, блоки 120 и 122 статистической обработки могут действовать параллельно для сбора множественных наборов статистики для каждого кадра данных изображения, полученного активным датчиком.

[0148] В настоящем варианте осуществления, пять асинхронных источников данных обеспечено в устройстве 80 предварительной обработки ISP. Они включают в себя: (1) прямой ввод из интерфейса датчика, соответствующего Sensor0 (90a) (именуемый Sif0 или Sens0), (2) прямой ввод из интерфейса датчика, соответствующего Sensor1 (90b) (именуемый Sif1 или Sens1), (3) ввод данных Sensor0 из памяти 108 (именуемый SifIn0 или Sens0DMA), который может включать в себя интерфейс DMA, (4) ввод данных Sensor1 из памяти 108 (именуемый SifIn1 или Sens1DMA), и (5) набор данных изображения с кадрами из ввода данных Sensor0 и Sensor1, извлеченными из памяти 108 (именуемый FeProcIn или ProcInDMA). Устройство 80 предварительной обработки ISP также может включать в себя множественные пункты назначения, куда могут маршрутизироваться данные изображения из источников, причем каждый пункт назначения может представлять собой, либо ячейку хранения в памяти (например, в 108), либо блок обработки. Например, в настоящем варианте осуществления, устройство 80 предварительной обработки ISP включает в себя шесть пунктов назначения: (1) Sif0DMA для приема данных Sensor0 в памяти 108, (2) Sif1DMA для приема данных Sensor1 в памяти 108, (3) первый блок 120 статистической обработки (StatsPipe0), (4) второй блок 122 статистической обработки (StatsPipe1), (5) блок 130 предварительной обработки пикселей (FEProc), и (6) FeOut (или FEProcOut) в память 108 или конвейер 82 ISP (более подробно рассмотренный ниже). В одном варианте осуществления, устройство 80 предварительной обработки ISP может быть сконфигурировано таким образом, что только некоторые пункты назначения действительны для конкретного источника, как показано в нижеприведенной таблице 1.

Таблица 1
Пример действительных пунктов назначения устройства предварительной обработки ISP для каждого источника   SIf0
DMA SIf1
DMA StatsPipe0 StatsPipe1 FEProc FEOut Sens0 X   X X X X Sens1   X X X X X Sens0DMA     X       Sens1DMA       X     ProcInDMA         X X

[0149] Например, в соответствии с таблицей 1, источник Sens0 (интерфейс датчика Sensor0) может быть сконфигурирован для передачи данных в пункты назначения SIf0DMA (сигнал 134), StatsPipe0 (сигнал 136), StatsPipe1 (сигнал 138), FEProc (сигнал 140) или FEOut (сигнал 142). В отношении FEOut, данные источника, в ряде случаев, могут поступать FEOut для обхода обработки пикселей посредством FEProc, например в целях отладки или тестирования. Дополнительно, источник Sens1 (интерфейс датчика Sensor1) может быть сконфигурирован для передачи данных в пункты назначения SIf1DMA (сигнал 144), StatsPipe0 (сигнал 146), StatsPipe1 (сигнал 148), FEProc (сигнал 150) или FEOut (сигнал 152), источник Sens0DMA (данные Sensor0 из памяти 108) может быть сконфигурирован для передачи данных на StatsPipe0 (сигнал 154), источник Sens1DMA (данные Sensor1 из памяти 108) может быть сконфигурирован для передачи данных на StatsPipe1 (сигнал 156), и ProcInDMA источника (данные Sensor0 и Sensor1 из памяти 108) может быть сконфигурирован для передачи данных на FEProc (сигнал 158) и FEOut (сигнал 160).

[0150] Следует отметить, что проиллюстрированный здесь вариант осуществления сконфигурирован таким образом, что Sens0DMA (кадры Sensor0 из памяти 108) и Sens1DMA (кадры Sensor1 из памяти 108) поступают только на StatsPipe0 и StatesPipe1, соответственно. Эта конфигурация позволяет устройству 80 предварительной обработки ISP сохранять некоторое количество предыдущих кадров (например, 5 кадров) в памяти. Например, вследствие задержки или отставания между моментом, когда пользователь инициирует событие захвата (например, переход системы формирования изображения из режима предварительного просмотра в режим захвата или записи, или даже просто включение или инициализация датчика изображения) с использованием датчика изображения и моментом захвата сцены изображения, не каждый кадр, который пользователь намеревался захватить, может захватываться и обрабатываться, по существу, в реальном времени. Таким образом, благодаря сохранению некоторого количества предыдущих кадров в памяти 108 (например, из фазы предварительного просмотра), эти предыдущие кадры можно обрабатывать позже или совместно с кадрами, фактически захваченными в ответ на событие захвата, таким образом, компенсируя любое такое отставание и обеспечивая более полный массив данных изображения.

[0151] В отношении конфигурации, проиллюстрированной на фиг. 8, следует отметить, что StatsPipe0 120 сконфигурирован для приема одного из вводов 136 (от Sens0), 146 (от Sens1) и 154 (от Sens0DMA), определяемых логикой 124 выбора, например мультиплексором. Аналогично, логика 126 выбора может выбирать ввод из сигналов 138, 156 и 148 для подачи на StatsPipe1, и логика 132 выбора может выбирать ввод из сигналов 140, 150 и 158 для подачи на FEProc. Как упомянуто выше, статистические данные (Stats0 и Stats1) могут передаваться управляющей логике 84 для определения различных параметров управления, которые можно использовать для эксплуатации устройства 30 формирования изображения и/или логики 82 конвейерной обработки ISP. Очевидно, что логические блоки (120, 122 и 132) выбора, показанные на фиг. 8, могут быть обеспечены любым пригодным типом логики, например мультиплексором, который выбирает один из множественных входных сигналов в ответ на сигнал управления.

[0152] Блок 130 обработки пикселей (FEProc) может быть сконфигурирован для осуществления различных операций обработки изображений на первичных данных изображения на попиксельной основе. Как показано, FEProc 130 в качестве блока обработки назначения может принимать данные изображения из источников Sens0 (сигнал 140), Sens1 (сигнал 150) или ProcInDMA (сигнал 158) посредством логики 132 выбора. FEProc 130 также может принимать и выводить различные сигналы (например, Rin, Hin, Hout и Yout, которые могут представлять историю движения и данные яркости, используемые в ходе временной фильтрации) при осуществлении операций обработки пикселей, которые могут включать в себя временную фильтрацию и фильтрацию с компенсацией биннинга, которая будет дополнительно описана ниже. Выходной сигнал 109 (FEProcOut) блока 130 обработки пикселей затем может перенаправляться на логику 82 конвейера ISP, например, через одну или более очередей «первым вошел, первым вышел» (FIFO), или может отправляться в память 108.

[0153] Кроме того, как показано на фиг. 8, логика 132 выбора, помимо приема сигналов 140, 150 и 158, может дополнительно принимать сигналы 159 и 161. Сигнал 159 может быть представлен “предварительно обработанными” первичными данными изображения из StatsPipe0, и сигнал 161 может представлять “предварительно обработанные” первичные данные изображения из StatsPipe1. Как будет рассмотрено ниже, каждый из блоков статистической обработки может применять одну или более операций предварительной обработки к первичным данным изображения до сбора статистики. В одном варианте осуществления, каждый из блоков статистической обработки может осуществлять степень обнаружения/коррекции дефектных пикселей, коррекции затенения объектива, компенсации уровня черного и обратной компенсации уровня черного. Таким образом, сигналы 159 и 161 могут представлять первичные данные изображения, обработанные с использованием вышеупомянутых операций предварительной обработки (что будет более подробно рассмотрено ниже на фиг. 37). Таким образом, логика 132 выбора придает логике 80 предварительной обработки ISP гибкость в обеспечении, либо первичных данных изображения, не прошедшие предварительной обработки, из Sensor0 (сигнал 140) и Sensor1 (сигнал 150), либо предварительно обработанных первичных данных изображения из StatsPipe0 (сигнал 159) и StatsPipe1 (сигнал 161). Дополнительно, как указано логическими блоками 162 и 163 выбора, логика 80 предварительной обработки ISP также обладает гибкостью, либо в записи первичных данных изображения, не прошедших предварительной обработки, из Sensor0 (сигнал 134) или Sensor1 (сигнал 144) в память 108, либо в записи предварительно обработанных первичных данных изображения из StatsPipe0 (сигнал 159) или StatsPipe1 (сигнал 161) в память 108.

[0154] Для управления работой логики 80 предварительной обработки ISP, обеспечен блок 164 управления предварительной обработкой. Блок 164 управления может быть сконфигурирован для инициализации и программирования регистров управления (именуемых здесь “стартовые регистры”) для конфигурирования и запуска обработки кадра изображения и для выбора надлежащего(их) банка(их) регистров для обновления дважды буферизованных регистров данных. В некоторых вариантах осуществления, блок 164 управления также может обеспечивать логику контроля производительности для регистрации периодов тактового сигнала, времени ожидания при обращении к памяти и информации качества обслуживания (QOS). Кроме того, блок 164 управления также может управлять динамическим стробированием тактового сигнала, которое можно использовать для отключения подачи тактового сигнала на один или более участков устройства 0 предварительной обработки ISP в отсутствие достаточного объема данных во входной очереди из активного датчика.

[0155] Использование вышеупомянутых “стартовых регистров” позволяет блоку 164 управления управлять обновлением различных параметров для каждого из блоков обработки (например, StatsPipe0, StatsPipe1 и FEProc) и взаимодействовать с интерфейсами датчиков для управления запуском и остановкой блоков обработки. В общем случае каждый из блоков предварительной обработки действует на покадровой основе. Как рассмотрено выше (таблица 1), ввод в блоки обработки может осуществляться из интерфейса датчика (Sens0 или Sens1) или из памяти 108. Кроме того, блоки обработки могут использовать различные параметры и данные конфигурации, которые могут храниться в соответствующих регистрах данных. В одном варианте осуществления, регистры данных, связанные с каждым блоком обработки или пунктом назначения, могут группироваться в блоки, образующие группу банков регистров. Согласно варианту осуществления, показанному на фиг. 8, в устройстве предварительной обработки ISP можно задать семь групп банков регистров: SIf0, SIf1, StatsPipe0, StatsPipe1, ProcPipe, FEOut и ProcIn. Адресное пространство каждого блока регистров дублируется для обеспечения двух банков регистров. Во втором банке представлены только дважды буферизованные регистры. Если регистр не является дважды буферизованным, адрес во втором банке может отображаться в адрес того же регистра в первом банке.

[0156] Для дважды буферизованных регистров, регистры из одного банка активны и используются блоками обработки, тогда как регистры из другого банка являются теневыми. Теневой регистр может обновляться блоком 164 управления в течение текущего кадрового интервала, в то время как оборудование использует активные регистры. Определение, какой банк использовать для конкретного блока обработки в конкретном кадре, может задаваться полем “NextBk” (следующий банк) в стартовом регистре, соответствующем источнику, откуда данные изображения поступают на блок обработки. По существу, NextBk является полем, которое позволяет блоку 164 управления решать, какой банк регистров становится активным по событию запуска для последующего кадра.

[0157] Прежде чем перейти к подробному рассмотрению работы стартовых регистров, рассмотрим представленный на фиг. 9 общий способ 166 обработки данных изображения на покадровой основе в соответствии с настоящим изобретением. Начиная с этапа 168, блоки обработки назначения, указанные источником данных (например, Sens0, Sens1, Sens0DMA, Sens1DMA или ProcInDMA), входят в неактивное состояние. Это может свидетельствовать о том, что обработка для текущего кадра завершена, и, таким образом, блок 164 управления может готовиться к обработке следующего кадра. Например, на этапе 170, программируемые параметры для каждого блока обработки назначения обновляются. Этот этап может включать в себя, например, обновление поля NextBk в стартовом регистре, соответствующем источнику, а также обновление любых параметров в регистрах данных, соответствующих блокам назначения. После этого, на этапе 172, событие запуска может переводить блоки назначения в рабочее состояние. Кроме того, как показано на этапе 174, каждый блок назначения, указанный источником, заканчивает свои операции обработки для текущего кадра, и затем способ 166 может вернуться к этапу 168 для обработки следующего кадра.

[0158] На фиг. 10 изображена блок-схема, демонстрирующая два банка регистров 176 и 178 данных, которые могут использоваться различными блоками назначения устройства предварительной обработки ISP. Например, банк 0 (176) может включать в себя регистры 1-n (176a-176d) данных, и банк 1 (178) может включать в себя регистры 1-n (178a-178d) данных. Как рассмотрено выше, вариант осуществления, показанный на фиг. 8, может использовать банк регистров (банк 0), имеющий семь групп банков регистров (например, SIf0, SIf1, StatsPipe0, StatsPipe1, ProcPipe, FEOut и ProcIn). Таким образом, в таком варианте осуществления, адресное пространство блока регистров каждого регистра дублируется для обеспечения второго банка регистров (банк 1).

[0159] Фиг. 10 также иллюстрирует стартовый регистр 180, который может соответствовать одному из источников. Как показано, стартовый регистр 180 включает в себя поле 182 “NextVld” и вышеупомянутое поле 184 “NextBk”. Эти поля можно программировать до запуска обработки текущего кадра. В частности, NextVld может указывать пункт(ы) назначения, куда должны направляться данные из источника. Как рассмотрено выше, NextBk может выбирать соответствующий регистр данных из Bank0 или Bank1 для каждого указанного пункта назначения, который указан в NextVld. Хотя это не показано на фиг. 10, стартовый регистр 180 также может включать в себя бит готовности, именуемый здесь “стартовый бит”, который может быть задан для приведения в готовность стартового регистра. При обнаружении события 192 запуска для текущего кадра, NextVld и NextBk могут копироваться в поле 188 CurrVld и поле 190 CurrBk соответствующего текущего или “активного” регистра 186. В одном варианте осуществления, текущий(е) регистр(ы) 186 могут быть регистрами только для чтения которые могут устанавливаться оборудованием, оставаясь недоступными для команд программного обеспечения в устройстве 80 предварительной обработки ISP.

[0160] Очевидно, что, для каждого источника предварительной обработки ISP можно обеспечить соответствующий стартовый регистр. В целях этого раскрытия, стартовые регистры, соответствующие рассмотренным выше источникам Sens0, Sens1, Sens0DMA, Sens1DMA, и ProcInDMA, могут именоваться Sens0Go, Sens1Go, Sens0DMAGo, Sens1DMAGo и ProcInDMAGo, соответственно. Как упомянуто выше, блок управления может использовать стартовые регистры для управления установлением последовательности обработки кадров в устройстве 80 предварительной обработки ISP. Каждый стартовый регистр содержит поле NextVld и поле NextBk для указания, какие пункты назначения будут действительными, и какой банк регистров (0 или 1) будет использоваться, соответственно, для следующего кадра. Когда происходит событие 192 запуска следующего кадра, поля NextVld и NextBk копируются в соответствующий активный регистр 186 только для чтения, который указывает текущие действительные пункты назначения и номера банков, как показано выше на фиг. 10. Каждый источник может быть сконфигурирован для асинхронного действия и может отправлять данные в любой из своих действительных пунктов назначения. Кроме того, следует понимать, что для каждого пункта назначения, в общем случае только один источник может быть активным в текущем кадре.

[0161] В отношении приведения в готовность и запуска стартового регистра 180, объявление бита готовности или “стартового бита” в стартовом регистре 180 приводит в готовность соответствующий источник с помощью соответствующих полей NextVld и NextBk. Для запуска доступны различные режимы в зависимости от того, считываются ли входные данные источника из памяти (например, Sens0DMA, Sens1DMA или ProcInDMA), или входные данные источника поступают из интерфейса датчика (например, Sens0 или Sens1). Например, если ввод осуществляется из памяти 108, само по себе приведение в готовность стартового бита может служить событием запуска, поскольку блок 164 управления получает управление, когда данные считываются из памяти 108. Если кадры изображения вводятся интерфейсом датчика, то событие запуска может зависеть от тактирования приведения в готовность соответствующего стартового регистра относительно времени приема данных из интерфейса датчика. В соответствии с настоящим вариантом осуществления, на фиг. 11-13 показаны три разных подхода к тактированию запуска из ввода интерфейса датчика.

[0162] На фиг. 11 проиллюстрирован первый сценарий, в котором запуск происходит после перехода всех пунктов назначения, указанных источником, из занятого или рабочего состояния в неактивное состояние. В данном случае, сигнал данных VVALID (196) представляет сигнал данных изображения от источника. Импульс 198 представляет текущий кадр данных изображения, импульс 202 представляет следующий кадр данных изображения, и интервал 200 представляет вертикальный интервал гашения (VBLANK) 200 (например, представляет промежуток времени между последней строкой текущего кадра 198 и следующим кадром 202). Промежуток времени между передним фронтом и задним фронтом импульса 198 представляет кадровый интервал 201. Таким образом, согласно фиг. 11, источник может быть сконфигурирован для осуществления запуска, когда все указанные пункты назначения закончат операции обработки на текущем кадре 198 и перейдут в неактивное состояние. В этом сценарии, источник приводится в готовность (например, путем задания бита готовности или “стартового” бита) до того, как пункты назначения завершат обработку, благодаря чему, источник может запускать и инициировать обработку следующего кадра 202, как только указанные пункты назначения перейдут в неактивное состояние. В течение вертикального интервала 200 гашения блоки обработки можно устанавливать и конфигурировать для следующего кадра 202 с использованием банков регистров, заданных стартовым регистром, соответствующим источнику, до поступления входных данных датчика. Исключительно в порядке примера, буферы чтения, используемые FEProc 130, могут наполняться до поступления следующего кадра 202. В этом случае, теневые регистры, соответствующие активным банкам регистров, могут обновляться после события запуска, таким образом, позволяя полному кадровому интервалу устанавливать дважды буферизованные регистры для следующего кадра (например, после кадра 202).

[0163] Фиг. 12 иллюстрирует второй сценарий, в котором источник запускается путем приведения в готовность стартового бита в стартовом регистре, соответствующем источнику. В этой конфигурации “запуск-включение-старт”, блоки назначения, указанные источником, уже неактивны, и приведение в готовность стартового бита является событием запуска. Этот режим запуска можно использовать для регистров, которые не являются дважды буферизованными и, таким образом, обновляются в течение вертикального интервала гашения (например, в отличие от обновления дважды буферизованного теневого регистра в течение кадрового интервала 201).

[0164] Фиг. 13 иллюстрирует третий режим запуска, в котором источник запускается после обнаружения начала следующего кадра, т.е. растущего VSYNC. Однако следует отметить, что в этом режиме, если стартовый регистр приводится в готовность (путем задания стартового бита) после того, как следующий кадр 202 уже начал обработку, источник будет использовать целевые пункты назначения и банки регистров, соответствующие предыдущему кадру, поскольку поля CurrVld и CurrBk не обновляются до того, как пункт назначения начинает обработку. Это не оставляет ни одного вертикального интервала гашения для установления блоков обработки назначения и может потенциально приводить к сбросу кадров, в частности при работе в двухдатчиковом режиме. Однако следует отметить, что этот режим тем не менее может приводить к точной работе, если схема 32 обработки изображений работает в однодатчиковом режиме, который использует одни и те же банки регистров для каждого кадра (например, пункт назначения (NextVld) и банки регистров (NextBk) не изменяются).

[0165] Регистр 180 управления (или “стартовый регистр”) более подробно проиллюстрирован со ссылкой на фиг. 14. Стартовый регистр 180 включает в себя “стартовый” бит 204 готовности, а также поле 182 NextVld и поле 184 NextBk. Как рассмотрено выше, каждый источник (например, Sens0, Sens1, Sens0DMA, Sens1DMA или ProcInDMA) устройства 80 предварительной обработки ISP может иметь соответствующий стартовый регистр 180. В одном варианте осуществления, стартовый бит 204 может быть однобитовым полем, и стартовый регистр 180 может приводиться в готовность путем задания стартового бита 204 равным 1. Поле 182 NextVld может содержать некоторое количество битов, соответствующее количеству пунктов назначения в устройстве 80 предварительной обработки ISP. Например, согласно варианту осуществления, показанному на фиг. 8, устройство предварительной обработки ISP включает в себя шесть пунктов назначения: Sif0DMA, Sif1DMA, StatsPipe0, StatsPipe1, FEProc и FEOut. Таким образом, стартовый регистр 180 может включать в себя шесть битов в поле 182 NextVld, причем каждому пункту назначения соответствует один бит, и указанные пункты назначения заданы равными 1. Аналогично, поле 184 NextBk может содержать некоторое количество битов, соответствующее количеству регистров данных в устройстве 80 предварительной обработки ISP. Например, как рассмотрено выше, вариант осуществления устройства 80 предварительной обработки ISP, показанный на фиг. 8, может включать в себя семь регистров данных: SIf0, SIf1, StatsPipe0, StatsPipe1, ProcPipe, FEOut и ProcIn. Соответственно, поле 184 NextBk может включать в себя семь битов, причем каждому регистру данных соответствует один бит, и регистры данных, соответствующие банку 0 и 1, выбираются путем задания их соответствующих битовых значений равными 0 или 1, соответственно. Таким образом, используя стартовый регистр 180, источник, после запуска, точно знает, какие блоки назначения служат для приема данных кадра, и какие банки регистров должны использоваться для конфигурирования указанных блоков назначения.

[0166] Дополнительно, благодаря двухдатчиковой конфигурации, поддерживаемой схемой 32 ISP, устройство предварительной обработки ISP может действовать в режиме однодатчиковой конфигурации (например, данные получает только один датчик) и в режиме двухдатчиковой конфигурации (например, данные получают оба датчика). В типичной однодатчиковой конфигурации, входные данные из интерфейса датчика, например Sens0, передаются в StatsPipe0 (для статистической обработки) и FEProc (для обработки пикселей). Кроме того, кадры датчика также могут передаваться в память (SIf0DMA) для дальнейшей обработки, что рассмотрено выше.

[0167] Пример того, как поля NextVld, соответствующие каждому источнику устройства 80 предварительной обработки ISP, могут быть сконфигурированы при работе в однодатчиковом режиме, представлен ниже в таблице 2.

Таблица 2
пример NextVld для каждого источника: однодатчиковый режим   SIf0DMA SIf1DMA StatsPipe0 StatsPipe1 FEProc FEOut Sens0Go 1 X 1 0 1 0 Sens1Go X 0 0 0 0 0 Sens0DMAGo X X 0 X X X Sens1DMAGo X X X 0 X X ProcInDMAGo X X X X 0 0

Как рассмотрено выше со ссылкой на таблицу 1, устройство 80 предварительной обработки ISP может быть сконфигурировано таким образом, что только некоторые пункты назначения действительны для конкретного источника. Таким образом, пункты назначения в таблице 2 помеченные “X” предназначены для указания, что устройство 80 предварительной обработки ISP не сконфигурировано позволять конкретному источнику отправлять данные кадра в этот пункт назначения. Для таких пунктов назначения, биты поля NextVld конкретного источника, соответствующего этому пункту назначения, всегда могут быть равны 0. Однако следует понимать, что это всего лишь один вариант осуществления и, в действительности, в других вариантах осуществления, устройство 80 предварительной обработки ISP может быть сконфигурировано таким образом, что каждый источник способен указывать каждый доступный блок назначения.

[0168] Конфигурация, показанная выше в таблице 2, представляет однодатчиковый режим, в котором только Sensor0 обеспечивает данные кадра. Например, регистр Sens0Go указывает пункты назначения как SIf0DMA, StatsPipe0 и FEProc. Таким образом, при запуске каждый кадр данных изображения Sensor0 передается в эти три пункта назначения. Как рассмотрено выше, SIf0DMA может сохранять кадры в памяти 108 для дальнейшей обработки, StatsPipe0 применяет статистическую обработку для определения различных точек статистических данных, и FEProc обрабатывает кадр с использованием, например, временной фильтрации и фильтрации с компенсацией биннинга. Кроме того, в некоторых конфигурациях, где желательна дополнительная статистика (например, статистика в разных цветовых пространствах), StatsPipe1 также может активироваться (соответствующее NextVld устанавливается равным 1) в однодатчиковом режиме. В таких вариантах осуществления, данные кадра Sensor0 передаются на StatsPipe0 и StatsPipe1. Кроме того, как показано в настоящем варианте осуществления, только один интерфейс датчика (например, Sens0 или, альтернативно, Sen0) является единственным активным источником в однодатчиковом режиме.

[0169] На основании вышеизложенного, на фиг. 15 представлена блок-схема операций, изображающая способ 206 обработки данных кадра в устройстве 80 предварительной обработки ISP, когда активен только один датчик (например, датчик 0). Хотя способ 206 иллюстрирует, в частности, обработку данных кадра Sensor0 посредством FEProc 130 в порядке примера, следует понимать, что этот процесс может применяться к любому другому источнику и соответствующему блоку назначения в устройстве 80 предварительной обработки ISP. Начиная с этапа 208, Sensor0 начинает получать данные изображения и передавать захваченные кадры устройству 80 предварительной обработки ISP. Блок 164 управления может инициализировать программирование стартового регистра, соответствующего Sens0 (интерфейсу Sensor0) для определения целевых пунктов назначения (включающих в себя FEProc) и какие регистры банка использовать, как показано на этапе 210. После этого, логика 212 принятия решения определяет, произошло ли событие запуска источника. Как рассмотрено выше, при вводе данных кадра из интерфейса датчика можно использовать разные режимы запуска (фиг. 11-13). Если событие запуска не обнаружено, процесс 206 продолжает ожидать запуска. Когда происходит запуск, следующий кадр становится текущим кадром и передается на FEProc (и другие целевые пункты назначения) для обработки на этапе 214. FEProc может быть сконфигурирован с использованием параметров данных на основании соответствующего регистра данных (ProcPipe), указанного в поле NextBk регистра Sens0Go. По завершении обработки текущего кадра на этапе 216, способ 206 может вернуться к этапу 210, на котором регистр Sens0Go программируется для следующего кадра.

[0170] Когда оба Sensor0 и Sensor1 устройства 80 предварительной обработки ISP активны, статистическая обработка остается, в общем случае, прямой, поскольку входной сигнал каждого датчика может обрабатываться соответствующим блоком статистики, StatsPipe0 и StatsPipe1. Однако, поскольку проиллюстрированный вариант осуществления устройства 80 предварительной обработки ISP предусматривает только один блок обработки пикселей (FEProc), FEProc может быть сконфигурирован для попеременной обработки кадров, соответствующих входным данным Sensor0, и кадров, соответствующих входным данным Sensor1. Очевидно, что кадры изображения считываются из FEProc в проиллюстрированном варианте осуществления во избежание условия, в котором данные изображения от одного датчика обрабатываются в реальном времени, тогда как данные изображения от другого датчика не обрабатываются в реальном времени. Например, как показано ниже в таблице 3, где представлена одна возможная конфигурация полей NextVld в стартовых регистрах для каждого источника, когда устройство 80 предварительной обработки ISP работает в двухдатчиковом режиме, входные данные от каждого датчика передаются в память (SIf0DMA и SIf1DMA) и на соответствующий блок статистической обработки (StatsPipe0 и StatsPipe1).

Таблица 3
Пример NextVld для каждого источника: двухдатчиковый режим   SIf0DMA SIf1DMA StatsPipe0 StatsPipe1 FEProc FEOut Sens0Go 1 X 1 0 0 0 Sens1Go X 1 0 1 0 0 Sens0DMAGo X X 0 X X X Sens1DMAGo X X X 0 X X ProcInDMAGo X X X X 1 0

[0171] Кадры датчика в памяти отправляются на FEProc из источника ProcInDMA, таким образом, что они переключаются между Sensor0 и Sensor1 с частотой на основании их соответствующих частот кадров. Например, если Sensor0 и Sensor1 оба получают данные изображения с частотой 30 кадров в секунду (кадр/с), то их кадры датчика могут перемежаться по одному. Если Sensor0 (30 кадр/с) получает данные изображения со вдвое большей частотой, чем Sensor1 (15 кадр/с), то перемежение может осуществляться, например, в режиме 2 к 1. Таким образом, два кадра данных Sensor0 считываются из памяти для каждого кадра данных Sensor1.

[0172] На основании вышеизложенного, фиг. 16 изображает способ 220 обработки данных кадра в устройстве 80 предварительной обработки ISP, имеющей два датчика, одновременно получающих данные изображения. На этапе 222, Sensor0 и Sensor1 начинают получать кадры изображения. Очевидно, что Sensor0 и Sensor1 могут получать кадры изображения с использованием разных частот кадров, разрешений и т.д. На этапе 224, кадры, полученные от Sensor0 и Sensor1, записываются в память 108 (например, с использованием пунктов назначения SIf0DMA и SIf1DMA). Затем, ProcInDMA источника считывает данные кадра из памяти 108 попеременно, как указано на этапе 226. Как рассмотрено, кадры могут перемежаться между данными Sensor0 и данными Sensor1 в зависимости от частоты кадров, на которой происходит получение данных. На этапе 228 из ProcInDMA получается следующий кадр. После этого, на этапе 230, поля NextVld и NextBk стартового регистра, соответствующие источнику, в данном случае ProcInDMA, программируются в зависимости от того, является ли следующий кадр данными Sensor0 или Sensor1. После этого, логика 232 принятия решения определяет, произошло ли событие запуска источника. Как рассмотрено выше, ввод данных из памяти может запускаться путем приведения в готовность стартового бита (например, режим “запуск-включение-старт”). Таким образом, запуск может происходить, когда стартовый бит стартового регистра устанавливается равным 1. Когда происходит запуск, следующий кадр становится текущим кадром и передается на FEProc для обработки на этапе 234. Как рассмотрено выше, FEProc может быть сконфигурирован с использованием параметров данных на основании соответствующего регистра данных (ProcPipe), указанного в поле NextBk регистра ProcInDMAGo. По завершении обработки текущего кадра на этапе 236, способ 220 может вернуться к этапу 228 и продолжиться.

[0173] Дополнительным операционным событием, для обработки которого сконфигурировано устройство 80 предварительной обработки ISP, является смена конфигурации в ходе обработки изображений. Например, такое событие может происходить, когда устройство 80 предварительной обработки ISP переходит от однодатчиковой конфигурации к двухдатчиковой конфигурации или наоборот. Как рассмотрено выше, поля NextVld для некоторых источников могут различаться в зависимости от того, активны ли один или оба датчика изображения. Таким образом, при смене конфигурации датчиков, блок 164 управления предварительной обработкой ISP может освобождать все блоки назначения до того, как они будут указаны новым источником. Это позволяет избегать недействительных конфигураций (например, назначения множественных источников одному пункту назначения). В одном варианте осуществления, освобождение блоков назначения может осуществляться путем задания полей NextVld всех стартовых регистров равными 0, таким образом, деактивации всех пунктов назначения и приведения в готовность стартового бита. После освобождения блоков назначения, стартовые регистры можно переконфигурировать в зависимости от текущего режима датчиков, и обработка изображений может продолжаться.

[0174] Способ 240 переключения между одно- и двухдатчиковой конфигурациями показан на фиг. 17, в соответствии с одним вариантом осуществления. Начиная с этапа 242, идентифицируется следующий кадр данных изображения из конкретного источника устройства 80 предварительной обработки ISP. На этапе 244, целевые пункты назначения (NextVld) программируются в стартовом регистре, соответствующем источнику. Затем, на этапе 246, в зависимости от целевых пунктов назначения, NextBk программируется для указания верных регистров данных, связанных с целевыми пунктами назначения. После этого, логика 248 принятия решения определяет, произошло ли событие запуска источника. Когда происходит запуск, следующий кадр передается на блоки назначения, указанные NextVld, и обрабатывается блоками назначения с использованием соответствующих регистров данных, указанных NextBk, как показано на этапе 250. Обработка продолжается до этапа 252, на котором обработка текущего кадра завершается.

[0175] Затем, логика 254 принятия решения определяет, изменились ли целевые пункты назначения для источника. Как рассмотрено выше, настройки в NextVld стартовых регистров, соответствующих Sens0 и Sens1, могут изменяться в зависимости от того, активны ли один датчик или два датчика. Например, согласно таблице 2, если только активен Sensor0, данные Sensor0 передаются на SIf0DMA, StatsPipe0 и FEProc. Однако, согласно таблице 3, если активны оба Sensor0 и Sensor1, то данные Sensor0 не передаются непосредственно на FEProc. Вместо этого, как упомянуто выше, данные Sensor0 и Sensor1 записываются в память 108 и считываются в FEProc попеременно ProcInDMA источника. Таким образом, если на логике 254 принятия решения не обнаружено смены целевого пункта назначения, блок 164 управления делает вывод, что конфигурация датчиков не изменилась, и способ 240 возвращается к этапу 246, где поле NextBk стартового регистра источник программируется для указания верных регистров данных для следующего кадра, и продолжается.

[0176] Если же на логике 254 принятия решения обнаружена смена пункта назначения, то блок 164 управления определяет, что произошла смена конфигурации датчиков. Например, это может выражаться в переключении с однодатчикового режима в двухдатчиковый режим или отключении всех датчиков. Соответственно, способ 240 переходит к этапу 256, на котором все биты полей NextVld для всех стартовых регистров задаются равными 0, таким образом, эффективно блокируется отправка кадров в любой пункт назначения при следующем запуске. Затем, на логике 258 принятия решения, производится определение, все ли блоки назначения перешли в неактивное состояние. Если нет, способ 240 ожидает на логике 258 принятия решения, пока все блоки назначения не завершат свои текущие операции. Затем, на логике 260 принятия решения, производится определение, продолжать ли обработку изображений. Например, если происходит смена пункта назначения, выражающаяся в деактивации обоих Sensor0 и Sensor1, то обработка изображений заканчивается на этапе 262. Однако, если определено, что обработка изображений должна продолжаться, то способ 240 возвращается к этапу 244, и поля NextVld стартовых регистров программируются в соответствии с текущим режимом работы (например, однодатчиковым или двухдатчиковым). Как показано здесь, этапы 254-262 для очистки стартовых регистров и полей пункта назначения можно совместно обозначать ссылочной позицией 264.

[0177] Фиг. 18 демонстрирует дополнительный вариант осуществления посредством блок-схемы операций (способ 265), который предусматривает другой двухдатчиковый режим работы. Способ 265 изображает условие, при котором один датчик (например, Sensor0) активно получает данные изображения и передает кадры изображения на FEProc 130 для обработки, одновременно также передавая кадры изображения в StatsPipe0 и/или память 108 (Sif0DMA), тогда как другой датчик (например, Sensor1) не активен (например, выключен), как показано на этапе 266. Затем логика 268 принятия решения обнаруживает условие, при котором Sensor1 становится активным на следующем кадре для отправки данных изображения на FEProc. Если это условие не выполняется, то способ 265 возвращается к этапу 266. Если же это условие выполняется, то способ 265 переходит к осуществлению действия 264 (совместно этапов 254-262 на фиг. 17), в результате чего поля пункта назначения источников очищаются и реконфигурируются на этапе 264. Например, на этапе 264, поле NextVld стартового регистра, связанное с Sensor1, можно программировать для указания FEProc в качестве пункта назначения, а также StatsPipe1 и/или памяти (Sif1DMA), тогда как поле NextVld стартового регистра, связанное с Sensor0, можно программировать для очистки FEProc в качестве пункта назначения. В этом варианте осуществления, хотя кадры, захваченные Sensor0, не передаются на FEProc на следующем кадре, Sensor0 может оставаться активным и продолжать отправлять свои кадры изображения в StatsPipe0, как показано на этапе 270, тогда как Sensor1 захватывает и отправляет данные на FEProc для обработки на этапе 272. Таким образом, оба датчика, Sensor0 и Sensor1 могут продолжать работать в этом “двухдатчиковом” режиме, хотя на FEProc для обработки отправляются кадры изображения только от одного датчика. В целях этого примера, датчик, передающий кадры на FEProc для обработки, может именоваться “активным датчиком”, датчик, который не передает кадр на FEProc, но все еще отправляет данные на блоки статистической обработки, может именоваться “полуактивным датчиком”, и датчик, который не получает никаких данных, может именоваться “неактивным датчиком”.

[0178] Одно преимущество вышеизложенного подхода состоит в том, что ввиду продолжения получения статистики для полуактивного датчика (Sensor0), при следующем переходе полуактивного датчика в активное состояние и переходе текущего активного датчика (Sensor1) в полуактивное или неактивное состояние, полуактивный датчик может начать получать данные в одном кадре, поскольку параметры цветового баланса и экспозиции уже могут быть доступными вследствие продолжающегося сбора статистики изображения. Этот подход может именоваться “горячим переключением” датчиков изображения и позволяет избегать недостатков, связанных с “холодными стартами” датчиков изображения (например, запусков в отсутствие доступной статистической информации). Кроме того, для экономии мощности, поскольку каждый источник является асинхронным (как упомянуто выше), полуактивный датчик может действовать на сниженной тактовой частоте и/или частоте кадров в течение полуактивного периода.

[0179] Прежде чем продолжить более детализированное описание статистической обработки и операций обработки пикселей, изображенных в логике 80 предварительной обработки ISP, показанной на фиг. 8, предполагается, что краткое введение, касающееся определений различных областей кадра ISP, будет полезно для облегчения лучшего понимания настоящего предмета изобретения. На основании вышеизложенного, различные области кадра, которые можно задать в исходном кадре изображения, представлены на фиг. 19. Формат для исходного кадра, поступающего на схему 32 обработки изображений, может использовать рассмотренные выше мозаичный или линейный режимы адресации, поскольку может использовать пиксельные форматы с 8, 10, 12 или 14-битовой точностью. Исходный кадр 274 изображения, как показано на фиг. 19, может включать в себя область 276 кадра датчика, первичную область 276 кадра и активную область 280. Кадр 276 датчика представляет собой, в общем случае, максимальный размер кадра, который датчик 90 изображения может предоставлять схеме 32 обработки изображений. Первичную область 278 кадра можно задать как область кадра 276 датчика, которая передается логике 80 предварительной обработки ISP. Активную область 280 можно задать как участок исходного кадра 274, обычно в первичной области 278 кадра, на котором обработка осуществляется для конкретной операции обработки изображений. В соответствии с вариантами осуществления настоящего изобретения, эта активная область 280 может быть одинаковой или разной для разных операций обработки изображений.

[0180] В соответствии с аспектами настоящего изобретения, логика 80 предварительной обработки ISP принимает только первичный кадр 278. Таким образом, в целях настоящего рассмотрения глобальный размер кадра для логики 80 предварительной обработки ISP можно предположить равным первичному размеру кадра, который определяется шириной 282 и высотой 284. В некоторых вариантах осуществления, смещение от границ кадра 276 датчика до первичного кадра 278 может определяться и/или поддерживаться управляющей логикой 84. Например, управляющая логика 84 может включать в себя программно-аппаратное обеспечение, которое может определять первичную область 278 кадра на основании входных параметров, например смещения 286 по оси x и смещения 288 по оси y, которые задаются относительно кадра 276 датчика. Кроме того, в ряде случаев, блок обработки в логике 80 предварительной обработки ISP или логике 82 конвейера ISP может иметь заданную активную область, благодаря чему пиксели в первичном кадре, но вне активной области 280, не будут обрабатываться, т.е. останутся неизменными. Например, активную область 280 для конкретного блока обработки, имеющую ширину 290 и высоту 292, можно задать на основании смещения 294 по оси x и смещения 296 по оси y относительно первичного кадра 278. Кроме того, когда активная область конкретно не задана, один вариант осуществления схемы 32 обработки изображений может предусматривать, что активная область 280 совпадает с первичным кадром 278 (например, смещение 294 по оси x и смещение 296 по оси y равны 0). Таким образом, в целях операций обработки изображений, осуществляемых на данных изображения, граничные условия можно задавать относительно границ первичного кадра 278 или активной области 280.

[0181] Исходя из вышеизложенного, обратимся к фиг. 20, где проиллюстрирован более детализированный вид логики 130 предварительной обработки пикселей ISP (ранее рассмотренной на фиг. 8) в соответствии с вариантом осуществления настоящего изобретения. Как показано, логика 130 предварительной обработки пикселей ISP включает в себя временной фильтр 298 и фильтр 300 компенсации биннинга. Временной фильтр 298 может принимать один из входных сигналов изображения Sif0, Sif1, FEProcIn или предварительно обработанных сигналов изображения (например, 159, 161) и может действовать на первичных пиксельных данных до осуществления какой-либо дополнительной обработки. Например, временной фильтр 298 может первоначально обрабатывать данные изображения для снижения шума путем усреднения кадров изображения во временном направлении. Фильтр 300 компенсации биннинга, который более подробно рассмотрен ниже, может применять масштабирование и повторную дискретизацию к подвергнутым биннингу первичным данным изображения от датчика изображения (например, 90a, 90b) для поддержания равномерного пространственного распределения пикселей изображения.

[0182] Временной фильтр 298 может обладать пиксельной адаптивностью на основании характеристик движения и яркости. Например, в случае высокого движения пикселя степень фильтрации может снижаться во избежание возникновения в результирующем обработанном изображении “запаздываний” или “артефактов наложения изображений”, тогда как при обнаружении слабого движения или в отсутствие движения степень фильтрации может увеличиваться. Дополнительно, степень фильтрации также можно регулировать на основании данных яркости (например, “яркости”). Например, с увеличением яркости изображения артефакты фильтрации могут становиться более заметными человеческому глазу. Таким образом, степень фильтрации можно дополнительно снижать, когда пиксель имеет высокий уровень яркости.

[0183] При применении временной фильтрации временной фильтр 298 может принимать опорные пиксельные данные (Rin) и входные данные (Hin) истории движения, которые могут происходить из предыдущего фильтрованного или исходного кадра. С использованием этих параметров временной фильтр 298 может обеспечивать выходные данные (Hout) истории движения и фильтрованный пиксельный выход (Yout). Затем фильтрованный пиксельный выход Yout поступает на фильтр 300 компенсации биннинга, который может быть сконфигурирован для осуществления одной или более операций масштабирования на данных Yout фильтрованного пиксельного выхода для создания выходного сигнала FEProcOut. Обработанные пиксельные данные FEProcOut затем могут перенаправляться на логику 82 конвейерной обработки ISP, как рассмотрено выше.

[0184] На фиг. 21 проиллюстрирована схема обработки, изображающая процесс 302 временной фильтрации, который может осуществляться временным фильтром, показанным на фиг. 20, в соответствии с первым вариантом осуществления. Временной фильтр 298 может включать в себя 2-отводный фильтр, в котором коэффициенты фильтрации регулируются адаптивно на попиксельной основе, по меньшей мере, частично, на основании данных движения и яркости. Например, входные пиксели x(t), где переменная “t” обозначает временное значение, можно сравнивать с опорными пикселями r(t-1) в ранее фильтрованном кадре или предыдущем исходном кадре для генерации поискового индекса движения в таблице (M) 304 истории движения, которая может содержать коэффициенты фильтрации. Дополнительно, на основании входных данных h(t-1) истории движения можно определить выходные данные h(t) истории движения, соответствующие текущему входному пикселю x(t).

[0185] Выходные данные h(t) истории движения и коэффициент фильтрации, K, можно определить на основании дельты движения d(j,i,t), где (j,i) представляют координаты пространственного положения текущего пикселя x(j,i,t). Дельту движения d(j,i,t) можно вычислить путем определения максимальной из трех абсолютных дельт между исходными и опорными пикселями для трех горизонтально соседних пикселей одного и того же цвета. Например, кратко обратимся к фиг. 22, где проиллюстрированы пространственные положения трех соседних опорных пикселей 308, 309 и 310, соответствующих исходным входным пикселям 312, 313 и 314. В одном варианте осуществления дельту движения можно вычислять на основании этих исходных и опорных пикселей с использованием нижеследующей формулы:

Ниже на фиг. 24 дополнительно проиллюстрирована блок-схема операций, изображающая этот метод определения значения дельты движения. Кроме того, следует понимать, что метод вычисления значения дельты движения, показанный выше в уравнении 1a (и ниже на фиг. 24), призван обеспечивать лишь один вариант осуществления для определения значения дельты движения.

[0186] В других вариантах осуществления матрицу пикселей того же цвета можно оценивать для определения значения дельты движения. Например, помимо трех пикселей, указанных в уравнении 1a, один вариант осуществления для определения значений дельты движения может включать в себя также оценивание абсолютных дельт между пикселями одного и того же цвета из двух строк выше (например, j-2, предполагая шаблон Байера) опорных пикселей 312, 313 и 314 и их соответствующих соседних пикселей, и двух строк ниже (например, j+2, предполагая шаблон Байера) опорных пикселей 312, 313 и 314 и их соответствующих соседних пикселей. Например, в одном варианте осуществления значение дельты движения можно выразить следующим образом:

Таким образом, согласно варианту осуществления, представленному уравнением 1b, значение дельты движения можно определить путем сравнения абсолютной дельты между матрицей 3×3 пикселей того же цвета с текущим пикселем (313), расположенным в центре матрицы 3×3 (например, реально матрицей 5×5 для байеровских цветовых шаблонов, если считать пиксели разных цветов). Очевидно, что любая пригодная двухмерная матрица пикселей того же цвета (например, включающая в себя матрицы, все пиксели которой располагаются в одной и той же строке (например, уравнение 1a), или матрицы, все пиксели которой располагаются в одном и том же столбце) с текущим пикселем (например, 313), расположенным в центре матрицы, можно анализировать для определения значения дельты движения. Кроме того, хотя значение дельты движения можно определять как максимальную из абсолютных дельт (например, как показано в уравнениях 1a и 1b), в других вариантах осуществления значение дельты движения также можно выбирать как среднее или срединное значение абсолютных дельт. Дополнительно, вышеописанные подходы применимы также к другим типам матриц цветовых фильтров (например, RGBW, CYGM и т.д.), а не только к шаблонам Байера.

[0187] Согласно фиг. 21, определив значение дельты движения, поисковый индекс движения, который можно использовать для выбора коэффициента K фильтрации из таблицы (M) 304 движения, можно вычислять путем суммирования дельты d(t) движения для текущего пикселя (например, в пространственном положении (j,i)) с входными данными h(t-1) истории движения. Например, коэффициент K фильтрации можно определить следующим образом:

Дополнительно, выходные данные h(t) истории движения можно определить с использованием следующей формулы:

[0188] Затем яркость текущего входного пикселя x(t) можно использовать для генерации поискового индекса яркости в таблице (L) 306 яркости. В одном варианте осуществления таблица яркости может содержать коэффициенты ослабления, которые могут принимать значения между 0 и 1 и могут быть выбраны на основании индекса яркости. Второй коэффициент фильтрации, K', можно вычислять путем умножения первого коэффициента K фильтрации на коэффициент ослабления яркости, как показано в нижеследующем уравнении:

[0189] Определенное значение для K' затем можно использовать как коэффициент фильтрации для временного фильтра 298. Как рассмотрено выше, временной фильтр 298 может быть 2-отводным фильтром. Дополнительно, временной фильтр 298 может быть сконфигурирован как фильтр с бесконечной импульсной характеристикой (IIR), использующий предыдущий фильтрованный кадр, или как фильтр с конечной импульсной характеристикой (FIR), использующий предыдущий исходный кадр. Временной фильтр 298 может вычислять фильтрованный выходной пиксель y(t) (Yout) с использованием текущего входного пикселя x(t), опорного пикселя r(t-1) и коэффициента K' фильтрации с использованием следующей формулы:

Как рассмотрено выше, процесс 302 временной фильтрации, показанный на фиг. 21, может осуществляться на попиксельной основе. В одном варианте осуществления одну и ту же таблицу M движения и таблицу L яркости можно использовать для всех цветовых компонент (например, R, G и B). Дополнительно, некоторые варианты осуществления могут предусматривать механизм обхода, в котором временную фильтрацию можно обойти, например, в ответ на сигнал управления от управляющей логики 84. Кроме того, как будет рассмотрено ниже в отношении фиг. 26 и 27, один вариант осуществления временного фильтра 298 может использовать отдельные таблицы движения и яркости для каждой цветовой компоненты данных изображения.

[0190] Вариант осуществления метода временной фильтрации, описанный со ссылкой на фиг. 21 и 22, можно лучше понять, обратившись к фиг. 23, где изображена блок-схема операций, демонстрирующая способ 315, в соответствии с вышеописанным вариантом осуществления. Способ 315 начинается с этапа 316, на котором текущий пиксель x(t), находящийся в пространственном положении (j,i) текущего кадра данных изображения, принимается системой 302 временной фильтрации. На этапе 317, значение дельты d(t) движения определяется для текущего пикселя x(t), по меньшей мере, частично, на основании одного или более соседних опорных пикселей (например, r(t-1)) из предыдущего кадра данных изображения (например, кадра изображения, непосредственно предшествующего текущему кадру). Метод определения значения дельты d(t) движения на этапе 317 дополнительно объяснен ниже со ссылкой на фиг. 24 и может осуществляться в соответствии с вышеприведенным уравнением 1a.

[0191] Получив значение дельты d(t) движения на этапе 317, поисковый индекс таблицы движения можно определить с использованием значения дельты d(t) движения и значения h(t-1) входных данных истории движения, соответствующего пространственному положению (j,i) из предыдущего кадра, как показано на этапе 318. Дополнительно, хотя это не показано, значение h(t) истории движения, соответствующее текущему пикселю x(t), также можно определить на этапе 318, когда значение дельты d(t) движения известно, например, с использованием вышеприведенного уравнения 3a. После этого, на этапе 319, первый коэффициент K фильтрации можно выбирать из таблицы 304 движения с использованием поискового индекса таблицы движения, из этапа 318. Определение поискового индекса таблицы движения и выбор первого коэффициента K фильтрации из таблицы движения может осуществляться в соответствии с вышеприведенным уравнением 2a.

[0192] Затем, на этапе 320, коэффициент ослабления можно выбирать из таблицы 306 яркости. Например, таблица 306 яркости может содержать коэффициенты ослабления в пределах приблизительно от 0 до 1, и коэффициент ослабления можно выбирать из таблицы 306 яркости с использованием значения текущего пикселя x(t) в качестве поискового индекса. Выбрав коэффициент ослабления, второй коэффициент K' фильтрации можно определить на этапе 321 с использованием выбранного коэффициента ослабления и первого коэффициента K фильтрации (из этапа 319), как показано в вышеприведенном уравнении 4a. Затем, на этапе 322, подвергнутое временной фильтрации выходное значение y(t), соответствующее текущему входному пикселю x(t), определяется на основании второго коэффициента K' фильтрации (из этапа 320), значения соседнего опорного пикселя r(t-1) и значения входного пикселя x(t). Например, в одном варианте осуществления, выходное значение y(t) можно определить в соответствии с вышеприведенным уравнением 5a.

[0193] На фиг. 24 этап 317 для определения значения дельты d(t) движения из способа 315 проиллюстрирован более подробно в соответствии с одним вариантом осуществления. В частности, определение значения дельты d(t) движения, в общем случае, может соответствовать операции, изображенной выше в соответствии с уравнением 1a. Как показано, этап 317 может включать в себя подэтапы 324-327. Начиная с подэтапа 324, идентифицируется набор из трех горизонтально соседних пикселей, имеющих такое же значение цвета, как текущий входной пиксель x(t). В порядке примера, в соответствии с вариантом осуществления, показанным на фиг. 22, данные изображения могут включать в себя байеровские данные изображения, и три горизонтально соседних пикселя могут включать в себя текущий входной пиксель x(t) (313), второй пиксель 312 того же цвета слева от текущего входного пикселя 313 и третий пиксель того же цвета справа от текущего входного пикселя 313.

[0194] Затем, на подэтапе 325, идентифицируются три соседних опорных пикселя 308, 309 и 310 из предыдущего кадра, соответствующие выбранному набору из трех горизонтально соседних пикселей 312, 313 и 314. С использованием выбранных пикселей 312, 313 и 314 и трех соседних опорных пикселей 308, 309 и 310 абсолютные значения разностей между каждым из трех выбранных пикселей 312, 313 и 314 и их соответствующими соседними опорными пикселями 308, 309 и 310, соответственно, определяются на подэтапе 326. Затем, на подэтапе 327, максимальная из трех разностей, полученных на подэтапе 326, выбирается в качестве значения дельты d(t) движения для текущего входного пикселя x(t). Как рассмотрено выше, фиг. 24, которая иллюстрирует способ вычисления значения дельты движения, показанный в уравнении 1a, призвана обеспечивать лишь один вариант осуществления. Действительно, как рассмотрено выше, любую пригодную двухмерную матрицу пикселей того же цвета с текущим пикселем в центре матрицы можно использовать для определения значения дельты движения (например, уравнение 1b).

[0195] Другой вариант осуществления способа применения временной фильтрации к данным изображения дополнительно изображен на фиг. 25. Например, поскольку отношения сигнал-шум для разных цветовых компонент данных изображения могут различаться, коэффициент усиления может применяться к текущему пикселю, благодаря чему текущий пиксель получает коэффициент усиления до выбора значений движения и яркости из таблицы 304 движения и таблицы 306 яркости. Применяя соответствующий коэффициент усиления, который является цветозависимым, можно добиться более согласованного отношения сигнал-шум между разными цветовыми компонентами. Исключительно в порядке примера, в реализации, где используются первичные байеровские данные изображения, цветовые каналы красного и синего, в общем случае, могут быть более чувствительными по сравнению с цветовыми каналами зеленого (Gr и Gb). Таким образом, применяя надлежащий цветозависимый коэффициент усиления к каждому обработанному пикселю, можно, в общем случае, снижать разброс в отношении сигнал-шум между цветовыми компонентами, таким образом, снижая, помимо прочего, артефакты наложения изображений, а также согласованность между разными цветами после коэффициентов усиления автоматического баланса белого.

[0196] На основании вышеизложенного, на фиг. 25 представлена блок-схема операций, изображающая способ 328 применения временной фильтрации к данным изображения, принятым блоком 130 предварительной обработки в соответствии с таким вариантом осуществления. Начиная с этапа 329, текущий пиксель x(t), находящийся в пространственном положении (j,i) текущего кадра данных изображения, принимается системой 302 временной фильтрации. На этапе 330, значение дельты d(t) движения определяется для текущего пикселя x(t), по меньшей мере, частично, на основании одного или более соседних опорных пикселей (например, r(t-1)) из предыдущего кадра данных изображения (например, кадра изображения, непосредственно предшествующего текущему кадру). Этап 330 может быть аналогичен этапу 317, показаннному на фиг. 23, и может использовать операцию, представленную в вышеприведенном уравнении 1.

[0197] Затем, на этапе 331, поисковый индекс таблицы движения можно определить с использованием значения дельты d(t) движения, значения h(t-1) входных данных истории движения, соответствующего пространственному положению (j,i) из предыдущего кадра (например, соответствующего соседнему опорному пикселю r(t-1)), и коэффициента усиления, связанного с цветом текущего пикселя. После этого, на этапе 332, первый коэффициент K фильтрации можно выбирать из таблицы 304 движения с использованием поискового индекса таблицы движения, определенного на этапе 331. Исключительно в порядке примера, в одном варианте осуществления, коэффициент K фильтрации и поисковый индекс таблицы движения можно определить следующим образом:

где M представляет таблицу движения, и где gain[c] соответствует коэффициенту усиления, связанному с цветом текущего пикселя. Дополнительно, хотя это не показано на фиг. 25, следует понимать, что значение h(t) выходных данных истории движения для текущего пикселя также можно определить и можно использовать для применения временной фильтрации к соседнему пикселю последующего кадра изображения (например, следующего кадра). В настоящем варианте осуществления, выходные данные h(t) истории движения для текущего пикселя x(t) можно определить с использованием следующей формулы:

[0198] Затем, на этапе 333, коэффициент ослабления можно выбирать из таблицы 306 яркости с использованием поискового индекса таблицы яркости, определенного на основании коэффициента усиления (gain[c]), связанного с цветом текущего пикселя x(t). Как рассмотрено выше, коэффициенты ослабления, хранящиеся в таблице яркости, могут принимать значения приблизительно от 0 до 1. После этого, на этапе 334, второй коэффициент K' фильтрации можно вычислять на основании коэффициента ослабления (из этапа 333) и первого коэффициента K фильтрации (из этапа 332). Исключительно в порядке примера, в одном варианте осуществления, второй коэффициент K' фильтрации и поисковый индекс таблицы яркости можно определить следующим образом:

[0199] Затем, на этапе 335, подвергнутое временной фильтрации выходное значение y(t), соответствующее текущему входному пикселю x(t), определяется на основании второго коэффициента K' фильтрации (из этапа 334), значения соседнего опорного пикселя r(t-1) и значения входного пикселя x(t). Например, в одном варианте осуществления, выходное значение y(t) можно определить следующим образом:

[0200] Перейдем к фиг. 26, где изображен дополнительный вариант осуществления процесса 336 временной фильтрации. В данном случае, процесс 336 временной фильтрации может осуществляться аналогично варианту осуществления, рассмотренному на фиг. 25, за исключением того, что вместо применения цветозависимого коэффициента усиления (например, gain[c]) к каждому входному пикселю и использования совместно используемых таблиц движения и яркости для каждых цветовых компонент обеспечены отдельные таблицы движения и яркости. Например, как показано на фиг. 26, таблицы 304 движения могут включать в себя таблицу 304a движения, соответствующую первому цвету, таблицу 304b движения, соответствующую второму цвету, и таблицу 304c движения, соответствующую n-му цвету, где n зависит от количества цветов, присутствующих в первичных данных изображения. Аналогично, таблицы 306 яркости могут включать в себя таблицу 306a яркости, соответствующую первому цвету, таблицу 306b яркости, соответствующую второму цвету, и таблицу 304c движения, соответствующую n-му цвету. Таким образом, согласно варианту осуществления, где первичные данные изображения являются байеровскими данными изображения, для каждой из цветовых компонент красного, синего и зеленого может быть обеспечено по три таблицы движения и яркости. Как рассмотрено ниже, выбор коэффициентов K фильтрации и коэффициентов ослабления может зависеть от таблицы движения и яркости, выбранной для текущего цвета (например, цвета текущего входного пикселя).

[0201] Способ 338, демонстрирующий дополнительный вариант осуществления, для временной фильтрации с использованием цветозависимых таблиц движения и яркости показан на фиг. 27. Очевидно, что различные вычисления и формулы, которые могут применяться согласно способу 338, могут быть аналогичны варианту осуществления, показанному на фиг. 23, но с выбором конкретной таблицы движения и яркости для каждого цвета, или аналогичны варианту осуществления, показанному на фиг. 25, но с заменой использования цветозависимого gain[c] выбором цветозависимой таблицы движения и яркости.

[0202] Начиная с этапа 339, текущий пиксель x(t), находящийся в пространственном положении (j,i) текущего кадра данных изображения, принимается системой 336 временной фильтрации (фиг. 26). На этапе 340, значение дельты d(t) движения определяется для текущего пикселя x(t), по меньшей мере, частично, на основании одного или более соседних опорных пикселей (например, r(t-1)) из предыдущего кадра данных изображения (например, кадра изображения, непосредственно предшествующего текущему кадру). Этап 340 может быть аналогичен этапу 317, показанному на фиг. 23, и может использовать операцию, показанную в вышеприведенном уравнении 1.

[0203] Затем, на этапе 341, поисковый индекс таблицы движения можно определить с использованием значения дельты d(t) движения и значения h(t-1) входных данных истории движения, соответствующего пространственному положению (j,i) из предыдущего кадра (например, соответствующего соседнему опорному пикселю r(t-1)). После этого, на этапе 342, первый коэффициент K фильтрации можно выбирать из одной из доступных таблиц движения (например, 304a, 304b, 304c) на основании цвета текущего входного пикселя. Например, идентифицировав надлежащую таблицу движения, первый коэффициент K фильтрации можно выбирать с использованием поискового индекса таблицы движения, определенного на этапе 341.

[0204] После выбора первого коэффициента K фильтрации выбирается таблица яркости, соответствующая текущему цвету, и коэффициент ослабления выбирается из выбранной таблицы яркости на основании значения текущего пикселя x(t), как показано на этапе 343. После этого, на этапе 344, второй коэффициент K' фильтрации определяется на основании коэффициента ослабления (из этапа 343) и первого коэффициента K фильтрации (этап 342). Затем, на этапе 345, подвергнутое временной фильтрации выходное значение y(t), соответствующее текущему входному пикселю x(t), определяется на основании второго коэффициента K' фильтрации (из этапа 344), значения соседнего опорного пикселя r(t-1) и значения входного пикселя x(t). Хотя реализация подхода, показанного на фиг. 27, может быть более затратна (например, из-за объема памяти, необходимого для хранения дополнительных таблиц движения и яркости), он может, в ряде случаев, обеспечивать дополнительные усовершенствования в отношении артефактов наложения изображений и согласованности между разными цветами после коэффициентов усиления автоматического баланса белого.

[0205] В соответствии с дополнительными вариантами осуществления, процесс временной фильтрации, обеспеченный временным фильтром 298, может использовать комбинацию цветозависимых коэффициентов усиления и цветозависимых таблиц движения и/или яркости для применения временной фильтрации к входным пикселям. Например, в одном таком варианте осуществления, для всех цветовых компонент может быть обеспечена единая таблица движения, и поисковый индекс таблицы движения для выбора первого коэффициента фильтрации (K) из таблицы движения можно определить на основании цветозависимого коэффициента усиления (например, как показано на фиг. 25, этапы 331-332), тогда как к поисковому индексу таблицы яркости может не применяться цветозависимый коэффициент усиления, но его можно использовать для выбора коэффициента ослабления яркости из одной из множественных таблиц яркости в зависимости от цвета текущего входного пикселя (например, как показано на фиг. 27, этап 343). Альтернативно, в другом варианте осуществления, можно обеспечить множественные таблицы движения, и поисковый индекс таблицы движения (без применения цветозависимого коэффициента усиления) можно использовать для выбора первого коэффициента фильтрации (K) из таблицы движения, соответствующей цвету текущего входного пикселя (например, как показано на фиг. 27, этап 342), тогда как для всех цветовых компонент можно обеспечить единую таблицу яркости, причем поисковый индекс таблицы яркости для выбора коэффициента ослабления яркости можно определить на основании цветозависимого коэффициента усиления (например, как показано на фиг. 25, этапы 333-334). Кроме того, в одном варианте осуществления, где используется матрица байеровских цветовых фильтров, для каждого из цветовых компонент красного (R) и синего (B) можно обеспечить по одной таблице движения и/или таблице яркости, тогда как для обоих цветовых компонент (Gr и Gb) зеленого можно обеспечить общую таблицу движения и/или таблицу яркости.

[0206] Затем выходной сигнал временного фильтра 298 может отправляться на фильтр 300 компенсации биннинга (BCF), который может быть сконфигурирован для обработки пикселей изображения для компенсации нелинейного размещения (например, неравномерного пространственного распределения) цветовых выборок вследствие биннинга датчиком(ами) 90a или 90b изображения, чтобы последующие операции обработки изображений в логике 82 конвейера ISP (например, демозаика и т.д.), которые зависят от линейного размещения цветовых выборок могли работать правильно. Например, на фиг. 28 изображена выборка 346 байеровских данных изображения с полным разрешением. Это может быть выборка с полным разрешением первичных данных изображения, захваченных датчиком 90a (или 90b) изображения, подключенным к логике 80 предварительной обработки ISP.

[0207] Очевидно, что при некоторых условиях захвата изображения, может быть непрактичным отправлять данные изображения с полным разрешением, захваченные датчиком 90a изображения, на схему 32 ISP для обработки. Например, при захвате видеоданных, для сохранения внешнего вида движущегося изображения жидкости, воспринимаемого человеческим глазом, может потребоваться частота кадров, по меньшей мере, приблизительно 30 кадров в секунду. Если же объем пиксельных данных, содержащихся в каждом кадре выборки с полным разрешением превышает возможности обработки схемы 32 ISP при частоте дискретизации 30 кадров в секунду, фильтрацию с компенсацией биннинга можно применять совместно с биннингом датчиком 90a изображения для снижения разрешения сигнала изображения и одновременного повышения отношения сигнал/шум. Например, как рассмотрено выше, могут применяться различные методы биннинга, например биннинг 2×2, для создания “подвергнутого биннингу” первичного пикселя изображения путем усреднения значений окружающих пикселей в активной области 280 первичного кадра 278.

[0208] На фиг. 29 проиллюстрирован вариант осуществления датчика 90a изображения, который может быть сконфигурирован для биннинга данных 346 изображения с полным разрешением, показанных на фиг. 28, для создания соответствующих подвергнутых биннингу первичных данных 358 изображения, показанных на фиг. 30, в соответствии с одним вариантом осуществления. Как показано, датчик 90a изображения может захватывать первичные данные 346 изображения с полным разрешением. Логика 357 биннинга может быть сконфигурирована для применения биннинга к первичным данным 346 изображения с полным разрешением для создания подвергнутых биннингу первичных данных 358 изображения, которые могут передаваться логике 80 предварительной обработки ISP с использованием интерфейса 94a датчика, который, как рассмотрено выше, может представлять собой интерфейс SMIA или любые другие пригодные параллельные или последовательные интерфейсы камеры.

[0209] Согласно фиг. 30, логика 357 биннинга может применять биннинг 2×2 к первичным данным 346 изображения с полным разрешением. Например, в отношении подвергнутых биннингу данных 358 изображения пиксели 350, 352, 354 и 356 могут формировать шаблон Байера, и их можно определять путем усреднения значений пикселей из первичных данных 346 изображения с полным разрешением. Например, согласно фиг. 28 и 30, подвергнутый биннингу пиксель 350 Gr можно определить как усредненное или среднее значение пикселей 350a-350d Gr полного разрешения. Аналогично, подвергнутый биннингу пиксель 352 R можно определить как среднее значение пикселей 352a-352d R полного разрешения, подвергнутый биннингу пиксель 354 B можно определить как среднее значение пикселей 354a-354d B полного разрешения, и подвергнутый биннингу пиксель 356 Gb можно определить как среднее значение пикселей 356a-356d Gb полного разрешения. Таким образом, в настоящем варианте осуществления, биннинг 2×2 может обеспечивать набор из четырех пикселей полного разрешения, включающих в себя верхний левый (например, 350a), верхний правый (например, 350b), нижний левый (например, 350c) и нижний правый (например, 350d) пиксель, которые усредняются для получения подвергнутого биннингу пикселя, расположенного в центре квадрата, образованного набором из четырех пикселей полного разрешения. Соответственно, подвергнутый биннингу байеровский блок 348, показанный на фиг. 30 содержит четыре “суперпикселя”, которые представляют 16 пикселей, содержащихся в байеровских блоках 348a-348d на фиг. 28.

[0210] Помимо снижения пространственного разрешения, биннинг также дает дополнительное преимущество понижения шума в сигнале изображения. Например, всякий раз, когда датчик изображения (например, 90a) подвергается воздействию светового сигнала, может присутствовать некоторая величина шума, например фотонного шума, связанного с изображением. Этот шум может быть случайным или систематическим и также может поступать от множественных источников. Таким образом, объем информации, содержащейся в изображении, захваченном датчиком изображения, можно выразить через отношение сигнал/шум. Например, каждый раз, когда изображение захватывается датчиком 90a изображения и переносится на схему обработки, например схему 32 ISP, в пиксельных значениях может присутствовать некоторая степень шума, поскольку процесс чтения и переноса данных изображения, по природе своей, вносит “шум чтения” в сигнал изображения. Этот “шум чтения” может быть случайным, и его, в общем случае, не удается избежать. Благодаря использованию среднего значения четырех пикселей, шум (например, фотонный шум) можно, в общем случае, снизить независимо от источника шума.

[0211] Таким образом, при рассмотрении данных 346 изображения с полным разрешением, показанных на фиг. 28, каждый шаблон 348a-348d Байера (блок 2×2) содержит 4 пикселя, каждый из которых содержит сигнал и шумовую компоненту. Если каждый пиксель, например, в байеровском блоке 348a считывается отдельно, то присутствуют четыре компоненты сигнала и четыре шумовых компоненты. Однако, благодаря применению биннинга, как показано на фиг. 28 и 30, что позволяет представить четыре пикселя (например, 350a, 350b, 350c, 350d) единым пикселем (например, 350) в подвергнутых биннингу данных изображения, область, занятую четырьмя пикселями в данных 346 изображения с полным разрешением, можно считывать как единый пиксель только с одним экземпляром шумовой компоненты, таким образом, повышая отношение сигнал/шум.

[0212] Кроме того, хотя настоящий вариант осуществления изображает логику 357 биннинга, показанную на фиг. 29, как сконфигурированную для применения процесса биннинга 2×2, очевидно, что логика 357 биннинга может быть сконфигурирована для применения любого пригодного типа процесса биннинга, например биннинга 3×3, вертикального биннинга, горизонтального биннинга и т.д. В некоторых вариантах осуществления, датчик 90a изображения может быть сконфигурирован для выбора между разными режимами биннинга в процессе захвата изображения. Дополнительно, в дополнительных вариантах осуществления, датчик 90a изображения также может быть сконфигурирован для применения метода, который может именоваться “пропуском”, в котором вместо средних пиксельных выборок, логика 357 выбирает лишь некоторые пиксели из данных 346 полного разрешения (например, каждый второй пиксель, каждый третий пиксель и т.д.) для вывода на устройство 80 предварительной обработки ISP для обработки. Кроме того, хотя на фиг. 29 показан только датчик 90a изображения, очевидно, что датчик 90b изображения можно реализовать аналогичным образом.

[0213] Согласно фиг. 30, один результат процесса биннинга состоит в том, что пространственная дискретизация подвергнутых биннингу пикселей может распределяться неравномерно. Это пространственное искажение, в некоторых системах, может приводить к ступенчатости (например, зазубренным краям), что, в общем случае, нежелательно. Кроме того, поскольку некоторые этапы обработки изображений в логике 82 конвейера ISP могут зависеть от линейного размещения цветовых выборок, чтобы она правильно работала, фильтр 300 компенсации биннинга (BCF) может применяться для осуществления повторной дискретизации и повторного размещения подвергнутых биннингу пикселей таким образом, чтобы подвергнутые биннингу пиксели были равномерно распределены в пространстве. Таким образом, BCF 300, по существу, компенсирует неравномерное пространственное распределение (например, показанное на фиг. 30) путем повторной дискретизации позиции выборок (например, пикселей). Например, фиг. 31 иллюстрирует повторно дискретизированный участок подвергнутых биннингу данных 360 изображения после обработки с помощью BCF 300, в которых байеровский блок 361, содержащий равномерно распределенные повторно дискретизированные пиксели 362, 363, 364 и 365, соответствует подвергнутым биннингу пикселям 350, 352, 354 и 356, соответственно, подвергнутых биннингу данных 358 изображения из фиг. 30. Дополнительно, согласно варианту осуществления, который использует пропуск (например, вместо биннинга), как упомянуто выше, пространственное искажение, показанное на фиг. 30, может отсутствовать. В этом случае BCF 300 может функционировать как фильтр низких частот для ослабления артефактов (например, ступенчатости), которые могут возникать в случае применения пропуска датчиком 90a изображения.

[0214] На фиг. 32 показана блок-схема фильтра 300 компенсации биннинга в соответствии с одним вариантом осуществления. BCF 300 может включать в себя логику 366 компенсации биннинга, которая может обрабатывать подвергнутые биннингу пиксели 358 для применения горизонтального и вертикального масштабирования с использованием логики 368 горизонтального масштабирования и логики 370 вертикального масштабирования, соответственно, для повторной дискретизации и повторного размещения подвергнутых биннингу пикселей 358 с целью обеспечения их равномерного распределения в пространстве, как показано на фиг. 31. В одном варианте осуществления, операция(и) масштабирования, осуществляемая(ые) BCF 300, может/могут осуществляться с использованием горизонтальной и вертикальной многоотводной многофазной фильтрации. Например, процесс фильтрации может включать в себя выбор надлежащих пикселей из входных данных источника изображения (например, подвергнутых биннингу данных 358 изображения, обеспечиваемых датчиком 90a изображения), умножение каждого из выбранных пикселей на коэффициент фильтрации, и повышающую дискретизацию полученных значений для формирования выходного пикселя на нужном пункте назначения.

[0215] Выбор пикселей, используемых в операциях масштабирования, которые могут включать в себя центральный пиксель и окружающие соседние пиксели того же цвета, можно определить с использованием отдельных дифференциальных анализаторов 372, одного для вертикального масштабирования и одного для горизонтального масштабирования. В представленном варианте осуществления, дифференциальные анализаторы 372 могут быть цифровыми дифференциальными анализаторами (DDA) и могут быть сконфигурированы для управления текущей выходной позицией пикселя в ходе операций масштабирования в вертикальном и горизонтальном направлениях. В настоящем варианте осуществления, первый DDA (именуемый 372a) используется для всех цветовых компонент при горизонтальном масштабировании, и второй DDA (именуемый 372b) используется для всех цветовых компонент при вертикальном масштабировании. Исключительно в порядке примера, DDA 372 может быть обеспечен как 32-битовый регистр данных, который содержит число с фиксированной запятой в формате дополнения до 2, имеющее 16 битов в целой части и 16 битов в дробной части. 16-битовую целую часть можно использовать для определения текущей позиции выходного пикселя. Дробную часть DDA 372 можно использовать для определения текущего индекса или фазы, которое может базироваться на межпиксельной дробной позиции текущей позиции DDA (например, соответствующей пространственному положению выходного пикселя). Индекс или фазу можно использовать для выбора надлежащего набора коэффициентов из набора таблиц 374 коэффициентов фильтрации. Дополнительно, фильтрация может осуществляться для каждой цветовой компоненты с использованием пикселей того же цвета. Таким образом, коэффициенты фильтрации можно выбирать на основании не только фазы текущей позиции DDA, но и цвета текущего пикселя. В одном варианте осуществления, 8 фаз может присутствовать между каждым входным пикселем, и, таким образом, вертикальный и горизонтальный компоненты масштабирования могут использовать таблицы коэффициентов глубиной 8, благодаря чему 3 старших бита 16-битовой дробной части используются для выражения текущей фазы или индекса. Таким образом, используемый здесь термин “первичные данные изображения” и т.п. следует понимать как данные многоцветного изображения, получаемые единичным датчиком с помощью шаблона матрицы цветовых фильтров (например, байеровским), перекрывающих его, которые обеспечивают множественные цветовые компоненты в одной плоскости. В другом варианте осуществления, отдельные DDA можно использовать для каждой цветовой компоненты. Например, в таких вариантах осуществления, BCF 300 может выделять компоненты R, B, Gr и Gb из первичных данных изображения и обрабатывать каждую компоненту как отдельную плоскость.

[0216] В ходе эксплуатации горизонтальное и вертикальное масштабирование может включать в себя инициализацию DDA 372 и осуществление многоотводной многофазной фильтрации с использованием целой и дробной частей DDA 372. При осуществлении по отдельности и с помощью отдельных DDA операции горизонтального и вертикального масштабирования осуществляются аналогичным образом. Значение шага или размер шага (DDAStepX для горизонтального масштабирования и DDAStepY для вертикального масштабирования) определяет, какое приращение получает значение DDA (currDDA) после определения каждого выходного пикселя, и многоотводная многофазная фильтрация повторяется с использованием следующего значения currDDA. Например, если значение шага меньше 1, то изображение подвергается повышающей дискретизации, и если значение шага больше 1, то изображение подвергается понижающей дискретизации. Если значение шага равно 1, масштабирование происходит. Кроме того, следует отметить, что для горизонтального и вертикального масштабирования можно использовать одинаковые или разные величины шага.

[0217] Выходные пиксели генерируются BCF 300 в том же порядке, что и входные пиксели (например, с использованием шаблона Байера). В настоящем варианте осуществления, входные пиксели можно классифицировать как четные или нечетные на основании их упорядочения. Например, на фиг. 33 проиллюстрировано графическое представление положений входных пикселей (строка 375) и положений соответствующих выходных пикселей на основании различных значений DDAStep (строки 376-380). В этом примере изображенная строка представляет строку пикселей красного (R) и зеленого (Gr) в первичных байеровских данных изображения. В целях горизонтальной фильтрации пиксель красного в позиции 0,0 в строке 375 можно рассматривать как четный пиксель, пиксель зеленого в позиции 1,0 в строке 375 можно рассматривать как нечетный пиксель и т.д. Для положений выходных пикселей, четные и нечетные пиксели можно определить на основании младшего бита в дробной части (16 младших битов) DDA 372. Например, предполагая, что DDAStep равен 1,25, как показано в строке 377, младший бит соответствует биту 14 DDA, поскольку этот бит дает разрешение 0,25. Таким образом, выходной пиксель красного в позиции DDA (currDDA) 0,0 можно рассматривать как четный пиксель (младший бит, бит 14, равен 0), выходной пиксель зеленого в позиции currDDA 1,0 (бит 14 равен 1) и т.д. Кроме того, хотя на фиг. 33 показана фильтрация в горизонтальном направлении (с использованием DDAStepX), следует понимать, что определение четных и нечетных входных и выходных пикселей можно применять таким же образом в отношении вертикальной фильтрации (с использованием DDAStepY). В других вариантах осуществления, DDA 372 также можно использовать для отслеживания положений входных пикселей (например, вместо того, чтобы отслеживать положения нужных выходных пикселей). Кроме того, очевидно, что DDAStepX и DDAStepY можно присваивать одинаковые или разные значения. Кроме того, предполагая использование шаблона Байера, следует отметить, что начальный пиксель, используемый BCF 300, может быть любым из пикселей Gr, Gb, R или B в зависимости, например, от того, какой пиксель располагается на углу в активной области 280.

[0218] На основании вышеизложенного четные/нечетные входные пиксели используются для генерации четных/нечетных выходных пикселей, соответственно. При условии, что положение выходного пикселя чередуется между четной и нечетной позициями, центральное положение входного пикселя источника (именуемое здесь “currPixel”) для целей фильтрации определяется округлением DDA до ближайшего четного или нечетного положения входного пикселя для четных или нечетных положений выходных пикселей (на основании DDAStepX), соответственно. Согласно варианту осуществления, где DDA 372a сконфигурирован для использования 16 битов для представления целой части и 16 битов для представления дробной части, currPixel можно определить для четных и нечетных позиций currDDA с использованием нижеследующих уравнений 6a и 6b:

четные положения выходных пикселей можно определить на основании битов [31:16]:

(currDDA+1,0) & 0xFFFE.0000 $$\begin{array}{ccc}& & \end{array}$$ (6a)

нечетные положения выходных пикселей можно определить на основании битов [31:16]:

(currDDA)|0x0001.0000 $$\begin{array}{ccc}& & \end{array}$$ (6b)

По существу, вышеприведенные уравнения представляют операцию округления, благодаря которой четные и нечетные позиции выходных пикселей, определяемые currDDA, округляются до ближайших четных и нечетных позиций входных пикселей, соответственно, для выбора currPixel.

[0219] Дополнительно, текущий индекс или фазу (currIndex) также можно определить в каждой позиции currDDA. Как рассмотрено выше, значения индекса или фазы представляют дробную межпиксельную позицию выходной позиции пикселя относительно позиций входных пикселей. Например, в одном варианте осуществления, между каждой входной позицией пикселя можно задать 8 фаз. Например, возвращаясь к фиг. 33, 8 значений индекса 0-7 обеспечены между первым входным пикселем красного в позиции 0,0 и следующим входным пикселем красного в позиции 2,0. Аналогично, 8 значений индекса 0-7 обеспечены между первым входным пикселем зеленого в позиции 1,0 и следующим входным пикселем зеленого в позиции 3,0. В одном варианте осуществления, значения currIndex можно определить в соответствии с нижеприведенными уравнениями 7a и 7b для четных и нечетных положений выходных пикселей, соответственно:

четные положения выходных пикселей можно определить на основании битов [16:14]:

(currDDA+0,125) $$\begin{array}{ccc}& & \end{array}$$ (7a)

нечетные положения выходных пикселей можно определить на основании битов [16:14]:

(currDDA+1,125) $$\begin{array}{ccc}& & \end{array}$$ (7b)

Для нечетных позиций дополнительный сдвиг на 1 пиксель эквивалентен добавлению смещения, равного четырем, к индексу коэффициента для нечетных положений выходных пикселей для учета смещения индекса между разными цветовыми компонентами относительно DDA 372.

[0220] После определения currPixel и currIndex в конкретном положении currDDA процесс фильтрации может выбирать один или более соседних пикселей того же цвета на основании currPixel (выбранного центрального входного пикселя). В порядке примера, согласно варианту осуществления, где логика 368 горизонтального масштабирования включает в себя 5-отводный многофазный фильтр, и логика 370 вертикального масштабирования включает в себя 3-отводный многофазный фильтр, по два пикселя того же цвета по обе стороны currPixel в горизонтальном направлении можно выбирать для горизонтальной фильтрации (например, -2, -1, 0, +1, +2), и один пиксель того же цвета по обе стороны currPixel в вертикальном направлении можно выбирать для вертикальной фильтрации (например, -1, 0, +1). Кроме того, currIndex можно использовать как индекс выбора для выбора надлежащих коэффициентов фильтрации из таблицы 374 коэффициентов фильтрации для применения к выбранным пикселям. Например, с использованием варианта осуществления 5-отводной горизонтальной/3-отводной вертикальной фильтрации пять таблиц глубиной 8 может быть обеспечено для горизонтальной фильтрации, и три таблицы глубиной 8 могут быть обеспечены для вертикальной фильтрации. Хотя таблицы 374 коэффициентов фильтрации проиллюстрированы как часть BCF 300, очевидно, что они могут, в некоторых вариантах осуществления, храниться в памяти, физически отдельной от BCF 300, например в памяти 108.

[0221] Прежде чем перейти к более подробному рассмотрению операций горизонтального и вертикального масштабирования, обратимся к таблице 4, которая демонстрирует примеры того, как значения currPixel и currIndex определяются на основании различных позиций DDA с использованием разных значений DDAStep (например, применительно к DDAStepX или DDAStepY).

Таблица 4
Фильтр компенсации биннинга - DDA Примеры вычисления currPixel и currIndex Выходной пиксель (четный или нечетный) Шаг DDA 1,25 Шаг DDA 1,5 Шаг DDA 1,75 Шаг DDA 2,0 текущий DDA текущий индекс текущий пиксель текущий DDA текущий индекс текущий пиксель текущий DDA текущий индекс текущий пиксель текущий DDA текущий индекс текущий пиксель 0 0,0 0 0 0,0 0 0 0,0 0 0 0,0 0 0 1 1,25 1 1 1,5 2 1 1,75 3 1 2 4 3 0 2,5 2 2 3 4 4 3,5 6 4 4 0 4 1 3,75 3 3 4,5 6 5 5,25 1 5 6 4 7 0 5 4 6 6 0 6 7 4 8 8 0 8 1 6,25 5 7 7,5 2 7 8,75 7 9 10 4 11 0 7,5 6 8 9 4 10 10,5 2 10 12 0 12 1 8,75 7 9 10,5 6 11 12,25 5 13 14 4 15 0 10 0 10 12 0 12 14 0 14 16 0 16 1 11,25 1 11 13,5 2 13 15,75 3 15 18 4 19 0 12,5 2 12 15 4 16 17,5 6 18 20 0 20 1 13,75 3 13 16,5 6 17 19,25 1 19 22 4 23 0 15 4 16 18 0 18 21 4 22 24 0 24 1 16,25 5 17 19,5 2 19 22,75 7 23 26 4 27 0 17,5 6 18 21 4 22 24,5 2 24 28 0 28 1 18,75 7 19 22,5 6 23 26,25 5 27 30 4 31 0 20 0 20 24 0 24 28 0 28 32 0 32

[0222] Для обеспечения примера допустим, что выбран размер шага DDA (DDAStep) 1,5 (строка 378 на фиг. 33), причем текущая позиция DDA (currDDA), начинающаяся с 0, указывает четную выходную позицию пикселя. Для определения currPixel можно применять уравнение 6a, показанное ниже:

currPixel (определенная как биты [31:16] результата)=0;

Таким образом, в позиции currDDA 0,0 (строка 378), исходный входной центральный пиксель для фильтрации соответствует входному пикселю красного в позиции 0,0 строки 375.

[0223] Для определения currIndex при четной currDDA 0,0 можно применять уравнение 7a, как показано ниже:

currIndex (определенная как биты [16:14] результата)=[000]=0;

Таким образом, в позиции currDDA 0,0 (строка 378), значение currIndex, равное 0, можно использовать для выбора коэффициентов фильтрации из таблицы 374 коэффициентов фильтрации.

[0224] Соответственно, фильтрация (которая может быть вертикальной или горизонтальной в зависимости от того, измеряется ли DDAStep в направлении X (горизонтальном) или Y (вертикальном)) может применяться на основании определенных значений currPixel и currIndex при currDDA 0,0, и DDA 372 увеличивается на DDAStep (1,5), и определяются следующие значения currPixel и currIndex. Например, в следующей позиции currDDA 1,5 (нечетной позиции) currPixel можно определить с использованием уравнения 6b следующим образом:

currPixel (определенная как биты [31:16] результата)=1;

Таким образом, в позиции currDDA 1,5 (строка 378), исходный входной центральный пиксель для фильтрации соответствует входному пикселю зеленого в позиции 1,0 строки 375.

[0225] Кроме того, currIndex при нечетной currDDA 1,5 можно определить с использованием уравнения 7b, как показано ниже:

currIndex (определенная как биты [16:14] результата)=[010]=2;

Таким образом, в позиции currDDA 1,5 (строка 378), значение currIndex, равное 2, можно использовать для выбора надлежащих коэффициентов фильтрации из таблицы 374 коэффициентов фильтрации. Фильтрация (которая может быть вертикальной или горизонтальной в зависимости от того, измеряется ли DDAStep в направлении X (горизонтальном) или Y (вертикальном)) может, таким образом, применяться с использованием этих значений currPixel и currIndex.

[0226] Затем DDA 372 снова увеличивается на DDAStep (1,5), в результате чего получается значение currDDA, равное 3,0. currPixel, соответствующий currDDA 3,0, можно определить с использованием уравнения 6a, как показано ниже:

currPixel (определенная как биты [31:16] результата)=4;

Таким образом, в позиции currDDA 3,0 (строка 378), исходный входной центральный пиксель для фильтрации соответствует входному пикселю красного в позиции 4,0 строки 375.

[0227] Затем currIndex при четной currDDA 3,0 можно определить с использованием уравнения 7a, как показано ниже:

currIndex (определенная как биты [16:14] результата)=[100]=4;

Таким образом, в позиции currDDA 3,0 (строка 378), значение currIndex, равное 4, можно использовать для выбора надлежащих коэффициентов фильтрации из таблицы 374 коэффициентов фильтрации. Очевидно, что DDA 372 может и дальше увеличиваться на DDAStep для каждого выходного пикселя, и фильтрацию (которая может быть вертикальной или горизонтальной в зависимости от того, измеряется ли DDAStep в направлении X (горизонтальном) или Y (вертикальном)) можно применять с использованием currPixel и currIndex, определенных для каждого значения currDDA.

[0228] Как рассмотрено выше, currIndex можно использовать как индекс выбора для выбора надлежащих коэффициентов фильтрации из таблицы 374 коэффициентов фильтрации для применения к выбранным пикселям. Процесс фильтрации может включать в себя получение исходных пиксельных значений вокруг центрального пикселя (currPixel), умножение каждого из выбранных пикселей на надлежащие коэффициенты фильтрации, выбранные из таблицы 374 коэффициентов фильтрации на основании currIndex, и суммирование результатов для получения значения выходного пикселя в положении, соответствующем currDDA. Кроме того, поскольку настоящий вариант осуществления использует 8 фаз между пикселями одного и того же цвета, с использованием варианта осуществления 5-отводной горизонтальной/3-отводной вертикальной фильтрации, пять таблиц глубиной 8 может быть обеспечено для горизонтальной фильтрации, и три таблицы глубиной 8 могут быть обеспечены для вертикальной фильтрации. В одном варианте осуществления, каждая из записей таблицы коэффициентов может включать в себя 16-битовое число с фиксированной запятой в формате дополнения до 2 с 3 битами целой части и 13 битами дробной части.

[0229] Кроме того, предполагая шаблон байеровского изображения, в одном варианте осуществления, компонент вертикального масштабирования может включать в себя четыре отдельных 3-отводных многофазных фильтра, по одному для каждой цветовой компоненты: Gr, R, B и Gb. Каждый из 3-отводных фильтров может использовать DDA 372 для управления пошаговым изменением текущего центрального пикселя и индекса для коэффициентов, как описано выше. Аналогично, компоненты горизонтального масштабирования могут включать в себя четыре отдельных 5-отводных многофазных фильтра, по одному для каждой цветовой компоненты: Gr, R, B и Gb. Каждый из 5-отводных фильтров может использовать DDA 372 для управления пошаговым изменением (например, через DDAStep) текущего центрального пикселя и индекса для коэффициентов. Однако следует понимать, что в других вариантах осуществления компоненты горизонтального и вертикального масштабирования могут использовать меньше или больше отводов.

[0230] Для граничных случаев пиксели, используемые в процессе горизонтальной и вертикальной фильтрации, могут зависеть от соотношения текущей позиции DDA (currDDA) относительно границы кадра (например, границы, заданной активной областью 280 на фиг. 19). Например, в горизонтальной фильтрации, если позиция currDDA, при сравнении с позицией центрального входного пикселя (SrcX) и шириной (SrcWidth) кадра (например, шириной 290 активной области 280 на фиг. 19), указывает, что DDA 372 близок к границе, что обуславливает недостаток пикселей для осуществления 5-отводной фильтрации, то входные граничные пиксели одного цвета могут повторяться. Например, если выбранный центральный входной пиксель находится на левом краю кадра, то центральный пиксель может дублироваться дважды для горизонтальной фильтрации. Если центральный входной пиксель находится вблизи левого края кадра, в связи с чем доступен только один пиксель между центральным входным пикселем и левым краем, то, в целях горизонтальной фильтрации, один доступный пиксель дублируется для обеспечения двух пиксельных значений слева от центрального входного пикселя. Кроме того, логика 368 горизонтального масштабирования может быть сконфигурирована таким образом, чтобы количество входных пикселей (включающих в себя исходный и дублированный пиксели) не превышало входную ширину. Это можно выразить следующим образом:

где DDAInitX представляет начальную позицию DDA 372, DDAStepX представляет значение шага DDA в горизонтальном направлении, и BCFOutWidth представляет ширину кадра, выводимого BCF 300.

[0231] Для вертикальной фильтрации, если позиция currDDA, при сравнении с позицией центрального входного пикселя (SrcY) и шириной (SrcHeight) кадра (например, шириной 290 активной области 280 на фиг. 19), указывает, что DDA 372 близок к границе, что обуславливает недостаток пикселей для осуществления 3-отводной фильтрации, то входные граничные пиксели могут повторяться. Кроме того, логика 370 вертикального масштабирования может быть сконфигурирована таким образом, чтобы количество входных пикселей (включающих в себя исходный и дублированный пиксели) не превышало входную высоту. Это можно выразить следующим образом:

где DDAInitY представляет начальную позицию DDA 372, DDAStepY представляет значение шага DDA в вертикальном направлении, и BCFOutHeight представляет ширину кадра, выводимого BCF 300.

[0232] На фиг. 34 показана блок-схема операций, изображающая способ 382 для применения фильтрации с компенсацией биннинга к данным изображения, принятым блоком 130 предварительной обработки пикселей, в соответствии с вариантом осуществления. Очевидно, что способ 382, представленный на фиг. 34, можно применять как к вертикальному, так и к горизонтальному масштабированию. Начиная с этапа 383, инициализируется DDA 372 и определяется значение шага DDA (которое может соответствовать DDAStepX для горизонтального масштабирования и DDAStepY для вертикального масштабирования). Затем, на этапе 384, на основании DDAStep определяется текущая позиция DDA (currDDA). Как рассмотрено выше, currDDA может соответствовать положению выходного пикселя. С использованием currDDA способ 382 может определять центральный пиксель (currPixel) из входных пиксельных данных, который можно использовать для фильтрации с компенсацией биннинга для определения соответствующего выходного значения в currDDA, как указано на этапе 385. Затем, на этапе 386, индекс, соответствующий currDDA (currIndex), можно определить на основании дробной межпиксельной позиции currDDA относительно входных пикселей (например, строки 375 на фиг. 33). В порядке примера, согласно варианту осуществления, где DDA включает в себя 16 битов целой части и 16 битов дробной части, currPixel можно определить в соответствии с уравнениями 6a и 6b, и currIndex можно определить в соответствии с уравнениями 7a и 7b, как показано выше. Хотя здесь, в порядке одного примера, описана конфигурация 16-битовой целой части и 16-битовой дробной части, очевидно, что, в соответствии с настоящим изобретением, можно использовать и другие конфигурации DDA 372. В порядке примера, могут быть сконфигурированы другие варианты осуществления DDA 372, включающего в себя 12-битовую целую часть и 20-битовую дробную часть, 14-битовую целую часть и 18-битовую дробную часть и т.д.

[0233] Определив currPixel и currIndex, исходные пиксели одного цвета вокруг currPixel можно выбирать для многоотводной фильтрации, как указано этапом 387. Например, как рассмотрено выше, один вариант осуществления может использовать 5-отводную многофазную фильтрацию в горизонтальном направлении (например, путем выбора 2 пикселей одного и того же цвета по обе стороны currPixel) и может использовать 3-отводную многофазную фильтрацию в вертикальном направлении (например, путем выбора 1 пикселя одного цвета по обе стороны currPixel). Затем, на этапе 388, после выбора исходных пикселей, коэффициенты фильтрации можно выбирать из таблицы 374 коэффициентов фильтрации BCF 300 на основании currIndex.

[0234] После этого, на этапе 389, фильтрация может применяться к исходным пикселям для определения значения выходного пикселя, соответствующего позиции, представленной currDDA. Например, в одном варианте осуществления, исходные пиксели можно умножать на их соответствующие коэффициенты фильтрации, и результаты можно суммировать для получения выходного пиксельного значения. Направление, в котором применяется фильтрация на этапе 389, может быть вертикальным или горизонтальным в зависимости от того, измеряется ли DDAStep в направлении X (горизонтальном) или Y (вертикальном). Наконец, на этапе 263, DDA 372 увеличивается на DDAStep на этапе 390, и способ 382 возвращается к этапу 384 за счет чего, следующее выходное пиксельное значение определяется с использованием рассмотренных здесь методов фильтрации с компенсацией биннинга.

[0235] На фиг. 35 более подробно проиллюстрирован этап 385 для определения currPixel способа 382 в соответствии с одним вариантом осуществления. Например, этап 385 может включать в себя подэтап 392 определения, является ли положение выходного пикселя, соответствующее currDDA (из этапа 384), четным или нечетным. Как рассмотрено выше, четный или нечетный выходной пиксель можно определить на основании младшего бита currDDA на основании DDAStep. Например, при условии, что DDAStep равен 1,25, значение currDDA, равное 1,25, можно определить как нечетное, поскольку младший бит (соответствующий биту 14 дробной части DDA 372) имеет значение 1. Для значения currDDA, равного 2,5, бит 14 равен 0, таким образом, указывая четное положение выходного пикселя.

[0236] На логике 393 принятия решения производится определение, является ли положение выходного пикселя, соответствующее currDDA, четным или нечетным. Если выходной пиксель является четным, логика 393 принятия решения переходит к подэтапу 394, на котором currPixel определяется путем увеличения значения currDDA на 1 и округления результата до ближайшего четного положения входного пикселя, что представлено вышеприведенным уравнением 6a. Если выходной пиксель является нечетным, то логика 393 принятия решения переходит к подэтапу 395, на котором currPixel определяется путем округления значения currDDA до ближайшего нечетного положения входного пикселя, что представлено вышеприведенным уравнением 6b. Затем значение currPixel может применяться к этапу 387 способа 382 для выбора исходных пикселей для фильтрации, как рассмотрено выше.

[0237] На фиг. 36 более подробно проиллюстрирован этап 386 для определения currIndex из способа 382 в соответствии с одним вариантом осуществления. Например, этап 386 может включать в себя подэтап 396 определения, является ли положение выходного пикселя, соответствующее currDDA (из этапа 384), четным или нечетным. Это определение может осуществляться аналогично этапу 392 на фиг. 35. На логике 397 принятия решения производится определение, является ли положение выходного пикселя, соответствующее currDDA, четным или нечетным. Если выходной пиксель является четным, логика 397 принятия решения переходит к подэтапу 398, на котором currIndex определяется путем увеличения значения currDDA на один шаг индекса, и currIndex определяется на основании младшего бита целой части и двух старших битов дробной части DDA 372. Например, согласно варианту осуществления, в котором 8 фаз обеспечены между каждым пикселем одного и того же цвета, и в котором DDA включает в себя 16 битов целой части и 16 битов дробной части, один шаг индекса может соответствовать 0,125, и currIndex можно определить на основании битов [16:14] значения currDDA, увеличенного на 0,125 (например, уравнение 7a). Если выходной пиксель является нечетным, логика 397 принятия решения переходит к подэтапу 399, на котором currIndex определяется путем увеличения значения currDDA на один шаг индекса и сдвига на один пиксель, и currIndex определяется на основании младшего бита целой части и двух старших битов дробной части DDA 372. Таким образом, согласно варианту осуществления, в котором 8 фаз обеспечены между каждым пикселем одного и того же цвета, и в котором DDA включает в себя 16 битов целой части и 16 битов дробной части, один шаг индекса может соответствовать 0,125, сдвиг на один пиксель может соответствовать 1,0 (сдвиг на 8 шагов индекса до следующего пикселя того же цвета), и currIndex можно определить на основании битов [16:14] значения currDDA, увеличенного на 1,125 (например, уравнение 7b).

[0238] Хотя проиллюстрированный здесь вариант осуществления предусматривает BCF 300 как компонент блока 130 предварительной обработки пикселей, другие варианты осуществления могут включать BCF 300 в конвейер обработки первичных данных изображения конвейера 82 ISP, который, как дополнительно рассмотрено ниже, может включать в себя логику обнаружения/коррекции дефектных пикселей, блоки коэффициента усиления/смещения/компенсация, логику шумопонижения, логику коррекции затенения объектива и логику демозаики. Кроме того, в вариантах осуществления, где вышеупомянутые логика обнаружения/коррекции дефектных пикселей, блоки коэффициента усиления/смещения/компенсация, логика шумопонижения, логика коррекции затенения объектива не опираются на линейное размещение пикселей, BCF 300 может быть включен в логику демозаики для осуществления фильтрации с компенсацией биннинга и повторное размещение пикселей до демозаики, поскольку демозаика, в общем случае, не опирается на равномерное пространственное размещение пикселей. Например, в одном варианте осуществления, BCF 300 может быть включен где-то между входом датчика и логикой демозаики, причем временная фильтрация и/или обнаружение/коррекция дефектных пикселей применяются к первичным данным изображения до компенсации биннинга.

[0239] Как рассмотрено выше, выходной сигнал BCF 300, который может быть выходным сигналом FEProcOut (109), имеющим равномерно распределенные в пространстве данные изображения (например, выборка 360 на фиг. 31), может перенаправляться на логику 82 конвейерной обработки ISP для дополнительной обработки. Однако прежде чем перенести фокус этого рассмотрения на логику 82 конвейерной обработки ISP, обратимся к более детализированному описанию различных функциональных возможностей, которые могут обеспечиваться блоками статистической обработки (например, 122 и 124), которые можно реализовать в логике 80 предварительной обработки ISP.

[0240] Возвращаясь к общему описанию блоков 120 и 122 статистической обработки, эти блоки могут быть сконфигурированы для сбора различных статистических данных о датчиках изображения, которые захватывают и обеспечивают первичные сигналы изображения (Sif0 и Sif1), например статистике, относящейся к автоматической установке экспозиции, автоматическому балансу белого, автофокусировке, обнаружению мерцания, компенсации уровня черного и коррекции затенения объектива и т.д. При этом блоки 120 и 122 статистической обработки могут сначала применять одну или более операций обработки изображений к своим соответствующим входным сигналам, Sif0 (от Sensor0) и Sif1 (от Sensor1).

[0241] Например, на фиг. 37 проиллюстрирована более детализированная блок-схема блока 120 статистической обработки, связанного с Sensor0 (90a), в соответствии с одним вариантом осуществления. Как показано, блок 120 статистической обработки может включать в себя следующие функциональные блоки: логику 460 обнаружения и коррекции дефектных пикселей, логику 462 компенсации уровня черного (BLC), логику 464 коррекции затенения объектива, логику 466 обратной BLC и логику 468 сбора статистики. Каждый из этих функциональных блоков будет рассмотрен ниже. Кроме того, следует понимать, что блок 122 статистической обработки, связанный с Sensor1 (90b), можно реализовать аналогичным образом.

[0242] Первоначально, выходной сигнал логики 124 выбора (например, Sif0 или SifIn0) принимается логикой 460 предварительной обработки по коррекции дефектных пикселей. Очевидно, что “дефектные пиксели” следует понимать в смысле пикселей формирования изображения в датчике(ах) 90 изображения, которым не удается точно воспринимать уровни света. Наличие дефектных пикселей может объясняться рядом факторов, и они могут включать в себя “горячие” (или с утечкой) пиксели, “залипшие” пиксели и “мертвые” пиксели. “Горячий” пиксель, в общем случае, выглядит более ярким, чем недефектный пиксель при условии одного и того же количества света в одном и том же пространственном положении. Горячие пиксели могут возникать вследствие отказов при сбросе и/или высокой утечки. Например, горячий пиксель может демонстрировать сверхнормативную утечку заряда относительно недефектных пикселей и, таким образом, может выглядеть более ярким, чем недефектные пиксели. Дополнительно, “мертвые” и “залипшие” пиксели могут возникать в результате загрязнений, например пыли или других следовых материалов, загрязняющих датчик изображения в процессе изготовления и/или сборки, из-за чего некоторые дефектные пиксели могут быть темнее или ярче недефектного пикселя, или дефектный пиксель может фиксироваться на конкретном значении независимо от количества света, фактически попадающего на него. Дополнительно, мертвые и залипшие пиксели также могут быть обусловлены отказами схемы, которые происходят при эксплуатации датчика изображения. В порядке примера, залипший пиксель может выглядеть как постоянно включенный (например, полностью заряженный) и, таким образом, более яркий, тогда как мертвый пиксель выглядит, как постоянно выключенный.

[0243] Логика 460 обнаружения и коррекции дефектных пикселей (DPDC) в логике 80 предварительной обработки ISP может корректировать (например, заменять неправильные пиксельные значения) дефектные пиксели до того, как они будут учтены при сборе статистики (например, 468). В одном варианте осуществления, коррекция дефектных пикселей осуществляется независимо для каждой цветовой компоненты (например, R, B, Gr и Gb для шаблона Байера). В общем случае, логика 460 предварительной обработки DPDC может обеспечивать коррекцию динамических дефектов, при которой положения дефектных пикселей определяются автоматически на основании направленных градиентов, вычисляемых с использованием соседних пикселей того же цвета. Как будет понятно, дефекты могут быть “динамическими” в том смысле, что характеризация пикселя как дефектного в данный момент времени может зависеть от данных изображения в соседних пикселях. В порядке примера, залипший пиксель, который всегда имеет максимальную яркость, может не рассматриваться как дефектный пиксель, если залипший пиксель располагается в области текущего изображения, где преобладают более яркие или белый цвета. Напротив, если залипший пиксель находится в области текущего изображения, где преобладают черный или более темные цвета, то залипший пиксель можно идентифицировать как дефектный пиксель в ходе обработки логикой 460 DPDC и соответственно корректировать.

[0244] Логика 460 DPDC может использовать один или более горизонтально соседних пикселей одного и того же цвета по обе стороны текущего пикселя для определения, является ли текущий пиксель дефектным, с использованием направленных градиентов от пикселя к пикселю. Если текущий пиксель идентифицируется как дефектный, значение дефектного пикселя можно заменить значением соседнего по горизонтали пикселя. Например, в одном варианте осуществления, используется пять горизонтально соседних пикселей одного и того же цвета, находящихся внутри границы первичного кадра 278 (фиг. 19), причем пять горизонтально соседних пикселей включают в себя текущий пиксель и по два соседних пикселя с каждой стороны. Таким образом, согласно фиг. 38, для данной цветовой компоненты c и для текущего пикселя P логика 460 DPDC может рассматривать горизонтально соседние пиксели P0, P1, P2 и P3. Однако следует отметить, что в зависимости от положения текущего пикселя P, пиксели вне первичного кадра 278 не рассматриваются при вычислении градиентов от пикселя к пикселю.

[0245] Например, как показано на фиг. 38, в случае 470 “левого края”, текущий пиксель P находится на самом левом краю первичного кадра 278, и, таким образом, соседние пиксели P0 и P1 вне первичного кадра 278 не рассматриваются, оставляя только пиксели P, P2 и P3 (N=3). В случае 472 “левый край + 1”, текущий пиксель P находится в одном пиксельном блоке от самого левого края первичного кадра 278, и, таким образом, пиксель P0 не рассматривается. В результате, остаются только пиксели P1, P, P2 и P3 (N=4). Кроме того, в “центрированном” случае 474, пиксели P0 и P1 слева от текущего пикселя P и пиксели P2 и P3 справа от текущего пикселя P находятся внутри границы первичного кадра 278, и, таким образом, все соседние пиксели P0, P1, P2 и P3 (N=5) рассматриваются при вычислении градиентов от пикселя к пикселю. Дополнительно, аналогичные случаи 476 и 478 могут иметь место при достижении самого правого края первичного кадра 278. Например, в случае 476 “правый край -1”, текущий пиксель P находится в одном пиксельном блоке от самого правого края первичного кадра 278, и, таким образом, пиксель P3 не рассматривается (N=4). Аналогично, в случае 478 “правого края”, текущий пиксель P находится на самом правом краю первичного кадра 278, и, таким образом, оба соседних пикселя P2 и P3 не рассматриваются (N=3).

[0246] В проиллюстрированном варианте осуществления, для каждого соседнего пикселя (k=0~3) внутри границы изображения (например, первичный кадр 278) градиенты от пикселя к пикселю можно вычислять следующим образом:

, для (только для k в первичном кадре) $$\begin{array}{cc}& \end{array}$$ (8)

После определения градиентов от пикселя к пикселю обнаружение дефектных пикселей может осуществляться логикой 460 DPDC следующим образом. Прежде всего, предполагается, что пиксель является дефектным, если некоторое количество его градиентов G_k находится на конкретном пороге или ниже, который обозначается переменной dprTh. Таким образом, для каждого пикселя, накапливается счетчик (C) количества градиентов для соседних пикселей внутри границ изображения, которые находятся на пороге dprTh или ниже. В порядке примера, для каждого соседнего пикселя внутри первичного кадра 278 накопленный счетчик C градиентов G_k, которые находятся на пороге dprTh или ниже, можно вычислить следующим образом:

, $$\begin{array}{ccc}& & \end{array}$$ (9)

для (только для k в первичном кадре).

Очевидно, что в зависимости от цветовых компонент, пороговое значение dprTh может изменяться. Затем, если определено, что накопленный счетчик C меньше или равен максимальному счетчику, обозначенному переменной dprMaxC, то пиксель можно рассматривать как дефектный. Эта логика выражена ниже:

если (C≤dprMaxC), то пиксель является дефектным. $$\begin{array}{ccc}& & \end{array}$$ (10)

[0247] Дефектные пиксели заменяются с использованием ряда соглашений по замене. Например, в одном варианте осуществления, дефектный пиксель можно заменить пикселем, находящимся непосредственно слева от него, P1. При граничном условии (например, P1 находится вне первичного кадра 278) дефектный пиксель можно заменить пикселем, находящимся непосредственно справа от него, P2. Кроме того, следует понимать, что значения замены могут сохраняться или распространяться на последующие операции обнаружения дефектных пикселей. Например, в отношении набора горизонтальных пикселей, показанного на фиг. 38, если P0 или P1 ранее были идентифицированы логикой 460 DPDC как дефектные пиксели, их соответствующие значения замены можно использовать для обнаружения дефектных пикселей и замены текущего пикселя P.

[0248] Чтобы подытожить рассмотренные выше методы обнаружения и коррекции дефектных пикселей, обратимся к фиг. 39, где в виде блок-схемы операций, изображен такой процесс, обозначенный ссылочной позицией 480. Как показано, процесс 480 начинается с этапа 482, на котором принимается текущий пиксель (P) и идентифицируется набор соседних пикселей. В соответствии с вышеописанным вариантом осуществления, соседние пиксели могут включать в себя два горизонтальных пикселя одной и той же цветовой компоненты по обе стороны текущего пикселя (например, P0, P1, P2 и P3). Затем, на этапе 484, горизонтальные градиенты от пикселя к пикселю вычисляются относительно каждого соседнего пикселя в первичном кадре 278, как описано выше в уравнении 8. После этого, на этапе 486, определяется счетчик C количества градиентов, которые меньше или равны конкретному порогу dprTh. Как показано на логике 488 принятия решения, если C меньше или равен dprMaxC, то процесс 480 переходит к этапу 490, и текущий пиксель идентифицируется как дефектный. Затем дефектный пиксель корректируется на этапе 492 с использованием значения замены. Дополнительно, возвращаясь к логике 488 принятия решения, если C больше dprMaxC, то процесс переходит к этапу 494, и текущий пиксель идентифицируется как недефектный, и его значение не изменяется.

[0249] Следует отметить, что методы обнаружения/коррекции дефектных пикселей, применяемые при предварительной статистической обработке ISP, могут быть менее надежными, чем обнаружение/коррекция дефектных пикселей, которая осуществляется в логике 82 конвейера ISP. Например, как будет более подробно рассмотрено ниже, обнаружение/коррекция дефектных пикселей, осуществляемая в логике 82 конвейера ISP, может, помимо коррекции динамических дефектов, дополнительно обеспечивать коррекцию фиксированных дефектов, в которой положения дефектных пикселей заранее известны и загружены в одну или более таблиц дефектов. Кроме того, коррекция динамических дефектов в логике 82 конвейера ISP также может рассматривать пиксельные градиенты в горизонтальном и вертикальном направлениях, и также может обеспечивать обнаружение/коррекцию спеклов, что будет рассмотрено ниже.

[0250] Согласно фиг. 37, выходной сигнал логики 460 DPDC затем поступает на логику 462 компенсации уровня черного (BLC). Логика 462 BLC может обеспечивать коэффициент цифрового усиления, смещение и отсечку независимо для каждой цветовой компоненты “c” (например, R, B, Gr и Gb для Байера) на пикселях, используемых для сбора статистики. Например, как выражено следующей операцией, входное значение для текущего пикселя сначала смещается на знаковое значение, и затем умножается на коэффициент усиления.

где X представляет входное пиксельное значение для данной цветовой компоненты c (например, R, B, Gr или Gb), O[c] представляет знаковое 16-битовое смещение для текущей цветовой компоненты c, и G[c] представляет значение коэффициента усиления для цветовой компоненты c. В одном варианте осуществления, коэффициент G[c] усиления может представлять собой 16-битовое беззнаковое число с 2 битами целой части и 14 битами дробной части (например, в представлении 2,14 с плавающей запятой), и коэффициент G[c] усиления можно применять с округлением. Исключительно в порядке примера, коэффициент G[c] усиления может принимать значения в пределах от 0 до 4X (например, 4-кратное входное пиксельное значение).

[0251] Затем, как показано ниже уравнением 12, вычисленное значение Y, которое является знаковым, можно затем обрезать до минимального и максимального диапазона:

[0252] Переменные min[c] и max[c] могут представлять знаковые 16-битовые значения отсечки для минимального и максимального выходных значений, соответственно. В одном варианте осуществления, логика 462 BLC также может быть сконфигурирована для поддержания счетчика количества пикселей, которые были отсечены выше и ниже максимума и минимума, соответственно, для каждой цветовой компоненты.

[0253] Затем выходной сигнал логики 462 BLC перенаправляется на логику 464 коррекции затенения объектива (LSC). Логика 464 LSC может быть сконфигурирована для применения надлежащего коэффициента усиления на попиксельной основе для компенсации спадов интенсивности, которые, в общем случае, приближенно пропорциональны расстоянию от оптического центра объектива 88 устройства 30 формирования изображения. Очевидно, что такие спады могут быть результатом геометрической оптики объектива. В порядке примера, объектив, обладающий идеальными оптическими свойствами, можно смоделировать четвертой степенью косинуса угла падения, cos⁴(θ), так называемым законом cos⁴. Однако, поскольку изготовление объектива не совершенно, различные нарушения в объективе могут приводить к отклонению оптических свойств от гипотетической модели cos⁴. Например, большинство нарушений обычно имеет место на более тонком краю объектива. Дополнительно, неравномерности в шаблонах затенения объектива также могут приводить к тому, что микролинзовая матрица в датчике изображения не будет полностью выровнена с матрицей цветовых фильтров. Кроме того, инфракрасный (ИК) фильтр в некоторых объективах может приводить к тому, что спад будет зависеть от источника света, что позволяет адаптировать коэффициенты усиления затенения объектива в зависимости от обнаруженного источника света.

[0254] На фиг. 40 проиллюстрирован трехмерный профиль 496, изображающий зависимость интенсивности света от позиции пикселя для типичного объектива. Как показано, интенсивность света вблизи центра 498 объектива постепенно спадает к углам или краям 500 объектива. Неравномерности затенения объектива, изображенные на фиг. 40, более детально проиллюстрированы на фиг. 41, которая демонстрирует цветной чертеж изображения 502, который демонстрирует спады интенсивности света к углам и краям. В частности, следует отметить, что интенсивность света вблизи центра изображения представляется более высокой, чем интенсивность света на углах и/или краях изображения.

[0255] В соответствии с вариантами осуществления настоящего изобретения, коэффициенты усиления коррекции затенения объектива можно задать в виде двухмерной сетки коэффициентов усиления для каждого цветового канала (например, Gr, R, B, Gb для байеровского фильтра). Точки сетки коэффициентов усиления могут распределяться с фиксированными горизонтальным и вертикальным интервалами в первичном кадре 278 (фиг. 19). Как рассмотрено выше на фиг. 19, первичный кадр 278 может включать в себя активную область 280, которая задает область, в которой осуществляется обработка для конкретной операции обработки изображений. В отношении операции коррекции затенения объектива, область активной обработки, которая может именоваться областью LSC, задана в первичной области 278 кадра. Как будет рассмотрено ниже, область LSC должна находиться полностью внутри или на границах сетки коэффициентов усиления, иначе результаты могут быть неопределенными.

[0256] Например, на фиг. 42 показаны область 504 LSC и сетка 506 коэффициентов усиления, которые можно задать в первичном кадре 278. Область 504 LSC может иметь ширину 508 и высоту 510 и может задаваться смещением 512 по оси x и смещением 514 по оси y относительно границы первичного кадра 278. Также обеспечены смещения сетки (например, смещение 516 сетки по оси x и смещение 518 сетки по оси y) от основы 520 коэффициентов усиления 506 сетки до первого пикселя 522 в области 504 LSC. Эти смещения могут быть в первом интервале сетки для данной цветовой компоненты. Интервалы 524 и 526 точек сетки в горизонтальном направлении (x) и вертикальном направлении (y), соответственно, можно задавать независимо для каждого цветового канала.

[0257] Как рассмотрено выше, предполагая использование матрицы байеровских цветовых фильтров, можно задать 4 цветовых канала (R, B, Gr и Gb) коэффициентов усиления сетки. В одном варианте осуществления, может быть доступно всего 4K (4096) точек сетки, и для каждого цветового канала, может быть обеспечен базовый адрес для начального положения коэффициентов усиления сетки, например, с использованием указателя. Кроме того, горизонтальный (524) и вертикальный (526) интервалы точек сетки можно задать в отношении пикселей с разрешением в одну цветовую плоскость и в некоторых вариантах осуществления можно обеспечить интервалы точек сетки, различающиеся степенью 2, например 8, 16, 32, 64 или 128 и т.д., в горизонтальном и вертикальном направлениях. Очевидно, что, используя степень 2, можно добиться эффективной реализации интерполяции коэффициента усиления с использованием операций сдвига (например, деления) и сложения. С использованием этих параметров, одни и те же значения коэффициента усиления можно использовать даже когда область обрезки датчика изображения изменяется. Например, для выравнивания точек сетки с обрезанной областью необходимо обновлять лишь несколько параметров (например, обновлять смещения 524 и 526 сетки) вместо того, чтобы обновлять все значения коэффициента усиления сетки. Исключительно в порядке примера, это может оказаться полезным, когда обрезка используется в ходе операций цифровой трансфокации. Кроме того, хотя сетка 506 коэффициентов усиления, показанная согласно варианту осуществления, представленному на фиг. 42, изображена имеющей, в общем случае, равноразнесенные точки сетки, следует понимать, что в других вариантах осуществления, точки сетки не обязаны быть равноразнесенными. Например, в некоторых вариантах осуществления, точки сетки могут распределяться неравномерно (например, логарифмически) таким образом, что точки сетки менее сконцентрированы в центре области 504 LSC, но более сконцентрированы по углам области 504 LSC, где искажение затенения объектива обычно более заметно.

[0258] В соответствии с раскрытыми здесь методами коррекции затенения объектива, когда положение текущего пикселя располагается вне области 504 LSC, коэффициент усиления не применяется (например, пиксель остается неизменным). Когда положение текущего пикселя находится в положении сетки коэффициентов усиления, можно использовать значение коэффициента усиления в этой конкретной точке сетки. Однако когда положение текущего пикселя находится между точками сетки, коэффициент усиления можно интерполировать с использованием билинейной интерполяции. Ниже приведен пример интерполяции коэффициента усиления для положения пикселя “G” на фиг. 43.

[0259] Как показано на фиг. 43, пиксель G находится между точками G0, G1, G2 и G3 сетки, которые могут соответствовать верхнему левому, верхнему правому, нижнему левому и нижнему правому коэффициентам усиления, соответственно, относительно положения текущего пикселя G. Горизонтальный и вертикальный размер интервала сетки представлены X и Y, соответственно. Дополнительно, ii и jj представляют горизонтальное и вертикальное смещения пикселя, соответственно, относительно позиции верхнего левого коэффициента G0 усиления. На основании этих факторов, коэффициент усиления, соответствующий позиции G, можно, таким образом, интерполировать следующим образом:

Затем члены в вышеприведенном уравнении 13a можно комбинировать для получения следующего выражения:

В одном варианте осуществления, способ интерполяции может осуществляться с приращениями, а не с использованием множителя на каждом пикселе, что позволяет снизить вычислительную сложность. Например, член (ii)(jj) можно реализовать с использованием сумматора, который может быть первоначально установлен равным 0 в положении (0, 0) сетки 506 коэффициентов усиления и увеличиваться на текущий номер строки каждый раз, когда текущий номер столбца увеличивается на пиксель. Как рассмотрено выше, поскольку значения X и Y можно выбирать как степени двойки, интерполяция коэффициента усиления может осуществляться с использованием простых операций сдвига. Таким образом, множитель необходим в точке G0 сетки (а не на каждом пикселе), и только операции сложения необходимы для определения интерполированного коэффициента усиления для остальных пикселей.

[0260] В некоторых вариантах осуществления, интерполяция коэффициентов усиления между точками сетки может использовать 14-битовую точность, и коэффициенты усиления сетки могут быть беззнаковыми 10-битовыми значениями с 2 битами целой части и 8 битами дробной части (например, в представлении 2,8 с плавающей запятой). С использованием этого соглашения, коэффициент усиления может принимать значения в пределах от 0 до 4X, и разрешение по коэффициенту усиления между точками сетки может составлять 1/256.

[0261] Методы коррекции затенения объектива можно дополнительно проиллюстрировать процессом 528, показанным на фиг. 44. Как показано, процесс 528 начинается с этапа 530, на котором позиция текущего пикселя определяется относительно границ области 504 LSC, показанной на фиг. 42. Затем логика 532 принятия решения определяет, находится ли позиция текущего пикселя в области 504 LSC. Если позиция текущего пикселя находится вне области 504 LSC, процесс 528 переходит к этапу 534, и коэффициент усиления не применяется к текущему пикселю (например, пиксель остается неизменным).

[0262] Если позиция текущего пикселя находится в области 504 LSC, процесс 528 переходит к логике 536 принятия решения, на которой дополнительно производится определение, соответствует ли позиция текущего пикселя точке сетки в сетке 504 коэффициентов усиления. Если позиция текущего пикселя соответствует точке сетки, то значение коэффициента усиления в этой точке сетки выбирается и применяется к текущему пикселю, как показано на этапе 538. Если позиция текущего пикселя не соответствует точке сетки, то процесс 528 переходит к этапу 540, и коэффициент усиления интерполируется на основании граничных точек сетки (например, G0, G1, G2 и G3 на фиг. 43). Например, интерполированный коэффициент усиления можно вычислить в соответствии с уравнениями 13a и 13b, как рассмотрено выше. После этого процесс 528 заканчивается на этапе 542, на котором интерполированный коэффициент усиления из этапа 540 применяется к текущему пикселю.

[0263] Очевидно, что процесс 528 может повторяться для каждого пикселя данных изображения. Например, на фиг. 45 проиллюстрирован трехмерный профиль, изображающий коэффициенты усиления, которые могут применяться к каждой позиции пикселя в области LSC (например, 504). Как показано, коэффициент усиления, применяемый в углах 544 изображения, в общем случае, может быть больше, чем коэффициент усиления, применяемый к центру 546 изображения вследствие большего спада интенсивности света в углах, как показано на фиг. 40 и 41. С использованием описанных здесь методов коррекции затенения объектива, возникновение спадов интенсивности света в изображении можно ослабить или, по существу, исключить. Например, на фиг. 46 приведен пример того, как может выглядеть цветной чертеж изображения 502 из фиг. 41 после применения коррекции затенения объектива. Как показано, по сравнению с исходным изображением из фиг. 41, общая интенсивность света, в общем случае, является более однородной по изображению. В частности, интенсивность света вблизи центра изображения может быть, по существу, равна значениям интенсивности света на углах и/или краях изображения. Дополнительно, как упомянуто выше, вычисление интерполированного коэффициента усиления (уравнения 13a и 13b) можно, в некоторых вариантах осуществления, заменить аддитивной “дельтой” между точками сетки, воспользовавшись преимуществом структуры последовательного увеличения номеров столбца и строки. Очевидно, что это позволяет снизить вычислительную сложность.

[0264] В дополнительных вариантах осуществления, помимо использования коэффициентов усиления сетки, используется глобальный коэффициент усиления для каждой цветовой компоненты, который масштабируется как функция расстояния от центра изображения. Центр изображения можно обеспечить как входной параметр и можно оценивать, анализируя амплитуду интенсивности света каждого пикселя изображения в однородно освещенном изображении. Радиальное расстояние между идентифицированным центральным пикселем и текущим пикселем затем можно использовать для получения линейно масштабированного радиального коэффициента усиления, G_r, как показано ниже:

где G_p[c] представляет параметр глобального коэффициента усиления для каждой цветовой компоненты c (например, компонент R, B, Gr и Gb для шаблона Байера), и где R представляет радиальное расстояние между центральным пикселем и текущим пикселем.

[0265] Согласно фиг. 47, которая демонстрирует рассмотренную выше область 504 LSC, расстояние R можно вычислять или оценивать с использованием нескольких методов. Как показано, пиксель C, соответствующий центру изображения, может иметь координаты (x₀, y₀), и текущий пиксель G может иметь координаты (x_G, y_G). В одном варианте осуществления, логика 464 LSC может вычислять расстояние R с использованием следующего уравнения:

[0266] В другом варианте осуществления, для получения оценочного значения для R можно использовать упрощенную формулу оценивания, показанную ниже.

В уравнении 16 оценочные коэффициенты α и β можно масштабировать до 8-битовых значений. Исключительно в порядке примера, в одном варианте осуществления, α может быть равен приблизительно 123/128, и β может быть равен приблизительно 51/128 для обеспечения оценочного значения для R. При использовании этих значений коэффициентов наибольшая ошибка может составлять приблизительно 4%, при средней ошибке приблизительно 1,3%. Таким образом, несмотря на то, что метод оценивания может быть несколько менее точным, чем использование способа вычисления при определении R (уравнение 15), граница ошибки достаточно низка, что позволяет использовать оценочные значения R для определения радиальных компонент коэффициента усиления для существующих методов коррекции затенения объектива.

[0267] Затем радиальный коэффициент G_r усиления можно умножить на интерполированное значение коэффициента G усиления сетки (уравнения 13a и 13b) для текущего пикселя для определения полного коэффициента усиления, который может применяться к текущему пикселю. Выходной пиксель Y получается путем умножения входного пиксельного значения X на полный коэффициент усиления, как показано ниже:

Таким образом, в соответствии с настоящим изобретением, коррекция затенения объектива может осуществляться с использованием только интерполированного коэффициента усиления, совместно интерполированного коэффициента усиления и радиальных компонент коэффициента усиления. Альтернативно, коррекция затенения объектива также может осуществляться с использованием только радиального коэффициента усиления совместно с таблицей радиальной сетки, которая компенсирует ошибки радиальной аппроксимации. Например, вместо прямоугольной сетки 506 коэффициентов усиления, показанной на фиг. 42, может быть обеспечена радиальная сетка коэффициентов усиления, имеющая множество точек сетки, задающих коэффициенты усиления в радиальном и угловом направлениях. Таким образом, при определении коэффициента усиления для применения к пикселю, который не выровнен с одной из точек радиальный сетки в области 504 LSC, интерполяцию можно применять с использованием четырех точек сетки, окружающих пиксель, для определения надлежащего интерполированного коэффициента усиления затенения объектива.

[0268] На фиг. 48 использование интерполированной и радиальной компонент коэффициента усиления в коррекции затенения объектива проиллюстрировано процессом 548. Следует отметить, что процесс 548 может включать в себя этапы, аналогичные этапам процесса 528, описанного выше на фиг. 44. Соответственно, такие этапы обозначены аналогичными ссылочными позициями. Начиная с этапа 530, принимается текущий пиксель и определяется его положение относительно области 504 LSC. Затем логика 532 принятия решения определяет, находится ли позиция текущего пикселя в области 504 LSC. Если позиция текущего пикселя находится вне области 504 LSC, процесс 548 переходит к этапу 534, и коэффициент усиления не применяется к текущему пикселю (например, пиксель остается неизменным). Если позиция текущего пикселя находится в области 504 LSC, то процесс 548 может одновременно перейти к этапу 550 и логике 536 принятия решения. На этапе 550 извлекаются данные, идентифицирующие центр изображения. Как рассмотрено выше, определение центра изображения может включать в себя анализ амплитуд интенсивности света для пикселей при однородном освещении. Это может происходить, например, в ходе калибровки. Таким образом, следует понимать, что этап 550 не обязательно предусматривает повторяющееся вычисление центра изображения для обработки каждого пикселя, но может подразумевать извлечение данных (например, координат) ранее определенного центра изображения. После идентификации центра изображения процесс 548 может перейти к этапу 552, на котором определяется расстояние между центром изображения и положением (R) текущего пикселя. Как рассмотрено выше, значение R можно вычислять (уравнение 15) или оценивать (уравнение 16). Затем, на этапе 554, радиальную компоненту коэффициента G_r усиления можно вычислить с использованием расстояния R и параметра глобального коэффициента усиления, соответствующего цветовой компоненте текущего пикселя (уравнение 14). Радиальную компоненту коэффициента G_r усиления можно использовать для определения полного коэффициента усиления, что будет рассмотрено ниже на этапе 558.

[0269] Логика 536 принятия решения определяет, соответствует ли позиция текущего пикселя точке сетки в сетке 504 коэффициентов усиления. Если позиция текущего пикселя соответствует точке сетки, то значение коэффициента усиления в этой точке сетки определяется, как показано на этапе 556. Если позиция текущего пикселя не соответствует точке сетки, то процесс 548 переходит к этапу 540, и интерполированный коэффициент усиления вычисляется на основании граничных точек сетки (например, G0, G1, G2 и G3 на фиг. 43). Например, интерполированный коэффициент усиления можно вычислить в соответствии с уравнениями 13a и 13b, как рассмотрено выше. Затем, на этапе 558, полный коэффициент усиления определяется на основании радиального коэффициента усиления, определенного на этапе 554, а также одного из коэффициентов усиления сетки (этап 556) или интерполированного коэффициента усиления (540). Очевидно, что это может зависеть от ветви, выбранной логикой 536 принятия решения в процессе 548. Затем полный коэффициент усиления применяется к текущему пикселю, как показано на этапе 560. Опять же, следует отметить, что, аналогично процессу 528, процесс 548 также может повторяться для каждого пикселя данных изображения.

[0270] Использование радиального коэффициента усиления совместно с коэффициентами усиления сетки может обеспечивать различные преимущества. Например, использование радиального коэффициента усиления позволяет использовать единую общую сетку коэффициентов усиления для всех цветовых компонент. Это позволяет значительно сократить суммарную емкость хранилища, необходимую для хранения отдельных сеток коэффициентов усиления для каждой цветовой компоненты. Например, в байеровском датчике изображения, использование единой сетки коэффициентов усиления для каждой из компонент R, B, Gr и Gb может окращать объем данных сетки коэффициентов усиления приблизительно на 75%. Очевидно, что это сокращение объема данных сетки коэффициента усиления позволяет снизить стоимость реализации, поскольку таблицы данных сетки коэффициента усиления могут занимать значительный участок памяти или площадь микросхемы в оборудовании обработки изображений. Кроме того, в зависимости от аппаратной реализации, использование единого набора значений сетки коэффициентов усиления может обеспечивать дополнительные преимущества, например уменьшение общей площади микросхемы (например, когда значения сетки коэффициентов усиления хранятся во внутрикристалльной памяти) и снижение требований к пропускной способности памяти (например, когда значения сетки коэффициентов усиления хранятся во внекристалльной внешней памяти).

[0271] Исходя из полностью описанных функциональных возможностей логики 464 коррекции затенения объектива, показанной на фиг. 37, выходной сигнал логики 464 LSC затем перенаправляется на логику 466 обратной компенсации уровня черного (IBLC). Логика 466 IBLC обеспечивает коэффициент усиления, смещение и отсечку независимо для каждой цветовой компоненты (например, R, B, Gr и Gb) и, в общем случае, осуществляет обратную функцию относительно логики 462 BLC. Например, как демонстрирует следующая операция, значение входного пикселя сначала умножается на коэффициент усиления и затем смещается на знаковое значение.

где X представляет входное пиксельное значение для данной цветовой компоненты c (например, R, B, Gr или Gb), O[c] представляет знаковое 16-битовое смещение для текущей цветовой компоненты c и G[c] представляет значение коэффициента усиления для цветовой компоненты c. В одном варианте осуществления, коэффициент G[c] усиления может принимать значения в пределах приблизительно от 0 до 4X (4-кратное входное пиксельное значение X). Следует отметить, что эти переменные могут быть теми же переменными, которые рассмотрены выше в уравнении 11. Вычисленное значение Y может быть обрезано до минимального и максимального диапазона с использованием, например, уравнения 12. В одном варианте осуществления, логика 466 IBLC может быть сконфигурирована для поддержания счетчика количества пикселей, которые были отсечены выше и ниже максимума и минимума, соответственно, для каждой цветовой компоненты.

[0272] После этого выходной сигнал логики 466 IBLC принимается блоком 468 сбора статистики, который может обеспечивать сбор различных точек статистических данных о датчике(ах) 90 изображения, например, относящихся к автоматической установке экспозиции (AE), автоматическому балансу белого (AWB), автофокусировке (AF), обнаружению мерцания и т.д. На основании вышеизложенного, описание некоторых вариантов осуществления блока 468 сбора статистики и различных связанных с ним аспектов представлено ниже со ссылкой на фиг. 48-66.

[0273] Очевидно, что статистику AWB, AE и AF можно использовать при получении изображений в цифровых фотоаппаратах, а также видеокамерах. Для простоты, статистика AWB, AE и AF может совместно именоваться здесь “статистикой 3A”. Согласно варианту осуществления логики предварительной обработки ISP, представленному на фиг. 37, архитектуру для логики 468 сбора статистики (“логика статистики 3A”) можно реализовать в оборудовании, программном обеспечении или их комбинации. Кроме того, программное обеспечение или программно-аппаратное обеспечение управления можно использовать для анализа статистических данных, собранных логикой 468 статистики 3A и управления различными параметрами объектива (например, фокусным расстоянием), датчика (например, коэффициентами аналогового усиления, временами интегрирования) и конвейера 82 ISP (например, коэффициентами цифрового усиления, коэффициентами матрицы цветовой коррекции). В некоторых вариантах осуществления, схема 32 обработки изображений может быть сконфигурирована для обеспечения гибкости при сборе статистики, позволяющей программному обеспечению или программно-аппаратному обеспечению управления реализовать различные алгоритмы AWB, AE и AF.

[0274] В отношении балансировки белого (AWB) отклик датчика изображения на каждом пикселе может зависеть от источника освещения, поскольку источник света отражается от объектов в сцене изображения. Таким образом, каждое пиксельное значение, записанное в сцене изображения, связано с цветовой температурой источника света. Например, на фиг. 48 изображен график 570, демонстрирующий цветовой диапазон областей белого при низких и высоких цветовых температурах для цветового пространства YCbCr. Как показано, ось x графика 570 представляет цветоразность (Cb) синего и ось y графика 570 представляет цветоразность (Cr) красного цветового пространства YCbCr. График 570 также демонстрирует ось 572 низкой цветовой температуры и ось 574 высокой цветовой температуры. Область 576, в которой располагаются оси 572 и 574, представляет цветовой диапазон областей белого при низких и высоких цветовых температурах в цветовом пространстве YCbCr. Однако следует понимать, что цветовое пространство YCbCr является лишь одним примером цветового пространства, которое можно использовать совместно с обработкой автоматической балансировки белого в настоящем варианте осуществления. Другие варианты осуществления могут использовать любое пригодное цветовое пространство. Например, в некоторых вариантах осуществления, другие пригодные цветовые пространства могут включать в себя цветовое пространство Lab (CIELab) (например, на основании CIE 1976), цветовое пространство, нормализованное по красному/синему (например, цветовое пространство R/(R+2G+B) и B/(R+2G+B); цветовое пространство R/G и B/G; цветовое пространство Cb/Y и Cr/Y и т.д.). Соответственно, в целях этого раскрытия, оси цветового пространства, используемого логикой 468 статистики 3A, могут именоваться C1 и C2 (как в случае на фиг. 49).

[0275] Когда белый объект освещается при низкой цветовой температуре, он может выглядеть красноватым в захваченном изображении. Напротив, белый объект, освещаемый при высокой цветовой температуре, может выглядеть синеватым в захваченном изображении. Таким образом, целью балансировки белого является регулировка значений RGB таким образом, чтобы изображение воспринималось человеческим глазом, как в условиях канонического освещения. Таким образом, в контексте статистики формирования изображения, относящейся к балансу белого, информация цвета о белых объектах собирается для определения цветовой температуры источника света. В целом, алгоритмы баланса белого могут включать в себя два основных этапа. Во-первых, оценивается цветовая температура источника света. Во-вторых, оцененная цветовая температура используется для регулировки значений цветового коэффициента усиления и/или определения/регулировки коэффициентов матрицы цветовой коррекции. Такие коэффициенты усиления могут быть комбинацией коэффициентов аналогового и цифрового усиления датчика изображения, а также коэффициентов цифрового усиления ISP.

[0276] Например, в некоторых вариантах осуществления, устройство 30 формирования изображения можно калибровать с использованием множественных разных опорных источников света. Соответственно, точку белого текущей сцены можно определить путем выбора коэффициентов цветовой коррекции, соответствующих опорному источнику света, который наиболее точно совпадает с источником света текущей сцены. Исключительно в порядке примера, один вариант осуществления может калибровать устройство 30 формирования изображения с использованием пяти опорных источников света, источника света низкой цветовой температуры, источника света умеренно низкой цветовой температуры, источника света средней цветовой температуры, источника света умеренно высокой цветовой температуры и источника света высокой цветовой температуры. Как показано на фиг. 50, один вариант осуществления может задавать коэффициенты усиления баланса белого с использованием следующих профилей цветовой коррекции: Horizon (H) (имитирующий цветовую температуру около 2300 градусов), накальный (A или IncA) (имитирующий цветовую температуру около 2856 градусов), D50 (имитирующий цветовую температуру около 5000 градусов), D65 (имитирующий цветовую температуру около 6500 градусов) и D75 (имитирующий цветовую температуру около 7500 градусов).

[0277] В зависимости от источника света текущей сцены коэффициенты усиления баланса белого можно определить с использованием коэффициентов усиления, соответствующих опорному источнику света, который наиболее точно совпадает с текущим источником света. Например, если логика 468 статистики (более подробно описанная ниже на фиг. 51) определяет, что текущий источник света приблизительно совпадает с опорным источником света средней цветовой температуры, D50, то коэффициенты усиления баланса белого приблизительно 1,37 и 1,23 могут применяться к цветовым каналам красного и синего, соответственно, тогда как к каналам зеленого (G0 и G1 для байеровских данных) не применяется приблизительно никакого коэффициента усиления (1,0). В некоторых вариантах осуществления, если цветовая температура текущего источника света находится между двумя опорными источниками света, коэффициенты усиления баланса белого можно определить путем интерполяции коэффициентов усиления баланса белого между двумя опорными источниками света. Кроме того, хотя настоящий пример демонстрирует устройство формирования изображения, калибруемое с использованием источников света H, A, D50, D65 и D75, следует понимать, что для калибровки камеры можно использовать любой пригодный тип источника света, например TL84 или CWF (люминесцентные опорные источники света) и т.д.

[0278] Как будет дополнительно описано ниже, для AWB может быть обеспечено несколько статистик, включающих в себя двухмерную (2D) цветовую гистограмму, и суммы RGB или YCC для обеспечения множественных программируемых цветовых диапазонов. Например, в одном варианте осуществления, логика 468 статистики может обеспечивать набор множественных пиксельных фильтров, причем для обработки AWB можно выбирать поднабор множественных пиксельных фильтров. В одном варианте осуществления, может быть обеспечено восемь наборов фильтров, каждый из которых имеет свои отдельные конфигурируемые параметры, и три набора фильтров цветового диапазона можно выбирать из набора для сбора мозаичной статистики, а также для сбора статистики для каждого плавающего окна. В порядке примера, первый выбранный фильтр может быть сконфигурирован для покрытия текущей цветовой температуры для получения точной оценки цвета, второй выбранный фильтр может быть сконфигурирован для покрытия областей низкой цветовой температуры, и третий выбранный фильтр может быть сконфигурирован для покрытия областей высокой цветовой температуры. Эта конкретная конфигурация может позволять алгоритму AWB регулировать область текущей цветовой температуры, когда источник света изменяется. Кроме того, 2D цветовую гистограмму можно использовать для определения глобальных и локальных источников света и для определения различных порогов пиксельного фильтра для накопления значений RGB. Опять же, следует понимать, что выбор трех пиксельных фильтров призван иллюстрировать лишь один вариант осуществления. В других вариантах осуществления, для статистики AWB можно выбирать меньше или больше пиксельных фильтров.

[0279] Кроме того, помимо выбора трех пиксельных фильтров, один дополнительный пиксельный фильтр также можно использовать для автоматической установки экспозиции (AE), которая, в общем случае, означает процесс регулировки времени интегрирования и коэффициентов усиления пикселя для управления яркостью захваченного изображения. Например, автоматическая установка экспозиции может управлять количеством света из сцены, захваченной датчиком(ами) изображения, путем задания времени интегрирования. В некоторых вариантах осуществления, мозаичные элементы и плавающие окна статистики яркости можно собирать с помощью логики 468 статистики 3A и обрабатывать для определения параметров управления интегрированием и коэффициент усиленияем.

[0280] Кроме того, автофокусировка может относиться к определению оптимального фокусного расстояния объектива для, по существу, оптимизации фокусировки изображения. В некоторых вариантах осуществления, можно собирать плавающие окна высокочастотной статистики и можно регулировать фокусное расстояние объектива для фокусировки изображения. Как дополнительно рассмотрено ниже, в одном варианте осуществления, регулировки автофокусировки могут использовать грубые и точные регулировки на основании одной или более метрик, именуемых показателями автофокусировки (показателями AF) для фокусировки изображения. Кроме того, в некоторых вариантах осуществления, статистику/показатели AF можно определять для разных цветов, и соотношение между статистикой/показателями AF для каждого цветового канала можно использовать для определения направления фокуса.

[0281] Таким образом, эти различные типы статистики, в том числе, можно определять и собирать с помощью блока 468 сбора статистики. Как показано, выходной сигнал STATS0 блока 468 сбора статистики блока 120 Sensor0 статистической обработки могут отправляться в память 108 и перенаправляться на управляющую логику 84 или, альтернативно, может отправляться непосредственно на управляющую логику 84. Кроме того, следует понимать, что блок 122 Sensor1 статистической обработки также может включать в себя аналогично сконфигурированный блок сбора статистики 3A, который обеспечивает статистику STATS1, как показано на фиг. 8.

[0282] Как рассмотрено выше, управляющая логика 84, которая может представлять собой специализированный процессор в подсистеме 32 ISP устройства 10, может обрабатывать собранные статистические данные для определения одного или более параметров управления для управления устройством 30 формирования изображения и/или схемой 32 обработки изображений. Например, такие параметры управления могут включать в себя параметры для оперирования объективом датчика 90 изображения (например, параметры регулировки фокусного расстояния), параметры датчика изображения (например, коэффициенты аналогового и/или цифрового усиления, время интегрирования), а также параметры конвейерной обработки ISP (например, значения коэффициента цифрового усиления, коэффициенты матрицы цветовой коррекции (CCM)). Дополнительно, как упомянуто выше, в некоторых вариантах осуществления, статистическая обработка может происходить с точностью 8 битов и, таким образом, первичные пиксельные данные, имеющие более высокую битовую глубину, могут подвергаться понижающей дискретизации до 8-битового формата в целях статистики. Как рассмотрено выше, понижающая дискретизация до 8 битов (или любого другого более низкобитового разрешения) может уменьшать размер (например, площадь) оборудования и также снижать сложность обработки, а также позволяет повышать устойчивость статистических данных к шуму (например, с использованием пространственного усреднения данных изображения).

[0283] Исходя из вышеизложенного, на фиг. 51 показана блок-схема, изображающая логику для реализации одного варианта осуществления логики 468 статистики 3A. Как показано, логика 468 статистики 3A может принимать сигнал 582, представляющий байеровские RGB данные, которые, как показано на фиг. 37, могут соответствовать выходному сигналу логики 466 обратной BLC. Логика 468 статистики 3A может обрабатывать байеровские RGB данные 582 для получения различной статистики 584, которая может представлять выходной сигнал STATS0 логики 468 статистики 3A, как показано на фиг. 37, или, альтернативно выходной сигнал STATS1 логики статистики, связанной с блоком 122 Sensor1 статистической обработки.

[0284] В проиллюстрированном варианте осуществления, чтобы статистика была более устойчива к шуму, входные байеровские RGB пиксели 582 сначала усредняются логикой 586. Например, усреднение может осуществляться в окне размером 4×4 пикселя датчика, состоящий из четырех байеровских четверок 2×2 (например, блок 2×2 пикселей, представляющий шаблон Байера), и усредненные значения красного (R), зеленого (G) и синего (B) в окне 4×4 можно вычислить и преобразовать в 8 битов, как упомянуто выше. Этот процесс более подробно проиллюстрирован на фиг. 52, которая демонстрирует окно 588 4×4 пикселей, образованное четырьмя байеровскими четверками 590 2×2. С использованием этой конфигурации, каждый цветовой канал включает в себя блок 2×2 соответствующих пикселей в окне 588, и пиксели одного и того же цвета можно суммировать и усреднять для получения среднего значения цвета для каждого цветового канала в окне 588. Например, пиксели 594 красного можно усреднять для получения среднего значения 604 красного (R_AV), и пиксели 596 синего можно усреднять для получения среднего значения 606 синего (B_AV) в выборке 588. В отношении усреднения пикселей зеленого, можно использовать несколько методов, поскольку шаблон Байера имеет вдвое больше выборок зеленого, чем выборок красного или синего. В одном варианте осуществления, среднее значение 602 зеленого (G_AV) можно получить путем усреднения только пикселей 592 Gr, только пикселей 598 Gb или всех вместе пикселей 592 и 598 Gr и Gb. В другом варианте осуществления, можно усреднять пиксели 592 и 598 Gr и Gb в каждой байеровской четверке 590, и среднее значение зеленого для каждой байеровской четверки 590 можно дополнительно усреднять совместно для получения G_AV 602. Очевидно, что, усреднение пиксельных значений по пиксельным блокам может обеспечивать снижение шума. Кроме того, следует понимать, что использование блока 4×4 в качестве оконной выборки служит исключительно для обеспечения одного примера. Действительно, в других вариантах осуществления, можно использовать любой пригодный размер блока (например, 8×8, 16×16, 32×32 и т.д.).

[0285] После этого, байеровские RGB значения 610 уменьшенного масштаба поступают на логические блоки 612 и 614 преобразования цветового пространства. Поскольку некоторые статистические данные 3A могут опираться на пиксель, пиксели после применения преобразования цветового пространства, логика 612 преобразования цветового пространства (CSC) и логика 614 CSC могут быть сконфигурированы для преобразования подвергнутых понижающей дискретизации байеровских RGB значений 610 в одно или более других цветовых пространств. В одном варианте осуществления, логика 612 CSC может обеспечивать преобразование нелинейного пространства, и логика 614 CSC может обеспечивать линейное преобразование пространства. Таким образом, логические блоки 612 и 614 CSC могут преобразовывать первичные данные изображения из байеровского RGB датчика в другое цветовое пространство (например, sRGB_linear, sRGB, YCbCr и т.д.), которое может быть более идеально или пригодно для осуществления оценивания белого по точкам для баланса белого.

[0286] В настоящем варианте осуществления, нелинейная логика 612 CSC может быть сконфигурирована для осуществления умножения на матрицу 3×3, сопровождаемого нелинейным отображением, реализованным в виде поисковой таблицы, и дополнительно сопровождаемого умножением на другую матрицу 3×3 с добавленным смещением. Это позволяет преобразованию цветового пространства статистики 3A дублировать цветовую обработку обработки RGB в конвейере 82 ISP (например, применяя коэффициент усиления баланса белого, применяя матрицу цветовой коррекции, применяя регулировки гаммы RGB и осуществляя преобразование цветового пространства) для данной цветовой температуры. Это также может обеспечивать преобразование байеровских RGB значений в более согласованное по цвету цветовое пространство, например CIELab, или любое другое из цветовых пространств, рассмотренных выше (например, YCbCr, цветовое пространство, нормализованное по красному/синему, и т.д.). В некоторых условиях, цветовое пространство Lab может быть более пригодно для операций баланса белого, поскольку цветность более линейна относительно яркости.

[0287] Как показано на фиг. 51, выходные пиксели из байеровского RGB сигнала 610 уменьшенного масштаба обрабатываются с помощью первой матрицы 3×3 цветовой коррекции (3A_CCM), обозначенной здесь ссылочной позицией 614. В настоящем варианте осуществления, 3A_CCM 616 может быть сконфигурирована для преобразования из цветового пространства RGB камеры (camRGB), в линейное калиброванное пространство sRGB (sRGB_linear). Программируемое преобразование цветового пространства, которое можно использовать в одном варианте осуществления, представлено ниже уравнениями 19-21:

где 3A_CCM_00-3A_CCM_22 представляют знаковые коэффициенты матрицы 614. Таким образом, каждую из компонент sR_linear, sG_linear и sB_linear, цветового пространства sRGB_linear можно определить, сначала определяя сумму подвергнутых понижающей дискретизации байеровских RGB значений красного, синего и зеленого с применением соответствующих коэффициентов 3A_CCM, и затем урезая это значение до 0 или 255 (минимального и максимального пиксельных значений для 8-битовых пиксельных данных), если значение больше 255 или меньше 0. Результирующие значения sRGB_linear представлены на фиг. 51 ссылочной позицией 618 как выход 3A_CCM 616. Дополнительно, логика 468 статистики 3A может поддерживать счетчик количества урезанных пикселей для каждой из компонент sR_linear, sG_linear и sB_linear, что выражено ниже:

3A_CCM_R_clipcount_low: количество урезанных пикселей sR_linear<0

3A_CCM_R_clipcount_high: количество урезанных пикселей sR_linear>255

3A_CCM_G_clipcount_low: количество урезанных пикселей sG_linear<0

3A_CCM_G_clipcount_high: количество урезанных пикселей sG_linear>255

3A_CCM_B_clipcount_low: количество урезанных пикселей sB_linear<0

3A_CCM_B_clipcount_high: количество урезанных пикселей sB_linear>255

[0288] Затем пиксели 618 sRGB_linear можно обрабатывать с использованием нелинейной поисковой таблицы 620 для создания пикселей 622 sRGB. Поисковая таблица 620 может содержать записи 8-битовых значений, причем значение каждой записи таблицы представляет выходные уровни. В одном варианте осуществления, поисковая таблица 620 может включать в себя 65 равномерно распределенных входных записей, причем индекс таблицы представляет входные значения с шагом 4. Когда входное значение попадает между интервалами, выходные значения линейно интерполируются.

[0289] Очевидно, что цветовое пространство sRGB может представлять цветовое пространство окончательного изображения, созданного устройством 30 формирования изображения (фиг. 7) для данной точки белого, поскольку сбор статистики баланса белого осуществляется в цветовом пространстве окончательного изображения, созданного устройством формирования изображения. В одном варианте осуществления, точку белого можно определить, сопоставляя характеристики сцены изображения с одним или более опорными источниками света на основании, например, отношений красного к зеленому и/или синего к зеленому. Например, один опорный источник света может быть D65, источник света стандарта CIE для имитации условий дневного освещения. Помимо D65, калибровку устройства 30 формирования изображения также можно осуществлять для разных других опорных источников света, и процесс определения баланса белого может включать в себя определение текущего источника света таким образом, чтобы обработку (например, балансировка цветов) можно было регулировать для текущего источника света на основании соответствующих точек калибровки. В порядке примера, в одном варианте осуществления, устройство 30 формирования изображения и логику 468 статистики 3A можно калибровать с использованием, помимо D65, люминесцентного (CWF) опорного источника холодного белого света, опорного источника света TL84 (другого люминесцентного источника) и опорного источника света IncA (или A), который имитирует накальное освещение. Дополнительно, как рассмотрено выше, различные другие источники света, соответствующий разным цветовым температурам (например, H, IncA, D50, D65 и D75 и т.д.) также можно использовать при калибровке камеры для обработки баланса белого. Таким образом, точку белого можно определить, анализируя сцену изображения и определяя, какой опорный источник света наиболее точно совпадает с текущим источником света.

[0290] В отношении нелинейной логики 612 CSC, выходной сигнал 620 пикселя sRGB поисковой таблицы 620 может дополнительно обрабатываться с помощью второй матрицы 624 3×3 цветовой коррекции, именуемой здесь 3A_CSC. В представленном варианте осуществления, матрица 624 3A_CSC показана сконфигурированной для преобразования из цветового пространства sRGB в цветовое пространство YCbCr, хотя она также может быть сконфигурирована для преобразования значений sRGB в другие цветовые пространства. В порядке примера, можно использовать следующее программируемое преобразование цветового пространства (уравнения 22-27):

где 3A_CSC_00-3A_CSC_22 представляют знаковые коэффициенты для матрицы 624, 3A_OffsetY, 3A_OffsetC1 и 3A_OffsetC2 представляют знаковые смещения, и C1 и C2 представляют разные цвета, в данном случае цветоразность (Cb) синего и цветоразность (Cr) красного, соответственно. Однако следует понимать, что C1 и C2 могут представлять цвета любой пригодной цветоразности, не обязательно цвета Cb и Cr.

[0291] Как показано в уравнениях 22-27, при определении каждой компоненты YCbCr, надлежащие коэффициенты из матрицы 624 применяются к значениям 622 sRGB, и результат суммируется с соответствующим смещением (например, уравнения 22, 24 и 26). По существу, этот этап является этапом умножения на матрицу 3×1. Этот результат матричного умножения затем подвергается отсечке между максимальным и минимальным значениями (например, уравнения 23, 25 и 27). Соответствующие минимальное и максимальное значения отсечки могут быть программируемыми и могут зависеть, например, от конкретных используемых стандартов формирования изображения или видеосигнала (например, BT.601 или BT.709).

[0292] Логика 468 статистики 3A также может поддерживать счетчик количества урезанных пикселей для каждой из компонент Y, C1 и C2, что выражено ниже:

3A_CSC_Y_clipcount_low: количество урезанных пикселей Y<3A_CSC_MIN_Y

3A_CSC_Y_clipcount_high: количество урезанных пикселей Y>3A_CSC_MAX_Y

3A_CSC_C1_clipcount_low: количество урезанных пикселей C1<3A_CSC_MIN_C1

3A_CSC_C1_clipcount_high: количество урезанных пикселей C1>3A_CSC_MAX_C1

3A_CSC_C2_clipcount_low: количество урезанных пикселей C2<3A_CSC_MIN_C2

3A_CSC_C2_clipcount_high: количество урезанных пикселей C2>3A_CSC_MAX_C2

[0293] Выходные пиксели из байеровского RGB сигнала 610, подвергнутого понижающей дискретизации, также может поступать на линейную логику 614 преобразования цветового пространства, которая может быть сконфигурирована для реализации преобразования цветового пространства камеры. Например, выходные пиксели 610 из логики 586 байеровской RGB понижающей дискретизации можно обрабатывать с помощью другой матрицы 630 3×3 цветового преобразования (3A_CSC2) логики 614 CSC для преобразования из RGB датчика (camRGB) в линейное сбалансированное по уровню белого цветовое пространство (camYC1C2), в котором C1 и C2 могут соответствовать Cb и Cr, соответственно. В одном варианте осуществления, пиксели цветности можно масштабировать по яркости, что может давать преимущество при реализации цветового фильтра с улучшенным согласованием цветов и устойчивостью к цветовым сдвигам вследствие изменений яркости. Пример того, как может осуществляться преобразование цветового пространства камеры с использованием матрицы 630 3×3, приведен ниже в уравнениях 28-31:

где 3A_CSC2_00-3A_CSC2_22 представляют знаковые коэффициенты для матрицы 630, 3A_Offset2Y представляет знаковое смещение для camY, и camC1 и camC2 представляют разные цвета, в данном случае, цветоразность (Cb) синего и цветоразность (Cr) красного, соответственно. Как показано в уравнении 28, для определения camY, соответствующие коэффициенты из матрицы 630 применяются к байеровским RGB значениям 610, и результат суммируется с 3A_Offset2Y. Этот результат затем подвергается отсечке между максимальным и минимальным значениями, как показано в уравнении 29. Как рассмотрено выше, пределы отсечки могут быть программируемыми.

[0294] При этом, пиксели camC1 и camC2 выхода 632 являются знаковыми. Как рассмотрено выше, в некоторых вариантах осуществления, пиксели цветности можно масштабировать. Например, один метод для реализации масштабирования по цветности показанный ниже:

где ChromaScale представляет масштабный коэффициент с плавающей запятой между 0 и 8. В уравнениях 32 и 33, выражение (camY ? camY:1) призвано предотвращать возникновение условия деления на нуль. Таким образом, если camY равен нулю, значение camY устанавливается равным 1. Кроме того, в одном варианте осуществления, ChromaScale может принимать одно из двух возможных значений в зависимости от знака camC1. Например, как показано ниже в уравнении 34, ChomaScale может быть присвоено первое значение (ChromaScale0), если camC1 отрицательный, иначе ему присваивается второе значение (ChromaScale1):

ChromaScale = ChromaScale0 если(camC1<0) $$\begin{array}{ccc}& & \end{array}$$ (34)

ChromaScale1 в противном случае

[0295] После этого прибавляются смещения цветности, и пиксели camC1 и camC2 цветности урезаются, как показано ниже в уравнениях 35 и 36, для генерации соответствующих беззнаковых пиксельных значений:

где 3A_CSC2_00-3A_CSC2_22 - знаковые коэффициенты матрицы 630, и 3A_Offset2C1 и 3A_Offset2C2 - знаковые смещения. Кроме того, количество урезанных пикселей для camY, camC1 и camC2 отсчитывается, как показано ниже:

3A_CSC2_Y_clipcount_low: количество урезанных пикселей camY<3A_CSC2_MIN_Y

3A_CSC2_Y_clipcount_high: количество урезанных пикселей camY>3A_CSC2_MAX_Y

3A_CSC2_C1_clipcount_low: количество урезанных пикселей camC1<3A_CSC2_MIN_C1

3A_CSC2_C1_clipcount_high: количество урезанных пикселей camC1>3A_CSC2_MAX_C1

3A_CSC2_C2_clipcount_low: количество урезанных пикселей camC2<3A_CSC2_MIN_C2

3A_CSC2_C2_clipcount_high: количество урезанных пикселей camC2>3A_CSC2_MAX_C2

[0296] Таким образом, нелинейная и линейная логики 612 и 614 преобразования цветового пространства могут, в настоящем варианте осуществления, обеспечивать пиксельные данные в различных цветовых пространствах: sRGB_linear (сигнал 618), sRGB (сигнал 622), YCbYr (сигнал 626) и camYCbCr (сигнал 630). Следует понимать, что коэффициенты для каждой матрицы 616 (3A_CCM), 624 (3A_CSC) и 630 (3A_CSC2) преобразования, а также значения в поисковой таблице 620, можно независимо устанавливать и программировать.

[0297] Согласно фиг. 51, выходные пиксели цветности из преобразования нелинейного цветового пространства (YCbCr 626) или из преобразования цветового пространства камеры (camYCbCr 632) можно использовать для генерации двухмерной (2D) цветовой гистограммы 636. Как показано, логика 638 и 640 выбора, которую можно реализовать в виде мультиплексоров или в виде любой другой пригодной логики, может быть сконфигурирована для выбора между пикселями яркости и цветности из преобразования нелинейного цветового пространства или из преобразования цветового пространства камеры. Логика 638 и 640 выбора может действовать в ответ на соответствующие сигналы управления, которые, в одном варианте осуществления, могут выдаваться главной управляющей логикой 84 схемы 32 обработки изображений (фиг. 7) и могут устанавливаться через программное обеспечение.

[0298] Для настоящего примера, можно предположить, что логики 638 и 640 выбора выбирают преобразование (626) цветового пространства YC1C2, где первой компонентой является яркость, и где C1, C2 - первый и второй цвета (например, Cb, Cr). 2D гистограмма 636 в цветовом пространстве C1-C2 генерируется для одного окна. Например, окно может задаваться началом и шириной столбца и началом и высотой строки. В одном варианте осуществления, позицию и размер окна можно задавать кратными 4 пикселям, и можно использовать 32×32 бина, т.е. всего 1024 бина. Границы бинов могут располагаться с фиксированным интервалом, и, для обеспечения возможности трансфокации и панорамирования коллекции гистограммы в конкретных областях цветового пространства, можно задать масштабирование и смещение пикселей.

[0299] 5 старших битов (представляющих всего 32 значения) C1 и C2 после смещения и масштабирования можно использовать для определения бина. Индексы бинов для C1 и C2, обозначенные здесь как C1_index и C2_index, можно определить следующим образом:

C1_index=((C1-C1_offset)>>(3-C1_scale) $$\begin{array}{ccc}& & \end{array}$$ (37)

C2_index=((C2-C2_offset)>>(3-C2_scale) $$\begin{array}{ccc}& & \end{array}$$ (38)

После определения индексов, бины цветовой гистограммы увеличиваются на значение Count (которое может иметь значение между 0 и 3 в одном варианте осуществления), если индексы бинов находятся в диапазоне [0, 31], как показано ниже в уравнении 39. Эффективно, это позволяет взвешивать счетчики цвета на основании значений яркости (например, более яркие пиксели получают увеличенный весовой коэффициент, а не как все остальные (например, 1)).

где Count определяется на основании выбранного значения яркости, Y в этом примере. Очевидно, что этапы, представленные уравнениями 37, 38 и 39, можно реализовать логическим блоком 644 обновления бинов. Кроме того, в одном варианте осуществления, можно устанавливать множественные пороги яркости для задания интервалов яркости. В порядке примера, четыре порога яркости (Ythd0-Ythd3) могут задавать пять интервалов яркости, при этом для каждого интервала задаются значения Count Count0-4. Например, Count0-Count4 можно выбирать (например, с помощью логики 642 пиксельного условия) на основании порогов яркости следующим образом:

if (Y<=Ythd0) $$\begin{array}{ccc}& & \end{array}$$ (40)

Count=Count0

else if (Y<=Ythd1)

Count=Count1

else if (Y<=Ythd2)

Count=Count2

else if (Y<=Ythd3)

Count=Count3

else

Count=Count4

[0300] Исходя из вышеизложенного, фиг. 53 иллюстрирует цветовую гистограмму с масштабированием и смещениями, заданными равными нулю для обоих C1 и C2. Пространство CbCr делится на 32×32 бина (всего 1024 бинов). На Фиг. 54 приведен пример трансфокации и панорамирования в 2D цветовой гистограмме для дополнительной точности, в которой прямоугольная область 646, где малый прямоугольник указывает положение 32×32 бина.

[0301] В начале кадра данных изображения, значения бинов первоначально установлены равными нулю. Для каждого пикселя, входящего в 2D цветовую гистограмму 636, бин, соответствующий совпадающему значению C1C2, увеличивается на определенное значение Count (Count0-Count4), которое, как рассмотрено выше, может базироваться на значении яркости. Для каждого бина в 2D гистограмме 636, суммарный отсчет пикселей сообщается как часть собранных статистических данных (например, STATS0). В одном варианте осуществления, суммарный отсчет пикселей для каждого бина может иметь разрешение 22 бита, что позволяет обеспечивать выделение внутренней памяти, равной 1024×22 бита.

[0302] Возвращаясь к фиг. 51, байеровские RGB пиксели (сигнал 610), пиксели sRGB_linear (сигнал 618), пиксели sRGB (сигнал 622) и пиксели YC1C2 (например, YCbCr) (сигнал 626) поступают на набор пиксельных фильтров 650a-c, где посредством RGB, sRGB_linear, sRGB, YC1C2 или camYC1C2 суммы могут условно накапливаться при пиксельных условиях camYC1C2 или YC1C2, заданных каждым пиксельным фильтром 650. Таким образом, значения Y, C1 и C2 из выхода преобразования нелинейного цветового пространства (YC1C2) или выхода преобразования цветового пространства камеры (camYC1C2) используются для условного выбора значений RGB, sRGB_linear, sRGB или YC1C2 для накопления. Хотя в настоящем варианте осуществления изображено, что в логике 468 статистики 3A обеспечено 8 пиксельных фильтров (PF0-PF7), следует понимать, что может быть обеспечено любое количество пиксельных фильтров.

[0303] Фиг. 55 демонстрирует функциональную логическую схему, изображающую вариант осуществления пиксельных фильтров, в частности, PF0 (650a) и PF1 (650b) из фиг. 51. Как показано, каждый пиксельный фильтр 650 включает в себя логику выбора, которая принимает байеровские RGB пиксели, пиксели sRGB_linear, пиксели sRGB и пиксели одного из YC1C2 и camYC1C2, выбранных другой логикой 654 выбора. В порядке примера, логики 652 и 654 выбора можно реализовать с использованием мультиплексоров или любой другой пригодной логики. Логика 654 выбора может выбирать YC1C2 или camYC1C2. Выбор может осуществляться в ответ на сигнал управления, который может выдаваться главной управляющей логикой 84 схемы 32 обработки изображений (фиг. 7) и/или устанавливаться программным обеспечением. Затем пиксельный фильтр 650 может использовать логику 656 для оценивания пикселей YC1C2 (например, нелинейного или камерного), выбранных логикой 654 выбора, относительно пиксельного условия. Каждый пиксельный фильтр 650 может использовать схему 652 выбора для выбора одного из байеровских RGB пикселей, пикселей sRGB_linear, пикселей sRGB и пикселя YC1C2 или camYC1C2 в зависимости от выходного сигнала схемы 654 выбора.

[0304] Используя результаты оценивания, можно накапливать пиксели, выбранные логикой 652 выбора. В одном варианте осуществления, пиксельное условие можно задать с использованием порогов C1_min, C1_max, C2_min, C2_max, как показано на графике 570 на фиг. 49. Пиксель включается в статистику, если он удовлетворяет следующим условиям:

1. C1_min<=C1<=C1_max

2. C2_min<=C2<=C2_max

3. abs ((C2_delta*C1)-(C1_delta*C2)+Offset)<distance_max

4. Y_min<=Y<=Y_max

Согласно графику, представленному на фиг. 56, в одном варианте осуществления, точка 662 представляет значения (C2, C1), соответствующие текущим пиксельным данным YC1C2, выбранным логикой 654. C1_delta можно определить как разность между C1_1 и C1_0, и C2_delta можно определить как разность между C2_1 и C2_0. Как показано на фиг. 56, точки (C1_0, C2_0) и (C1_1, C2_1) могут задавать минимальную и максимальную границы для C1 и C2. Offset можно определить путем умножения C1_delta на значение (C2_intercept) в точке пересечения линии 664 с осью C2. Таким образом, предполагая, что Y, C1 и C2 удовлетворяют минимальному и максимальному граничным условиям, выбранные пиксели (байеровские RGB, sRGB_linear, sRGB и YC1C2/camYC1C2) включаются в сумму накопления, если его расстояние 670 от линии 664 меньше distance_max 672, которое может быть расстоянием 670 в пикселях от линии, умноженный на нормирующий множитель:

distance_max=distance*sqrt(C1_delta^2+C2_delta^2)

В настоящем варианте осуществления, distance, C1_delta и C2_delta может принимать значения в пределах от -255 до 255. Таким образом, distance_max 672 можно представить 17 битами. Точки (C1_0, C2_0) и (C1_1, C2_1), а также параметры для определения distance_max (например, нормирующий(е) множитель(и)), могут быть обеспечены как часть логики 656 пиксельного условия в каждом пиксельном фильтре 650. Очевидно, что пиксельные условия 656 могут быть конфигурируемыми/программируемыми.

[0305] Хотя пример, показанный на фиг. 56, изображает пиксельное условие на основании двух наборов точек (C1_0, C2_0) и (C1_1, C2_1), в дополнительных вариантах осуществления, некоторые пиксельные фильтры могут задавать более сложные формы и области, в которых определяются пиксельные условия. Например, фиг. 57 демонстрирует вариант осуществления, где пиксельный фильтр 650 может задавать пятисторонний многоугольник 673 с использованием точек (C1_0, C2_0), (C1_1, C2_1), (C1_2, C2_2) и (C1_3, C2_3) и (C1_4, C2_4). Каждая сторона 674a-674e может задавать условие линии. Однако в отличие от случая, показанного на фиг. 56 (например, пиксель может находиться с каждой стороны от линии 664 при условии, что distance_max удовлетворяется), условие может состоять в том, что пиксель (C1, C2) должен располагаться по одну сторону от линии 674a-674e и, таким образом, находиться внутри многоугольника 673. Таким образом, пиксель (C1, C2) подсчитывается, когда выполняются условия пересечения множественных линий. Например, на фиг. 57, такое пересечение происходит относительно пикселя 675a. Однако пиксель 675b не может удовлетворить условию линии для линии 674d и, таким образом, не может подсчитываться в статистике при обработке пиксельным фильтром, сконфигурированным таким образом.

[0306] В дополнительном варианте осуществления, показанном на фиг. 58, пиксельное условие можно определить на основании перекрывающихся форм. Например, фиг. 58 демонстрирует, как пиксельный фильтр 650 может иметь пиксельные условия, заданные с использованием двух перекрывающихся форм, в данном случае прямоугольников 676a и 676b, заданных точками (C1_0, C2_0), (C1_1, C2_1), (C1_2, C2_2) и (C1_3, C2_3) и точками (C1_4, C2_4), (C1_5, C2_5), (C1_6, C2_6) и (C1_7, C2_7), соответственно. В этом примере, пиксель (C1, C2) может удовлетворять условиям линий, заданным таким пиксельным фильтром, будучи заключен в области, совместно ограниченной формами 676a и 676b (например, удовлетворяя условиям линий каждой линии, задающей обе формы). Например, на фиг. 58, эти условия выполняются относительно пикселя 678a. Однако пиксель 678b не может удовлетворять этим условиям (в частности, относительно линии 679a прямоугольника 676a и линии 679b прямоугольника 676b) и, таким образом, не может подсчитываться в статистике при обработке пиксельным фильтром, сконфигурированным таким образом.

[0307] Для каждого пиксельного фильтра 650 квалифицирующие пиксели идентифицируются на основании пиксельных условий, заданных логикой 656, и для квалификации пиксельных значений машина 468 статистики 3A может собирать следующую статистику: 32-битовые суммы: (R_sum, G_sum, B_sum) или (sR_{linear_sum}, sG_{linear_sum}, sB_{linear_sum}), или (sR_sum, sG_sum, sB_sum) или (Y_sum, C1_sum, C2_sum) или 24-битовый счетчик пикселей, Count, который может представлять суммарное количество пикселей, включенных в статистику. В одном варианте осуществления, программное обеспечение может использовать сумму для генерации среднего в мозаичном элементе или окне.

[0308] Когда пиксели camYC1C2 выбираются логикой 652 пиксельного фильтра 650, цветовые пороги могут осуществляться на масштабированных значениях цветности. Например, поскольку интенсивность цветности в точках белого увеличивается со значением яркости, использование цветности, масштабированной значением яркости в пиксельном фильтре 650 может, в ряде случаев, обеспечивать результаты с улучшенной согласованностью. Например, условия минимальной и максимальной яркости могут позволять фильтру игнорировать темные и/или яркие области. Если пиксель удовлетворяет пиксельному условию YC1C2, значения RGB, sRGB_linear, sRGB или YC1C2 накапливаются. Выбор пиксельных значений логикой 652 выбора может зависеть от необходимого типа информации. Например, для баланса белого обычно выбираются пиксели RGB или sRGB_linear. Для обнаружения конкретных условий, например неба, травы, телесных тонов и т.д., набор пикселей YCC или sRGB может быть более пригодным.

[0309] В настоящем варианте осуществления можно задать восемь наборов пиксельных условий, по одному, связанному с каждым из пиксельных фильтров PF0-PF7 650. Некоторые пиксельные условия можно задать для вырезания области в цветовом пространстве C1-C2 (фиг. 49), где, вероятно, находится точка белого. Это можно определить или оценить на основании текущего источника света. Затем, накопленные суммы RGB можно использовать для определения текущей точки белого на основании отношений R/G и/или B/G для регулировок баланса белого. Кроме того, некоторые пиксельные условия можно задать или адаптировать для осуществления анализа и классификаций сцены. Например, некоторые пиксельные фильтры 650 и окна/мозаичные элементы можно использовать для обнаружения условий, например, синего неба в верхней части кадра изображения или зеленой травы в нижней части кадра изображения. Эту информацию также можно использовать для регулировки баланса белого. Дополнительно, некоторые пиксельные условия можно задать или адаптировать для обнаружения телесных тонов. Для таких фильтров мозаичные элементы можно использовать для обнаружения областей кадра изображения, которые имеют телесный тон. Идентифицируя эти области, можно повысить качество телесного тона, например, за счет снижения величины фильтра шума в областях телесного тона и/или снижения квантования при сжатии видеосигнала в этих областях для повышения качества.

[0310] Логика 468 статистики 3A также может обеспечивать сбор данных яркости. Например, значение яркости, camY, из преобразования цветового пространства камеры (camYC1C2) можно использовать для накопления статистики суммарной яркости. В одном варианте осуществления, логика 468 статистики 3A может собирать следующую информацию яркости:

Y_sum: сумма camY

cond(Y_sum): сумма camY, которая удовлетворяет условию: Y_min<=camY<Y_max

Ycount1: счетчик пикселей, где camY<Y_min,

Ycount2: счетчик пикселей, где camY>=Y_max

Здесь, Ycount1 может представлять количество недоэкспонированных пикселей, и Ycount2 может представлять количество переэкспонированных пикселей. Их можно использовать для определения, является ли изображение переэкспонированным или недоэкспонированным. Например, если пиксели не достигают насыщения, сумма camY (Y_sum) может указывать среднюю яркость в сцене, которую можно использовать для достижения целевой экспозиции AE. Например, в одном варианте осуществления, среднюю яркость можно определить делением Y_sum на количество пикселей. Кроме того, зная статистику яркости/AE для мозаичной статистики и положений окон, можно осуществлять измерение AE. Например, в зависимости от сцены изображения, может быть желательным взвешивать статистику AE в центральном окне больше, чем в окнах на краях изображения, например, в случае портретной съемки.

[0311] В проиллюстрированном здесь варианте осуществления, логика сбора статистики 3A может быть сконфигурирована для сбора статистики в мозаичных элементах и окнах. В проиллюстрированной конфигурации, одно окно можно задать для мозаичной статистики 674. Окно может задаваться началом и шириной столбца и началом и высотой строки. В одном варианте осуществления, позицию и размер окна можно выбирать кратным четырем пикселям и, в этом окне, статистика собирается в мозаичных элементах произвольных размеров. В порядке примера, все мозаичные элементы в окне можно выбирать таким образом, чтобы они имели одинаковый размер. Размер мозаичного элемента можно устанавливать независимо для горизонтального и вертикального направлений и, в одном варианте осуществления, можно устанавливать максимальный предел на количество горизонтальных мозаичных элементов (например, предел в 128 горизонтальных мозаичных элементов). Кроме того, в одном варианте осуществления, можно устанавливать минимальный размер мозаичного элемента, равный, например, 8 пикселей в ширину на 4 пикселя в высоту. Ниже приведены некоторые примеры конфигураций мозаичных элементов на основании разных режимов и стандартов видео/формирования изображения для получения окна 16×16 мозаичных элементов:

VGA 640×480: мозаичный интервал 40×30 пикселей

HD 1280×720: мозаичный интервал 80×45 пикселей

HD 1920×1080: мозаичный интервал 120×68 пикселей

5MP 2592×1944: мозаичный интервал 162×122 пикселей

8MP 3280×2464: мозаичный интервал 205×154 пикселей

[0312] В отношении настоящего варианта осуществления, из восьми доступных пиксельных фильтров 650 (PF0-PF7), четыре можно выбирать для мозаичной статистики 674. Для каждого мозаичного элемента, следующую статистику можно собрать:

(R_sum0, G_sum0, B_sum0) или (sR_{linear_sum0}, sG_{linear_sum0}, sB_{linear_sum0}), или

(sR_sum0, sG_sum0, sB_sum0) или (Y_sum0, C1_sum0, C2_sum0), Count0

(R_sum1, G_sum1, B_sum1) или (sR_{linear_sum1}, sG_{linear_sum1}, sB_{linear_sum1}), или

(sR_sum1, sG_sum1, sB_sum1) или (Y_sum1, C1_sum1, C2_sum1), Count1

(R_sum2, G_sum2, B_sum2) или (sR_{linear_sum2}, sG_{linear_sum2}, sB_{linear_sum2}), или

(sR_sum2, sG_sum2, sB_sum2) или (Y_sum2, C1_sum2, C2_sum2), Count2

(R_sum3, G_sum3, B_sum3) или (sR_{linear_sum3}, sG_{linear_sum3}, sB_{linear_sum3}), или

(sR_sum3, sG_sum3, sB_sum3) или (Y_sum3, C1_sum3, C2_sum3), Count3, или

Y_sum, cond(Y_sum), Y_count1, Y_count2 (из camY)

В вышеприведенной статистике, Count0-3 представляет счетчик пикселей, которые удовлетворяют пиксельным условиям, соответствующим выбранным четырем пиксельным фильтрам. Например, если пиксельные фильтры PF0, PF1, PF5 и PF6 выбраны в качестве четырех пиксельных фильтров для конкретного мозаичного элемента или окна, то вышеприведенные выражения могут соответствовать значениям Count и суммам, соответствующим пиксельным данным (например, байеровскими RGB, sRGB_linear, sRGB, YC1Y2, camYC1C2), которые выбираются для этих фильтров (например, логикой 652 выбора). Дополнительно, значения Count можно использовать для нормирования статистики (например, делением сумм цветов на соответствующие значения Count). Как показано, в зависимости, по меньшей мере, частично, от необходимых типов статистики, выбранные пиксельные фильтры 650 могут быть сконфигурированы для выбора между пиксельными данными либо одного из байеровскими RGB, sRGB_linear или sRGB пиксельными данными, либо пиксельными данными YC1C2 (преобразования нелинейного или камерного цветового пространства в зависимости от выбора логикой 654), и определения статистики суммы цветов для выбранных пиксельных данных. Дополнительно, как рассмотрено выше, значение яркости, camY, из преобразования цветового пространства камеры (camYC1C2) также собирается для информации суммарной яркости для статистики автоматической установки экспозиции (AE).

[0313] Дополнительно, логика 468 статистики 3A также может быть сконфигурирована для сбора статистики 676 для множественных окон. Например, в одном варианте осуществления, можно использовать до восьми плавающих окон, с любой прямоугольной областью, любой размер которой кратен четырем пикселям (например, высота × ширина), вплоть до максимального размера, соответствующего размеру кадра изображения. Однако положение окон не обязательно ограничивать кратными четырем пикселям. Например, окна могут перекрываться друг с другом.

[0314] В настоящем варианте осуществления, четыре пиксельных фильтра 650 можно выбирать из доступных восьми пиксельных фильтров (PF0-PF7) для каждого окна. Статистику для каждого окна можно собирать таким же образом, как для мозаичных элементов, рассмотренных выше. Таким образом, для каждого окна можно собирать следующую статистику 676:

(R_sum0, G_sum0, B_sum0) или sR_{linear_sum0}, sG_{linear_sum0}, sB_{linear_sum0}), или

(sR_sum0, sG_sum0, sB_sum0) или (Y_sum0, C1_sum0, C2_sum0), Count0

(R_sum1, G_sum1, B_sum1) или (sR_{linear_sum1}, sG_{linear_sum1}, sB_{linear_sum1}), или

(sR_sum1, sG_sum1, sB_sum1) или (Y_sum1, C1_sum1, C2_sum1), Count1

(R_sum2, G _sum2, B _sum2) или (sR_{linear_sum2}, sG_{linear_sum2}, sB_{linear_sum2}), или

(sR_sum2, sG_sum2, sB_sum2) или (Y_sum2, C1_sum2, C2_sum2), Count2

(R_sum3, G_sum3, B_sum3) или (sR_{linear_sum3}, sG_{linear_sum3}, sB_{linear_sum3}), или

(sR_sum3, sG_sum3, sB_sum3) или (Y_sum3, C1_sum3, C2_sum3), Count3, или

Y_sum, cond(Y_sum), Y_count1, Y_count2 (из camY)

В вышеприведенной статистике, Count0-3 представляет счетчик пикселей, которые удовлетворяют пиксельным условиям, соответствующим выбранным четырем пиксельным фильтрам для конкретного окна. Из восьми доступных пиксельных фильтров PF0-PF7 четыре активных пиксельных фильтра можно выбирать независимо для каждого окна. Дополнительно, один из наборов статистики можно собирать с использованием пиксельных фильтров или статистики яркости camY. Оконная статистика, собранная для AWB и AE, может, в одном варианте осуществления, отображаться в один или более регистров.

[0315] Согласно фиг. 51, логика 468 статистики 3A также может быть сконфигурирована для получения статистики 678 суммарной яркости по строке для одного окна с использованием значения яркости, camY, для преобразования цветового пространства камеры. Эту информацию можно использовать для обнаружения и компенсации мерцания. Мерцание генерируется периодическим изменением в некоторых люминесцентных и накальных источниках света, обычно вызванного сигналом мощности переменного тока. Например, на фиг. 59 показан график, демонстрирующий, как мерцание может быть вызвано изменениями в источнике света. Обнаружение мерцания, таким образом, можно использовать для обнаружения частоты мощности переменного тока, используемой для источника света (например, 50 Гц или 60 Гц). Когда частота известна, мерцания можно избежать путем задания времени интегрирования датчика изображения равным целому кратному периода мерцания.

[0316] Для обнаружения мерцания, яркость камеры, camY, накапливается по каждой строке. Вследствие понижающей дискретизации входных байеровских данных, каждое значение camY может соответствовать 4 строкам исходных первичных данных изображения. Затем управляющая логика и/или программно-аппаратное обеспечение может осуществлять частотный анализ среднего по строке или, что более надежно, разностей средних по строке по последовательным кадрам для определения частоты мощности переменного тока, связанной с конкретным источником света. Например, согласно фиг. 59, времена интегрирования для датчика изображения могут базироваться на временах t1, t2, t3 и t4 (например, таким образом, чтобы интегрирование происходило в моменты времени, когда источник освещения, демонстрирующий изменения, имеет, в общем случае, один и тот же уровень яркости.

[0317] В одном варианте осуществления, может задаваться окно суммарной яркости по строке и статистика 678 сообщается для пикселей в этом окне. В порядке примера, для захвата видео в формате 1080p HD, предполагая, что окно имеет высоту 1024 пикселя, генерируется 256 суммарных яркостей по строке (например, по одной сумме для каждых четырех строк вследствие понижающей дискретизации логикой 586), и каждое накопленное значение можно выразить 18 битами (например, 8-битовыми значениями camY для до 1024 выборок на строку).

[0318] Логика 468 сбора статистики 3A, показанная на фиг. 51, также может обеспечивать сбор статистики 682 автофокусировки (AF) посредством логики 680 статистики автофокусировки. Функциональная блок-схема, демонстрирующая вариант осуществления логики 680 статистики AF, более подробно представлена на фиг. 60. Как показано, логика 680 статистики AF может включать в себя горизонтальный фильтр 684 и детектор 686 края, который применяется к исходному байеровскому RGB (без понижающей дискретизации), два фильтра 688 3×3 по Y из Байера, и два фильтра 690 3×3 по camY. В целом, горизонтальный фильтр 684 обеспечивает точную статистику разрешения для каждой цветовой компоненты, фильтры 688 3×3 могут обеспечивать точную статистику разрешения по BayerY (байеровский RGB с примененным преобразованием 3×1 (логика 687)), и фильтры 690 3×3 могут обеспечивать более грубую двухмерную статистику по camY (поскольку camY получается с использованием байеровских RGB данных уменьшенного масштаба, т.е. логика 630). Кроме того, логика 680 может включать в себя логику 704 для прореживания байеровских RGB данных (например, усреднения 2×2, усреднения 4×4 и т.д.), и прореженные байеровские RGB данные 705 можно фильтровать с использованием фильтров 706 3×3 для создания фильтрованного выходного сигнала 708 для прореженных байеровских RGB данных. Настоящий вариант осуществления обеспечивает 16 окон статистики. На границах первичного кадра, краевые пиксели дублируются для фильтров логики 680 статистики AF. Различные компоненты логики 680 статистики AF более подробно описаны ниже.

[0319] Прежде всего, процесс обнаружения горизонтального края включает в себя применение горизонтального фильтра 684 для каждой цветовой компоненты (R, Gr, Gb, B), сопровождаемого необязательным детектором 686 края на каждой цветовой компоненте. Таким образом, в зависимости от условий формирования изображения, эта конфигурация позволяет устанавливать логику 680 статистики AF как фильтр высоких частот без обнаружения края (например, с отключенным детектором края) или, альтернативно, как фильтр низких частот, сопровождаемый детектором края (например, с включенным детектором края). Например, в условиях низкой освещенности, горизонтальный фильтр 684 может быть более восприимчив к шуму, и, таким образом, логика 680 может конфигурировать горизонтальный фильтр как фильтр низких частот, сопровождаемый включенным детектором 686 края. Как показано, сигнал 694 управления может включать или отключать детектор 686 края. Статистики из разных цветовых каналов используются для определения направления фокуса для повышения резкости, поскольку разные цвета могут фокусироваться на разной глубине. В частности, логика 680 статистики AF может обеспечивать средства управления автофокусировкой с использованием комбинации грубых и точных регулировок (например, фокусного расстояния объектива). Варианты осуществления таких средств описаны более подробно описаны ниже.

[0320] В одном варианте осуществления, горизонтальный фильтр может представлять собой 7-отводный фильтр и может быть задан следующим образом в уравнениях 41 и 42:

out(i)=(af_horzfilt_coeff[0]*(in(i-3)+in(i+3))+af_horzfilt_coeff[1]*(in(i-2)+in(i+2))+ $$\begin{array}{ccc}& & \end{array}$$ (41)

af_horzfilt_coeff[2]*(in(i-1)+in(i+1))+af_horzfilt_coeff[3]*in(i))

out(i)=max(-255, min(255, out(i))) $$\begin{array}{ccc}& & \end{array}$$ (42)

Здесь, каждый коэффициент af_horzfilt_coeff[0:3] может находиться в диапазоне [-2, 2], и i представляет индекс входного пикселя для R, Gr, Gb или B. Фильтрованный выходной сигнал out(i) может отсекаться между минимальным и максимальным значениями -255 и 255, соответственно (уравнение 42). Коэффициенты фильтрации можно задавать независимо для каждой цветовой компоненты.

[0321] Необязательный детектор 686 края может быть предусмотрен на выходе горизонтального фильтра 684. В одном варианте осуществления, детектор 686 края можно задать как:

edge(i)=abs(-2*out(i-1)+2*out(i+1))+abs(-out(i-2)+out(i+2)) $$$$ (43)

edge(i)=max(0, min(255, edge(i))) $$\begin{array}{ccc}& & \end{array}$$ (44)

Таким образом, детектор 686 края, когда включен, может выводить значение на основании двух пикселей по обе стороны текущего входного пикселя i, как показано в уравнении 43. Результат можно обрезать до 8-битового значения между 0 и 255, как показано в уравнении 44.

[0322] В зависимости от того, обнаружен ли край, окончательный выходной сигнал пиксельного фильтра (например, фильтра 684 и детектора 686) можно выбирать, либо как выходной сигнал горизонтального фильтра 684, либо как выходной сигнал детектора 686 края. Например, как показано в уравнении 45, выходным сигналом детектора 686 края может быть edge(i), если край обнаружен, или абсолютное значение выходного сигнала горизонтального фильтра out(i), если край не обнаружен.

edge(i)=(af_horzfilt_edge_detected)?edge(i):abs(out(i)) $$\begin{array}{cc}& \end{array}$$ (45)

Для каждого окна накопленные значения, edge_sum[R, Gr, Gb, B], можно выбирать, либо как (1) сумму edge(j,i) для каждого пикселя по окну, либо как (2) максимальное значение edge(i) по линии в окне, max(edge), просуммированное по линиям в окне. Предполагая, что размер первичного кадра составляет 4096×4096 пикселей, количество битов, необходимых для хранения максимальных значений edge_sum[R, Gr, Gb, B], равно 30 битам (например, 8 битов на пиксель, полюс 22 бита для окна, покрывающего весь первичный кадр изображения).

[0323] Как рассмотрено, фильтры 690 3×3 для яркости camY могут включать в себя два программируемых фильтра 3×3, именуемые F0 и F1, которые применяются к camY. Результат фильтра 690 поступает либо на квадратичную функцию, либо на функцию абсолютного значения. Результат накапливается по данному окну AF для обоих фильтров F0 и F1 3×3 для генерации краевого значения яркости. В одном варианте осуществления, краевые значения яркости на каждом пикселе camY задаются следующим образом:

edgecamY_FX(j,i)=FX*camY $$\begin{array}{ccc}& & \end{array}$$ (46)

=FX(0,0)*camY (j-1, i-1)+FX(0,1)*camY (j-1, i)+FX(0,2)*camY(j-1, i+1)+

FX(1,0)*camY (j, i-1)+FX(1,1)*camY (j, i)+FX(1,2)*camY (j, i+1)+

FX(2,0)*camY (j+1, i-1)+FX(2,1)*camY (j+1, i)+FX(2,2)*camY (j+1, i+1)

edgecamY_FX(j,i)=f(max(-255, min(255, edgecamY_FX(j,i)))) (47)

f(a)=a^2 или abs(a)

где FX представляет программируемые фильтры 3×3, F0 и F1, со знаковыми коэффициентами в диапазоне [-4, 4]. Индексы j и i представляют положения пикселя в изображении camY. Как рассмотрено выше, фильтр по camY может обеспечивать грубую статистику разрешения, поскольку camY выводится с использованием байеровских RGB данных уменьшенного масштаба (например, из 4×4 в 1). Например, в одном варианте осуществления, фильтры F0 и F1 можно устанавливать с использованием оператора Шарра, который обеспечивает улучшенную вращательную симметрию, чем оператор Собеля, пример чего показан ниже:

[0324] Для каждого окна, накопленные значения 700, определенные фильтрами 690, edgecamY_FX_sum (где FX=F0 и F1), можно выбирать либо как (1) сумму edgecamY_FX(j,i) для каждого пикселя по окну, либо как (2) максимальное значение edgecamY_FX(j) по линии в окне, просуммированное по линиям в окне. В одном варианте осуществления, edgecamY_FX_sum может достигать насыщения при 32-битовом значении, когда f(a) устанавливается равным a^2 для обеспечения “более пиковой” статистики с повышенным разрешением. Во избежание насыщения, максимальный размер окна X*Y в пикселях первичного кадра можно устанавливать таким образом, чтобы он не превышал всего 1024×1024 пикселя (например, т.е. X*Y<=1048576 пикселей). Как упомянуто выше, f(a) также можно установить как абсолютное значение для обеспечения более линейной статистики.

[0325] фильтры AF 688 3×3 на Y Байера можно задавать аналогичным образом, как фильтры 3×3 в camY, но они применяются к значениям яркости Y, генерируемым из байеровской четверки (2×2 пикселя). Прежде всего, 8-битовые байеровские RGB значения преобразуются в Y с программируемыми коэффициента в диапазоне [0, 4] для генерации значения Y, сбалансированного по уровню белого, как показано ниже в уравнении 48:

bayerY=max(0, min(255, bayerY_Coeff[0]*R+bayerY_Coeff[1] *(Gr+Gb)/2+ $$\begin{array}{ccc}& & \end{array}$$ (48)

bayerY_Coeff[2]*B))

[0326] Аналогично фильтрам 690 для camY, фильтры 688 3×3 для яркости bayerY могут включать в себя два программируемых фильтра 3×3, именуемые F0 и F1, которые применяются к bayerY. Результат фильтра 688 поступает либо на квадратичную функцию, либо на функцию абсолютного значения. Результат накапливается по данному окну AF для обоих фильтров F0 и F1 3×3 для генерации краевого значения яркости. В одном варианте осуществления, краевые значения яркости на каждом пикселе bayerY задаются следующим образом:

edgebayerY_FX(j,i)=FX*bayerY $$\begin{array}{ccc}& & \end{array}$$ (49)

=FX(0,0)*bayerY (j-1, i-1)+FX(0,1)*bayerY (j-1, i)+FX(0,2)*bayerY (j-1, i)+

FX(1,0)*bayerY (j, i-1)+FX(1,1)*bayerY (j, i)+FX(1,2)*bayerY (j-1, i)+

FX(2,0)*bayerY (j+1, i-1)+FX(2,1)*bayerY (j+1, i)+FX(2,2)*bayerY (j+1, i)

edgebayerY_FX(j,i)=f(max(-255, min(255, edgebayerY_FX(j,i)))) $$\begin{array}{ccc}& & \end{array}$$ (50)

f(a)=a^2 или abs(a)

где FX представляет программируемые фильтры 3×3, F0 и F1, со знаковыми коэффициентами в диапазоне [-4, 4]. Индексы j и i представляют положения пикселя в изображении bayerY. Как рассмотрено выше, фильтр по Y Байера может обеспечивать точную статистику разрешения, поскольку байеровский RGB сигнал, принятый логикой 680 AF, не прорежен. Исключительно в порядке примера, фильтры F0 и F1 логики 688 фильтра можно устанавливать с использованием одной из следующих конфигураций фильтра:

[0327] Для каждого окна, накопленные значения 702, определенные фильтрами 688, edgebayerY _FX_sum (где FX=F0 и F1), можно выбирать либо как (1) сумму edgebayerY_FX(j,i) для каждого пикселя по окну, либо как (2) максимальное значение edgebayerY_FX(j) по линии в окне, просуммированное по линиям в окне. В данном случае, edgebayerY _FX_sum может достигать насыщения при 32 битах, когда f(a) устанавливается равным a^2. Таким образом, во избежание насыщения, максимальный размер окна X*Y в пикселях первичного кадра следует устанавливать таким образом, чтобы он не превышал всего 512×512 пикселей (например, X*Y<=262144). Как рассмотрено выше, задание f(a) как a^2 может обеспечивать более пиковую статистику, а задание f(a) как abs(a) может обеспечивать более линейную статистику.

[0328] Как рассмотрено выше, статистика 682 для AF собирается для 16 окон. Окна могут представлять собой любую прямоугольную область, каждый размер которой кратен 4 пикселям. Поскольку каждая логика 688 и 690 фильтрации включает в себя два фильтра, в ряде случаев, один фильтр можно использовать для нормализации по 4 пикселям и может быть сконфигурирован для фильтрации в вертикальном и горизонтальном направлениях. Кроме того, в некоторых вариантах осуществления, логика 680 AF может нормализовать статистику AF по яркости. Это может осуществляться путем задания одного или более фильтров логических блоков 688 и 690 как обходных фильтров. В некоторых вариантах осуществления, положение окон может ограничиваться величиной, кратной 4 пикселям, и допустимо перекрывание окон. Например, одно окно можно использовать для получения значений нормализации, а другое окно можно использовать для дополнительной статистики, например, дисперсии, как рассмотрено ниже. В одном варианте осуществления, фильтры AF (например, 684, 688, 690) могут не реализовать дублирование пикселей на краю кадра изображения и, таким образом, чтобы фильтры AF использовали все действительные пиксели, окна AF можно устанавливать таким образом, чтобы каждое из них располагалось, по меньшей мере, в 4 пикселях от верхнего края кадра, по меньшей мере, в 8 пикселях от нижнего края кадра и, по меньшей мере, в 12 пикселях от левого/правого края кадра. В проиллюстрированном варианте осуществления, для каждого окна можно собирать и сообщать следующую статистику:

32-битовая edgeGr_sum для Gr

32-битовая edgeR_sum для R

32-битовая edgeB_sum для B

32-битовая edgeGb_sum для Gb

32-битовая edgebayerY_F0_sum для Y из Байера для filter0 (F0)

32-битовая edgebayerY_F1_sum для Y из Байера для filter1 (F1)

32-битовая edgecamY_F0_sum для camY для filter0 (F0)

32-битовая edgecamY_F1_sum для camY для filter1 (F1)

В таком варианте осуществления, память, необходимая для хранения статистики 682 AF, может составлять 16 (окон) умноженные на 8 (Gr, R, B, Gb, bayerY_F0, bayerY_F1, camY_F0, camY_F1), умноженные на 32 бита.

[0329] Таким образом, в одном варианте осуществления, накопленное значение на окно можно выбирать между: выходным сигналом фильтра (который может быть сконфигурирован как настройка по умолчанию), входным пикселем или входным пикселем в квадрате. Выбор может осуществляться для каждого из 16 окон AF, и может применяться ко всем 8 статистическим параметрам AF (перечисленным выше) в данном окне. Это можно использовать для нормирования показателя AF между двумя перекрывающимися окнами, одно из которых сконфигурировано для сбора выходного сигнала фильтра, и другое сконфигурировано для сбора суммы входных пикселей. Дополнительно, для вычисления дисперсии пикселя в случае двух перекрывающихся окон, одно окно может быть сконфигурировано для сбора суммы входных пикселей, а другое для сбора суммы квадратов входных пикселей, таким образом, благодаря чему, дисперсию можно вычислять как:

дисперсия = (avg_pixel²)-(avg_pixel)^2

[0330] С использованием статистики AF, управляющая логика 84 ISP (фиг. 7) может быть сконфигурирована для регулировки фокусного расстояния объектива устройства формирования изображения (например, 30) с использованием ряда регулировок фокусного расстояния на основании “показателей” грубой и точной автофокусировки для фокусировки изображения. Как рассмотрено выше, фильтры 690 3×3 для camY могут обеспечивать грубую статистику, тогда как горизонтальный фильтр 684 и детектор 686 края может обеспечивать сравнительно более точную статистику для каждой цветовой компоненты, тогда как фильтры 688 3×3 на BayerY могут обеспечивать точную статистику на BayerY. Кроме того, фильтры 706 3×3 на прореженном байеровском RGB сигнале 705 могут обеспечивать грубую статистику для каждого цветового канала. Как дополнительно рассмотрено ниже, показатели AF можно вычислять на основании выходных значений фильтра для конкретного входного сигнала (например, суммы выходных сигналов F0 и F1 фильтра для прореженных camY, BayerY, байеровских RGB или на основании выходных сигналов детектора горизонтали/края и т.д.).

[0331] Фиг. 61 демонстрирует график 710, который изображает кривые 712 и 714, которые представляют показатели грубой и точной AF, соответственно. Как показано, показатели грубой AF на основании грубой статистики могут иметь более линейную характеристику относительно фокусного расстояния объектива. Таким образом, в любой позиции фокуса, движение объектива может генерировать изменение показателя автофокусировки, которое можно использовать для обнаружения улучшения или ухудшения фокусировки изображения. Например, увеличения показателя грубой AF после регулировки объектива может указывать, что фокусное расстояние регулируется в правильном направлении (например, к оптической позиции фокуса).

[0332] Однако, по мере приближения к оптической позиции фокуса, изменение показателя грубой AF для меньших шагов регулировки объектива может возрастать, затрудняя распознавание верного направления регулировки фокуса. Например, как показано на графике 710, изменение показателя грубой AF между грубой позицией (CP) CP1 и CP2 представлено как ∆_C12, что демонстрирует увеличение в целом от CP1 к CP2. Однако, как показано, от CP3 к CP4, изменение ∆_C34 показателя грубой AF (который проходит через оптимальную позицию фокуса (OFP)), хотя все еще увеличивается, относительно меньше. Следует понимать, что позиции CP1-CP6 вдоль фокусного расстояния L не обязаны соответствовать величинам шага, используемым логикой автофокусировки вдоль фокусного расстояния. Таким образом, между каждой грубой позицией могут использоваться дополнительные шаги, которые не показаны. Проиллюстрированные позиции CP1-CP6 призваны лишь демонстрировать, как изменение показателя грубой AF может постепенно уменьшаться, когда позиция фокуса приближается к OFP.

[0333] Когда приближенная позиция OFP определена (например, на основании показателей грубой AF, показанных на фиг. 61, приближенная позиция OFP может находиться между CP3 и CP5), значения показателя точной AF, представленные кривой 714, можно оценивать для уточнения позиции фокуса. Например, показатели точной AF могут быть уплощенными, когда изображение расфокусировано, поэтому большое позиционное изменение объектива не приводит к большому изменению показателя точной AF. Однако, когда позиция фокуса достигает оптической позиции фокуса (OFP), показатель точной AF может изменяться резко при малых позиционных регулировках. Таким образом, находя положение пика или вершины 715 на кривой 714 показателя точной AF, можно определить OFP для текущей сцены изображения. Таким образом, в итоге, показатели грубой AF можно использовать для определения общей окрестности оптической позиции фокуса, тогда как показатели точной AF можно использовать для точного указания более точной позиции в этой окрестности.

[0334] В одном варианте осуществления, процесс автофокусировки может начинаться с получения показателей грубой AF по всему доступному фокусному расстоянию, начиная с позиции 0 и заканчивая позицией L (показанной на графике 710), и определять показатели грубой AF в различных шаговых позициях (например, CP1-CP6). В одном варианте осуществления, после того как позиция фокуса объектива достигнет позиции L, позицию можно сбрасывать на 0 до оценивания показателей AF в различных фокальных позициях. Например, это может быть обусловлено временем установки катушки механического элемента, управляющего позицией фокуса. В этом варианте осуществления, после сброса в позицию 0, позицию фокуса можно регулировать в направлении позиции L к позиции, которая первой указала отрицательное изменение показателя грубой AF, в данном случае, позиции CP5, демонстрирующей отрицательное изменение ∆_C45 относительно позиции CP4. От позиции CP5, позицию фокуса можно регулировать малыми приращениями относительно приращений, используемых при регулировках показателя грубой AF (например, позиции FP1, FP2, FP3 и т.д.) обратно в направлении к позиции 0, одновременно ища пик 715 кривой 714 показателя точной AF. Как рассмотрено выше, позиция фокуса OFP, соответствующая пику 715 кривой 714 показателя точной AF, может быть оптимальной позицией фокуса для текущей сцены изображения.

[0335] Очевидно, что вышеописанные методы определения положения оптимальной области и оптимальный позиции фокуса могут именоваться “восхождением по выпуклой поверхности”, в том смысле, что изменения кривых показателей 712 и 714 AF анализируются для определения положения OFP. Кроме того, хотя анализ показателей грубой AF (кривая 712) и показателей точной AF (кривая 714) показан с использованием шагов одинакового размера для анализа грубого показателя (например, расстояния между CP1 и CP2) и шагов одинакового размера для анализа точного показателя (например, расстояния между FP1 и FP2), в некоторых вариантах осуществления, величины шага могут изменяться в зависимости от изменения показателя от позиции к позиции. Например, в одном варианте осуществления, размер шага между CP3 и CP4 можно уменьшить относительно размера шага между CP1 и CP2, поскольку общая дельта показателя грубой AF (∆_C34) меньше дельты от CP1 до CP2 (∆_C12).

[0336] Способ 720, изображающий этот процесс, представлен на фиг. 62. Начиная с блока 722, показатель грубой AF определяется для данных изображения с различными шагами вдоль фокусного расстояния, от позиции 0 к позиции L (фиг. 61). После этого, на блоке 724, показатели грубой AF анализируются, и грубая позиция, демонстрирующая первое отрицательное изменение показателя грубой AF, идентифицируется как исходный пункт для анализа показателя точной AF. Например, затем, на блоке 726, позиция фокуса пошагово изменяется обратно к начальной позиции 0 с меньшими шагами, причем показатель точной AF анализируется шаг за шагом, пока не будет найден пик кривой показателя AF (например, кривой 714 на фиг. 61). На блоке 728, позиция фокуса, соответствующая пику, устанавливается как оптимальная позиция фокуса для текущей сцены изображения.

[0337] Как рассмотрено выше, вследствие времени механической установки катушки, вариант осуществления метода, показанного на фиг. 62, можно адаптировать для первоначального получения показателей грубой AF по всему фокусному расстоянию, вместо того, чтобы анализировать каждую грубую позицию по одной и искать оптимальную зону фокусирования. Однако другие варианты осуществления, в которых времена установки катушки не столь важны, могут анализировать показатели грубой AF по одному шаг за шагом, вместо того, чтобы искать по всему фокусному расстоянию.

[0338] В некоторых вариантах осуществления, показатели AF можно определять с использованием значений яркости, сбалансированных по уровню белого, полученных из байеровских RGB данных. Например, значение яркости, Y, можно вывести путем прореживания байеровской четверки 2×2 с коэффициентом 2, как показано на фиг. 63, или путем прореживания пиксельного блока 4×4, состоящего из четырех байеровских четверок 2×2, с коэффициентом 4, как показано на фиг. 64. В одном варианте осуществления, показатели AF можно определить с использованием градиентов. В другом варианте осуществления, показатели AF можно определить путем применения преобразования 3×3 с использованием оператора Шарра, который обеспечивает вращательную симметрию, в то же время, минимизируя средневзвешенные квадратичные угловые ошибки в области Фурье. В порядке примера, ниже показано вычисление показателя грубой AF на camY с использованием общего оператора Шарра (рассмотренного выше):

,

где in представляет прореженное значение Y яркости. В других вариантах осуществления, показатель AF для грубой и точной статистики можно вычислять с использованием других преобразований 3×3.

[0339] Регулировки автофокусировки также можно осуществлять по-разному в зависимости от цветовых компонент, поскольку объектив может по-разному влиять на разные длины волны света, из-за чего горизонтальный фильтр 684 применяется независимо к каждой цветовой компоненте. Таким образом, автофокусировка может осуществляться даже в присутствие хроматической аберрации в объективе. Например, поскольку красный и синий свет обычно фокусируется в разных позициях или на разном расстоянии относительно зеленого цвета при наличии хроматических аберраций, относительные показатели AF для каждого цвета можно использовать для определения направления к фокусу. Это лучше представлено на фиг. 65, которая демонстрирует оптимальную позицию фокуса для цветовых каналов синего, красного и зеленого для объектива 740. Как показано, оптимальные фокальные позиции для красного, зеленого и синего изображены буквенными обозначениями R, G и B соответственно, каждая из которых соответствует показателю AF, при текущей позиции 742 фокуса. В общем случае, в такой конфигурации, может быть желательным выбирать оптимальную позицию фокуса как позицию, соответствующую оптимальной позиции фокуса для компонент зеленого (например, поскольку байеровский RGB шаблон имеет вдвое больше компонент зеленого, чем красного или синего), здесь позиция G. Таким образом, можно ожидать, что для оптимальной позиции фокуса, канал зеленого должен демонстрировать наивысший показатель автофокусировки. Таким образом, на основании позиций оптимальных фокальных позиций для каждого цвета (чем выше показатели AF, тем ближе к объективу), логика 680 AF и соответствующая управляющая логика 84 могут определять направление фокусировки на основании относительных показателей AF для синего, зеленого и красного. Например, если канал синего имеет более высокий показатель AF относительно канала зеленого (как показано на фиг. 65), то позиция фокуса регулируется в отрицательном направлении (к датчику изображения) без первоначального анализа в положительном направлении от текущей позиции 742. В некоторых вариантах осуществления, может осуществляться обнаружение или анализ источника света с использованием цветокоррелированных температур (CCT).

[0340] Кроме того, как упомянуто выше, также можно использовать показатели дисперсии. Например, пиксельные суммы и значения суммы квадратов пикселей можно накапливать для размеров блока (например, 8×8 - 32×32 пикселей) и можно использовать для получения показателей дисперсии (например, avg_pixel²)-(avg_pixel)^2). Дисперсии можно суммировать для получения показателя суммарной дисперсии для каждого окна. Меньшие размеры блока можно использовать для получения точных показателей дисперсии, и большие размеры блока можно использовать для получения более грубых показателей дисперсии.

[0341] Что касается логики 468 статистики 3A, показанной на фиг. 51, логика 468 также может быть сконфигурирована для сбора компонентных гистограмм 750 и 752. Очевидно, что, гистограммы можно использовать для анализа распределения уровня пикселя в изображении. Это может оказаться полезным для реализации некоторых функций, например, выравнивания гистограммы, где данные гистограммы используются для определения спецификации гистограммы (согласования гистограммы). В порядке примера, гистограммы яркости можно использовать для AE (например, для регулировки/задания времен интегрирования датчика), и гистограммы цвета можно использовать для AWB. В настоящем варианте осуществления, гистограммы могут быть 256, 128, 64 или 32 бинов (где 8, 7, 6 и 5 старших битов пикселя используется для определения бина, соответственно) для каждой цветовой компоненты, что указано размером бина (BinSize). Например, когда пиксельные данные являются 14-битовыми, дополнительный масштабный коэффициент между 0-6 и смещение могут задаваться для определения, какой диапазон (например, какие 8 битов) пиксельных данных собирается в целях статистики. Номер бина можно получить следующим образом:

idx=((pixel-hist_offset)>>(6-hist_scale)

[0342] В одном варианте осуществления, бины цветовой гистограммы увеличиваются, только если индексы бинов находятся в диапазоне [0, 2^(8-BinSize)]:

if (idx>=0&&idx<2^(8-BinSize))

StatsHist[idx]+=Count;

[0343] В настоящем варианте осуществления, блок 120 статистической обработки может включать в себя два блока гистограммы. Эта первая гистограмма 750 (Hist0) может быть сконфигурирована для сбора пиксельных данных как части сбора статистики после прореживания 4×4. Для Hist0, компоненты можно выбирать как RGB, sRGB_linear, sRGB или YC1C2 с использованием схемы 756 выбора. Вторая гистограмма 752 (Hist1) может быть сконфигурирована для сбора пиксельных данных до конвейера статистики (до логики 460 коррекции дефектных пикселей), как показано более подробно на фиг. 65. Например, первичные байеровские RGB данные (выход из 124) можно прореживать (для генерации сигнала 754) с использованием логики 760 путем пропуска пикселей, как дополнительно рассмотрено ниже. Для канала зеленого, цвет можно выбирать между Gr, Gb или обоими Gr и Gb (в бинах зеленого накапливаются оба счетчика Gr и Gb).

[0344] Чтобы поддерживать ширину бина гистограммы одинаковой между двумя гистограммами, Hist1 может быть сконфигурирована для сбора пиксельных данных через каждые 4 пикселя (каждой второй байеровской четверки). Начало окна гистограммы определяет положение первой байеровской четверки, где гистограмма начинает накапливаться. Начиная с этого положения, каждая вторая байеровская четверка пропускается горизонтально и вертикально для Hist1. Начальным положением окна может быть любая позиция пикселя для Hist1, и, таким образом, пиксели, пропускаемые при вычислении гистограммы, можно выбирать, изменяя начальное положение окна. Hist1 можно использовать для сбора данных, представленных 1112 на фиг. 66, вблизи уровня черного для помощи в динамической компенсации уровня черного на блоке 462. Таким образом, хотя в целях иллюстрации, на фиг. 66 она показана отдельно от логики 468 статистики 3A, следует понимать, что гистограмма 752 фактически может быть частью статистики, записанной в памяти, и может фактически физически располагаться в блоке 120 статистической обработки.

[0345] В настоящем варианте осуществления, бины красного (R) и синего (B) могут быть 20-битовыми, а бин зеленого (G) является 21-битовым (зеленый больше для обеспечения накопления Gr и Gb в Hist1). Это обеспечивает максимальный размер изображения 4160 на 3120 пикселей (12 MP). Необходимый размер внутренней памяти составляет 3×256×20(1) битов (3 цветовых компоненты, 256 бинов).

[0346] В отношении формата памяти, статистика для окон AWB/AE, окон AF, 2D цветовой гистограммы и компонентных гистограмм может отображаться в регистры для облегчения доступа со стороны программно-аппаратного обеспечения. В одном варианте осуществления, два указателя памяти можно использовать для записи статистики в память, один для мозаичной статистики 674, и другой для статистики 678 суммарных яркостей по строке, сопровождаемой всей остальной собранной статистикой. Все статистические данные записываются во внешнюю память, в качестве которой можно использовать память DMA. Адресные регистры памяти могут быть дважды буферизованными, благодаря чему, на каждом кадре может указываться новая ячейка памяти.

[0347] Прежде чем перейти к подробному рассмотрению логики 82 конвейера ISP, располагающейся после логики 80 предварительной обработки ISP, следует понять, что конфигурация различных функциональных логических блоков в блоках 120 и 122 статистической обработки (например, логических блоков 460, 462, 464, 466 и 468) и блоке 130 предварительной обработки пикселей ISP (например, логических блоков 298 и 300) призваны иллюстрировать только один вариант осуществления настоящего изобретения. Действительно, в других вариантах осуществления, проиллюстрированные здесь логические блоки могут располагаться в другом порядке или могут включать в себя дополнительные логические блоки, которые могут осуществлять дополнительные функции обработки изображений, конкретно здесь не описанные. Кроме того, следует понимать, что операции обработки изображений, осуществляемые в блоках статистической обработки (например, 120 и 122), например коррекция затенения объектива, обнаружение/коррекция дефектных пикселей и компенсация уровня черного, осуществляются в блоках статистической обработки в целях сбора статистических данных. Таким образом, операции обработки, осуществляемые на данных изображения, принятых блоками статистической обработки, фактически не отражаются в сигнале 109 изображения (FEProcOut), который выводится из логики 130 предварительной обработки пикселей ISP и перенаправляется на логику 82 конвейерной обработки ISP.

[0348] Прежде чем продолжить, следует также отметить, что при наличии достаточного времени обработки и сходства между многими требованиями к обработке различных описанных здесь операций, можно переконфигурировать показанные здесь функциональные блоки для осуществления обработки изображений in в последовательном, а не конвейерном режиме. Очевидно, что это может дополнительно снизить общую стоимость аппаратной реализации, но также может повысить требования к ширине полосы для доступа к внешней памяти (например, для кэширования/сохранения промежуточных результатов/данных).

Логика конвейерной обработки (“конвейера”) ISP

[0349] На основании подробно описанной выше логики 80 предварительной обработки ISP, настоящее рассмотрение теперь сконцентрируется на логике 82 конвейерной обработки ISP. В общем случае, функция логики 82 конвейера ISP состоит в приеме первичных данных изображения, которые могут поступать из логики 80 предварительной обработки ISP или извлекаться из памяти 108, и в осуществлении дополнительных операций обработки изображений, т.е. до вывода данных изображения на устройство 28 отображения.

[0350] Блок-схема, демонстрирующая вариант осуществления логики 82 конвейера ISP, изображена на фиг. 67. Как показано, логика 82 конвейера ISP может включать в себя логику 900 первичной обработки, логику 902 обработки RGB и логику 904 обработки YCbCr. Логика 900 первичной обработки может осуществлять различные операции обработки изображений, например обнаружение и коррекцию дефектных пикселей, коррекцию затенения объектива, демозаику, а также применение коэффициентов усиления для автоматического баланса белого и/или установки уровня черного, как будет дополнительно описано ниже. Как показано в настоящем варианте осуществления, входным сигналом 908 на логику 900 первичной обработки может быть выходной сигнал 109 первичного пикселя (сигнал FEProcOut) из логики 80 предварительной обработки ISP или первичные пиксельные данные 112 из памяти 108, в зависимости от настоящей конфигурации логики 906 выбора.

[0351] В результате операций демозаики, осуществляемых в логике 900 первичной обработки, выходной сигнал 910 изображения может находиться в области RGB, и затем может перенаправляться на логику 902 обработки RGB. Например, как показано на фиг. 67, логика 902 обработки RGB принимает сигнал 916, который может быть выходным сигналом 910 или сигналом 912 изображения RGB из памяти 108, в зависимости от настоящей конфигурации логики 914 выбора. Логика 902 обработки RGB может обеспечивать различные операции регулировки цвета RGB, включающие в себя цветовую коррекцию (например, с использованием матрицы цветовой коррекции), применение цветовых коэффициентов усиления для автоматической балансировки белого, а также отображения глобальных тонов, что будет дополнительно описано ниже. Логика 904 обработки RGB также может обеспечивать преобразование цветового пространства данных изображения RGB в цветовое пространство YCbCr (яркость/цветность). Таким образом, выходной сигнал 918 изображения может находиться в области YCbCr, и затем может перенаправляться на логику 904 обработки YCbCr.

[0352] Например, как показано на фиг. 67, логика 904 обработки YCbCr принимает сигнал 924, который может быть выходным сигналом 918 из логики 902 обработки RGB или сигналом 920 YCbCr из памяти 108, в зависимости от настоящей конфигурации логики 922 выбора. Как будет более подробно рассмотрено ниже, логика 904 обработки YCbCr может обеспечивать операции обработки изображений в цветовом пространстве YCbCr, включающие в себя масштабирование, подавление цветности, яркостное повышение резкости, регулировки яркости, контрастности и цвета (BCC), отображение гаммы YCbCr, прореживание цветности и т.д. Выходной сигнал 926 изображения логики 904 обработки YCbCr может отправляться в память 108 или может выводиться из логики 82 конвейерной обработки ISP в качестве сигнала 114 изображения (фиг. 7). Сигнал 114 изображения может отправляться на устройство 28 отображения (либо непосредственно, либо через память 108) для просмотра пользователем, или может дополнительно обрабатываться с использованием машины сжатия (например, кодера 118), ЦП/ГП, машины графики и т.п.

[0353] В соответствии с вариантами осуществления настоящего изобретения, логика 82 конвейера ISP может поддерживать обработку первичных пиксельных данных в 8-битовом, 10-битовом, 12-битовом или 14-битовом форматах. Например, в одном варианте осуществления, 8-битовые, 10-битовые или 12-битовые входные данные могут преобразовываться в 14-битовые на входе логики 900 первичной обработки, и операции первичной обработки и обработки RGB могут осуществляться с 14-битовой точностью. В последнем варианте осуществления, 14-битовые данные изображения могут подвергаться понижающей дискретизации до 10 битов до преобразования данных RGB в цветовое пространство YCbCr, и обработка YCbCr (логика 904) может осуществляться с 10-битовой точностью.

[0354] Для обеспечения исчерпывающего описания различных функций, обеспеченных логикой 82 конвейерной обработки ISP, каждая из логики 900 первичной обработки, логики 902 обработки RGB и логики 904 обработки YCbCr, а также внутренней логики для осуществления различных операций обработки изображений, которые можно реализовать в каждом соответствующем блоке логики 900, 902 и 904, будет последовательно рассмотрена ниже, начиная с логики 900 первичной обработки. Например, со ссылкой на фиг. 68, проиллюстрирована блок-схема, демонстрирующая более детализированный вид варианта осуществления логики 900 первичной обработки, в соответствии с вариантом осуществления настоящего изобретения. Как показано, логика 900 первичной обработки включает в себя логику 930 коэффициента усиления, смещения и ограничения (GOC), логику 932 обнаружения/коррекции дефектных пикселей (DPDC), логику 934 шумопонижения, логику 936 коррекции затенения объектива, логику 938 GOC и логику 940 демозаики. Кроме того, хотя в рассмотренных ниже примерах предполагается использование матрицы байеровских цветовых фильтров с датчиком(ами) 90 изображения, следует понимать, что другие варианты осуществления настоящего изобретения могут использовать и другие типы цветовых фильтров.

[0355] Входной сигнал 908, который может быть первичным сигналом изображения, сначала принимается логикой 930 коэффициента усиления, смещения и ограничения (GOC). Логика 930 GOC может обеспечивать аналогичные функции и может быть реализована по аналогии с логикой 462 BLC блока 120 статистической обработки логики 80 предварительной обработки ISP, рассмотренной выше на фиг. 37. Например, логика 930 GOC может обеспечивать коэффициент цифрового усиления, смещения и ограничение (отсечку) независимо для каждой цветовой компоненты R, B, Gr и Gb байеровского датчика изображения. В частности, логика 930 GOC может осуществлять автоматический баланс белого или устанавливать уровень черного первичных данных изображения. Кроме того, в некоторых вариантах осуществления, логику 930 GOC также можно использовать для коррекции или компенсации смещения между цветовыми компонентами Gr и Gb.

[0356] В ходе эксплуатации, входное значение для текущего пикселя сначала смещается на знаковое значение и умножается на коэффициент усиления. Эта операция может осуществляться с использованием формулы, показанной в вышеприведенном уравнении 11, где X представляет входное пиксельное значение для данной цветовой компоненты R, B, Gr или Gb, O[c] представляет знаковое 16-битовое смещение для текущей цветовой компоненты c, и G[c] представляет значение коэффициента усиления для цветовой компоненты c. Значения G[c] могут заранее определяться в ходе статистической обработки (например, в блоке 80 предварительной обработки ISP). В одном варианте осуществления, коэффициент G[c] усиления может представлять собой 16-битовое беззнаковое число с 2 битами целой части и 14 битами дробной части (например, в представлении 2,14 с плавающей запятой), и коэффициент G[c] усиления можно применять с округлением. Исключительно в порядке примера, коэффициент G[c] усиления может принимать значения в пределах от 0 до 4X.

[0357] Вычисленное пиксельное значение Y (которое включает в себя коэффициент G[c] усиления и смещение O[c]) из уравнения 11 затем ограничивается минимальным и максимальным диапазоном в соответствии с уравнением 12. Как рассмотрено выше, переменные min[c] и max[c] могут представлять знаковые 16-битовые “значения отсечки” для минимального и максимального выходных значений, соответственно. В одном варианте осуществления, логика 930 GOC также может быть сконфигурирована для поддержания счетчика количества пикселей, которые были отсечены выше и ниже максимального и минимального диапазонов, соответственно, для каждой цветовой компоненты.

[0358] Затем выходной сигнал логики 930 GOC перенаправляется на логику 932 обнаружения и коррекции дефектных пикселей. Как рассмотрено выше со ссылкой на фиг. 37 (логика 460 DPDC), наличие дефектных пикселей может объясняться рядом факторов, и они могут включать в себя “горячие” (или с утечкой) пиксели, “залипшие” пиксели и “мертвые пиксели, где горячие пиксели демонстрируют сверхнормативную утечку заряда относительно недефектных пикселей и, таким образом, могут выглядеть ярче, чем недефектный пиксель, и где залипший пиксель выглядит, как постоянно включенный (например, полностью заряженный) и, таким образом, выглядит ярче, тогда как мертвый пиксель выглядит, как постоянно отключенный. По этой причине, может быть желательным иметь схему обнаружения пикселей, достаточно надежную для идентификации и исправления различных типов сценариев отказа. В частности, при сравнении с логикой 460 предварительной обработки DPDC, которая может обеспечивать только обнаружение/коррекцию динамических дефектов, логика 932 конвейера DPDC может обеспечивать обнаружение/коррекцию фиксированных или статических дефектов, обнаружение/коррекцию динамических дефектов, а также удаление спеклов.

[0359] В соответствии с вариантами осуществления описанного здесь изобретения, коррекция/обнаружение дефектных пикселей, осуществляемые логикой 932 DPDC, могут происходить независимо для каждой цветовой компоненты (например, R, B, Gr и Gb), и могут включать в себя различные операции для обнаружения дефектных пикселей, а также для коррекции обнаруженных дефектных пикселей. Например, в одном варианте осуществления, операции обнаружения дефектных пикселей могут обеспечивать обнаружение статических дефектов, динамических дефектов, а также обнаружение спеклов, которые могут быть связаны с электрическими помехами или шумом (например, фотонным шумом), которые могут присутствовать в датчике формирования изображения. По аналогии, спекл может возникать в изображении как, по-видимому, случайные шумовые артефакты, аналогично тому, как статика может возникать на дисплее, например телевизионном дисплее. Кроме того, как упомянуто выше, коррекция динамических дефектов считается динамической в том смысле, что характеризация пикселя как дефектного в данный момент времени может зависеть от данных изображения в соседних пикселях. Например, залипший пиксель, который всегда имеет максимальную яркость, может не рассматриваться как дефектный пиксель, если залипший пиксель располагается в области текущего изображения, где преобладают яркие белые цвета. Напротив, если залипший пиксель находится в области текущего изображения, где преобладают черный или более темные цвета, то залипший пиксель можно идентифицировать как дефектный пиксель в ходе обработки логикой 932 DPDC и соответственно корректировать.

[0360] В отношении обнаружения статических дефектов, положение каждого пикселя сравнивается с таблицей статических дефектов, где могут храниться данные, соответствующие положению пикселей, в отношении которых известно, что они дефектные. Например, в одном варианте осуществления, логика 932 DPDC может отслеживать обнаружение дефектных пикселей (например, с использованием механизма счетчика или регистра) и, если наблюдаются постоянные отказы конкретного пикселя, положение этого пикселя заносится в таблицу статических дефектов. Таким образом, в ходе обнаружения статических дефектов, если определено, что положение текущего пикселя указано в таблице статических дефектов, то текущий пиксель идентифицируется как дефектный пиксель, и значение замены определяется и временно сохраняется. В одном варианте осуществления, значение замены может представлять собой значение предыдущего пикселя (на основании порядка сканирования) той же цветовой компоненты. Значение замены можно использовать для коррекции статического дефекта в ходе обнаружения и коррекции динамических дефектов /спеклов, как будет рассмотрено ниже. Дополнительно, если предыдущий пиксель находится вне первичного кадра 278 (фиг. 19), то его значение не используется, и статический дефект можно корректировать в процессе коррекции динамических дефектов. Кроме того, из соображений памяти, в таблице статических дефектов может храниться конечное количество записей положения. Например, в одном варианте осуществления, таблицу статических дефектов можно реализовать как очередь FIFO, сконфигурированную для хранения всего 16 положений для каждых двух линий данных изображения. Тем не менее, положения, заданные в таблице статических дефектов будут корректироваться с использованием значения замены предыдущего пикселя (а не посредством процесса обнаружения динамических дефектов, рассмотренного ниже). Как упомянуто выше, варианты осуществления настоящего изобретения также могут обеспечивать обновление таблицы статических дефектов с перерывами с течением времени.

[0361] Варианты осуществления могут обеспечивать таблицу статических дефектов, реализуемую во внутрикристальной памяти или внекристальной памяти. Очевидно, что использование внутрикристальной реализации может увеличить общую площадь/размер микросхемы, тогда как использование внекристальной реализации может уменьшить площадь/размер микросхемы, но при этом увеличить требования к пропускной способности памяти. Таким образом, следует понимать, что таблицу статических дефектов можно реализовать либо на кристалле, либо вне кристалла в зависимости от требований конкретной реализации, т.е. полного количества пикселей, подлежащих хранению в таблице статических дефектов.

[0362] Процессы обнаружения динамических дефектов и спеклов могут быть сдвинуты по времени относительно рассмотренного выше процесса обнаружения статических дефектов. Например, в одном варианте осуществления, процесс обнаружения динамических дефектов и спеклов может начинаться после того, как процесс обнаружения статических дефектов проанализирует две линии сканирования (например, строки) пикселей. Очевидно, что, это позволяет идентифицировать статические дефекты и их соответствующие значения замены, подлежащие определению до обнаружения динамических дефектов/спеклов. Например, в процессе обнаружения динамических дефектов/спеклов, если текущий пиксель был ранее помечен как статический дефект, вместо применения операций обнаружения динамических дефектов/спеклов, статический дефект без труда корректируется с использованием ранее оцененного значения замены.

[0363] В отношении обнаружения динамических дефектов и спеклов, эти процессы могут происходить последовательно или параллельно. Обнаружение и коррекция динамических дефектов и спеклов, которые осуществляются логикой 932 DPDC, могут опираться на адаптивное обнаружение края с использованием градиентов в направлении от пикселя к пикселю. В одном варианте осуществления, логика 932 DPDC может выбирать восемь непосредственных соседей текущего пикселя, имеющих ту же цветовую компоненту, которые используются в первичном кадре 278 (фиг. 19). Другими словами, текущий пиксель и его восемь непосредственных соседей P0, P1, P2, P3, P4, P5, P6 и P7 могут формировать область 3×3, как показано ниже на фиг. 69.

[0364] Однако следует отметить, что в зависимости от положения текущего пикселя P, пиксели вне первичного кадра 278 не рассматриваются при вычислении градиентов от пикселя к пикселю. Например, в отношении “верхнего левого” случая 942, показанного на фиг. 69, текущий пиксель P находится в верхнем левом углу первичного кадра 278, и, таким образом, соседние пиксели P0, P1, P2, P3 и P5 вне первичного кадра 278 не рассматриваются, оставляя только пиксели P4, P6 и P7 (N=3). В “верхнем” случае 944, текущий пиксель P находится на самом верхнем краю первичного кадра 278, и, таким образом, соседние пиксели P0, P1 и P2 вне первичного кадра 278 не рассматриваются, оставляя только пиксели P3, P4, P5, P6 и P7 (N=5). Затем, в “верхнем правом” случае 946, текущий пиксель P находится в верхнем правом углу первичного кадра 278, и, таким образом, соседние пиксели P0, P1, P2, P4 и P7 вне первичного кадра 278 не рассматриваются, оставляя только пиксели P3, P5 и P6 (N=3). В “левом” случае 948, текущий пиксель P находится на самом левом краю первичного кадра 278, и, таким образом, соседние пиксели P0, P3 и P5 вне первичного кадра 278 не рассматриваются, оставляя только пиксели P1, P2, P4, P6 и P7 (N=5).

[0365] В “центральном” случае 950, все пиксели P0-P7 лежат в первичном кадре 278 и, таким образом, используются при определении градиентов от пикселя к пикселю (N=8). В “правом” случае 952, текущий пиксель P находится на самом правом краю первичного кадра 278, и, таким образом, соседние пиксели P2, P4 и P7 вне первичного кадра 278 не рассматриваются, оставляя только пиксели P0, P1, P3, P5 и P6 (N=5). Дополнительно, в “нижнем левом” случае 954, текущий пиксель P находится в нижнем левом углу первичного кадра 278, и, таким образом, соседние пиксели P0, P3, P5, P6 и P7 вне первичного кадра 278 не рассматриваются, оставляя только пиксели P1, P2 и P4 (N=3). В “нижнем” случае 956, текущий пиксель P находится на самом нижнем краю первичного кадра 278, и, таким образом, соседние пиксели P5, P6 и P7 вне первичного кадра 278 не рассматриваются, оставляя только пиксели P0, P1, P2, P3 и P4 (N=5). Наконец, в “нижнем правом” случае 958, текущий пиксель P находится в нижнем правом углу первичного кадра 278, и, таким образом, соседние пиксели P2, P4, P5, P6 и P7 вне первичного кадра 278 не рассматриваются, оставляя только пиксели P0, P1 и P3 (N=3).

[0366] Таким образом, в зависимости от позиции текущего пикселя P, количество пикселей, используемых при определении градиентов от пикселя к пикселю, может составлять 3, 5 или 8. В проиллюстрированном варианте осуществления, для каждого соседнего пикселя (k=0~7) внутри границы изображения (например, первичный кадр 278), градиенты от пикселя к пикселю можно вычислять следующим образом:

, для (только для k в первичном кадре) (51)

Дополнительно, средний градиент, G_av, можно вычислять как разность между текущим пикселем и средним, P_av, окружающих его пикселей, как показано в нижеследующих уравнениях:

, где N=3, 5 или 8 (в зависимости от позиции пикселя) $$\begin{array}{ccc}& & \end{array}$$ (52a)

Значения градиента от пикселя к пикселю (уравнение 51) можно использовать при определении случая динамического дефекта, и среднее соседних пикселей (уравнения 52a и 52b) можно использовать при идентификации случаев спеклов, как дополнительно рассмотрено ниже.

[0367] В одном варианте осуществления, обнаружение динамических дефектов может осуществляться логикой 932 DPDC следующим образом. Прежде всего, предполагается, что пиксель является дефектным, если некоторое количество градиентов G_k находятся на конкретном пороге или ниже, который обозначается переменной dynTh (порог динамического дефекта). Таким образом, для каждого пикселя, накапливается счетчик (C) количества градиентов для соседних пикселей внутри границ изображения, которые находятся на пороге или ниже dynTh. Порог dynTh может быть комбинацией фиксированной пороговой компоненты и динамической пороговой компоненты, которая может зависеть от “активности” окружающих пикселей. Например, в одном варианте осуществления, динамическую пороговую компоненту dynTh можно определить путем вычисления значения высокочастотной компоненты P_hf на основании суммирования абсолютной разности между средними пиксельными значениями P_av (уравнение 52a) и каждым соседним пикселем, как показано ниже:

где N=3, 5 или 8 $$\begin{array}{ccc}& & \end{array}$$ (52c)

В случаях, когда пиксель располагается в углу изображения (N=3) или на краю изображения (N=5), P_hf можно умножать на 8/3 или 8/5, соответственно. Очевидно, что это гарантирует, что высокочастотная компонента P_hf нормализуется на основании восьми соседних пикселей (N=8).

[0368] Определив P_hf, порог dynTh обнаружения динамических дефектов можно вычислить, как показано ниже:

dynTh=dynTh₁+(dynTh₂×P_hf), $$\begin{array}{ccc}& & \end{array}$$ (53)

где dynTh₁ представляет фиксированную пороговую компоненту, и dynTh₂ представляет динамическую пороговую компоненту и является множителем для P_hf в уравнении 53. Для каждой цветовой компоненты может быть обеспечена отдельная фиксированная пороговая компонента dynTh₁, но для каждого пикселя одного и того же цвета dynTh₁ один и тот же. Исключительно в порядке примера, dynTh₁ можно устанавливать, по меньшей мере, выше дисперсии шума в изображении.

[0369] Динамическую пороговую компоненту dynTh₂ можно определить на основании некоторой характеристики изображения. Например, в одном варианте осуществления, dynTh₂ можно определить с использованием сохраненных эмпирических данных, касающихся экспозиции и/или времени интегрирования датчика. Эмпирические данные могут определяться в ходе калибровки датчика изображения (например, 90) и могут связывать значения динамической пороговой компоненты, которые можно выбирать для dynTh₂, с каждой из ряда точек данных. Таким образом, на основании текущего значения экспозиции и/или времени интегрирования датчика, которые можно определить в ходе статистической обработки в логике 80 предварительной обработки ISP, dynTh₂ можно определить путем выбора значения динамической пороговой компоненты из сохраненных эмпирических данных, которые соответствуют текущему значению экспозиции и/или времени интегрирования датчика. Дополнительно, если текущее значение экспозиции и/или времени интегрирования датчика не соответствует непосредственно одной из эмпирических точек данных, то dynTh₂ можно определить путем интерполяции значений динамической пороговой компоненты, связанных с точками данных, между которыми находится текущее значение экспозиции и/или времени интегрирования датчика. Кроме того, по аналогии с фиксированной пороговой компонентой dynTh₁, динамическая пороговая компонента dynTh₂ может иметь разные значения для каждой цветовой компоненты. Таким образом, составное пороговое значение dynTh может изменяться для каждой цветовой компоненты (например, R, B, Gr, Gb).

[0370] Как упомянуто выше, для каждого пикселя, определяется счетчик C количества градиентов для соседних пикселей внутри границ изображения, которые находятся на пороге или ниже dynTh. Например, для каждого соседнего пикселя в первичном кадре 278, накопленный счетчик C градиентов G_k, которые находятся на пороге или ниже dynTh, можно вычислить следующим образом:

для (только для k в первичном кадре)

Затем, если определено, что накопленный счетчик C меньше или равен максимальному счетчику, обозначенному переменной dynMaxC, то пиксель можно рассматривать как динамический дефект. В одном варианте осуществления, разные значения для dynMaxC могут быть обеспечены для условий N=3 (угол), N=5 (край) и N=8. Эта логика выражена ниже:

если (C≤dynMaxC), то текущий пиксель P является дефектным. (55)

[0371] Как упомянуто выше, положение дефектных пикселей может сохраняться в таблице статических дефектов. В некоторых вариантах осуществления, минимальное значение градиента (min(G_k)), вычисленное в ходе обнаружения динамических дефектов для текущего пикселя, можно сохранять и можно использовать для сортировки дефектных пикселей, так что большее минимальное значение градиента указывает более высокую “степень тяжести” дефекта и подлежит коррекции в ходе коррекции пикселей до того, как будут скорректированы менее тяжелые дефекты. В одном варианте осуществления, пиксель может нуждаться в обработке по множественным кадрам формирования изображения до сохранения в таблице статических дефектов, например, путем фильтрации положений дефектных пикселей с течением времени. В последнем варианте осуществления, положение дефектного пикселя может сохраняться в таблице статических дефектов, только если дефект возникает в конкретном количестве последовательных изображений в одном и том же положении. Кроме того, в некоторых вариантах осуществления, таблица статических дефектов может быть сконфигурирована для сортировки сохраненных положений дефектных пикселей на основании минимальных значений градиента. Например, наивысшее минимальное значение градиента может указывать дефект большей “степени тяжести”. Упорядочивая положения таким образом, можно устанавливать приоритет коррекции статических дефектов, чтобы наиболее тяжелые или важные дефекты корректировались в первую очередь. Дополнительно, таблица статических дефектов могут обновляться с течением времени для включения в нее вновь обнаруженных статических дефектов и их упорядочения, соответственно, на основании их соответствующих минимальных значений градиента.

[0372] Обнаружение спеклов, которое может происходить параллельно вышеописанному процессу обнаружения динамических дефектов, может осуществляться путем определения, превышает ли значение G_av (уравнение 52b) порог spkTh обнаружения спеклов. По аналогии с порогом dynTh динамического дефекта, спековый порог spkTh также может включать в себя фиксированные и динамические компоненты, обозначаемые spkTh₁ и spkTh₂, соответственно. В целом, фиксированные и динамические компоненты spkTh₁ и spkTh₂ можно устанавливать более “агрессивно” по сравнению со значениями dynTh₁ и dynTh₂, во избежание ошибочного обнаружения спекла в областях изображения, которые могут быть более тяжело текстурированы, и других, таких как, текст, листва, некоторые шаблоны ткани и т.д. Соответственно, в одном варианте осуществления, динамическая пороговая компонента spkTh₂ спекла может увеличиваться для высокотекстурированных областей изображения и уменьшаться для “уплощенных” или более однородных областей. Порог spkTh обнаружения спеклов можно вычислить, как показано ниже:

spkTh=spkTh₁+(spkTh₂×P_hf), $$\begin{array}{ccc}& & \end{array}$$ (56)

где spkTh₁ представляет фиксированную пороговую компоненту, и spkTh₂ представляет динамическую пороговую компоненту. Затем обнаружение спекла можно определить в соответствии со следующим выражением:

если (G_av>spkTh), то текущий пиксель P является спекловым. (57)

[0373] После идентификации дефектных пикселей, логика 932 DPDC может применять операции коррекции пикселей в зависимости от типа обнаруженного дефекта. Например, если дефектный пиксель идентифицирован как статический дефект, пиксель заменяется сохраненным значением замены, как рассмотрено выше (например, значением предыдущего пикселя той же цветовой компоненты). Если пиксель идентифицирован либо как динамический дефект, либо как спекл, то коррекция пикселей может осуществляться следующим образом. Сначала, градиенты вычисляются как сумма абсолютных разностей между центральным пикселем и первым и вторым соседними пикселями (например, вычисление G_k согласно уравнению 51) для четырех направлений, горизонтального (h) направления, вертикального (v) направления, диагонально положительного (dp) направления и диагонально отрицательного (dn) направление, как показано ниже:

[0374] Затем, корректирующее пиксельное значение P_C можно определить путем линейной интерполяции двух соседних пикселей, связанных с направленным градиентом G_h, G_v, G_dp и G_dn, который имеет наименьшее значение. Например, в одном варианте осуществления, нижеприведенное логическое утверждение может выражать вычисление P_C:

Методы коррекции пикселей, реализованные логикой 932 DPDC, также могут предусматривать исключения при граничных условиях. Например, если один из двух соседних пикселей, связанных с выбранным направлением интерполяции, находится вне первичного кадра, то вместо него подставляется значение соседнего пикселя, который находится в первичном кадре. Таким образом, с использованием этого метода, корректирующее пиксельное значение будет эквивалентно значению соседнего пикселя в первичном кадре.

[0375] Следует отметить, что методы обнаружения/коррекции дефектных пикселей, применяемые логикой 932 DPDC в ходе конвейерной обработки ISP, более надежны по сравнению с логикой 460 DPDC в логике 80 предварительной обработки ISP. Как рассмотрено выше согласно варианту осуществления, логика 460 DPDC осуществляет только обнаружение и коррекцию динамических дефектов с использованием соседних пикселей только в горизонтальном направлении, тогда как логика 932 DPDC обеспечивает обнаружение и коррекцию статических дефектов, динамических дефектов, а также спеклов, с использованием соседних пикселей в горизонтальном и вертикальном направлениях.

[0376] Очевидно, что сохранение положения дефектных пикселей с использованием таблицы статических дефектов может обеспечивать временную фильтрацию дефектных пикселей с более низкими требованиями к памяти. Например, по сравнению со многими традиционными методами, которые предусматривают сохранение полных изображений и применение временной фильтрации для идентификации статических дефектов с течением времени, варианты осуществления настоящего изобретения предусматривают сохранение только положений дефектных пикселей, для чего обычно требуется использовать лишь часть памяти, необходимой для хранения полного кадра изображения. Кроме того, как рассмотрено выше, сохранение минимального значения градиента (min(G_k)) позволяет эффективно использовать таблицу статических дефектов, определяющую приоритет порядка положений, в которых корректируются дефектные пиксели (например, начиная с тех, которые наиболее заметны).

[0377] Дополнительно, использование порогов, которые включают в себя динамическую компоненту (например, dynTh₂ и spkTh₂), может способствовать снижению вероятности ошибочного обнаружения дефектов, каковая проблема часто возникает в традиционных системах обработки изображений при обработке высокотекстурных областей изображения (например, текста, листвы, некоторых шаблонов ткани и т.д.). Кроме того, использование направленных градиентов (например, h, v, dp, dn) для коррекции пикселей может снижать заметность визуальных артефактов в случае ошибочного обнаружения дефекта. Например, фильтрация в направлении минимального градиента может приводить к коррекции, которая все еще дает приемлемые результаты в большинстве случаев, даже в случаях ошибочного обнаружения. Дополнительно, включение текущего пикселя P в вычисление градиента может повышать точность обнаружения градиента, в частности, в случае горячих пикселей.

[0378] Рассмотренные выше методы обнаружения и коррекции дефектных пикселей, реализованные логикой 932 DPDC, можно кратко описать рядом блок-схем операций, обеспеченных на фиг. 70-72. Например, На фиг. 70 проиллюстрирован процесс 960 для обнаружения статических дефектов. На этапе 962 входной пиксель P принимается в первый момент времени T₀. Затем, на этапе 964, положение пикселя P сравнивается со значениями, хранящимися в таблице статических дефектов. Логика 966 принятия решения определяет, найдено ли положение пикселя P в таблице статических дефектов. Если положение P указано в таблице статических дефектов, то процесс 960 переходит к этапу 968, на котором пиксель P помечается как статический дефект и определяется значение замены. Как рассмотрено выше, значение замены можно определить на основании значения предыдущего пикселя (в порядке сканирования) одной той же цветовой компоненты. Затем процесс 960 переходит к этапу 970, на котором процесс 960 переходит к процессу 980 обнаружения динамических дефектов и спеклов, представленному на фиг. 71. Дополнительно, если на логике 966 принятия решения определено, что положение пикселя P не указано в таблице статических дефектов, то процесс 960 переходит к этапу 970, минуя этап 968.

[0379] Согласно фиг. 71, входной пиксель P принимается в момент времени T1, как показано на этапе 982, для обработки с целью определения, присутствует ли динамический дефект или спекл. Время T1 может представлять временной сдвиг относительно процесса 960 обнаружения статических дефектов, показанного на фиг. 70. Как рассмотрено выше, процесс обнаружения динамических дефектов и спеклов может начинаться после того, как процесс обнаружения статических дефектов проанализирует две линии сканирования (например, строки) пикселей, что дает время для идентификации статических дефектов и их соответствующих значений замены, подлежащих определению до обнаружения динамических дефектов/спеклов.

[0380] Логика 984 принятия решения определяет, помечен ли ранее входной пиксель P как статический дефект (например, на этапе 968 процесса 960). Если P помечен как статический дефект, то процесс 980 может переходить к процессу коррекции пикселей, показанному на фиг. 72 и может пропускать остальные этапы, показанные на фиг. 71. Если логика 984 принятия решения определяет, что входной пиксель P не является статическим дефектом, то процесс переходит к этапу 986, и идентифицируются соседние пиксели, которые можно использовать в процессе обнаружения динамических дефектов и спеклов. Например, в соответствии с вариантом осуществления, рассмотренным выше и представленным на фиг. 69, соседние пиксели могут включать в себя 8 непосредственных соседей пикселя P (например, P0-P7), таким образом, образуя область 3×3 пикселя. Затем, на этапе 988, градиенты от пикселя к пикселю вычисляются относительно каждого соседнего пикселя в первичном кадре 278, как описано в вышеприведенном уравнении 51. Дополнительно, средний градиент (G_av) можно вычислять как разность между текущим пикселем и средним окружающих его пикселей, как показано в уравнениях 52a и 52b.

[0381] Затем процесс 980 переходит к этапу 990 для обнаружения динамических дефектов и к логике 998 принятия решения для обнаружения спеклов. Как упомянуто выше, обнаружение динамических дефектов и обнаружение спеклов, в некоторых вариантах осуществления, может происходить параллельно. На этапе 990 определяется счетчик C количества градиентов, которые меньше или равны порогу dynTh. Как описано выше, порог dynTh может включать в себя фиксированные и динамические компоненты и, в одном варианте осуществления, может определяться в соответствии с вышеприведенным уравнением 53. Если C меньше или равен максимальному счетчику, dynMaxC, то процесс 980 переходит к этапу 996, и текущий пиксель помечается как динамический дефект. После этого, процесс 980 может переходить к процессу коррекции пикселей, показанному на фиг. 72, который будет рассмотрен ниже.

[0382] Возвращаясь к ветвлению после этапа 988, для обнаружения спеклов, логика 998 принятия решения определяет, превышает ли средний градиент G_av порог spkTh обнаружения спеклов, который также может включать в себя фиксированную и динамическую компоненты. Если G_av больше порога spkTh, то на этапе 1000 пиксель P помечается как содержащий спекл, и, после этого, процесс 980 переходит к фиг. 72 для коррекции спеклового пикселя. Кроме того, если на выходе обоих логических блоков 992 и 998 принятия решения получен ответ “Нет”, это указывает, что пиксель P не содержит динамических дефектов, спеклов и даже статических дефектов (логика 984 принятия решения). Таким образом, когда логики 992 и 998 принятия решения выдают ответ “Нет”, процесс 980 может заключать на этапе 994, в связи с чем, пиксель P остается неизменным, поскольку никаких дефектов (например, статических, динамических или спекловых) не обнаружено.

[0383] На фиг. 72 представлен процесс 1010 коррекции пикселей в соответствии с вышеописанными методами. На этапе 1012, входной пиксель P принимается от процесса 980 на фиг. 71. Следует отметить, что пиксель P может приниматься процессом 1010 из этапа 984 (статический дефект) или из этапов 996 (динамический дефект) и 1000 (спекловый дефект). Затем логика 1014 принятия решения определяет, помечен ли пиксель P как статический дефект. Если пиксель P является статическим дефектом, то процесс 1010 продолжается и заканчивается на этапе 1016, благодаря чему, статический дефект корректируется с использованием значения замены, определенного на этапе 968 (фиг. 70).

[0384] Если пиксель P не идентифицирован как статический дефект, то процесс 1010 переходит от логики 1014 принятия решения к этапу 1018, и вычисляются направленные градиенты. Например, как рассмотрено выше со ссылкой на уравнения 58-61, градиенты можно вычислить как сумму абсолютных разностей между центральным пикселем и первым и вторым соседними пикселями для четырех направлений (h, v, dp и dn). Затем, на этапе 1020 идентифицируется направленный градиент, имеющий наименьшее значение, после чего логика 1022 принятия решения оценивает, располагается ли один из двух соседних пикселей, связанных с минимальным градиентом, вне кадра изображения (например, первичного кадра 278). Если оба соседние пиксели находятся в кадре изображения, то процесс 1010 переходит к этапу 1024, и значение (P_C) коррекции пикселя определяется путем применения линейной интерполяции к значениям двух соседних пикселей, как показано уравнением 62. После этого, входной пиксель P можно корректировать с использованием интерполированного значения P_C коррекции пикселя, как показано на этапе 1030.

[0385] Если на логике 1022 принятия решения определено, что один из двух соседних пикселей располагается вне кадра изображения (например, первичного кадра 165), то вместо использования значения наружного пикселя (Pout), логика 932 DPDC может заменять значение Pout значением другого соседнего пикселя, который находится внутри кадра изображения (Pin), как показано на этапе 1026. После этого, на этапе 1028, значение P_C коррекции пикселя определяется путем интерполяции значений Pin и подстановочного значения Pout. Другими словами, в этом случае, P_C может быть эквивалентно значению Pin. Заключая на этапе 1030, пиксель P корректируется с использованием значения P_C. Прежде чем продолжить, следует понять, что конкретные процессы обнаружения и коррекции дефектных пикселей, рассмотренные здесь со ссылкой на логику 932 DPDC, призваны отражать лишь один возможный вариант осуществления настоящего изобретения. В действительности, в зависимости от конструкционных и/или стоимостных ограничений, возможны некоторые изменения, и признаки могут добавляться и устраняться, так что общая сложность и надежность логики обнаружения/коррекции дефектов находится между упрощенной логикой 460 обнаружения/коррекции, реализованный в блоке 80 предварительной обработки ISP, и логикой обнаружения/коррекции дефектов, рассмотренной здесь со ссылкой на логику 932 DPDC.

[0386] Согласно фиг. 68, скорректированные пиксельные данные выводятся из логики 932 DPDC и затем принимаются логикой 934 шумопонижения для дальнейшей обработки. В одном варианте осуществления, логика 934 шумопонижения может быть сконфигурирована для реализации двухмерной низкочастотной фильтрации с адаптацией к краевым условиям для снижения шума в данных изображения при поддержании деталей и текстур. Пороги с адаптацией к краевым условиям могут устанавливаться (например, управляющей логикой 84) на основании текущих уровней освещенности, благодаря чему, фильтрация может усиливаться в условиях низкой освещенности. Кроме того, как кратко упомянуто выше в отношении определения значений dynTh и spkTh, дисперсию шума можно заранее определить для данного датчика, что позволяет устанавливать пороги шумопонижения чуть выше дисперсии шума, благодаря чему, в ходе обработки шумопонижения, шум снижается без значительного влияния на текстуры и детали сцены (например, для исключения/сокращения ложных обнаружений). Предполагая реализацию байеровского цветового фильтра, логика 934 шумопонижения может обрабатывать каждую цветовую компоненту Gr, R, B и Gb независимо с использованием разделимых 7-отводного горизонтального фильтра и 5-отводного вертикального фильтра. В одном варианте осуществления, процесс шумопонижения может осуществляться путем коррекции неоднородности на цветовых компонентых (Gb и Gr) зеленого с последующим осуществлением горизонтальной фильтрации и вертикальной фильтрации.

[0387] Неоднородность зеленого (GNU), в общем случае, характеризуется небольшим различием в яркости между пикселями Gr и Gb при условии однородно освещенной плоской поверхности. Без коррекции или компенсации этой неоднородности, после демозаики в полноцветном изображении могут возникать некоторые артефакты, например, артефакт “лабиринта”. В ходе неоднородности зеленого, процесс может включать в себя определение, для каждого пикселя зеленого в первичных байеровских данных изображения, меньше ли абсолютная разность между текущим пикселем (G1) зеленого и пикселем зеленого правее и ниже (G2) текущего пикселя порога коррекции GNU (gnuTh). Фиг. 73 иллюстрирует положение пикселей G1 и G2 в области 2×2 шаблона Байера. Как показано, цвет граничных пикселей G1 может зависеть от того, является ли текущий пиксель зеленого пикселем Gb или Gr. Например, если G1 является Gr, то G2 является Gb, пиксель справа от G1 является R (красным), и пиксель под G1 является B (синим). Альтернативно, если G1 является Gb, то G2 является Gr, и пиксель справа от G1 является B, тогда как пиксель под G1 является R. Если абсолютная разность между G1 и G2 меньше порогового значения коррекции GNU, то текущий пиксель G1 зеленого заменяется средним G1 и G2, как показано нижеследующей логикой:

Очевидно, что такое применение коррекции неоднородности зеленого позволяет предотвращать усреднение пикселей G1 и G2 по краям, что повышает и/или сохраняет резкость.

[0388] Горизонтальная фильтрация применяется после коррекции неоднородности зеленого и может, в одном варианте осуществления, предусматривать 7-отводный горизонтальный фильтр. Градиенты по краю каждого отвода фильтра вычисляются, и в случае превышения горизонтального краевого порога (horzTh), отвод фильтра прикладывается к центральному пикселю, что будет проиллюстрировано ниже. Горизонтальный фильтр может обрабатывать данные изображения независимо для каждой цветовой компоненты (R, B, Gr, Gb) и может использовать нефильтрованные значения в качестве входных значений.

[0389] В порядке примера, фиг. 74 демонстрирует графическое представление набора горизонтальных пикселей P0-P6, где центральный отвод располагается на P3. На основании пикселей, показанных на фиг. 74, краевые градиенты для каждого отвода фильтра можно вычислять следующим образом:

Затем краевые градиенты Eh0-Eh5 могут использоваться компонентом горизонтального фильтра для определения выхода горизонтальной фильтрации, P_horz, с использованием формулы, показанной ниже в уравнении 70:

,

где horzTh[c] - горизонтальный краевой порог для каждой цветовой компоненты c (например, R, B, Gr и Gb), и C0-C6 - коэффициенты отводов фильтра, соответствующие пикселям P0-P6, соответственно. Выходной сигнал P_horz горизонтального фильтра можно применять в положении центрального пикселя P3. В одном варианте осуществления, коэффициенты C0-C6 отводов фильтра могут быть 16-битовыми значениями в формате дополнения до 2 с 3 битами целой части и 13 битами дробной части (в представлении 3,13 с плавающей запятой). Кроме того, следует отметить, что коэффициенты C0-C6 отводов фильтра не обязаны быть симметричными относительно центрального пикселя P3.

[0390] Вертикальная фильтрация также применяется логикой 934 шумопонижения после процессов коррекции неоднородности зеленого и горизонтальной фильтрации. В одном варианте осуществления, операция вертикального фильтра может обеспечивать 5-отводный фильтр, как показано на фиг. 75, где центральный отвод вертикального фильтра располагается в P2. Процесс вертикальной фильтрации может происходить аналогичным образом, как вышеописанный процесс горизонтальной фильтрации. Например, Градиенты по краю каждого отвода фильтра вычисляются, и в случае превышения вертикального краевого порога (vertTh), отвод фильтра прикладывается к центральному пикселю P2. Вертикальный фильтр может обрабатывать данные изображения независимо для каждой цветовой компоненты (R, B, Gr, Gb) и может использовать нефильтрованные значения в качестве входных значений.

[0391] На основании пикселей, показанных на фиг. 75, вертикальные краевые градиенты для каждого отвода фильтра можно вычислять следующим образом:

Затем краевые градиенты Ev0-Ev5 могут использоваться вертикальным фильтром для определения выхода вертикальной фильтрации, P_vert, с использованием формулы, показанной ниже в уравнении 75:

где vertTh[c] - вертикальный краевой порог для каждой цветовой компоненты c (например, R, B, Gr и Gb), и C0-C4 - коэффициенты отводов фильтра, соответствующие пикселям P0-P4 на фиг. 75, соответственно. Выходной сигнал P_vert вертикальный фильтр можно применять в положении центрального пикселя P2. В одном варианте осуществления, коэффициенты C0-C4 отводов фильтра могут быть 16-битовыми значениями в формате дополнения до 2 с 3 битами целой части и 13 битами дробной части (в представлении 3,13 с плавающей запятой). Кроме того, следует отметить, что коэффициенты C0-C4 отводов фильтра не обязаны быть симметричными относительно центрального пикселя P2.

[0392] Дополнительно, в отношении граничных условий, когда соседние пиксели находятся вне первичного кадра 278 (фиг. 19), значения наружных пикселей дублируются значением пикселя того же цвета на краю первичного кадра. Это соглашение можно реализовать для обеих операций горизонтальной и вертикальной фильтрации. В порядке примера, возвращаясь к фиг. 74, в случае горизонтальной фильтрации, если пиксель P2 является краевым пикселем на самом левом краю первичного кадра, и пиксели P0 и P1 находятся вне первичного кадра, то значения пикселей P0 и P1 заменяются значением пикселя P2 для горизонтальной фильтрации.

[0393] Возвращаясь к блок-схеме логики 900 первичной обработки, показанной на фиг. 68, выходной сигнал логики 934 шумопонижения затем поступает на логику 936 коррекции затенения объектива (LSC) для обработки. Как рассмотрено выше, методы коррекции затенения объектива могут включать в себя применение надлежащего коэффициента усиления на попиксельной основе для компенсации спадов интенсивности света, что может быть результатом геометрической оптики объектива, несовершенств в изготовлении, рассогласования микролинзовой матрицы и матрицы цветовых фильтров и т.д. Кроме того, инфракрасный (ИК) фильтр в некоторых объективах может приводить к тому, что спад будет зависеть от источника света, что позволяет адаптировать коэффициенты усиления затенения объектива в зависимости от обнаруженного источника света.

[0394] В представленном варианте осуществления, логика 936 LSC конвейера 82 ISP может быть реализована аналогичным образом и, таким образом, обеспечивать, в общем случае, те же функции, что и логика 464 LSC блока 80 предварительной обработки ISP, которые рассмотрены выше со ссылкой на фиг. 40-48. Соответственно, во избежание избыточности, следует понимать, что логика 936 LSC проиллюстрированного здесь варианта осуществления сконфигурирована работать, в общем случае, таким же образом, как логика 460 LSC, и поэтому вышеприведенное описание методов коррекции затенения объектива здесь повторяться не будет. Однако, для подведения общих итогов, следует понимать, что логика 936 LSC может независимо обрабатывать каждую цветовую компоненту потока первичных пиксельных данных для определения коэффициента усиления для применения к текущему пикселю. В соответствии с рассмотренными выше вариантами осуществления, коэффициент усиления коррекции затенения объектива можно определить на основании заданного набора точек сетки коэффициентов усиления, распределенных по кадру формирования изображения, в котором интервал между каждой точкой сетки задается количеством пикселей (например, 8 пикселей, 16 пикселей и т.д.). Если положение текущего пикселя соответствует точке сетки, то значение коэффициента усиления, связанное с этой точкой сетки, применяется к текущему пикселю. Если же положение текущего пикселя находится между точками сетки (например, G0, G1, G2 и G3 на фиг. 43), то значение коэффициента усиления LSC можно вычислять путем интерполяции точек сетки, между которыми располагается текущий пиксель (уравнения 13a и 13b). Этот процесс изображен процессом 528 на фиг. 44. Кроме того, как упомянуто выше согласно фиг. 42, в некоторых вариантах осуществления, точки сетки могут распределяться неравномерно (например, логарифмически), из-за чего точки сетки меньше концентрируются в центре области 504 LSC, но больше концентрируются по углам области 504 LSC, где искажение затенения объектива обычно является более заметным.

[0395] Дополнительно, как рассмотрено выше со ссылкой на фиг. 47 и 48, логика 936 LSC также может применять радиальную компоненту коэффициента усиления со значениями коэффициента усиления сетки. Радиальную компоненту коэффициента усиления можно определить на основании расстояния текущего пикселя от центра изображения (уравнения 14-16). Как упомянуто, использование радиального коэффициента усиления позволяет использовать единую общую сетку коэффициентов усиления для всех цветовых компонент, что позволяет значительно сократить суммарную емкость хранилища, необходимую для хранения отдельных сеток коэффициентов усиления для каждой цветовой компоненты. Это сокращение объема данных сетки коэффициента усиления позволяет снизить стоимость реализации, поскольку таблицы данных сетки коэффициента усиления могут занимать значительный участок памяти или площадь микросхемы в оборудовании обработки изображений.

[0396] Затем, возвращаясь к блок-схеме 900 логики первичной обработки, показанной на фиг. 68, выходной сигнал логики 936 LSC затем поступает на второй блок 938 коэффициента усиления, смещения и ограничения (GOC). Логику 938 GOC можно применять до демозаики (логическим блоком 940) и можно использовать для осуществления автоматического баланса белого на выходном сигнале логики 936 LSC. В представленном варианте осуществления, логику 938 GOC можно реализовать таким же образом, как логику 930 GOC (и логику 462 BLC). Таким образом, в соответствии с вышеприведенным уравнением 11, входной сигнал, принятый логикой 938 GOC, сначала смещается на знаковое значение и затем умножается на коэффициент усиления. Затем результирующее значение ограничивается минимальным и максимальным диапазоном в соответствии с уравнением 12.

[0397] После этого, выходной сигнал логики 938 GOC перенаправляется на логику 940 демозаики для обработки для создания полноцветного (RGB) изображения на основании первичных байеровских входных данных. Очевидно, что первичный выходной сигнал датчика изображения, использующего матрицу цветовых фильтров, например, байеровский фильтр, является “неполным” в том смысле, что каждый пиксель фильтруется для получения только одной цветовой компоненты. Таким образом, данных, собранных для отдельно взятого пикселя, не достаточно для определения цвета. Соответственно, методы демозаики можно использовать для генерации полноцветного изображения из первичных байеровских данных путем интерполяции отсутствующих цветовых данных для каждого пикселя.

[0398] На фиг. 76 проиллюстрирована схема 692 обработки графики, которая обеспечивает общий обзор того, как можно применять демозаику к шаблону 1034 первичного байеровского изображения для создания полноцветного RGB. Как показано, участок 1036 4×4 первичного байеровского изображения 1034 может включать в себя отдельные каналы для каждой цветовой компоненты, включающие в себя канал 1038 зеленого, канал 1040 красного и канал 1042 синего. Поскольку каждый пиксель формирования изображения в байеровском датчике получает данные только для одного цвета, цветовые данные для каждого цветового канала 1038, 1040 и 1042 могут быть неполными, что указано символами “?”. Применяя метод 1044 демозаики, недостающие цветовые выборки из каждого канала можно интерполировать. Например, как указано ссылочной позицией 1046, интерполированные данные G' можно использовать для наполнения недостающих выборок на цветовом канале зеленого, аналогично, интерполированные данные R' (в сочетании с интерполированными данными G' 1046) можно использовать для наполнения недостающих выборок на цветовом канале 1048 красного, и интерполированные данные B' (в сочетании с интерполированными данными G' 1046) можно использовать для наполнения недостающих выборок на цветовом канале 1050 синего. Таким образом, в результате процесса демозаики, каждый цветовой канал (R, G, B) будет иметь полный набор цветовых данных, который затем можно использовать для реконструкции полноцветного RGB-изображения 1052.

[0399] Метод демозаики, который можно реализовать логикой 940 демозаики, будет описан ниже в соответствии с одним вариантом осуществления. На цветовом канале зеленого, недостающие цветовые выборки можно интерполировать с использованием низкочастотного направленного фильтра на известных выборках зеленого и высокочастотного (или градиентного) фильтра на соседних цветовых каналах (например, красного и синего). Для цветовых каналов красного и синего, недостающие цветовые выборки можно интерполировать аналогичным образом, но с использованием низкочастотной фильтрации на известных значениях красного или синего и высокочастотной фильтрации на близко расположенных интерполированных значениях зеленого. Кроме того, в одном варианте осуществления, демозаика на цветовом канале зеленого может использовать фильтр пиксельного блока 5×5 с адаптацией к краевым условиям на основании исходных байеровских цветовых данных. Как будет дополнительно описано ниже, использование фильтра с адаптацией к краевым условиям может обеспечивать непрерывное взвешивание на основании градиентов горизонтальных и вертикальных фильтрованных значений, что снижает заметность некоторых артефактов, например, ступенчатых, “шахматных” или “радужных” артефактов, обычно наблюдаемых в традиционных методах демозаики.

[0400] В ходе демозаики на канале зеленого, используются исходные значения для пикселей зеленого (пикселей Gr и Gb) шаблона байеровского изображения. Однако для получения полного набора данных для канала зеленого, значения пикселей зеленого можно интерполировать на пикселей красного и синего шаблона байеровского изображения. В соответствии с настоящим изобретением, горизонтальные и вертикальные энергетические компоненты, соответственно именуемые Eh и Ev, сначала вычисляются на пикселях красного и синего на основании вышеупомянутого пиксельного блока 5×5. Значения Eh и Ev можно использовать для получения взвешенного по краю фильтрованного значения из этапов горизонтальной и вертикальной фильтрации, как дополнительно рассмотрено ниже.

[0401] В порядке примера, фиг. 77 иллюстрирует вычисление значений Eh и Ev для пикселя красного, центрированного в пиксельном блоке 5×5 в положении (j, i), где j соответствует строке, и i соответствует столбцу. Как показано, вычисление Eh учитывает три средние строки (j-1, j, j+1) пиксельного блока 5×5, и вычисление Ev учитывает три средних столбца (i-1, i, i+1) пиксельного блока 5×5. Для вычисления Eh, абсолютное значение суммы каждого из пикселей в столбцах (i-2, i, i+2) красного, умноженное на соответствующий коэффициент (например, -1 для столбцов i-2 и i+2; 2 для столбца i), суммируется с абсолютным значением суммы каждого из пикселей в столбцах (i-1, i+1) синего, умноженной на соответствующий коэффициент (например, 1 для столбца i-1; -1 для столбца i+1). Для вычисления Ev, абсолютное значение суммы каждого из пикселей в строках (j-2, j, j+2) красного, умноженное на соответствующий коэффициент (например, -1 для строк j-2 и j+2; 2 для строки j), суммируется с абсолютным значением суммы каждого из пикселей в строках (j-1, j+1) синего, умноженным на соответствующий коэффициент (например, 1 для строки j-1; -1 для строки j+1). Эти вычисления проиллюстрированы ниже уравнениями 76 и 77:

Таким образом, полную сумму энергий можно выразить как: Eh + Ev. Кроме того, хотя пример, показанный на фиг. 77, иллюстрирует вычисление Eh и Ev для центрального пикселя красного в (j, i), следует понимать, что значения Eh и Ev можно определить аналогичным образом для центральных пикселей синего.

[0402] Затем горизонтальная и вертикальная фильтрация может применяться к шаблону Байера для получения вертикального и горизонтального фильтрованных значений Gh и Gv, которые могут представлять интерполированные значения зеленого в горизонтальном и вертикальном направлениях, соответственно. Фильтрованные значения Gh и Gv можно определить с использованием фильтра низких частот на известных соседних выборках зеленого помимо использования направленных градиентов соседнего цвета (R или B) для получения высокочастотного сигнала в положениях недостающих выборок зеленого. Например, со ссылкой на фиг. 78, будет проиллюстрирован пример горизонтальной интерполяции для определения Gh.

[0403] Как показано на фиг. 78, пять горизонтальных пикселей (R0, G1, R2, G3 и R4) линии 1060 красного байеровского изображения, где предполагается, что R2 является центральным пикселем в (j, i), можно рассматривать при определении Gh. Коэффициенты фильтрации, связанные с каждым из этих пяти пикселей, указаны ссылочной позицией 1062. Соответственно, интерполяцию значения зеленого, именуемого G2', для центрального пикселя R2, можно определить следующим образом:

Различные математические операции затем могут использоваться для создания выражения для G2', показанного ниже в уравнениях 79 и 80:

Таким образом, со ссылкой на фиг. 78 и вышеприведенные уравнения 78-80, общее выражение для горизонтальной интерполяции для значения зеленого в (j, i) можно вывести в виде:

[0404] Компоненту Gv вертикальной фильтрации можно определить аналогичным образом, как Gh. Например, согласно фиг. 79, пять вертикальных пикселей (R0, G1, R2, G3 и R4) столбца 1064 красного байеровского изображения и их соответствующие коэффициенты 1068 фильтрации, где предполагается, что R2 является центральным пикселем в (j, i), можно рассматривать при определении Gv. Используя низкочастотную фильтрацию на известных выборках зеленого и высокочастотную фильтрацию на канале красного в вертикальном направлении, можно вывести следующее выражение для Gv:

Хотя в рассмотренных здесь примерах показана интерполяция значений зеленого на пикселе красного, следует понимать, что выражения, приведенные в уравнениях 81 и 82, также можно использовать при горизонтальной и вертикальной интерполяции значений зеленого для пикселей синего.

[0405] Окончательное интерполированное значение зеленого G' для центрального пикселя (j, i) можно определить взвешиванием горизонтального и вертикального выходных сигналов фильтра (Gh и Gv) энергетическими компонентами (Eh и Ev), рассмотренными выше, для получения следующего уравнения:

Как рассмотрено выше, энергетические компоненты Eh и Ev могут обеспечивать взвешивание с адаптацией к краевым условиям горизонтального и вертикального выходных сигналов фильтра Gh и Gv, которое может помогать ослаблять артефакты изображения, например, радужные, ступенчатые или шахматные артефакты, в реконструированном RGB-изображении. Дополнительно, логика 940 демозаики может обеспечивать вариант для обхода признака взвешивания с адаптацией к краевым условиям путем задания значения каждого Eh и Ev равным 1, в результате чего, Gh и Gv взвешиваются одинаково.

[0406] В одном варианте осуществления, горизонтальный и вертикальный весовые коэффициенты, показанные в вышеприведенном уравнении 51, можно квантовать для снижения точности весовых коэффициентов в набор “грубых” значений. Например, в одном варианте осуществления, весовые коэффициенты можно квантовать до восьми возможных отношений весов: 1/8, 2/8, 3/8, 4/8, 5/8, 6/8, 7/8 и 8/8. Другие варианты осуществления могут квантовать весовые коэффициенты на 16 значений (например, от 1/16 до 16/16), 32 значения (от 1/32 до 32/32) и т.д. Очевидно, что по сравнению с использованием значений полной точности (например, 32-битовых значений с плавающей запятой), квантование весовых коэффициентов может снижать сложность реализации при определении и применении весовых коэффициентов к горизонтальному и вертикальному выходным сигналам фильтра.

[0407] В дополнительных вариантах осуществления, описанное здесь изобретение, помимо определения и использования горизонтальных и вертикальных энергетических компонент для применения весовых коэффициентов к горизонтальному (Gh) и вертикальному (Gv) фильтрованным значениям, также может определять и использовать энергетические компоненты в диагонально положительном и диагонально отрицательном направлениях. Например, в таких вариантах осуществления, фильтрация также может применяться в диагонально положительном и диагонально отрицательном направлениях. Взвешивание выходных сигналов фильтра может включать в себя выбор двух наивысших энергетических компонент, и использование выбранной энергетической компоненты для взвешивания их соответствующих выходных сигналов фильтра. Например, предполагая, что две наивысшие энергетические компоненты соответствуют вертикальному и диагонально положительному направлениям, вертикальная и диагонально положительная энергетические компоненты используются для взвешивания вертикального и диагонально положительного выходных сигналов фильтра для определения интерполированного значения зеленого (например, в положение пикселя красного или синего в шаблоне Байера).

[0408] Затем, демозаика на цветовых каналах красного и синего может осуществляться путем интерполяции значения красного и синего на пикселях зеленого шаблона байеровского изображения, интерполяция значений красного на пикселях синего шаблона байеровского изображения, и интерполяция значений синего на пикселях красного шаблона байеровского изображения. В соответствии с рассмотренными здесь методами, недостающие пиксельные значения красного и синего можно интерполировать с использованием низкочастотной фильтрации на основании известных соседних пикселей красного и синего и высокочастотной фильтрации на основании близко расположенных значений пикселей зеленого, которые могут быть исходными или интерполированными значениями (из рассмотренного выше процесса демозаики канала зеленого) в зависимости от положения текущего пикселя. Таким образом, в отношении таких вариантов осуществления, следует понимать, что сначала может осуществляться интерполяция недостающих значений зеленого, в результате чего, образуется полный набор значений зеленого (исходных и интерполированных значений) при интерполяции недостающих выборок красного и синего.

[0409] Интерполяцию пиксельных значений красного и синего можно описать со ссылкой на фиг. 80, которая иллюстрирует различные 3×3 блоки шаблона байеровского изображения, к которым можно применять демозаику красного и синего, а также интерполированные значения зеленого (обозначенные G'), которые можно получить в ходе демозаики на канале зеленого. Сначала, на блоке 1070, интерполированное значение красного, R'₁₁, для пикселя Gr (G₁₁) можно определить следующим образом:

где G'₁₀ и G'₁₂ представляют интерполированные значения зеленого, как указано ссылочной позицией 1078. Аналогично, интерполированное значение синего, B'₁₁, для пикселя Gr (G₁₁) можно определить следующим образом:

где G'₀₁ и G'₂₁ представляют интерполированные значения зеленого (1078).

[0410] Затем, на пиксельном блоке 1072, в котором центральным пикселем является пиксель Gb (G₁₁), интерполированное значение красного, R'₁₁, и значение синего B'₁₁, можно определить, как показано ниже в уравнениях 86 и 87:

[0411] Кроме того, согласно пиксельному блоку 1074, интерполяцию значения красного на пикселе синего, B₁₁, можно определить следующим образом:

где G'₀₀, G'₀₂, G'₁₁, G'₂₀ и G'₂₂ представляют интерполированные значения зеленого, как указано ссылочной позицией 1080. Наконец, интерполяцию значения синего на пикселе красного, как показано пиксельным блоком 1076, можно вычислять следующим образом:

[0412] Хотя рассмотренный выше вариант осуществления опирался на разностях цветов (например, градиентов) для определения интерполированных значений красного и синего, другой вариант осуществления может обеспечивать интерполированные значения красного и синего с использованием отношений цветов. Например, интерполированные значения зеленого (блоки 1078 и 1080) можно использовать для получения отношения цветов в положениях пикселя красного и синего шаблона байеровского изображения, и линейную интерполяцию отношений можно использовать для определения интерполированного отношения цветов для недостающей цветовой выборки. Значение зеленого, которое может быть интерполированным или исходным значением, можно умножать на интерполированное отношение цветов для получения окончательного интерполированного значения цвета. Например, интерполяция пиксельных значений красного и синего с использованием отношений цветов может осуществляться в соответствии с нижеследующими формулами, в которых уравнения 90 и 91 демонстрируют интерполяцию значений красного и синего для пикселя Gr, уравнения 92 и 93 демонстрируют интерполяцию значений красного и синего для пикселя Gb, уравнение 94 демонстрирует интерполяцию значения красного на пикселе синего, и уравнение 95 демонстрирует интерполяцию значения синего на пикселе красного:

(R'₁₁ интерполированный, когда G₁₁ является пикселем Gr)

(B'₁₁ интерполированный, когда G₁₁ является пикселем Gr)

(R'₁₁ интерполированный, когда G₁₁ является пикселем Gb)

(B'₁₁ интерполированный, когда G₁₁ является пикселем Gb)

(R'₁₁ интерполированный на пикселе B₁₁ синего)

(B'₁₁ интерполированный на пикселе R₁₁ красного)

[0413] После интерполяции недостающих цветовых выборок для каждого пикселя изображения из шаблона байеровского изображения, полная выборка значений цвета для каждого из цветовых каналов красного, синего и зеленого (например, 1046, 1048 и 1050 на фиг. 76) может объединяться для создания полноцветного RGB-изображения. Например, согласно фиг. 49 и 50, выходной сигнал 910 логики 900 обработки первичных пикселей может быть сигналом изображения RGB в 8, 10, 12 или 14-битовом форматах.

[0414] На фиг. 81-84 проиллюстрированы различные блок-схемы операций, демонстрирующие процессы для демозаики первичного шаблона байеровского изображения в соответствии с раскрытыми вариантами осуществления. В частности, процесс 1082 на фиг. 81 изображает определение, какие цветовые компоненты подлежат интерполяции для данного входного пикселя P. На основании определения процессом 1082, один или более из процесса 1100 (фиг. 82) для интерполяции значения зеленого, процесса 1112 (фиг. 83) для интерполяции значения красного и процесса 1124 (фиг. 84) для интерполяции значения синего может осуществляться, например, логикой 940 демозаики.

[0415] Начиная с фиг. 81, процесс 1082 начинается с этапа 1084 приема входного пикселя P. Логика 1086 принятия решения определяет цвет входного пикселя. Например, это может зависеть от положения пикселя в шаблоне байеровского изображения. Соответственно, если P идентифицируется как пиксель зеленого (например, Gr или Gb), процесс 1082 переходит к этапу 1088 для получения интерполированных значений красного и синего для P. Это может включать в себя, например, переход к процессам 1112 и 1124 на фиг. 83 и 84, соответственно. Если P идентифицируется как пиксель красного, то процесс 1082 переходит к этапу 1090 для получения интерполированных значений зеленого и синего для P. Это может включать в себя дополнительно осуществление процессов 1100 и 1124 на фиг. 82 и 84, соответственно. Дополнительно, если P идентифицируется как пиксель синего, то процесс 1082 переходит к этапу 1092 для получения интерполированных значений зеленого и красного для P. Это может включать в себя дополнительно осуществление процессов 1100 и 1112 на фиг. 82 и 83, соответственно. Каждый из процессов 1100, 1112 и 1124 дополнительно описан ниже.

[0416] Процесс 1100 для определения интерполированного значения зеленого для входного пикселя P представлен на фиг. 82 и включает в себя этапы 1102-1110. На этапе 1102 принимается входной пиксель P (например, от процесса 1082). Затем, на этапе 1104 идентифицируется набор соседних пикселей, образующих пиксельный блок 5×5, причем P является центром блока 5×5. После этого, пиксельный блок анализируется для определения горизонтальных и вертикальных энергетических компонент на этапе 1106. Например, горизонтальные и вертикальные энергетические компоненты можно определить в соответствии с уравнениями 76 и 77 для вычисления Eh и Ev, соответственно. Как рассмотрено, энергетические компоненты Eh и Ev можно использовать как весовые коэффициенты для обеспечения фильтрации с адаптацией к краевым условиям и, таким образом, снижения заметности некоторых артефактов демозаики в окончательном изображении. На этапе 1108 низкочастотная фильтрация и высокочастотная фильтрация применяется в горизонтальном и вертикальном направлениях для определения выходных сигналов горизонтальной и вертикальной фильтрации. Например, выходные сигналы горизонтальной и вертикальной фильтрации, Gh и Gv, можно вычислять в соответствии с уравнениями 81 и 82. Затем процесс 1082 переходит к этапу 1110, на котором интерполированное значение зеленого G' вычисляется на основании значений Gh и Gv, взвешенных энергетическими компонентами Eh и Ev, как показано в уравнении 83.

[0417] Затем, в отношении процесса 1112 на фиг. 83, интерполяция значений красного может начинаться на этапе 1114, на котором принимается входной пиксель P (например, от процесса 1082). На этапе 1116 идентифицируется набор соседних пикселей, образующих 3×3 пиксельный блок, где P является центром блока 3×3. После этого, низкочастотная фильтрация применяется на соседних пикселях красного в блоке 3×3 на этапе 1118, и высокочастотная фильтрация применяется (этап 1120) на близко расположенных соседних значениях зеленого, которые могут быть исходными значениями зеленого, захваченными байеровским датчиком изображения, или интерполированными значениями (например, определенными в процессе 1100 на фиг. 82). Интерполированное значение красного R' для P можно определить на основании выходных сигналов низкочастотной и высокочастотной фильтрации, как показано на этапе 1122. В зависимости от цвета P, R' можно определить в соответствии с одним из уравнений 84, 86 или 88.

[0418] В отношении интерполяции значений синего, можно применять процесс 1124 на фиг. 84. Этапы 1126 и 1128, в общем случае, идентичны этапам 1114 и 1116 процесса 1112 (фиг. 83). На этапе 1130, низкочастотная фильтрация применяется на соседних пикселях синего в 3×3, и, на этапе 1132, высокочастотная фильтрация применяется на близко расположенных соседних значениях зеленого, которые могут быть исходными значениями зеленого, захваченными байеровским датчиком изображения, или интерполированными значениями (например, определенными в процессе 1100 на фиг. 82). Интерполированное значение синего B' для P можно определить на основании выходных сигналов низкочастотной и высокочастотной фильтрации, как показано на этапе 1134. В зависимости от цвета P, B' можно определить в соответствии с одним из уравнений 85, 87 или 89. Кроме того, как упомянуто выше, интерполяцию значений красного и синего можно определить с использованием разностей цветов (уравнения 84-89) или отношений цветов (уравнения 90-95). Опять же, следует понимать, что сначала может осуществляться интерполяция недостающих значений зеленого, в результате чего, образуется полный набор значений зеленого (исходных и интерполированных значений) при интерполяции недостающих выборок красного и синего. Например, процесс 1100 на фиг. 82 может применяться для интерполяции всех недостающих цветовых выборок зеленого до осуществления процессов 1112 и 1124 на фиг. 83 и 84, соответственно.

[0419] На фиг. 85-88 приведены примеры цветных чертежей изображений, обработанных логикой 900 обработки первичных пикселей в конвейере 82 ISP. Фиг. 85 изображает сцену 1140 исходного изображения, которое может быть захвачено датчиком 90 изображения устройства 30 формирования изображения. Фиг. 86 демонстрирует первичное байеровское изображение 1142, которое может представлять первичные пиксельные данные, захваченные датчиком 90 изображения. Как упомянуто выше, традиционные методы демозаики могут не обеспечивать адаптивную фильтрацию на основании обнаружения краев (например, границ между областями двух или более цветов) в данных изображения, которая может, помимо желания, порождать артефакты в результирующем реконструированном полноцветном RGB-изображении. Например, фиг. 87 демонстрирует RGB-изображение 1144, которое реконструировано с использованием традиционных методов демозаики и может включать в себя артефакты, например “шахматные” артефакты 1146, на краю 1148. Однако, сравнивая изображение 1144 с RGB-изображением 1150 на фиг. 88, которое может служить примером изображения, реконструированного с использованием вышеописанных методов демозаики, можно видеть, что шахматные артефакты 1146, присутствующие на фиг. 87, отсутствуют или, по меньшей мере, существенно менее заметны на краю 1148. Таким образом, изображения, показанные на фиг. 85-88, призваны иллюстрировать, по меньшей мере, одно преимущество раскрытых здесь методов демозаики над традиционными способами.

[0420] Полностью описав работу логики 900 обработки первичных пикселей, которая может выводить сигнал 910 изображения RGB, мы, возвращаясь к фиг. 67, сосредоточимся на описании обработки сигнала 910 изображения RGB логикой 902 обработки RGB. Как показано, сигнал 910 изображения RGB может отправляться на логику 914 выбора и/или в память 108. Логика 902 обработки RGB может принимать входной сигнал 916, который может представлять собой данные RGB-изображения из сигнала 910 или из памяти 108, обозначенные сигналом 912, в зависимости от конфигурации логики 914 выбора. Данные 916 RGB-изображения можно обрабатывать логикой 902 обработки RGB для осуществления операций регулировки цветов, включающих в себя цветовую коррекцию (например, с использованием матрицы цветовой коррекции), применение цветовых коэффициентов усиления для автоматической балансировки белого, а также отображения глобальных тонов и т.д.

[0421] Блок-схема, изображающая более детализированный вид варианта осуществления логики 902 обработки RGB, представлена на фиг. 89. Как показано, логика 902 обработки RGB включает в себя логику 1160 коэффициента усиления, смещения и ограничения (GOC), логику 1162 цветовой коррекции RGB, логику 1164 GOC, логику регулировки гаммы RGB и логику 1168 преобразования цветового пространства. Сначала входной сигнал 916 принимается логикой 1160 коэффициента усиления, смещения и ограничения (GOC). В проиллюстрированном варианте осуществления, логика 1160 GOC может применять коэффициенты усиления для осуществления автоматической балансировки белого на одном или более цветовых каналах R, G или B до обработки логикой 1162 цветовой коррекции.

[0422] Логика 1160 GOC может быть аналогична логике 930 GOC логики 900 обработки первичных пикселей, за исключением того, что обрабатываются цветовые компоненты области RGB, а не компоненты R, B, Gr и Gb байеровских данных изображения. В ходе эксплуатации, входное значение для текущего пикселя сначала смещается на знаковое значение O[c] и умножается на коэффициент G[c] усиления, как показано в вышеприведенном уравнении 11, где c представляет R, G и B. Как рассмотрено выше, коэффициент G[c] усиления может представлять собой 16-битовое беззнаковое число с 2 битами целой части и 14 битами дробной части (например, в представлении 2,14 с плавающей запятой), и значения коэффициента G[c] усиления могут быть заранее определены в ходе статистической обработки (например, в блоке 80 предварительной обработки ISP). Вычисленное пиксельное значение Y (на основании уравнения 11) затем ограничивается минимальным и максимальным диапазоном в соответствии с уравнением 12. Как рассмотрено выше, переменные min[c] и max[c] могут представлять знаковые 16-битовые “значения отсечки” для минимального и максимального выходных значений, соответственно. В одном варианте осуществления, логика 1160 GOC также может быть сконфигурирована для поддержания счетчика количества пикселей, которые были отсечены выше и ниже максимума и минимума, соответственно, для каждой цветовой компоненты R, G и B.

[0423] Затем выходной сигнал логики 1160 GOC перенаправляется на логику 1162 цветовой коррекции. В соответствии с описанным здесь изобретением, логика 1162 цветовой коррекции может быть сконфигурирована для применения цветовой коррекции к данным RGB-изображения с использованием матрицы цветовой коррекции (CCM). В одном варианте осуществления, CCM может быть матрицей преобразования RGB 3×3, хотя в других вариантах осуществления также можно использовать матрицы других размеров (например, 4×3 и т.д.). Соответственно, процесс осуществления цветовой коррекции на входном пикселе, имеющем компоненты R, G и B, можно выразить следующим образом:

где R, G и B представляют текущие значения красного, зеленого и синего для входного пикселя, CCM00-CCM22 представляют коэффициенты матрицы цветовой коррекции, и R', G' и B' представляют скорректированные значения красного, зеленого и синего для входного пикселя. Соответственно, верные значения цвета можно вычислить в соответствии с нижеследующими уравнениями 97-99:

[0424] Коэффициенты (CCM00-CCM22) CCM можно определить в ходе статистической обработки в блоке 80 предварительной обработки ISP, как рассмотрено выше. В одном варианте осуществления, коэффициенты для данного цветового канала можно выбирать так, чтобы сумма этих коэффициентов (например, CCM00, CCM01 и CCM02 для коррекции красного цвета) была равна 1, что может способствовать поддержанию яркостного и цветового баланса. Кроме того, коэффициенты обычно выбираются так, чтобы к корректируемому цвету применялся положительный коэффициент усиления. Например, при коррекции красного цвета, коэффициент CCM00 может быть больше 1, тогда как один или оба из коэффициентов CCM01 и CCM02 могут быть меньше 1. Такое задание коэффициентов может усиливать компоненту красного (R) в результирующем скорректированном значении R', одновременно ослабляя какую-либо из компонент синего (B) и зеленого (G). Очевидно, что это позволяет решать проблемы, связанные с перекрытием цветов, которое может происходить при получении исходного байеровского изображения, вследствие “перетекания” части фильтрованного света для конкретного окрашенного пикселя в соседний пиксель другого цвета. В одном варианте осуществления, коэффициенты CCM могут быть обеспечены как 16-битовые числа в формате дополнения до 2 с 4 битами целой части и 12 битами дробной части (выраженные в представлении 4,12 с плавающей запятой). Дополнительно, логика 1162 цветовой коррекции может обеспечивать отсечку вычисленных скорректированных значений цвета, если значения превышают максимальное значение или ниже минимального значения.

[0425] Затем выходной сигнал логики 1162 цветовой коррекции RGB поступает на другой логический блок 1164 GOC. Логику 1164 GOC можно реализовать таким же образом, как логику 1160 GOC, и поэтому подробное описание обеспеченных здесь функций коэффициента усиления, смещения и ограничения повторяться не будет. В одном варианте осуществления, применение логики 1164 GOC после цветовой коррекции может обеспечивать автоматический баланс белого данных изображения на основании скорректированных значений цвета и также может регулировать изменения датчика в связи с отношениями красного к зеленому и синего к зеленому.

[0426] Затем выходной сигнал логики 1164 GOC передается на логику 1166 регулировки гаммы RGB для дальнейшей обработки. Например, логика 1166 регулировки гаммы RGB может обеспечивать гамма-коррекцию, отображение тонов, согласование гистограммы и т.д. В соответствии с раскрытыми вариантами осуществления, логика 1166 регулировки гаммы может обеспечивать отображение входных значений RGB в соответствующие выходные значения RGB. Например, логика регулировки гаммы может обеспечивать набор из трех поисковых таблиц, по одной таблице для каждой из компонент R, G и B. В порядке примера, каждая поисковая таблица может быть сконфигурирована для хранения 256 записей 10-битовых значений, причем каждое значение представляет уровень выходного сигнала. Записи таблицы могут равномерно распределяться в диапазоне входных пиксельных значений, чтобы в случае, когда входное значение попадает между двумя записями, выходное значение можно было линейно интерполировать. В одном варианте осуществления, каждую из трех поисковых таблиц для R, G и B можно дублировать, в результате чего, поисковые таблицы “дважды буферизуются” в памяти, что позволяет использовать одну таблицу в ходе обработки, в то время как ее дубликат обновляется. На основании рассмотренных выше 10-битовых выходных значений, следует отметить, что 14-битовый сигнал изображения RGB эффективно подвергается понижающей дискретизации до 10 битов в результате процесса гамма-коррекции в настоящем варианте осуществления.

[0427] Выходной сигнал логики 1166 регулировки гаммы может отправляться в память 108 и/или на логику 1168 преобразования цветового пространства. Логика 1168 преобразования цветового пространства (CSC) может быть сконфигурирована для преобразования выходного сигнала RGB из логики 1166 регулировки гаммы в формат YCbCr, в котором Y представляет компоненту яркости, Cb представляет компоненту цветоразности синего, и Cr представляет компоненту цветоразности красного, каждый из которых может иметь 10-битовый формат в результате преобразования битовой глубины данных RGB от 14 битов до 10 битов в ходе операции регулировки гаммы. Как рассмотрено выше, в одном варианте осуществления, выходной сигнал RGB логики 1166 регулировки гаммы может подвергаться понижающей дискретизации до 10 битов и, таким образом, преобразовываться в 10-битовые значения YCbCr логикой 1168 CSC, которые затем могут перенаправляться на логику 904 обработки YCbCr, что будет дополнительно рассмотрено ниже.

[0428] Преобразование из области RGB в цветовое пространство YCbCr может осуществляться с использованием матрицы преобразования цветового пространства (CSCM). Например, в одном варианте осуществления, CSCM может быть матрицей 3×3 преобразования. Коэффициенты CSCM можно устанавливать в соответствии с известным уравнением преобразования, например, стандартами BT.601 и BT.709. Дополнительно, коэффициенты CSCM можно задавать гибко на основании желаемого диапазона входных и выходных сигналов. Таким образом, в некоторых вариантах осуществления, коэффициенты CSCM можно определять и программировать на основании данных, собранных в ходе статистической обработки в блоке 80 предварительной обработки ISP.

[0429] Процесс осуществления преобразования цветового пространства YCbCr на входном пикселе RGB можно выразить следующим образом:

где R, G и B представляют текущие значения красного, зеленого и синего для входного пикселя в 10-битовой форме (например, обработанные логикой 1166 регулировки гаммы), CSCM00-CSCM22 представляют коэффициенты матрицы преобразования цветового пространства, и Y, Cb и Cr представляют результирующие компоненты яркости и цветности для входного пикселя. Соответственно, значения Y, Cb и Cr можно вычислить в соответствии с нижеследующими уравнениями 101-103:

После операции преобразования цветового пространства, результирующие значения YCbCr могут выводиться из логики 1168 CSC в качестве сигнала 918, который можно обрабатывать логикой 904 обработки YCbCr, как будет рассмотрено ниже.

[0430] В одном варианте осуществления, коэффициенты CSCM могут быть 16-битовыми числами в формате дополнения до 2 с 4 битами целой части и 12 битами дробной части (4,12). В другом варианте осуществления, логика 1168 CSC может быть дополнительно сконфигурирована для применения смещения к каждому из значений Y, Cb и Cr, и для ограничения полученных значений минимальным и максимальным значениями. Исключительно в порядке примера, предполагая, что значения YCbCr находятся в 10-битовой форме, смещение может находиться в диапазоне от -512 до 512, и минимальное и максимальное значения могут быть равны 0 и 1023, соответственно.

[0431] Возвращаясь к блок-схеме логики 82 конвейера ISP на фиг. 67, сигнал 918 YCbCr может отправляться на логику 922 выбора и/или в память 108. Логика 904 обработки YCbCr может принимать входной сигнал 924, который может представлять собой данные YCbCr-изображения из сигнала 918 или из памяти 108, как показано сигналом 920, в зависимости от конфигурации логики 922 выбора. Данные 924 YCbCr-изображения могут затем обрабатываться логикой 904 обработки YCbCr для яркостного повышения резкости, подавления цветности, понижения шума цветности, понижения шума цветности, а также регулировок яркости, контрастности и цвета, и т.д. Кроме того, логика 904 обработки YCbCr может обеспечивать отображение гаммы и масштабирование обработанных данных изображения в горизонтальном и вертикальном направлениях.

[0432] Блок-схема, изображающая более детализированный вид варианта осуществления логики 904 обработки YCbCr, представлена на фиг. 90. Как показано, логика 904 обработки YCbCr включает в себя логику 1170 повышения резкости изображения, логику 1172 для регулировки яркости, контрастности и/или цвета, логику 1174 регулировки гаммы YCbCr, логику 1176 прореживания цветности и логику 1178 масштабирования. Логика 904 обработки YCbCr может быть сконфигурирована для обработки пиксельных данных в форматах 4:4:4, 4:2:2 или 4:2:0 с использованием 1-плоскостной, 2-плоскостной или 3-плоскостной конфигурации памяти. Кроме того, в одном варианте осуществления, входной сигнал 924 YCbCr может обеспечивать информацию яркости и цветности в виде 10-битовых значений.

[0433] Очевидно, что 1-плоскостная, 2-плоскостная или 3-плоскостная означает количество плоскостей формирования изображения, используемых в памяти изображений. Например, в 3-плоскостном формате, каждая из компонент Y, Cb и Cr может использовать отдельные соответствующие плоскости памяти. В 2-плоскостном формате, первая плоскость может быть обеспечена для компоненты яркости (Y), и вторая плоскость, которая перемежает выборки Cb и Cr, может быть обеспечена для компонент цветности (Cb и Cr). В 1-плоскостном формате, единственная плоскость в памяти перемежается с выборками яркости и цветности. Кроме того, в отношении форматов 4:4:4, 4:2:2 и 4:2:0, очевидно, что формат 4:4:4 относится к формату дискретизации, в котором каждый из трех компонент YCbCr дискретизируются с одной и той же частотой дискретизации. В формате 4:2:2 компоненты цветности Cb и Cr прореживаются на половине частоты дискретизации компоненты яркости Y, из-за чего, разрешение компонент цветности Cb и Cr снижается в два раза в горизонтальном направлении. Аналогично формат 4:2:0 прореживает компоненты цветности Cb и Cr в вертикальном и горизонтальном направлениях.

[0434] Обработка информации YCbCr может происходить в активной области источника, заданной в буфере источника, где активная область источника содержит “действительные” пиксельные данные. Например, на фиг. 91 проиллюстрирован буфер 1180 источника, в котором задана активная область 1182 источника. В проиллюстрированном примере, буфер источника может представлять 1-плоскостной формат 4:4:4, обеспечивающий исходные пиксели 10-битовых значений. Активная область 1182 источника может задаваться по отдельности для выборок яркости (Y) и выборок цветности (Cb и Cr). Таким образом, следует понимать, что активная область 1182 источника фактически может включать в себя множественные активные области источника для выборок яркости и цветности. Начало активных областей 1182 источника для яркости и цветности можно определить на основании смещения относительно базового адреса (0,0) 1184 буфера источника. Например, начальную позицию (Lm_X, Lm_Y) 1186 для яркостной активной области источника можно задать смещением 1190 по оси x и смещением 1194 по оси y относительно базового адреса 1184. Аналогично, начальную позицию (Ch_X, Ch_Y) 1188 для цветностной активной области источника можно задать смещением 1192 по оси x и смещением 1196 по оси y относительно базового адреса 1184. Следует отметить, что в настоящем примере, смещения 1192 и 1196 по оси y для яркости и цветности, соответственно, могут быть равны. На основании начальной позиции 1186, яркостная активная область источника может задаваться шириной 1193 и высотой 1200, каждая из которых может представлять количество выборок яркости в направлениях x и y, соответственно. Дополнительно, на основании начальной позиции 1188, цветностная активная область источника может задаваться шириной 1202 и высотой 1204, каждая из которых может представлять количество выборок цветности в направлениях x и y, соответственно.

[0435] На фиг. 92 дополнительно приведен пример, демонстрирующий, как можно определить активные области источника для выборок яркости и цветности в двухплоскостном формате. Например, как показано, яркостную активную область 1182 источника можно задать в первом буфере 1180 источника (имеющем базовый адрес 1184) как область, заданную шириной 1193 и высотой 1200 относительно начальной позиции 1186. Цветностную активную область 1208 источника можно задать во втором буфере 1206 источника (имеющем базовый адрес 1184) как область, заданную шириной 1202 и высотой 1204 относительно начальной позиции 1188.

[0436] Исходя из вышеизложенного и возвращаясь к фиг. 90, сигнал 924 YCbCr сначала принимается логикой 1170 повышения резкости изображения. Логика 1170 повышения резкости изображения может быть сконфигурирована для осуществления обработки повышения резкости изображения и подчеркивания краев для увеличения детализации текстуры и краев в изображении. Очевидно, что, повышение резкости изображения может повышать воспринимаемое разрешение изображения. Однако, в общем случае, желательно, чтобы существующий шум в изображении не обнаруживался как текстура и/или края, и, таким образом, не усиливался в процессе повышения резкости.

[0437] В соответствии с настоящим изобретением, логика 1170 повышения резкости изображения может осуществлять повышение резкости изображения с использованием фильтра с многомасштабной нерезкой маской на компоненте яркости (Y) сигнала YCbCr. В одном варианте осуществления, может быть обеспечено два или более низкочастотных гауссовых фильтра размеров масштаба разности. Например, согласно варианту осуществления, который предусматривает два гауссова фильтра, выходной сигнал (например, гауссово размывание) первого гауссова фильтра, имеющего первый радиус (x) вычитается из выходного сигнала второго гауссова фильтра, имеющего второй радиус (y), где x больше y, для генерации нерезкой маски. Дополнительные нерезкие маски также можно получить вычитанием выходных сигналов гауссовых фильтров из входного сигнала Y. В некоторых вариантах осуществления, метод также может предусматривать операции сравнения с адаптивным порогом коринга, которые могут осуществляться с использованием нерезких масок, что позволяет, на основании результата(ов) сравнения, прибавлять величины коэффициента усиления к базовому изображению, которое можно выбирать в качестве исходного входного изображения Y, или к выходному сигналу одного из гауссовых фильтров, для генерации окончательного выходного сигнала.

[0438] На фиг. 93 проиллюстрирована блок-схема, изображающая примерную логику 1210 для осуществления повышения резкости изображения в соответствии с вариантами осуществления описанного здесь изобретения. Логика 1210 представляет многомасштабную нерезкую маску фильтрации, которая может применяться к входному яркостному изображению Yin. Например, как показано, Yin принимается и обрабатывается двумя низкочастотными гауссовыми фильтрами 1212 (G1) и 1214 (G2). В настоящем примере, фильтр 1212 может быть фильтром 3×3, и фильтр 1214 может быть фильтром 5×5. Однако очевидно, что в дополнительных вариантах осуществления, также можно использовать более двух гауссовых фильтров, включающих в себя фильтры разных масштабов (например, 7×7, 9×9 и т.д.). Очевидно, что вследствие процесса низкочастотной фильтрации, высокочастотные компоненты, которые, в общем случае, соответствуют шуму, можно удалять из выходных сигналов G1 и G2 для создания “нерезких” изображений (G1out и G2out). Как будет рассмотрено ниже, использованием нерезкого входного изображения в качестве базового изображения позволяет осуществлять шумопонижение как часть фильтра повышения резкости.

[0439] Гауссов фильтр 1212 3×3 и гауссов фильтр 1214 5×5 можно задать, как показано ниже:

Исключительно в порядке примера, значения гауссовых фильтров G1 и G2 можно выбирать в одном варианте осуществления следующим образом:

[0440] На основании Yin, G1out и G2out, можно генерировать три нерезкие маски, Sharp1, Sharp2 и Sharp3. Sharp1 можно определить как результат вычитания нерезкого изображения G2out от гауссова фильтра 1214, из нерезкого изображения G1out гауссова фильтра 1212. Поскольку Sharp1, по существу, равна разности между двумя фильтрами низких частот, она может именоваться “среднеполосной” маской, поскольку шумовые компоненты более высоких частот уже отфильтрованы в нерезких изображениях G1out и G2out. Дополнительно, Sharp2 можно вычислять путем вычитания G2out из входного яркостного изображения Yin, и Sharp3 можно вычислять путем вычитания G1out из входного яркостного изображения Yin. Как будет рассмотрено ниже, схему адаптивного порога коринга можно применять с использованием нерезких масок Sharp1, Sharp2 и Sharp3.

[0441] Согласно логике 1216 выбора, базовое изображение можно выбирать на основании сигнала управления UnsharpSel. В проиллюстрированном варианте осуществления, базовым изображением может быть либо входное изображение Yin, либо фильтрованные выходные сигналы G1out или G2out. Очевидно, что, когда исходные изображения имеют высокую дисперсию шума (например, почти такую же высокую, как дисперсия сигнала), использование исходного изображения Yin в качестве базового изображения при повышении резкости может не обеспечивать достаточного снижения шумовых компонентов в ходе повышения резкости. Соответственно, при обнаружении конкретного порога шумового наполнения во входном изображении, логику 1216 выбора можно адаптировать для выбора одного из выходных сигналов G1out или G2out фильтра низких частот, из которых удалено высокочастотное наполнение, которое может включать в себя шум. В одном варианте осуществления, значение сигнала управления UnsharpSel можно определить путем анализа статистических данных, полученных в ходе статистической обработки в блоке 80 предварительной обработки ISP, для определения шумового наполнения изображения. В порядке примера, если входное изображение Yin имеет низкое шумовое наполнение, благодаря чему не происходит заметного повышения шума в результате процесса повышения резкости, входное изображение Yin можно выбирать в качестве базового изображения (например, UnsharpSel=0). Если определено, что входное изображение Yin содержит заметный уровень шума, из-за чего процесс повышения резкости может усиливать шум, можно выбирать одно из фильтрованных изображений G1out или G2out (например, UnsharpSel = 1 или 2, соответственно). Таким образом, благодаря применению адаптивного метода выбора базового изображения, логика 1210, по существу, обеспечивает функцию шумопонижения.

[0442] Затем коэффициенты усиления можно применять к одной или более из масок Sharp1, Sharp2 и Sharp3 в соответствии со схемой адаптивного порога коринга, как описано ниже. Затем нерезкие значения Sharp1, Sharp2 и Sharp3 можно сравнивать с различными порогами SharpThd1, SharpThd2 и SharpThd3 (не обязательно соответственно) посредством компараторных блоков 1218, 1220 и 1222. Например, значение Sharp1 всегда сравнивается с SharpThd1 на компараторном блоке 1218. В отношении компараторного блока 1220, порог SharpThd2 можно сравнивать либо с Sharp1, либо с Sharp2, в зависимости от логики 1226 выбора. Например, логика 1226 выбора может выбирать Sharp1 или Sharp2 в зависимости от состояния сигнала управления SharpCmp2 (например, SharpCmp2=1 выбирает Sharp1; SharpCmp2=0 выбирает Sharp2). Например, в одном варианте осуществления, состояние SharpCmp2 можно определить в зависимости от дисперсии/наполнения шума входного изображения (Yin).

[0443] В проиллюстрированном варианте осуществления, в общем случае, предпочтительно задавать значения SharpCmp2 и SharpCmp3 для выбора Sharp1, если не обнаружено, что данные изображения имеют относительно низкий уровень шума. Дело в том, что Sharp1, будучи разностью между выходными сигналами гауссовых фильтров G1 и G2 низких частот, в общем случае, менее чувствителен к шуму, что позволяет уменьшать величина изменения значений SharpAmt1, SharpAmt2 и SharpAmt3 вследствие флуктуаций уровня шума “зашумленных” данных изображения. Например, если исходное изображение имеет высокую дисперсию шума, некоторые высокочастотные компоненты не удается уловить с использованием фиксированных порогов, и, таким образом, они могут усиливаться в процессе повышения резкости. Соответственно, в случае высокого шумового наполнения входного изображения, некоторое шумовое наполнение может присутствовать в Sharp2. В таких случаях, SharpCmp2 можно устанавливать равным 1 для выбора среднеполосной маски Sharp1, которая, как рассмотрено выше, снизила высокочастотное наполнение вследствие того, что является разностью двух выходных сигналов фильтров низких частот, и, таким образом, менее чувствительна к шуму.

[0444] Очевидно, что аналогичный процесс может применяться к выбору Sharp1 или Sharp3 логикой 1224 выбора под управлением SharpCmp3. В одном варианте осуществления, SharpCmp2 и SharpCmp3 можно устанавливать равными 1 по умолчанию (например, использовать Sharp1), и устанавливать равными 0 только для тех входных изображений, которые идентифицированы как имеющие, в общем случае, низкие значения дисперсии шума. Это, по существу, обеспечивает схему адаптивного порога коринга, в которой выбор значения сравнения (Sharp1, Sharp2 или Sharp3) является адаптивным на основании дисперсии шума входного изображения.

[0445] На основании выходных сигналов компараторных блоков 1218, 1220 и 1222, можно определить выходное изображение повышенной резкости Ysharp путем применения нерезких масок с примененным коэффициентом усиления к базовому изображению (например, выбранному посредством логики 1216). Например, на компараторном блоке 1222, SharpThd3 сравнивается с B-входом, обеспеченным логикой 1224 выбора, который будет именоваться здесь “SharpAbs”, и может быть равен Sharp1 или Sharp3 в зависимости от состояния SharpCmp3. Если SharpAbs больше порога SharpThd3, то коэффициент усиления SharpAmt3 применяется к Sharp3, и результирующее значение прибавляется к базовому изображению. Если SharpAbs меньше порога SharpThd3, то можно применять ослабленный коэффициент усиления Att3. В одном варианте осуществления, ослабленный коэффициент усиления Att3 можно определить следующим образом:

где SharpAbs равен Sharp1 или Sharp3, что определяется логикой 1224 выбора. Выбор суммирования базового изображения с полным коэффициентом усиления (SharpAmt3) или ослабленным коэффициентом усиления (Att3) осуществляется логикой 1228 выбора на основании выходного сигнала компараторного блока 1222. Очевидно, что использование ослабленного коэффициента усиления позволяет разрешать ситуации, в которых SharpAbs не превышает порог (например, SharpThd3), но дисперсия шума изображения, тем не менее, близка к данному порогу. Это позволяет сделать менее заметным переход между резким и нерезким пикселями. Например, если в таких обстоятельствах данные изображения пропускаются без ослабленного коэффициента усиления, результирующий пиксель может выглядеть как дефектный пиксель (например, залипший пиксель).

[0446] Затем аналогичный процесс можно применять в отношении компараторного блока 1220. Например, в зависимости от состояния SharpCmp2, логика 1226 выбора может обеспечивать Sharp1 или Sharp2 в качестве входного сигнала компараторного блока 1220, который сравнивается с порогом SharpThd2. В зависимости от выхода компараторного блока 1220, либо коэффициент усиления SharpAmt2, либо ослабленный коэффициент усиления на основании SharpAmt2, Att2, применяется к Sharp2 и суммируется с выходным сигналом логики 1228 выбора, рассмотренным выше. Очевидно, что ослабленный коэффициент усиления Att2 можно вычислить аналогично вышеприведенному уравнению 104, за исключением того, что коэффициент усиления SharpAmt2 и порог SharpThd2 применяются к SharpAbs, в качестве которого можно выбирать Sharp1 или Sharp2.

[0447] После этого, коэффициент усиления SharpAmt1 или ослабленный коэффициент усиления Att1 применяется к Sharp1, и результирующее значение суммируется с выходным сигналом логики 1230 выбора для создания пиксельного выхода повышенной резкости Ysharp (из логики 1232 выбора). Применять ли коэффициент усиления SharpAmt1 или ослабленный коэффициент усиления Att1, можно определить на основании выходного сигнала компараторного блока 1218, который сравнивает Sharp1 с порогом SharpThd1. Опять же, ослабленный коэффициент усиления Att1 можно определить аналогично вышеприведенному уравнению 104, за исключением того, что коэффициент усиления SharpAmt1 и порог SharpThd1 применяются к Sharp1. Результирующие пиксельные значения повышенной резкости, масштабированные с использованием каждой из трех масок, прибавляются к входному пикселю Yin для генерации выходного сигнала повышенной резкости Ysharp, который, в одном варианте осуществления, можно обрезать до 10 битов (предполагая, что обработка YCbCr происходит с 10-битовой точностью).

[0448] Очевидно, что, по сравнению с традиционными методами нерезкого маскирования, методы повышения резкости изображения, изложенные в этом раскрытии, могут обеспечивать усовершенствованное подчеркивание текстур и краев с одновременным понижением шума в выходном изображении. В частности, настоящее изобретение можно успешно применять в приложениях, где изображения, захваченные с использованием, например, КМОП-датчиков изображения, демонстрируют низкое отношение сигнал/шум, например изображения, полученные в условиях низкой освещенности с использованием камер пониженного разрешения, встроенных в портативные устройства (например, мобильные телефоны). Например, когда дисперсия шума и дисперсия сигнала сравнимы, трудно использовать фиксированный порог для повышения резкости, поскольку некоторые шумовые компоненты будут подвергаться повышению резкости совместно с текстурой и краями. Соответственно, обеспеченные здесь методы, как рассмотрено выше, позволяют отфильтровывать шум от входного изображения с использованием многомасштабных гауссовых фильтров для выделения признаков из нерезких изображений (например, G1out и G2out) для обеспечения изображения повышенной резкости, которое также демонстрирует сниженное шумовое наполнение.

[0449] Прежде чем продолжить, следует понять, что проиллюстрированная логика 1210 призвана обеспечивать лишь один примерный вариант осуществления настоящего изобретения. В других вариантах осуществления, большее или меньшее количество признаков может быть обеспечено логикой 1170 повышения резкости изображения. Например, в некоторых вариантах осуществления, вместо применения ослабленного коэффициента усиления, логика 1210 может просто передавать базовое значение. Дополнительно, некоторые варианты осуществления могут не включать в себя логические блоки 1224, 1226 или 1216 выбора. Например, компараторные блоки 1220 и 1222 могут просто принимать значения Sharp2 и Sharp3, соответственно, а не выходной сигнал выбора из логических блоков 1224 и 1226 выбора, соответственно. Хотя такие варианты осуществления могут не обеспечивать признаки повышения резкости и/или шумопонижения, которые столь же надежны, как реализация, показанная на фиг. 93, очевидно, что такие варианты конструкции могут быть результатом ограничений, связанных с затратами и/или бизнесом.

[0450] В настоящем варианте осуществления, логика 1170 повышения резкости изображения также может обеспечивать признаки подчеркивания краев и подавления цветности после получения выходного сигнала YSharp изображения повышенной резкости. Ниже мы рассмотрим каждый из этих дополнительных признаков. На фиг. 94, примерная логика 1234 для осуществления подчеркивания краев, которую можно реализовать, располагая ее после логики 1210 повышения резкости, показанной на фиг. 93, проиллюстрирована в соответствии с одним вариантом осуществления. Как показано, исходное входное значение Yin обрабатывается фильтром Собеля 1236 для обнаружения края. Фильтр Собеля 1236 может определять значение градиента YEdge на основании пиксельного блока 3×3 (обозначенного “A”) исходного изображения, где Yin является центральным пикселем блока 3×3. В одном варианте осуществления, фильтр 1236 Собеля может вычислять YEdge путем вычисления свертки исходных данных изображения для обнаружения изменений в горизонтальном и вертикальном направлениях. Этот процесс показан ниже в уравнениях 105-107.

где S_x и S_y представляют матричные операторы для градиентного обнаружения силы края в горизонтальном и вертикальном направлениях, соответственно, и G_x и G_y представляют градиентные изображения, которые содержат производные горизонтального и вертикального изменения, соответственно. Соответственно, выход YEdge определяется произведение G_x и G_y.

[0451] Затем YEdge принимается логикой 1240 выбора совместно со среднеполосной маской Sharp1, как рассмотрено выше на фиг. 93. На основании сигнала EdgeCmp управления, Sharp1 или YEdge сравнивается с порогом, EdgeThd, на компараторном блоке 1238. Состояние EdgeCmp можно определить, например, на основании шумового наполнения изображения, таким образом, обеспечивая схему адаптивного порога коринга для обнаружения и подчеркивания края. Затем выход компараторного блока 1238 может поступать на логика 1242 выбора, и может применяться либо полный коэффициент усиления, либо ослабленный коэффициент усиления. Например, когда выбранный B-вход в компараторный блок 1238 (Sharp1 или YEdge) выше EdgeThd, YEdge умножается на краевой коэффициент усиления, EdgeAmt, для определения величины подчеркивания краев, подлежащего применению. Если B-вход на компараторном блоке 1238 меньше EdgeThd, то может применяться ослабленный краевой коэффициент усиления, AttEdge, во избежание заметных переходов между пикселем с подчеркнутым краем и исходным пикселем. Очевидно, что AttEdge можно вычислять аналогично тому, как показано выше в уравнении 104, но при этом EdgeAmt и EdgeThd применяются к “SharpAbs”, который может представлять собой Sharp1 или YEdge, в зависимости от выходного сигнала логики 1240 выбора. Таким образом, краевой пиксель, усиленный с использованием коэффициента усиления (EdgeAmt) или ослабленного коэффициента усиления (AttEdge), может прибавляться к YSharp (выходному сигналу логики 1210 на фиг. 93) для получения выходного пикселя Yout с подчеркнутым краем, который, в одном варианте осуществления, можно обрезать до 10 битов (предполагая, что обработка YCbCr происходит с 10-битовой точностью).

[0452] В отношении признаков подавления цветности, обеспеченных логикой 1170 повышения резкости изображения, такие признаки могут ослаблять цветность на краях яркости. В общем случае, подавление цветности может осуществляться путем применения коэффициента усиления цветности (коэффициента ослабления) меньшего 1 в зависимости от значения (YSharp, Yout), полученного на рассмотренных выше этапах яркостного повышения резкости и/или подчеркивания краев. В порядке примера, фиг. 95 демонстрирует график 1250, который включает в себя кривую 1252, представляющую коэффициенты усиления цветности, которые можно выбирать для соответствующих значений яркости при повышенной резкости (YSharp). Данные, представленные графиком 1250, можно реализовать в виде поисковой таблицы значений YSharp и соответствующих коэффициентов усиления цветности между 0 и 1 (коэффициента ослабления). Поисковые таблицы используются для аппроксимации кривой 1252. Для значений YSharp, которые близко расположены между двумя коэффициентами ослабления в поисковой таблице, линейная интерполяция может применяться к двум коэффициентам ослабления, соответствующим значениям YSharp выше или ниже текущего значения YSharp. Кроме того, в других вариантах осуществления, входное значение яркости также можно выбирать как одно из значений Sharp1, Sharp2 и Sharp3, определенных логикой 1210, как рассмотрено выше на фиг. 93, или значения YEdge, определенного логикой 1234, рассмотренной на фиг. 94.

[0453] Затем выходной сигнал логики 1170 повышения резкости изображения (фиг. 90) обрабатывается логикой 1172 регулировки яркости, контрастности и цвета (BCC). Функциональная блок-схема, изображающая вариант осуществления логики 1172 регулировки BCC, представлен на фиг. 96. Как показано, логика 1172 включает в себя блок 1262 обработки яркости и контрастности, блок 1264 управления глобальным тоном и блок 1266 управления насыщенностью. Проиллюстрированный здесь вариант осуществления предусматривает обработку данных YCbCr 10-битовой точности, хотя другие варианты осуществления могут использовать разные битовые глубины. Функции каждого из блоков 1262, 1264 и 1266 рассмотрены ниже.

[0454] На блоке 1262 обработки яркости и контрастности, смещение, YOffset, сначала вычитается из данных яркости (Y) для установки уровня черного на нуль. Это делается для того, чтобы гарантировать, что регулировка контрастности не изменяет уровни черного. Затем значение яркости умножается на значение коэффициента усиления контрастности для применения управления контрастностью. В порядке примера, значение коэффициента усиления контрастности может быть 12-битовым беззнаковым числом с 2 битами целой части и 10 битами дробной части, таким образом, обеспечивающим диапазон коэффициента усиления контрастности, до 4 раз превышающий пиксельное значение. После этого, регулировку яркости можно реализовать путем прибавления (или вычитания) значения смещения яркости из данных яркости. В порядке примера, смещение яркости в настоящем варианте осуществления может представлять собой 10-битовое значение в формате дополнения до 2, имеющее диапазон от -512 до +512. Кроме того, следует отметить, что регулировка яркости осуществляется после регулировки контрастности во избежание изменения смещения постоянной составляющей при изменении контрастности. После этого, начальное YOffset прибавляется обратно к отрегулированным данным яркости для переустановки уровня черного.

[0455] Блоки 1264 и 1266 обеспечивают регулировку цвета на основании тоновых характеристик данных Cb и Cr. Как показано, смещение 512 (предполагая 10-битовую обработку) сначала вычитается из данных Cb и Cr для установки диапазона приблизительно равным нулю. Затем тон регулируется в соответствии со следующими уравнениями:

где Cb_adj и Cr_adj представляют отрегулированные значения Cb и Cr, и θ представляет угол тона, который можно вычислять следующим образом:

Вышеописанные операции изображены логикой в блоке 1264 управления глобальным тоном и могут быть представлены следующей матричной операцией:

где, Ka=cos(θ), Kb=sin(θ), и θ задан выше в уравнении 110.

[0456] Затем управление насыщенностью может применяться к значениям Cb_adj и Cr_adj, что показано блоком 1266 управления насыщенностью. В проиллюстрированном варианте осуществления, управление насыщенностью осуществляется путем применения глобального коэффициента насыщенности и коэффициента насыщенности на основе тона для каждого из значений Cb и Cr. Управление насыщенностью на основе тона может улучшать воспроизведение цветов. Тон цвета можно представить в цветовом пространстве YCbCr, как показано круговой диаграммой 1270 цветов на фиг. 97. Очевидно, что цветовой круг 1270 тона и насыщенности YCbCr можно вывести путем сдвига идентичного цветового круга в цветовом пространстве HSV (тон, насыщенность и интенсивность) приблизительно на 109 градусов. Как показано, график 1270 включает в себя окружные значения, представляющие коэффициент насыщенности (S) в диапазоне от 0 до 1, а также угловые значения, представляющие θ, заданный выше, в диапазоне от 0 до 360°. Каждый θ может представлять отдельный цвет (например, 49° = малиновый, 109° = красный, 229° = зеленый, и т.д.). Тон цвета при конкретном угле θ тона можно регулировать путем выбора надлежащего коэффициента S насыщенности.

[0457] Возвращаясь к фиг. 96, угол θ тона (вычисленный в блоке 1264 управления глобальным тоном) можно использовать как индекс для поисковая таблица 1268 насыщенности Cb и поисковая таблица 1269 насыщенности Cr. В одном варианте осуществления, поисковые таблицы 1268 и 1269 насыщенности могут содержать 256 значений насыщенности, равномерно распределенных в диапазоне тона 0-360° (например, первая запись поисковой таблицы находится на 0° и последняя запись находится на 360°), и значение S насыщенности на данном пикселе можно определить путем линейной интерполяции значений насыщенности в поисковой таблице непосредственно ниже и выше текущего угла θ тона. Окончательное значение насыщенности для каждой из компонент Cb и Cr получается путем умножения глобального значения насыщенности (которое может быть глобальной постоянной для каждого из Cb и Cr) на определенное значение насыщенности на основе тона. Таким образом, окончательные скорректированные значения Cb' и Cr' можно определить путем умножения Cb_adj и Cr_adj с их соответствующими окончательными значениями насыщенности, как показано в блоке 1266 управления насыщенностью на основе тона.

[0458] После этого, выходной сигнал логики 1172 BCC поступает на логику 1174 регулировки гаммы YCbCr, как показано на фиг. 90. В одном варианте осуществления, логика 1174 регулировки гаммы может обеспечивать функции нелинейного отображения для каналов Y, Cb и Cr. Например, входные значения Y, Cb и Cr отображаются в соответствующие выходные значения. Опять же, предполагая, что данные YCbCr обрабатываются в 10 битах, можно использовать поисковую таблицу 256 интерполированных 10-битовых записей. Три такие поисковые таблицы могут быть обеспечены по одной для каждого из каналов Y, Cb и Cr. Каждая из 256 входных записей может быть равномерно распределена, и выходной сигнал можно определить путем линейной интерполяции выходных значений, отображаемых в индексы непосредственно выше и ниже текущего входного индекса. В некоторых вариантах осуществления, также можно использовать неинтерполированную поисковую таблицу, которая имеет 1024 записи (для 10-битовых данных), но может предъявлять значительно более высокие требования к памяти. Очевидно, что, регулируя выходные значения поисковых таблиц, функцию регулировки гаммы YCbCr также можно использовать для осуществления некоторых эффектов фильтра изображения, например, черно-белого, сепии, негативные изображения, соляризации и т.д.

[0459] Затем прореживание цветности может применяться логикой 1176 прореживания цветности к выходному сигналу логики 1174 регулировки гаммы. В одном варианте осуществления, логика 1176 прореживания цветности может быть сконфигурирована для осуществления горизонтального прореживания для преобразования данных YCbCr из формата 4:4:4 в формат 4:2:2, в котором информация цветности (Cr и Cr) прореживается до половины частоты дискретизации данных яркости. Исключительно в порядке примера, прореживание может осуществляться путем применения 7-отводного фильтра низких частот, например полуполосового фильтра Ланцоша, к набору из 7 горизонтальных пикселей, как показано ниже:

где in(i) представляет входной пиксель (Cb или Cr), и C0-C6 представляют коэффициенты фильтрации 7-отводного фильтра. Каждый входной пиксель имеет независимый коэффициент фильтрации (C0-C6) для обеспечения гибкого смещения фазы для фильтрованных выборок цветности.

[0460] Кроме того, прореживание цветности, в ряде случаев, также можно осуществлять без фильтрации. Это может оказаться полезным, когда исходное изображение первоначально принимается в формате 4:2:2, но подвергается повышающей дискретизации до формата 4:4:4 для обработки YCbCr. В этом случае, результирующее прореженное изображение в формате 4:2:2 идентично исходному изображению.

[0461] Затем данные YCbCr, выводимые из логики 1176 прореживания цветности, можно масштабировать с использованием логики 1178 масштабирования до вывода из блока 904 обработки YCbCr. Функция логики 1178 масштабирования может быть аналогична функциональным возможностям логики 368, 370 масштабирования в фильтре 300 компенсации биннинга блока 130 предварительной обработки пикселей, рассмотренных выше со ссылкой на фиг. 28. Например, логика 1178 масштабирования может осуществлять горизонтальное и вертикальное масштабирование в два этапа. В одном варианте осуществления, 5-отводный многофазный фильтр можно использовать для вертикального масштабирования, и 9-отводный многофазный фильтр можно использовать для горизонтального масштабирования. Многоотводные многофазные фильтры могут умножать пиксели, выбранные из источника изображения, на весовой коэффициент (например, коэффициент фильтрации) и затем суммировать выходные сигналы для формирования окончательного пикселя. Выбранные пиксели могут выбираться в зависимости от позиции текущего пикселя и количества отводов фильтров. Например, с помощью вертикального 5-отводного фильтра, можно выбирать два соседних пикселя на каждой вертикальной стороне текущего пикселя, и, с помощью горизонтального 9-отвтодного фильтра, можно выбирать четыре соседних пикселя на каждой горизонтальной стороне текущего пикселя. Коэффициенты фильтрации могут обеспечиваться из поисковой таблицы и могут определяться текущей межпиксельной дробной позицией. Затем выходной сигнал 926 логики 1178 масштабирования выводится из блока 904 обработки YCbCr.

[0462] Возвращаясь к фиг. 67, обработанный выходной сигнал 926 может отправляться в память 108 или может выводиться из логики 82 конвейерной обработки ISP в качестве сигнала 114 изображения на оборудование отображения (например, дисплей 28) для просмотра пользователем, или на машину сжатия (например, кодер 118). В некоторых вариантах осуществления, сигнал 114 изображения может дополнительно обрабатываться блоком обработки графики и/или машиной сжатия и сохраняться до декомпрессии и подачи на дисплей. Дополнительно, один или более кадровых буферов также можно обеспечить для управления буферизацией данных изображения, выводимых на дисплей, в частности в отношении данных видеоизображения.

[0463] Очевидно, что различные методы обработки изображений описанные выше и относящиеся, в частности, к обнаружению и коррекции дефектных пикселей, коррекции затенения объектива, демозаике и повышению резкости изображения, обеспечены здесь исключительно в порядке примера. Соответственно, следует понимать, что настоящее раскрытие не следует рассматривать как ограничивающееся только приведенными выше примерами. Действительно, логика, представленная здесь для примера, может подвергаться ряду изменений и/или приобретать дополнительные признаки в других вариантах осуществления. Кроме того, очевидно, что рассмотренные выше методы можно реализовать любым пригодным образом. Например, компоненты схемы 32 обработки изображений и, в частности, блок 80 предварительной обработки ISP и блок 82 конвейера ISP можно реализовать с использованием оборудования (например, надлежащим образом сконфигурированной схемы), программного обеспечения (например, посредством компьютерной программы, включающей в себя исполнимый код, хранящийся на одном или более вещественных машиночитаемых носителях), или с использованием комбинации аппаратных и программных элементов.

[0464] Вышеописанные конкретные варианты осуществления были представлены в порядке примера, и следует понимать, что эти варианты осуществления допускают различные модификации и альтернативные формы. Также следует понимать, что формула изобретения не подлежит ограничению конкретными раскрытыми формами, но призвана охватывать все модификации, эквиваленты и альтернативы, отвечающие сущности и объему этого раскрытия.

Изобретение относится к средствам формирования цифровых изображений. Техническим результатом является повышение качества результирующего изображения за счет устранения артефактов в полноцветном изображении. Система содержит блок предварительной обработки пикселей, содержащий логику сбора статистики автоматического баланса белого и статистики автоматической установки экспозиции, логику сбора статистики, содержащей вход, логику преобразования цветового пространства, набор пиксельных фильтров. Система так же содержит управляющую логику, сконфигурированную для определения набора коэффициентов усиления баланса белого по точкам для применения к многоцветным первичным пикселям кадра на основании накопленных значений суммы цветов. 3 н. и 17 з.п. ф-лы, 74 ил.

1. Система обработки сигнала изображения, содержащая:
блок предварительной обработки пикселей, сконфигурированный для приема кадра первичных данных многоцветного изображения, содержащего пиксели, представляющие сцену изображения, полученную с использованием цифрового датчика изображения, причем блок предварительной обработки пикселей содержит логику сбора статистики, сконфигурированную для сбора статистики на основании первичных пиксельных данных кадра, причем собранная статистика содержит, по меньшей мере, одну из статистики автоматического баланса белого и статистики автоматической установки экспозиции, и логика сбора статистики содержит:
вход, сконфигурированный для приема первичных пиксельных данных кадра,
логику преобразования цветового пространства, сконфигурированную для преобразования первичных пиксельных данных кадра во множественные наборы преобразованных пиксельных данных, причем каждый из наборов преобразованных пиксельных данных находится в другом цветовом пространстве, и
набор пиксельных фильтров, каждый из которых сконфигурирован для приема первичных пиксельных данных кадра и множественных наборов преобразованных пиксельных данных, для выбора одного набора из либо первичных пиксельных данных кадра, либо преобразованных пиксельных данных, и для анализа выбранного набора пиксельных данных и определения одного или более накопленных значений суммы цветов,
причем система обработки сигнала изображения содержит управляющую логику, сконфигурированную для определения набора коэффициентов усиления баланса белого по точкам для применения к многоцветным первичным пикселям кадра, по меньшей мере, частично, на основании накопленных значений суммы цветов.

2. Система обработки сигнала изображения по п.1, в которой каждый пиксельный фильтр сконфигурирован для оценивания каждого пикселя выбранного набора пиксельных данных относительно набора пиксельных условий в цветовом пространстве яркости и цветности и для включения текущего пикселя в соответствующее значение суммы цветов, если текущий пиксель удовлетворяет набору пиксельных условий.

3. Система обработки сигнала изображения по п.2, в которой набор пиксельных условий задает область в цветовом пространстве цветового пространства яркости и цветности, и оценивание каждого пикселя выбранного набора пиксельных данных содержит определение, удовлетворяют ли значения яркости и цветности, соответствующие текущему пикселю, по меньшей мере, одному условию линии.

4. Система обработки сигнала изображения по п.3, в которой в качестве цветового пространства яркости и цветности выбирается одно из линейного цветового пространства яркости и цветности или нелинейного цветового пространства яркости и цветности камеры.

5. Система обработки сигнала изображения по п.1, в которой первичные пиксельные данные кадра содержат пиксельные байеровские RGB данные, и логика преобразования цветового пространства сконфигурирована для:
использования первой матрицы цветовой коррекции для преобразования пиксельных байеровских RGB данных в соответствующий набор пиксельных данных в цветовом пространстве sRGB_linear,
использования нелинейной поисковой таблицы для преобразования sRGB_linear набора пиксельных данных в соответствующий набор пиксельных данных в цветовом пространстве sRGB;
использования второй матрицы цветовой коррекции для преобразования sRGB набора пиксельных данных в соответствующий набор пиксельных данных в цветовом пространстве яркости (Y) и цветности (C1, C2), и
использования третьей матрицы цветовой коррекции для преобразования пиксельных байеровских RGB данных в соответствующий набор пиксельных данных в цветовом пространстве яркости (camY) и цветности (camC1, camC2) камеры.

6. Система обработки сигнала изображения по п.5, в которой байеровские RGB данные прореживаются до подачи на логику преобразования цветового пространства.

7. Система обработки сигнала изображения по п.5, в которой каждые из пиксельных байеровских RGB данных, пиксельных данных sRGB_linear, пиксельных данных sRGB, пиксельных данных YC1C2 и camYC1C2 подаются на каждый из пиксельных фильтров, и каждый пиксельный фильтр выбирает один из этих наборов пиксельных данных и определяет одно или более накопленных значений суммы цветов для выбранного набора пиксельных данных.

8. Система обработки сигнала изображения по п.7, в которой, если пиксельный фильтр сконфигурирован для получения статистики баланса белого по точкам, то одно или более накопленных значений суммы цветов основаны на пиксельных байеровских RGB данных или пиксельных данных sRGB_linear, и
если пиксельный фильтр сконфигурирован для осуществления анализа сцены, то одно или более накопленных значений суммы цветов основаны на пиксельных данных YC1C2.

9. Система обработки сигнала изображения по п.1, в которой определение набора коэффициентов усиления баланса белого по точкам для применения к многоцветным первичным пиксельным данным содержит:
определение отношений красного к зеленому и синего к зеленому на основании накопленных значений суммы цветов, и
по меньшей мере, частично, на основании отношений красного к зеленому и синего к зеленому, выбор опорного источника света из набора опорных источников света, который наиболее близко соответствует текущему источнику света сцены изображения,
причем коэффициенты усиления баланса белого по точкам, соответствующие выбранному опорному источнику света, применяются к многоцветным первичным пикселям кадра.

10. Способ сбора статистики автоматического баланса белого (AWB) с использованием процессора сигнала изображения, содержащий этапы, на которых:
принимают кадр изображения, имеющий первичные байеровские RGB пиксели изображения, полученные с использованием датчика изображения,
преобразуют первичные байеровские RGB пиксели изображения в соответствующие наборы пикселей, включающие в себя, по меньшей мере, первый набор пикселей в цветовом пространстве sRGB_linear, второй набор пикселей в цветовом пространстве sRGB и третий набор пикселей в цветовом пространстве (YC1C2) яркости и цветности, и четвертый набор пикселей в цветовом пространстве (camYC1C2) яркости и цветности камеры, и
обеспечивают первичные байеровские RGB пиксели изображения, пиксели sRGB_linear, пиксели sRGB, пиксели YC1C2 и пиксели camYC1C2 в каждый из набора выбранных пиксельных фильтров, причем каждый из выбранных пиксельных фильтров сконфигурирован для:
использования первой логики выбора для выбора первого выбранного набора пикселей в качестве либо пикселей YC1C2, либо пикселей camYC1C2;
использования второй логики выбора для выбора второго выбранного набора пикселей в качестве одного из байеровских RGB пикселей, пикселей sRGB_linear, пикселей sRGB, или первого выбранного набора пикселей, и
оценивания первого выбранного набора пикселей относительно набора пиксельных условий для определения, какие пиксели из второго выбранного набора пикселей нужно накапливать в сумме цветов.

11. Способ по п.10, в котором определение, включать ли каждый пиксель из второго выбранного набора пикселей в накопленную сумму цветов, содержит оценивание, удовлетворяет ли текущий соответствующий пиксель из первого выбранного набора пикселей набору пиксельных условий, связанному с текущим пиксельным фильтром.

12. Способ по п.11, в котором оценивание, удовлетворяет ли текущий соответствующий пиксель из первого выбранного набора пикселей набору пиксельных условий, содержит:
определение, находится ли значение первой компоненты цветности, связанной с текущим соответствующим пикселем, в минимальном и максимальном диапазоне для первой компоненты цветности, причем минимальный и максимальный диапазон определяется первой точкой и второй точкой в цветовом пространстве (C1-C2), соответствующем первому выбранному набору пикселей,
определение, находится ли значение второй компоненты цветности, связанной с текущим соответствующим пикселем, в минимальном и максимальном диапазоне для второй компоненты цветности, причем минимальный и максимальный диапазон определяется первой точкой и второй точкой в цветовом пространстве (C1-C2),
определение, находится ли значение компоненты яркости, связанной с текущим соответствующим пикселем, в минимальном и максимальном диапазоне яркости, и
определение, удовлетворяют ли координаты текущего соответствующего пикселя, по меньшей мере, одному условию линии, заданному, по меньшей мере, частично, на основании первой точки и второй точки.

13. Способ по п.12, в котором определение, удовлетворяют ли координаты текущего соответствующего пикселя набору пиксельных условий, содержит:
определение первой дельты между первой компонентой цветности, связанной с первой точкой, и первой компонентой цветности, связанной со второй точкой,
определение второй дельты между второй компонентой цветности, связанной с первой точкой, и второй компонентой цветности, связанной со второй точкой,
определение смещения путем умножения первой дельты на значение, при котором линия между первой и второй точками пересекает оси, соответствующие второй компоненте цветности,
определение первого перпендикулярного расстояния от текущего соответствующего пикселя до линии,
определение максимального расстояния путем умножения первого перпендикулярного расстояния на нормирующий множитель,
определение первого значения как разности между произведением второй дельты и значения первой компоненты цветности, связанной с текущим соответствующим пикселем, и произведением первой дельты и значения второй компоненты цветности, связанной с текущим соответствующим пикселем,
прибавление смещения к первому значению для получения второго значения, и
определение абсолютного значения второго значения и определение, меньше ли абсолютное значение второго значения максимального расстояния.

14. Способ по п.13, в котором нормирующий множитель определяется суммированием квадратов значения первой дельты и значения второй дельты, и извлечением квадратного корня из результата.

15. Способ по п.12, в котором определение, удовлетворяют ли координаты текущего соответствующего пикселя набору пиксельных условий, содержит:
идентификацию области в цветовом пространстве (C1-C2) как, по меньшей мере, одного многоугольника, сформированного с использованием первой точки, второй точки и, по меньшей мере, одной дополнительной точки в качестве его вершин, и
для каждой линии, образующей сторону многоугольника, определение в отношении расположения на стороне линии координат текущего соответствующего пикселя, так что текущий соответствующий пиксель будет заключен в многоугольнике.

16. Способ по п.15, в котором, по меньшей мере, один многоугольник содержит множественные перекрывающиеся многоугольники.

17. Способ для определения коэффициентов усиления баланса белого с использованием процессора сигнала изображения, содержащий этапы, на которых:
принимают кадр изображения, имеющий первичные байеровские RGB пиксели изображения и представляющий сцену изображения, полученную с использованием датчика изображения,
обеспечивают набор опорных источников света для калибровки датчика изображения, причем каждый опорный источник света связан с набором коэффициентов усиления баланса белого для цветовых каналов красного, зеленого и синего,
используют логику преобразования цветового пространства для преобразования первичных байеровских RGB пикселей изображения во множественные наборы преобразованных пиксельных данных, причем каждый из наборов преобразованных пиксельных данных находится в другом цветовом пространстве,
используют набор пиксельных фильтров, каждый из которых сконфигурирован для приема первичных байеровских RGB пикселей изображения и множественных наборов преобразованных пиксельных данных, для выбора одного набора из либо первичных байеровских RGB пикселей изображения, либо преобразованных пиксельных данных, и для анализа выбранного набора пиксельных данных и определения одного или более накопленных значений суммы цветов,
используют отношения цветов, по меньшей мере, частично, на основании накопленных значений суммы цветов для выбора опорного источника света из набора опорных источников света, который наиболее близко соответствует условиям освещения, соответствующим сцене изображения, и применяют набор коэффициентов усиления баланса белого, связанный с выбранным опорным источником света.

18. Способ по п.17, в котором, если условия освещения, соответствующие текущей сцене изображения, оказываются между двумя опорными источниками света, коэффициенты усиления баланса белого для каждого из двух опорных источников света интерполируют для определения набора коэффициентов усиления баланса белого для текущей сцены изображения.

19. Способ по п.17, в котором набор опорных источников света содержит опорный источник света низкой цветовой температуры, опорный источник света умеренно низкой цветовой температуры, опорный источник света средней цветовой температуры, опорный источник света умеренно высокой цветовой температуры и опорный источник света высокой цветовой температуры.

20. Способ по п.18, в котором опорный источник света низкой цветовой температуры содержит опорный источник света Horizon, имеющий цветовую температуру приблизительно 2300 градусов, опорный источник света умеренно низкой цветовой температуры содержит накальный опорный источник света, имеющий цветовую температуру в пределах приблизительно от 2800 до 2900 градусов, опорный источник света средней цветовой температуры содержит опорный источник света D50, имеющий цветовую температуру приблизительно 5000 градусов, опорный источник света умеренно высокой цветовой температуры содержит опорный источник света D65, имеющий цветовую температуру приблизительно 6500 градусов, и опорный источник света высокой цветовой температуры содержит опорный источник света D75, имеющий цветовую температуру приблизительно 7500 градусов.