СИСТЕМА И СПОСОБ ДЛЯ ОБРАБОТКИ ДАННЫХ ИЗОБРАЖЕНИЯ С ИСПОЛЬЗОВАНИЕМ ПРОЦЕССОРА СИГНАЛА ИЗОБРАЖЕНИЯ, ИМЕЮЩЕГО ЛОГИКУ ОКОНЧАТЕЛЬНОЙ ОБРАБОТКИ Российский патент 2015 года по МПК G06K9/36 H04N9/73 

Уровень техники

[0001] Настоящее раскрытие относится, в общем, к устройствам формирования цифрового изображения и, в частности, к системам и способу для обработки данных изображения, полученных с использованием датчика изображения устройства формирования цифрового изображения.

[0002] Этот раздел предназначен для ознакомления читателя с различными аспектами уровня техники, которые могут быть связаны с различными аспектами настоящего изобретения, которые описаны и/или заявлены ниже. Предполагается, что данное рассмотрение будет полезно для предоставления читателю основополагающей информации для облегчения лучшего понимания различных аспектов настоящего раскрытия. Соответственно, следует понимать, что эти положения следует воспринимать в этом свете, а не как допущения уровня техники.

[0003] В последние годы устройства формирования цифрового изображения приобретают все большую популярность в силу, по меньшей мере, частично, того, что такие устройства становятся все более доступными по цене для среднего потребителя. Кроме того, помимо ряда автономных цифровых камер, доступных в настоящее время на рынке, существует тенденция интеграции устройств формирования цифрового изображения в другое электронное устройство, например, стационарный или переносной компьютер, сотовый телефон или портативный медиаплеер.

[0004] Для получения данных изображения, большинство устройств формирования цифрового изображения включают в себя датчик изображения, который обеспечивает ряд световоспринимающих элементов (например, фотодетекторов), сконфигурированных для преобразования света, регистрируемого датчиком изображения, в электрический сигнал. Датчик изображения также может включать в себя матрицу цветовых фильтров, которая фильтрует свет, улавливаемый датчиком изображения для захвата информации цвета. Данные изображения, захваченные датчиком изображения, могут затем обрабатываться конвейером обработки изображений, который может применять различные операции обработки изображений к данным изображения для формирования полноцветного изображения, которое может отображаться для просмотра на дисплейном устройстве, например мониторе.

[0005] В то время как традиционные методы обработки изображений, в общем случае, нацелены на формирование наблюдаемого изображения, которое объективно и субъективно доставляют удовольствие наблюдателю, такие традиционные методы могут не адекватно справляться с ошибками и/или искажениями в данных изображения, вносимыми устройством формирования изображения и/или датчиком изображения. Например, дефектные пиксели на датчике изображения, которые могут быть обусловлены производственными дефектами или отказом при эксплуатации, могут не позволять точно воспринимать уровни света и, в отсутствие коррекции, могут проявляться как артефакты, возникающие в результирующем обработанном изображении. Дополнительно, спад интенсивности света на краях датчика изображения, который может быть обусловлен дефектами при изготовлении объектива, может негативно сказываться на характеристических измерениях и может приводить к созданию изображения, в которых общая интенсивность света неоднородна. Конвейер обработки изображений также может осуществлять один или более процессов для повышения резкости изображения. Однако традиционные методы повышения резкости могут не адекватно учитывать существующий шум в сигнале изображения, или могут быть не способны различать шум от краев и текстурированных областей в изображении. В таких случаях, традиционные методы повышения резкости могут фактически повышать заметность шума в изображении, что, в общем случае, нежелательно. Кроме того, можно осуществлять различные дополнительные этапы обработки изображений, некоторые из которых могут опираться на статистику изображения, собранную машиной сбора статистики.

[0006] Другая операция обработки изображений, которая может применяться к данным изображения, захваченным датчиком изображения, является операцией демозаики (преобразования RGB массива в цветное изображение). Поскольку матрица цветовых фильтров в общем случае обеспечивает цветовые данные на одной длине волны для каждого пикселя датчика, полный набор цветовых данных, в общем случае, интерполируется для каждого цветового канала для воспроизведения полноцветного изображения (например, RGB-изображения). Традиционные методы демозаики, в общем случае, интерполируют значения для отсутствующих цветовых данных в горизонтальном или вертикальном направлении, в общем случае, в зависимости от некоторого типа фиксированного порога. Однако такие традиционные методы демозаики могут не адекватно учитывать положения и направление краев в изображении, что может приводить к краевым артефактам, например, ступенчатости, шахматным артефактам или радужным артефактам, вносимым в полноцветное изображение, в особенности вдоль диагональных краев в изображении.

[0007] Соответственно, различными соображениями следует руководствоваться при обработке цифрового изображения, полученного с помощью цифровой камеры или другого устройства формирования изображения для улучшения внешнего вида результирующего изображения. В частности, некоторые аспекты нижеприведенного раскрытия призваны устранять один или более недостатков, кратко упомянутых выше.

Сущность изобретения

[0008] Ниже представлено краткое изложение раскрытых здесь некоторых вариантов осуществления. Следует понимать, что эти аспекты представлены лишь для снабжения читателя краткой сводкой этих некоторых вариантов осуществления, и что эти аспекты не призваны ограничивать объем этого раскрытия. В действительности, это раскрытие может охватывать различные аспекты, которые могут быть не изложены ниже.

[0009] Настоящее раскрытие предоставляет и иллюстрирует различные варианты осуществления технологий обработки сигналов изображения. В частности, раскрытые варианты осуществления этого раскрытия могут относиться к обработке данных изображения с использованием блока окончательной обработки изображений, компоновке и конфигурации линейных буферов для реализации логики обработки первичных пикселей, к технологии для управления перемещением пиксельных данных при наличии условий переполнения (также называемых "превышением предела"), к технологиям для синхронизации видео- и аудиоданных, а также к технологиям, связанным с использованием различных форматов пиксельной памяти, которые могут быть использованы для того, чтобы сохранять пиксельные данные в памяти и считывать пиксельные данные из памяти.

[0010] Относительно окончательной обработки, раскрытые варианты осуществления предоставляют систему обработки сигналов изображения, которая включает в себя блок окончательной обработки пикселей, который принимает пиксельные данные после обработки посредством, по меньшей мере, одного из блока предварительной обработки пикселей и конвейера обработки пикселей. В конкретных вариантах осуществления, блок окончательной обработки принимает данные яркости/цветности изображения и может быть выполнен с возможностью применять операции обнаружения лиц, локальной тональной компрессии, регулировки яркости, контрастности, цвета, а также масштабирование. Дополнительно, блок окончательной обработки также может включать в себя блок обработки окончательной статистики, который может собирать частотную статистику. Частотная статистика может предоставляться в кодер и может быть использована для того, чтобы определять параметры квантования, которые должны применяться к кадру изображения.

[0011] Дополнительный аспект раскрытия относится к реализации блока обработки первичных пикселей с использованием набора линейных буферов. В одном варианте осуществления, набор линейных буферов может включать в себя первый поднабор и второй поднабор. Различные логические единицы блока обработки первичных пикселей могут быть реализованы с использованием первого и второго поднаборов линейных буферов совместным образом. Например, в одном варианте осуществления, логика коррекции и обнаружения дефектных пикселей может быть реализована с использованием первого поднабора линейных буферов. Второй поднабор линейных буферов может быть использован для того, чтобы реализовывать логику коррекции затенения объектива, логику усиления, смещения и ограничения и логику демозаики. Дополнительно, уменьшение уровня шума также может быть реализовано с использованием, по меньшей мере, части каждого из первого и второго поднаборов линейных буферов.

[0012] Другой аспект раскрытия может относиться к системе обработки сигналов изображения, которая включает в себя логику управления переполнением, которая обнаруживает условие переполнения, когда целевой блок, когда входная очередь датчика и/или блок предварительной обработки принимает обратную реакцию из последующего целевого блока. Система обработки сигналов изображения также может включать в себя контроллер вспышки, который выполнен с возможностью активировать устройство вспышки до начала целевого кадра изображения посредством использования синхронизирующего сигнала датчика. В одном варианте осуществления, контроллер вспышки принимает задержанный синхронизирующий сигнал датчика и определяет время начала активации вспышки посредством использования задержанного синхронизирующего сигнала датчика, чтобы идентифицировать время, соответствующее концу предыдущего кадра, увеличение этого времени на время гашения вертикальной развертки и затем вычитания первого смещения, чтобы компенсировать задержку между синхронизирующим сигналом датчика и задержанным синхронизирующим сигналом датчика. Затем, контроллер вспышки вычитает второе смещение, чтобы определять время активации вспышки, тем самым обеспечивая то, что вспышка активируется до приема первого пикселя целевого кадра. Дополнительные аспекты раскрытия предоставляют технологии, связанные с аудио-видеосинхронизацией. В одном варианте осуществления, регистр временного кода предоставляет текущую временную метку при дискретизации. Значение регистра временного кода может увеличиваться через регулярные интервалы на основе тактового сигнала системы обработки сигналов изображения. В начале текущего кадра, полученного посредством датчика изображения, регистр временного кода дискретизируется, и временная метка сохраняется в регистре временных меток, ассоциированном с датчиком изображения. Временная метка затем считывается из регистра временных меток и записывается в набор метаданных, ассоциированных с текущим кадром. Временная метка, сохраненная в метаданных кадра, затем может быть использована для того, чтобы синхронизировать текущий кадр с соответствующим набором аудиоданных.

[0013] Дополнительный аспект настоящего раскрытия предоставляет гибкий контроллер ввода-вывода в память, который выполнен с возможностью сохранения и считывания нескольких типов пикселей и форматов пиксельной памяти. Например, контроллер ввода-вывода в память может поддерживать сохранение и считывание первичных пикселей изображения при различных битах для точности, такой как 8-битовая, 10-битовая, 12-битовая, 14-битовая и 16-битовая. Пиксельные форматы, которые не совмещены с байтами памяти (например, не являются кратными 8 битам), могут быть сохранены пакетированным способом. Контроллер ввода-вывода в память также может поддерживать различные форматы наборов RGB-пикселей и наборов YCC-пикселей.

[0014] В связи с различными аспектами настоящего раскрытия могут существовать различные уточнения вышеупомянутых признаков. Кроме того, признаки также могут быть включены в эти различные аспекты. Эти уточнения и дополнительные признаки могут существовать по отдельности или в любой комбинации. Например, различные признаки, рассмотренные ниже в связи с одним или более из проиллюстрированных вариантов осуществления, могут быть включены в любой из вышеописанных аспектов настоящего раскрытия по отдельности или в любой комбинации. Опять же, представленная выше краткая сводка предназначена лишь для ознакомления читателя с некоторыми аспектами и контекстами вариантов осуществления настоящего раскрытия без ограничения заявленным предметом изобретения.

Краткое описание чертежей

[0015] Файл патента или заявки содержит, по меньшей мере, один чертеж, выполненный в цвете. Копии этого патента или опубликованной патентной заявки с цветными чертежами будут предоставлены патентным ведомством по запросу и после оплаты необходимых пошлин.

[0016] Различные аспекты этого раскрытия можно лучше понять, ознакомившись с нижеследующим подробным описанием и обратившись к чертежам, в которых:

[0017] фиг. 1 - упрощенная блок-схема, изображающая компоненты примера электронного устройства, которое включает в себя устройство формирования изображения и схему обработки изображений, сконфигурированную для реализации одного или более методов обработки изображений, изложенных в настоящем раскрытии;

[0018] фиг. 2 - графическое представление пиксельного блока 2x2 матрицы байеровских цветовых фильтров, которую можно реализовать в устройстве формирования изображения, показанном на фиг. 1;

[0019] фиг. 3 - вид в перспективе электронного устройства, показанного на фиг. 1 в форме портативного вычислительного устройства, в соответствии с аспектами настоящего раскрытия;

[0020] фиг. 4 - вид спереди электронного устройства, показанного на фиг. 1 в форме стационарного вычислительного устройства, в соответствии с аспектами настоящего раскрытия;

[0021] фиг. 5 - вид спереди электронного устройства, показанного на фиг. 1 в форме карманного портативного электронного устройства, в соответствии с аспектами настоящего раскрытия;

[0022] фиг. 6 - вид сзади электронного устройства, показанного на фиг. 5;

[0023] фиг. 7 - блок-схема, иллюстрирующая вариант осуществления схемы обработки изображений по фиг. 1, которая включает в себя логику предварительной обработки сигналов изображения (ISP) и логику конвейерной обработки ISP, в соответствии с аспектами настоящего раскрытия;

[0024] фиг. 8 - блок-схема, иллюстрирующая другой вариант осуществления схемы обработки изображений по фиг. 1, которая включает в себя логику предварительной обработки сигналов изображения (ISP), логику конвейерной обработки ISP, и логику окончательной обработки ISP, в соответствии с аспектами настоящего раскрытия;

[0025] фиг. 9 - блок-схема последовательности операций способа, изображающая способы для обработки данных изображения с использованием схемы обработки изображений по фиг. 7 или по фиг. 8, в соответствии с аспектами настоящего раскрытия;

[0026] фиг. 10 - более подробная блок-схема, показывающая вариант осуществления логики предварительной обработки ISP, которая может быть реализована на фиг. 7 или фиг. 8, в соответствии с аспектами настоящего раскрытия;

[0027] фиг. 11 - блок-схема последовательности операций способа, изображающая способ для обработки данных изображения в логике предварительной обработки ISP, показанной на фиг. 10, в соответствии с вариантом осуществления;

[0028] фиг. 12 - блок-схема, иллюстрирующая конфигурацию регистров двойной буферизации и регистров управления, которые можно использовать для обработки данных изображения в логике предварительной обработки ISP, в соответствии с одним вариантом осуществления;

[0029] фиг. 13-15 - временные диаграммы, изображающие различные режимы для запуска обработки кадра изображения, в соответствии с вариантами осуществления настоящего изобретения;

[0030] фиг. 16 - схема, более подробно изображающая регистр управления, в соответствии с одним вариантом осуществления;

[0031] фиг. 17 - блок-схема последовательности операций способа, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 10 работает в однодатчиковом режиме;

[0032] фиг. 18 - блок-схема последовательности операций способа, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 10 работает в двухдатчиковом режиме;

[0033] фиг. 19 - блок-схема последовательности операций способа, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 10 работает в двухдатчиковом режиме;

[0034] фиг. 20 - блок-схема последовательности операций способа, изображающая способ, в котором оба датчика изображения активны, но в котором первый датчик изображения посылает кадры изображения на блок предварительной обработки пикселей, тогда как второй датчик изображения посылает кадры изображения на блок статистической обработки, благодаря чему статистика формирования изображения для второго датчика доступна сразу, когда второй датчик изображения продолжает посылать кадры изображения на блок предварительной обработки пикселей в более позднее время, в соответствии с одним вариантом осуществления.

[0035] фиг. 21 - графическое представление формата линейной адресации памяти, который может применяться к пиксельным форматам, сохраненным в памяти электронного устройства по фиг. 1, в соответствии с аспектами настоящего раскрытия;

[0036] фиг. 22 - графическое представление формата мозаичной адресации памяти, который может применяться к пиксельным форматам, сохраненным в памяти электронного устройства по фиг. 1, в соответствии с аспектами настоящего раскрытия;

[0037] фиг. 23 - графическое представление различных областей формирования изображения которые можно задать в исходном кадре изображения, захваченном датчиком изображения, в соответствии с аспектами настоящего раскрытия;

[0038] фиг. 24 - графическое представление технологии для использования блока предварительной обработки ISP, чтобы обрабатывать перекрывающиеся вертикальные полосы кадра изображения;

[0039] фиг. 25 - схема, изображающая то, как перестановка байтов может применяться к входящим пиксельным данным изображения из памяти с использованием кода перестановки, в соответствии с аспектами настоящего раскрытия;

[0040] фиг. 26-29 показывают примеры форматов памяти для первичных данных изображения, которые могут поддерживаться посредством схемы обработки изображений по фиг. 7 или по фиг. 8, в соответствии с вариантами осуществления настоящего раскрытия;

[0041] фиг. 30-34 показывают примеры форматов памяти для данных полноцветного RGB-изображения, которые могут поддерживаться посредством схемы обработки изображений по фиг. 7 или по фиг. 8, в соответствии с вариантами осуществления настоящего раскрытия;

[0042] фиг. 35-36 показывают примеры форматов памяти для данных яркости/цветности изображения (YUV/YC1C2), которые могут поддерживаться посредством схемы обработки изображений по фиг. 7 или по фиг. 8, в соответствии с вариантами осуществления настоящего раскрытия;

[0043] фиг. 37 показывает пример того, как определять положение кадра в памяти в формате линейной адресации, в соответствии с аспектами настоящего раскрытия;

[0044] фиг. 38 показывает пример того, как определять положение кадра в памяти в формате мозаичной адресации, в соответствии с аспектами настоящего раскрытия;

[0045] фиг. 39 - блок-схема схемы ISP по фиг. 8, изображающая то, как может выполняться обработка переполнения, в соответствии с вариантом осуществления настоящего раскрытия;

[0046] фиг. 40 - блок-схема последовательности операций способа, изображающая способ для обработки переполнения, когда условие переполнения возникает в то время, когда пиксельные данные изображения считываются из памяти изображений, в соответствии с аспектами настоящего раскрытия;

[0047] фиг. 41 - блок-схема последовательности операций способа, изображающая способ для обработки переполнения, когда условие переполнения возникает в то время, когда пиксельные данные изображения считываются из интерфейса датчика изображения, в соответствии с одним вариантом осуществления настоящего раскрытия;

[0048] фиг. 42 - блок-схема последовательности операций способа, изображающая другой способ для обработки переполнения, когда условие переполнения возникает в то время, когда пиксельные данные изображения считываются из интерфейса датчика изображения, в соответствии с дополнительным вариантом осуществления настоящего раскрытия;

[0049] фиг. 43 предоставляет графическое представление изображения (например, видео) и соответствующих аудиоданных, которые могут быть захвачены и сохранены посредством электронного устройства фиг. 1;

[0050] фиг. 44 иллюстрирует набор регистров, которые могут быть использованы для того, чтобы предоставлять временные метки для синхронизации аудио- и видеоданных по фиг. 43, в соответствии с одним вариантом осуществления;

[0051] фиг. 45 - упрощенное представление кадра изображения, который может быть захвачен в качестве части видеоданных по фиг. 43, показывающее то, что информация временных меток может быть сохранена в качестве части метаданных кадра изображения, в соответствии с аспектами настоящего раскрытия;

[0052] фиг. 46 - блок-схема последовательности операций способа, изображающая способ для использования временных меток на основе сигнала VSYNC, чтобы синхронизировать данные изображения с аудиоданными, в соответствии с одним вариантом осуществления;

[0053] фиг. 47 - блок-схема схемы ISP по фиг. 8, изображающая то, как может выполняться управление синхронизацией вспышки, в соответствии с вариантом осуществления настоящего раскрытия;

[0054] фиг. 48 изображает технологию для определения времен активации и деактивации вспышки, в соответствии с вариантом осуществления настоящего раскрытия;

[0055] фиг. 49 - блок-схема последовательности операций способа, изображающая способ для определения времен активации вспышки на основе технологии, показанной на фиг. 48;

[0056] фиг. 50 - блок-схема последовательности операций способа, изображающая способ для использования предварительной вспышки, чтобы обновлять статистику изображения до получения сцены изображения с использованием вспышки, в соответствии с аспектами настоящего раскрытия;

[0057] фиг. 51 - блок-схема, которая обеспечивает более детализированный вид одного варианта осуществления блока предварительной обработки пикселей ISP, показанного в логике предварительной обработки ISP, показанной на фиг. 10, в соответствии с аспектами настоящего раскрытия;

[0058] фиг. 52 - схема обработки, демонстрирующая возможное применение временной фильтрации к пиксельным данным изображения, принятым блоком предварительной обработки пикселей ISP, показанным на фиг. 51, в соответствии с одним вариантом осуществления;

[0059] фиг. 53 иллюстрирует набор пикселей опорного изображения и набор соответствующих пикселей текущего изображения, которые можно использовать для определения одного или более параметров для процесса временной фильтрации, показанного на фиг. 52;

[0060] фиг. 54 - блок-схема последовательности операций способа, демонстрирующая процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения, в соответствии с одним вариантом осуществления;

[0061] фиг. 55 - блок-схема последовательности операций способа, демонстрирующая метод вычисления значения дельты движения для использования во временной фильтрации пикселя текущего изображения, показанного на фиг. 54, в соответствии с одним вариантом осуществления;

[0062] фиг. 56 - блок-схема последовательности операций способа, демонстрирующая другой процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения, который включает в себя использование разных коэффициентов усиления для каждой цветовой компоненты данных изображения, в соответствии с другим вариантом осуществления;

[0063] фиг. 57 - схема обработки, демонстрирующая, как метод временной фильтрации, который использует отдельные таблицы движения и яркости для каждой цветовой компоненты пиксельных данных изображения, принятых блоком предварительной обработки пикселей ISP, показанным на фиг. 51, в соответствии с дополнительным вариантом осуществления;

[0064] фиг. 58 - блок-схема последовательности операций способа, демонстрирующая процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения с использованием таблиц движения и яркости, показанных на фиг. 57, в соответствии с дополнительным вариантом осуществления;

[0065] фиг. 59 изображает дискретизацию первичных данных изображения с полным разрешением, которое может быть захвачено датчиком изображения, в соответствии с аспектами настоящего раскрытия;

[0066] фиг. 60 иллюстрирует датчик изображения, который может быть сконфигурирован для применения биннинга к первичным данным изображения с полным разрешением, показанным на фиг. 59 для вывода выборки подвергнутых биннингу первичных данных изображения, в соответствии с вариантом осуществления настоящего раскрытия;

[0067] фиг. 61 изображает дискретизацию подвергнутых биннингу первичных данных изображения, которая может обеспечиваться датчиком изображения, показанным на фиг. 60, в соответствии с аспектами настоящего раскрытия;

[0068] фиг. 62 изображает подвергнутые биннингу первичные данные изображения из фиг. 61 после осуществления повторной дискретизации фильтром компенсации биннинга для обеспечения, в соответствии с аспектами настоящего раскрытия;

[0069] фиг. 63 изображает фильтр компенсации биннинга, который можно реализовать в блоке предварительной обработки пикселей ISP, показанном на фиг. 51, в соответствии с одним вариантом осуществления;

[0070] фиг. 64 - графическое представление различных величин шага, которые могут применяться к дифференциальному анализатору для выбора центральных входных пикселей и индекс/фазы для фильтрации с компенсацией биннинга, в соответствии с аспектами настоящего раскрытия;

[0071] фиг. 65 - блок-схема последовательности операций способа, демонстрирующая процесс для масштабирования данных изображения с использованием фильтра компенсации биннинга, показанного фиг. 63, в соответствии с одним вариантом осуществления;

[0072] фиг. 66 - блок-схема последовательности операций способа, демонстрирующая процесс для определения текущего входного исходного центрального пикселя для горизонтальной и вертикальной фильтрации, осуществляемой фильтром компенсации биннинга, показанным на фиг. 63, в соответствии с одним вариантом осуществления;

[0073] фиг. 67 - блок-схема последовательности операций способа, демонстрирующая процесс для определения индекса для выбора коэффициентов фильтрации для горизонтальной и вертикальной фильтрации, осуществляемой фильтром компенсации биннинга, показанным на фиг. 63, в соответствии с одним вариантом осуществления.

[0074] фиг. 68 - более детализированная блок-схема, демонстрирующая вариант осуществления блока статистической обработки, который можно реализовать в логике предварительной обработки ISP, показанной на фиг. 10, в соответствии с аспектами настоящего раскрытия;

[0075] фиг. 69 демонстрирует различные случаи границы кадра изображения, которые можно рассматривать при применении методов обнаружения и коррекции дефектных пикселей в ходе статистической обработки блоком статистической обработки, показанным на фиг. 68, в соответствии с аспектами настоящего раскрытия;

[0076] фиг. 70 - блок-схема последовательности операций способа, демонстрирующая процесс для осуществления обнаружения и коррекции дефектных пикселей в ходе статистической обработки, в соответствии с одним вариантом осуществления;

[0077] фиг. 71 демонстрирует трехмерный профиль, изображающий зависимость интенсивности света от позиции пикселя для традиционного объектива устройства формирования изображения;

[0078] фиг. 72 - цветной чертеж, который демонстрирует неоднородное распределение интенсивности света по изображению, что может быть результатом неравномерностей затенения объектива;

[0079] фиг. 73 - графическая иллюстрация первичного кадра формирования изображения, который включает в себя область коррекции затенения объектива и сетку коэффициентов усиления, в соответствии с аспектами настоящего раскрытия;

[0080] фиг. 74 иллюстрирует интерполяцию значения коэффициента усиления для пикселя изображения, окруженного четырьмя граничными точками сетки коэффициентов усиления, в соответствии с аспектами настоящего раскрытия;

[0081] фиг. 75 - блок-схема последовательности операций способа, демонстрирующая процесс для определения интерполированных значений коэффициентов усиления, которые могут применяться к пикселям формирования изображения в ходе операции коррекции затенения объектива, в соответствии с вариантом осуществления настоящего изобретения;

[0082] фиг. 76 - трехмерный профиль, изображающий интерполированные значения коэффициентов усиления, которые могут применяться к изображению, который демонстрирует характеристики интенсивности света, показанные на фиг. 71 при осуществлении коррекции затенения объектива, в соответствии с аспектами настоящего раскрытия;

[0083] фиг. 77 демонстрирует цветной чертеж из фиг. 72, который демонстрирует повышенную однородность интенсивности света после применения операции коррекции затенения объектива, в соответствии с аспектами настоящего раскрытия;

[0084] фиг. 78 графически иллюстрирует, как радиальное расстояние между текущим пикселем и центром изображения можно вычислять и использовать для определения радиальной компоненты коэффициента усиления для коррекции затенения объектива, в соответствии с одним вариантом осуществления;

[0085] фиг. 79 - блок-схема последовательности операций способа, демонстрирующая процесс, позволяющий использовать радиальные коэффициенты усиления и интерполированные коэффициенты усиления из сетки коэффициентов усиления для определения полного коэффициента усиления, который может применяться к пикселям формирования изображения в ходе операции коррекции затенения объектива, в соответствии с вариантом осуществления настоящего изобретения;

[0086] фиг. 80 - график, демонстрирующий области белого и оси низкой и высокой цветовой температуры в цветовом пространстве;

[0087] фиг. 81 - таблица, демонстрирующая, как можно сконфигурировать коэффициенты усиления баланса белого для различных условий опорного источника света, в соответствии с одним вариантом осуществления;

[0088] фиг. 82 - блок-схема, демонстрирующая машину сбора статистики, которую можно реализовать в логике предварительной обработки ISP, в соответствии с вариантом осуществления настоящего раскрытия;

[0089] фиг. 83 иллюстрирует понижающую дискретизацию первичных байеровских RGB данных, в соответствии с аспектами настоящего раскрытия;

[0090] фиг. 84 изображает двухмерную цветовую гистограмму, которая может быть собрана машиной сбора статистики, показанной на фиг. 82, в соответствии с одним вариантом осуществления;

[0091] фиг. 85 изображает трансфокацию и панорамирование в двухмерной цветовой гистограммы;

[0092] фиг. 86 - более детализированный вид, демонстрирующий логику для реализации пиксельного фильтра машины сбора статистики, в соответствии с одним вариантом осуществления;

[0093] фиг. 87 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с одним вариантом осуществления;

[0094] фиг. 88 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с другим вариантом осуществления;

[0095] фиг. 89 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с еще одним дополнительным вариантом осуществления;

[0096] фиг. 90 - график, демонстрирующий, как можно определить времена интегрирования датчика изображения для компенсации мерцания, в соответствии с одним вариантом осуществления;

[0097] фиг. 91 - подробная блок-схема, демонстрирующая логику, которую можно реализовать в машине сбора статистики, показанной на фиг. 82, и сконфигурированную для сбора статистики автофокусировки в соответствии с одним вариантом осуществления;

[0098] фиг. 92 - график, изображающий метод осуществления автофокусировки с использованием значений показателей грубой и точной автофокусировки, в соответствии с одним вариантом осуществления;

[0099] фиг. 93 - блок-схема последовательности операций способа, изображающая процесс для осуществления автофокусировки с использованием значений показателей грубой и точной автофокусировки, в соответствии с одним вариантом осуществления;

[00100] фиг. 94 и 95 демонстрируют прореживание первичных байеровских данных для получения значения яркости, сбалансированного по уровню белого;

[00101] фиг. 96 демонстрирует метод осуществления автофокусировки с использованием относительных значений показателей автофокусировки для каждой цветовой компоненты, в соответствии с одним вариантом осуществления;

[00102] фиг. 97 - более детализированный вид блока статистической обработки, показанного на фиг. 68, демонстрирующий, как можно использовать байеровские RGB данные гистограммы для помощи в компенсации уровня черного, в соответствии с одним вариантом осуществления;

[00103] фиг. 98 - блок-схема, демонстрирующая вариант осуществления логики конвейерной обработки ISP, показанной на фиг. 7, в соответствии с аспектами настоящего раскрытия;

[00104] фиг. 99 - более детализированный вид, демонстрирующий вариант осуществления блока обработки первичных пикселей, который можно реализовать в логике конвейерной обработки ISP, показанной на фиг. 98, в соответствии с аспектами настоящего раскрытия;

[00105] фиг. 100 демонстрирует различные случаи границы кадра изображения, которые можно рассматривать при применении методов обнаружения и коррекции дефектных пикселей в ходе обработки блоком обработки первичных пикселей, показанным на фиг. 99, в соответствии с аспектами настоящего раскрытия;

[00106] фиг. 101-103 - блок-схемы последовательностей операций способов, которые изображают различные процессы для обнаружения и коррекции дефектных пикселей, которые могут осуществляться в блоке обработки первичных пикселей, показанном на фиг. 99, в соответствии с одним вариантом осуществления;

[00107] фиг. 104 демонстрирует положение двух пикселей зеленого в пиксельном блоке 2x2 байеровского датчика изображения, которые можно интерполировать при применении методов коррекции неоднородности зеленого в ходе обработки логикой обработки первичных пикселей, показанной на фиг. 99, в соответствии с аспектами настоящего раскрытия;

[00108] фиг. 105 иллюстрирует набор пикселей, который включает в себя центральный пиксель и связанные с ним горизонтально соседние пиксели, которые можно использовать как часть процесса горизонтальной фильтрации для шумопонижения, в соответствии с аспектами настоящего раскрытия;

[00109] фиг. 106 иллюстрирует набор пикселей, который включает в себя центральный пиксель и связанные с ним вертикальные соседние пиксели, которые можно использовать как часть процесса вертикальной фильтрации для шумопонижения, в соответствии с аспектами настоящего раскрытия;

[00110] фиг. 107 - упрощенная блок-схема последовательности операций способа, которая изображает как можно применять демозаику к шаблону первичного байеровского изображения для создания полноцветного RGB-изображения;

[00111] фиг. 108 изображает набор пикселей шаблона байеровского изображения, из которого можно вывести горизонтальные и вертикальные энергетические компоненты для интерполяции значений зеленого цвета в ходе демозаики шаблона байеровского изображения, в соответствии с одним вариантом осуществления;

[00112] фиг. 109 демонстрирует набор горизонтальных пикселей, к которым может применяться фильтрация для определения горизонтальной компоненты интерполированного значения зеленого цвета в ходе демозаики шаблона байеровского изображения, в соответствии с аспектами настоящего изобретения;

[00113] фиг. 110 демонстрирует набор вертикальных пикселей, к которым может применяться фильтрация для определения вертикальной компоненты интерполированного значения зеленого цвета в ходе демозаики шаблона байеровского изображения, в соответствии с аспектами настоящего изобретения;

[00114] фиг. 111 демонстрирует различные пиксельные блоки 3×3, к которым может применяться фильтрация для определения интерполированного значения красного и синего в ходе демозаики шаблона байеровского изображения, в соответствии с аспектами настоящего изобретения;

[00115] фиг. 112-115 демонстрируют блок-схемы последовательностей операций способов, которые изображают различные процессы для интерполяции значений зеленого, красного и синего цвета в ходе демозаики шаблона байеровского изображения, в соответствии с одним вариантом осуществления;

[00116] фиг. 116 демонстрирует цветной чертеж сцены исходного изображения, которое может захватываться датчиком изображения и обрабатываться в соответствии с аспектами раскрытых здесь методов демозаики;

[00117] фиг. 117 демонстрирует цветной чертеж шаблона байеровского изображения сцены изображения, показанной на фиг. 116;

[00118] фиг. 118 демонстрирует цветной чертеж RGB-изображения, реконструированного с использованием традиционного метода демозаики на основании шаблона байеровского изображения, показанного на фиг. 117;

[00119] фиг. 119 демонстрирует цветной чертеж RGB-изображения, реконструированного из шаблона байеровского изображения, показанного на фиг. 117, в соответствии с аспектами раскрытых здесь методов демозаики;

[00120] фиг. 120-123 изображают конфигурацию и компоновку линейных буферов, которые могут быть использованы в реализации блока обработки первичных пикселей по фиг. 99, в соответствии с одним вариантом осуществления;

[00121] фиг. 124 - блок-схема последовательности операций способа, показывающая способ для обработки первичных пиксельных данных с использованием конфигурации линейного буфера, показанной на фиг. 120-123, в соответствии с одним вариантом осуществления;

[00122] фиг. 125 - более детализированный вид, демонстрирующий один вариант осуществления блока обработки RGB, который можно реализовать в логике конвейерной обработки ISP, показанной на фиг. 98, в соответствии с аспектами настоящего раскрытия;

[00123] фиг. 126 - более детализированный вид, демонстрирующий один вариант осуществления блока обработки YCbCr, который можно реализовать в логике конвейерной обработки ISP, показанной на фиг. 98, в соответствии с аспектами настоящего раскрытия;

[00124] фиг. 127 - графическое представление активных областей источника для яркости и цветности, заданных в буфере источника с использованием 1-плоскостного формата, в соответствии с аспектами настоящего раскрытия;

[00125] фиг. 128 - графическое представление активных областей источника для яркости и цветности, заданных в буфере источника с использованием 2-плоскостного формата, в соответствии с аспектами настоящего раскрытия;

[00126] фиг. 129 - блок-схема, иллюстрирующая логику повышения резкости изображения, которую можно реализовать в блоке обработки YCbCr, показанном на фиг. 126, в соответствии с одним вариантом осуществления;

[00127] фиг. 130 - блок-схема, иллюстрирующая логику подчеркивания краев, которую можно реализовать в блоке обработки YCbCr, показанном на фиг. 126, в соответствии с одним вариантом осуществления;

[00128] фиг. 131 - график, демонстрирующий соотношение коэффициентов ослабления цветности со значениями яркости при повышенной резкости, в соответствии с аспектами настоящего раскрытия;

[00129] фиг. 132 - блок-схема, иллюстрирующая логику регулировки яркости, контрастности и цвета (BCC) изображения, которую можно реализовать в блоке обработки YCbCr, показанном на фиг. 126, в соответствии с одним вариантом осуществления; и

[00130] фиг. 133 демонстрирует цветовой круг оттенков и насыщенности в цветовом пространстве YCbCr, задающий различные углы оттенка и значения насыщенности, который можно применять в ходе регулировки цвета в логике регулировки BCC, показанной на фиг. 132.

[00131] фиг. 134 - блок-схема, показывающая вариант осуществления логики окончательной обработки ISP по фиг. 8, которая может быть выполнена с возможностью осуществлять различные этапы постобработки после конвейера ISP, в соответствии с аспектами настоящего раскрытия;

[00132] фиг. 135 - графическая иллюстрация, показывающая традиционную технологию глобальной тональной компрессии;

[00133] фиг. 136 - графическая иллюстрация, показывающая другую традиционную технологию глобальной тональной компрессии;

[00134] фиг. 137 изображает то, как области изображения могут быть сегментированы для применения технологий применения локальных тонов, в соответствии с аспектами настоящего раскрытия;

[00135] фиг. 138 графически иллюстрирует то, как традиционная локальная тональная компрессия может приводить к ограниченному использованию выходного диапазона тонов;

[00136] фиг. 139 графически иллюстрирует технологию для локальной тональной компрессии, в соответствии с вариантами осуществления настоящего раскрытия;

[00137] фиг. 140 - более подробная блок-схема, показывающая вариант осуществления логики локальной тональной компрессии (LTM), которая может быть выполнена с возможностью реализовывать процессы тональной компрессии в логике окончательной обработки ISP по фиг. 134, в аспектах соответствия настоящего раскрытия;

[00138] фиг. 141 - блок-схема последовательности операций способа, показывающая способ для обработки данных изображения с использованием логики окончательной обработки ISP по фиг. 134, в соответствии с одним вариантом осуществления; и

[00139] фиг. 142 - блок-схема последовательности операций способа, показывающая способ для применения тональной компрессии с использованием логики LTM, показанной на фиг. 140, в соответствии с одним вариантом осуществления.

Подробное описание конкретных вариантов осуществления

[00140] Ниже будут описаны один или более конкретных вариантов осуществления настоящего раскрытия. Эти описанные варианты осуществления являются лишь примерами описанного здесь изобретения. Дополнительно, с целью предоставления краткого описания этих вариантов осуществления, в описании изобретения могут быть описаны не все признаки фактической реализации. Очевидно, что при разработке любой такой фактической реализации, как в любом инженерном или конструкторском проекте, многочисленные решения, зависящие от реализации, должны быть приняты для достижения конкретных целей разработчиков, например, согласования с ограничениями, связанными с системой и предприятием, которые могут изменяться от реализации к реализации. Кроме того, очевидно, что такие конструкторские работы могут быть сложными и занимать много времени, но, тем не менее, будет рутинным делом проектирования, изготовления и производства для специалистов, изучивших это раскрытие.

[00141] При первичном упоминании элементов различных вариантов осуществления настоящего раскрытия, употребление их названий в единственном числе подразумевает наличие одного или более элементов. Термины "содержащий", "включающий в себя" и "имеющий" имеют включительный смысл и подразумевают, что могут существовать дополнительные элементы кроме перечисленных элементов. Дополнительно, следует понимать, что ссылки на "один вариант осуществления" или "вариант осуществления" настоящего раскрытия не следует интерпретировать как исключающие наличие дополнительных вариантов осуществления, которые тоже включают в себя упомянутые признаки.

[00142] Как будет рассмотрено ниже, настоящее раскрытие относится, в общем случае, к методам обработки данных изображения, полученных через одно или более устройств считывания изображения. В частности, некоторые аспекты настоящего раскрытия могут относиться к методам обнаружения и коррекции дефектных пикселей, методам демозаики шаблона первичного изображения, методам повышения резкости яркостного изображения с использованием многомасштабной нерезкой маски, и методам применения коэффициентов усиления затенения объектива для коррекции неравномерностей затенения объектива. Кроме того, следует понимать, что описанное здесь изобретение можно применять, как к неподвижным изображениям, так и к движущимся изображениям (например, видео), и можно использовать в приложении формирования изображения любого пригодного типа, например, цифровой камере, электронном устройстве со встроенной цифровой камерой, системе безопасности или видеонаблюдения, системе медицинского формирования изображения и т.д.

[00143] Имея в виду все вышесказанное, обратимся к фиг. 1, где показана блок-схема, иллюстрирующая пример электронного устройства 10, которое может обеспечивать обработку данных изображения с использованием одного или более методов обработки изображений, кратко упомянутых выше. Электронное устройство 10 может представлять собой электронное устройство любого типа, например, переносной или стационарный компьютер, мобильный телефон, цифровой медиаплеер, и т.п., которое сконфигурировано для приема и обработки данных изображения, например, данных, полученных с использованием одного или более компонентов считывания изображения. Исключительно в порядке примера, электронное устройство 10 может представлять собой портативное электронное устройство, например, модель iPod® или iPhone®, доступную от Apple Inc. Купертино, Калифорния. Дополнительно, электронное устройство 10 может представлять собой переносной или стационарный компьютер, например, модель MacBook®, MacBook® Pro, MacBook Air®, iMac®, Mac® Mini или Mac Pro®, доступную от Apple Inc. В других вариантах осуществления, электронное устройство 10 также может представлять собой модель электронного устройства другого производителя, которое способно получать и обрабатывать данные изображения.

[00144] Следует понимать, что электронное устройство 10, независимо от его формы (например, портативной или непортативной), может обеспечивать обработку данных изображения с использованием одного или более методов обработки изображений, кратко рассмотренных выше, которые могут включать в себя, в том числе, методы коррекции и/или обнаружения дефектных пикселей, методы коррекции затенения объектива, методы демозаики или методы повышения резкости изображения. В некоторых вариантах осуществления, электронное устройство 10 может применять такие методы обработки изображений к данным изображения, хранящимся в памяти электронного устройства 10. В дополнительных вариантах осуществления, электронное устройство 10 может включать в себя одно или более устройств формирования изображения, например, встроенную или внешнюю цифровую камеру, сконфигурированную для получения данных изображения, которые могут затем обрабатываться электронным устройством 10 с использованием одного или более из вышеупомянутых методов обработки изображений. Варианты осуществления, демонстрирующие, как портативные, так и непортативные варианты осуществления электронного устройства 10 будут далее рассмотрены ниже на фиг. 3-6.

[00145] Как показано на фиг. 1, электронное устройство 10 может включать в себя различные внутренние и/или внешние компоненты, которые участвуют в функции устройства 10. Специалистам в данной области техники очевидно, что различные функциональные блоки, показанные на фиг. 1, могут содержать аппаратные элементы (включающие в себя схему), программные элементы (включающие в себя компьютерный код, хранящийся на машиночитаемом носителе) или комбинацию аппаратных и программных элементов. Например, в проиллюстрированном здесь варианте осуществления, электронное устройство 10 может включать в себя порты 12 ввода/вывода (I/O), структуры 14 ввода, один или более процессоров 16, запоминающее устройство 18, энергонезависимое хранилище 20, плату(ы) 22 расширения, сетевое устройство 24, источник 26 питания и дисплей 28. Дополнительно, электронное устройство 10 может включать в себя одно или более устройств 30 формирования изображения, например, цифровую камеру и схему 32 обработки изображений. Как будет дополнительно описано ниже, схема 32 обработки изображений может быть сконфигурирована для реализации одного или более из рассмотренных выше методов обработки изображений при обработке данных изображения. Очевидно, что, данные изображения, обработанные схемой 32 обработки изображений, можно извлекать из памяти 18 и/или устройства() 20 энергонезависимого хранения, или можно получать с использованием устройства 30 формирования изображения.

[00146] Прежде чем продолжить, следует понять, что системная блок-схема устройства 10, показанного на фиг. 1, призвана быть схемой управления высокого уровня, изображающей различные компоненты, которые могут быть включены в такое устройство 10. Таким образом, соединительные линии между отдельными компонентами, показанными на фиг. 1, не всегда представляют пути или направления переноса или передачи данных между различными компонентами устройства 10. Действительно, как рассмотрено ниже, изображенный(е) процессор(ы) 16 может(ут), в некоторых вариантах осуществления, включать в себя множественные процессоры, например, главный процессор (например, ЦП), и специализированные процессоры изображения и/или видео. В таких вариантах осуществления, обработка данных изображения может, в основном, осуществляться этими специализированными процессорами, таким образом, эффективно снимая такие задания с главного процессора (ЦП).

[00147] В отношении каждого из компонентов, проиллюстрированных на фиг. 1, порты 12 ввода/вывода могут включать в себя порты, сконфигурированные для подключения к различным внешним устройствам, например, источнику питания, устройству вывода аудио (например, головной гарнитуре или наушникам), или другим электронным устройствам (например, карманным устройствам и/или компьютерам, принтерам, проекторам, внешним дисплеям, модемам, док-станциям, и т.д.). В одном варианте осуществления, порты 12 ввода/вывода могут быть сконфигурированы для подключения к внешнему устройству формирования изображения, например, цифровой камере, для получения данных изображения, которые можно обрабатывать с использованием схемы 32 обработки изображений. Порты 12 ввода/вывода могут поддерживать любой пригодный тип интерфейса, например, порт универсальной последовательной шины (USB), порт последовательного соединения, порт IEEE-1394 (FireWire), порт Ethernet или модема, и/или порт подключения адаптера питания.

[00148] В некоторых вариантах осуществления, определенные порты 12 ввода/вывода могут быть сконфигурированы для предоставления более чем одной функции. Например, в одном варианте осуществления, порты 12 ввода/вывода могут включать в себя фирменный порт от Apple Inc., который может функционировать не только для облегчения переноса данных между электронным устройством 10 и внешним источником, но и для подключения устройства 10 к интерфейсу зарядки/питания, например адаптеру питания, предназначенному для подачи мощности от электрической розетки, или интерфейсный кабель, сконфигурированный для отбора мощности от другого электрического устройства, например, переносного или стационарного компьютера, для зарядки источника 26 питания (который может включать в себя один или более аккумуляторов). Таким образом, порт 12 ввода/вывода может быть сконфигурирован для двойного функционирования, как порт переноса данных и как порт подключения адаптера питания в зависимости, например, от того, какой внешний компонент подключен к устройству 10 через порт 12 ввода/вывода.

[00149] Структуры 14 ввода могут обеспечивать процессор(ы) 16 пользовательским вводом или обратной связью. Например, структуры 14 ввода могут быть сконфигурированы для управления одной или более функциями электронного устройства 10, например, приложениями, выполняющимися на электронном устройстве 10. Исключительно в порядке примера, структуры 14 ввода могут включать в себя кнопки, ползунки, переключатели, панели управления, клавиши, ручки, колесики прокрутки, клавиатуры, мыши, сенсорные панели и т.д. или некоторую их комбинацию. В одном варианте осуществления, структуры 14 ввода могут позволять пользователю осуществлять навигацию по графическому пользовательскому интерфейсу (GUI), воспроизводимому на устройстве 10. Дополнительно, структуры 14 ввода могут включать в себя тактильно-чувствительный механизм, предоставленный совместно с дисплеем 28. В таких вариантах осуществления, пользователь может выбирать отображаемые элементы интерфейса или взаимодействовать с ними через тактильно-чувствительный механизм.

[00150] Структуры 14 ввода могут включать в себя различные устройства, схемы и каналы для подачи пользовательского ввода или обратной связи на один или более процессоров 16. Такие структуры 14 ввода могут быть сконфигурированы для управления функцией устройства 10, приложений, выполняющихся на устройстве 10, и/или любых интерфейсов или устройств, подключенных к электронному устройству 10 или используемых им. Например, структуры 14 ввода могут позволять пользователю осуществлять навигацию по воспроизводимому пользовательскому интерфейсу или интерфейсу приложения. Примеры структур 14 ввода могут включать в себя кнопки, ползунки, переключатели, панели управления, клавиши, ручки, колесики прокрутки, клавиатуры, мыши, сенсорные панели и т.д.

[00151] В некоторых вариантах осуществления, структура 14 ввода и дисплейное устройство 28 могут быть предоставлены совместно, например, в случае "сенсорного экрана", благодаря чему, тактильно-чувствительный механизм обеспечивается совместно с дисплеем 28. В таких вариантах осуществления, пользователь может выбирать отображаемые элементы интерфейса или взаимодействовать с ними через тактильно-чувствительный механизм. Таким образом, отображаемый интерфейс может обеспечивать интерактивные функциональные возможности, позволяющие пользователю осуществлять навигацию по воспроизводимому интерфейсу, прикасаясь к дисплею 28. Например, взаимодействие пользователя со структурами 14 ввода, например, для взаимодействия с пользовательским интерфейсом или интерфейсом приложения, воспроизводимым на дисплее 28, может формировать электрические сигналы, указывающие пользовательский ввод. Эти входные сигналы могут маршрутизироваться через пригодные каналы, например, входной концентратор или шину данных, на один или более процессоров 16 для дальнейшей обработки.

[00152] В одном варианте осуществления, структуры 14 ввода могут включать в себя устройство аудиоввода. Например, одно или более устройств аудиозахвата, к примеру, один или более микрофонов, могут содержать электронное устройство 10. Устройства аудиозахвата могут быть интегрированы с электронным устройством 10 или могут быть внешним устройством, соединенным с электронным устройством 10, к примеру, посредством портов 12 ввода-вывода. Как пояснено дополнительно ниже, электронное устройство 10 может представлять собой как устройство аудиоввода, так и устройство 30 формирования изображения, чтобы захватывать звуковые данные и данные изображения (например, видеоданные), и может включать в себя логику, выполненную с возможностью обеспечивать синхронизацию захваченных видео- и аудиоданных.

[00153] Помимо обработки различных входных сигналов, принятых через структуру(ы) 14 ввода, процессор(ы) 16 может(ут) управлять работой устройства 10 в целом. Например, процессор(ы) 16 может(ут) обеспечивать возможности обработки для выполнения операционной системы, программ, пользовательских интерфейсов и интерфейсов приложений и любых других функций электронного устройства 10. Процессор(ы) 16 может(ут) включать в себя один или более микропроцессоров, например, один или более микропроцессоров "общего назначения", один или более микропроцессоров специального назначения и/или микропроцессоров для конкретного приложения (ASIC) или комбинацию таких компонентов обработки. Например, процессор(ы) 16 может(ут) включать в себя один или более процессоров с фиксированным набором команд (например, RISC), а также графических процессоров (ГП), видеопроцессоров, аудиопроцессоров и/или соответствующие чипсеты. Очевидно, что, процессор(ы) 16 может(ут) быть подключен(ы) к одной или более шинам данных для переноса данных и инструкций между различными компонентами устройства 10. В некоторых вариантах осуществления, процессор(ы) 16 может(ут) обеспечивать возможности обработки для выполнения приложений формирования изображения на электронном устройстве 10, например, Photo Booth®, Aperture®, iPhoto® или предварительный просмотр®, доступных от Apple Inc., или приложений "Camera" и/или "Photo", предоставленных Apple Inc. и доступных на моделях iPhone®.

[00154] Инструкции или данные, подлежащие обработке процессором(ами) 16, могут храниться на машиночитаемом носителе, например, запоминающем устройстве 18. Запоминающее устройство 18 может быть предоставлено как энергозависимая память, например оперативная память (ОЗУ), или как энергонезависимая память, например постоянная память (ПЗУ), или как комбинация одного или более устройств ОЗУ и ПЗУ. В памяти 18 может храниться различная информация, и ее можно использовать в различных целях. Например, в памяти 18 могут храниться программно-аппаратное обеспечение для электронного устройства 10, например, базовая система ввода/вывода (BIOS), операционная система, различные программы, приложения, или любые другие процедуры, которые могут выполняться на электронном устройстве 10, включающие в себя функции пользовательского интерфейса, функции процессора и т.д. Кроме того, память 18 можно использовать для буферизации или кэширования в ходе эксплуатации электронного устройства 10. Например, в одном варианте осуществления, память 18 включает в себя один или более кадровые буферы для буферизации видеоданных при выводе их на дисплей 28.

[00155] Помимо запоминающего устройства 18, электронное устройство 10 может дополнительно включать в себя энергонезависимое хранилище 20 для постоянного хранения данных и/или инструкций. Энергонезависимое хранилище 20 может включать в себя флэш-память, жесткий диск или любые другие оптические, магнитные и/или твердотельные носители данных, или некоторую их комбинацию. Таким образом, хотя для наглядности на фиг. 1 изображено единичное устройство, следует понимать, что устройство(а) 20 энергонезависимого хранения может(гут) включать в себя комбинацию одного или более из вышеперечисленных запоминающих устройств, действующих совместно с процессором(ами) 16. Энергонезависимое хранилище 20 можно использовать для хранения программно-аппаратного обеспечения, файлов данных, данных изображения, программ и приложений, информации беспроводного соединения, персональной информации, пользовательских предпочтений и любых других пригодных данных. В соответствии с аспектами настоящего раскрытия, данные изображения, хранящиеся в энергонезависимом хранилище 20 и/или запоминающем устройстве 18, могут обрабатываться схемой 32 обработки изображений до вывода на дисплей.

[00156] Вариант осуществления, представленный на фиг. 1, также может включать в себя одно или более гнезд для платы или расширения. Гнезда для платы могут быть сконфигурированы для приема платы 22 расширения, которую можно использовать для добавления функциональных возможностей, например, дополнительной памяти, функциональных возможностей ввода/вывода или сетевых возможностей, в электронное устройство 10. Такая плата 22 расширения может подключаться к устройству через любой тип пригодного разъема, и доступ к ней можно осуществлять внутренне или внешне относительно корпуса электронного устройства 10. Например, в одном варианте осуществления, платой 24 расширения может быть карта флэш-памяти, например, карта SecureDigital (SD), mini- или microSD, плата CompactFlash и т.п., или может быть устройство PCMCIA. Дополнительно, платой 24 расширения может быть карта модуля идентификации абонента (SIM), для использования согласно варианту осуществления электронного устройства 10, который обеспечивает возможности мобильного телефона.

[00157] Электронное устройство 10 также включает в себя сетевое устройство 24, которым может быть сетевой контроллер или карта сетевого интерфейса (NIC), которая может обеспечивать возможность сетевой связи согласно стандарту беспроводной связи 802.11 или любому другому пригодному стандарту сетевой связи, например, локальной сети (LAN), глобальной сети (WAN), например, сети Повышенной скорости передачи данных для эволюции GSM (край), сети передачи данных 3G или интернета. В некоторых вариантах осуществления, сетевое устройство 24 может обеспечивать соединение с онлайновым поставщиком цифрового медиаконтента, например, музыкальным сервисом iTunes®, доступным от Apple Inc.

[00158] Источник 26 питания устройства 10 может включать в себя возможности обеспечения питания устройства 10, как в непортативном, так и в портативном исполнении. Например, в портативном исполнении, устройство 10 может включать в себя одну или более батарей, например, литий-ионную батарею, для обеспечения питания устройства 10. Батарею можно перезаряжать, подключая устройство 10 к внешнему источнику питания, например, к электрической розетке. В непортативном исполнении, источник 26 питания может включать в себя блок электропитания (PSU), сконфигурированный для отбора мощности от электрической розетки, и для раздачи мощности на различные компоненты непортативного электронного устройства, например, стационарной вычислительной системы.

[00159] Дисплей 28 можно использовать для отображения различных изображений, формируемых устройством 10, например, GUI для операционной системы, или данных изображения (включающих в себя неподвижные изображения и видеоданные), обработанных схемой 32 обработки изображений, как будет дополнительно описано ниже. Как упомянуто выше, данные изображения могут включать в себя данные изображения, полученные с использованием устройства 30 формирования изображения, или данные изображения, извлеченные из памяти 18 и/или энергонезависимого хранилища 20. Дисплеем 28 может быть любой пригодный тип дисплея, например, жидкокристаллический дисплей (ЖКД), плазменный дисплей, или, например, органо-светодиодный (ОСИД) дисплей. Дополнительно, как рассмотрено выше, дисплей 28 может быть предоставлен совместно с рассмотренным выше тактильно-чувствительным механизмом (например, сенсорным экраном), который может функционировать как часть интерфейса управления для электронного устройства 10.

[00160] Проиллюстрированное(ые) устройство(а) 30 формирования изображения может(ут) быть предоставлено(ы) в виде цифровой камеры, сконфигурированной для получения неподвижных изображений и движущихся изображений (например, видео). Камера 30 может включать в себя объектив и один или более датчиков изображения, сконфигурированных для захвата и преобразования света в электрические сигналы. Исключительно в порядке примера, датчик изображения может включать в себя датчик изображения на основе КМОП (например, датчик с активными пикселями (APS) на основе КМОП) или датчик на основе ПЗС (прибор с зарядовой связью). В общем случае, датчик изображения в камере 30 включает в себя интегральную схему, имеющую матрицу пикселей, в которой каждый пиксель включает в себя фотодетектор, улавливающий свет. Специалистам в данной области техники очевидно, что фотодетекторы в пикселях формирования изображения, в общем случае, регистрируют интенсивность света, улавливаемого через линзы камеры. Однако фотодетекторы, сами по себе, в общем случае, не способны регистрировать длину волны захваченного света и, таким образом, не способны определять информацию цвета.

[00161] Соответственно, датчик изображения может дополнительно включать в себя матрицу цветовых фильтров (CFA), которая может перекрывать или располагаться поверх пиксельной матрицы датчика изображения для захвата информации цвета. Матрица цветовых фильтров может включать в себя матрицу малых цветовых фильтров, каждый из которых может перекрывать соответствующий пиксель датчика изображения и фильтровать захваченный свет по длине волны. Таким образом, при совместном использовании, матрица цветовых фильтров и фотодетекторы могут обеспечивать информацию длины волны и интенсивности в отношении света, улавливаемого посредством камеры, которая может представлять захваченное изображение.

[00162] В одном варианте осуществления, матрица цветовых фильтров может включать в себя матрицу байеровских цветовых фильтров, которая обеспечивает шаблон фильтра, который на 50% состоит из зеленых элементов, на 25% из красных элементов и на 25% из синих элементов. Например, фиг. 2 демонстрирует, что пиксельный блок 2×2 байеровской CFA включает в себя 2 зеленых элемента (Gr и Gb), 1 красный элемент (R), и 1 синий элемент (B). Таким образом, датчик изображения, который использует матрицу байеровских цветовых фильтров, может обеспечивать информацию, касающуюся интенсивности света, принятого камерой 30 на длинах волны зеленого, красного и синего цветов, благодаря чему, каждый пиксель изображения регистрирует только один из трех цветов (RGB). Эта информация, которая может именоваться "первичными данными изображения" или данными в "первичной области", может затем обрабатываться с использованием одного или более методов демозаики для преобразования первичных данных изображения в полноцветное изображение, в общем случае, путем интерполяции набора значений красного, зеленого и синего для каждого пикселя. Как будет дополнительно описано ниже, такие методы демозаики могут осуществляться схемой 32 обработки изображений.

[00163] Как упомянуто выше, схема 32 обработки изображений может обеспечивать различные этапы обработки изображений, например, операции обнаружения/коррекции дефектных пикселей, коррекции затенения объектива, демозаики и повышения резкости изображения, шумопонижения, гамма-коррекции, улучшения изображения, преобразования цветового пространства, сжатия изображения, цветовой субдискретизации и масштабирования изображение, и т.д. В некоторых вариантах осуществления, схема 32 обработки изображений может включать в себя различные подкомпоненты и/или дискретные блоки логики, которые совместно образуют "конвейер" обработки изображений для осуществления каждого из различных этапов обработки изображений. Эти подкомпоненты можно реализовать с использованием оборудования (например, процессоров цифрового сигнала или ASIC) или программного обеспечения, или посредством комбинации аппаратных и программных компонентов. Различные операции обработки изображений, которые могут обеспечиваться схемой 32 обработки изображений и, в частности, операции обработки, относящиеся к обнаружению/коррекции дефектных пикселей, коррекции затенения объектива, демозаике и повышению резкости изображения, будут более подробно рассмотрены ниже.

[00164] Прежде чем продолжить, следует отметить, что хотя различные варианты осуществления различных методов обработки изображений, рассмотренных ниже, могут использовать байеровскую CFA, описанное здесь изобретение не подлежит ограничению в связи с этим. Действительно, специалистам в данной области техники очевидно, что предоставленные здесь методы обработки изображений можно применять к любому пригодному типу матрицы цветовых фильтров, включающих в себя фильтры RGBW, фильтры CYGM и т.д.

[00165] Возвращаясь к электронному устройству 10, фиг. 3-6 иллюстрируют различные формы, которые может принимать электронное устройство 10. Как упомянуто выше, электронное устройство 10 может принимать форму компьютера, включающего в себя компьютеры, которые, в общем случае, являются портативными (например, компьютеры типа лэптоп, ноутбук и планшет), а также компьютеры, которые, в общем случае, являются непортативными (например, стационарные компьютеры, рабочие станции и/или серверы), или другой тип электронного устройства, например карманные портативные электронные устройства (например, цифровой медиаплеер или мобильный телефон). В частности, на фиг. 3 и 4 изображено электронное устройство 10 в форме портативного компьютера 40 и стационарного компьютера 50, соответственно. Фиг. 5 и 6 демонстрируют виды спереди и сзади, соответственно, электронного устройства 10 в форме карманного портативного устройства 60.

[00166] Как показано на фиг. 3, изображенный портативный компьютер 40 включает в себя корпус 42, дисплей 28, порты 12 ввода/вывода и структуры 14 ввода. Структуры 14 ввода могут включать в себя клавиатуру и сенсорную панель с функцией мыши, которые объединены с корпусом 42. Дополнительно, структура 14 ввода может включать в себя различные другие кнопки и/или переключатели, которые можно использовать для взаимодействия с компьютером 40, например, для включения питания или запуска компьютера, для эксплуатации GUI или приложения, выполняющегося на компьютере 40, а также регулировки различных других аспектов, относящихся к работе компьютера 40 (например, громкости звука, яркости дисплея и т.д.). Компьютер 40 также может включать в себя различные порты 12 ввода/вывода, которые обеспечивают возможность подключения к дополнительным устройствам, рассмотренным выше, например, порт FireWire® или USB, порт мультимедийного интерфейса высокой четкости (HDMI), или любой другой тип порта, который пригоден для подключения к внешнему устройству. Дополнительно, компьютер 40 может включать в себя возможность сетевой связи (например, сетевое устройство 26), память (например, память 20), и возможности хранения (например, запоминающее устройство 22), как описано выше со ссылкой на фиг. 1.

[00167] Кроме того, портативный компьютер 40, в проиллюстрированном варианте осуществления, может включать в себя встроенное устройство 30 формирования изображения (например, камеру). В других вариантах осуществления, портативный компьютер 40 может использовать внешнюю камеру (например, внешнюю USB-камеру или "веб-камеру"), подключенную к одному или более из портов 12 ввода/вывода вместо встроенной камеры 30 или совместно с ней. Например, внешней камерой может быть камера iSight®, доступная от Apple Inc. Камера 30, встроенная или внешняя, может обеспечивать захват и запись изображений. Пользователь может просматривать такие изображения с использованием приложения просмотра изображений, или эти изображения могут использовать другие приложения, включающие в себя приложения видеоконференцсвязи, например iChat®, и приложения просмотра/редактирования изображений, например Photo Booth®, Aperture®, iPhoto® или предварительный просмотр®, доступные от Apple Inc. В некоторых вариантах осуществления, изображенный портативный компьютер 40 может представлять собой модель MacBook®, MacBook® Pro, MacBook Air® или PowerBook®, доступную от Apple Inc. Дополнительно, компьютер 40, в одном варианте осуществления, может представлять собой портативное планшетное вычислительное устройство, например модель планшетного компьютера iPad®, также доступного от Apple Inc.

[00168] Фиг. 4 дополнительно иллюстрирует вариант осуществления, в котором электронное устройство 10 предоставлено как стационарный компьютер 50. Очевидно, что стационарный компьютер 50 может включать в себя ряд признаков, которые могут быть, в общем случае, аналогичны тем, которые предоставлены портативным компьютером 40, показанным на фиг. 4, но могут иметь, в общем случае, больший общий формфактор. Как показано, стационарный компьютер 50 может быть заключен в оболочку 42, которая включает в себя дисплей 28, а также различные другие компоненты, рассмотренные выше в отношении блок-схемы, показанной на фиг. 1. Кроме того, стационарный компьютер 50 может включать в себя внешнюю клавиатуру и мышь (структуры 14 ввода), которые могут быть подключены к компьютеру 50 через один или более портов 12 ввода/вывода (например, USB) или может сообщаться с компьютером 50 без помощи проводов (например, РЧ, Bluetooth и т.д.). Стационарный компьютер 50 также включает в себя устройство 30 формирования изображения, которое может представлять собой внутреннюю или внешнюю камеру, как рассмотрено выше. В некоторых вариантах осуществления, изображенный стационарный компьютер 50 может представлять собой модель iMac®, Mac® mini или Mac Pro®, доступную от Apple Inc.

[00169] Как дополнительно показано, дисплей 28 может быть сконфигурирован для формирования различных изображений, которые может просматривать пользователь. Например, в ходе эксплуатации компьютера 50, дисплей 28 может отображать графический пользовательский интерфейс ("GUI") 52, который позволяет пользователю взаимодействовать с операционной системой и/или приложением, выполняющимся на компьютере 50. GUI 52 может включать в себя различные слои, окна, экраны, шаблоны или другие графические элементы, которые могут отображаться на всем, или участке, устройства 28 отображения. Например, в представленном варианте осуществления, GUI 52 операционной системы может включать в себя различные графические пиктограммы 54, каждая из которых может соответствовать различным приложениям, которые могут открываться или выполняться по обнаружении выбора пользователя (например, посредством ввода с помощью клавиатуры/мыши или сенсорного экрана). Пиктограммы 54 могут отображаться в док-панели 56 или в одном или более графических оконных элементах 58, отображаемых на экране. В некоторых вариантах осуществления, выбор пиктограммы 54 может приводить к иерархическому навигационному процессу, благодаря чему, выбор пиктограммы 54 приводит к экрану или открывает другое графическое окно, которое включает в себя одно или более дополнительных пиктограмм или других элементов GUI. Исключительно в порядке примера, GUI 52 операционной системы, отображаемый на фиг. 4, может формировать версию операционной системы Mac OS®, доступной от Apple Inc.

[00170] На фиг. 5 и 6, электронное устройство 10 дополнительно проиллюстрировано в форме портативного карманного электронного устройства 60, которое может представлять собой модель iPod® или iPhone®, доступную от Apple Inc. В представленном варианте осуществления, карманное устройство 60 включает в себя оболочку 42, которая может функционировать для защиты внутренних компонентов от физического повреждения и для их экранирования от электромагнитной помехи. Оболочку 42 можно сформировать из любого пригодного материала или комбинации материалов, например, пластика, металла или композитного материала, и могут позволять некоторым частотам электромагнитного излучения, например, сигналам беспроводной сети, проникать к схеме беспроводной связи (например, сетевому устройству 24), которая может располагаться в оболочке 42, как показано на фиг. 5.

[00171] Оболочка 42 также включает в себя различные структуры 14 пользовательского ввода, посредством которых пользователь может взаимодействовать с карманным устройством 60. Например, такая структура 14 ввода может быть сконфигурирована для управления одной или более функциями соответствующего устройства при нажатии или активации. В порядке примера, одна или более структур 14 ввода могут быть сконфигурированы для вызова "главного" экрана 42 или меню, подлежащего отображению, для переключения между режимами сна, пробуждения или включения/отключения питания, для отключения звонка для приложения сотового телефона, для увеличения или уменьшения уровня громкости и т.д. Следует понимать, что проиллюстрированные структуры 14 ввода являются всего лишь примерными, и что карманное устройство 60 может включать в себя любое количество пригодных структур пользовательского ввода, существующих в различных формах, включающих в себя кнопки, переключатели, клавиши, ручки, колесики прокрутки и т.д.

[00172] Как показано на фиг. 5, карманное устройство 60 может включать в себя различные порты 12 ввода/вывода. Например, изображенные порты 12 ввода/вывода могут включать в себя фирменный соединительный порт 12a для передачи и приема файлов данных или для зарядки источника 26 питания и соединительный порт 12b аудио для подключения устройства 60 к устройству вывода аудио (например, наушникам или громкоговорителям). Кроме того, в вариантах осуществления, где карманное устройство 60 обеспечивает функциональные возможности мобильного телефона, устройство 60 может включать в себя порт 12c ввода/вывода для приема карты модуля идентификации абонента (SIM) (например, платы 22 расширения).

[00173] Устройство 28 отображения, которое может представлять собой ЖКД, ОСИД или любой пригодный тип дисплея, может отображать различные изображения, формируемые карманным устройством 60. Например, дисплей 28 может отображать различные системные индикаторы 64, обеспечивающие обратную связь с пользователем в отношении одного или более состояний карманного устройства 60, например, состояния питания, интенсивности сигнала, соединений внешнего устройства и т.д. Дисплей также может отображать GUI 52, который позволяет пользователю взаимодействовать с устройством 60, как рассмотрено выше со ссылкой на фиг. 4. GUI 52 может включать в себя графические элементы, например пиктограммы 54, которые могут соответствовать различным приложениям, которые могут открываться или выполняться по обнаружении выбора пользователем соответствующей пиктограммы 54. В порядке примера, одна из пиктограмм 54 может представлять приложение 66 камеры, которое можно использовать совместно с камерой 30 (показанной пунктирными линиями на фиг. 5) для получения изображений. Кратко обратившись к фиг. 6, проиллюстрирован вид сзади карманного электронного устройства 60, изображенного на фиг. 5, который демонстрирует камеру 30, встроенную в корпус 42 и расположенную на тыльной стороны карманного устройства 60.

[00174] Как упомянуто выше, данные изображения, полученные с использованием камеры 30 можно обрабатывать с использованием схемы 32 обработки изображений, которая может включать в себя оборудование (например, расположенное в оболочке 42) и/или программное обеспечение, хранящееся на одном или более запоминающих устройствах (например, память 18 или энергонезависимое хранилище 20) устройства 60. Изображения, полученные с использованием приложения 66 камеры и камеры 30, могут храниться на устройстве 60 (например, в запоминающем устройстве 20) и могут просматриваться в более позднее время с использованием приложение 68 просмотра фотографий.

[00175] Карманное устройство 60 также может включать в себя различные элементы ввода и вывода аудио. Например, элементы ввода/вывода аудио, указанные, в общем случае, ссылочной позицией 70, могут включать в себя приемник ввода, например один или более микрофонов. Например, когда карманное устройство 60 включает в себя функциональные возможности сотового телефона, приемники ввода могут быть сконфигурированы для приема пользовательского ввода аудио, например, голоса пользователя. Дополнительно, элементы 70 ввода/вывода аудио могут включать в себя один или более передатчиков вывода. Такие передатчики вывода могут включать в себя один или более громкоговорителей, которые могут функционировать для передачи аудиосигналов пользователю, например при воспроизведении музыкальных данных с использованием приложения 72 медиаплеера. Кроме того, в вариантах осуществления, где карманное устройство 60 включает в себя приложение сотового телефона, может быть предоставлен дополнительный передатчик 74 вывода аудио, как показано на фиг. 5. Наподобие передатчиков вывода элементов 70 ввода/вывода аудио, передатчик 74 вывода также может включать в себя один или более громкоговорителей, сконфигурированных для передачи аудиосигналов пользователю, например голосовых данных, принятых в ходе телефонного вывода. Таким образом, элементы 70 и 74 ввода/вывода аудио могут действовать совместно с такой функцией, как элементы приема и передачи аудио телефона.

[00176] Предоставив некоторый контекст в отношении различных форм, которые может принимать электронное устройство 10, сосредоточимся на схеме 32 обработки изображений, изображенной на фиг. 1. Как упомянуто выше, схема 32 обработки изображений может быть реализована с использованием аппаратных и/или программных компонентов, и может включать в себя различные блоки обработки, которые образуют конвейер обработки сигнала изображения (ISP). В частности, можно рассмотреть аспекты методов обработки изображений, изложенных в настоящем раскрытии, в частности, относящиеся к методам обнаружения/коррекции дефектных пикселей, методам коррекции затенения объектива, методам демозаики и методам повышения резкости изображения.

[00177] На фиг. 7 проиллюстрирована упрощенная блок-схема высокого уровня, изображающая несколько функциональных компонентов, которые можно реализовать как часть схемы 32 обработки изображений, в соответствии с одним вариантом осуществления описанного здесь изобретения. В частности, фиг. 7 призвана иллюстрировать, как данные изображения могут течь через схему 32 обработки изображений, в соответствии с, по меньшей мере, одним вариантом осуществления. Для предоставления общего обзора схемы 32 обработки изображений, здесь предоставлено общее описание действия этих функциональных компонентов для обработки данных изображения со ссылкой на фиг. 7, хотя более конкретное описание каждого из проиллюстрированных функциональных компонентов, а также их соответствующих подкомпонентов, будет дополнительно предоставлено ниже.

[00178] Согласно проиллюстрированному варианту осуществления, схема 32 обработки изображений может включать в себя логику 80 предварительной обработки для обработки сигнала изображения (ISP), логику 82 конвейерной обработки ISP и управляющую логику 84. Данные изображения, захваченные устройством 30 формирования изображения, могут сначала обрабатываться логикой 80 предварительной обработки ISP и анализироваться для захвата статистики изображения, которую можно использовать для определения одного или более параметров управления для логики 82 конвейера ISP и/или устройства 30 формирования изображения. Логика 80 предварительной обработки ISP может быть сконфигурирована для захвата данных изображения из входного сигнала датчика изображения. Например, как показано на фиг. 7, устройство 30 формирования изображения может включать в себя камеру, имеющую одну или более линз 88 и датчик(и) 90 изображения. Как рассмотрено выше, датчик(и) 90 изображения может(ут) включать в себя матрицу цветовых фильтров (например, байеровский фильтр) и, таким образом, обеспечивать информацию интенсивности и длины волны света, улавливаемого каждым пикселем формирования изображения датчиков 90 изображения для предоставления набора первичных данных изображения, которые могут обрабатываться логикой 80 предварительной обработки ISP. Например, выходной сигнал 92 устройства 30 формирования изображения может приниматься интерфейсом 94 датчика, который затем может передавать первичные данные 96 изображения логике 80 предварительной обработки ISP на основании, например, типа интерфейса датчика. В порядке примера, интерфейс 94 датчика может использовать интерфейс стандартной архитектуры формирования изображения для мобильных устройств (SMIA) или другие последовательные или параллельные интерфейсы камеры или некоторую их комбинацию. В некоторых вариантах осуществления, логика 80 предварительной обработки ISP может действовать в своей собственной области тактового сигнала и может обеспечивать асинхронный интерфейс к интерфейсу 94 датчика для поддержки датчиков изображения разных размеров и требований к тактированию. Интерфейс 94 датчика может включать, в некоторых вариантах осуществления, субинтерфейс на стороне датчика (т.е. субинтерфейс на стороне датчика) и субинтерфейс на стороне предварительной обработки ISP, с субинтерфейсами, формирующими интерфейс 94 датчика.

[00179] Первичные данные 96 изображения могут передаваться логике 80 предварительной обработки ISP и обрабатываться на попиксельной основе в нескольких форматах. Например, каждый пиксель изображения может иметь битовую глубину 8, 10, 12 или 14 битов. Различные примеры форматов памяти, показывающих как пиксельные данные могут быть сохранены и адресованы в памяти, обсуждаются более подробно ниже. Логика 80 предварительной обработки ISP может осуществлять одну или более операций обработки изображений на первичных данных 96 изображения, а также собирать статистику по данным 96 изображения. Операции обработки изображений, а также сбора статистических данных, могут осуществляться при одном и том же или при разных значениях точности по битовой глубине. Например, в одном варианте осуществления, обработка первичных пиксельных данных 96 изображения может осуществляться с 14-битовой точностью. В таких вариантах осуществления, первичные пиксельные данные, принятые логикой 80 предварительной обработки ISP, которые имеют битовую глубину менее 14 битов (например, 8 битов, 10 битов, 12 битов), могут подвергаться повышающей дискретизации до 14 битов в целях обработки изображений. В другом варианте осуществления, статистическая обработка может происходить с точностью 8 битов и, таким образом, первичные пиксельные данные, имеющие более высокую битовую глубину, могут подвергаться понижающей дискретизации до 8-битового формата в целях статистики. Очевидно, что, понижающая дискретизация до 8 битов может уменьшать размер (например, площадь) оборудования и также снижать сложность обработки/вычислений для статистических данных. Дополнительно, первичные данные изображения можно подвергать пространственному усреднению, чтобы статистические данные были более устойчивы к шуму.

[00180] Кроме того, как показано на фиг. 7, логика 80 предварительной обработки ISP также может принимать пиксельные данные из памяти 108. Например, как указано ссылочной позицией 98, первичные пиксельные данные могут отправляться в память 108 из интерфейса 94 датчика. Первичные пиксельные данные, присутствующие в памяти 108, могут затем поступать на логику 80 предварительной обработки ISP для обработки, что указано ссылочной позицией 100. Память 108 может входить в состав запоминающего устройства 18, запоминающего устройства 20 или может быть отдельной специализированной памятью в электронном устройстве 10 и может включать в себя признаки прямого доступа к памяти (DMA). Кроме того, в некоторых вариантах осуществления, логика 80 предварительной обработки ISP может действовать в своей собственной области тактового сигнала и обеспечивать асинхронный интерфейс к интерфейсу 94 датчика для поддержки датчиков разных размеров и имеющих разные требования к тактированию.

[00181] Приняв первичные данные 96 изображения (от интерфейса 94 датчика) или 100 (из памяти 108), логика 80 предварительной обработки ISP может осуществлять одну или более операций обработки изображений, например, временную фильтрацию и/или фильтрацию с компенсацией биннинга. Обработанные данные изображения могут затем передаваться логике 82 конвейера ISP (выходной сигнал 109) для дополнительной обработки до отображения (например, на устройстве 28 отображения), или могут отправляться в память (выходной сигнал 110). Логика 82 конвейера ISP принимает "предварительно" обработанные данные, либо непосредственно от логики 80 предварительной обработки ISP, либо из памяти 108 (входной сигнал 112), и может обеспечивать для дополнительной обработки данных изображения в первичной области, а также в цветовых пространствах RGB и YCbCr. Данные изображения, обработанные логикой 82 конвейера ISP, могут затем выводиться (сигнал 114) на дисплей 28 для просмотра пользователем и/или могут дополнительно обрабатываться машиной графики или ГП. Дополнительно, выходной сигнал логики 82 конвейера ISP может отправляться в память 108 (сигнал 115), и дисплей 28 может считывать данные изображения из памяти 108 (сигнал 116), которая, в некоторых вариантах осуществления, может быть сконфигурирована для реализации одного или более кадровых буферов. Кроме того, в некоторых реализациях, выходной сигнал логики 82 конвейера ISP также может поступать в механизм 118 сжатия/восстановления (сигнал 117) для кодирования/декодирования данных изображения. Кодированные данные изображения могут сохраняться и затем подвергаться восстановлению до отображения на устройстве 28 отображения (сигнал 119). В порядке примера, механизм сжатия или "кодер" 118 может представлять собой механизм сжатия JPEG для кодирования неподвижных изображений или механизм сжатия H.264 для кодирования видеоизображений, или некоторую их комбинацию, а также соответствующий механизм восстановления для декодирования данных изображения. Дополнительная информация в отношении операций обработки изображений, которые могут обеспечиваться в логике 82 конвейера ISP, будут более подробно рассмотрены ниже в отношении фиг. 98-133. Также, следует отметить, что логика 82 конвейера ISP также может принимать первичные данные изображения из памяти 108, изображенные в виде входного сигнала 112.

[00182] Статистические данные 102, определяемые логикой 80 предварительной обработки ISP, могут передаваться блоку 84 управляющей логики. Статистические данные 102 могут включать в себя, например, статистику датчика изображения, относящуюся к автоматической установке экспозиции, автоматическому балансу белого, автофокусировке, обнаружению мерцания, компенсации уровня черного (BLC), коррекции затенения объектива и т.д. Управляющая логика 84 может включать в себя процессор и/или микроконтроллер, сконфигурированный для выполнения одной или более процедур (например, программно-аппаратного обеспечения), которые могут быть сконфигурированы для определения, на основании принятых статистических данных 102, параметров 104 управления для устройства 30 формирования изображения, а также параметров 106 управления для логики 82 конвейерной обработки ISP. Исключительно в порядке примера, параметры 104 управления могут включать в себя параметры управления датчиком (например, коэффициенты усиления, время интегрирования для управления экспозицией), параметры управления вспышкой камеры, параметры управления объективом (например, фокусное расстояние для фокусировки или трансфокации), или комбинацию таких параметров. Параметры 106 управления ISP могут включать в себя уровни усиления и коэффициенты матрицы цветовой коррекции (CCM) для автоматического баланса белого и регулировки цвета (например, при обработке RGB), а также параметры коррекции затенения объектива, которые, как рассмотрено ниже, можно определить на основании параметров баланса белого по точкам. В некоторых вариантах осуществления, управляющая логика 84 может, помимо анализа статистических данных 102, также анализировать историческую статистику, которая может храниться на электронном устройстве 10 (например, в памяти 18 или хранилище 20).

[00183] Согласно проиллюстрированному варианту осуществления, схема 32 обработки изображений может включать в себя логику 80 предварительной обработки для обработки сигнала изображения (ISP), логику 82 конвейерной обработки ISP и управляющую логику 84. Данные изображения, захваченные устройством 30 формирования изображения, могут сначала обрабатываться логикой 80 предварительной обработки ISP и анализироваться для захвата статистики изображения, которую можно использовать для определения одного или более параметров управления для логики 82 конвейера ISP и/или устройства 30 формирования изображения. Логика 80 предварительной обработки ISP может быть сконфигурирована для захвата данных изображения из входного сигнала датчика изображения. Например, как показано на фиг. 7, устройство 30 формирования изображения может включать в себя камеру, имеющую одну или более линз 88 и датчик(и) 90 изображения. Как рассмотрено выше, датчик(и) 90 изображения может(ут) включать в себя матрицу цветовых фильтров (например, байеровский фильтр) и, таким образом, обеспечивать информацию интенсивности и длины волны света, улавливаемого каждым пикселем формирования изображения датчиков 90 изображения для предоставления набора первичных данных изображения, которые могут обрабатываться логикой 80 предварительной обработки ISP. Например, выходной сигнал 92 устройства 30 формирования изображения может приниматься интерфейсом 94 датчика, который затем может передавать первичные данные 96 изображения логике 80 предварительной обработки ISP на основании, например, типа интерфейса датчика. В порядке примера, интерфейс 94 датчика может использовать интерфейс стандартной архитектуры формирования изображения для мобильных устройств (SMIA) или другие последовательные или параллельные интерфейсы камеры или некоторую их комбинацию. В некоторых вариантах осуществления, логика 80 предварительной обработки ISP может действовать в своей собственной области тактового сигнала и может обеспечивать асинхронный интерфейс к интерфейсу 94 датчика для поддержки датчиков изображения разных размеров и требований к тактированию.

[00184] Фиг. 8 показывает блок-схему, изображающую другой вариант осуществления схемы 32 обработки изображений, на которой идентичные компоненты помечаются идентичными ссылочными позициями. В общем, работа и функциональность схемы 32 обработки изображений по фиг. 8 является аналогичной схеме 32 обработки изображений по фиг. 7, за исключением того, что вариант осуществления, показанный на фиг. 8, дополнительно включает в себя блок 120 логики окончательной обработки ISP, который может соединяться после конвейера 82 ISP и может обеспечивать дополнительные этапы постобработки.

[00185] В проиллюстрированном варианте осуществления, логика 120 окончательной обработки ISP может принимать вывод 114 из конвейера 82 ISP и выполнять постобработку принимаемых данных 114. Дополнительно, окончательная обработка 120 ISP может принимать данные изображения непосредственно из памяти 108, как показано посредством ввода 124. Как дополнительно пояснено ниже со ссылкой на фиг. 134-142, один вариант осуществления логики 120 окончательной обработки ISP может обеспечивать сжатие динамического диапазона данных изображения (зачастую называемое "тональной компрессией"), регулировки яркости, контрастности и цвета, а также логику масштабирования для масштабирования данных изображения до требуемого размера или разрешения (например, на основе разрешения выходного устройства отображения). Дополнительно, логика 120 окончательной обработки ISP также может включать в себя логику обнаружения признаков для обнаружения определенных признаков в данных изображения. Например, в одном варианте осуществления, логика обнаружения признаков может включать в себя логику обнаружения лиц, выполненную с возможностью идентифицировать области, в которых лица и/или черты лица находятся и/или размещаются внутри данных изображения. Данные обнаружения черт лица могут быть поданы в блок обработки предварительной статистики в качестве данных обратной связи для определения статистики автоматического баланса белого, автофокусировки, мерцания и автоматической установки экспозиции. Например, блоки обработки статистики в предварительной обработке 80 ISP (пояснена подробнее ниже на фиг. 68-97) могут быть выполнены с возможностью выбирать окна для статистической обработки на основе определенных положений лиц и/или черт лица в данных изображения.

[00186] В некоторых вариантах осуществления, данные обнаружения черт лица, в дополнение или вместо возврата в контур управления с обратной связью по статистике предварительной обработки ISP, также могут предоставляться, по меньшей мере, в одно из логики обработки локальной тональной компрессии, блока обработки статистики окончательной обработки ISP или блока 118 кодера/декодера. Как пояснено дополнительно ниже, данные обнаружения черт лица, предоставляемые в блок обработки окончательной статистики, могут быть использованы для того, чтобы управлять параметрами квантования. Например, при кодировании или сжатии данных выходных изображений (например, в макроблоках) квантование может быть уменьшено для областей изображения, для которых определено, что они включают в себя лица и/или черты лица, тем самым повышая визуальное качество лиц и черт лица, когда изображение отображается и просматривается пользователем.

[00187] В дополнительных вариантах осуществления, логика обнаружения признаков также может быть выполнена с возможностью обнаруживать положения углов объектов в кадре изображения. Эти данные могут быть использованы для того, чтобы идентифицировать положение признаков в последовательных кадрах изображения, чтобы определять оценку глобального движения между кадрами, которая может быть использована для того, чтобы выполнять определенные операции обработки изображений, к примеру, регистрацию изображения. В одном варианте осуществления, идентификация угловых признаков и т.п. может быть, в частности, полезной для алгоритмов, которые комбинируют несколько кадров изображения, к примеру, в определенных алгоритмах формирования изображения в расширенном динамическом диапазоне (HDR), а также определенных алгоритмах сшивки панорамных изображений.

[00188] Дополнительно, как показано на фиг. 8, данные изображения, обработанные посредством логики 120 окончательной обработки ISP, могут выводиться (сигнал 126) в устройство 28 отображения для просмотра пользователем и/или дополнительно могут обрабатываться посредством машины графики или ГП. Дополнительно, вывод из логики 120 окончательной обработки ISP может отправляться в память 108 (сигнал 122), и дисплей 28 может считывать данные изображения из памяти 108 (сигнал 116), которая, в конкретных вариантах осуществления, может быть выполнена с возможностью реализовывать один или более буферов кадров. В проиллюстрированном варианте осуществления, вывод логики 120 окончательной обработки ISP также может предоставляться в механизм 118 сжатия/восстановления (сигнал 117) для кодирования/декодирования данных изображения для хранения и последующего воспроизведения, как, в общем, пояснено выше на фиг. 7. В дополнительных вариантах осуществления, подсистема 32 ISP по фиг. 8 может иметь вариант обхода блока 120 окончательной обработки ISP. В таких вариантах осуществления, если блок окончательной обработки 120 обходится, подсистема 32 ISP по фиг. 8 может работать способом, аналогичным способу, показанному на фиг. 7, т.е. вывод конвейера 82 ISP отправляется напрямую/косвенно в одно или более из памяти 108, кодера/декодера 118 или дисплея 28.

[00189] Технологии обработки изображений, изображенные в вариантах осуществления, показанных на фиг. 7 и фиг. 8, в общем, могут обобщаться посредством способа 130, изображаемого посредством блок-схемы последовательности операций способа на фиг. 9. Как показано, способ 130 начинается на этапе 132, на котором первичные данные изображения (например, данные байеровского шаблона) принимаются с использованием интерфейса датчика из датчика изображения (например, 90). На этапе 134, первичные данные изображения, принятые на этапе 132, обрабатываются с использованием логики 80 предварительной обработки ISP. Как упомянуто выше, логика 80 предварительной обработки ISP может быть выполнена с возможностью применять временную фильтрацию, фильтрацию компенсации биннинга. Затем на этапе 136, первичные данные изображения, обработанные посредством логики 80 предварительной обработки ISP, дополнительно могут обрабатываться посредством конвейера 82 ISP, который может выполнять различные этапы обработки, чтобы выполнять операцию демозаики первичных данных изображения в полноцветные RGB-данные и дополнительно преобразовывать цветовые RGB-данные в цветовое YUV- или YC1C2-пространство (где C1 и C2 представляют разностные цвета с различной цветностью, при этом C1 и C2 могут представлять цветность разности синего (Cb) и разности красного (Cr) в одном варианте осуществления).

[00190] От этапа 136 способ 130 может переходить к этапу 138 или к этапу 160. Например, в варианте осуществления (фиг. 7), в котором вывод конвейера 82 ISP предоставляется в устройство 28 отображения, способ 130 переходит к этапу 140, на котором данные YC1C2-изображения отображаются с использованием устройства 28 отображения (или отправляются из конвейера 82 ISP в память 108). Альтернативно, в варианте осуществления, в котором вывод конвейера 82 ISP постобрабатывается посредством блока 120 окончательной обработки ISP (фиг. 8), способ 130 может переходить от этапа 136 к этапу 138, на котором YC1C2-вывод конвейера 82 ISP обрабатывается с использованием логики 120 окончательной обработки ISP перед отображением посредством устройства отображения на этапе 140.

[00191] Вследствие, в общем, сложной структуры схемы 32 обработки изображений, показанной в данном документе, может быть преимущественным разделять пояснение логики 80 предварительной обработки ISP, логики 82 конвейерной обработки ISP (или конвейера ISP) и логики 120 окончательной обработки ISP на отдельные разделы, как показано ниже. В частности, фиг. 10-97 настоящей заявки могут относиться к пояснению различных вариантов осуществления и аспектов логики 80 предварительной обработки ISP, фиг. 98-133 настоящей заявки могут относиться к пояснению различных вариантов осуществления и аспектов логики 82 конвейерной обработки ISP, а фиг. 134-142 могут относиться к пояснению различных вариантов осуществления и аспектов логики 120 окончательной обработки ISP.

Логика предварительной обработки ISP

[00192] На фиг. 10 показана более детализированная блок-схема, демонстрирующая функциональные логические блоки, которые можно реализовать в логике 80 предварительной обработки ISP, в соответствии с одним вариантом осуществления. В зависимости от конфигурации устройства 30 формирования изображения и/или интерфейса 94 датчика, как рассмотрено выше на фиг. 7, первичные данные изображения могут передаваться логике 80 предварительной обработки ISP одним или более датчиками 90 изображения. В представленном варианте осуществления, первичные данные изображения могут передаваться логике 80 предварительной обработки ISP первым датчиком 90a изображения (Sensor0) и вторым датчиком 90b изображения (Sensor1). Как будет дополнительно описано ниже, каждый датчик 90a и 90b изображения может быть сконфигурирован для применения биннинга к данным изображения с полным разрешением для повышения отношения сигнал/шум сигнала изображения. Например, можно применять метод биннинга, например биннинг 2×2, который может интерполировать "подвергнутый биннингу" первичный пиксель изображения на основании четырех пикселей изображения с полным разрешением одного и того же цвета. В одном варианте осуществления, это может приводить к тому, что четыре накопленных компоненты сигнала, связанные с подвергнутым биннингу пикселем, соответствуют одной шумовой компоненте, что повышает отношение сигнал-шум данных изображения, но снижает общее разрешение. Дополнительно, биннинг также может приводить к неравномерной или неоднородной пространственной дискретизации данных изображения, которую можно корректировать с использованием фильтрации с компенсацией биннинга, которая будет более подробно рассмотрена ниже.

[00193] Как показано, датчики 90a и 90b изображения могут обеспечивать первичные данные изображения как сигналы Sif0 и Sif1, соответственно. Каждый из датчиков 90a и 90b изображения, в общем случае, может быть связан с соответствующими блоками 142 (StatsPipe0) и 144 (StatsPipe1) статистической обработки, которые могут быть сконфигурированы для обработки данных изображения для определения одного или более наборов статистики (указанных сигналами Stats0 и Stats1), включающих в себя статистику, относящуюся к автоматической установке экспозиции, автоматическому балансу белого, автофокусировке, обнаружению мерцания, компенсации уровня черного и коррекции затенения объектива и т.д. В некоторых вариантах осуществления, когда только один из датчиков 90a или 90b активно получает изображение, данные изображения могут отправляться на оба StatsPipe0 и StatsPipe1, если нужна дополнительная статистика. Например, для обеспечения одного примера, если оба StatsPipe0 и StatsPipe1 доступны, StatsPipe0 можно использовать для сбора статистики для одного цветового пространства (например, RGB), и StatsPipe1 можно использовать для сбора статистики для другого цветового пространства (например, YUV или YCbCr). Таким образом, блоки 142 и 144 статистической обработки могут действовать параллельно для сбора множественных наборов статистики для каждого кадра данных изображения, полученного активным датчиком.

[00194] В настоящем варианте осуществления, пять асинхронных источников данных предоставлено в устройстве 80 предварительной обработки ISP. Они включают в себя: (1) прямой ввод из интерфейса датчика, соответствующего Sensor0 (90a) (именуемый Sif0 или Sens0), (2) прямой ввод из интерфейса датчика, соответствующего Sensor1 (90b) (именуемый Sif1 или Sens1), (3) ввод данных Sensor0 из памяти 108 (именуемый SifIn0 или Sens0DMA), который может включать в себя интерфейс DMA, (4) ввод данных Sensor1 из памяти 108 (именуемый SifIn1 или Sens1DMA), и (5) набор данных изображения с кадрами из ввода данных Sensor0 и Sensor1, извлеченными из памяти 108 (именуемый FeProcIn или ProcInDMA). Устройство 80 предварительной обработки ISP также может включать в себя множественные пункты назначения, куда могут маршрутизироваться данные изображения из источников, причем каждый пункт назначения может представлять собой, либо ячейку хранения в памяти (например, в 108), либо блок обработки. Например, в настоящем варианте осуществления, устройство 80 предварительной обработки ISP включает в себя шесть пунктов назначения: (1) Sif0DMA для приема данных Sensor0 в памяти 108, (2) Sif1DMA для приема данных Sensor1 в памяти 108, (3) первый блок 142 статистической обработки (StatsPipe0), (4) второй блок 144 статистической обработки (StatsPipe1), (5) блок 150 предварительной обработки пикселей (FEProc), и (6) FeOut (или FEProcOut) в память 108 или конвейер 82 ISP (более подробно рассмотренный ниже). В одном варианте осуществления, устройство 80 предварительной обработки ISP может быть сконфигурировано таким образом, что только некоторые пункты назначения действительны для конкретного источника, как показано в нижеприведенной таблице 1.

Таблица 1
Пример действительных пунктов назначения устройства предварительной обработки ISP для каждого источника   SIf0
DMA SIf1
DMA StatsPipe0 StatsPipe1 FEProc FEOut Sens0 X   X X X X Sens1   X X X X X Sens0DMA     X       Sens1DMA       X     ProcInDMA         X X

[00195] Например, в соответствии с таблицей 1, источник Sens0 (интерфейс датчика Sensor0) может быть сконфигурирован для передачи данных в пункты назначения SIf0DMA (сигнал 154), StatsPipe0 (сигнал 156), StatsPipe1 (сигнал 158), FEProc (сигнал 160) или FEOut (сигнал 162). В отношении FEOut, данные источника, в ряде случаев, могут поступать FEOut для обхода обработки пикселей посредством FEProc, например в целях отладки или тестирования. Дополнительно, источник Sens1 (интерфейс датчика Sensor1) может быть сконфигурирован для передачи данных в пункты назначения SIf1DMA (сигнал 164), StatsPipe0 (сигнал 166), StatsPipe1 (сигнал 168), FEProc (сигнал 170) или FEOut (сигнал 172), источник Sens0DMA (данные Sensor0 из памяти 108) может быть сконфигурирован для передачи данных на StatsPipe0 (сигнал 174), источник Sens1DMA (данные Sensor1 из памяти 108) может быть сконфигурирован для передачи данных на StatsPipe1 (сигнал 176), и ProcInDMA источника (данные Sensor0 и Sensor1 из памяти 108) может быть сконфигурирован для передачи данных на FEProc (сигнал 178) и FEOut (сигнал 182).

[00196] Следует отметить, что проиллюстрированный здесь вариант осуществления сконфигурирован таким образом, что Sens0DMA (кадры Sensor0 из памяти 108) и Sens1DMA (кадры Sensor1 из памяти 108) поступают только на StatsPipe0 и StatesPipe1, соответственно. Эта конфигурация позволяет устройству 80 предварительной обработки ISP сохранять некоторое количество предыдущих кадров (например, 5 кадров) в памяти. Например, вследствие задержки или отставания между моментом, когда пользователь инициирует событие захвата (например, переход системы формирования изображения из режима предварительного просмотра в режим захвата или записи, или даже просто включение или инициализация датчика изображения) с использованием датчика изображения и моментом захвата сцены изображения, не каждый кадр, который пользователь намеревался захватить, может захватываться и обрабатываться, по существу, в реальном времени. Таким образом, благодаря сохранению некоторого количества предыдущих кадров в памяти 108 (например, из фазы предварительного просмотра), эти предыдущие кадры можно обрабатывать позже или совместно с кадрами, фактически захваченными в ответ на событие захвата, таким образом, компенсируя любое такое отставание и обеспечивая более полный массив данных изображения.

[00197] В отношении конфигурации, проиллюстрированной на фиг. 10, следует отметить, что StatsPipe0 142 сконфигурирован для приема одного из вводов 156 (от Sens0), 166 (от Sens1) и 174 (от Sens0DMA), определяемых логикой 146 выбора, например мультиплексором. Аналогично, логика 148 выбора может выбирать ввод из сигналов 158, 176 и 168 для подачи на StatsPipe1, и логика 152 выбора может выбирать ввод из сигналов 160, 170 и 178 для подачи на FEProc. Как упомянуто выше, статистические данные (Stats0 и Stats1) могут передаваться управляющей логике 84 для определения различных параметров управления, которые можно использовать для эксплуатации устройства 30 формирования изображения и/или логики 82 конвейерной обработки ISP. Очевидно, что логические блоки (146, 148 и 152) выбора, показанные на фиг. 10, могут быть предоставлены любым пригодным типом логики, например мультиплексором, который выбирает один из множественных входных сигналов в ответ на сигнал управления.

[00198] Блок 150 обработки пикселей (FEProc) может быть сконфигурирован для осуществления различных операций обработки изображений на первичных данных изображения на попиксельной основе. Как показано, FEProc 150, в качестве блока обработки назначения, может принимать данные изображения из источников Sens0 (сигнал 160), Sens1 (сигнал 170) или ProcInDMA (сигнал 178) посредством логики 152 выбора. FEProc 150 также может принимать и выводить различные сигналы (например, Rin, Hin, Hout и Yout, которые могут представлять историю движения и данные яркости, используемые в ходе временной фильтрации) при осуществлении операций обработки пикселей, которые могут включать в себя временную фильтрацию и фильтрацию с компенсацией биннинга, которая будет дополнительно описана ниже. Выходной сигнал 109 (FEProcOut) блока 150 обработки пикселей затем может перенаправляться на логику 82 конвейера ISP, например, через одну или более очередей «первым вошел, первым вышел» (FIFO), или может отправляться в память 108.

[00199] Кроме того, как показано на фиг. 10, логика 152 выбора, помимо приема сигналов 160, 170 и 178, может дополнительно принимать сигналы 180 и 184. Сигнал 180 может быть представлен "предварительно обработанными" первичными данными изображения из StatsPipe0, и сигнал 184 может представлять "предварительно обработанные" первичные данные изображения из StatsPipe1. Как будет рассмотрено ниже, каждый из блоков статистической обработки может применять одну или более операций предварительной обработки к первичным данным изображения до сбора статистики. В одном варианте осуществления, каждый из блоков статистической обработки может осуществлять степень обнаружения/коррекции дефектных пикселей, коррекции затенения объектива, компенсации уровня черного и обратной компенсации уровня черного. Таким образом, сигналы 180 и 184 могут представлять первичные данные изображения, обработанные с использованием вышеупомянутых операций предварительной обработки (что будет более подробно рассмотрено ниже на фиг. 68). Таким образом, логика 152 выбора придает логике 80 предварительной обработки ISP гибкость в предоставлении, либо первичных данных изображения, не прошедших предварительной обработки, из Sensor0 (сигнал 160) и Sensor1 (сигнал 170), либо предварительно обработанных первичных данных изображения из StatsPipe0 (сигнал 180) и StatsPipe1 (сигнал 184). Дополнительно, как указано логическими блоками 186 и 188 выбора, логика 80 предварительной обработки ISP также обладает гибкостью, либо в записи первичных данных изображения, не прошедших предварительной обработки, из Sensor0 (сигнал 154) или Sensor1 (сигнал 164) в память 108, либо в записи предварительно обработанных первичных данных изображения из StatsPipe0 (сигнал 180) или StatsPipe1 (сигнал 184) в память 108.

[00200] Для управления работой логики 80 предварительной обработки ISP, предоставлен блок 190 управления предварительной обработкой. Блок 190 управления может быть сконфигурирован для инициализации и программирования регистров управления (именуемых здесь "стартовые регистры") для конфигурирования и запуска обработки кадра изображения и для выбора надлежащего(их) банка(ов) регистров для обновления дважды буферизованных регистров данных. В некоторых вариантах осуществления, блок 190 управления также может обеспечивать логику контроля производительности для регистрации периодов тактового сигнала, времени ожидания при обращении к памяти и информации качества обслуживания (QOS). Кроме того, блок 190 управления также может управлять динамическим стробированием тактового сигнала, которое можно использовать для отключения подачи тактового сигнала на один или более участков устройства 0 предварительной обработки ISP в отсутствие достаточного объема данных во входной очереди из активного датчика.

[00201] Использование вышеупомянутых "стартовых регистров" позволяет блоку 190 управления управлять обновлением различных параметров для каждого из блоков обработки (например, StatsPipe0, StatsPipe1 и FEProc) и взаимодействовать с интерфейсами датчиков для управления запуском и остановкой блоков обработки. В общем случае каждый из блоков предварительной обработки действует на покадровой основе. Как рассмотрено выше (таблица 1), ввод в блоки обработки может осуществляться из интерфейса датчика (Sens0 или Sens1) или из памяти 108. Кроме того, блоки обработки могут использовать различные параметры и данные конфигурации, которые могут храниться в соответствующих регистрах данных. В одном варианте осуществления, регистры данных, связанные с каждым блоком обработки или пунктом назначения, могут группироваться в блоки, образующие группу банков регистров. Согласно варианту осуществления, показанному на фиг. 10, в устройстве предварительной обработки ISP можно задать семь групп банков регистров: SIf0, SIf1, StatsPipe0, StatsPipe1, ProcPipe, FEOut и ProcIn. Адресное пространство каждого блока регистров дублируется для предоставления двух банков регистров. Во втором банке представлены только дважды буферизованные регистры. Если регистр не является дважды буферизованным, адрес во втором банке может отображаться в адрес того же регистра в первом банке.

[00202] Для дважды буферизованных регистров, регистры из одного банка активны и используются блоками обработки, тогда как регистры из другого банка являются теневыми. Теневой регистр может обновляться блоком 190 управления в течение текущего кадрового интервала, в то время как оборудование использует активные регистры. Определение, какой банк использовать для конкретного блока обработки в конкретном кадре, может задаваться полем "NextBk" (следующий банк) в стартовом регистре, соответствующем источнику, откуда данные изображения поступают на блок обработки. По существу, NextBk является полем, которое позволяет блоку 190 управления решать, какой банк регистров становится активным по событию запуска для последующего кадра.

[00203] Прежде чем перейти к подробному рассмотрению работы стартовых регистров, рассмотрим представленный на фиг. 11 общий способ 200 обработки данных изображения на покадровой основе в соответствии с настоящим изобретением. Начиная с этапа 202, блоки обработки назначения, указанные источником данные (например, Sens0, Sens1, Sens0DMA, Sens1DMA или ProcInDMA), входят в неактивное состояние. Это может свидетельствовать о том, что обработка для текущего кадра завершена, и, таким образом, блок 190 управления может готовиться к обработке следующего кадра. Например, на этапе 204, программируемые параметры для каждого блока обработки назначения обновляются. Этот этап может включать в себя, например, обновление поля NextBk в стартовом регистре, соответствующем источнику, а также обновление любых параметров в регистрах данных, соответствующих блокам назначения. После этого, на этапе 206, событие запуска может переводить блоки назначения в рабочее состояние. Кроме того, как показано на этапе 208, каждый блок назначения, указанный источником, заканчивает свои операции обработки для текущего кадра, и затем способ 200 может вернуться к этапу 202 для обработки следующего кадра.

[00204] На фиг. 12 изображена блок-схема, демонстрирующая два банка регистров 210 и 212 данных, которые могут использоваться различными блоками назначения устройства предварительной обработки ISP. Например, банк 0 (210) может включать в себя регистры 1-n (210a-210d) данных, и банк 1 (212) может включать в себя регистры 1-n (212a-212d) данных. Как рассмотрено выше, вариант осуществления, показанный на фиг. 10, может использовать банк регистров (банк 0), имеющий семь групп банков регистров (например, SIf0, SIf1, StatsPipe0, StatsPipe1, ProcPipe, FEOut и ProcIn). Таким образом, в таком варианте осуществления, адресное пространство блока регистров каждого регистра дублируется для предоставления второго банка регистров (банк 1).

[00205] Фиг. 12 также иллюстрирует стартовый регистр 214, который может соответствовать одному из источников. Как показано, стартовый регистр 214 включает в себя поле 216 "NextVld" и вышеупомянутое поле 218 "NextBk". Эти поля можно программировать до запуска обработки текущего кадра. В частности, NextVld может указывать пункт(ы) назначения, куда должны направляться данные из источника. Как рассмотрено выше, NextBk может выбирать соответствующий регистр данных из Bank0 или Bank1 для каждого указанного пункта назначения, который указан в NextVld. Хотя это не показано на фиг. 12, стартовый регистр 214 также может включать в себя бит готовности, именуемый здесь "стартовый бит", который может быть задан для приведения в готовность стартового регистра. При обнаружении события 226 запуска для текущего кадра, NextVld и NextBk могут копироваться в поле 222 CurrVld и поле 224 CurrBk соответствующего текущего или "активного" регистра 220. В одном варианте осуществления, текущий(е) регистр(ы) 220 могут быть регистрами только для чтения, которые могут устанавливаться оборудованием, оставаясь недоступными для команд программного обеспечения в устройстве 80 предварительной обработки ISP.

[00206] Очевидно, что, для каждого источника предварительной обработки ISP можно обеспечить соответствующий стартовый регистр. В целях этого раскрытия, стартовые регистры, соответствующие рассмотренным выше источникам Sens0, Sens1, Sens0DMA, Sens1DMA, и ProcInDMA, могут именоваться Sens0Go, Sens1Go, Sens0DMAGo, Sens1DMAGo и ProcInDMAGo, соответственно. Как упомянуто выше, блок управления может использовать стартовые регистры для управления установлением последовательности обработки кадров в устройстве 80 предварительной обработки ISP. Каждый стартовый регистр содержит поле NextVld и поле NextBk для указания, какие пункты назначения будут действительными, и какой банк регистров (0 или 1) будет использоваться, соответственно, для следующего кадра. Когда происходит событие 226 запуска следующего кадра, поля NextVld и NextBk копируются в соответствующий активный регистр 220 только для чтения, который указывает текущие действительные пункты назначения и номера банков, как показано выше на фиг. 12. Каждый источник может быть сконфигурирован для асинхронного действия и может отправлять данные в любой из своих действительных пунктов назначения. Кроме того, следует понимать, что для каждого пункта назначения, в общем случае только один источник может быть активным в текущем кадре.

[00207] В отношении приведения в готовность и запуска стартового регистра 214, объявление бита готовности или "стартового бита" в стартовом регистре 214 приводит в готовность соответствующий источник с помощью соответствующих полей NextVld и NextBk. Для запуска доступны различные режимы в зависимости от того, считываются ли входные данные источника из памяти (например, Sens0DMA, Sens1DMA или ProcInDMA), или входные данные источника поступают из интерфейса датчика (например, Sens0 или Sens1). Например, если ввод осуществляется из памяти 108, само по себе приведение в готовность стартового бита может служить событием запуска, поскольку блок 190 управления получает управление, когда данные считываются из памяти 108. Если кадры изображения вводятся интерфейсом датчика, то событие запуска может зависеть от тактирования приведения в готовность соответствующего стартового регистра относительно времени приема данных из интерфейса датчика. В соответствии с настоящим вариантом осуществления, на фиг. 13-15 показаны три разных подхода к тактированию запуска из ввода интерфейса датчика.

[00208] На фиг. 13 проиллюстрирован первый сценарий, в котором запуск происходит после перехода всех пунктов назначения, указанных источником, из занятого или рабочего состояния в неактивное состояние. В данном случае, сигнал данных VVALID (228) представляет сигнал данных изображения от источника. Импульс 230 представляет текущий кадр данных изображения, импульс 236 представляет следующий кадр данных изображения, и интервал 232 представляет вертикальный интервал гашения (VBLANK) 232 (например, представляет промежуток времени между последней строкой текущего кадра 230 и следующим кадром 236). Промежуток времени между передним фронтом и задним фронтом импульса 230 представляет кадровый интервал 234. Таким образом, согласно фиг. 13, источник может быть сконфигурирован для осуществления запуска, когда все указанные пункты назначения закончат операции обработки на текущем кадре 230 и перейдут в неактивное состояние. В этом сценарии, источник приводится в готовность (например, путем задания бита готовности или "стартового" бита) до того, как пункты назначения завершат обработку, благодаря чему, источник может запускать и инициировать обработку следующего кадра 236, как только указанные пункты назначения перейдут в неактивное состояние. В течение вертикального интервала 232 гашения блоки обработки можно устанавливать и конфигурировать для следующего кадра 236 с использованием банков регистров, заданных стартовым регистром, соответствующим источнику, до поступления входных данных датчика. Исключительно в порядке примера, буферы чтения, используемые FEProc 150 могут наполняться до поступления следующего кадра 236. В этом случае, теневые регистры, соответствующие активным банкам регистров, могут обновляться после события запуска, таким образом, позволяя полному кадровому интервалу устанавливать дважды буферизованные регистры для следующего кадра (например, после кадра 236).

[00209] Фиг. 14 иллюстрирует второй сценарий, в котором источник запускается путем приведения в готовность стартового бита в стартовом регистре, соответствующем источнику. В этой конфигурация "запуск-включение-старт", блоки назначения, указанные источником, уже неактивны, и приведение в готовность стартового бита является событием запуска. Этот режим запуска можно использовать для регистров, которые не являются дважды буферизованными и, таким образом, обновляются в течение вертикального интервала гашения (например, в отличие от обновления дважды буферизованного теневого регистра в течение кадрового интервала 234).

[00210] Фиг. 15 иллюстрирует третий режим запуска, в котором источник запускается после обнаружения начала следующего кадра, т.е. растущего VSYNC. Однако следует отметить, что в этом режиме, если стартовый регистр приводится в готовность (путем задания стартового бита) после того, как следующий кадр 236 уже начал обработку, источник будет использовать целевые пункты назначения и банки регистров, соответствующие предыдущему кадру, поскольку поля CurrVld и CurrBk не обновляются до того, как пункт назначения начинает обработку. Это не оставляет ни одного вертикального интервала гашения для установления блоков обработки назначения и может потенциально приводить к сбросу кадров, в частности при работе в двухдатчиковом режиме. Однако следует отметить, что этот режим, тем не менее, может приводить к точной работе, если схема 32 обработки изображений работает в однодатчиковом режиме, который использует одни и те же банки регистров для каждого кадра (например, пункт назначения (NextVld) и банки регистров (NextBk) не изменяются).

[00211] Регистр 214 управления (или "стартовый регистр") более подробно проиллюстрирован со ссылкой на фиг. 16. Стартовый регистр 214 включает в себя "стартовый" бит 238 готовности, а также поле 216 NextVld и поле 218 NextBk. Как рассмотрено выше, каждый источник (например, Sens0, Sens1, Sens0DMA, Sens1DMA или ProcInDMA) устройства 80 предварительной обработки ISP может иметь соответствующий стартовый регистр 214. В одном варианте осуществления, стартовый бит 238 может быть однобитовым полем, и стартовый регистр 214 может приводиться в готовность путем задания стартового бита 238 равным 1. Поле 216 NextVld может содержать некоторое количество битов, соответствующее количеству пунктов назначения в устройстве 80 предварительной обработки ISP. Например, согласно варианту осуществления, показанному на фиг. 10, устройство предварительной обработки ISP включает в себя шесть пунктов назначения: Sif0DMA, Sif1DMA, StatsPipe0, StatsPipe1, FEProc и FEOut. Таким образом, стартовый регистр 214 может включать в себя шесть битов в поле 216 NextVld, причем каждому пункту назначения соответствует один бит, и указанные пункты назначения заданы равными 1. Аналогично, поле 218 NextBk может содержать некоторое количество битов, соответствующее количеству регистров данных в устройстве 80 предварительной обработки ISP. Например, как рассмотрено выше, вариант осуществления устройства 80 предварительной обработки ISP, показанный на фиг. 10 может включать в себя семь регистров данных: SIf0, SIf1, StatsPipe0, StatsPipe1, ProcPipe, FEOut и ProcIn. Соответственно, поле 218 NextBk может включать в себя семь битов, причем каждому регистру данных соответствует один бит, и регистры данных, соответствующие банку 0 и 1, выбираются путем задания их соответствующих битовых значений равными 0 или 1, соответственно. Таким образом, используя стартовый регистр 214, источник, после запуска, точно знает, какие блоки назначения служат для приема данных кадра, и какие банки регистров должны использоваться для конфигурирования указанных блоков назначения.

[00212] Дополнительно, благодаря двухдатчиковой конфигурации, поддерживаемой схемой 32 ISP, устройство предварительной обработки ISP может действовать в режиме однодатчиковой конфигурации (например, данные получает только один датчик) и в режиме двухдатчиковой конфигурации (например, данные получают оба датчика). В типичной однодатчиковой конфигурации, входные данные из интерфейса датчика, например Sens0, передаются в StatsPipe0 (для статистической обработки) и FEProc (для обработки пикселей). Кроме того, кадры датчика также могут передаваться в память (SIf0DMA) для дальнейшей обработки, что рассмотрено выше.

[00213] Пример того, как поля NextVld, соответствующие каждому источнику устройства 80 предварительной обработки ISP, могут быть сконфигурированы при работе в однодатчиковом режиме, представлен ниже в таблице 2.

Таблица 2
Пример NextVld для каждого источника: однодатчиковый режим   SIf0DMA SIf1DMA StatsPipe0 StatsPipe1 FEProc FEOut Sens0Go 1 X 1 0 1 0 Sens1Go X 0 0 0 0 0 Sens0DMAGo X X 0 X X X Sens1DMAGo X X X 0 X X ProcInDMAGo X X X X 0 0

Как рассмотрено выше со ссылкой на таблицу 1, устройство 80 предварительной обработки ISP может быть сконфигурировано таким образом, что только некоторые пункты назначения действительны для конкретного источника. Таким образом, пункты назначения в таблице 2 помеченные "X" предназначены для указания, что устройство 80 предварительной обработки ISP не сконфигурировано позволять конкретному источнику отправлять данные кадра в этот пункт назначения. Для таких пунктов назначения, биты поля NextVld конкретного источника, соответствующего этому пункту назначения, всегда могут быть равны 0. Однако следует понимать, что это всего лишь один вариант осуществления и, в действительности, в других вариантах осуществления, устройство 80 предварительной обработки ISP может быть сконфигурировано таким образом, что каждый источник способен указывать каждый доступный блок назначения.

[00214] Конфигурация, показанная выше в таблице 2, представляет однодатчиковый режим, в котором только Sensor0 обеспечивает данные кадра. Например, регистр Sens0Go указывает пункты назначения как SIf0DMA, StatsPipe0 и FEProc. Таким образом, при запуске, каждый кадр данных изображения Sensor0, передается в эти три пункта назначения. Как рассмотрено выше, SIf0DMA может сохранять кадры в памяти 108 для дальнейшей обработки, StatsPipe0 применяет статистическую обработку для определения различных точек статистических данных, и FEProc обрабатывает кадр с использованием, например, временной фильтрации и фильтрации с компенсацией биннинга. Кроме того, в некоторых конфигурациях, где желательна дополнительная статистика (например, статистика в разных цветовых пространствах), StatsPipe1 также может активироваться (соответствующее NextVld устанавливается равным 1) в однодатчиковом режиме. В таких вариантах осуществления, данные кадра Sensor0 передаются на StatsPipe0 и StatsPipe1. Кроме того, как показано в настоящем варианте осуществления, только один интерфейс датчика (например, Sens0 или, альтернативно, Sen0) является единственным активным источником в однодатчиковом режиме.

[00215] На основании вышеизложенного, на фиг. 17 представлена блок-схема последовательности операций способа, изображающая способ 240 обработки данных кадра в устройстве 80 предварительной обработки ISP, когда активен только один датчик (например, датчик 0). Хотя способ 240 иллюстрирует, в частности, обработку данных кадра Sensor0 посредством FEProc 150 в порядке примера, следует понимать, что этот процесс может применяться к любому другому источнику и соответствующему блоку назначения в устройстве 80 предварительной обработки ISP. Начиная с этапа 242, Sensor0 начинает получать данные изображения и передавать захваченные кадры устройству 80 предварительной обработки ISP. Блок 190 управления может инициализировать программирование стартового регистра, соответствующего Sens0 (интерфейсу Sensor0) для определения целевых пунктов назначения (включающих в себя FEProc) и какие регистры банка использовать, как показано на этапе 244. После этого, логика 246 принятия решения определяет, произошло ли событие запуска источника. Как рассмотрено выше, при вводе данных кадра из интерфейса датчика можно использовать разные режимы запуска (фиг. 13-15). Если событие запуска не обнаружено, процесс 240 продолжает ожидать запуска. Когда происходит запуск, следующий кадр становится текущим кадром и передается на FEProc (и другие целевые пункты назначения) для обработки на этапе 248. FEProc может быть сконфигурирован с использованием параметров данных на основании соответствующего регистра данных (ProcPipe), указанного в поле NextBk регистра Sens0Go. По завершении обработки текущего кадра на этапе 250, способ 240 может вернуться к этапу 244, на котором регистр Sens0Go программируется для следующего кадра.

[00216] Когда оба Sensor0 и Sensor1 устройства 80 предварительной обработки ISP активны, статистическая обработка остается, в общем случае, прямой, поскольку входной сигнал каждого датчика может обрабатываться соответствующим блоком статистики, StatsPipe0 и StatsPipe1. Однако, поскольку проиллюстрированный вариант осуществления устройства 80 предварительной обработки ISP предусматривает только один блок обработки пикселей (FEProc), FEProc может быть сконфигурирован для попеременной обработки кадров, соответствующих входным данным Sensor0, и кадров, соответствующих входным данным Sensor1. Очевидно, что кадры изображения считываются из FEProc в проиллюстрированном варианте осуществления во избежание условия, в котором данные изображения от одного датчика обрабатываются в реальном времени, тогда как данные изображения от другого датчика не обрабатываются в реальном времени. Например, как показано ниже в таблице 3, где представлена одна возможная конфигурация полей NextVld в стартовых регистрах для каждого источника, когда устройство 80 предварительной обработки ISP работает в двухдатчиковом режиме, входные данные от каждого датчика передаются в память (SIf0DMA и SIf1DMA) и на соответствующий блок статистической обработки (StatsPipe0 и StatsPipe1).

Таблица 3
Пример NextVld для каждого источника: двухдатчиковый режим   SIf0DMA SIf1DMA StatsPipe0 StatsPipe1 FEProc FEOut Sens0Go 1 X 1 0 0 0 Sens1Go X 1 0 1 0 0 Sens0DMAGo X X 0 X X X Sens1DMAGo X X X 0 X X ProcInDMAGo X X X X 1 0

[00217] Кадры датчика в памяти отправляются на FEProc из источника ProcInDMA, таким образом, что они переключаются между Sensor0 и Sensor1 с частотой на основании их соответствующих частот кадров. Например, если Sensor0 и Sensor1 оба получают данные изображения с частотой 30 кадров в секунду (кадр/с), то их кадры датчика могут перемежаться по одному. Если Sensor0 (30 кадр/с) получает данные изображения со вдвое большей частотой, чем Sensor1 (15 кадр/с), то перемежение может осуществляться, например, в режиме 2 к 1. Таким образом, два кадра данных Sensor0 считываются из памяти для каждого кадра данных Sensor1.

[00218] На основании вышеизложенного, фиг. 18 изображает способ 252 обработки данных кадра в устройстве 80 предварительной обработки ISP, имеющей два датчика, одновременно получающих данные изображения. На этапе 254, Sensor0 и Sensor1 начинают получать кадры изображения. Очевидно, что Sensor0 и Sensor1 могут получать кадры изображения с использованием разных частот кадров, разрешений и т.д. На этапе 256, кадры, полученные от Sensor0 и Sensor1, записываются в память 108 (например, с использованием пунктов назначения SIf0DMA и SIf1DMA). Затем, ProcInDMA источника считывает данные кадра из памяти 108 попеременно, как указано на этапе 258. Как рассмотрено, кадры могут перемежаться между данными Sensor0 и данными Sensor1 в зависимости от частоты кадров, на которой происходит получение данных. На этапе 260 из ProcInDMA получается следующий кадр. После этого, на этапе 262, поля NextVld и NextBk стартового регистра, соответствующие источнику, в данном случае ProcInDMA, программируются в зависимости от того, является ли следующий кадр данными Sensor0 или Sensor1. После этого, логика 264 принятия решения определяет, произошло ли событие запуска источника. Как рассмотрено выше, ввод данных из памяти может запускаться путем приведения в готовность стартового бита (например, режим "запуск-включение-старт"). Таким образом, запуск может происходить, когда стартовый бит стартового регистра устанавливается равным 1. Когда происходит запуск, следующий кадр становится текущим кадром и передается на FEProc для обработки на этапе 266. Как рассмотрено выше, FEProc может быть сконфигурирован с использованием параметров данных на основании соответствующего регистра данных (ProcPipe), указанного в поле NextBk регистра ProcInDMAGo. По завершении обработки текущего кадра на этапе 268, способ 252 может вернуться к этапу 260 и продолжиться.

[00219] Дополнительным операционным событием, для обработки которого сконфигурировано устройство 80 предварительной обработки ISP, является смена конфигурации в ходе обработки изображений. Например, такое событие может происходить, когда устройство 80 предварительной обработки ISP переходит от однодатчиковой конфигурации к двухдатчиковой конфигурации или наоборот. Как рассмотрено выше, поля NextVld для некоторых источников могут различаться в зависимости от того, активны ли один или оба датчика изображения. Таким образом, при смене конфигурации датчиков, блок 190 управления предварительной обработкой ISP может освобождать все блоки назначения до того, как они будут указаны новым источником. Это позволяет избегать недействительных конфигураций (например, назначения множественных источников одному пункту назначения). В одном варианте осуществления, освобождение блоков назначения может осуществляться путем задания полей NextVld всех стартовых регистров равными 0, таким образом, деактивации всех пунктов назначения, и приведения в готовность стартового бита. После освобождения блоков назначения, стартовые регистры можно переконфигурировать в зависимости от текущего режима датчиков, и обработка изображений может продолжаться.

[00220] Способ 270 переключения между одно- и двухдатчиковой конфигурациями показан на фиг. 19, в соответствии с одним вариантом осуществления. Начиная с этапа 272, идентифицируется следующий кадр данных изображения из конкретного источника устройства 80 предварительной обработки ISP. На этапе 274, целевые пункты назначения (NextVld) программируются в стартовом регистре, соответствующем источнику. Затем, на этапе 276, в зависимости от целевых пунктов назначения, NextBk программируется для указания верных регистров данных, связанных с целевыми пунктами назначения. После этого, логика 278 принятия решения определяет, произошло ли событие запуска источника. Когда происходит запуск, следующий кадр передается на блоки назначения, указанные NextVld, и обрабатывается блоками назначения с использованием соответствующих регистров данных, указанных NextBk, как показано на этапе 280. Обработка продолжается до этапа 282, на котором обработка текущего кадра завершается.

[00221] Затем, логика 284 принятия решения определяет, изменились ли целевые пункты назначения для источника. Как рассмотрено выше, настройки в NextVld стартовых регистров, соответствующих Sens0 и Sens1, могут изменяться в зависимости от того, активны ли один датчик или два датчика. Например, согласно таблице 2, если только активен Sensor0, данные Sensor0 передаются на SIf0DMA, StatsPipe0 и FEProc. Однако, согласно таблице 3, если активны оба Sensor0 и Sensor1, то данные Sensor0 не передаются непосредственно на FEProc. Вместо этого, как упомянуто выше, данные Sensor0 и Sensor1 записываются в память 108 и считываются в FEProc попеременно ProcInDMA источника. Таким образом, если на логике 284 принятия решения не обнаружено смены целевого пункта назначения, блок 190 управления делает вывод, что конфигурация датчиков не изменилась, и способ 270 возвращается к этапу 276, где поле NextBk стартового регистра источник программируется для указания верных регистров данных для следующего кадра, и продолжается.

[00222] Если же на логике 284 принятия решения обнаружена смена пункта назначения, то блок 190 управления определяет, что произошла смена конфигурации датчиков. Например, это может выражаться в переключении с однодатчикового режима в двухдатчиковый режим, или отключение всех датчиков. Соответственно, способ 270 переходит к этапу 286, на котором все биты полей NextVld для всех стартовых регистров задаются равными 0, таким образом, эффективно блокируется отправка кадров в любой пункт назначения при следующем запуске. Затем, на логике 288 принятия решения, производится определение, все ли блоки назначения перешли в неактивное состояние. Если нет, способ 270 ожидает на логике 288 принятия решения, пока все блоки назначения не завершат свои текущие операции. Затем, на логике 290 принятия решения, производится определение, продолжать ли обработку изображений. Например, если происходит смена пункта назначения, выражающаяся в деактивации обоих Sensor0 и Sensor1, то обработка изображений заканчивается на этапе 292. Однако, если определено, что обработка изображений должна продолжаться, то способ 270 возвращается к этапу 274, и поля NextVld стартовых регистров программируются в соответствии с текущим режимом работы (например, однодатчиковым или двухдатчиковым). Как показано здесь, этапы 284-292 для очистки стартовых регистров и полей пункта назначения можно совместно обозначать ссылочной позицией 294.

[00223] Фиг. 20 демонстрирует дополнительный вариант осуществления посредством блок-схемы последовательности операций способа (способ 296), который предусматривает другой двухдатчиковый режим работы. Способ 296 изображает условие, при котором один датчик (например, Sensor0) активно получает данные изображения и передает кадры изображения на FEProc 150 для обработки, одновременно также передавая кадры изображения в StatsPipe0 и/или память 108 (Sif0DMA), тогда как другой датчик (например, Sensor1) не активен (например, выключен), как показано на этапе 298. Затем логика 300 принятия решения обнаруживает условие, при котором Sensor1 становится активным на следующем кадре для отправки данных изображения на FEProc. Если это условие не выполняется, то способ 296 возвращается к этапу 298. Если же это условие выполняется, то способ 296 переходит к осуществлению действия 294 (совместно этапов 284-292 на фиг. 19), в результате чего, поля пункта назначения источников очищаются и реконфигурируются на этапе 294. Например, на этапе 294, поле NextVld стартового регистра, связанное с Sensor1, можно программировать для указания FEProc в качестве пункта назначения, а также StatsPipe1 и/или памяти (Sif1DMA), тогда как поле NextVld стартового регистра, связанное с Sensor0, можно программировать для очистки FEProc в качестве пункта назначения. В этом варианте осуществления, хотя кадры, захваченные Sensor0, не передаются на FEProc на следующем кадре, Sensor0 может оставаться активным и продолжать отправлять свои кадры изображения в StatsPipe0, как показано на этапе 302, тогда как Sensor1 захватывает и отправляет данные на FEProc для обработки на этапе 304. Таким образом, оба датчика, Sensor0 и Sensor1 могут продолжать работать в этом "двухдатчиковом" режиме, хотя на FEProc для обработки отправляются кадры изображения только от одного датчика. В целях этого примера, датчик, передающий кадры на FEProc для обработки, может именоваться "активным датчиком", датчик, который не передает кадр на FEProc, но все еще отправляет данные на блоки статистической обработки может именоваться "полуактивным датчиком", и датчик, который не получает никаких данных, может именоваться "неактивным датчиком".

[00224] Одно преимущество вышеизложенного подхода состоит в том, что, ввиду продолжения получения статистики для полуактивного датчика (Sensor0), при следующем переходе полуактивного датчика в активное состояние и переходе текущего активного датчика (Sensor1) в полуактивное или неактивное состояние, полуактивный датчик может начать получать данные в одном кадре, поскольку параметры цветового баланса и экспозиции уже могут быть доступными вследствие продолжающегося сбора статистики изображения. Этот подход может именоваться "горячим переключением" датчиков изображения и позволяет избегать недостатков, связанных с "холодными стартами" датчиков изображения (например, запусков в отсутствие доступной статистической информации). Кроме того, для экономии мощности, поскольку каждый источник является асинхронным (как упомянуто выше), полуактивный датчик может действовать на сниженной тактовой частоте и/или частоте кадров в течение полуактивного периода.

[00225] Считается, что перед переходом к более подробному описанию операций обработки статистики и обработки пикселей, изображаемых в логике 80 предварительной обработки ISP по фиг. 10, краткое введение в отношении нескольких типов форматов адресации памяти, которые могут быть использованы в сочетании с текущими раскрытыми технологиями, а также задания различных областей кадра ISP, должно способствовать упрощению понимания настоящего предмета изобретения.

[00226] Обращаясь к фиг. 21 и 22, соответственно, проиллюстрированы режим линейной адресации и режим мозаичной адресации, которые могут применяться к пиксельным данным, принимаемым из датчика(ов) 90 изображения и сохраненным в памяти (например, 108). Проиллюстрированный вариант осуществления может быть основан на запрашиваемом размере блока хост-интерфейса в 64 байта. Следует принимать во внимание, что другие варианты осуществления могут использовать другие запрашиваемые размеры блоков (например, 32 байта, 128 байтов и т.д.). В режиме линейной адресации, показанном на фиг. 21, выборки изображений находятся в памяти в последовательном порядке. Термин "линейный шаг" указывает расстояние в байтах между 2 смежными вертикальными пикселями. В настоящем примере, начальный базовый адрес плоскости совмещается с 64-байтовой границей, и линейный шаг может быть кратным 64 (на основе запрашиваемого размера блока).

[00227] В примере формата мозаичного режима, как показано на фиг. 22, выборки изображений сначала размещаются последовательно в "мозаичных элементах", которые затем последовательно сохраняются в памяти. В проиллюстрированном варианте осуществления, каждый мозаичный элемент может быть 256 байтов в ширину и 16 строк в высоту. Термин "шаг мозаичного элемента" должен пониматься как означающий расстояние в байтах между 2 смежными вертикальными мозаичными элементами. В настоящем примере, начальный базовый адрес плоскости в мозаичном режиме совмещается с 4096-байтовой границей (например, размером мозаичного элемента), и шаг мозаичного элемента может быть кратным 4096.

[00228] Исходя из этого, различные области кадра, которые могут быть заданы в исходном кадре изображения, проиллюстрированы на фиг. 23. Формат для исходного кадра, предоставляемого в схему 32 обработки изображений, может использовать режимы мозаичной или линейной адресации, поясненные выше, как и может использовать пиксельные форматы с 8, 10, 12, 14 или 16-битовой точностью. Исходный кадр 306 изображения, как показано на фиг. 23, может включать в себя область 308 кадра датчика, область 308 первичного кадра, и активную область 310. Кадр 308 датчика, в общем, является максимальным размером кадра, который датчик 90 изображения может предоставлять в схему 32 обработки изображений. Область 310 первичного кадра может задаваться как область кадра 308 датчика, которая отправляется в логику 80 предварительной обработки ISP. Активная область 312 может задаваться как часть исходного кадра 306, типично в области 310 первичного кадра, для которой обработка выполняется для конкретной операции обработки изображений. В соответствии с вариантами осуществления настоящей технологии, эта активная область 312 может быть идентичной или может отличаться для различных операций обработки изображений.

[00229] В соответствии с аспектами настоящего изобретения, логика 80 предварительной обработки ISP принимает только первичный кадр 310. Таким образом, в целях настоящего рассмотрения, глобальный размер кадра для логики 80 предварительной обработки ISP можно предположить равным первичному размеру кадра, который определяется шириной 314 и высотой 316. В некоторых вариантах осуществления, смещение от границ кадра 308 датчика до первичного кадра 310 может определяться и/или поддерживаться управляющей логикой 84. Например, управляющая логика 84 может включать в себя программно-аппаратное обеспечение, которое может определять первичную область 310 кадра на основании входных параметров, например, смещения 318 по оси x и смещение 320 по оси y, которые задаются относительно кадра 308 датчика. Кроме того, в ряде случаев, блок обработки в логике 80 предварительной обработки ISP или логике 82 конвейера ISP может иметь заданную активную область, благодаря чему, пиксели в первичном кадре, но вне активной области 312 не будут обрабатываться, т.е. останутся неизменными. Например, активную область 312 для конкретного блока обработки, имеющую ширину 322 и высоту 324, можно задать на основании смещения 326 по оси x и смещения 328 по оси y относительно первичного кадра 310. Кроме того, когда активная область конкретно не задана, один вариант осуществления схемы 32 обработки изображений может предусматривать, что активная область 312 совпадает с первичным кадром 310 (например, смещение 326 по оси x и смещение 328 по оси y равны 0). Таким образом, в целях операций обработки изображений, осуществляемых на данных изображения, граничные условия можно задавать относительно границ первичного кадра 310 или активной области 312. Кроме того, в некоторых вариантах осуществления, окно (кадр) может указываться посредством идентифицирования начального и конечного положения в памяти, вместо информации начального положения и размера окна.

[00230] В некоторых вариантах осуществления, блок 80 предварительной обработки ISP (FEProc) также может поддерживать обработку кадра изображения посредством перекрывающихся вертикальных полос, как показано на фиг. 24. Например, обработка изображений в настоящем примере может выполняться в три прохода, для левой полосы (Stripe0), средней полосы (Stripe1) и правой полосы (Stripe2). Это может давать возможность блоку 80 предварительной обработки ISP обрабатывать более широкое изображение в нескольких проходах без необходимости увеличения размера линейного буфера. Эта технология может упоминаться "как шаговая адресация".

[00231] При обработке кадра изображения посредством нескольких вертикальных полос входной кадр считывается с некоторым перекрытием, чтобы предоставлять возможность достаточного перекрытия контекста фильтра таким образом, что существует минимальная разность между считыванием изображения в нескольких проходах по сравнению с одним проходом. Например, в настоящем примере, Stripe0 с шириной SrcWidth0 и Stripe1 с шириной SrcWidth1 частично перекрываются, как указано посредством перекрывающейся области 330. Аналогично, Stripe1 также перекрывается справа с Stripe2, имеющим ширину SrcWidth2, как указано посредством перекрывающейся области 332. Здесь, общий шаг является суммой ширины каждой полосы (SrcWidth0, SrcWidth1, SrcWidth2) минус ширины (334, 336) перекрывающихся областей 330 и 332. При записи кадра изображения в память (например, 108) задается активная выходная область, и записываются только данные в выходной активной области. Как показано на фиг. 24, при записи в память каждая полоса записывается на основе неперекрывающихся ширин ActiveDst0, ActiveDst1, и ActiveDst2.

[00232] Как пояснено выше, схема 32 обработки изображений может принимать данные изображения непосредственно из интерфейса датчика (например, 94) или может принимать данные изображения из памяти 108 (например, DMA-памяти). Если поступающие данные предоставляются из памяти, схема 32 обработки изображений и логика 80 предварительной обработки ISP могут быть выполнены с возможностью обеспечивать перестановку байтов, при этом входящие пиксельные данные из памяти могут подвергаться перестановке байтов перед обработкой. В одном варианте осуществления, код перестановки может быть использован для того, чтобы указывать, что переставляются смежные двойные слова, слова, полуслова или байты поступающих данных из памяти. Например, ссылаясь на фиг. 25, перестановка байтов может быть выполнена для 16- байтового (байты 0-15) набора данных с использованием четырехбитового кода перестановки.

[00233] Как показано, код перестановки может включать в себя четыре бита, которые могут упоминаться как bit3, bit2, bit1, и bit0, слева направо. Когда все биты задаются равными 0, как показано посредством ссылочной позиции 338, перестановка байтов не выполняется. Когда bit3 задается равным 1, как показано посредством ссылочной позиции 340, переставляются двойные слова (например, 8 байтов). Например, как показано на фиг. 25, двойное слово, представленное посредством байтов 0-7, переставляется с двойным словом, представленным посредством байтов 8-15. Если bit2 задается равным 1, как показано посредством ссылочной позиции 342, выполняется перестановка слов (например, 4 байта). В проиллюстрированном примере, это может приводить к слову, представленному посредством байтов 8-11, переставленному со словом, представленным посредством байтов 12-15, и слову, представленному посредством байтов 0-3, переставленному со словом, представленным посредством байтов 4-7. Аналогично, если bit1 задается равным 1, как показано посредством ссылочной позиции 344, то выполняется перестановка полуслов (например, 2 байта) (например, байтов 0-1, переставленных с байтами 2-3, и т.д.), и если bit0 задается равным 1, как показано посредством ссылочной позиции 346, то выполняется перестановка байтов.

[00234] В настоящем варианте осуществления, перестановка может быть выполнена посредством упорядоченной оценки битов 3, 2, 1, и 0 кода перестановки. Например, если биты 3 и 2 задаются равными значению 1, то сначала выполняется перестановка двойных слов (bit3), а после этого выполняется перестановка слов (bit2). Таким образом, как показано на фиг. 25, когда код перестановки задается равным "1111", конечным результатом является перестановка поступающих данных из формата с прямым порядком байтов в формат с обратным порядком байтов.

[00235] Далее подробнее поясняются различные форматы памяти для пиксельных данных изображения, которые могут поддерживаться посредством схемы 32 обработки изображений для первичных данных изображения (например, байеровских RGB-данных), цветовых RGB-данных, и YUV ((YCC), данных яркости/цветности)) в соответствии с конкретными раскрытыми вариантами осуществления. Во-первых, поясняются форматы для первичных пикселей изображения (например, байеровских данных до демозаики) в целевом/исходном кадре, которые могут поддерживаться посредством вариантов осуществления схемы 32 обработки изображений. Как упомянуто выше, конкретные варианты осуществления могут поддерживать обработку пикселей изображения с 8, 10, 12, 14, и 16-битовой точностью. В контексте первичных данных изображения, 8, 10, 12, 14, и 16-битовые первичные пиксельные форматы могут упоминаться в данном документе как RAW8-, RAW10-, RAW12-, RAW14- и RAW16-форматы, соответственно. Примеры, показывающие то, как каждый из RAW8-, RAW10-, RAW12-, RAW14- и RAW16-форматов может быть сохранен в памяти, графически показываются как непакетированные формы на фиг. 26. Для первичных форматов изображений, имеющих битовую точность больше 8 битов (и не являющихся кратными 8 битов), пиксельные данные также могут быть сохранены в пакетированных форматах. Например, фиг. 27 показывает пример того, как пиксели изображения RAW10 могут быть сохранены в памяти. Аналогично, фиг. 28 и фиг. 29 иллюстрируют примеры, посредством которых пиксели изображения RAW12 и RAW14 могут быть сохранены в памяти. Как дополнительно пояснено ниже, когда данные изображения записываются/считываются в/из памяти, регистр управления, ассоциированный с интерфейсом 94 датчика, может задавать целевой/исходный пиксельный формат, то пиксель имеет пакетированный или непакетированный формат, формат адресации (например, линейная или мозаичная) и код перестановки. Таким образом, способ, которым пиксельные данные считываются и интерпретируются посредством схемы 32 обработки ISP, может зависеть от пиксельного формата.

[00236] Схема 32 обработки сигналов изображения (ISP) также может поддерживать определенные форматы пикселей RGB-цвета в исходном/целевом кадре интерфейса датчика (например, 310). Например, кадры RGB-изображения могут быть приняты из интерфейса датчика (например, в вариантах осуществления, в которых интерфейс датчика включает в себя встроенную логику демозаики) и сохранены в памяти 108. В одном варианте осуществления, логика 80 предварительной обработки ISP (FEProc) может обходить пиксельную и статистическую обработку, когда принимаются кадры RGB. Только в качестве примера, схема 32 обработки изображений может поддерживать следующие пиксельные RGB-форматы: RGB-565 и RGB-888. Пример того, как пиксельные данные RGB-565 могут быть сохранены в памяти, показывается на фиг. 30. Как проиллюстрировано, формат RGB-565 может предоставлять одну плоскость из перемеженного 5-битового компонента красного цвета, 6-битового компонента зеленого цвета и 5-битового компонента синего цвета в RGB-порядке. Таким образом, всего 16 битов может быть использовано для того, чтобы представлять пиксель RGB-565 (например, {R0, G0, B0} или {R1, G1, B1}).

[00237] Формат RGB-888, как проиллюстрировано на фиг. 31, может включать в себя одну плоскость из перемеженных 8-битовых компонентов красного, зеленого и синего цвета в RGB-порядке. В одном варианте осуществления, схема 32 ISP также может поддерживать формат RGB-666, который, в общем, предоставляет одну плоскость перемеженных 6-битовых компонентов красного, зеленого и синего цвета в RGB-порядке. В таком варианте осуществления, когда выбирается формат RGB-666, пиксельные данные RGB-666 могут быть сохранены в памяти с использованием формата RGB-888, показанного на фиг. 31, но при этом каждый пиксель остается подтвержденным, и два младших бита (LSB) задаются равными нулю.

[00238] В конкретных вариантах осуществления, схема 32 ISP также может поддерживать пиксельные RGB-форматы, которые позволяют пикселям иметь расширенный диапазон и точность значений с плавающей точкой. Например, в одном варианте осуществления, схема 32 ISP может поддерживать пиксельный RGB-формат, показанный на фиг. 32, в котором компонент красного (R0), зеленого (G0) и синего (B0) цвета выражается как 8-битовое значение с совместно используемой 8-битовой экспонентой (E0). Таким образом, в таком варианте осуществления, фактические значения красного (R'), зеленого (G') и синего (B'), заданные посредством R0, G0, B0, и E0, могут выражаться следующим образом:

R'=R0[7:0]*2^E0[7:0]

G'=G0[7:0]*2^E0[7:0]

B'=B0[7:0]*2^E0[7:0]

Этот пиксельный формат может упоминаться как RGBE-формат, который также иногда называют пиксельным форматом изображения энергетической яркости.

[00239] Фиг. 33 и 34 иллюстрируют дополнительные пиксельные RGB-форматы, которые могут поддерживаться посредством схемы 32 ISP. В частности, фиг. 33 изображает пиксельный формат, который может сохранять 9-битовые компоненты красного, зеленого и синего цвета с 5-битовой совместно используемой экспонентой. Например, восемь старших битов [8:1] каждого пикселя красного, зеленого и синего цвета сохраняются в соответствующих байтах в памяти. Дополнительный байт используется для того, чтобы сохранять 5-битовую экспоненту (например, E0[4:0]) и младший бит[0] каждого пикселя красного, зеленого и синего цвета. Таким образом, в таком варианте осуществления, фактические значения красного (R'), зеленого (G') и синего (B'), заданные посредством R0, G0, B0, и E0, могут выражаться следующим образом:

R'=R0[8:0]*2^E0[4:0]

G'=G0[8:0]*2^E0[4:0]

B'=B0[8:0]*2^E0[4:0]

Дополнительно, пиксельный формат, проиллюстрированный на фиг. 336 также является гибким в том, что он может быть совместимым с форматом RGB-888, показанным на фиг. 31. Например, в некоторых вариантах осуществления, схема 32 обработки ISP может обрабатывать полные RGB-значения с экспоненциальным компонентом или также может обрабатывать только начальную 8-битовую часть [7:1] каждого компонента RGB-цвета способом, аналогичным формату RGB-888.

[00240] Фиг. 34 изображает пиксельный формат, который может сохранять 10-битовые компоненты красного, зеленого и синего цвета c 2-битовой совместно используемой экспонентой. Например, 8 старших битов [9:2] каждого пикселя красного, зеленого и синего цвета сохраняются в соответствующих байтах в памяти. Дополнительный байт используется для того, чтобы сохранять 2-битовую экспоненту (например, E0[1:0]) и младшие 2 бита [1:0] каждого пикселя красного, зеленого и синего цвета. Таким образом, в таком варианте осуществления, фактические значения красного (R'), зеленого (G') и синего (B'), заданные посредством R0, G0, B0, и E0, могут выражаться следующим образом:

R'=R0[9:0]*2^E0[1:0]

G'=G0[9:0]*2^E0[1:0]

B'=B0[9:0]*2^E0[1:0]

Дополнительно, аналогично пиксельному формату, показанному на фиг. 33, пиксельный формат, проиллюстрированный на фиг. 34, также является гибким в том, что он может быть совместимым с форматом RGB-888, показанным на фиг. 31. Например, в некоторых вариантах осуществления, схема 32 обработки ISP может обрабатывать полные RGB-значения с экспоненциальным компонентом или также может обрабатывать только начальную 8-битовую часть (например, [9:2]) каждого компонента RGB-цвета способом, аналогичным формату RGB-888.

[00241] Схема 32 ISP также дополнительно может поддерживать определенные форматы пикселей яркости и цветности YCbCr (YUV) в исходном/целевом кадре интерфейса датчика (например, 310). Например, кадры изображения YCbCr могут быть приняты из интерфейса датчика (например, в вариантах осуществления, в которых интерфейс датчика включает в себя встроенную логику демозаики и логику, выполненную с возможностью преобразовывать данные RGB-изображения в цветовое YCC-пространство) и сохранены в памяти 108. В одном варианте осуществления, логика 80 предварительной обработки ISP может обходить пиксельную и статистическую обработку, когда принимаются кадры YCbCr. Только в качестве примера, схема 32 обработки изображений может поддерживать следующие пиксельные форматы YCbCr: YCbCr-4:2:0 8, 2-плоскостной; и YCbCr-4:2:2 8, 1-плоскостной.

[00242] YCbCr-4:2:0, 2-плоскостной пиксельный формат может предоставлять две отдельных плоскости изображений в памяти, одну для пикселей яркости (Y) и одну для пикселей цветности (Cb, Cr), при этом плоскость цветности перемежает пиксельные выборки Cb и Cr. Дополнительно, плоскость цветности может быть субдискретизирована наполовину как в горизонтальном (x), так и в вертикальном (y) направлении. Пример, показывающий то, как YCbCr-4:2:0, 2-плоскостные данные могут быть сохранены в памяти, показывается на фиг. 35, который изображает плоскость 347 яркости для сохранения выборок яркости (Y) и плоскость 348 цветности для сохранения выборок цветности (Cb, Cr). YCbCr-4:2:2 8, 1-плоскостной формат, который показывается на фиг. 36, может включать в себя одну плоскость изображений перемеженных пиксельных выборок яркости (Y) и цветности (Cb, Cr), при этом выборки цветности субдискретизированы наполовину как в горизонтальном (x), так и в вертикальном (y) направлении. В некотором варианте осуществления, схема 32 ISP также может поддерживать 10-битовые пиксельные форматы YCbCr посредством сохранения пиксельных выборок в памяти с использованием вышеописанного 8-битового формата с округлением (например, округляются два младших бита 10-битовых данных). Дополнительно, следует принимать во внимание, что значения YC1C2 также могут быть сохранены с использованием любого из пиксельных RGB-форматов, поясненных выше на фиг. 30-34, при этом каждый из Y-, C1- и C2-компонентов сохраняется способом, аналогичным R, G, и B-компоненту.

[00243] Возвращаясь к логике 80 предварительной обработки ISP, показанной на фиг. 10, предоставляются различные каналы считывания и записи для памяти 108. В одном варианте осуществления, каналы считывания/записи могут совместно использовать общую шину данных, которая может предоставляться с использованием расширенной шинной архитектуры для микроконтроллеров, такую как шина на основе усовершенствованного расширяемого интерфейса (AXI) либо любой другой подходящий тип шины (AHB, ASB, APB, ATB и т.д.). В зависимости от информации кадров изображения (например, пиксельного формата, адресного формата, способа пакетирования) которая, как пояснено выше, может быть определена через регистр управления, блок формирования адресов, который может быть реализован как часть управляющей логики 84, может быть выполнен с возможностью предоставлять информацию адресов и размеров пакетов в шинный интерфейс. В качестве примера, вычисление адресов может зависеть от различных параметров, к примеру, того, являются пиксельные данные пакетированными или непакетированными, формата пиксельных данных (например, RAW8-, RAW10-, RAW12-, RAW14-, RAW16-, RGB- или YCbCr/YUV-форматы), то, используется формат мозаичной или линейной адресации, x- и y-смещения данных кадра изображения относительно матрицы памяти, а также ширины, высоты и шага кадра. Дополнительные параметры, которые могут быть использованы при вычислении пиксельных адресов, могут включать в себя значения минимальных пиксельных единиц (MPU), смещенные маски, значение в байтах для каждой MPU (BPPU) и значение Log2 MPU (L2MPU). Таблица 4, которая приведена ниже, иллюстрирует вышеуказанные параметры для пакетированных и непакетированных пиксельных форматов, в соответствии с одним вариантом осуществления.

Таблица 4
Параметры вычисления пиксельных адресов (MPU, L2MPU, BPPU) Формат MPU
(минимальная пиксельная единица) L2MPU
(Log2 MPU) OffsetMask BPPU
(байты для каждой MPU) RAW8 Непакетированный 1 0 0 1 RAW16 Непакетированный 1 0 0 2 RAW10 Пакетированный 4 2 3 5 Непакетированный 1 0 0 2 RAW12 Пакетированный 4 2 3 6 Непакетированный 1 0 0 2 RAW14 Пакетированный 4 2 3 7 Непакетированный 1 0 0 2 RGB-888 1 0 0 4 RGB-666 1 0 0 4 RGB-565 1 0 0 2 (8-битовый) YUV-4:2:0 2 1 0 2 (10-битовый) YUV-4:2:0 2 1 0 2 (8-битовый) YUV-4:2:2 2 1 0 4 (10-битовый) YUV-4:2:2 2 1 0 4

Следует понимать, что настройки MPU и BPPU дают возможность схеме 32 ISP оценивать число пикселей, которые должны считываться для того, чтобы считывать один пиксель, даже если не все считываемые данные необходимы. Иными словами, настройки MPU и BPPU могут давать возможность схеме 32 ISP считывать форматы пиксельных данных, которые совмещены (например, кратное 8 битов (1 байт) используется для того, чтобы сохранять пиксельное значение) и не совмещены с байтом памяти (например, пиксельные значения сохраняются с использованием меньшего или большего числа битов, чем кратное 8 битов (1 байт), т.е. RAW10, RAW12 и т.д.).

[00244] Ссылаясь на фиг. 37, проиллюстрирован пример, показывающий положение кадра 350 изображения, сохраненного в памяти при линейной адресации, при этом каждый блок представляет 64 байта (как пояснено выше на фиг. 21). В одном варианте осуществления, следующий псевдокод иллюстрирует процесс, который может быть реализован посредством управляющей логики для того, чтобы идентифицировать начальный блок и ширину блока сохраненного кадра в линейной адресации:

BlockWidth=LastBlockX-BlockOffsetX+1, где

BlockOffsetX=(((OffsetX>>L2MPU)*BPPU)>>6)

LastBlockX=((((OffsetX+Width-1)>>L2MPU)*BPPU+

BPPU-1)>>6)

BlockStart=OffsetY*Stride+BlockOffsetX

где Stride представляет шаги кадров в байтах и является кратным 64. Например, на фиг. 37, SrcStride и DstStride равны 4, что означает 4 блока из 64 байтов. Ссылаясь на вышеприведенную таблицу 4, значения для L2MPU и BPPU могут зависеть от формата пикселей в кадре 350. Как показано, когда BlockOffsetX известен, может быть определен BlockStart. BlockWidth затем может быть определен с использованием BlockOffsetX и LastBlockX, которые могут быть определены с использованием значений L2MPU и BPPU, соответствующих пиксельному формату кадра 350.

[00245] Аналогичный пример при мозаичной адресации проиллюстрирован на фиг. 38, в котором кадр исходного изображения, указываемый здесь посредством ссылочной позиции 352, сохраняется в памяти и перекрывает часть мозаичного элемента 0, мозаичного элемента 1, мозаичного элемента n и мозаичного элемента n+1. В одном варианте осуществления, следующий псевдокод иллюстрирует процесс, который может быть реализован посредством управляющей логики для того, чтобы идентифицировать начальный блок и ширину блока сохраненного кадра в мозаичной адресации:

BlockWidth=LastBlockX-BlockOffsetX+1, wherein

BlockOffsetX=(((OffsetX>>L2MPU)*BPPU)>>6)

LastBlockX=((((OffsetX+Width-1)>>L2MPU)*BPPU+

BPPU-1)>>6)

BlockStart=((OffsetY>>4)*(Stride>>6)+

(BlockOffsetX>>2)*64+OffsetY[3:0]*4+

(BlockOffsetX[1:0])

В вышеприведенном вычислении, выражение "(OffsetY>>4)*(Stride>>6)" может представлять число блоков, чтобы переходить к строке мозаичного элемента, в которой находится кадр изображения в памяти. Выражение "(BlockOffsetX>>2)*64" может представлять число блоков, на которое кадр сохраненного изображения смещается в направлении по оси Х. Выражение "OffsetY[3:0]*4" может представлять число блоков, чтобы переходить к строке в мозаичном элементе, в котором находится начальный адрес кадра изображения. Дополнительно, выражение "BlockOffsetX[1:0]" может представлять число блоков, чтобы переходить к x-смещению в мозаичном элементе, соответствующем начальному адресу кадра изображения. Дополнительно, в варианте осуществления, проиллюстрированном на фиг. 38, число блоков для каждого мозаичного элемента (BlocksPerTile) может составлять 64 блока, а число байтов в расчете на блок (BytesPerBlock) может составлять 64 байта.

[00246] Как показано выше в таблице 4, для пикселей, сохраненных в пакетированных RAW10-, RAW12- и RAW14-форматах, четыре пикселя составляют минимальную пиксельную единицу (MPU) в пять, шесть или семь байтов (BPPU), соответственно. Например, обращаясь к примеру пиксельного RAW10-формата, показанному на фиг. 27, MPU из четырех пикселей P0-P3 включает в себя 5 байтов, при этом 8 старших битов каждого из пикселей P0-P3 сохраняются в четырех соответствующих байтах, а 2 младших байта каждого из пикселей сохраняются в битах 0-7 32-битового адреса 01h. Аналогично, снова ссылаясь на фиг. 28, MPU из четырех пикселей P0-P3 с использованием RAW12-формата включает в себя 6 байтов, при этом 4 младших бита пикселей P0 и P1 сохраняются в байте, соответствующем битам 16-23 адреса 00h, а 4 младших бита пикселей P2 и P3 сохраняются в байте, соответствующем битам 8-15 адреса 01h. Фиг. 29 показывает MPU из четырех пикселей P0-P3 с использованием RAW14-формата как включающую в себя 7 байтов, с 4 байтами для сохранения 8 старших битов каждого пикселя MPU и 3 байтами для сохранения 6 младших битов каждого пикселя MPU.

[00247] При использовании этих пиксельных форматов, в конце строки кадров можно иметь частичную MPU, в которой используется менее четырех пикселей MPU (например, когда ширина строки "по модулю четыре" является ненулевой). При считывании частичной MPU могут игнорироваться неиспользуемые пиксели. Аналогично, при записи частичной MPU в целевой кадр, неиспользуемые пиксели могут записываться со значением нуля. Дополнительно, в некоторых случаях, последняя MPU строки кадров может не совмещаться с границей 64-байтового блока. В одном варианте осуществления, байты после последней MPU и вплоть до конца последнего 64-байтового блока не записываются.

[00248] В соответствии с вариантами осуществления настоящего раскрытия, схема 32 обработки ISP также может быть выполнена с возможностью предоставлять обработку переполнения. Например, условие переполнения (также называемое "превышением предела") может возникать в определенных ситуациях, когда логика 80 предварительной обработки ISP принимает обратную реакцию из собственных внутренних блоков обработки, из последующих блоков обработки (например, конвейера 82 ISP и/или логики 120 окончательной обработки ISP) или целевой памяти (например, когда данные изображения должны записываться). Условия переполнения могут возникать, когда пиксельные данные считываются (например, из интерфейса датчика или из памяти) быстрее, чем один или более блоков обработки могут обрабатывать данные, или быстрее, чем данные могут записываться в назначение (например, память 108).

[00249] Как дополнительно пояснено ниже, считывание и запись в память может способствовать условиям переполнения. Тем не менее, поскольку входные данные сохраняются, в случае условия переполнения схема 32 ISP может просто прекращать считывание входных данных до тех пор, пока не происходит восстановление после условия переполнения. Тем не менее, когда данные изображения считываются непосредственно из датчика изображения, передача данных "вживую", в общем, не может прекращаться, поскольку датчик изображения, в общем, получает данные изображения в реальном времени. Например, датчик изображения (например, 90) может работать в соответствии с синхронизирующим сигналом на основе собственного внутреннего тактового сигнала и может быть выполнен с возможностью выводить кадры изображения на определенной частоте кадров, к примеру, 15 или 30 кадров в секунду (кадр/с). Вводы датчика в схему 32 ISP и память 108 тем самым могут включать в себя входные очереди, которые могут буферизовать входящие данные изображения до того, как они обрабатываются (посредством схемы 32 ISP) или записываются в память (например, 108). Соответственно, если данные изображения принимаются во входной очереди быстрее, чем они могут считываться из очереди и обрабатываться или сохраняться (например, записываться в память), может возникать условие переполнения. Иными словами, если буферы/очереди являются полными, дополнительные входящие пиксели не могут быть буферизованы и, в зависимости от реализованной технологии обработки переполнения, могут быть отброшены.

[00250] Фиг. 39 показывает блок-схему схемы 32 обработки ISP и сфокусирована на признаках управляющей логики 84, которые позволяют обеспечивать обработку переполнения в соответствии с одним вариантом осуществления. Как проиллюстрировано, данные изображения, ассоциированные с Sensor0 90a и Sensor1 90b, могут считываться из памяти 108 (посредством интерфейсов 174 и 176, соответственно) в логику 80 предварительной обработки ISP (FEProc) или могут предоставляться в логику 80 предварительной обработки ISP непосредственно из соответствующих интерфейсов датчика. Во втором случае, входящие пиксельные данные из датчиков 90a и 90b изображения могут передаваться во входные очереди 400 и 402, соответственно, до отправки в логику 80 предварительной обработки ISP.

[00251] Когда возникает условие переполнения, блок(и) обработки (например, блок 80, 82 или 120) или память (например, 108), в котором возникает переполнение, может предоставлять сигнал (как указано посредством сигналов 405, 407 и 408), чтобы задавать бит в регистре 404 запросов на прерывание (IRQ). В настоящем варианте осуществления, IRQ-регистр 404 может быть реализован как часть управляющей логики 84. Дополнительно, отдельные IRQ-регистры 404 могут быть реализованы для каждых из данных изображения Sensor0 и данных изображения Sensor1. На основе значения, сохраненного в IRQ-регистре 404, управляющая логика 84 может иметь возможность определять то, какие логические единицы в блоках 80, 82, 120 обработки ISP или памяти 108 формируют условие переполнения. Логические единицы могут упоминаться "как целевые блоки", поскольку они могут составлять назначения, в которые отправляются пиксельные данные. На основе условий переполнения, управляющая логика 84 также может (например, через обработку в программно-аппаратном обеспечении/программном обеспечении) управлять тем, какие кадры отбрасываются (к примеру, либо не записываются в память, либо не выводятся на дисплей для просмотра).

[00252] После того, как обнаруживается условие переполнения, способ, которым выполняется обработка переполнения, может зависеть от того, считывает предварительная обработка ISP пиксельные данные из памяти 108 или из входных очередей 400, 402 датчика изображения (например, буферов), которые могут быть очередями "первым вошел, первым вышел" (FIFO) в одном варианте осуществления. В одном варианте осуществления, когда входные пиксельные данные считываются из памяти 108, например, через ассоциированный DMA-интерфейс (например, 174 или 176), предварительная обработка ISP должна прекращать считывание пиксельных данных, если она принимает обратную реакцию в результате обнаружения условия переполнения (например, через управляющую логику 84 с использованием IRQ-регистра 404) из каких-либо последующих целевых блоков, которые могут включать в себя конвейер 82 ISP, логику 120 окончательной обработки ISP или память 108 в случаях, когда вывод логики 80 предварительной обработки ISP записывается в память 108. В этом сценарии, управляющая логика 84 может предотвращать переполнение посредством прекращения считывания пиксельных данных из памяти 108 до тех пор, пока не происходит восстановление после условия переполнения. Например, восстановление после переполнения может быть передано в команде, когда последующий блок, вызывающий условие переполнения, задает соответствующий бит в IRQ-регистре 404, указывающий то, что переполнение больше не возникает. Вариант осуществления этого процесса, в общем, иллюстрируется посредством этапов 412-420 способа 410 по фиг. 40.

[00253] Хотя условия переполнения могут, в общем, отслеживаться во входных очередях датчика, следует понимать, что множество дополнительных очередей могут присутствовать между блоками обработки подсистемы 32 ISP (например, включающими в себя внутренние блоки логики 80 предварительной обработки ISP, конвейера 82 ISP, а также логики 120 окончательной обработки ISP). Дополнительно, различные внутренние блоки подсистемы 32 ISP также могут включать в себя линейные буферы, которые также могут выступать в качестве очередей. Таким образом, все очереди и линейные буферы подсистемы 32 ISP могут предоставлять буферизацию. Соответственно, когда последний блок обработки в конкретной цепочке блоков обработки является полным (например, его линейные буферы и все промежуточные очереди являются полными), обратная реакция может применяться к предыдущему (например, вышерасположенному) блоку обработки и т.д., так что обратная реакция распространяется через цепочку логики до тех пор, пока она не достигает интерфейса датчика, в котором условия переполнения могут отслеживаться. Таким образом, когда возникает переполнение в интерфейсе датчика, это может означать то, что все последующие очереди и линейные буферы являются полными.

[00254] Как показано на фиг. 40, способ 410 начинается на этапе 412, на котором пиксельные данные для текущего кадра считываются из памяти в блок 80 предварительной обработки ISP. Логика 414 принятия решения затем определяет то, присутствует или нет условие переполнения. Как пояснено выше, это может оцениваться посредством определения состояния битов в IRQ-регистре(ах) 404. Если условие переполнения не обнаруживается, то способ 410 возвращается к этапу 412 и продолжает считывание пикселей из текущего кадра. Если условие переполнения обнаруживается посредством логики 414 принятия решения, способ 410 прекращает считывание пикселей текущего кадра из памяти, как показано на этапе 416. Затем, в логике 418 принятия решения определяется то, восстановлено или нет условие переполнения. Если условие переполнения еще сохраняется, способ 410 ожидает в логике 418 принятия решения до тех пор, пока не происходит восстановление после условия переполнения. Если логика 418 принятия решения указывает, что произошло восстановление после условия переполнения, то способ 410 переходит к этапу 420 и возобновляет считывание пиксельных данных для текущего кадра из памяти.

[00255] Когда условие переполнения возникает в то время, когда входные пиксельные данные считываются из интерфейса(ов) датчика, прерывания могут указывать, какие последующие блоки (например, блоки обработки или целевая память) формируют переполнение. В одном варианте осуществления, обработка переполнения может предоставляться на основе двух сценариев. В первом сценарии условие переполнения возникает в течение кадра изображения, но восстанавливается до начала последующего кадра изображения. В этом случае, входные пиксели из датчика изображения отбрасываются до тех пор, пока не происходит восстановление после условия переполнения, и пространство становится доступным во входной очереди, соответствующей датчику изображения. Управляющая логика 84 может предоставлять счетчик 406, который может отслеживать число отброшенных пикселей и/или отброшенных кадров. Когда происходит восстановление после условия переполнения, отброшенные пиксели могут быть заменены неопределенными пиксельными значениями (например, всеми единицами (например, 11111111111111 для 14-битового пиксельного значения), всеми нулями или значением, программируемым в регистр данных, которое задает то, что представляют собой неопределенные пиксельные значения), и может возобновляться последующая обработка. В дополнительном варианте осуществления, отброшенные пиксели могут быть заменены предыдущим пикселем без переполнения (например, последним "хорошим" пикселем, считанным во входной буфер). Это обеспечивает то, что корректное число пикселей (например, число пикселей, соответствующих числу пикселей, ожидаемых в полном кадре) отправляется в логику 80 предварительной обработки ISP, тем самым предоставляя возможность логике 80 предварительной обработки ISP выводить корректное число пикселей для кадра, который считан из входной очереди датчика, когда возникает переполнение.

[00256] Хотя корректное число пикселей может выводиться посредством предварительной обработки ISP согласно этому первому сценарию, в зависимости от числа пикселей, которые отброшены и заменены во время условия переполнения, обработка в программном обеспечении (например, программно-аппаратном обеспечении), которое может быть реализовано как часть управляющей логики 84, может выбирать отбрасывание (например, исключение) кадра из отправки на дисплей и/или записи в память. Такое определение может быть основано, например, на значении счетчика 406 отброшенных пикселей по сравнению с приемлемым порогом отброшенных пикселей. Например, если условие переполнения возникает только на небольшой промежуток времени в течение кадра, так что отбрасывается только относительно небольшое число пикселей (например, и заменяется неопределенными или фиктивными значениями; например, 10-20 пикселей или меньше), то управляющая логика 84 может выбирать отображение и/или сохранение этого изображения, несмотря на небольшое число отброшенных пикселей, даже если наличие пикселей для замены может появляться на очень небольшой промежуток времени в качестве незначительного артефакта в результирующем изображении. Тем не менее, вследствие небольшого числа пикселей для замены, такой артефакт может проходить, в общем, незамеченным или едва воспринимаемым пользователем. Иными словами, наличие любых таких артефактов вследствие неопределенных пикселей в результате условия кратковременного переполнения может несущественно ухудшать эстетическое качество изображения (например, такое ухудшение характеристик является минимальным или пренебрежимым для человеческого глаза).

[00257] Во втором сценарии условие переполнения может еще присутствовать в начале последующего кадра изображения. В этом случае, пиксели текущего кадра также отбрасываются и подсчитываются, к примеру, как в первом сценарии, описанном выше. Тем не менее, если условие переполнения еще присутствует после обнаружения переднего фронта VSYNC (например, указывающего начало последующего кадра), логика 80 предварительной обработки ISP может быть выполнена с возможностью хранить следующий кадр, тем самым пропуская весь следующий кадр. В этом сценарии, следующий кадр и последующие кадры должны продолжать отбрасываться до тех пор, пока не происходит восстановление после переполнения. После того, как происходит восстановление после переполнения, предыдущий текущий кадр (например, кадр, считываемый, когда переполнение первый раз обнаружено) может заменять свои отброшенные пиксели неопределенными пиксельными значениями, тем самым давая возможность логике 80 предварительной обработки ISP выводить корректное число пикселей для этого кадра. После этого, может возобновляться последующая обработка. Что касается отброшенных кадров, управляющая логика 84 дополнительно может включать в себя счетчик, который подсчитывает число отброшенных кадров. Эти данные могут быть использованы для того, чтобы регулировать тактирования для аудио-видеосинхронизации. Например, для видео, захваченного при 30 кадрах/с, каждый кадр имеет длительность приблизительно 33 миллисекунды. Таким образом, если три кадра отбрасываются вследствие переполнения, то управляющая логика 84 может быть выполнена с возможностью регулировать параметры аудио-видеосинхронизации таким образом, чтобы учитывать длительность приблизительно в 99 миллисекунд (33 миллисекунды x 3 кадра), обусловленную отброшенными кадрами. Например, чтобы компенсировать время, обусловленное отброшенными кадрами, управляющая логика 84 может управлять выводом изображений посредством повторения одного или более предыдущих кадров.

[00258] Вариант осуществления процесса 430, показывающий вышеописанные сценарии, которые могут возникать, когда входные пиксельные данные считываются из интерфейсов датчика, проиллюстрирован на фиг. 41. Как показано, способ 430 начинается на этапе 432, на котором пиксельные данные для текущего кадра считываются из датчика в блок 80 предварительной обработки ISP. Логика 434 принятия решения затем определяет то, существует или нет условие переполнения. Если нет переполнения, способ 430 продолжает считывание пикселей текущего кадра (например, возвращается к этапу 432). Если логика 434 принятия решения определяет то, что условие переполнения присутствует, то способ 430 переходит к этапу 436, на котором следующий входящий пиксель текущего кадра отбрасывается. Затем, логика 438 принятия решения определяет то, завершен текущий кадр и начат следующий кадр или нет. Например, в одном варианте осуществления, это может включать в себя обнаружение переднего фронта в сигнале VSYNC. Если датчик еще отправляет текущий кадр, способ 430 переходит к логике 440 принятия решения, которая определяет то, присутствует или нет еще условие переполнения, первоначально обнаруженное в логике 434. Если не происходит восстановление после переполнения, то способ 430 переходит к этапу 442, на котором увеличивается счетчик отброшенных пикселей (например, чтобы учитывать входящий пиксель, отброшенный на этапе 436). Способ затем возвращается к этапу 436 и продолжается.

[00259] Если в логике 438 принятия решения обнаруживается, что текущий кадр завершен, и что датчик передает следующий кадр (например, обнаружено нарастание VSYNC), то способ 430 переходит к этапу 450, и все пиксели следующего кадра и последующих кадров отбрасываются при условии, что, условие переполнения остается (например, показано посредством логики 452 принятия решения). Как пояснено выше, отдельный счетчик может отслеживать число отброшенных кадров, которые могут быть использованы для того, чтобы регулировать параметры аудио-видеосинхронизации. Если логика 452 принятия решения указывает, что произошло восстановление после условия переполнения, то отброшенные пиксели от начального кадра, в котором сначала возникает условие переполнения, заменяются множеством неопределенных пиксельных значений, соответствующих числу отброшенных пикселей от этого начального кадра, как указано посредством счетчика отброшенных пикселей. Как упомянуто выше, все неопределенные пиксельные значения могут быть единицами, нулями, значениями для замены, программируемыми в регистре данных, либо могут принимать значение предыдущего пикселя, который считан до условия переполнения (например, последнего пикселя, считанного до того, как обнаружено условие переполнения). Соответственно, это дает возможность обработки начального кадра с корректным числом пикселей, и на этапе 446 может продолжаться последующая обработка изображений, которая может включать в себя запись начального кадра в память. Как также пояснено выше, в зависимости от числа пикселей, которые отброшены в кадре, управляющая логика 84 может выбирать либо исключать, либо включать кадр при выводе видеоданных (например, если число отброшенных пикселей выше или ниже приемлемого порога отброшенных пикселей). Следует принимать во внимание, что обработка переполнения может быть выполнена отдельно для каждой входной очереди 400 и 402 подсистемы 32 ISP.

[00260] Другой вариант осуществления обработки переполнения, который может быть реализован в соответствии с настоящим раскрытием, показывается на фиг. 42 посредством блок-схемы последовательности операций способа, изображающей способ 460. Здесь, обработка переполнения для условия переполнения, которое возникает в ходе текущего кадра, но восстанавливается до конца текущего кадра, обрабатывается таким же образом, как обработка, показанная на фиг. 41, и, следовательно, эти этапы пронумерованы с аналогичными ссылочными позициями 432-446. Отличие между способом 460 по фиг. 42 и способом 430 по фиг. 41 связано с обработкой переполнения, когда условие переполнения продолжается для следующего кадра. Например, обращаясь к логике 438 принятия решения, когда условие переполнения продолжается для следующего кадра, вместо отбрасывания следующего кадра, как происходит в способе 430 по фиг. 41, способ 460 реализует этап 462, на котором счетчик отброшенных пикселей очищается, входная очередь датчика очищается, и управляющей логике 84 передается команда для того, чтобы отбрасывать частичный текущий кадр. Посредством очистки входной очереди датчика и счетчика отброшенных пикселей, способ 460 подготавливается к получению следующего кадра (который теперь становится текущим кадром), возвращая способ к этапу 432. Следует принимать во внимание, что пиксели для этого текущего кадра могут считываться во входную очередь датчика. Если происходит восстановление после условия переполнения до того, как входная очередь становится полной, то последующая обработка возобновляется. Тем не менее, если условие переполнения сохраняется, то способ 460 должен продолжаться с этапа 436 (например, начинать отбрасывание пикселей до тех пор, либо не происходит восстановление после переполнения, либо не начинается следующий кадр).

[00261] Как упомянуто выше, электронное устройство 10 также может обеспечивать захватывание аудиоданных (например, через устройство аудиозахвата, предоставляемое в качестве одной из структур 14 ввода) одновременно с данными изображения (например, через устройство 30 формирования изображения, имеющее датчики 90 изображения). Например, как показано схематически на фиг. 43, аудиоданные 470 и данные 472 изображения могут представлять видео- и аудиоданные, захваченные одновременно посредством электронного устройства. Аудиоданные 470 могут включать в себя аудиовыборки 474, захваченные во времени (t), и, аналогично, данные 472 изображения могут представлять последовательность кадров изображения, захваченных во время t. Каждая выборка данных 472 изображения, указываемая здесь посредством ссылочной позиции 476, может представлять кадр неподвижного изображения. Таким образом, когда кадры неподвижного изображения просматриваются на хронологической последовательности во времени (например, конкретное число кадров в секунду, к примеру, 15-30 кадров в секунду), зритель должен воспринимать появление движущегося изображения, тем самым предоставляя видеоданные. Когда аудиоданные 470 получаются и представляются в качестве цифровых данных, они могут быть сохранены в качестве двоичных значений, представляющих выборки (например, 474) амплитуды аудиосигнала через равные временные интервалы. Дополнительно, хотя показаны на фиг. 43 как имеющие дискретные разделения 474, следует принимать во внимание, что аудиоданные в практической реализации могут иметь частоту дискретизации, которая является достаточно высокой для того, чтобы человеческое ухо воспринимало аудиоданные 470 в качестве непрерывного звука.

[00262] В ходе воспроизведения видеоданных 472 соответствующие аудиоданные 470 также могут быть воспроизведены, тем самым давая возможность зрителю не только просматривать видеоданные захваченного события, но и также прослушивать звук, соответствующий захваченному событию. В идеале, видеоданные 472 и аудиоданные 470 воспроизводятся синхронно. Например, если аудиовыборка, указанная здесь как 474a, первоначально осуществляется во время t_A, то при идеальных условиях воспроизведения кадр изображения, первоначально захваченный во время t_A, выводится одновременно с аудиовыборкой 474a. Тем не менее, если синхронизация не достигается, зритель/слушатель может замечать временную задержку или сдвиг между аудио- и видеоданными. Например, допустим, что аудиовыборка 474a выводится с кадром 476c изображения, первоначально захваченным во время t₀, который хронологически раньше времени t_A. В этом случае, аудиоданные 470 находятся "впереди" видеоданных 472, и пользователь может подвергаться задержке между прослушиванием аудиовыборки от времени t_A и наблюдением ожидаемой соответствующей видеовыборки (кадр 476a изображения от времени t_A), причем задержка представляет собой разность между временами t_A и t₀). Аналогично, допустим, что аудиовыборка 474a выводится с кадром 476b изображения от времени t_B, которое хронологически позднее времени t_A. Во втором случае, аудиоданные 470 находятся "позади" видеоданных 472, и пользователь может подвергаться задержке между наблюдением видеовыборки (476a) во время t_A и прослушиванием ее соответствующей аудиовыборки от времени t_A, причем задержка представляет собой разность между временами t_A и t_B). Эти типы задержек иногда упоминаются как ошибка "расхождения видео и звука". Следует принимать во внимание, что два последних сценария могут отрицательно влиять на возможности работы пользователей. Чтобы достигать аудио-видеосинхронизации, система, в общем, сконфигурирована с возможностью того, что компенсация проблем синхронизации приоритезирует аудио выше видео, например, если присутствует проблема синхронизации, кадры изображения могут отбрасываться или повторяться без изменения аудио.

[00263] В некоторых традиционных системах синхронизация аудио- и видеоданных выполняется с использованием начала прерываний кадра (например, на основе сигнала VSYNC). Когда возникает такое прерывание, указывающее начало нового кадра, процессор может выполнять процедуру обработки прерывания, чтобы обслуживать прерывание (например, очищать биты), и временная метка, соответствующая моменту, когда прерывание обслуживается посредством процессора, ассоциируется с этим кадром. Следует принимать во внимание, что, в общем, существует некоторое запаздывание между запросом на прерывание и время, в которое прерывание обслуживается посредством процессора. Таким образом, временная метка, которая ассоциирована с конкретным кадром изображения, может отражать это запаздывание и тем самым не может фактически представлять точное время, в которое кадр фактически начат. Дополнительно, это запаздывание может быть переменным в зависимости от нагрузки на процессор и полосы пропускания, что может усугублять проблемы аудио-видеосинхронизации.

[00264] Как пояснено выше, логика 80 предварительной обработки ISP может работать в собственной области тактового сигнала и предоставлять асинхронный интерфейс с интерфейсом 94 датчика, чтобы поддерживать датчики различных размеров, имеющие различные требования по синхронизации. Чтобы обеспечивать синхронизацию аудио- и видеоданных, схема 32 обработки ISP может использовать тактовый сигнал предварительной обработки ISP, чтобы предоставлять счетчик, который может быть использован для того, чтобы формировать временные метки, которые могут быть ассоциированы с кадрами захваченного изображения. Например, ссылаясь на фиг. 44, четыре регистра, включающие в себя регистр 490 конфигурации таймера, регистр 492 временного кода, регистр 494 временного кода Sensor0 и регистр 496 временного кода Sensor1, все из которых могут быть использованы для того, чтобы предоставлять функции временных меток, в одном варианте осуществления, по меньшей мере, частично на основе тактового сигнала для логики 80 предварительной обработки ISP. В одном варианте осуществления, регистр 490, 492, 494, и 496 может включать в себя 32-битовые регистры.

[00265] Регистр 490 конфигурации времени может быть выполнен с возможностью предоставлять значение, NClk, которое может быть использовано для того, чтобы предоставлять счетчик для формирования кодов временных меток. В одном варианте осуществления, NClk может быть 4-битовым значением в диапазоне 0-15. На основе NClk, таймер или счетчик, который указывает текущий временной код, может увеличиваться на значение в единицу каждые 2^NClk периодов тактового сигнала (на основе области тактового сигнала предварительной обработки ISP). Текущий временной код может быть сохранен в регистре 492 временного кода, тем самым обеспечивая временной код с 32 битами разрешения. Регистр 492 временного кода также может сбрасываться посредством управляющей логики 84.

[00266] Вкратце ссылаясь на фиг. 10, для каждого ввода интерфейса датчика, Sif0 и Sif1, регистр 492 временного кода может быть дискретизирован, когда передний фронт обнаруживается в сигнале вертикальной синхронизации (VSYNC) (или если обнаруживается задний фронт, в зависимости от того, как сконфигурирован VSYNC), тем самым указывая начало нового кадра (например, в конце интервала гашения вертикальной развертки). Временной код, соответствующий переднему фронту VSYNC, может быть сохранен в регистре 494 или 496 временного кода в зависимости из датчика (Sensor0 или Sensor1), из которого предоставляется кадр изображения, тем самым предоставляя временную метку, указывающую время, в которое начинается захват текущего кадра. В некоторых вариантах осуществления, сигнал VSYNC из датчика может иметь запрограммированную или программируемую задержку. Например, если первый пиксель кадра задерживается на n периодов тактового сигнала, управляющая логика 84 может быть выполнена с возможностью компенсировать эту задержку, к примеру, посредством предоставления смещения в аппаратных средствах или с использованием компенсации в программном обеспечении/программно-аппаратном обеспечении. Таким образом, временная метка может быть сформирована из переднего фронта VSYNC с добавленной программируемой задержкой. В другом варианте осуществления, временная метка, соответствующая началу кадра, может быть определена с использованием заднего фронта сигнала VSYNC с программируемой задержкой.

[00267] Когда обрабатывается текущий кадр, управляющая логика 84 считывает временную метку из регистра (494 или 496) временного кода датчика, и временная метка может быть ассоциирована с кадром видеоизображения в качестве параметра в метаданных, ассоциированных с кадром изображения. Это более понятно показывается на фиг. 45, которая предоставляет схематический вид кадра 476 изображения и его ассоциированных метаданных 498, которые включают в себя временную метку 500, считываемую из соответствующего регистра временного кода (например, регистра 494 для Sensor0 или регистра 496 для Sensor1). В одном варианте осуществления, управляющая логика 84 затем может считывать временную метку из регистра временного кода при инициировании посредством начала прерывания кадра. Таким образом, каждый кадр изображения, захваченный посредством схемы 32 обработки ISP, может иметь ассоциированную временную метку на основе сигнала VSYNC. Схема управления или программно-аппаратное обеспечение, которое может быть реализовано как часть управляющей логики 84 ISP или часть отдельного блока управления электронного устройства 10, может использовать временные метки кадров изображения, чтобы совмещать или синхронизировать соответствующий набор аудиоданных, тем самым достигая аудио-видеосинхронизации.

[00268] В некоторых вариантах осуществления, устройство 10 может включать в себя аудиопроцессор, выполненный с возможностью обрабатывать обработку аудиоданных (например, аудиоданных 470). Например, аудиопроцессор может быть автономным блоком обработки (к примеру, частью процессора(ов) 16) либо может быть интегрирован с главным процессором, либо может быть частью устройства обработки внутрикристальной системы. В таких вариантах осуществления, аудиопроцессор и схема 32 обработки изображений, которые могут управляться посредством процессора (например, часть управляющей логики 84), отдельного от аудиопроцессора, могут работать на основе независимых тактовых сигналов. Например, тактовые сигналы могут быть сформированы с использованием отдельных контуров фазовой синхронизации (PLL). Таким образом, в целях аудио-видеосинхронизации, устройство 10, возможно, должно иметь возможность коррелировать временную метку изображения с временной аудиометкой. В одном варианте осуществления, эта корреляция может быть выполнена с использованием главного процессора устройства 10 (например, ЦП). Например, главный процессор может синхронизировать собственный тактовый сигнал с тактовым сигналом аудиопроцессора и схемы 32 ISP, чтобы определять различие между соответствующими тактовыми сигналами аудиопроцессора и схемы 32 ISP. Эта разность, если известна, может быть использована для того, чтобы коррелировать временные аудиометки аудиоданных (например, 470) с временными метками кадров изображения данных изображения (например, 472).

[00269] В одном варианте осуществления, управляющая логика 84 также может быть выполнена с возможностью обрабатывать условия циклического возврата, к примеру, когда достигается максимальное значение 32-битового временного кода, и при этом следующее приращение требует дополнительного бита (например, 33-битовый) для того, чтобы предоставлять точное значение. В качестве упрощенного примера, этот тип циклического возврата может возникать, когда в четырехразрядном счетчике значение 9999 увеличивается и становится равным 0000, а не 10000 вследствие четырехразрядного ограничения. Хотя управляющая логика 84 может допускать сброс регистра 492 временного кода, это может быть нежелательным, когда условие циклического возврата возникает в то время, когда все еще захватывается сеанс видео. Таким образом, в таких случаях, управляющая логика 84 может включать в себя логику, которая может быть реализована посредством программного обеспечения, в одном варианте осуществления, выполненного с возможностью обрабатывать условие циклического возврата посредством формирования временных меток с большей точностью (например, 64 бита) на основе значений 32-битового регистра. Программное обеспечение может формировать временные метки с большей точностью, которые могут записываться в метаданные кадра изображения до тех пор, пока регистр 492 временного кода не сбрасывается. В одном варианте осуществления, программное обеспечение может быть выполнено с возможностью обнаруживать циклический возврат и прибавлять разность времен, вытекающую из условия циклического возврата, к счетчику более высокого разрешения. Например, в одном варианте осуществления, когда условие циклического возврата обнаруживается для 32-битового счетчика, программное обеспечение может суммировать максимальное значение 32-битового счетчика (чтобы учитывать циклический возврат) со значением текущего времени, указываемым посредством 32-битового счетчика, и сохранять результат в счетчике более высокого разрешения (например, более 32 битов). В таких случаях, результат в счетчике высокого разрешения может записываться в информацию метаданных изображения до тех пор, пока 32-битовый счетчик не сбрасывается.

[00270] Фиг. 46 изображает способ 510, который, в общем, описывает технологии аудио-видеосинхронизации, поясненные выше. Как показано, способ 510 начинается на этапе 512, на котором пиксельные данные принимаются из датчика изображения (например, Sensor0 или Sensor1). Затем, в логике 514 принятия решения выполняется определение в отношении того, указывает или нет сигнал VSYNC начало нового кадра. Если новый кадр не обнаруживается, способ 510 возвращается к этапу 512 и продолжает прием пиксельных данных из кадра текущего изображения. Если новый кадр обнаруживается в логике 514 принятия решения, то способ 510 переходит к этапу 516, на котором регистр временного кода (например, регистр 492) дискретизируется, чтобы получать значение временной метки, соответствующее переднему (или заднему) фронту сигнала VSYNC, обнаруженного на этапе 514. Затем, на этапе 518, значение временной метки сохраняется в регистре временного кода (например, регистр 494 или 496), соответствующем датчике изображения, предоставляющем входные пиксельные данные. Затем, на этапе 520 временная метка ассоциирована с метаданными нового кадра изображения и, после этого информация временных меток в метаданных кадра изображения может использоваться для аудио-видеосинхронизации. Например, электронное устройство 10 может быть выполнено с возможностью предоставлять аудио-видеосинхронизацию посредством совмещения видеоданных (с использованием временных меток каждого отдельного кадра) с соответствующими аудиоданными таким образом, что практически минимизируются все задержки между соответствующим аудио- и видеовыводом. Например, как пояснено выше, главный процессор устройства 10 может быть использован для того, чтобы определять то, как коррелировать временные аудиометки с временными видеометками. В одном варианте осуществления, если аудиоданные находятся впереди видеоданных, кадры изображения могут быть отброшены, чтобы давать возможность корректному кадру изображения "догонять" поток аудиоданных, а если аудиоданные находятся позади видеоданных, кадры изображения могут повторяться, чтобы давать возможность аудиоданным "догонять" видеопоток.

[00271] Переходя к фиг. 47-50, логика обработки или подсистема 32 ISP также может быть выполнена с возможностью обеспечивать синхронизацию вспышки (также называемой "стробом"). Например, при использовании модуля вспышки, искусственное освещение может быть временно предоставлено, чтобы помочь в освещении сцены изображения. В качестве примера, использование вспышки может быть полезным при захвате сцены изображения при слабом освещении. Вспышка или строб могут предоставляться с использованием любого подходящего источника освещения, такого как устройство светодиодной вспышки или устройство ксеноновой вспышки и т.д.

[00272] В настоящем варианте осуществления, подсистема 32 ISP может включать в себя контроллер вспышки, выполненный с возможностью управлять синхронизацией и/или интервалом, в течение которого модуль вспышки является активным. Следует принимать во внимание, что, в общем, желательно управлять синхронизацией и длительностью, в течение которой модуль вспышки является активным, таким образом, что интервал вспышки начинается до того, как первый пиксель целевого кадра (например, кадра изображения, который должен быть захвачен) захватывается, и завершается после того, как последний пиксель целевого кадра захватывается, но перед началом последующего последовательного кадра изображения. Это помогает обеспечивать то, что все пиксели в целевом кадре подвергаются аналогичным условиям освещения в то время, когда захватывается сцена изображения.

[00273] Ссылаясь на фиг. 47, блок-схема, показывающая контроллер 550 вспышки, реализованный в качестве части подсистемы 32 ISP и выполненный с возможностью управлять модулем 552 вспышки, проиллюстрирована в соответствии с вариантом осуществления настоящего раскрытия. В некоторых вариантах осуществления, модуль 552 вспышки может включать в себя несколько стробов-устройств. Например, в конкретных вариантах осуществления, контроллер 550 вспышки может быть выполнен с возможностью предоставлять предварительную вспышку (например, для снижения эффекта "красных глаз"), а затем основную вспышку. События предварительной вспышки и основной вспышки могут быть последовательными и могут предоставляться с использованием идентичных или различных стробов-устройств.

[00274] В проиллюстрированном варианте осуществления, синхронизация модуля 552 вспышки может управляться на основе информации синхронизации, предоставляемой из датчиков 90a и 90b изображения. Например, синхронизация датчика изображения может управляться с использованием технологии подъемного затвора, за счет которой время интегрирования управляется с использованием щелевой апертуры, которая выполняет сканирование в пиксельной матрице датчика изображения (например, 90a и 90b). С использованием информации синхронизации датчика (показана здесь как ссылочная позиция 556), которая может предоставляться в подсистему 32 ISP через интерфейсы 94a и 94b датчика (каждый из которых может включать в себя интерфейс 548 на стороне датчика и интерфейс 549 на стороне предварительной обработки), управляющая логика 84 может предоставлять надлежащие параметры 554 управления в контроллер 550 вспышки, которые затем могут быть использованы посредством контроллера 550 вспышки для активации модуля 552 вспышки. Как пояснено выше, посредством использования информации 556 синхронизации датчика, контроллер 556 вспышки может обеспечивать то, что модуль вспышки активируется до того, как захватывается первый пиксель целевого кадра, и остается активированным в течение длительности целевого кадра, при этом модуль вспышки деактивируется после того, как захватывается последний пиксель целевого кадра, и до начала следующего кадра (например, нарастание VSYNC). Этот процесс может упоминаться как "синхронизация вспышки" или "синхронизация строба", технологии которого поясняются дополнительно ниже.

[00275] Дополнительно, как показано в варианте осуществления по фиг. 47, управляющая логика 84 также может использовать статистические данные из предварительной обработки 80 ISP, показанные здесь как ссылочная позиция 558, чтобы определять то, являются или нет текущие условия освещения в сцене изображения, соответствующей целевому кадру, подходящими для использования модуля вспышки. Например, подсистема 32 ISP может использовать автоматическую установку экспозиции, чтобы пытаться поддерживать целевой уровень экспозиции (например, уровень освещенности) посредством регулирования времени интегрирования и/или коэффициентов усиления датчика. Тем не менее, следует принимать во внимание, что время интегрирования не может превышать время кадра. Например, для видеоданных, полученных при 30 кадрах/с, каждый кадр имеет длительность приблизительно 33 миллисекунды. Таким образом, если целевой уровень экспозиции не может достигаться с использованием максимального времени интегрирования, также могут применяться коэффициенты усиления датчика. Тем не менее, если регулировка времени интегрирования и коэффициентов усиления датчика не позволяет достигать целевой экспозиции (например, если уровень освещенности меньше целевого порога), то контроллер вспышки может быть выполнен с возможностью активировать модуль вспышки. Дополнительно, в одном варианте осуществления, время интегрирования также может быть ограничено, чтобы не допускать размытости изображений движущихся объектов. Например, в то время как время интегрирования может быть продлено до длительности кадра, оно может быть дополнительно ограничено в некоторых вариантах осуществления таким образом, чтобы не допускать размытости изображений движущихся объектов.

[00276] Как пояснено выше, чтобы обеспечивать то, что активация вспышки освещает целевой кадр в течение всей длительности (например, что вспышка включается до первого пикселя целевого кадра и выключается после последнего пикселя целевого кадра), подсистема 32 ISP может использовать информацию 556 синхронизации датчика, чтобы определять то, когда активировать/деактивировать вспышку 552

[00277] Фиг. 48 графически изображает то, как синхронизирующий сигнал датчика из датчиков 90 изображения может быть использован для того, чтобы управлять синхронизацией вспышки. Например, фиг. 48 показывает часть синхронизирующего сигнала 556 датчика изображения, который может предоставляться посредством одного из датчиков 90a или 90b изображения. Части высокого логического уровня сигнала 556 представляют интервалы кадра. Например, первый кадр (кадр N) представляется посредством ссылочной позиции 570, а второй кадр (кадр N+1) представляется посредством ссылочной позиции 572. Фактическое время, в которое начинается первый кадр 570, указывается посредством переднего фронта сигнала 556 во время t_{VSYNC_ra0} (например, где "r" обозначает передний фронт, а "a" обозначает "фактический" аспект синхронизирующего сигнала 556), а фактическое время, в которое завершается первый кадр 570, указывается посредством заднего фронта сигнала 556 во время t_{VSYNC_fa0} (например, где "f" обозначает задний фронт). Аналогично, фактическое время, в которое начинается второй кадр 572, указывается посредством переднего фронта сигнала 556 во время t_{VSYNC_ra1}, а фактическое время, в которое завершается второй кадр 572, указывается посредством заднего фронта сигнала 556 во время t_{VSYNC_fa1}. Интервал 574 между первым и вторым кадрами может упоминаться как интервал гашения (к примеру, гашения вертикальной развертки), который может давать возможность схеме обработки изображений (например, подсистеме 32 ISP) идентифицировать то, когда кадры изображения заканчиваются и начинаются. Следует принимать во внимание, что интервалы кадра и интервалы гашения вертикальной развертки, показанные на настоящем чертеже, не обязательно нарисованы в масштабе.

[00278] Как показано на фиг. 48, сигнал 556 может представлять фактическую синхронизацию с точки зрения датчика 90 изображения. Иными словами, сигнал 556 представляет синхронизацию, с которой кадры фактически получаются посредством датчика изображения. Тем не менее, поскольку информация синхронизации датчика предоставляется в последующие компоненты системы 32 обработки изображений, могут вводиться задержки в синхронизирующий сигнал датчика. Например, сигнал 576 представляет задержанный синхронизирующий сигнал (задержанный на первую временную задержку 578), который может рассматриваться с точки зрения интерфейса 548 на стороне датчика из логики 94 интерфейса между датчиком 90 и логикой 80 предварительной обработки ISP. Сигнал 580 может представлять задержанный синхронизирующий сигнал датчика с точки зрения интерфейса 549 на стороне предварительной обработки, который показывается на фиг. 48 как задержанный относительно синхронизирующего сигнала 572 интерфейса на стороне датчика на вторую временную задержку 582 и задержанный относительно исходного синхронизирующего сигнала 556 датчика на третью временную задержку 584, которая равна сумме первой временной задержки 578 и второй временной задержки 582. Затем, поскольку сигнал 580 со стороны 549 предварительной обработки интерфейса 94 предоставляется в логику 80 предварительной обработки ISP (FEProc), может быть приложена дополнительная задержка, так что задержанный сигнал 588 наблюдается с точки зрения логики 80 предварительной обработки ISP. В частности, сигнал 588, наблюдаемый посредством логики 80 предварительной обработки ISP, показывается здесь как задержанный относительно задержанного сигнала 580 (синхронизирующего сигнала на стороне предварительной обработки) на четвертую временную задержку 590 и задержанный относительно исходного синхронизирующего сигнала 556 датчика на пятую временную задержку 592, которая равна сумме первой временной задержки 578, второй временной задержки 582 и четвертой временной задержки 590.

[00279] Для управления синхронизацией вспышки, контроллер 550 вспышки может использовать первый сигнал, доступный для предварительной обработки ISP, который, следовательно, сдвигается, по меньшей мере, на значение времени задержки относительно фактического синхронизирующего сигнала 556 датчика. Таким образом, в настоящем варианте осуществления, контроллер 550 вспышки может определять параметры синхронизации вспышки на основе синхронизирующего сигнала 580 датчика, как видно с точки зрения стороны 549 предварительной обработки интерфейса 94 между датчиком и ISP. Таким образом, сигнал 596, который используется посредством контроллера 550 вспышки в настоящем примере, может быть идентичным сигналу 580. Как показано, задержанный сигнал 596 (задержанный на время 584 задержки относительно сигнала 556) включает в себя интервалы кадра, расположенные между временами t_{VSYNC_rd0} и t_{VSYNC_fd0} (например, где "d" представляет "задержанный"), которые коррелируются с первым кадром 570, и между временами t_{VSYNC_rd1} и t_{VSYNC_fd1}, которые коррелируются со вторым кадром 572. Как пояснено выше, в общем, желательно активировать вспышку до начала кадра и в течение длительности кадра (например, деактивировать вспышку после последнего пикселя кадра), чтобы обеспечивать то, что сцена изображения освещается в течение всего кадра, и учитывать время "прогрева", которое может требоваться вспышке в ходе активации для того, чтобы достигать полной интенсивности (которое может составлять порядка от микросекунд (например, 100-800 микросекунд) до нескольких миллисекунд (например, 1-5 миллисекунд)). Тем не менее, поскольку сигнал 596, проанализированный посредством контроллера 550 вспышки, задерживается относительно фактического синхронизирующего сигнала 556, эта задержка учитывается при определении параметров синхронизации вспышки.

[00280] Например, при условии, что вспышка должна быть активирована, чтобы освещать сцену изображения для второго кадра 572, задержанный передний фронт в t_{VSYNC_rd1} возникает после фактического переднего фронта в t_{VSYNC_ra1}. Таким образом, для контроллера 550 вспышки может быть затруднительным использовать задержанный передний фронт t_{VSYNC_rd1} для того, чтобы определять время начала активации вспышки, поскольку задержанный передний фронт t_{VSYNC_rd1} возникает после того, как уже начат второй кадр 572 (например, после t_{VSYNC_ra1} сигнала 556). В настоящем варианте осуществления, контроллер 550 вспышки вместо этого может определять время начала активации вспышки на основе конца предыдущего кадра, здесь заднего фронта во время t_{VSYNC_fd0}. Например, контроллер 550 вспышки может прибавлять временной интервал 600 (который представляет интервал 574 гашения вертикальной развертки) ко времени t_{VSYNC_fd0}, чтобы вычислять время, которое соответствует времени t_{VSYNC_rd1} задержанного переднего фронта кадра 572. Можно принимать во внимание, что время t_{VSYNC_rd1} задержанного переднего фронта возникает после времени t_{VSYNC_ra1} фактического переднего фронта (сигнал 556), и, следовательно, сдвиг 598 по времени (Offset1), который соответствует временной задержке 584 сигнала 580, вычитается из суммы времени t_{VSYNC_fd0} и времени 600 интервала гашения. Это обеспечивает время начала активации вспышки, которое начинается одновременно с началом второго кадра 572 во время t_{VSYNC_ra1.} Тем не менее, как упомянуто выше, в зависимости от типа устройства вспышки, которое предоставляется (например, ксеноновое, светодиодное и т.д.), модуль 552 вспышки может подвергаться времени "прогрева" между тем, когда активируется модуль вспышки, и когда устройство вспышки достигает своей полной яркости. Значение времени "прогрева" может зависеть от типа используемого устройства вспышки (например, ксеноновое устройство, светодиодное устройство и т.д.). Таким образом, чтобы учитывать такие времена "прогрева", дополнительное смещение 602 (Offset2), которое может программироваться или предварительно устанавливаться (например, с использованием регистра управления), может вычитаться от начала второго кадра 572 во время t_{VSYNC_ra1}. Это возвращает время начала активации вспышки ко времени 604, тем самым обеспечивая то, что вспышка активируется (при необходимости освещать сцену) до начала кадра 572, получаемого посредством датчика изображения. Этот процесс для определения времени активации вспышки может выражаться с использованием нижеприведенной формулы:

t_{flash_start_frame1}=t_{VSYNC_fd0}+t_{vert_blank_int}-t_Offset1-t_Offset2

[00281] В проиллюстрированном варианте осуществления, деактивация вспышки может происходить во время t_{VSYNC_fd1} сигнала 596 контроллера вспышки при условии, что время t_{VSYNC_fd1} возникает до начала кадра после кадра 572 (например, кадра N+2, который не показан на фиг. 48), как указано ко времени 605 для синхронизирующего сигнала 556 датчика. В других вариантах осуществления, деактивация вспышки может происходить во время (например, смещение 606) после времени t_{VSYNC_fd1} сигнала 596, но перед началом следующего кадра (например, перед последующим передним фронтом VSYNC для синхронизирующего сигнала 556 датчика, указывающем начало кадра N+2), или может происходить в интервале 608 непосредственно перед временем t_{VSYNC_fd1}, при этом интервал 608 меньше значения Offset1 (598). Можно принимать во внимание, что это обеспечивает то, что вспышка остается включенной в течение всей длительности целевого кадра (например, кадра 572).

[00282] Фиг. 49 изображает процесс 618 для определения времени начала активации вспышки на электронном устройстве 10 в соответствии с вариантом осуществления, показанным на фиг. 48. В начале, на этапе 620 синхронизирующий сигнал датчика (например, 556) из датчика изображения получается и предоставляется в логику управления вспышкой (например, контроллер 550 вспышки), которая может быть частью подсистемы обработки сигналов изображения (например, 32) электронного устройства 10. Синхронизирующий сигнал датчика предоставляется в логику управления вспышкой, но может быть задержан относительно исходного синхронизирующего сигнала (например, 556). На этапе 622, задержка (например, задержка 584) между синхронизирующим сигналом датчика и задержанным синхронизирующим сигналом датчика (например, 596) определяется. Затем, целевой кадр (например, кадр 572), запрашивающий освещение с помощью вспышки, идентифицируется на этапе 624. Чтобы определять время, в которое должен быть активирован модуль вспышки (например, 552), чтобы обеспечивать то, что вспышка является активной до начала целевого кадра, процесс 618 затем переходит к этапу 626, на котором определяется первое время (например, время t_{VSYNC_fd0}), соответствующее концу кадра до целевого кадра, как указано посредством задержанного синхронизирующего сигнала. После этого, на этапе 628 длина интервала гашения между кадрами определяется и суммируется с первым временем, определенным на этапе 626, чтобы определять второе время. Задержка, определенная на этапе 622, затем вычитается из второго времени, как показано на этапе 630, чтобы определять третье время. Как пояснено выше, это позволяет задавать время активации вспышки так, что оно совпадает с фактическим началом целевого кадра в соответствии с незадержанным синхронизирующим сигналом датчика.

[00283] Чтобы обеспечивать то, что вспышка является активной до начала целевого кадра, смещение (например, 602, Offset2) вычитается из третьего времени, как показано на этапе 632, чтобы определять требуемое время активации вспышки. Следует принимать во внимание, что в некоторых вариантах осуществления, смещение от блока 632 может не только обеспечивать то, что вспышка включена перед целевым кадром, но также может компенсировать время "прогрева", которое может требоваться вспышке между первоначальной активацией и достижением полной яркости. На этапе 634, вспышка 552 активируется во время начала вспышки, определенное на этапе 632. Как пояснено выше и показано на этапе 636, вспышка может оставаться включенной в течение всей длительности целевого кадра и может быть деактивирована после конца целевого кадра так, что все пиксели в целевом кадре подвергаются аналогичным условиям освещения. Хотя вариант осуществления, описанный выше на фиг. 48 и 49, поясняет применение технологий синхронизации вспышки с использованием одной вспышки, дополнительно следует принимать во внимание, что эти технологии синхронизации вспышки также могут быть применимыми к вариантам осуществления устройств, имеющих два или более устройства вспышки (например, две светодиодных вспышки). Например, если используются несколько модулей вспышки, вышеуказанные технологии могут применяться к обоим модулям вспышки, так что каждый модуль вспышки активируется посредством контроллера вспышки до начала кадра и остается включенным в течение длительности кадра (например, модули вспышки не обязательно должны активироваться для идентичных кадров).

[00284] Технологии синхронизации вспышки, описанные в данном документе, могут применяться при получении изображений с использованием устройства 10. Например, в одном варианте осуществления, технология предварительной вспышки может быть использована во время получения изображений. Например, когда камера или приложение получения изображений является активным на устройстве 10, приложение может работать в режиме "предварительного просмотра". В режиме предварительного просмотра датчик(и) изображения (например, 90) может получать кадры данных изображения, которые могут быть обработаны посредством подсистемы 32 ISP устройства 10 для целей предварительного просмотра (например, отображения на дисплее 28), хотя кадры не могут фактически захватываться или сохраняться до тех пор, пока запрос на захватывание не инициируется пользователем, чтобы переводить устройство 10 в режим "захвата". В качестве примера, это может осуществляться через активацию пользователем физической кнопки захвата на устройстве 10 или программной кнопки захвата, которая может быть реализована через программное обеспечение в качестве части графического пользовательского интерфейса и отображена на дисплее устройства 10 и реагирует на вводы из пользовательского интерфейса (например, вводы с сенсорного экрана).

[00285] Поскольку вспышка типично не является активной в ходе режима предварительного просмотра, внезапная активация и освещение сцены изображения с использованием вспышки в некоторых случаях может значительно изменять определенную статистику изображения для конкретной сцены, к примеру, связанную со статистикой автоматического баланса белого и т.д., относительно такой же сцены изображения, которая не освещается посредством вспышки. Таким образом, чтобы улучшать статистику, используемую для того, чтобы обрабатывать требуемый целевой кадр, в одном варианте осуществления технология на основе операции предварительной вспышки может включать в себя прием пользовательского запроса на то, чтобы захватывать кадр изображения, который запрашивает освещение с помощью вспышки, использование вспышки в первое время, чтобы освещать первый кадр в то время, когда устройство 10 еще находится в режиме предварительного просмотра, и обновление статистики (например, статистики автоматического баланса белого) до начала следующего кадра. Устройство 10 может переходить в режим захвата и захватывать следующий кадр с использованием обновленной статистики с активированной вспышкой, тем самым предоставляя повышенную точность изображения/цвета.

[00286] Фиг. 50 изображает блок-схему последовательности операций способа, подробнее иллюстрирующую такой процесс 640. Процесс 640 начинается на этапе 642, на котором принимается запрос на то, чтобы захватывать изображение с использованием вспышки. На этапе 644, вспышка активируется (например, может быть синхронизирована с использованием технологий, показанных на фиг. 48 и 49), чтобы освещать первый кадр, в то время как устройство 10 еще находится в режиме предварительного просмотра. Затем, на этапе 646, статистика изображения, к примеру, статистика автоматического баланса белого обновляется на основе статистики, полученной из освещенного первого кадра. После этого, на этапе 648 устройство 10 может переходить в режим захвата и получать следующий кадр с использованием обновленной статистики изображения из этапа 646. Например, обновленная статистика изображения может быть использована для того, чтобы определять коэффициенты усиления баланса белого и/или матрицы цветовой коррекции (CCM), которые могут быть использованы посредством программно-аппаратного обеспечения (например, управляющей логики 84) для того, чтобы программировать конвейер 82 ISP. Таким образом, кадр (например, следующий кадр), полученный на этапе 648, может быть обработан посредством конвейера 82 ISP с использованием одного или более параметров, которые определяются на основе обновленной статистики изображения из этапа 646.

[00287] В другом варианте осуществления, свойства цвета из сцены изображения без вспышки (например, полученной или предварительно просматриваемой без вспышки) могут применяться при захвате кадра изображения со вспышкой. Следует принимать во внимание, что сцена изображения без вспышки, в общем, демонстрирует лучшие свойства цвета относительно сцены изображения, которая освещается со вспышкой. Тем не менее, использование вспышки может обеспечивать уменьшенный шум и повышаемую яркость (например, при слабом освещении) относительно изображения без вспышки. Тем не менее, использование вспышки также может приводить к тому, что некоторые цвета в изображении со вспышкой выглядят в некоторой степени размытыми относительно изображения без вспышки идентичной сцены. Таким образом, в одном варианте осуществления, чтобы сохранять преимущества низкого шума и яркости изображения со вспышкой при одновременном частичном сохранении некоторых свойств цвета из изображения без вспышки, устройство 10 может быть выполнено с возможностью анализировать первый кадр без вспышки, чтобы получать его свойства цвета. Затем, устройство 10 может захватывать второй кадр с использованием вспышки и может применять технологию переноса цветной палитры в изображение со вспышкой с использованием свойств цвета из изображения без вспышки.

[00288] В конкретных вариантах осуществления, устройство 10, выполненное с возможностью реализовывать любую из технологий на основе вспышки/строба, поясненных выше, может представлять собой модель вычислительных устройств iPod®, iPhone®, iMac® или MacBook® с интегрированными или внешними устройствами формирования изображения, все из которых предлагаются компанией Apple Inc. Дополнительно, приложение формирования изображения/камеры может быть версией приложения Camera®, iMovie® или PhotoBooth®, также от компании Apple Inc.

[00289] Обратимся к фиг. 51, где проиллюстрирован более детализированный вид логики 150 предварительной обработки пикселей ISP (ранее рассмотренной на фиг. 10), в соответствии с вариантом осуществления настоящего изобретения. Как показано, логика 150 предварительной обработки пикселей ISP включает в себя временной фильтр 650 и фильтр 652 компенсации биннинга. Временной фильтр 650 может принимать один из входных сигналов изображения Sif0, Sif1, FEProcIn или предварительно обработанных сигналов изображения (например, 180, 184) и может действовать на первичных пиксельных данных до осуществления какой-либо дополнительной обработки. Например, временной фильтр 650 может первоначально обрабатывать данные изображения для снижения шума путем усреднения кадров изображения во временном направлении. Фильтр 652 компенсации биннинга, который более подробно рассмотрен ниже, может применять масштабирование и повторную дискретизацию к подвергнутым биннингу первичным данным изображения от датчика изображения (например, 90a, 90b) для поддержания равномерного пространственного распределения пикселей изображения.

[00290] Временной фильтр 650 может обладать пиксельной адаптивностью на основании характеристик движения и яркости. Например, в случае высокого движения пикселя, степень фильтрации может снижаться во избежание возникновения в результирующем обработанном изображении "запаздываний" или "артефактов наложения изображений", тогда как при обнаружении слабого движения или в отсутствие движения степень фильтрации может увеличиваться. Дополнительно, степень фильтрации также можно регулировать на основании данных яркости (например, "яркости"). Например, с увеличением яркости изображения, артефакты фильтрации могут становиться более заметными человеческому глазу. Таким образом, степень фильтрации можно дополнительно снижать, когда пиксель имеет высокий уровень яркости.

[00291] При применении временной фильтрации, временной фильтр 650 может принимать опорные пиксельные данные (Rin) и входные данные (Hin) истории движения, которые могут происходить из предыдущего фильтрованного или исходного кадра. С использованием этих параметров, временной фильтр 650 может обеспечивать выходные данные (Hout) истории движения и фильтрованный пиксельный выход (Yout). Затем фильтрованный пиксельный выход Yout поступает на фильтр 652 компенсации биннинга, который может быть сконфигурирован для осуществления одной или более операций масштабирования на данных Yout фильтрованного пиксельного выхода для создания выходного сигнала FEProcOut. Обработанные пиксельные данные FEProcOut затем могут перенаправляться на логику 82 конвейерной обработки ISP, как рассмотрено выше.

[00292] На фиг. 52 проиллюстрирована схема обработки, изображающая процесс 654 временной фильтрации, который может осуществляться временным фильтром, показанным на фиг. 51, в соответствии с первым вариантом осуществления. Временной фильтр 650 может включать в себя 2-отводный фильтр, в котором коэффициенты фильтрации регулируются адаптивно на попиксельной основе, по меньшей мере, частично, на основании данных движения и яркости. Например, входные пиксели x(t), где переменная "t" обозначает временное значение, можно сравнивать с опорными пикселями r(t-1) в ранее фильтрованном кадре или предыдущем исходном кадре для формирования поискового индекса движения в таблице (M) 655 истории движения, которая может содержать коэффициенты фильтрации. Дополнительно, на основании входных данных h(t-1) истории движения, можно определить выходные данные h(t) истории движения, соответствующие текущему входному пикселю x(t).

[00293] Выходные данные h(t) истории движения и коэффициент фильтрации, K, можно определить на основании дельты движения d(j,i,t), где (j,i) представляют координаты пространственного положения текущего пикселя x(j,i,t). Дельту движения d(j,i,t) можно вычислить путем определения максимальной из трех абсолютных дельт между исходными и опорными пикселями для трех горизонтально соседних пикселей одного и того же цвета. Например, кратко обратимся к фиг. 53, где проиллюстрированы пространственные положения трех соседних опорных пикселей 657, 658 и 659, соответствующих исходным входным пикселям 660, 661 и 662. В одном варианте осуществления, дельту движения можно вычислять на основании этих исходных и опорных пикселей с использованием нижеследующей формулы:

$$\begin{array}{l}d(j,i,t)=\max 3[abs(x(j,i-2,t)-r(j,i-2,t-1)),\\ (abs(x(j,i,t)-r(j,i,t-1)),\\ (abs(x(j,i+2,t)-r(j,i+2,t-1))]\end{array}$$ (1a)

Ниже на фиг. 55 дополнительно проиллюстрирована блок-схема последовательности операций способа, изображающая этот метод определения значения дельты движения. Кроме того, следует понимать, что метод вычисления значения дельты движения, показанный выше в уравнении 1a (и ниже на фиг. 55), призван обеспечивать лишь один вариант осуществления для определения значения дельты движения.

[00294] В других вариантах осуществления, матрицу пикселей того же цвета можно оценивать для определения значения дельты движения. Например, помимо трех пикселей, указанных в уравнении 1a, один вариант осуществления для определения значений дельты движения может включать в себя также оценивание абсолютных дельт между пикселями одного и того же цвета из двух строк выше (например, j-2; предполагая шаблон Байера) опорных пикселей 660, 661 и 662 и их соответствующих соседних пикселей, и двух строк ниже (например, j+2; предполагая шаблон Байера) опорных пикселей 660, 661 и 662 и их соответствующих соседних пикселей. Например, в одном варианте осуществления, значение дельты движения можно выразить следующим образом:

$$\begin{array}{l}d(j,i,t)=\max 9[abs(x(j,i-2,t)-r(j,i-2,t-1)),\\ (abs(x(j,i,t)-r(j,i,t-1)),\\ (abs(x(j,i+2,t)-r(j,i+2,t-1)),\\ (abs(x(j-2,i-2,t)-r(j-2,i-2,t-1)),\\ (abs(x(j-2,i,t)-r(j-2,i,t-1)),\\ (abs(x(j-2,i+2,t)-r(j-2,i+2,t-1)),\\ (abs(x(j+2,i-2,t)-r(j+2,i-2,t-1))\\ (abs(x(j+2,i,t)-r(j+2,i,t-1)),\\ (abs(x(j+2,i+2,t)-r(j+2,i+2,t-1))]\end{array}$$ (1b)

Таким образом, согласно варианту осуществления, представленному уравнением 1b, значение дельты движения можно определить путем сравнения абсолютной дельты между матрицей 3×3 пикселей того же цвета с текущим пикселем (661), расположенным в центре матрицы 3×3 (например, реально матрицей 5×5 для байеровских цветовых шаблонов, если считать пиксели разных цветов). Очевидно, что любая пригодная двухмерная матрица пикселей того же цвета (например, включающая в себя матрицы, все пиксели которой располагаются в одной и той же строке (например, уравнение 1a), или матрицы, все пиксели которой располагаются в одном и том же столбце) с текущим пикселем (например, 661), расположенным в центре матрицы, можно анализировать для определения значения дельты движения. Кроме того, хотя значение дельты движения можно определять как максимальную из абсолютных дельт (например, как показано в уравнениях 1a и 1b), в других вариантах осуществления, значение дельты движения также можно выбирать как среднее или срединное значение абсолютных дельт. Дополнительно, вышеописанные подходы применимы также к другим типам матриц цветовых фильтров (например, RGBW, CYGM и т.д.), а не только к шаблонам Байера.

[00295] Согласно фиг. 52, определив значение дельты движения, поисковый индекс движения, который можно использовать для выбора коэффициента K фильтрации из таблицы (M) 655 движения, можно вычислять путем суммирования дельты d(t) движения для текущего пикселя (например, в пространственном положении (j,i)) с входными данными h(t-1) истории движения. Например, коэффициент K фильтрации можно определить следующим образом:

$$K=M[d(j,i,t)+h(j,i,t-1)]$$ (2a)

Дополнительно, выходные данные h(t) истории движения можно определить с использованием следующей формулы:

$$h(j,i,t)=d(j,i,t)+(1-K)\times h(j,i,t-1)$$ (3a)

[00296] Затем яркость текущего входного пикселя x(t) можно использовать для формирования поискового индекса яркости в таблице (L) 656 яркости. В одном варианте осуществления, таблица яркости может содержать коэффициенты ослабления, которые могут принимать значения между 0 и 1 и могут быть выбраны на основании индекса яркости. Второй коэффициент фильтрации, K', можно вычислять путем умножения первого коэффициента K фильтрации на коэффициент ослабления яркости, как показано в нижеследующем уравнении:

$$K\text{'}=K\times L[x(j,i,t)]$$ (4a)

[00297] Определенное значение для K' затем можно использовать как коэффициент фильтрации для временного фильтра 650. Как рассмотрено выше, временной фильтр 650 может быть 2-отводным фильтром. Дополнительно, временной фильтр 650 может быть сконфигурирован как фильтр с бесконечной импульсной характеристикой (IIR), использующий предыдущий фильтрованный кадр, или как фильтр с конечной импульсной характеристикой (FIR), использующий предыдущий исходный кадр. Временной фильтр 650 может вычислять фильтрованный выходной пиксель y(t) (Yout) с использованием текущего входного пикселя x(t), опорного пикселя r(t-1) и коэффициента K' фильтрации с использованием следующей формулы:

$$y(j,i,t)=r(j,i,t-1)+K\text{'}(x(j,i,t)-r(j,i,t-1))$$ (5a)

Как рассмотрено выше, процесс 654 временной фильтрации, показанный на фиг. 52, может осуществляться на попиксельной основе. В одном варианте осуществления, одну и ту же таблицу M движения и таблицу L яркости можно использовать для всех цветовых компонент (например, R, G и B). Дополнительно, некоторые варианты осуществления могут предусматривать механизм обхода, в котором временную фильтрацию можно обойти, например в ответ на сигнал управления от управляющей логики 84. Кроме того, как будет рассмотрено ниже в отношении фиг. 57 и 58, один вариант осуществления временного фильтра 650 может использовать отдельные таблицы движения и яркости для каждой цветовой компоненты данных изображения.

[00298] Вариант осуществления метода временной фильтрации, описанный со ссылкой на фиг. 52 и 53, можно лучше понять, обратившись к фиг. 54, где изображена блок-схема последовательности операций способа, демонстрирующая способ 664, в соответствии с вышеописанным вариантом осуществления. Способ 664 начинается с этапа 665, на котором текущий пиксель x(t), находящийся в пространственном положении (j,i) текущего кадра данных изображения, принимается системой 654 временной фильтрации. На этапе 666, значение дельты d(t) движения определяется для текущего пикселя x(t), по меньшей мере, частично, на основании одного или более соседних опорных пикселей (например, r(t-1)) из предыдущего кадра данных изображения (например, кадра изображения, непосредственно предшествующего текущему кадру). Метод определения значения дельты d(t) движения на этапе 666 дополнительно объяснен ниже со ссылкой на фиг. 55, и может осуществляться в соответствии с вышеприведенным уравнением 1a.

[00299] Получив значение дельты d(t) движения на этапе 666, поисковый индекс таблицы движения можно определить с использованием значения дельты d(t) движения и значения h(t-1) входных данных истории движения, соответствующего пространственному положению (j,i) из предыдущего кадра, как показано на этапе 667. Дополнительно, хотя это не показано, значение h(t) истории движения, соответствующее текущему пикселю x(t), также можно определить на этапе 667, когда значение дельты d(t) движения известно, например, с использованием вышеприведенного уравнения 3a. После этого, на этапе 668, первый коэффициент K фильтрации можно выбирать из таблицы 655 движения с использованием поискового индекса таблицы движения, из этапа 667. Определение поискового индекса таблицы движения и выбор первого коэффициента K фильтрации из таблицы движения может осуществляться в соответствии с вышеприведенным уравнением 2a.

[00300] Затем, на этапе 669, коэффициент ослабления можно выбирать из таблицы 656 яркости. Например, таблица 656 яркости может содержать коэффициенты ослабления в пределах приблизительно от 0 до 1, и коэффициент ослабления можно выбирать из таблицы 656 яркости с использованием значения текущего пикселя x(t) в качестве поискового индекса. Выбрав коэффициент ослабления, второй коэффициент K' фильтрации можно определить на этапе 670 с использованием выбранного коэффициента ослабления и первого коэффициента K фильтрации (из этапа 668), как показано в вышеприведенном уравнении 4a. Затем, на этапе 671, подвергнутое временной фильтрации выходное значение y(t), соответствующее текущему входному пикселю x(t), определяется на основании второго коэффициента K' фильтрации (из этапа 669), значения соседнего опорного пикселя r(t-1) и значения входного пикселя x(t). Например, в одном варианте осуществления, выходное значение y(t) можно определить в соответствии с вышеприведенным уравнением 5a.

[00301] На фиг. 55, этап 666 для определения значения дельты d(t) движения из способа 664 проиллюстрирован более подробно в соответствии с одним вариантом осуществления. В частности, определение значения дельты d(t) движения, в общем случае, может соответствовать операции, изображенной выше в соответствии с уравнением 1a. Как показано, этап 666 может включать в себя подэтапы 672-675. Начиная с подэтапа 672, идентифицируется набор из трех горизонтально соседних пикселей, имеющих такое же значение цвета, как текущий входной пиксель x(t). В порядке примера, в соответствии с вариантом осуществления, показанным на фиг. 53, данные изображения могут включать в себя байеровские данные изображения, и три горизонтально соседних пикселя могут включать в себя текущий входной пиксель x(t) (661), второй пиксель 660 того же цвета слева от текущего входного пикселя 661, и третий пиксель того же цвета справа от текущего входного пикселя 661.

[00302] Затем, на подэтапе 673, идентифицируются три соседних опорных пикселя 657, 658 и 659 из предыдущего кадра, соответствующие выбранному набору из трех горизонтально соседних пикселей 660, 661 и 662. С использованием выбранных пикселей 660, 661 и 662 и трех соседних опорных пикселей 657, 658 и 659, абсолютные значения разностей между каждым из трех выбранных пикселей 660, 661 и 662 и их соответствующими соседними опорными пикселями 657, 658 и 659, соответственно, определяются на подэтапе 674. Затем, на подэтапе 675, максимальная из трех разностей, полученных на подэтапе 674, выбирается в качестве значения дельты d(t) движения для текущего входного пикселя x(t). Как рассмотрено выше, фиг. 55, которая иллюстрирует способ вычисления значения дельты движения, показанный в уравнении 1a, призвана обеспечивать лишь один вариант осуществления. Действительно, как рассмотрено выше, любую пригодную двухмерную матрицу пикселей того же цвета с текущим пикселем в центре матрицы можно использовать для определения значения дельты движения (например, уравнение 1b).

[00303] Другой вариант осуществления способа применения временной фильтрации к данным изображения дополнительно изображен на фиг. 56. Например, поскольку отношения сигнал-шум для разных цветовых компонент данных изображения могут различаться, коэффициент усиления может применяться к текущему пикселю, благодаря чему, текущий пиксель получает коэффициент усиления до выбора значений движения и яркости из таблицы 655 движения и таблицы 656 яркости. Применяя соответствующий коэффициент усиления, который является цветозависимым, можно добиться более согласованного отношения сигнал-шум между разными цветовыми компонентами. Исключительно в порядке примера, в реализации, где используются первичные байеровские данные изображения, цветовые каналы красного и синего, в общем случае, могут быть более чувствительными по сравнению с цветовыми каналами зеленого (Gr и Gb). Таким образом, применяя надлежащий цветозависимый коэффициент усиления к каждому обработанному пикселю, можно, в общем случае, снижать разброс в отношении сигнал-шум между цветовыми компонентами, таким образом, снижая, помимо прочего, артефакты наложения изображений, а также согласованность между разными цветами после коэффициентов усиления автоматического баланса белого.

[00304] На основании вышеизложенного, на фиг. 56 представлена блок-схема последовательности операций способа, изображающая способ 676 применения временной фильтрации к данным изображения, принятым блоком 150 предварительной обработки в соответствии с таким вариантом осуществления. Начиная с этапа 677, текущий пиксель x(t), находящийся в пространственном положении (j,i) текущего кадра данных изображения, принимается системой 654 временной фильтрации. На этапе 678, значение дельты d(t) движения определяется для текущего пикселя x(t), по меньшей мере, частично, на основании одного или более соседних опорных пикселей (например, r(t-1)) из предыдущего кадра данных изображения (например, кадра изображения, непосредственно предшествующего текущему кадру). Этап 678 может быть аналогичен этапу 666, показанному на фиг. 54, и может использовать операцию, представленную в вышеприведенном уравнении 1.

[00305] Затем, на этапе 679, поисковый индекс таблицы движения можно определить с использованием значения дельты d(t) движения, значения h(t-1) входных данных истории движения, соответствующего пространственному положению (j,i) из предыдущего кадра (например, соответствующего соседнему опорному пикселю r(t-1)), и коэффициента усиления, связанного с цветом текущего пикселя. После этого, на этапе 680, первый коэффициент K фильтрации можно выбирать из таблицы 655 движения с использованием поискового индекса таблицы движения, определенного на этапе 679. Исключительно в порядке примера, в одном варианте осуществления, коэффициент K фильтрации и поисковый индекс таблицы движения можно определить следующим образом:

$$K=M[gain[c]\times (d(j,i,t)+h(j,i,t-1))]$$ , (2b)

где M представляет таблицу движения, и где gain[c] соответствует коэффициенту усиления, связанному с цветом текущего пикселя. Дополнительно, хотя это не показано на фиг. 56, следует понимать, что значение h(t) выходных данных истории движения для текущего пикселя также можно определить и можно использовать для применения временной фильтрации к соседнему пикселю последующего кадра изображения (например, следующего кадра). В настоящем варианте осуществления, выходные данные h(t) истории движения для текущего пикселя x(t) можно определить с использованием следующей формулы:

$$h(j,i,t)=d(j,i,t)+K[h(j,i,t-1)-d(j,i,t)]$$ (3b)

[00306] Затем, на этапе 681, коэффициент ослабления можно выбирать из таблицы 656 яркости с использованием поискового индекса таблицы яркости, определенного на основании коэффициента усиления (gain[c]), связанного с цветом текущего пикселя x(t). Как рассмотрено выше, коэффициенты ослабления, хранящиеся в таблице яркости, могут принимать значения приблизительно от 0 до 1. После этого, на этапе 682, второй коэффициент K' фильтрации можно вычислять на основании коэффициента ослабления (из этапа 681) и первого коэффициента K фильтрации (из этапа 680). Исключительно в порядке примера, в одном варианте осуществления, второй коэффициент K' фильтрации и поисковый индекс таблицы яркости можно определить следующим образом:

$$K\text{'}=K\times L[gain[c]\times x(j,i,t)]$$ (4b)

[00307] Затем, на этапе 683, подвергнутое временной фильтрации выходное значение y(t), соответствующее текущему входному пикселю x(t), определяется на основании второго коэффициента K' фильтрации (из этапа 682), значения соседнего опорного пикселя r(t-1) и значения входного пикселя x(t). Например, в одном варианте осуществления, выходное значение y(t) можно определить следующим образом:

$$y(j,i,t)=x(j,i,t)+K\text{'}(r(j,i,t-1)-x(j,i,t))$$ (5b)

[00308] Перейдем к фиг. 57, где изображен дополнительный вариант осуществления процесса 384 временной фильтрации. В данном случае, процесс 384 временной фильтрации может осуществляться аналогично варианту осуществления, рассмотренному на фиг. 56, за исключением того, что вместо применения цветозависимого коэффициента усиления (например, gain[c]) к каждому входному пикселю и использования совместно используемых таблиц движения и яркости, для каждых цветовых компонент предоставлены отдельные таблицы движения и яркости. Например, как показано на фиг. 57, таблицы 655 движения могут включать в себя таблицу 655a движения, соответствующую первому цвету, таблицу 655b движения, соответствующую второму цвету, и таблицу 655c движения, соответствующую n-му цвету, где n зависит от количества цветов, присутствующих в первичных данных изображения. Аналогично, таблицы 656 яркости могут включать в себя таблицу 656a яркости, соответствующую первому цвету, таблицу 656b яркости, соответствующую второму цвету, и таблицу 656c яркости, соответствующую n-му цвету. Таким образом, согласно варианту осуществления, где первичные данные изображения являются байеровскими данными изображения, для каждой из цветовых компонент красного, синего и зеленого может быть предоставлено по три таблицы движения и яркости. Как рассмотрено ниже, выбор коэффициентов K фильтрации и коэффициентов ослабления может зависеть от таблицы движения и яркости, выбранной для текущего цвета (например, цвета текущего входного пикселя).

[00309] Способ 685, демонстрирующий дополнительный вариант осуществления для временной фильтрации с использованием цветозависимых таблиц движения и яркости показан на фиг. 58. Очевидно, что различные вычисления и формулы которые могут применяться согласно способу 685, могут быть аналогичны варианту осуществления, показанному на фиг. 54, но с выбором конкретной таблицы движения и яркости для каждого цвета, или аналогичны варианту осуществления, показанному на фиг. 56, но с заменой использования цветозависимого gain[c] выбором цветозависимой таблицы движения и яркости.

[00310] Начиная с этапа 686, текущий пиксель x(t), находящийся в пространственном положении (j,i) текущего кадра данных изображения, принимается системой 684 временной фильтрации (фиг. 57). На этапе 687, значение дельты d(t) движения определяется для текущего пикселя x(t), по меньшей мере, частично, на основании одного или более соседних опорных пикселей (например, r(t-1)) из предыдущего кадра данных изображения (например, кадра изображения, непосредственно предшествующего текущему кадру). Этап 687 может быть аналогичен этапу 666, показанному на фиг. 54, и может использовать операцию, показанную в вышеприведенном уравнении 1.

[00311] Затем, на этапе 688, поисковый индекс таблицы движения можно определить с использованием значения дельты d(t) движения и значения h(t-1) входных данных истории движения, соответствующего пространственному положению (j,i) из предыдущего кадра (например, соответствующего соседнему опорному пикселю r(t-1)). После этого, на этапе 689, первый коэффициент K фильтрации можно выбирать из одной из доступных таблиц движения (например, 655a, 655b, 655c) на основании цвета текущего входного пикселя. Например, идентифицировав надлежащую таблицу движения, первый коэффициент K фильтрации можно выбирать с использованием поискового индекса таблицы движения, определенного на этапе 688.

[00312] После выбора первого коэффициента K фильтрации, выбирается таблица яркости, соответствующая текущему цвету, и коэффициент ослабления выбирается из выбранной таблицы яркости на основании значения текущего пикселя x(t), как показано на этапе 690. После этого, на этапе 691, второй коэффициент K' фильтрации определяется на основании коэффициента ослабления (из этапа 690) и первого коэффициента K фильтрации (этап 689). Затем, на этапе 692, подвергнутое временной фильтрации выходное значение y(t), соответствующее текущему входному пикселю x(t), определяется на основании второго коэффициента K' фильтрации (из этапа 691), значения соседнего опорного пикселя r(t-1) и значения входного пикселя x(t). Хотя реализация подхода, показанного на фиг. 58, может быть более затратна (например, из-за объема памяти, необходимого для хранения дополнительных таблиц движения и яркости), он может, в ряде случаев, обеспечивать дополнительные усовершенствования в отношении артефактов наложения изображений и согласованности между разными цветами после коэффициентов усиления автоматического баланса белого.

[00313] В соответствии с дополнительными вариантами осуществления, процесс временной фильтрации, предоставленный временным фильтром 650, может использовать комбинацию цветозависимых коэффициентов усиления и цветозависимых таблиц движения и/или яркости для применения временной фильтрации к входным пикселям. Например, в одном таком варианте осуществления, для всех цветовых компонент может быть предоставлена единая таблица движения, и поисковый индекс таблицы движения для выбора первого коэффициента фильтрации (K) из таблицы движения можно определить на основании цветозависимого коэффициента усиления (например, как показано на фиг. 56, этапы 679-680), тогда как к поисковому индексу таблицы яркости может не применяться цветозависимый коэффициент усиления, но его можно использовать для выбора коэффициента ослабления яркости из одной из множественных таблиц яркости в зависимости от цвета текущего входного пикселя (например, как показано на фиг. 58, этап 690). Альтернативно, в другом варианте осуществления, можно обеспечить множественные таблицы движения, и поисковый индекс таблицы движения (без применения цветозависимого коэффициента усиления) можно использовать для выбора первого коэффициента фильтрации (K) из таблицы движения, соответствующей цвету текущего входного пикселя (например, как показано на фиг. 58, этап 689), тогда как для всех цветовых компонент можно обеспечить единую таблицу яркости, причем поисковый индекс таблицы яркости для выбора коэффициента ослабления яркости можно определить на основании цветозависимого коэффициента усиления (например, как показано на фиг. 56, этапы 681-682). Кроме того, в одном варианте осуществления, где используется матрица байеровских цветовых фильтров, для каждого из цветовых компонент красного (R) и синего (B) можно обеспечить по одной таблице движения и/или таблице яркости, тогда как для обоих цветовых компонент (Gr и Gb) зеленого можно обеспечить общую таблицу движения и/или таблицу яркости.

[00314] Затем выходной сигнал временного фильтра 650 может отправляться на фильтр 652 компенсации биннинга (BCF), который может быть сконфигурирован для обработки пикселей изображения для компенсации нелинейного размещения (например, неравномерного пространственного распределения) цветовых выборок вследствие биннинга датчиком(ами) 90a или 90b изображения, чтобы последующие операции обработки изображений в логике 82 конвейера ISP (например, демозаика и т.д.), которые зависят от линейного размещения цветовых выборок могли работать правильно. Например, на фиг. 59, изображена выборка 693 байеровских данных изображения с полным разрешением. Это может быть выборка с полным разрешением первичных данных изображения, захваченных датчиком 90a (или 90b) изображения, подключенным к логике 80 предварительной обработки ISP.

[00315] Очевидно, что при некоторых условиях захвата изображения, может быть непрактичным отправлять данные изображения с полным разрешением, захваченные датчиком 90a изображения, на схему 32 ISP для обработки. Например, при захвате видеоданных, для сохранения внешнего вида движущегося изображения жидкости, воспринимаемого человеческим глазом, может потребоваться частота кадров, по меньшей мере, приблизительно 30 кадров в секунду. Если же объем пиксельных данных, содержащихся в каждом кадре выборки с полным разрешением превышает возможности обработки схемы 32 ISP при частоте дискретизации 30 кадров в секунду, фильтрацию с компенсацией биннинга можно применять совместно с биннингом датчиком 90a изображения для снижения разрешения сигнала изображения и одновременного повышения отношения сигнал/шум. Например, как рассмотрено выше, могут применяться различные методы биннинга, например биннинг 2×2, для создания "подвергнутого биннингу" первичного пикселя изображения путем усреднения значений окружающих пикселей в активной области 312 первичного кадра 310.

[00316] На фиг. 60 проиллюстрирован вариант осуществления датчика 90a изображения, который может быть сконфигурирован для биннинга данных 693 изображения с полным разрешением, показанных на фиг. 59, для создания соответствующих подвергнутых биннингу первичных данных 700 изображения, показанных на фиг. 61, в соответствии с одним вариантом осуществления. Как показано, датчик 90a изображения может захватывать первичные данные 693 изображения с полным разрешением. Логика 699 биннинга может быть сконфигурирована для применения биннинга к первичным данным 693 изображения с полным разрешением для создания подвергнутых биннингу первичных данных 700 изображения, которые могут передаваться логике 80 предварительной обработки ISP с использованием интерфейса 94a датчика, который, как рассмотрено выше, может представлять собой интерфейс SMIA или любые другие пригодные параллельные или последовательные интерфейсы камеры.

[00317] Согласно фиг. 61, логика 699 биннинга может применять биннинг 2×2 к первичным данным 693 изображения с полным разрешением. Например, в отношении подвергнутых биннингу данных 700 изображения, пиксели 695, 696, 697 и 698 могут формировать шаблон Байера, и их можно определять путем усреднения значений пикселей из первичных данных 693 изображения с полным разрешением. Например, согласно фиг. 59 и 61, подвергнутый биннингу пиксель 695 Gr можно определить как усредненное или среднее значение пикселей 695a-695d Gr полного разрешения. Аналогично, подвергнутый биннингу пиксель 696 R можно определить как среднее значение пикселей 696a-696d R полного разрешения, подвергнутый биннингу пиксель 354 B можно определить как среднее значение пикселей 697a-697d B полного разрешения, и подвергнутый биннингу пиксель 697 Gb можно определить как среднее значение пикселей 698a-698d Gb полного разрешения. Таким образом, в настоящем варианте осуществления, биннинг 2×2 может обеспечивать набор из четырех пикселей полного разрешения, включающих в себя верхний левый (например, 695a), верхний правый (например, 695b), нижний левый (например, 695c) и нижний правый (например, 695d) пиксель, которые усредняются для получения подвергнутого биннингу пикселя, расположенного в центре квадрата, образованного набором из четырех пикселей полного разрешения. Соответственно, подвергнутый биннингу байеровский блок 694, показанный на фиг. 61, содержит четыре "суперпикселя", которые представляют 16 пикселей, содержащихся в байеровских блоках 694a-694d на фиг. 59.

[00318] Помимо снижения пространственного разрешения, биннинг также дает дополнительное преимущество понижения шума в сигнале изображения. Например, всякий раз, когда датчик изображения (например, 90a) подвергается воздействию светового сигнала, может присутствовать некоторая величина шума, например, фотонного шума, связанного с изображением. Этот шум может быть случайным или систематическим и также может поступать от множественных источников. Таким образом, объем информации, содержащейся в изображении, захваченном датчиком изображения, можно выразить через отношение сигнал/шум. Например, каждый раз, когда изображение захватывается датчиком 90a изображения и переносится на схему обработки, например, схему 32 ISP, в пиксельных значениях может присутствовать некоторая степень шума, поскольку процесс чтения и переноса данных изображения, по природе своей, вносит "шум чтения" в сигнал изображения. Этот "шум чтения" может быть случайным, и его, в общем случае, не удается избежать. Благодаря использованию среднего значения четырех пикселей, шум, (например, фотонный шум) можно, в общем случае, снизить независимо от источника шума.

[00319] Таким образом, при рассмотрении данных 693 изображения с полным разрешением, показанных на фиг. 59, каждый шаблон 694a-694d Байера (блок 2×2) содержит 4 пикселя, каждый из которых содержит сигнал и шумовую компоненту. Если каждый пиксель, например, в байеровском блоке 694a, считывается отдельно, то присутствуют четыре компоненты сигнала и четыре шумовых компоненты. Однако, благодаря применению биннинга, как показано на фиг. 59 и 61, что позволяет представить четыре пикселя (например, 695a, 695b, 695c, 695d) единым пикселем (например, 695) в подвергнутых биннингу данных изображения, область, занятую четырьмя пикселями в данных 693 изображения с полным разрешением, можно считывать как единый пиксель только с одним экземпляром шумовой компоненты, таким образом, повышая отношение сигнал/шум.

[00320] Кроме того, хотя настоящий вариант осуществления изображает логику 699 биннинга, показанную на фиг. 60, как сконфигурированную для применения процесса биннинга 2×2, очевидно, что логика 699 биннинга может быть сконфигурирована для применения любого пригодного типа процесса биннинга, например, биннинга 3×3, вертикального биннинга, горизонтального биннинга и т.д. В некоторых вариантах осуществления, датчик 90a изображения может быть сконфигурирован для выбора между разными режимами биннинга в процессе захвата изображения. Дополнительно, в дополнительных вариантах осуществления, датчик 90a изображения также может быть сконфигурирован для применения метода, который может именоваться "пропуском", в котором вместо средних пиксельных выборок, логика 699 выбирает лишь некоторые пиксели из данных 693 полного разрешения (например, каждый второй пиксель, каждый третий пиксель и т.д.) для вывода на устройство 80 предварительной обработки ISP для обработки. Кроме того, хотя на фиг. 60 показан только датчик 90a изображения, очевидно, что датчик 90b изображения можно реализовать аналогичным образом.

[00321] Согласно фиг. 61, один результат процесса биннинга состоит в том, что пространственная дискретизация подвергнутых биннингу пикселей может распределяться неравномерно. Это пространственное искажение, в некоторых системах, может приводить к ступенчатости (например, зазубренным краям), что, в общем случае, нежелательно. Кроме того, поскольку некоторые этапы обработки изображений в логике 82 конвейера ISP могут зависеть от линейного размещения цветовых выборок, чтобы она правильно работала, фильтр 652 компенсации биннинга (BCF) может применяться для осуществления повторной дискретизации и повторному размещению подвергнутых биннингу пикселей таким образом, чтобы подвергнутые биннингу пиксели были равномерно распределены в пространстве. Таким образом, BCF 652, по существу, компенсирует неравномерное пространственное распределение (например, показанное на фиг. 61) путем повторной дискретизации позиции выборок (например, пикселей). Например, фиг. 62 иллюстрирует повторно дискретизированный участок подвергнутых биннингу данных 702 изображения после обработки с помощью BCF 652, в которых байеровский блок 703, содержащий равномерно распределенные повторно дискретизированные пиксели 704, 705, 706 и 707, соответствует подвергнутым биннингу пикселям 695, 696, 697 и 698, соответственно, подвергнутых биннингу данных 700 изображения из фиг. 61. Дополнительно, согласно варианту осуществления, который использует пропуск (например, вместо биннинга), как упомянуто выше, пространственное искажение, показанное на фиг. 61, может отсутствовать. В этом случае, BCF 652 может функционировать как фильтр низких частот для ослабления артефактов (например, ступенчатости), которые могут возникать в случае применения пропуска датчиком 90a изображения.

[00322] На фиг. 63 показана блок-схема фильтра 652 компенсации биннинга в соответствии с одним вариантом осуществления. BCF 652 может включать в себя логику 708 компенсации биннинга, которая может обрабатывать подвергнутые биннингу пиксели 700 для применения горизонтального и вертикального масштабирования с использованием логики 709 горизонтального масштабирования и логики 710 вертикального масштабирования, соответственно, для повторной дискретизации и повторного размещения подвергнутых биннингу пикселей 700 с целью предоставления их равномерного распределения в пространстве, как показано на фиг. 62. В одном варианте осуществления, операция(и) масштабирования, осуществляемая(ые) BCF 300, может/могут осуществляться с использованием горизонтальной и вертикальной многоотводной многофазной фильтрации. Например, процесс фильтрации может включать в себя выбор надлежащих пикселей из входных данных источника изображения (например, подвергнутых биннингу данных 700 изображения, обеспечиваемых датчиком 90a изображения), умножение каждого из выбранных пикселей на коэффициент фильтрации, и повышающую дискретизацию полученных значений для формирования выходного пикселя на нужном пункте назначения.

[00323] Выбор пикселей, используемых в операциях масштабирования, которые могут включать в себя центральный пиксель и окружающие соседние пиксели того же цвета, можно определить с использованием отдельных дифференциальных анализаторов 711, одного для вертикального масштабирования и одного для горизонтального масштабирования. В представленном варианте осуществления, дифференциальные анализаторы 711 могут быть цифровыми дифференциальными анализаторами (DDA) и могут быть сконфигурированы для управления текущей выходной позицией пикселя в ходе операций масштабирования в вертикальном и горизонтальном направлениях. В настоящем варианте осуществления, первый DDA (именуемый 711a) используется для всех цветовых компонент при горизонтальном масштабировании, и второй DDA (именуемый 711b) используется для всех цветовых компонент при вертикальном масштабировании. Исключительно в порядке примера, DDA 711 может быть предоставлен как 32-битовый регистр данных, который содержит число с фиксированной запятой в формате дополнения до 2, имеющее 16 битов в целой части и 16 битов в дробной части. 16-битовую целую часть можно использовать для определения текущей позиции выходного пикселя. Дробную часть DDA 711 можно использовать для определения текущего индекса или фазы, которое может базироваться на межпиксельной дробной позиции текущей позиции DDA (например, соответствующей пространственному положению выходного пикселя). Индекс или фазу можно использовать для выбора надлежащего набора коэффициентов из набора таблиц 712 коэффициентов фильтрации. Дополнительно, фильтрация может осуществляться для каждой цветовой компоненты с использованием пикселей того же цвета. Таким образом, коэффициенты фильтрации можно выбирать на основании не только фазы текущей позиции DDA, но и цвета текущего пикселя. В одном варианте осуществления, 8 фаз может присутствовать между каждым входным пикселем, и, таким образом, вертикальный и горизонтальный компоненты масштабирования могут использовать таблицы коэффициентов глубиной 8, благодаря чему, 3 старших бита 16-битовой дробной части используются для выражения текущей фазы или индекса. Таким образом, используемый здесь термин "первичные данные изображения" и т.п. следует понимать как данные многоцветного изображения, получаемые единичным датчиком с помощью шаблона матрицы цветовых фильтров (например, байеровским), перекрывающих его, которые обеспечивают множественные цветовые компоненты в одной плоскости. В другом варианте осуществления, отдельные DDA можно использовать для каждой цветовой компоненты. Например, в таких вариантах осуществления, BCF 652 может выделять компоненты R, B, Gr и Gb из первичных данных изображения и обрабатывать каждую компоненту как отдельную плоскость.

[00324] В ходе эксплуатации, горизонтальное и вертикальное масштабирование может включать в себя инициализация DDA 711 и осуществление многоотводной многофазной фильтрации с использованием целой и дробной частей DDA 711. При осуществлении по отдельности и с помощью отдельных DDA, операции горизонтального и вертикального масштабирования осуществляются аналогичным образом. Значение шага или размер шага (DDAStepX для горизонтального масштабирования и DDAStepY для вертикального масштабирования) определяет, какое приращение получает значение DDA (currDDA) после определения каждого выходного пикселя, и многоотводная многофазная фильтрация повторяется с использованием следующего значения currDDA. Например, если значение шага меньше 1, то изображение подвергается повышающей дискретизации, и если значение шага больше 1, то изображение подвергается понижающей дискретизации. Если значение шага равно 1, масштабирования не происходит. Кроме того, следует отметить, что для горизонтального и вертикального масштабирования можно использовать одинаковые или разные величины шага.

[00325] Выходные пиксели формируются BCF 652 в том же порядке, что и входные пиксели (например, с использованием шаблона Байера). В настоящем варианте осуществления, входные пиксели можно классифицировать как четные или нечетные на основании их упорядочения. Например, на фиг. 64 проиллюстрировано графическое представление положений входных пикселей (строка 713) и положений соответствующих выходных пикселей на основании различных значений DDAStep (строки 714-718). В этом примере, изображенная строка представляет строку пикселей красного (R) и зеленого (Gr) в первичных байеровских данных изображения. В целях горизонтальной фильтрации, пиксель красного в позиции 0.0 в строке 713 можно рассматривать как четный пиксель, пиксель зеленого в позиции 1.0 в строке 713 можно рассматривать как нечетный пиксель, и т.д. Для положений выходных пикселей, четные и нечетные пиксели можно определить на основании младшего бита в дробной части (16 младших битов) DDA 711. Например, предполагая, что DDAStep равен 1.25, как показано в строке 715, младший бит соответствует биту 14 DDA, поскольку этот бит дает разрешение 0.25. Таким образом, выходной пиксель красного в позиции DDA (currDDA) 0,0 можно рассматривать как четный пиксель (младший бит, бит 14, равен 0), выходной пиксель зеленого в позиции currDDA 1.0 (бит 14 равен 1), и т.д. Кроме того, хотя на фиг. 64 показана фильтрация в горизонтальном направлении (с использованием DDAStepX), следует понимать, что определение четных и нечетных входных и выходных пикселей можно применять таким же образом в отношении вертикальной фильтрации (с использованием DDAStepY). В других вариантах осуществления, DDA 711 также можно использовать для отслеживания положений входных пикселей (например, вместо того, чтобы отслеживать положения нужных выходных пикселей). Кроме того, очевидно, что DDAStepX и DDAStepY можно присваивать одинаковые или разные значения. Кроме того, предполагая использование шаблона Байера, следует отметить, что начальный пиксель, используемый BCF 300, может быть любым из пикселей Gr, Gb, R или B в зависимости, например, от того, какой пиксель располагается на углу в активной области 312.

[00326] На основании вышеизложенного, четные/нечетные входные пиксели используются для формирования четных/нечетных выходных пикселей, соответственно. При условии, что положение выходного пикселя чередуется между четной и нечетной позициями, центральное положение входного пикселя источника (именуемое здесь "currPixel") для целей фильтрации определяется округлением DDA до ближайшего четного или нечетного положения входного пикселя для четных или нечетных положений выходных пикселей (на основании DDAStepX), соответственно. Согласно варианту осуществления, где DDA 711a сконфигурирован для использования 16 битов для представления целой части и 16 битов для представления дробной части, currPixel можно определить для четных и нечетных позиций currDDA с использованием нижеследующих уравнений 6a и 6b:

четные положения выходных пикселей можно определить на основании битов [31:16]:

(currDDA+1,0) & 0xFFFE.0000 (6a)

нечетные положения выходных пикселей можно определить на основании битов [31:16]:

(currDDA) | 0x0001,0000 (6b)

По существу, вышеприведенные уравнения представляют операцию округления, благодаря которой четные и нечетные позиции выходных пикселе, определяемые currDDA, округляются до ближайших четных и нечетных позиций входных пикселей, соответственно, для выбора currPixel.

[00327] Дополнительно, текущий индекс или фазу (currIndex) также можно определить в каждой позиции currDDA. Как рассмотрено выше, значения индекса или фазы представляют дробную межпиксельную позицию выходной позиции пикселя относительно позиций входных пикселей. Например, в одном варианте осуществления, между каждой входной позицией пикселя можно задать 8 фаз. Например, возвращаясь к фиг. 64, 8 значений индекса 0-7 предоставляются между первым входным пикселем красного в позиции 0.0 и следующим входным пикселем красного в позиции 2.0. Аналогично, 8 значений индекса 0-7 предоставляются между первым входным пикселем зеленого в позиции 1.0 и следующим входным пикселем зеленого в позиции 3.0. В одном варианте осуществления, значения currIndex можно определить в соответствии с нижеприведенными уравнениями 7a и 7b для четных и нечетных положений выходных пикселей, соответственно:

четные положения выходных пикселей можно определить на основании битов [16:14]:

(currDDA+0,125) (7a)

нечетные положения выходных пикселей можно определить на основании битов [16:14]:

(currDDA+1,125) (7b)

Для нечетных позиций, дополнительный сдвиг на 1 пиксель эквивалентен добавлению смещения, равного четырем, к индексу коэффициента для нечетных положений выходных пикселей для учета смещения индекса между разными цветовыми компонентами относительно DDA 711.

[00328] После определения currPixel и currIndex в конкретном положении currDDA, процесс фильтрации может выбирать один или более соседних пикселей того же цвета на основании currPixel (выбранного центрального входного пикселя). В порядке примера, согласно варианту осуществления, где логика 709 горизонтального масштабирования включает в себя 5-отводный многофазный фильтр, и логика 710 вертикального масштабирования включает в себя 3-отводный многофазный фильтр, по два пикселя того же цвета по обе стороны currPixel в горизонтальном направлении можно выбирать для горизонтальной фильтрации (например, -2, -1, 0, +1, +2), и один пиксель того же цвета по обе стороны currPixel в вертикальном направлении можно выбирать для вертикальной фильтрации (например, -1, 0, +1). Кроме того, currIndex можно использовать как индекс выбора для выбора надлежащих коэффициентов фильтрации из таблицы 712 коэффициентов фильтрации для применения к выбранным пикселям. Например, с использованием варианта осуществления 5-отводной горизонтальной/3-отводной вертикальной фильтрации, пять таблиц глубиной 8 может быть предоставлено для горизонтальной фильтрации, и три таблицы глубиной 8 могут быть предоставлены для вертикальной фильтрации. Хотя таблицы 712 коэффициентов фильтрации проиллюстрированы как часть BCF 652, очевидно, что они могут, в некоторых вариантах осуществления, храниться в памяти, физически отдельной от BCF 652, например, в памяти 108.

[00329] Прежде чем перейти к более подробному рассмотрению операций горизонтального и вертикального масштабирования, обратимся к таблице 5, которая демонстрирует примеры того, как значения currPixel и currIndex определяются на основании различных позиций DDA с использованием разных значений DDAStep (например, применительно к DDAStepX или DDAStepY).

Таблица 5
Фильтр компенсации биннинга - DDA Примеры вычисления currPixel и currIndex Выходной пиксель (четный или нечетный) DDA
Step 1.25 DDA
Step 1.5 DDA
Step 1.75 DDA
Step 2.0 curr
DDA curr
Index curr
Pixel curr
DDA curr
Index curr
Pixel curr
DDA curr
Index curr
Pixel curr
DDA curr
Index curr
Pixel 0 0.0 0 0 0.0 0 0 0.0 0 0 0.0 0 0 1 1.25 1 1 1.5 2 1 1.75 3 1 2 4 3 0 2.5 2 2 3 4 4 3.5 6 4 4 0 4 1 3.75 3 3 4.5 6 5 5.25 1 5 6 4 7 0 5 4 6 6 0 6 7 4 8 8 0 8 1 6.25 5 7 7.5 2 7 8.75 7 9 10 4 11 0 7.5 6 8 9 4 10 10.5 2 10 12 0 12 1 8.75 7 9 10.5 6 11 12.25 5 13 14 4 15 0 10 0 10 12 0 12 14 0 14 16 0 16 1 11.25 1 11 13.5 2 13 15.75 3 15 18 4 19 0 12.5 2 12 15 4 16 17.5 6 18 20 0 20 1 13.75 3 13 16.5 6 17 19.25 1 19 22 4 23 0 15 4 16 18 0 18 21 4 22 24 0 24 1 16.25 5 17 19.5 2 19 22.75 7 23 26 4 27 0 17.5 6 18 21 4 22 24.5 2 24 28 0 28 1 18.75 7 19 22.5 6 23 26.25 5 27 30 4 31 0 20 0 20 24 0 24 28 0 28 32 0 32

[00330] Для обеспечения примера, допустим, что выбран размер шага DDA (DDAStep) 1.5 (строка 716 на фиг. 64), причем текущая позиция DDA (currDDA), начинающаяся с 0, указывает четную выходную позицию пикселя. Для определения currPixel, можно применять уравнение 6a, показанное ниже:

currDDA=0.0 (четная)     0000 0000 0000 0001. 0000 0000 0000 0000 (currDDA+1.0) (И) 1111 1111 1111 1110. 0000 0000 0000 0000 (0×FFFE.0000) = 0000 0000 0000 0000. 0000 0000 0000 0000   currPixel (определенная как биты [31:16] результата)=0;

Таким образом, в позиции currDDA 0.0 (строка 716), исходный входной центральный пиксель для фильтрации соответствует входному пикселю красного в позиции 0.0 строки 713.

[00331] Для определения currIndex при четной currDDA 0.0, можно применять уравнение 7a, как показано ниже:

currDDA=0.0 (четная)     0000 0000 0000 0000. 0000 0000 0000 0000 (currDDA) + 0000 0000 0000 0000. 0010 0000 0000 0000 (0.125) = 0000 0000 0000 0000. 0010 0000 0000 0000   currIndex (определенная как биты [16:14] результата)=[000]=0;

Таким образом, в позиции currDDA 0.0 (строка 716), значение currIndex, равное 0, можно использовать для выбора коэффициентов фильтрации из таблицы 712 коэффициентов фильтрации.

[00332] Соответственно, фильтрация (которая может быть вертикальной или горизонтальной в зависимости от того, измеряется ли DDAStep в направлении X (горизонтальном) или Y (вертикальном)) может применяться на основании определенных значений currPixel и currIndex при currDDA 0.0, и DDA 711 увеличивается на DDAStep (1.5), и определяются следующие значения currPixel и currIndex. Например, в следующей позиции currDDA 1.5 (нечетной позиции), currPixel можно определить с использованием уравнения 6b следующим образом:

currDDA=0.0 (нечетная)     0000 0000 0000 0001. 1000 0000 0000 0000 (currDDA) (OR) 0000 0000 0000 0001. 0000 0000 0000 0000 (0×0001.0000) = 0000 0000 0000 0001. 1000 0000 0000 0000   currPixel (определенная как биты [31:16] результата)=1;

Таким образом, в позиции currDDA 1.5 (строка 716), исходный входной центральный пиксель для фильтрации соответствует входному пикселю зеленого в позиции 1.0 строки 713.

[00333] Кроме того, currIndex при нечетной currDDA 1.5 можно определить с использованием уравнения 7b, как показано ниже:

currDDA=1.5 (нечетная)     0000 0000 0000 0001. 1000 0000 0000 0000 (currDDA) + 0000 0000 0000 0001. 0010 0000 0000 0000 (1.125) = 0000 0000 0000 0010. 1010 0000 0000 0000   currIndex (определенная как биты [16:14] результата)=[010]=2;

Таким образом, в позиции currDDA 1.5 (строка 716), значение currIndex, равное 2, можно использовать для выбора надлежащих коэффициентов фильтрации из таблицы 712 коэффициентов фильтрации. Фильтрация (которая может быть вертикальной или горизонтальной в зависимости от того, измеряется ли DDAStep в направлении X (горизонтальном) или Y (вертикальном)) может, таким образом, применяться с использованием этих значений currPixel и currIndex.

[00334] Затем DDA 711 снова увеличивается на DDAStep (1.5), в результате чего, получается значение currDDA равное 3.0. currPixel, соответствующий currDDA 3.0, можно определить с использованием уравнения 6a, как показано ниже:

currDDA=3.0 (четная)     0000 0000 0000 0100. 0000 0000 0000 0000 (currDDA+1.0) (AND) 1111 1111 1111 1110. 0000 0000 0000 0000 (0×FFFE.0000) = 0000 0000 0000 0100. 0000 0000 0000 0000   currPixel (определенная как биты [31:16] результата)=4;

Таким образом, в позиции currDDA 3.0 (строка 716), исходный входной центральный пиксель для фильтрации соответствует входному пикселю красного в позиции 4.0 строки 713.

[00335] Затем currIndex при четной currDDA 3.0 можно определить с использованием уравнения 7a, как показано ниже:

currDDA=3.0 (четная)     0000 0000 0000 0011. 0000 0000 0000 0000 (currDDA) + 0000 0000 0000 0000. 0010 0000 0000 0000 (0.125) = 0000 0000 0000 0011. 0010 0000 0000 0000   currIndex (определенная как биты [16:14] результата)=[100]=4;

Таким образом, в позиции currDDA 3.0 (строка 716), значение currIndex, равное 4, можно использовать для выбора надлежащих коэффициентов фильтрации из таблицы 712 коэффициентов фильтрации. Очевидно, что DDA 711 может и дальше увеличиваться на DDAStep для каждого выходного пикселя, и фильтрацию (которая может быть вертикальной или горизонтальной в зависимости от того, измеряется ли DDAStep в направлении X (горизонтальном) или Y (вертикальном)) можно применять с использованием currPixel и currIndex, определенных для каждого значения currDDA.

[00336] Как рассмотрено выше, currIndex можно использовать как индекс выбора для выбора надлежащих коэффициентов фильтрации из таблицы 712 коэффициентов фильтрации для применения к выбранным пикселям. Процесс фильтрации может включать в себя получение исходных пиксельных значений вокруг центрального пикселя (currPixel), умножение каждого из выбранных пикселей на надлежащие коэффициенты фильтрации, выбранные из таблицы 712 коэффициентов фильтрации на основании currIndex, и суммирование результатов для получения значения выходного пикселя в положении, соответствующем currDDA. Кроме того, поскольку настоящий вариант осуществления использует 8 фаз между пикселями одного и того же цвета, с использованием варианта осуществления 5-отводной горизонтальной/3-отводной вертикальной фильтрации, пять таблиц глубиной 8 может быть предоставлено для горизонтальной фильтрации, и три таблицы глубиной 8 могут быть предоставлены для вертикальной фильтрации. В одном варианте осуществления, каждая из записей таблицы коэффициентов может включать в себя 16-битовое число с фиксированной запятой в формате дополнения до 2 с 3 битами целой части и 13 битами дробной части.

[00337] Кроме того, предполагая шаблон байеровского изображения, в одном варианте осуществления, компонент вертикального масштабирования может включать в себя четыре отдельных 3-отводных многофазных фильтра, по одному для каждой цветовой компоненты: Gr, R, B и Gb. Каждый из 3-отводных фильтров может использовать DDA 711 для управления пошаговым изменением текущего центрального пикселя и индекса для коэффициентов, как описано выше. Аналогично, компоненты горизонтального масштабирования могут включать в себя четыре отдельных 5-отводных многофазных фильтра, по одному для каждой цветовой компоненты: Gr, R, B и Gb. Каждый из 5-отводных фильтров может использовать DDA 711 для управления пошаговым изменением (например, через DDAStep) текущего центрального пикселя и индекса для коэффициентов. Однако следует понимать, что в других вариантах осуществления компоненты горизонтального и вертикального масштабирования могут использовать меньше или больше отводов.

[00338] Для граничных случаев, пиксели, используемые в процессе горизонтальной и вертикальной фильтрации, могут зависеть от соотношения текущей позиции DDA (currDDA) относительно границы кадра (например, границы, заданной активной областью 312 на фиг. 23). Например, в горизонтальной фильтрации, если позиция currDDA, при сравнении с позицией центрального входного пикселя (SrcX) и шириной (SrcWidth) кадра (например, шириной 322 активной области 312 на фиг. 23), указывает, что DDA 711 близок к границе, что обуславливает недостаток пикселей для осуществления 5-отводной фильтрации, то входные граничные пиксели одного цвета могут повторяться. Например, если выбранный центральный входной пиксель находится на левом краю кадра, то центральный пиксель может дублироваться дважды для горизонтальной фильтрации. Если центральный входной пиксель находится вблизи левого края кадра, в связи с чем, доступен только один пиксель между центральным входным пикселем и левым краем, то, в целях горизонтальной фильтрации, один доступный пиксель дублируется для предоставления двух пиксельных значений слева от центрального входного пикселя. Кроме того, логика 709 горизонтального масштабирования может быть сконфигурирована таким образом, чтобы количество входных пикселей (включающих в себя исходный и дублированный пиксели) не превышало входную ширину. Это можно выразить следующим образом:

StartX=(((DDAInitX+0x0001.0000) & 0xFFFE.0000)>>16)

EndX=(((DDAInitX+DDAStepX*(BCFOutWidth-1))| 0x0001.0000)>>16)

EndX-StartX <= SrcWidth - 1

где DDAInitX представляет начальную позицию DDA 711, DDAStepX представляет значение шага DDA в горизонтальном направлении, и BCFOutWidth представляет ширину кадра, выводимого BCF 652.

[00339] Для вертикальной фильтрации, если позиция currDDA, при сравнении с позицией центрального входного пикселя (SrcY) и шириной (SrcHeight) кадра (например, шириной 322 активной области 312 на фиг. 23), указывает, что DDA 711 близок к границе, что обуславливает недостаток пикселей для осуществления 3-отводный фильтрация, то входные граничные пиксели могут повторяться. Кроме того, логика 710 вертикального масштабирования может быть сконфигурирована таким образом, чтобы количество входных пикселей (включающих в себя исходный и дублированный пиксели) не превышало входную высоту. Это можно выразить следующим образом:

StartY=(((DDAInitY+0x0001.0000) & 0xFFFE.0000)>>16)

EndY=(((DDAInitY+DDAStepY*(BCFOutHeight-1))| 0x0001.0000)>>16)

EndY-StartY<= SrcHeight-1

где DDAInitY представляет начальную позицию DDA 711, DDAStepY представляет значение шага DDA в вертикальном направлении, и BCFOutHeight представляет ширину кадра, выводимого BCF 652.

[00340] На фиг. 65 показана блок-схема последовательности операций способа, изображающая способ 720 для применения фильтрации с компенсацией биннинга к данным изображения, принятым блоком 150 предварительной обработки пикселей, в соответствии с вариантом осуществления. Очевидно, что способ 720, представленный на фиг. 65, можно применять, как к вертикальному, так и к горизонтальному масштабированию. Начиная с этапа 721, инициализируется DDA 711, и определяется значение шага DDA (которое может соответствовать DDAStepX для горизонтального масштабирования и DDAStepY для вертикального масштабирования). Затем, на этапе 722, на основании DDAStep, определяется текущая позиция DDA (currDDA). Как рассмотрено выше, currDDA может соответствовать положению выходного пикселя. С использованием currDDA, способ 720 может определять центральный пиксель (currPixel) из входных пиксельных данных, который можно использовать для фильтрации с компенсацией биннинга для определения соответствующего выходного значения в currDDA, как указано на этапе 723. Затем, на этапе 724, индекс, соответствующий currDDA (currIndex), можно определить на основании дробной межпиксельной позиции currDDA относительно входных пикселей (например, строки 713 на фиг. 64). В порядке примера, согласно варианту осуществления, где DDA включает в себя 16 битов целой части и 16 битов дробной части, currPixel можно определить в соответствии с уравнениями 6a и 6b, и currIndex можно определить в соответствии с уравнениями 7a и 7b, как показано выше. Хотя здесь, в порядке одного примера, описана конфигурация 16-битовой целой части и 16-битовой дробной части, очевидно, что, в соответствии с настоящим изобретением, можно использовать и другие конфигурации DDA 711. В порядке примера, могут быть сконфигурированы другие варианты осуществления DDA 711, включающего в себя 12-битовую целую часть и 20-битовую дробную часть, 14-битовую целую часть и 18-битовую дробную часть, и т.д.

[00341] Определив currPixel и currIndex, исходные пиксели одного цвета вокруг currPixel можно выбирать для многоотводной фильтрации, как указано этапом 725. Например, как рассмотрено выше, один вариант осуществления может использовать 5-отводную многофазную фильтрацию в горизонтальном направлении (например, путем выбора 2 пикселей одного и того же цвета по обе стороны currPixel) и может использовать 3-отводную многофазную фильтрацию в вертикальном направлении (например, путем выбора 1 пикселя одного цвета по обе стороны currPixel). Затем, на этапе 726, после выбора исходных пикселей, коэффициенты фильтрации можно выбирать из таблицы 712 коэффициентов фильтрации BCF 652 на основании currIndex.

[00342] После этого, на этапе 727, фильтрация может применяться к исходным пикселям для определения значения выходного пикселя, соответствующего позиции, представленной currDDA. Например, в одном варианте осуществления, исходные пиксели можно умножать на их соответствующие коэффициенты фильтрации, и результаты можно суммировать для получения выходного пиксельного значения. Направление, в котором применяется фильтрация на этапе 727, может быть вертикальным или горизонтальным в зависимости от того, измеряется ли DDAStep в направлении X (горизонтальном) или Y (вертикальном). Наконец, на этапе 263, DDA 711 увеличивается на DDAStep на этапе 728, и способ 720 возвращается к этапу 722, за счет чего следующее выходное пиксельное значение определяется с использованием рассмотренных здесь методов фильтрации с компенсацией биннинга.

[00343] На фиг. 66 более подробно проиллюстрирован этап 723 для определения currPixel способа 720 в соответствии с одним вариантом осуществления. Например, этап 723 может включать в себя подэтап 729 определения, является ли положение выходного пикселя, соответствующее currDDA (из этапа 722), четным или нечетным. Как рассмотрено выше, четный или нечетный выходной пиксель можно определить на основании младшего бита currDDA на основании DDAStep. Например, при условии, что DDAStep равен 1.25, значение currDDA, равное 1.25, можно определить как нечетное, поскольку младший бит (соответствующий биту 14 дробной части DDA 711) имеет значение 1. Для значения currDDA, равного 2.5, бит 14 равен 0, таким образом, указывая четное положение выходного пикселя.

[00344] На логике 730 принятия решения, производится определение, является ли положение выходного пикселя, соответствующее currDDA, четным или нечетным. Если выходной пиксель является четным, логика 730 принятия решения переходит к подэтапу 731, на котором currPixel определяется путем увеличения значения currDDA на 1 и округления результата до ближайшего четного положения входного пикселя, что представлено вышеприведенным уравнением 6a. Если выходной пиксель является нечетным, то логика 730 принятия решения переходит к подэтапу 732, на котором currPixel определяется путем округления значения currDDA до ближайшего нечетного положения входного пикселя, что представлено вышеприведенным уравнением 6b. Затем значение currPixel может применяться к этапу 725 способа 720 для выбора исходных пикселей для фильтрации, как рассмотрено выше.

[00345] Также ссылаясь на фиг. 67, подробнее проиллюстрирован этап 724 для определения currIndex из способа 720 в соответствии с одним вариантом осуществления. Например, этап 724 может включать в себя подэтап 733 определения того, является положение выходного пикселя, соответствующее currDDA (из этапа 722), четным или нечетным. Это определение может быть выполнено аналогично этапу 729 по фиг. 66. В логике 734 принятия решения выполняется определение в отношении того, является положение выходного пикселя, соответствующее currDDA, четным или нечетным. Если выходной пиксель является четным, логика 734 принятия решения переходит к подэтапу 735, на котором currIndex определяется посредством увеличения значения currDDA на шаг в один индекс и определения currIndex на основе целочисленного бита низшего порядка и двух дробных битов высшего порядка DDA 711. Например, в варианте осуществления, в котором 8 фаз предоставляются между каждым пикселем одинакового цвета, и, в котором DDA включает в себя 16 целочисленных битов и 16 дробных битов, шаг в один индекс может соответствовать 0,125, и currIndex может быть определен на основе битов [16:14] значения currDDA, увеличиваемого на 0,125 (например, уравнение 7a). Если выходной пиксель является нечетным, логика 734 принятия решения переходит к подэтапу 736, на котором currIndex определяется посредством увеличения значения currDDA на шаг в один индекс и сдвиг в один пиксель и определения currIndex на основе целочисленного бита низшего порядка и двух дробных битов высшего порядка DDA 711. Таким образом, в варианте осуществления, в котором 8 фаз предоставляются между каждым пикселем одинакового цвета, и, в котором DDA включает в себя 16 целочисленных битов и 16 дробных битов, шаг в один индекс может соответствовать 0,125, сдвиг в один пиксель может соответствовать 1,0 (сдвиг 8 индексных шагов до следующего пикселя этого же цвета), и currIndex может быть определен на основе битов [16:14] значения currDDA, увеличиваемого на 1,125 (например, уравнение 7b).

[00346] Хотя проиллюстрированный здесь вариант осуществления предусматривает BCF 652 как компонент блока 150 предварительной обработки пикселей, другие варианты осуществления могут включать BCF 652 в конвейер обработки первичных данных изображения конвейера 82 ISP, который, как дополнительно рассмотрено ниже, может включать в себя логику обнаружения/коррекции дефектных пикселей, блоки коэффициента усиления/смещения/компенсации, логику шумопонижения, логику коррекции затенения объектива и логику демозаики. Кроме того, в вариантах осуществления, где вышеупомянутые логика обнаружения/коррекции дефектных пикселей, блоки коэффициента усиления/смещения/компенсации, логика шумопонижения, логика коррекции затенения объектива не опираются на линейное размещение пикселей, BCF 652 может быть включен в логику демозаики для осуществления фильтрации с компенсацией биннинга и повторное размещение пикселей до демозаики, поскольку демозаика, в общем случае, не опирается на равномерное пространственное размещение пикселей. Например, в одном варианте осуществления, BCF 652 может быть включен где-то между входом датчика и логикой демозаики, причем временная фильтрация и/или обнаружение/коррекция дефектных пикселей применяются к первичным данным изображения до компенсации биннинга.

[00347] Как рассмотрено выше, выходной сигнал BCF 652, который может быть выходным сигналом FEProcOut (109), имеющим равномерно распределенные в пространстве данных изображения (например, выборка 702 на фиг. 62), может перенаправляться на логику 82 конвейерной обработки ISP для дополнительной обработки. Однако, прежде чем перенести фокус этого рассмотрения на логику 82 конвейерной обработки ISP, обратимся к более детализированному описанию различных функциональных возможностей, которые могут обеспечиваться блоками статистической обработки (например, 142 и 144), которые можно реализовать в логике 80 предварительной обработки ISP.

[00348] Возвращаясь к общему описанию блоков 142 и 144 статистической обработки, эти блоки могут быть сконфигурированы для сбора различных статистических данных о датчиках изображения, которые захватывают и обеспечивают первичные сигналы изображения (Sif0 и Sif1), например, статистике, относящейся к автоматической установке экспозиции, автоматическому балансу белого, автофокусировке, обнаружению мерцания, компенсации уровня черного и коррекции затенения объектива и т.д. При этом блоки 142 и 144 статистической обработки могут сначала применять одну или более операций обработки изображений к своим соответствующим входным сигналам, Sif0 (от Sensor0) и Sif1 (от Sensor1).

[00349] Например, на фиг. 68 проиллюстрирована более детализированная блок-схема блока 142 статистической обработки, связанного с Sensor0 (90a) в соответствии с одним вариантом осуществления. Как показано, блок 142 статистической обработки может включать в себя следующие функциональные блоки: логику 738 обнаружения и коррекции дефектных пикселей, логику 739 компенсации уровня черного (BLC), логику 740 коррекции затенения объектива, логику 741 обратной BLC, и логику 742 сбора статистики. Каждый из этих функциональных блоков будет рассмотрен ниже. Кроме того, следует понимать, что блок 144 статистической обработки, связанный с Sensor1 (90b) можно реализовать аналогичным образом.

[00350] Первоначально, выходной сигнал логики 146 выбора (например, Sif0 или SifIn0) принимается логикой 738 предварительной обработки по коррекции дефектных пикселей. Очевидно, что "дефектные пиксели" следует понимать в смысле пикселей формирования изображения в датчике(ах) 90 изображения, которым не удается точно воспринимать уровни света. Наличие дефектных пикселей может объясняться рядом факторов, и они могут включать в себя "горячие" (или с утечкой) пиксели, "залипшие" пиксели и "мертвые пиксели". "Горячий" пиксель, в общем случае, выглядит более ярким, чем недефектный пиксель при условии одного и того же количества света в одном и том же пространственном положении. Горячие пиксели могут возникать вследствие отказов при сбросе и/или высокой утечки. Например, горячий пиксель может демонстрировать сверхнормативную утечку заряда относительно недефектных пикселей и, таким образом, может выглядеть более ярким, чем недефектные пиксели. Дополнительно, "мертвые" и "залипшие" пиксели могут возникать в результате загрязнений, например, пыли или других следовых материалов, загрязняющих датчик изображения в процессе изготовления и/или сборки, из-за чего некоторые дефектные пиксели могут быть темнее или ярче недефектного пикселя, или дефектный пиксель может фиксироваться на конкретном значении независимо от количества света, фактически попадающего на него. Дополнительно, мертвые и залипшие пиксели также могут быть обусловлены отказами схемы, которые происходят при эксплуатации датчика изображения. В порядке примера, залипший пиксель может выглядеть как постоянно включенный (например, полностью заряженный) и, таким образом, более яркий, тогда как мертвый пиксель выглядит как постоянно выключенный.

[00351] Логика 738 обнаружения и коррекции дефектных пикселей (DPDC) в логике 80 предварительной обработки ISP может корректировать (например, заменять неправильные пиксельные значения) дефектные пиксели до того, как они будут учтены при сборе статистики (например, 742). В одном варианте осуществления, коррекция дефектных пикселей осуществляется независимо для каждой цветовой компоненты (например, R, B, Gr и Gb для шаблона Байера). В общем случае, логика 738 предварительной обработки DPDC может обеспечивать коррекцию динамических дефектов, при которой положения дефектных пикселей определяются автоматически на основании направленных градиентов, вычисляемых с использованием соседних пикселей того же цвета. Как будет понятно, дефекты могут быть "динамическими" в том смысле, что характеризация пикселя как дефектного в данный момент времени может зависеть от данных изображения в соседних пикселях. В порядке примера, залипший пиксель, который всегда имеет максимальную яркость, может не рассматриваться как дефектный пиксель, если залипший пиксель располагается в области текущего изображения, где преобладают более яркие или белый цвета. Напротив, если залипший пиксель находится в области текущего изображения, где преобладают черный или более темные цвета, то залипший пиксель можно идентифицировать как дефектный пиксель в ходе обработки логикой 738 DPDC и соответственно корректировать.

[00352] Логика 738 DPDC может использовать один или более горизонтально соседних пикселей одного и того же цвета по обе стороны текущего пикселя для определения, является ли текущий пиксель дефектным, с использованием направленных градиентов от пикселя к пикселю. Если текущий пиксель идентифицируется как дефектный, значение дефектного пикселя можно заменить значением соседнего по горизонтали пикселя. Например, в одном варианте осуществления, используется пять горизонтально соседних пикселей одного и того же цвета, находящиеся внутри границы первичного кадра 310 (фиг. 23), причем пять горизонтально соседних пикселей включают в себя текущий пиксель и по два соседних пикселя с каждой стороны. Таким образом, согласно фиг. 69, для данной цветовой компоненты c и для текущего пикселя P, логика 738 DPDC может рассматривать горизонтально соседние пиксели P0, P1, P2 и P3. Однако следует отметить, что в зависимости от положения текущего пикселя P, пиксели вне первичного кадра 310 не рассматриваются при вычислении градиентов от пикселя к пикселю.

[00353] Например, как показано на фиг. 69, в случае 743 "левого края", текущий пиксель P находится на самом левом краю первичного кадра 310, и, таким образом, соседние пиксели P0 и P1 вне первичного кадра 310 не рассматриваются, оставляя только пиксели P, P2 и P3 (N=3). В случае 744 "левый край+1", текущий пиксель P находится в одном пиксельном блоке от самого левого края первичного кадра 310, и, таким образом, пиксель P0 не рассматривается. В результате, остаются только пиксели P1, P, P2 и P3 (N=4). Кроме того, в "центрированном" случае 745, пиксели P0 и P1 слева от текущего пикселя P и пиксели P2 и P3 справа от текущего пикселя P находятся внутри границы первичного кадра 310, и, таким образом, все соседние пиксели P0, P1, P2 и P3 (N=5) рассматриваются при вычислении градиентов от пикселя к пикселю. Дополнительно, аналогичные случаи 746 и 747 могут иметь место при достижении самого правого края первичного кадра 310. Например, в случае 746 "правый край -1", текущий пиксель P находится в одном пиксельном блоке от самого правого края первичного кадра 310, и, таким образом, пиксель P3 не рассматривается (N=4). Аналогично, в случае 747 "правого края", текущий пиксель P находится на самом правом краю первичного кадра 310, и, таким образом, оба соседних пикселя P2 и P3 не рассматриваются (N=3).

[00354] В проиллюстрированном варианте осуществления, для каждого соседнего пикселя (k=0~3) внутри границы изображения (например, первичный кадр 310), градиенты от пикселя к пикселю можно вычислять следующим образом:

$$G_k=abs(P-P_k)$$ , для $$0\le k\le 3$$ (только для k в первичном кадре) (8)

После определения градиентов от пикселя к пикселю, обнаружение дефектных пикселей может осуществляться логикой 738 DPDC следующим образом. Прежде всего, предполагается, что пиксель является дефектным, если некоторое количество его градиентов G_k находятся на конкретном пороге или ниже, который обозначается переменной dprTh. Таким образом, для каждого пикселя, накапливается счетчик (C) количества градиентов для соседних пикселей внутри границ изображения, которые находятся на пороге dprTh или ниже. В порядке примера, для каждого соседнего пикселя внутри первичного кадра 310, накопленный счетчик C градиентов G_k, которые находятся на пороге dprTh или ниже, можно вычислить следующим образом:

C= $${\displaystyle \sum _k^N}$$ (G_k $$\le$$ dprTh), (9)

для $$0\le k\le 3$$ (только для k в первичном кадре)

Очевидно, что в зависимости от цветовых компонент, пороговое значение dprTh может изменяться. Затем, если определено, что накопленный счетчик C меньше или равен максимальному счетчику, обозначенному переменной dprMaxC, то пиксель можно рассматривать как дефектный. Эта логика выражена ниже:

если (С $$\le$$ dprMaxC), то пиксель является дефектным. (10)

[00355] Дефектные пиксели заменяются с использованием ряда соглашений по замене. Например, в одном варианте осуществления, дефектный пиксель можно заменить пикселем, находящимся непосредственно слева от него, P1. При граничном условии (например, P1 находится вне первичного кадра 310), дефектный пиксель можно заменить пикселем, находящимся непосредственно справа от него, P2. Кроме того, следует понимать, что значения замены могут сохраняться или распространяться на последующие операции обнаружения дефектных пикселей. Например, в отношении набора горизонтальных пикселей, показанного на фиг. 69, если P0 или P1 ранее были идентифицированы логикой 738 DPDC как дефектные пиксели, их соответствующие значения замены можно использовать для обнаружения дефектных пикселей и замены текущего пикселя P.

[00356] Чтобы подытожить рассмотренные выше методы обнаружения и коррекции дефектных пикселей, обратимся к фиг. 70, где в виде блок-схемы последовательности операций способа, изображен такой процесс, обозначенный ссылочной позицией 748. Как показано, процесс 748 начинается с этапа 749, на котором принимается текущий пиксель (P) и идентифицируется набор соседних пикселей. В соответствии с вышеописанным вариантом осуществления, соседние пиксели могут включать в себя два горизонтальных пикселя одной той же цветовой компоненты по обе стороны текущего пикселя (например, P0, P1, P2 и P3). Затем, на этапе 750, горизонтальные градиенты от пикселя к пикселю вычисляются относительно каждого соседнего пикселя в первичном кадре 310, как описано выше в уравнении 8. После этого, на этапе 751, определяется счетчик C количества градиентов, которые меньше или равны конкретному порогу dprTh. Как показано на логике 752 принятия решения, если C меньше или равен dprMaxC, то процесс 748 переходит к этапу 753, и текущий пиксель идентифицируется как дефектный. Затем дефектный пиксель корректируется на этапе 754 с использованием значения замены. Дополнительно, возвращаясь к логике 752 принятия решения, если C больше dprMaxC, то процесс переходит к этапу 755, и текущий пиксель идентифицируется как не дефектный, и его значение не изменяется.

[00357] Следует отметить, что методы обнаружения/коррекции дефектных пикселей, применяемые при предварительной статистической обработке ISP, могут быть менее надежными, чем обнаружение/коррекция дефектных пикселей, которая осуществляется в логике 82 конвейера ISP. Например, как будет более подробно рассмотрено ниже, обнаружение/коррекция дефектных пикселей, осуществляемая в логике 82 конвейера ISP, может, помимо коррекции динамических дефектов, дополнительно обеспечивать коррекцию фиксированных дефектов, в которой положения дефектных пикселей заранее известны и загружены в одну или более таблиц дефектов. Кроме того, коррекция динамических дефектов в логике 82 конвейера ISP также может рассматривать пиксельные градиенты в горизонтальном и вертикальном направлениях, и также может обеспечивать обнаружение/коррекцию спеклов, что будет рассмотрено ниже.

[00358] Согласно фиг. 68, выходной сигнал логики 738 DPDC затем поступает на логику 739 компенсации уровня черного (BLC). Логика 739 BLC может обеспечивать коэффициент цифрового усиления, смещение и отсечку независимо для каждой цветовой компоненты "c" (например, R, B, Gr и Gb для Байера) на пикселях, используемых для сбора статистики. Например, как выражено следующей операцией, входное значение для текущего пикселя сначала смещается на знаковое значение, и затем умножается на коэффициент усиления.

$$Y=(X+O[c])\times G[c]$$ , (11)

где X представляет входное пиксельное значение для данной цветовой компоненты c (например, R, B, Gr или Gb), O[c] представляет знаковое 16-битовое смещение для текущей цветовой компоненты c, и G[c] представляет значение коэффициента усиления для цветовой компоненты c. В одном варианте осуществления, коэффициент G[c] усиления может представлять собой 16-битовое беззнаковое число с 2 битами целой части и 14 битами дробной части (например, в представлении 2.14 с плавающей запятой), и коэффициент G[c] усиления можно применять с округлением. Исключительно в порядке примера, коэффициент G[c] усиления может принимать значения в пределах от 0 до 4X (например, 4-кратное входное пиксельное значение).

[00359] Затем, как показано ниже уравнением 12, вычисленное значение Y, которое является знаковым, можно затем обрезать до минимального и максимального диапазона:

Y=(Y < min[c]) ? min[c]:(Y > max[c]) ? max[c]:Y) (12)

[00360] Переменные min[c] и max[c] могут представлять знаковые 16-битовые "значения отсечки для минимального и максимального выходных значений, соответственно. В одном варианте осуществления, логика 739 BLC также может быть сконфигурирована для поддержания счетчика количества пикселей, которые были отсечены выше и ниже максимума и минимума, соответственно, для каждой цветовой компоненты.

[00361] Затем выходной сигнал логики 739 BLC перенаправляется на логику 740 коррекции затенения объектива (LSC). Логика 740 LSC может быть сконфигурирована для применения надлежащего коэффициента усиления на попиксельной основе для компенсации спадов интенсивности, которые, в общем случае, приближенно пропорциональны расстоянию от оптического центра объектива 88 устройства 30 формирования изображения. Очевидно, что, такие спады могут быть результатом геометрической оптики объектива. В порядке примера, объектив, обладающий идеальными оптическими свойствами, можно смоделировать четвертой степенью косинуса угла падения, cos⁴(θ), так называемым законом cos⁴. Однако, поскольку изготовление объектива не совершенно, различные нарушения в объективе могут приводить к отклонению оптических свойств от гипотетической модели cos⁴. Например, большинство нарушений обычно имеет место на более тонком краю объектива. Дополнительно, неравномерности в шаблонах затенения объектива также могут приводить к тому, что микролинзовая матрица в датчике изображения не будет полностью выровнена с матрицей цветовых фильтров. Кроме того, инфракрасный (ИК) фильтр в некоторых объективах может приводить к тому, что спад будет зависеть от источника света, что позволяет адаптировать коэффициенты усиления затенения объектива в зависимости от обнаруженного источника света.

[00362] На фиг. 71 проиллюстрирован трехмерный профиль 756, изображающий зависимость интенсивности света от позиции пикселя для типичного объектива. Как показано, интенсивность света вблизи центра 757 объектива постепенно спадает к углам или краям 758 объектива. Неравномерности затенения объектива, изображенные на фиг. 71, более детально проиллюстрированы на фиг. 72, которая демонстрирует цветной чертеж изображения 759, который демонстрирует спады интенсивности света к углам и краям. В частности, следует отметить, что интенсивность света вблизи центра изображения представляется более высокой, чем интенсивность света на углах и/или краях изображения.

[00363] В соответствии с вариантами осуществления настоящего изобретения, коэффициенты усиления коррекции затенения объектива можно задать в виде двухмерной сетки коэффициентов усиления для каждого цветового канала (например, Gr, R, B, Gb для байеровского фильтра). Точки сетки коэффициентов усиления могут распределяться с фиксированными горизонтальным и вертикальным интервалами в первичном кадре 310 (фиг. 23). Как рассмотрено выше на фиг. 23, первичный кадр 310 может включать в себя активную область 312, которая задает область, в которой осуществляется обработка для конкретной операции обработки изображений. В отношении операции коррекции затенения объектива, область активной обработки, которая может именоваться областью LSC, задана в первичной области 310 кадра. Как будет рассмотрено ниже, область LSC должна находиться полностью внутри или на границах сетки коэффициентов усиления, иначе результаты могут быть неопределенными.

[00364] Например, на фиг. 73 показаны область 760 LSC и сетка 761 коэффициентов усиления, которые можно задать в первичном кадре 310. Область 760 LSC может иметь ширину 762 и высоту 763 и может задаваться смещением 764 по оси x и смещением 765 по оси y относительно границы первичного кадра 310. Также предоставлены смещения сетки (например, смещение 766 сетки по оси x и смещение 767 сетки по оси y) от основы 768 коэффициентов усиления 761 сетки до первого пикселя 769 в области 760 LSC. Эти смещения могут быть в первом интервале сетки для данной цветовой компоненты. Интервалы 770 и 771 точек сетки в горизонтальном направлении (x) и вертикальном направлении (y), соответственно, можно задавать независимо для каждого цветового канала.

[00365] Как рассмотрено выше, предполагая использование матрицы байеровских цветовых фильтров, можно задать 4 цветовых канала (R, B, Gr и Gb) коэффициентов усиления сетки. В одном варианте осуществления, может быть доступно всего 4K (4096) точек сетки, и для каждого цветового канала, может быть предоставлен базовый адрес для начального положения коэффициентов усиления сетки, например, с использованием указателя. Кроме того, горизонтальный (770) и вертикальный (771) интервалы точек сетки можно задать в отношении пикселей с разрешением в одну цветовую плоскость и в некоторых вариантах осуществления можно обеспечить интервалы точек сетки, различающиеся степенью 2, например, 8, 16, 32, 64, или 128 и т.д., в горизонтальном и вертикальном направлениях. Очевидно, что, используя степень 2, можно добиться эффективной реализации интерполяции коэффициента усиления с использованием операций сдвига (например, деления) и сложения. С использованием этих параметров, одни и те же значения коэффициента усиления можно использовать даже когда область обрезки датчика изображения изменяется. Например, для выравнивания точек сетки с обрезанной областью необходимо обновлять лишь несколько параметров (например, обновлять смещения 770 и 771 сетки) вместо того, чтобы обновлять все значения коэффициента усиления сетки. Исключительно в порядке примера, это может оказаться полезным, когда обрезка используется в ходе операций цифровой трансфокации. Кроме того, хотя сетка 761 коэффициентов усиления, показанная согласно варианту осуществления, представленному на фиг. 73, изображена имеющей, в общем случае, равноразнесенные точки сетки, следует понимать, что в других вариантах осуществления, точки сетки не обязаны быть равноразнесенными. Например, в некоторых вариантах осуществления, точки сетки могут распределяться неравномерно (например, логарифмически), таким образом, что точки сетки менее сконцентрированы в центре области 760 LSC, но более сконцентрированы по углам области 760 LSC, где искажение затенения объектива обычно более заметно.

[00366] В соответствии с раскрытыми здесь методами коррекции затенения объектива, когда положение текущего пикселя располагается вне области 760 LSC, коэффициент усиления не применяется (например, пиксель остается неизменным). Когда положение текущего пикселя находится в положении сетки коэффициентов усиления, можно использовать значение коэффициента усиления в этой конкретной точке сетки. Однако когда положение текущего пикселя находится между точками сетки, коэффициент усиления можно интерполировать с использованием билинейной интерполяции. Ниже приведен пример интерполяции коэффициента усиления для положения пикселя "G" на фиг. 74.

[00367] Как показано на фиг. 74, пиксель G находится между точками G0, G1, G2 и G3 сетки, которые могут соответствовать верхнему левому, верхнему правому, нижнему левому и нижнему правому коэффициентам усиления, соответственно, относительно положения текущего пикселя G. Горизонтальный и вертикальный размер интервала сетки представлены X и Y, соответственно. Дополнительно, ii и jj представляют горизонтальное и вертикальное смещения пикселя, соответственно, относительно позиции верхнего левого коэффициента G0 усиления. На основании этих факторов, коэффициент усиления, соответствующий позиции G, можно, таким образом, интерполировать следующим образом:

$$G=\frac{(G0(Y-jj)(X-ii))+(G1(Y-jj)(ii))+(G2(jj)(X-ii))+(G3(ii)(jj))}{XY}$$ (13a)

Затем члены в вышеприведенном уравнении 13a можно комбинировать для получения следующего выражения:

$$G=\frac{G0[XY-X(jj)-Y(ii)+(ii)(jj)]+G1[Y(ii)-(ii)(jj)]+G2[X(jj)-(ii)(jj)]+G3[(ii)(jj)]}{XY}$$ (13b)

В одном варианте осуществления, способ интерполяции может осуществляться с приращениями, а не с использованием множителя на каждом пикселе, что позволяет снизить вычислительную сложность. Например, член (ii)(jj) можно реализовать с использованием сумматора, который может быть первоначально установлен равным 0 в положении (0, 0) сетки 761 коэффициентов усиления и увеличиваться на текущий номер строки каждый раз, когда текущий номер столбца увеличивается на пиксель. Как рассмотрено выше, поскольку значения X и Y можно выбирать как степени двойки, интерполяция коэффициента усиления может осуществляться с использованием простых операций сдвига. Таким образом, множитель необходим в точке G0 сетки (а не на каждом пикселе), и только операции сложения необходимы для определения интерполированного коэффициента усиления для остальных пикселей.

[00368] В некоторых вариантах осуществления, интерполяция коэффициентов усиления между точками сетки может использовать 14-битовую точность, и коэффициенты усиления сетки могут быть беззнаковыми 10-битовыми значениями с 2 битами целой части и 8 битами дробной части (например, в представлении 2.8 с плавающей запятой). С использованием этого соглашения, коэффициент усиления может принимать значения в пределах от 0 до 4X, и разрешение по коэффициенту усиления между точками сетки может составлять 1/256.

[00369] Методы коррекции затенения объектива можно дополнительно проиллюстрировать процессом 772, показанным на фиг. 75. Как показано, процесс 772 начинается с этапа 773, на котором позиция текущего пикселя определяется относительно границ области 760 LSC, показанной на фиг. 73. Затем логика 774 принятия решения определяет, находится ли позиция текущего пикселя в области 760 LSC. Если позиция текущего пикселя находится вне области 760 LSC, процесс 772 переходит к этапу 775, и коэффициент усиления не применяется к текущему пикселю (например, пиксель остается неизменным).

[00370] Если позиция текущего пикселя находится в области 760 LSC, процесс 772 переходит к логике 776 принятия решения, на которой дополнительно производится определение, соответствует ли позиция текущего пикселя точке сетки в сетке 761 коэффициентов усиления. Если позиция текущего пикселя соответствует точке сетки, то значение коэффициента усиления в этой точке сетки выбирается и применяется к текущему пикселю, как показано на этапе 777. Если позиция текущего пикселя не соответствует точке сетки, то процесс 772 переходит к этапу 778, и коэффициент усиления интерполируется на основании граничных точек сетки (например, G0, G1, G2 и G3 на фиг. 74). Например, интерполированный коэффициент усиления можно вычислить в соответствии с уравнениями 13a и 13b, как рассмотрено выше. После этого, процесс 772 заканчивается на этапе 779, на котором интерполированный коэффициент усиления из этапа 778 применяется к текущему пикселю.

[00371] Очевидно, что процесс 772 может повторяться для каждого пикселя данных изображения. Например, на фиг. 76 проиллюстрирован трехмерный профиль, изображающий коэффициенты усиления, которые могут применяться к каждой позиции пикселя в области LSC (например, 760). Как показано, коэффициент усиления, применяемый в углах 780 изображения, в общем случае, может быть больше, чем коэффициент усиления, применяемый к центру 781 изображения вследствие большего спада интенсивности света в углах, как показано на фиг. 71 и 72. С использованием описанных здесь методов коррекции затенения объектива, возникновение спадов интенсивности света в изображении можно ослабить или, по существу, исключить. Например, на фиг. 77 приведен пример того, как может выглядеть цветной чертеж изображения 759 из фиг. 72 после применения коррекции затенения объектива. Как показано, по сравнению с исходным изображением из фиг. 72, общая интенсивность света, в общем случае, является более однородной по изображению. В частности, интенсивность света вблизи центра изображения может быть, по существу, равна значениям интенсивности света на углах и/или краях изображения. Дополнительно, как упомянуто выше, вычисление интерполированного коэффициента усиления (уравнения 13a и 13b) можно, в некоторых вариантах осуществления, заменить аддитивной "дельтой" между точками сетки, воспользовавшись преимуществом структуры последовательного увеличения номеров столбца и строки. Очевидно, что это позволяет снизить вычислительную сложность.

[00372] В дополнительных вариантах осуществления, помимо использования коэффициентов усиления сетки, используется глобальный коэффициент усиления для каждой цветовой компоненты, который масштабируется как функция расстояния от центра изображения. Центр изображения можно обеспечить как входной параметр и можно оценивать, анализируя амплитуду интенсивности света каждого пикселя изображения в однородно освещенном изображении. Радиальное расстояние между идентифицированным центральным пикселем и текущим пикселем, затем можно использовать для получения линейно масштабированного радиального коэффициента усиления, G_r, как показано ниже:

$$G_r=G_p[c]\times R$$ , (14)

где G_p[c] представляет параметр глобального коэффициента усиления для каждой цветовой компоненты c (например, компонент R, B, Gr и Gb для шаблона Байера), и где R представляет радиальное расстояние между центральным пикселем и текущим пикселем.

[00373] Согласно фиг. 78, которая демонстрирует рассмотренную выше область 760 LSC, расстояние R можно вычислять или оценивать с использованием нескольких методов. Как показано, пиксель C, соответствующий центру изображения, может иметь координаты (x₀, y₀), и текущий пиксель G может иметь координаты (x_G, y_G). В одном варианте осуществления, логика 740 LSC может вычислять расстояние R с использованием следующего уравнения:

$$R=\sqrt{{(x_G-x_0)}^2+{(y_G-y_0)}^2}$$ (15)

[00374] В другом варианте осуществления, для получения оценочного значения для R можно использовать упрощенную формулу оценивания, показанную ниже.

$$R=\alpha \times \max (abs(x_G-x_0),abs(y_G-y_0))+\beta \times \min (abs(x_G-x_0),abs(y_G-y_0))$$ (16)

В уравнении 16, оценочные коэффициенты α и β можно масштабировать до 8-битовых значений. Исключительно в порядке примера, в одном варианте осуществления, α может быть равен приблизительно 123/128, и β может быть равен приблизительно 51/128 для предоставления оценочного значения для R. При использовании этих значений коэффициентов, наибольшая ошибка может составлять приблизительно 4%, при средней ошибке приблизительно 1,3%. Таким образом, несмотря на то, что метод оценивания может быть несколько менее точным, чем использование способа вычисления при определении R (уравнение 15), граница ошибки достаточно низка, что позволяет использовать оценочные значения R для определения радиальных компонент коэффициента усиления для существующих методов коррекции затенения объектива.

[00375] Затем радиальный коэффициент G_r усиления можно умножить на интерполированное значение коэффициента G усиления сетки (уравнения 13a и 13b) для текущего пикселя для определения полного коэффициента усиления, который может применяться к текущему пикселю. Выходной пиксель Y получается путем умножения входного пиксельного значение X на полный коэффициент усиления, как показано ниже:

$$Y=(G\times G_r\times X$$ ) (17)

Таким образом, в соответствии с настоящим изобретением, коррекция затенения объектива может осуществляться с использованием только интерполированного коэффициента усиления, совместно интерполированного коэффициента усиления и радиальных компонент коэффициента усиления. Альтернативно, коррекция затенения объектива также может осуществляться с использованием только радиального коэффициента усиления совместно с таблицей радиальной сетки, которая компенсирует ошибки радиальной аппроксимации. Например, вместо прямоугольной сетки 761 коэффициентов усиления, показанной на фиг. 73, может быть предоставлена радиальная сетка коэффициентов усиления, имеющая множество точек сетки, задающих коэффициенты усиления в радиальном и угловом направлениях. Таким образом, при определении коэффициента усиления для применения к пикселю, который не выровнен с одной из точек радиальный сетки в области 760 LSC, интерполяцию можно применять с использованием четырех точек сетки, окружающих пиксель, для определения надлежащего интерполированного коэффициента усиления затенения объектива.

[00376] На фиг. 79, использование интерполированной и радиальной компонент коэффициента усиления в коррекции затенения объектива проиллюстрировано процессом 782. Следует отметить, что процесс 782 может включать в себя этапы, аналогичные этапам процесса 772, описанного выше на фиг. 75. Соответственно, такие этапы обозначены аналогичными ссылочными позициями. Начиная с этапа 773, принимается текущий пиксель и определяется его положение относительно области 760 LSC. Затем логика 774 принятия решения определяет, находится ли позиция текущего пикселя в области 760 LSC. Если позиция текущего пикселя находится вне области 760 LSC, процесс 782 переходит к этапу 775, и коэффициент усиления не применяется к текущему пикселю (например, пиксель остается неизменным). Если позиция текущего пикселя находится в области 760 LSC, то процесс 782 может одновременно перейти к этапу 783 и логике 776 принятия решения. На этапе 783 извлекаются данные, идентифицирующие центр изображения. Как рассмотрено выше, определение центра изображения может включать в себя анализ амплитуд интенсивность света для пикселей при однородном освещении. Это может происходить, например, в ходе калибровки. Таким образом, следует понимать, что этап 783 не обязательно предусматривает повторяющееся вычисление центра изображения для обработки каждого пикселя, но может подразумевать извлечение данных (например, координат) ранее определенного центра изображения. После идентификации центра изображения, процесс 782 может перейти к этапу 784, на котором определяется расстояние между центром изображения и положением (R) текущего пикселя. Как рассмотрено выше, значение R можно вычислять (уравнение 15) или оценивать (уравнение 16). Затем, на этапе 785, радиальную компоненту коэффициента G_r усиления можно вычислить с использованием расстояния R и параметра глобального коэффициента усиления, соответствующего цветовой компоненте текущего пикселя (уравнение 14). Радиальную компоненту коэффициента G_r усиления можно использовать для определения полного коэффициента усиления, что будет рассмотрено ниже на этапе 787.

[00377] Логика 776 принятия решения определяет, соответствует ли позиция текущего пикселя точке сетки в сетке 761 коэффициентов усиления. Если позиция текущего пикселя соответствует точке сетки, то значение коэффициента усиления в этой точке сетки определяется, как показано на этапе 786. Если позиция текущего пикселя не соответствует точке сетки, то процесс 782 переходит к этапу 778, и интерполированный коэффициент усиления вычисляется на основании граничных точек сетки (например, G0, G1, G2 и G3 на фиг. 74). Например, интерполированный коэффициент усиления можно вычислить в соответствии с уравнениями 13a и 13b, как рассмотрено выше. Затем, на этапе 787, полный коэффициент усиления определяется на основании радиального коэффициента усиления, определенного на этапе 785, а также одного из коэффициентов усиления сетки (этап 786) или интерполированного коэффициента усиления (778). Очевидно, что это может зависеть от ветви, выбранной логикой 776 принятия решения в процессе 782. Затем полный коэффициент усиления применяется к текущему пикселю, как показано на этапе 788. Опять же, следует отметить, что, аналогично процессу 772, процесс 782 также может повторяться для каждого пикселя данных изображения.

[00378] Использование радиального коэффициента усиления совместно с коэффициентами усиления сетки может обеспечивать различные преимущества. Например, использование радиального коэффициента усиления позволяет использовать единую общую сетку коэффициентов усиления для всех цветовых компонент. Это позволяет значительно сократить суммарную емкость хранилища, необходимую для хранения отдельных сеток коэффициентов усиления для каждой цветовой компоненты. Например, в байеровском датчике изображения, использование единой сетки коэффициентов усиления для каждой из компонент R, B, Gr и Gb может сокращать объем данных сетки коэффициентов усиления приблизительно на 75%. Очевидно, что, это сокращение объема данных сетки коэффициента усиления позволяет снизить стоимость реализации, поскольку таблицы данных сетки коэффициента усиления могут занимать значительный участок памяти или площадь микросхемы в оборудовании обработки изображений. Кроме того, в зависимости от аппаратной реализации, использование единого набора значений сетки коэффициентов усиления может обеспечивать дополнительные преимущества, например уменьшение общей площади микросхемы (например, когда значения сетки коэффициентов усиления хранятся во внутрикристальной памяти) и снижение требований к пропускной способности памяти (например, когда значения сетки коэффициентов усиления хранятся во внекристальной внешней памяти).

[00379] Исходя из полностью описанных функциональных возможностей логики 740 коррекции затенения объектива, показанной на фиг. 68, выходной сигнал логики 740 LSC затем перенаправляется на логику 741 обратной компенсации уровня черного (IBLC). Логика 741 IBLC обеспечивает коэффициент усиления, смещение и отсечку независимо для каждой цветовой компоненты (например, R, B, Gr и Gb) и, в общем случае, осуществляет обратную функцию относительно логики 739 BLC. Например, как демонстрирует следующая операция, значение входного пикселя сначала умножается на коэффициент усиления и затем смещается на знаковое значение.

$$Y=(X\times G[c])+O[c]$$ , (18)

где X представляет входное пиксельное значение для данной цветовой компоненты c (например, R, B, Gr или Gb), O[c] представляет знаковое 16-битовое смещение для текущей цветовой компоненты c, и G[c] представляет значение коэффициента усиления для цветовой компоненты c. В одном варианте осуществления, коэффициент G[c] усиления может принимать значения в пределах приблизительно от 0 до 4X (4-кратное входное пиксельное значение X). Следует отметить, что эти переменные могут быть теми же переменными, которые рассмотрены выше в уравнении 11. Вычисленное значение Y может быть обрезано до минимального и максимального диапазона с использованием, например, уравнения 12. В одном варианте осуществления, логика 741 IBLC может быть сконфигурирована для поддержания счетчика количества пикселей, которые были отсечены выше и ниже максимума и минимума, соответственно, для каждой цветовой компоненты.

[00380] После этого, выходной сигнал логики 741 IBLC принимается блоком 742 сбора статистики, который может обеспечивать сбор различных точек статистических данных о датчике(ах) 90 изображения, например, относящихся к автоматической установке экспозиции (AE), автоматическому балансу белого (AWB), автофокусировке (AF), обнаружению мерцания и т.д. На основании вышеизложенного, описание некоторых вариантов осуществления блока 742 сбора статистики и различных связанных с ним аспектов представлено ниже со ссылкой на фиг. 80-97.

[00381] Очевидно, что статистику AWB, AE и AF можно использовать при получении изображений в цифровых фотоаппаратах, а также видеокамерах. Для простоты, статистика AWB, AE и AF может совместно именоваться здесь "статистикой 3A". Согласно варианту осуществления логики предварительной обработки ISP, представленному на фиг. 68, архитектуру для логики 742 сбора статистики ("логика статистики 3A") можно реализовать в оборудовании, программном обеспечении, или их комбинации. Кроме того, программное обеспечение или программно-аппаратное обеспечение управления можно использовать для анализа статистических данных, собранных логикой 742 статистики 3A и управления различными параметрами объектива (например, фокусным расстоянием), датчика (например, коэффициентами аналогового усиления, временами интегрирования), и конвейера 82 ISP (например, коэффициентами цифрового усиления, коэффициентами матрицы цветовой коррекции). В некоторых вариантах осуществления, схема 32 обработки изображений может быть сконфигурирована для обеспечения гибкости при сборе статистики, позволяющей программному обеспечению или программно-аппаратному обеспечению управления реализовать различные алгоритмы AWB, AE и AF.

[00382] В отношении балансировки белого (AWB), отклик датчика изображения на каждом пикселе может зависеть от источника освещения, поскольку источник света отражается от объектов в сцене изображения. Таким образом, каждое пиксельное значение, записанное в сцене изображения, связано с цветовой температурой источника света. Например, на фиг. 79 изображен график 789, демонстрирующий цветовой диапазон областей белого при низких и высоких цветовых температурах для цветового пространства YCbCr. Как показано, ось x графика 789 представляет цветоразность (Cb) синего и ось y графика 789 представляет цветоразность (Cr) красного цветового пространства YCbCr. График 789 также демонстрирует ось 790 низкой цветовой температуры и ось 791 высокой цветовой температуры. Область 792, в которой располагаются оси 790 и 791, представляет цветовой диапазон областей белого при низких и высоких цветовых температурах в цветовом пространстве YCbCr. Однако следует понимать, что цветовое пространство YCbCr является лишь одним примером цветового пространства, которое можно использовать совместно с обработкой автоматической балансировки белого в настоящем варианте осуществления. Другие варианты осуществления могут использовать любое пригодное цветовое пространство. Например, в некоторых вариантах осуществления, другие пригодные цветовые пространства могут включать в себя цветовое пространство Lab (CIELab) (например, на основании CIE 1976), цветовое пространство, нормализованное по красному/синему (например, цветовое пространство R/(R+2G+B) и B/(R+2G+B); цветовое пространство R/G и B/G; цветовое пространство Cb/Y и Cr/Y и т.д.). Соответственно, в целях этого раскрытия, оси цветового пространства, используемого логикой 742 статистики 3A, могут именоваться C1 и C2 (как в случае на фиг. 80).

[00383] Когда белый объект освещается при низкой цветовой температуре, он может выглядеть красноватым в захваченном изображении. Напротив, белый объект, освещаемый при высокой цветовой температуре, может выглядеть синеватым в захваченном изображении. Таким образом, целью балансировки белого является регулировка значений RGB таким образом, чтобы изображение воспринималось человеческим глазом, как в условиях канонического освещения. Таким образом, в контексте статистики формирования изображения, относящейся к балансу белого, информация цвета о белых объектах собирается для определения цветовой температуры источника света. В целом, алгоритмы баланса белого могут включать в себя два основных этапа. Во-первых, оценивается цветовая температура источника света. Во-вторых, оцененная цветовая температура используется для регулировки значений цветового коэффициента усиления и/или определения/регулировки коэффициентов матрицы цветовой коррекции. Такие коэффициенты усиления могут быть комбинацией коэффициентов аналогового и цифрового усиления датчика изображения, а также коэффициентов цифрового усиления ISP.

[00384] Например, в некоторых вариантах осуществления, устройство 30 формирования изображения можно калибровать с использованием множественных разных опорных источников света. Соответственно, точку белого текущей сцены можно определить путем выбора коэффициентов цветовой коррекции, соответствующих опорному источнику света, который наиболее точно совпадает с источником света текущей сцены. Исключительно в порядке примера, один вариант осуществления может калибровать устройство 30 формирования изображения с использованием пяти опорных источников света, источника света низкой цветовой температуры, источника света умеренно низкой цветовой температуры, источника света средней цветовой температуры, источника света умеренно высокой цветовой температуры и источника света высокой цветовой температуры. Как показано на фиг. 81, один вариант осуществления может задавать коэффициенты усиления баланса белого с использованием следующих профилей цветовой коррекции: Horizon (H) (имитирующий цветовую температуру около 2300 градусов), накальный (A или IncA) (имитирующий цветовую температуру около 2856 градусов), D50 (имитирующий цветовую температуру около 5000 градусов), D65 (имитирующий цветовую температуру около 6500 градусов) и D75 (имитирующий цветовую температуру около 7500 градусов).

[00385] В зависимости от источника света текущей сцены, коэффициенты усиления баланса белого можно определить с использованием коэффициентов усиления, соответствующих опорному источнику света, который наиболее точно совпадает с текущим источником света. Например, если логика 742 статистики (более подробно описанная ниже на фиг. 82) определяет, что текущий источник света приблизительно совпадает с опорным источником света средней цветовой температуры, D50, то коэффициенты усиления баланса белого приблизительно 1.37 и 1.23 могут применяться к цветовым каналам красного и синего, соответственно, тогда как к каналам зеленого (G0 и G1 для байеровских данных) не применяется приблизительно никакого коэффициента усиления (1.0). В некоторых вариантах осуществления, если цветовая температура текущего источника света находится между двумя опорными источниками света, коэффициенты усиления баланса белого можно определить путем интерполяции коэффициентов усиления баланса белого между двумя опорными источниками света. Кроме того, хотя настоящий пример демонстрирует устройство формирования изображения, калибруемое с использованием источников света H, A, D50, D65 и D75, следует понимать, что для калибровки камеры можно использовать любой пригодный тип источника света, например TL84 или CWF (люминесцентные опорные источники света) и т.д.

[00386] Как будет дополнительно описано ниже, для AWB может быть предоставлено несколько статистик, включающих в себя двухмерную (2D) цветовую гистограмму, и суммы RGB или YCC для предоставления множественных программируемых цветовых диапазонов. Например, в одном варианте осуществления, логика 742 статистики может обеспечивать набор множественных пиксельных фильтров, причем для обработки AWB можно выбирать поднабор множественных пиксельных фильтров. В одном варианте осуществления, может быть предоставлено восемь наборов фильтров, каждый из которых имеет свои отдельные конфигурируемые параметры, и три набора фильтров цветового диапазона можно выбирать из набора для сбора мозаичной статистики, а также для сбора статистики для каждого плавающего окна. В порядке примера, первый выбранный фильтр может быть сконфигурирован для покрытия текущей цветовой температуры для получения точной оценки цвета, второй выбранный фильтр может быть сконфигурирован для покрытия областей низкой цветовой температуры, и третий выбранный фильтр может быть сконфигурирован для покрытия областей высокой цветовой температуры. Эта конкретная конфигурация может позволять алгоритму AWB регулировать область текущей цветовой температуры, когда источник света изменяется. Кроме того, 2D цветовую гистограмму можно использовать для определения глобальных и локальных источников света и для определения различных порогов пиксельного фильтра для накопления значений RGB. Опять же, следует понимать, что выбор трех пиксельных фильтров призван иллюстрировать лишь один вариант осуществления. В других вариантах осуществления, для статистики AWB можно выбирать меньше или больше пиксельных фильтров.

[00387] Кроме того, помимо выбора трех пиксельных фильтров, один дополнительный пиксельный фильтр также можно использовать для автоматической установки экспозиции (AE), которая, в общем случае, означает процесс регулировки времени интегрирования и коэффициентов усиления пикселя для управления яркостью захваченного изображения. Например, автоматическая установка экспозиции может управлять количеством света из сцены, захваченной датчиком(ами) изображения, путем задания времени интегрирования. В некоторых вариантах осуществления, мозаичные элементы и плавающие окна статистики яркости можно собирать с помощью логики 742 статистики 3A и обрабатывать для определения параметров управления интегрированием и коэффициента усиления.

[00388] Кроме того, автофокусировка может относиться к определению оптимального фокусного расстояния объектива для, по существу, оптимизации фокусировки изображения. В некоторых вариантах осуществления, можно собирать плавающие окна высокочастотной статистики и можно регулировать фокусное расстояние объектива для фокусировки изображения. Как дополнительно рассмотрено ниже, в одном варианте осуществления, регулировки автофокусировки могут использовать грубые и точные регулировки на основании одной или более метрик, именуемых показателями автофокусировки (показателями AF) для фокусировки изображения. Кроме того, в некоторых вариантах осуществления, статистику/показатели AF можно определять для разных цветов, и соотношение между статистикой/показателями AF для каждого цветового канала можно использовать для определения направления фокуса.

[00389] Таким образом, эти различные типы статистики, в том числе, можно определять и собирать с помощью блока 742 сбора статистики. Как показано, выходной сигнал STATS0 блока 742 сбора статистики блока 142 Sensor0 статистической обработки могут отправляться в память 108 и перенаправляться на управляющую логику 84 или, альтернативно, могут отправляться непосредственно на управляющую логику 84. Кроме того, следует понимать, что блок 144 Sensor1 статистической обработки также может включать в себя аналогично сконфигурированный блок сбора статистики 3A, который обеспечивает статистику STATS1, как показано на фиг. 10.

[00390] Как рассмотрено выше, управляющая логика 84, которая может представлять собой специализированный процессор в подсистеме 32 ISP устройства 10, может обрабатывать собранные статистические данные для определения одного или более параметров управления для управления устройством 30 формирования изображения и/или схемой 32 обработки изображений. Например, такие параметры управления могут включать в себя параметры для оперирования объективом датчика 90 изображения (например, параметры регулировки фокусного расстояния), параметры датчика изображения (например, коэффициенты аналогового и/или цифрового усиления, время интегрирования), а также параметры конвейерной обработки ISP (например, значения коэффициента цифрового усиления, коэффициенты матрицы цветовой коррекции (CCM)). Дополнительно, как упомянуто выше, в некоторых вариантах осуществления, статистическая обработка может происходить с точностью 8 битов и, таким образом, первичные пиксельные данные, имеющие более высокую битовую глубину, могут подвергаться понижающей дискретизации до 8-битового формата в целях статистики. Как рассмотрено выше, понижающая дискретизация до 8 битов (или любого другого более низкобитового разрешения) может уменьшать размер (например, площадь) оборудования и также снижать сложность обработки, а также позволяет повышать устойчивость статистических данных к шуму (например, с использованием пространственного усреднения данных изображения).

[00391] Исходя из вышеизложенного, на фиг. 82 показана блок-схема, изображающая логику для реализации одного варианта осуществления логики 742 статистики 3A. Как показано, логика 742 статистики 3A может принимать сигнал 793, представляющий байеровские RGB данные, которые, как показано на фиг. 68, могут соответствовать выходному сигналу логики 741 обратной BLC. Логика 742 статистики 3A может обрабатывать байеровские RGB данные 793 для получения различной статистики 794, которая может представлять выходной сигнал STATS0 логики 742 статистики 3A, как показано на фиг. 68, или, альтернативно выходной сигнал STATS1 логики статистики, связанной с блоком 144 Sensor1 статистической обработки.

[00392] В проиллюстрированном варианте осуществления, чтобы статистика была более устойчива к шуму, входные байеровские RGB пиксели 793 сначала усредняются логикой 795. Например, усреднение может осуществляться в окне размером 4×4 пикселя датчика, состоящий из четырех байеровских четверок 2×2 (например, блок 2×2 пикселей, представляющий шаблон Байера), и усредненные значения красного (R), зеленого (G) и синего (B) в окне 4×4 можно вычислить и преобразовать в 8 битов, как упомянуто выше. Этот процесс более подробно проиллюстрирован на фиг. 83, которая демонстрирует окно 796 4×4 пикселей, образованное четырьмя байеровскими четверками 797 2×2. С использованием этой конфигурации, каждый цветовой канал включает в себя блок 2×2 соответствующих пикселей в окне 796, и пиксели одного и того же цвета можно суммировать и усреднять для получения среднего значения цвета для каждого цветового канала в окне 796. Например, пиксели 799 красного можно усреднять для получения среднего значения 803 красного (R_AV), и пиксели 800 синего можно усреднять для получения среднего значения 804 синего (B_AV) в выборке 796. В отношении усреднения пикселей зеленого, можно использовать несколько методов, поскольку шаблон Байера имеет вдвое больше выборок зеленого, чем выборок красного или синего. В одном варианте осуществления, среднее значение 802 зеленого (G_AV) можно получить путем усреднения только пикселей 798 Gr, только пикселей 801 Gb, или всех вместе пикселей 798 и 801 Gr и Gb. В другом варианте осуществления, можно усреднять пиксели 798 и 801 Gr и Gb в каждой байеровской четверке 797, и среднее значений зеленого для каждой байеровской четверки 797 можно дополнительно усреднять совместно для получения G_AV 802. Очевидно, что, усреднение пиксельных значений по пиксельным блокам может обеспечивать снижение шума. Кроме того, следует понимать, что использование блока 4×4 в качестве оконной выборки служит исключительно для обеспечения одного примера. Действительно, в других вариантах осуществления, можно использовать любой пригодный размер блока (например, 8×8, 16×16, 32×32 и т.д.).

[00393] После этого, байеровские RGB значения 806 уменьшенного масштаба поступают на логические блоки 807 и 808 преобразования цветового пространства. Поскольку некоторые статистические данные 3A могут опираться на пиксель, пиксели после применения преобразования цветового пространства, логика 807 преобразования цветового пространства (CSC) и логика 808 CSC могут быть сконфигурированы для преобразования подвергнутых понижающей дискретизации байеровских RGB значений 806 в одно или более других цветовых пространств. В одном варианте осуществления, логика 807 CSC может обеспечивать преобразование нелинейного пространства, и логика 808 CSC может обеспечивать линейное преобразование пространства. Таким образом, логические блоки 807 и 808 CSC могут преобразовывать первичные данные изображения из байеровского RGB датчика в другое цветовое пространство (например, sRGB_linear, sRGB, YCbCr и т.д.) которое может быть более идеально или пригодно для осуществления оценивания белого по точкам для баланса белого.

[00394] В настоящем варианте осуществления, нелинейная логика 807 CSC может быть сконфигурирована для осуществления умножения на матрицу 3×3, сопровождаемого нелинейным отображением, реализованным в виде поисковой таблицы, и дополнительно сопровождаемого умножением на другую матрицу 3×3 с добавленным смещением. Это позволяет преобразованию цветового пространства статистики 3A дублировать цветовую обработку обработки RGB в конвейере 82 ISP (например, применяя коэффициент усиления баланс белого, применяя матрицу цветовой коррекции, применяя регулировки гаммы RGB и осуществляя преобразование цветового пространства) для данной цветовой температуры. Это также может обеспечивать преобразование байеровских RGB значений в более согласованное по цвету цветовое пространство, например CIELab, или любое другое из цветовых пространств, рассмотренных выше (например, YCbCr, цветовое пространство, нормализованное по красному/синему, и т.д.). В некоторых условиях, цветовое пространство Lab может быть более пригодно для операций баланса белого, поскольку цветность более линейна относительно яркости.

[00395] Как показано на фиг. 82, выходные пиксели из байеровского RGB сигнала 806 уменьшенного масштаба обрабатываются с помощью первой матрицы 3×3 цветовой коррекции (3A_CCM), обозначенной здесь ссылочной позицией 808. В настоящем варианте осуществления, 3A_CCM 809 может быть сконфигурирована для преобразования из цветового пространства RGB камеры (camRGB), в линейное калиброванное пространство sRGB (sRGB_linear). Программируемое преобразование цветового пространства, которое можно использовать в одном варианте осуществления, представлено ниже уравнениями 19-21:

sR_linear=max(0, min(255, (3A_CCM_00*R+3A_CCM_01*G+3A_CCM_02*B))); (19)

sG_linear=max(0, min(255, (3A_CCM_10*R+3A_CCM_11*G+3A_CCM_12*B))); (20)

sB_linear=max(0, min(255, (3A_CCM_20*R+3A_CCM_21*G+3A_CCM_22*B))); (21)

где 3A_CCM_00 - 3A_CCM_22 представляют знаковые коэффициенты матрицы 808. Таким образом, каждая из компонент sR_linear, sG_linear и sB_linear, цветового пространства sRGB_linear можно определить, сначала определяя сумму подвергнутых понижающей дискретизации байеровских RGB значений красного, синего и зеленого с применением соответствующих коэффициентов 3A_CCM, и затем урезая это значение до 0 или 255 (минимального и максимального пиксельных значений для 8-битовых пиксельных данных), если значение больше 255 или меньше 0. Результирующие значения sRGB_linear представлены на фиг. 82 ссылочной позицией 810 как выход 3A_CCM 809. Дополнительно, логика 742 статистики 3A может поддерживать счетчик количества урезанных пикселей для каждой из компонент sR_linear, sG_linear и sB_linear, что выражено ниже:

3A_CCM_R_clipcount_low: количество урезанных пикселей sR_linear < 0

3A_CCM_R_clipcount_high: количество урезанных пикселей sR_linear > 255

3A_CCM_G_clipcount_low: количество урезанных пикселей sG_linear < 0

3A_CCM_G_clipcount_high: количество урезанных пикселей sG_linear > 255

3A_CCM_B_clipcount_low: количество урезанных пикселей sB_linear < 0

3A_CCM_B_clipcount_high: количество урезанных пикселей sB_linear > 255

[00396] Затем пиксели 810 sRGB_linear можно обрабатывать с использованием нелинейной поисковой таблицы 811 для создания пикселей 812 sRGB. Поисковая таблица 811 может содержать записи 8-битовых значений, причем значение каждой записи таблицы представляет выходные уровни. В одном варианте осуществления, поисковая таблица 811 может включать в себя 65 равномерно распределенных входных записей, причем индекс таблицы представляет входные значения с шагом 4. Когда входное значение попадает между интервалами, выходные значения линейно интерполируются.

[00397] Очевидно, что цветовое пространство sRGB может представлять цветовое пространство окончательного изображения, созданного устройством 30 формирования изображения (фиг. 7) для данной точки белого, поскольку сбор статистики баланса белого осуществляется в цветовом пространстве окончательного изображения, созданного устройством формирования изображения. В одном варианте осуществления, точку белого можно определить, сопоставляя характеристики сцены изображения с одним или более опорными источниками света на основании, например, отношений красного к зеленому и/или синего к зеленому. Например, один опорный источник света может быть D65, источник света стандарта CIE для имитации условий дневного освещения. Помимо D65, калибровку устройства 30 формирования изображения также можно осуществлять для разных других опорных источников света, и процесс определения баланса белого может включать в себя определение текущего источника света таким образом, чтобы обработку (например, балансировка цветов) можно было регулировать для текущего источника света на основании соответствующих точек калибровки. В порядке примера, в одном варианте осуществления, устройство 30 формирования изображения и логику 742 статистики 3A можно калибровать с использованием, помимо D65, люминесцентного (CWF) опорного источника холодного белого света, опорного источника света TL84 (другого люминесцентного источника) и опорного источника света IncA (или A), который имитирует накальное освещение. Дополнительно, как рассмотрено выше, различные другие источники света, соответствующий разным цветовым температурам (например, H, IncA, D50, D65 и D75 и т.д.) также можно использовать при калибровке камеры для обработки баланса белого. Таким образом, точку белого можно определить, анализируя сцену изображения и определяя, какой опорный источник света наиболее точно совпадает с текущим источником света.

[00398] В отношении нелинейной логики 807 CSC, выходной сигнал 812 пикселя sRGB поисковой таблицы 811 может дополнительно обрабатываться с помощью второй матрицы 813 3×3 цветовой коррекции, именуемой здесь 3A_CSC. В представленном варианте осуществления, матрица 813 3A_CSC показана сконфигурированной для преобразования из цветового пространства sRGB в цветовое пространство YCbCr, хотя она также может быть сконфигурирована для преобразования значений sRGB в другие цветовые пространства. В порядке примера, можно использовать следующее программируемое преобразование цветового пространства (уравнения 22-27):

Y=3A_CSC_00*sR+3A_CSC_01*sG+3A_CSC_02*sB+3A_OffsetY; (22)

Y=max(3A_CSC_MIN_Y, min(3A_CSC_MAX_Y, Y)); (23)

C1=3A_CSC_10*sR+3A_CSC_11*sG+3A_CSC_12*sB+3A_OffsetC1; (24)

C1=max(3A_CSC_MIN_C1, min(3A_CSC_MAX_C1, C1)); (25)

C2=3A_CSC_20*sR+3A_CSC_21*sG+3A_CSC_22*sB+3A_OffsetC2; (26)

C2=max(3A_CSC_MIN_C2, min(3A_CSC_MAX_C2, C2)); (27)

где 3A_CSC_00 - 3A_CSC_22 представляют знаковые коэффициенты для матрицы 813, 3A_OffsetY, 3A_OffsetC1 и 3A_OffsetC2 представляют знаковые смещения, и C1 и C2 представляют разные цвета, в данном случае цветоразность (Cb) синего и цветоразность (Cr) красного, соответственно. Однако следует понимать, что C1 и C2 могут представлять цвета любой пригодной цветоразности, не обязательно цвета Cb и Cr.

[00399] Как показано в уравнениях 22-27, при определении каждой компоненты YCbCr, надлежащие коэффициенты из матрицы 813 применяются к значениям 812 sRGB, и результат суммируется с соответствующим смещением (например, уравнения 22, 24 и 26). По существу, этот этап является этапом умножения на матрицу 3×1. Этот результат матричного умножения затем подвергается отсечке между максимальным и минимальным значениями (например, уравнения 23, 25 и 27). Соответствующие минимальное и максимальное значения отсечки могут быть программируемыми и могут зависеть, например, от конкретных используемых стандартов формирования изображения или видеосигнала (например, BT.601 или BT.709).

[00400] Логика 742 статистики 3A также может поддерживать счетчик количества урезанных пикселей для каждой из компонент Y, C1 и C2, что выражено ниже:

3A_CSC_Y_clipcount_low: количество урезанных пикселей Y < 3A_CSC_MIN_Y

3A_CSC_Y_clipcount_high: количество урезанных пикселей Y > 3A_CSC_MAX_Y

3A_CSC_C1_clipcount_low: количество урезанных пикселей C1 < 3A_CSC_MIN_C1

3A_CSC_C1_clipcount_high: количество урезанных пикселей C1 > 3A_CSC_MAX_C1

3A_CSC_C2_clipcount_low: количество урезанных пикселей C2 < 3A_CSC_MIN_C2

3A_CSC_C2_clipcount_high: количество урезанных пикселей C2 > 3A_CSC_MAX_C2

[00401] Выходные пиксели из байеровского RGB сигнала 806, подвергнутого понижающей дискретизации, также могут поступать на линейную логику 808 преобразования цветового пространства, которая может быть сконфигурирована для реализации преобразования цветового пространства камеры. Например, выходные пиксели 806 из логики 795 байеровской RGB понижающей дискретизации можно обрабатывать с помощью другой матрицы 815 3×3 цветового преобразования (3A_CSC2) логики 808 CSC для преобразования из RGB датчика (camRGB) в линейное сбалансированное по уровню белого цветовое пространство (camYC1C2), в котором C1 и C2 могут соответствовать Cb и Cr, соответственно. В одном варианте осуществления, пиксели цветности можно масштабировать по яркости, что может давать преимущество при реализации цветового фильтра с улучшенным согласованием цветов и устойчивостью к цветовым сдвигам вследствие изменений яркости. Пример того, как может осуществляться преобразование цветового пространства камеры с использованием матрицы 815 3×3, приведен ниже в уравнениях 28-31:

camY=3A_CSC2_00*R+3A_CSC2_01*G+3A_CSC2_02*B+3A_Offset2Y; (28)

camY=max(3A_CSC2_MIN_Y, min(3A_CSC2_MAX_Y, camY)); (29)

camC1=(3A_CSC2_10*R+3A_CSC2_11*G+3A_CSC2_12*B); (30)

camC2=(3A_CSC2_20*R+3A_CSC2_21*G+3A_CSC2_22*B); (31)

где 3A_CSC2_00 - 3A_CSC2_22 представляют знаковые коэффициенты для матрицы 815, 3A_Offset2Y представляет знаковое смещение для camY, и camC1 и camC2 представляют разные цвета, в данном случае, цветоразность (Cb) синего и цветоразность (Cr) красного, соответственно. Как показано в уравнении 28, для определения camY, соответствующие коэффициенты из матрицы 815 применяются к байеровским RGB значениям 806, и результат суммируется с 3A_Offset2Y. Этот результат затем подвергается отсечке между максимальным и минимальным значениями, как показано в уравнении 29. Как рассмотрено выше, пределы отсечки могут быть программируемыми.

[00402] При этом, пиксели camC1 и camC2 выхода 816 являются знаковыми. Как рассмотрено выше, в некоторых вариантах осуществления, пиксели цветности можно масштабировать. Например, один метод для реализации масштабирования по цветности показанный ниже:

camC1=camC1 * ChromaScale * 255/(camY ? camY: 1); (32)

camC2=camC2 * ChromaScale * 255/(camY ? camY: 1); (33)

где ChromaScale представляет масштабный коэффициент с плавающей запятой между 0 и 8. В уравнениях 32 и 33, выражение (camY ? camY:1) призвано предотвращать возникновение условия деления на нуль. Таким образом, если camY равен нулю, значение camY устанавливается равным 1. Кроме того, в одном варианте осуществления, ChromaScale может принимать одно из двух возможных значений в зависимости от знака camC1. Например, как показано ниже в уравнении 34, ChomaScale может быть присвоено первое значение (ChromaScale0), если camC1 отрицательный, иначе ему присваивается второе значение (ChromaScale1):

ChromaScale=ChromaScale0 если (camC1<0) (34)

ChromaScale1 в противном случае

[00403] После этого прибавляются смещения цветности, и пиксели camC1 и camC2 цветности урезаются, как показано ниже в уравнениях 35 и 36, для формирования соответствующих беззнаковых пиксельных значений:

camC1=max(3A_CSC2_MIN_C1, min(3A_CSC2_MAX_C1, (camC1+3A_Offset2C1))) (35)

camC2=max(3A_CSC2_MIN_C2, min(3A_CSC2_MAX_C2, (camC2+3A_Offset2C2))) (36)

где 3A_CSC2_00 - 3A_CSC2_22 - знаковые коэффициенты матрицы 815, и 3A_Offset2C1 и 3A_Offset2C2 - знаковые смещения. Кроме того, количество урезанных пикселей для camY, camC1 и camC2 отсчитывается, как показано ниже:

3A_CSC2_Y_clipcount_low: количество урезанных пикселей camY < 3A_CSC2_MIN_Y

3A_CSC2_Y_clipcount_high: количество урезанных пикселей camY > 3A_CSC2_MAX_Y

3A_CSC2_C1_clipcount_low: количество урезанных пикселей camC1 < 3A_CSC2_MIN_C1

3A_CSC2_C1_clipcount_high: количество урезанных пикселей camC1 > 3A_CSC2_MAX_C1

3A_CSC2_C2_clipcount_low: количество урезанных пикселей camC2 < 3A_CSC2_MIN_C2

3A_CSC2_C2_clipcount_high: количество урезанных пикселей camC2 > 3A_CSC2_MAX_C2

[00404] Таким образом, нелинейная и линейная логики 807 и 808 преобразования цветового пространства могут, в настоящем варианте осуществления, обеспечивать пиксельные данные в различных цветовых пространствах: sRGB_linear (сигнал 810), sRGB (сигнал 812), YCbYr (сигнал 814) и camYCbCr (сигнал 816). Следует понимать, что коэффициенты для каждой матрицы 809 (3A_CCM), 813 (3A_CSC) и 815 (3A_CSC2) преобразования, а также значения в поисковой таблице 811, можно независимо устанавливать и программировать.

[00405] Согласно фиг. 82, выходные пиксели цветности из преобразования нелинейного цветового пространства (YCbCr 814) или из преобразования цветового пространства камеры (camYCbCr 816) можно использовать для формирования двухмерной (2D) цветовой гистограммы 817. Как показано, логика 818 и 819 выбора, которую можно реализовать в виде мультиплексоров или в виде любой другой пригодной логики, может быть сконфигурирована для выбора между пикселями яркости и цветности из преобразования нелинейного цветового пространства или из преобразования цветового пространства камеры. Логика 818 и 819 выбора может действовать в ответ на соответствующие сигналы управления, которые, в одном варианте осуществления, могут выдаваться главной управляющей логикой 84 схемы 32 обработки изображений (фиг. 7) и могут устанавливаться через программное обеспечение.

[00406] Для настоящего примера, можно предположить, что логики 818 и 819 выбора выбирают преобразование (814) цветового пространства YC1C2, где первой компонентой является яркость, и где C1, C2 - первый и второй цвета (например, Cb, Cr). 2D гистограмма 817 в цветовом пространстве C1-C2 формируется для одного окна. Например, окно может задаваться началом и шириной столбца и началом и высотой строки. В одном варианте осуществления, позицию и размер окна можно задавать кратными 4 пикселям, и можно использовать 32×32 бина, т.е. всего 1024 бина. Границы бинов могут располагаться с фиксированным интервалом, и, для предоставления возможности трансфокации и панорамирования коллекции гистограммы в конкретных областях цветового пространства, можно задать масштабирование и смещение пикселей.

[00407] 5 старших битов (представляющих всего 32 значения) C1 и C2 после смещения и масштабирования можно использовать для определения бина. Индексы бинов для C1 и C2, обозначенные здесь как C1_index и C2_index, можно определить следующим образом:

C1_index=((C1-C1_offset)>>(3-C1_scale) (37)

C2_index=((C2-C2_offset)>>(3-C2_scale) (38)

После определения индексов, бины цветовой гистограммы увеличиваются на значение Count (которое может иметь значение между 0 и 3 в одном варианте осуществления), если индексы бинов находятся в диапазоне [0, 31], как показано ниже в уравнении 39. Эффективно, это позволяет взвешивать счетчики цвета на основании значений яркости (например, более яркие пиксели получают увеличенный весовой коэффициент, а не как все остальные (например, 1)).

if(C1_index >= 0 && C1_index <= 31 && C2_index >= 0 && C2_index <= 31) (39)

StatsCbCrHist[C2_index&31][C1_index&31] += Count;

где Count определяется на основании выбранного значения яркости, Y в этом примере. Очевидно, что этапы, представленные уравнениями 37, 38 и 39 можно реализовать логическим блоком 821 обновления бинов. Кроме того, в одном варианте осуществления, можно устанавливать множественные пороги яркости для задания интервалов яркости. В порядке примера, четыре порога яркости (Ythd0-Ythd3) могут задавать пять интервалов яркости, при этом для каждого интервала задаются значения Count Count0-4. Например, Count0-Count4 можно выбирать (например, с помощью логики 820 пиксельного условия) на основании порогов яркости следующим образом:

if (Y <= Ythd0) (40)

Count=Count0

else if (Y <= Ythd1)

Count=Count1

else if (Y <= Ythd2)

Count=Count2

else if (Y <= Ythd3)

Count=Count3

else

Count=Count4

[00408] Исходя из вышеизложенного, фиг. 84 иллюстрирует цветовую гистограмму с масштабированием и смещениями, заданными равными нулю для обоих C1 и C2. Пространстве CbCr делится на 32×32 бина (всего 1024 бинов). На фиг. 85 приведен пример трансфокации и панорамирования в 2D цветовой гистограмме для дополнительной точности, в которой прямоугольная область 822, где малый прямоугольник указывает положение 32×32 бина.

[00409] В начале кадра данных изображения, значения бинов первоначально установлены равными нулю. Для каждого пикселя, входящего в 2D цветовую гистограмму 817, бин, соответствующий совпадающему значению C1C2, увеличивается на определенное значение Count (Count0-Count4), которое, как рассмотрено выше, может базироваться на значении яркости. Для каждого бина в 2D гистограмме 817, суммарный отсчет пикселей сообщается как часть собранных статистических данных (например, STATS0). В одном варианте осуществления, суммарный отсчет пикселей для каждого бина может иметь разрешение 22 бита, что позволяет обеспечивать выделение внутренней памяти, равной 1024×22 бита.

[00410] Возвращаясь к фиг. 82, байеровские RGB пиксели (сигнал 806), пиксели sRGB_linear (сигнал 810), пиксели sRGB (сигнал 812) и пиксели YC1C2 (например, YCbCr) (сигнал 814) поступают на набор пиксельных фильтров 824a-c, где посредством RGB, sRGB_linear, sRGB, YC1C2 или camYC1C2 суммы могут условно накапливаться при пиксельных условиях camYC1C2 или YC1C2, заданных каждым пиксельным фильтром 824. Таким образом, значения Y, C1 и C2 из выхода преобразования нелинейного цветового пространства (YC1C2) или выхода преобразования цветового пространства камеры (camYC1C2) используются для условного выбора значений RGB, sRGB_linear, sRGB или YC1C2 для накопления. Хотя в настоящем варианте осуществления изображено, что в логике 742 статистики 3A предоставлено 8 пиксельных фильтров (PF0-PF7), следует понимать, что может быть предоставлено любое количество пиксельных фильтров.

[00411] Фиг. 86 демонстрирует функциональную логическую схему, изображающую вариант осуществления пиксельных фильтров, в частности, PF0 (824a) и PF1 (824b) из фиг. 82. Как показано, каждый пиксельный фильтр 824 включает в себя логику выбора, которая принимает байеровские RGB пиксели, пиксели sRGB_linear, пиксели sRGB и пиксели одного из YC1C2 и camYC1C2, выбранных другой логикой 826 выбора. В порядке примера, логики 825 и 826 выбора можно реализовать с использованием мультиплексоров или любой другой пригодной логики. Логика 826 выбора может выбирать YC1C2 или camYC1C2. Выбор может осуществляться в ответ на сигнал управления, который может выдаваться главной управляющей логикой 84 схемы 32 обработки изображений (фиг. 7) и/или устанавливаться программным обеспечением. Затем пиксельный фильтр 824 может использовать логику 827 для оценивания пикселей YC1C2 (например, нелинейного или камерного), выбранных логикой 826 выбора, относительно пиксельного условия. Каждый пиксельный фильтр 824 может использовать схему 825 выбора для выбора одного из байеровских RGB пикселей, пикселей sRGB_linear, пикселей sRGB, и пикселя YC1C2 или camYC1C2 в зависимости от выходного сигнала схемы 826 выбора.

[00412] Используя результаты оценивания, можно накапливать (828) пиксели, выбранные логикой 825 выбора. В одном варианте осуществления, пиксельное условие можно задать с использованием порогов C1_min, C1_max, C2_min, C2_max, как показано на графике 789 на фиг. 80. Пиксель включается в статистику, если он удовлетворяет следующим условиям:

1. C1_min <= C1 <= C1_max

2. C2_min <= C2 <= C2_max

3. abs ((C2_delta*C1)-(C1_delta*C2)+Offset)<distance_max

4. Y_min <= Y <= Y_max

Согласно графику 829, представленному на фиг. 87, в одном варианте осуществления, точка 830 представляет значения (C2, C1), соответствующие текущим пиксельным данным YC1C2, выбранным логикой 826. C1_delta можно определить как разность между C1_1 и C1_0, и C2_delta можно определить как разность между C2_1 и C2_0. Как показано на фиг. 87, точки (C1_0, C2_0) и (C1_1, C2_1) могут задавать минимальную и максимальную границы для C1 и C2. Offset можно определить путем умножения C1_delta на значение 832 (C2_intercept) в точке пересечения линии 831 с осью C2. Таким образом, предполагая, что Y, C1 и C2 удовлетворяют минимальному и максимальному граничным условиям, выбранный пиксель (байеровские RGB, sRGB_linear, sRGB и YC1C2/camYC1C2) включается в сумму накопления, если его расстояние 833 от линии 831 меньше distance_max 834, которое может быть расстоянием 670 в пикселях от линии, умноженный на нормирующий множитель:

distance_max=distance*sqrt(C1_delta^2+C2_delta^2)

В настоящем варианте осуществления, distance, C1_delta и C2_delta может принимать значения в пределах от -255 до 255. Таким образом, distance_max 834 можно представить 17 битами. Точки (C1_0, C2_0) и (C1_1, C2_1), а также параметры для определения distance_max (например, нормирующий(е) множитель(и)), могут быть предоставлены как часть логики 827 пиксельного условия в каждом пиксельном фильтре 824. Очевидно, что, пиксельные условия 827 могут быть конфигурируемыми/программируемыми.

[00413] Хотя пример, показанный на фиг. 87, изображает пиксельное условие на основании двух наборов точек (C1_0, C2_0) и (C1_1, C2_1), в дополнительных вариантах осуществления, некоторые пиксельные фильтры могут задавать более сложные формы и области, в которых определяются пиксельные условия. Например, фиг. 88 демонстрирует вариант осуществления, где пиксельный фильтр 824 может задавать пятисторонний многоугольник 835 с использованием точек (C1_0, C2_0), (C1_1, C2_1), (C1_2, C2_2) и (C1_3, C2_3), и (C1_4, C2_4). Каждая сторона 836a-836e может задавать условие линии. Однако в отличие от случая, показанного на фиг. 87 (например, пиксель может находиться с каждой стороны от линии 831 при условии, что distance_max удовлетворяется), условие может состоять в том, что пиксель (C1, C2) должен располагаться по одну сторону от линии 836a-836e и, таким образом, находиться внутри многоугольника 835. Таким образом, пиксель (C1, C2) подсчитывается, когда выполняются условия пересечения множественных линий. Например, на фиг. 88, такое пересечение происходит относительно пикселя 837a. Однако пиксель 837b не может удовлетворить условию линии для линии 836d и, таким образом, не может подсчитываться в статистике при обработке пиксельным фильтром, сконфигурированным таким образом.

[00414] В дополнительном варианте осуществления, показанном на фиг. 89, пиксельное условие можно определить на основании перекрывающихся форм. Например, фиг. 89 демонстрирует, как пиксельный фильтр 824 может иметь пиксельные условия, заданные с использованием двух перекрывающихся форм, в данном случае прямоугольников 838a и 838b, заданных точками (C1_0, C2_0), (C1_1, C2_1), (C1_2, C2_2) и (C1_3, C2_3) и точками (C1_4, C2_4), (C1_5, C2_5), (C1_6, C2_6) и (C1_7, C2_7), соответственно. В этом примере, пиксель (C1, C2) может удовлетворять условиям линий, заданным таким пиксельным фильтром, будучи заключен в области, совместно ограниченной формами 838a и 838b (например, удовлетворяя условиям линий каждой линии, задающей обе формы). Например, на фиг. 89, эти условия выполняются относительно пикселя 839a. Однако пиксель 838b не может удовлетворять этим условиям (в частности относительно линии 840a прямоугольника 838a и линии 840b прямоугольника 838b) и, таким образом, не может подсчитываться в статистике при обработке пиксельным фильтром, сконфигурированным таким образом.

[00415] Для каждого пиксельного фильтра 824, квалифицирующие пиксели идентифицируются на основании пиксельных условий, заданных логикой 827, и, для квалификации пиксельных значений, машина 742 статистики 3A может собирать следующую статистику: 32-битовые суммы: (R_sum, G_sum, B_sum) или (sR_{linear_sum}, sG_{linear_sum}, sB_{linear_sum}), или (sR_sum, sG_sum, sB_sum) или (Y_sum, C1_sum, C2_sum) или 24-битовый счетчик пикселей, Count, который может представлять суммарное количество пикселей, включенных в статистику. В одном варианте осуществления, программное обеспечение может использовать сумму для формирования среднего в мозаичном элементе или окне.

[00416] Когда пиксели camYC1C2 выбираются логикой 825 пиксельного фильтра 824, цветовые пороги могут осуществляться на масштабированных значениях цветности. Например, поскольку интенсивность цветности в точках белого увеличивается со значением яркости, использование цветности, масштабированной значением яркости в пиксельном фильтре 824 может, в ряде случаев, обеспечивать результаты с улучшенной согласованностью. Например, условия минимальной и максимальной яркости могут позволять фильтру игнорировать темные и/или яркие области. Если пиксель удовлетворяет пиксельному условию YC1C2, значения RGB, sRGB_linear, sRGB или YC1C2 накапливаются. Выбор пиксельных значений логикой 825 выбора может зависеть от необходимого типа информации. Например, для баланса белого обычно выбираются пиксели RGB или sRGB_linear. Для обнаружения конкретных условий, например, неба, травы, телесных тонов и т.д., набор пикселей YCC или sRGB может быть более пригодным.

[00417] В настоящем варианте осуществления можно задать восемь наборов пиксельных условий, по одному, связанному с каждым из пиксельных фильтров PF0-PF7 824. Некоторые пиксельные условия можно задать для вырезания области в цветовом пространстве C1-C2 (фиг. 80), где, вероятно, находится точка белого. Это можно определить или оценить на основании текущего источника света. Затем, накопленные суммы RGB можно использовать для определения текущей точки белого на основании отношений R/G и/или B/G для регулировок баланса белого. Кроме того, некоторые пиксельные условия можно задать или адаптировать для осуществления анализа и классификаций сцены. Например, некоторые пиксельные фильтры 824 и окна/мозаичные элементы можно использовать для обнаружения условий, например, синего неба в верхней части кадра изображения или зеленой травы в нижней части кадра изображения. Эту информацию также можно использовать для регулировки баланса белого. Дополнительно, некоторые пиксельные условия можно задать или адаптировать для обнаружения телесных тонов. Для таких фильтров, мозаичные элементы можно использовать для обнаружения областей кадра изображения, которые имеют телесный тон. Идентифицируя эти области, можно повысить качество телесного тона, например, за счет снижения величины фильтра шума в областях телесного тона и/или снижения квантования при сжатии видеосигнала в этих областях для повышения качества.

[00418] Логика 742 статистики 3A также может обеспечивать сбор данных яркости. Например, значение яркости, camY, из преобразования цветового пространства камеры (camYC1C2) можно использовать для накопления статистики суммарной яркости. В одном варианте осуществления, логика 742 статистики 3A может собирать следующую информацию яркости:

Y_sum: сумма camY

cond(Y_sum): сумма camY, которая удовлетворяет условию: Y_min <=camY < Y_max

Ycount1: счетчик пикселей, где camY < Y_min,

Ycount2: счетчик пикселей, где camY >= Y_max

Здесь, Ycount1 может представлять количество недоэкспонированных пикселей, и Ycount2 может представлять количество переэкспонированных пикселей. Их можно использовать для определения, является ли изображение переэкспонированным или недоэкспонированным. Например, если пиксели не достигают насыщения, сумма camY (Y_sum) может указывать среднюю яркость в сцене, которую можно использовать для достижения целевой экспозиции AE. Например, в одном варианте осуществления, среднюю яркость можно определить делением Y_sum на количество пикселей. Кроме того, зная статистику яркости/AE для мозаичной статистики и положений окон, можно осуществлять измерение AE. Например, в зависимости от сцены изображения, может быть желательным взвешивать статистику AE в центральном окне больше, чем в окнах на краях изображения, например, в случае портретной съемки.

[00419] В проиллюстрированном здесь варианте осуществления, логика сбора статистики 3A может быть сконфигурирована для сбора статистики в мозаичных элементах и окнах. В проиллюстрированной конфигурации, одно окно можно задать для мозаичной статистики 863. Окно может задаваться началом и шириной столбца и началом и высотой строки. В одном варианте осуществления, позицию и размер окна можно выбирать кратным четырем пикселям и, в этом окне, статистика собирается в мозаичных элементах произвольных размеров. В порядке примера, все мозаичные элементы в окне можно выбирать таким образом, чтобы они имели одинаковый размер. Размер мозаичного элемента можно устанавливать независимо для горизонтального и вертикального направлений и, в одном варианте осуществления, можно устанавливать максимальный предел на количество горизонтальных мозаичных элементов (например, предел в 128 горизонтальных мозаичных элементов). Кроме того, в одном варианте осуществления, можно устанавливать минимальный размер мозаичного элемента, равный, например, 8 пикселей в ширину на 4 пикселя в высоту. Ниже приведены некоторые примеры конфигураций мозаичных элементов на основании разных режимов и стандартов видео/формирования изображения для получения окна 16x16 мозаичных элементов:

VGA 640x480: мозаичный интервал 40×30 пикселей

HD 1280x720: мозаичный интервал 80×45 пикселей

HD 1920x1080: мозаичный интервал 120×68 пикселей

5MP 2592x1944: мозаичный интервал 162×122 пикселей

8MP 3280x2464: мозаичный интервал 205×154 пикселей

[00420] В отношении настоящего варианта осуществления, из восьми доступных пиксельных фильтров 824 (PF0-PF7), четыре можно выбирать для мозаичной статистики 863. Для каждого мозаичного элемента, следующую статистику можно собрать:

(R_sum0, G_sum0, B_sum0) или (sR_{linear_sum0}, sG_{linear_sum0}, sB_{linear_sum0}), или

(sR_sum0, sG_sum0, sB_sum0) или (Y_sum0, C1_sum0, C2_sum0), Count0

(R_sum1, G_sum1, B_sum1) или (sR_{linear_sum1}, sG_{linear_sum1}, sB_{linear_sum1}), или

(sR_sum1, sG_sum1, sB_sum1) или (Y_sum1, C1_sum1, C2_sum1), Count1

(R_sum2, G _sum2, B _sum2) или (sR_{linear_sum2}, sG_{linear_sum2}, sB_{linear_sum2}), или

(sR_sum2, sG_sum2, sB_sum2) или (Y_sum2, C1_sum2, C2_sum2), Count2

(R_sum3, G_sum3, B_sum3) или (sR_{linear_sum3}, sG_{linear_sum3}, sB_{linear_sum3}), или

(sR_sum3, sG_sum3, sB_sum3) или (Y_sum3, C1_sum3, C2_sum3), Count3, или

Y_sum, cond(Y_sum), Y_count1, Y_count2 (из camY)

В вышеприведенной статистике, Count0-3 представляет счетчик пикселей, которые удовлетворяют пиксельным условиям, соответствующим выбранным четырем пиксельным фильтрам. Например, если пиксельные фильтры PF0, PF1, PF5 и PF6 выбраны в качестве четырех пиксельных фильтров для конкретного мозаичного элемента или окна, то вышеприведенные выражения могут соответствовать значениям Count и суммам, соответствующим пиксельным данным (например, байеровскими RGB, sRGB_linear, sRGB, YC1Y2, camYC1C2), которые выбираются для этих фильтров (например, логикой 825 выбора). Дополнительно, значения Count можно использовать для нормирования статистики (например, делением сумм цветов на соответствующие значения Count). Как показано, в зависимости, по меньшей мере, частично, от необходимых типов статистики, выбранные пиксельные фильтры 824 могут быть сконфигурированы для выбора между пиксельными данными либо одного из байеровскими RGB, sRGB_linear или sRGB пиксельными данными, либо пиксельными данными YC1C2 (преобразования нелинейного или камерного цветового пространства в зависимости от выбора логикой 826), и определения статистики суммы цветов для выбранных пиксельных данных. Дополнительно, как рассмотрено выше, значение яркости, camY, из преобразования цветового пространства камеры (camYC1C2) также собирается для информации суммарной яркости для статистики автоматической установки экспозиции (AE).

[00421] Дополнительно, логика 742 статистики 3A также может быть сконфигурирована для сбора статистики 861 для множественных окон. Например, в одном варианте осуществления, можно использовать до восьми плавающих окон, с любой прямоугольной областью, любой размер которой кратен четырем пикселям (например, высота×ширина), вплоть до максимального размера, соответствующего размеру кадра изображения. Однако положение окон не обязательно ограничивать кратными четырех пикселей. Например, окна могут перекрываться друг с другом.

[00422] В настоящем варианте осуществления, четыре пиксельных фильтра 824 можно выбирать из доступных восьми пиксельных фильтра (PF0-PF7) для каждого окна. Статистику для каждого окна можно собирать таким же образом, как для мозаичных элементов, рассмотренных выше. Таким образом, для каждого окна можно собирать следующую статистику 861:

(R_sum0, G_sum0, B_sum0) или sR_{linear_sum0}, sG_{linear_sum0}, sB_{linear_sum0}), или

(sR_sum0, sG_sum0, sB_sum0) или (Y_sum0, C1_sum0, C2_sum0), Count0

(R_sum1, G_sum1, B_sum1) или (sR_{linear_sum1}, sG_{linear_sum1}, sB_{linear_sum1}), или

(sR_sum1, sG_sum1, sB_sum1) или (Y_sum1, C1_sum1, C2_sum1), Count1

(R_sum2, G_sum2, B_sum2) или (sR_{linear_sum2}, sG_{linear_sum2}, sB_{linear_sum2}), или

(sR_sum2, sG_sum2, sB_sum2) или (Y_sum2, C1_sum2, C2_sum2), Count2

(R_sum3, G_sum3, B_sum3) или (sR_{linear_sum3}, sG_{linear_sum3}, sB_{linear_sum3}), или

(sR_sum3, sG_sum3, sB_sum3) или (Y_sum3, C1_sum3, C2_sum3), Count3, или

Y_sum, cond(Y_sum), Y_count1, Y_count2 (из camY)

В вышеприведенной статистике, Count0-3 представляет счетчик пикселей, которые удовлетворяют пиксельным условиям, соответствующим выбранным четырем пиксельным фильтрам для конкретного окна. Из восьми доступных пиксельных фильтров PF0-PF7, четыре активных пиксельных фильтра можно выбирать независимо для каждого окна. Дополнительно, один из наборов статистики можно собирать с использованием пиксельных фильтров или статистики яркости camY. Оконная статистика, собранная для AWB и AE, может, в одном варианте осуществления, отображаться в один или более регистров.

[00423] Согласно фиг. 82, логика 742 статистики 3A также может быть сконфигурирована для получения статистики 859 суммарной яркости по строке для одного окна с использованием значения яркости, camY, для преобразования цветового пространства камеры. Эту информацию можно использовать для обнаружения и компенсации мерцания. Мерцание формируется периодическим изменением в некоторых люминесцентных и накальных источниках света, обычно вызванного сигналом электропитания переменного тока. Например, на фиг. 90 показан график, демонстрирующий, как мерцание может быть вызвано изменениями в источнике света. Обнаружение мерцания, таким образом, можно использовать для обнаружения частоты электропитания переменного тока, используемой для источника света (например, 50 Гц или 60 Гц). Когда частота известна, мерцания можно избежать путем задания времени интегрирования датчика изображения равным целому кратному периода мерцания.

[00424] Для обнаружения мерцания, яркость камеры, camY, накапливается по каждой строке. Вследствие понижающей дискретизации входных байеровских данных, каждое значение camY может соответствовать 4 строкам исходных первичных данных изображения. Затем управляющая логика и/или программно-аппаратное обеспечение может осуществлять частотный анализ среднего по строке или, что более надежно, разностей средних по строке по последовательным кадрам для определения частоты электропитания переменного тока, связанной с конкретным источником света. Например, согласно фиг. 90, времена интегрирования для датчика изображения могут базироваться на временах t1, t2, t3 и t4 (например, таким образом, чтобы интегрирование происходило в моменты времени, когда источник освещения, демонстрирующий изменения, имеет, в общем случае, один и тот же уровень яркости.

[00425] В одном варианте осуществления, может задаваться окно суммарной яркости по строке и статистика 859 сообщается для пикселей в этом окне. В порядке примера, для захвата видео в формате 1080p HD, предполагая, что окно имеет высоту 1024 пикселя, формируется 256 суммарных яркостей по строке (например, по одной сумме для каждых четырех строк вследствие понижающей дискретизации логикой 795), и каждое накопленное значение можно выразить 18 битами (например, 8-битовыми значениями camY для до 1024 выборок на строку).

[00426] Логика 742 сбора статистики 3A, показанная на фиг. 82, также может обеспечивать сбор статистики 842 автофокусировки (AF) посредством логики 841 статистики автофокусировки. Функциональная блок-схема, демонстрирующая вариант осуществления логики 841 статистики AF, более подробно представлена на фиг. 91. Как показано, логика 841 статистики AF может включать в себя горизонтальный фильтр 843 и детектор 844 края, который применяется к исходному байеровскому RGB (без понижающей дискретизации), два фильтра 846 3×3 по Y из Байера, и два фильтра 847 3×3 по camY. В целом, горизонтальный фильтр 843 обеспечивает точную статистику разрешения для каждой цветовой компоненты, фильтры 846 3×3 могут обеспечивать точную статистику разрешения по BayerY (байеровский RGB с примененным преобразованием 3×1 (логика 845)), и фильтры 847 3×3 могут обеспечивать более грубую двухмерную статистику по camY (поскольку camY получается с использованием байеровских RGB данных уменьшенного масштаба, т.е. логика 815). Кроме того, логика 841 может включать в себя логику 852 для прореживания байеровских RGB данных (например, усреднения 2×2, усреднения 4×4 и т.д.), и прореженные байеровские RGB данные 853 можно фильтровать с использованием фильтров 854 3×3 для создания фильтрованного выходного сигнала 855 для прореженных байеровских RGB данных. Настоящий вариант осуществления обеспечивает 16 окон статистики. На границах первичного кадра, краевые пиксели дублируются для фильтров логики 841 статистики AF. Различные компоненты логики 841 статистики AF более подробно описаны ниже.

[00427] Прежде всего, процесс обнаружения горизонтального края включает в себя применение горизонтального фильтра 843 для каждой цветовой компоненты (R, Gr, Gb, B), сопровождаемого необязательным детектором 844 края на каждой цветовой компоненте. Таким образом, в зависимости от условий формирования изображения, эта конфигурация позволяет устанавливать логику 841 статистики AF как фильтр высоких частот без обнаружения края (например, с отключенным детектором края) или, альтернативно, как фильтр низких частот, сопровождаемый детектором края (например, с включенным детектором края). Например, в условиях низкой освещенности, горизонтальный фильтр 843 может быть более восприимчив к шуму, и, таким образом, логика 841 может конфигурировать горизонтальный фильтр как фильтр низких частот, сопровождаемый включенным детектором 844 края. Как показано, сигнал 848 управления может включать или отключать детектор 844 края. Статистика из разных цветовых каналов используется для определения направления фокуса для повышения резкости, поскольку разные цвета могут фокусироваться на разной глубине. В частности, логика 841 статистики AF может обеспечивать средства управления автофокусировкой с использованием комбинации грубых и точных регулировок (например, фокусного расстояния объектива). Варианты осуществления таких средств описаны более подробно описаны ниже.

[00428] В одном варианте осуществления, горизонтальный фильтр может представлять собой 7-отводный фильтр и может быть задан следующим образом в уравнениях 41 и 42:

out(i)=(af_horzfilt_coeff[0] *(in(i-3)+in(i+3))+af_horzfilt_coeff[1] *(in(i-2)+in(i+2))+ (41)

af_horzfilt_coeff[2] *(in(i-1)+in(i+1))+af_horzfilt_coeff[3]*in(i))

out(i)=max(-255, min(255, out(i))) (42)

Здесь, каждый коэффициент af_horzfilt_coeff[0:3] может находиться в диапазоне [-2, 2], и i представляет индекс входного пикселя для R, Gr, Gb или B. Фильтрованный выходной сигнал out(i) может отсекаться между минимальным и максимальным значениями -255 и 255, соответственно (уравнение 42). Коэффициенты фильтрации можно задавать независимо для каждой цветовой компоненты.

[00429] Необязательный детектор 844 края может быть предусмотрен на выходе горизонтального фильтра 843. В одном варианте осуществления, детектор 844 края можно задать как:

edge(i)=abs(-2*out(i-1)+2*out(i+1))+abs(-out(i-2)+out(i+2)) (43)

edge(i)=max(0, min(255, edge(i))) (44)

Таким образом, детектор 844 края, когда включен, может выводить значение на основании двух пикселей по обе стороны текущего входного пикселя i, как показано в уравнении 43. Результат можно обрезать до 8-битового значения между 0 и 255, как показано в уравнении 44.

[00430] В зависимости от того, обнаружен ли край, окончательный выходной сигнал пиксельного фильтра (например, фильтра 843 и детектора 844) можно выбирать, либо как выходной сигнал горизонтального фильтра 843, либо как выходной сигнал 849 детектора 844 края. Например, как показано в уравнении 45, выходным сигналом детектора 844 края может быть edge(i), если край обнаружен, или абсолютное значение выходного сигнала горизонтального фильтра out(i), если край не обнаружен.

edge(i)=(af_horzfilt_edge_detected) ? edge(i): abs(out(i)) (45)

Для каждого окна накопленные значения, edge_sum[R, Gr, Gb, B], можно выбирать, либо как (1) сумму edge(j,i) для каждого пикселя по окну, либо как (2) максимальное значение edge(i) по линии в окне, max(edge), просуммированное по линиям в окне. Предполагая, что размер первичного кадра составляет 4096×4096 пикселей, количество битов, необходимых для хранения максимальных значений edge_sum[R, Gr, Gb, B], равно 30 битам (например, 8 битов на пиксель, полюс 22 бита для окна, покрывающего весь первичный кадр изображения).

[00431] Как рассмотрено, фильтры 847 3×3 для яркости camY могут включать в себя два программируемых фильтра 3×3, именуемые F0 и F1, которые применяются к camY. Результат фильтра 847 поступает либо на квадратичную функцию, либо на функцию абсолютного значения. Результат накапливается по данному окну AF для обоих фильтров F0 и F1 3×3 для формирования краевого значения яркости. В одном варианте осуществления, краевые значения яркости на каждом пикселе camY задаются следующим образом:

edgecamY_FX(j,i)=FX * camY (46)

=FX(0,0) * camY (j-1, i-1)+FX(0,1) * camY (j-1, i)+FX(0,2) * camY (j-1, i+1) +

FX(1,0) * camY (j, i-1)+FX(1,1) * camY (j, i)+FX(1,2) * camY (j, i+1) +

FX(2,0) * camY (j+1, i-1)+FX(2,1) * camY (j+1, i)+FX(2,2) * camY (j+1, i+1)

edgecamY_FX(j,i)=f(max(-255, min(255, edgecamY_FX(j,i)))) (47)

f(a)=a^2 или abs(a)

где FX представляет программируемые фильтры 3×3, F0 и F1, со знаковыми коэффициентами в диапазоне [-4, 4]. Индексы j и i представляют положения пикселя в изображении camY. Как рассмотрено выше, фильтр по camY может обеспечивать грубую статистику разрешения, поскольку camY выводится с использованием байеровских RGB данных уменьшенного масштаба (например, из 4×4 в 1). Например, в одном варианте осуществления, фильтры F0 и F1 можно устанавливать с использованием оператора Шарра, который обеспечивает улучшенную вращательную симметрию, чем оператор Собеля, пример чего показан ниже:

$$F0=\left[\begin{array}{ccc}-3& 0& 3\\ -10& 0& 10\\ -3& 0& 3\end{array}\right]$$ $$F1=\left[\begin{array}{ccc}-3& -10& -3\\ 0& 0& 0\\ 3& 10& 3\end{array}\right]$$

[00432] Для каждого окна, накопленные значения 850, определенные фильтрами 847, edgecamY_FX_sum (где FX=F0 и F1), можно выбирать либо как (1) сумму edgecamY_FX(j,i) для каждого пикселя по окну, либо как (2) максимальное значение edgecamY_FX(j) по линии в окне, просуммированное по линиям в окне. В одном варианте осуществления, edgecamY_FX_sum может достигать насыщения при 32-битовом значении, когда f(a) устанавливается равным a^2 для предоставления "более пиковой" статистики с повышенным разрешением. Во избежание насыщения, максимальный размер окна X*Y в пикселях первичного кадра можно устанавливать таким образом, чтобы он не превышал всего 1024×1024 пикселя (например, т.е. X*Y <=1048576 пикселей). Как упомянуто выше, f(a) также можно установить как абсолютное значение для предоставления более линейной статистики.

[00433] Фильтры AF 846 3×3 на Y Байера можно задавать аналогичным образом, как фильтры 3×3 в camY, но они применяются к значениям яркости Y, формируемым из байеровской четверки (2×2 пикселя). Прежде всего, 8-битовые байеровские RGB значения преобразуются в Y с программируемыми коэффициента в диапазоне [0,4] для формирования значения Y, сбалансированного по уровню белого, как показано ниже в уравнении 48:

bayerY=max(0, min(255, bayerY_Coeff[0] * R+bayerY_Coeff[1] * (Gr+Gb)/2+ (48)

bayerY_Coeff[2] * B))

[00434] Аналогично фильтрам 847 для camY, фильтры 846 3×3 для яркости bayerY могут включать в себя два программируемых фильтра 3×3, именуемые F0 и F1, которые применяются к bayerY. Результат фильтра 846 поступает либо на квадратичную функцию, либо на функцию абсолютного значения. Результат накапливается по данному окну AF для обоих фильтров F0 и F1 3×3 для формирования краевого значения яркости. В одном варианте осуществления, краевые значения яркости на каждом пикселе bayerY задаются следующим образом:

edgebayerY_FX(j,i)=FX * bayerY (49)

=FX(0,0) * bayerY (j-1, i-1)+FX(0,1) * bayerY (j-1, i)+FX(0,2) * bayerY (j-1, i) +

FX(1,0) * bayerY (j, i-1)+FX(1,1) * bayerY (j, i)+FX(1,2) * bayerY (j-1, i) +

FX(2,0) * bayerY (j+1, i-1)+FX(2,1) * bayerY (j+1, i)+FX(2,2) * bayerY (j+1, i)

edgebayerY_FX(j,i)=f(max(-255, min(255, edgebayerY_FX(j,i)))) (50)

f(a)=a^2 или abs(a)

где FX представляет программируемые фильтры 3×3, F0 и F1, со знаковыми коэффициентами в диапазоне [-4, 4]. Индексы j и i представляют положения пикселя в изображении bayerY. Как рассмотрено выше, фильтр по Y Байера может обеспечивать точную статистику разрешения, поскольку байеровский RGB сигнал, принятый логикой 841 AF, не прорежен. Исключительно в порядке примера, фильтры F0 и F1 логики 846 фильтра можно устанавливать с использованием одной из следующих конфигураций фильтра:

$$\left[\begin{array}{ccc}-1& -1& -1\\ -1& 8& -1\\ -1& -1& -1\end{array}\right]$$ $$\begin{array}{ccc}& & \end{array}$$ $$\left[\begin{array}{ccc}-6& 10& 6\\ 10& 0& -10\\ 6& -10& -6\end{array}\right]$$ $$\begin{array}{ccc}& & \end{array}$$ $$\left[\begin{array}{ccc}0& -1& 0\\ -1& 2& 0\\ 0& 0& 0\end{array}\right]$$

[00435] Для каждого окна, накопленные значения 851, определенные фильтрами 846, edgebayerY _FX_sum (где FX=F0 и F1), можно выбирать либо как (1) сумму edgebayerY_FX(j,i) для каждого пикселя по окну, либо как (2) максимальное значение edgebayerY_FX(j) по линии в окне, просуммированное по линиям в окне. В данном случае, edgebayerY_FX_sum может достигать насыщения при 32 битах, когда f(a) устанавливается равным a^2. Таким образом, во избежание насыщения, максимальный размер окна X*Y в пикселях первичного кадра следует устанавливать таким образом, чтобы он не превышал всего 512×512 пикселей (например, X*Y <=262144). Как рассмотрено выше, задание f(a) как a^2 может обеспечивать более пиковую статистику, а задание f(a) как abs(a) может обеспечивать более линейную статистику.

[00436] Как рассмотрено выше, статистика 842 для AF собирается для 16 окон. Окна могут представлять собой любую прямоугольную область, каждый размер которой кратен 4 пикселям. Поскольку каждая логика 846 и 847 фильтрации включает в себя два фильтра, в ряде случаев, один фильтр можно использовать для нормализации по 4 пикселям и может быть сконфигурирован для фильтрации в вертикальном и горизонтальном направлениях. Кроме того, в некоторых вариантах осуществления, логика 841 AF может нормализовать статистику AF по яркости. Это может осуществляться путем задания одного или более фильтров логических блоков 846 и 847 как обходных фильтров. В некоторых вариантах осуществления, положение окон может ограничиваться величиной, кратной 4 пикселям, и допустимо перекрывание окон. Например, одно окно можно использовать для получения значений нормализации, а другое окно можно использовать для дополнительной статистики, например, дисперсии, как рассмотрено ниже. В одном варианте осуществления, фильтры AF (например, 843, 846, 847) могут не реализовать дублирование пикселей на краю кадра изображения и, таким образом, чтобы фильтры AF использовали все действительные пиксели, окна AF можно устанавливать таким образом, чтобы каждое из них располагалось, по меньшей мере, в 4 пикселях от верхнего края кадра, по меньшей мере, в 8 пикселях от нижнего края кадра и, по меньшей мере, в 12 пикселях от левого/правого края кадра. В проиллюстрированном варианте осуществления, для каждого окна можно собирать и сообщать следующую статистику:

32-битовая edgeGr_sum для Gr

32-битовая edgeR_sum для R

32-битовая edgeB_sum для B

32-битовая edgeGb_sum для Gb

32-битовая edgebayerY_F0_sum для Y из Байера для filter0 (F0)

32-битовая edgebayerY_F1_sum для Y из Байера для filter1 (F1)

32-битовая edgecamY_F0_sum для camY для filter0 (F0)

32-битовая edgecamY_F1_sum для camY для filter1 (F1)

В таком варианте осуществления, память, необходимая для хранения статистики 842 AF, может составлять 16 (окон) умноженные на 8 (Gr, R, B, Gb, bayerY_F0, bayerY_F1, camY_F0, camY_F1), умноженные на 32 бита.

[00437] Таким образом, в одном варианте осуществления, накопленное значение на окно можно выбирать между: выходным сигналом фильтра (который может быть сконфигурирован как настройка по умолчанию), входным пикселем или входным пикселем в квадрате. Выбор может осуществляться для каждого из 16 окон AF, и может применяться ко всем 8 статистическим параметрам AF (перечисленным выше) в данном окне. Это можно использовать для нормирования показателя AF между двумя перекрывающимися окнами, одно из которых сконфигурировано для сбора выходного сигнала фильтра, и другое сконфигурировано для сбора суммы входных пикселей. Дополнительно, для вычисления дисперсии пикселя в случае двух перекрывающихся окон, одно окно может быть сконфигурировано для сбора суммы входных пикселей, а другое для сбора суммы квадратов входных пикселей, таким образом, благодаря чему, дисперсию можно вычислять как:

дисперсия=(avg_pixel²) - (avg_pixel)^2

[00438] С использованием статистики AF, управляющая логика 84 ISP (фиг. 7) может быть сконфигурирована для регулировки фокусного расстояния объектива устройства формирования изображения (например, 30) с использованием ряда регулировок фокусного расстояния на основании "показателей" грубой и точной автофокусировки для фокусировки изображения. Как рассмотрено выше, фильтры 847 3×3 для camY могут обеспечивать грубую статистику, тогда как горизонтальный фильтр 843 и детектор 844 края может обеспечивать сравнительно более точную статистику для каждой цветовой компоненты, тогда как фильтры 846 3×3 на BayerY могут обеспечивать точную статистику на BayerY. Кроме того, фильтры 854 3×3 на прореженном байеровском RGB сигнале 853 могут обеспечивать грубую статистику для каждого цветового канала. Как дополнительно рассмотрено ниже, показатели AF можно вычислять на основании выходных значений фильтра для конкретного входного сигнала (например, суммы выходных сигналов F0 и F1 фильтра для прореженных camY, BayerY, байеровских RGB или на основании выходных сигналов детектора горизонтали/края и т.д.).

[00439] Фиг. 92 демонстрирует график 856, который изображает кривые 858 и 860, которые представляют показатели грубой и точной AF, соответственно. Как показано, показатели грубой AF на основании грубой статистики могут иметь более линейную характеристику относительно фокусного расстояния объектива. Таким образом, в любой позиции фокуса, движение объектива может формировать изменение показателя автофокусировки, которое можно использовать для обнаружения улучшения или ухудшения фокусировки изображения. Например, увеличения показателя грубой AF после регулировки объектива может указывать, что фокусное расстояние регулируется в правильном направлении (например, к оптической позиции фокуса).

[00440] Однако, по мере приближения к оптической позиции фокуса, изменение показателя грубой AF для меньших шагов регулировки объектива может возрастать, затрудняя распознавание верного направления регулировки фокуса. Например, как показано на графике 856, изменение показателя грубой AF между грубой позицией (CP) CP1 и CP2 представлено как ∆_C12, что демонстрирует увеличение в целом от CP1 к CP2. Однако, как показано, от CP3 к CP4, изменение ∆_C34 показателя грубой AF (который проходит через оптимальную позицию фокуса (OFP)), хотя все еще увеличивается, относительно меньше. Следует понимать, что позиции CP1-CP6 вдоль фокусного расстояния L не обязаны соответствовать величинам шага, используемым логикой автофокусировки вдоль фокусного расстояния. Таким образом, между каждой грубой позицией могут использоваться дополнительные шаги, которые не показаны. Проиллюстрированные позиции CP1-CP6 призваны лишь демонстрировать, как изменение показателя грубой AF может постепенно уменьшаться, когда позиция фокуса приближается к OFP.

[00441] Когда приближенная позиция OFP определена (например, на основании показателей грубой AF, показанных на фиг. 92, приближенная позиция OFP может находиться между CP3 и CP5), значения показателя точной AF, представленные кривой 860, можно оценивать для уточнения позиции фокуса. Например, показатели точной AF могут быть уплощенными, когда изображение расфокусировано, поэтому большое позиционное изменение объектива не приводит к большому изменению показателя точной AF. Однако, когда позиция фокуса достигает оптической позиции фокуса (OFP), показатель точной AF может изменяться резко при малых позиционных регулировках. Таким образом, находя положение пика или вершины 862 на кривой 860 показателя точной AF, можно определить OFP для текущей сцены изображения. Таким образом, в итоге, показатели грубой AF можно использовать для определения общей окрестности оптической позиции фокуса, тогда как показатели точной AF можно использовать для точного указания более точной позиции в этой окрестности.

[00442] В одном варианте осуществления, процесс автофокусировки может начинаться с получения показателей грубой AF по всему доступному фокусному расстоянию, начиная с позиции 0 и заканчивая позицией L (показанной на графике 856), и определять показатели грубой AF в различных шаговых позициях (например, CP1-CP6). В одном варианте осуществления, после того, как позиция фокуса объектива достигнет позиции L, позицию можно сбрасывать на 0 до оценивания показателей AF в различных фокальных позициях. Например, это может быть обусловлено временем установки катушки механического элемента, управляющего позицией фокуса. В этом варианте осуществления, после сброса в позицию 0, позицию фокуса можно регулировать в направлении позиции L к позиции, которая первой указала отрицательное изменение показателя грубой AF, в данном случае, позиции CP5, демонстрирующей отрицательное изменение ∆_C45 относительно позиции CP4. От позиции CP5, позицию фокуса можно регулировать малыми приращениями относительно приращений, используемых при регулировках показателя грубой AF (например, позиции FP1, FP2, FP3 и т.д.) обратно в направлении к позиции 0, одновременно выполняя поиск пика 862 кривой 860 показателя точной AF. Как рассмотрено выше, позиция фокуса OFP, соответствующая пику 862 кривой 860 показателя точной AF, может быть оптимальной позицией фокуса для текущей сцены изображения.

[00443] Очевидно, что вышеописанные методы определения положения оптимальной области и оптимальной позиции фокуса могут именоваться "восхождением по выпуклой поверхности", в том смысле, что изменения кривых показателей 858 и 860 AF анализируются для определения положения OFP. Кроме того, хотя анализ показателей грубой AF (кривая 858) и показателей точной AF (кривая 860) показан с использованием шагов одинакового размера для анализа грубого показателя (например, расстояния между CP1 и CP2) и шагов одинакового размера для анализа точного показателя (например, расстояния между FP1 и FP2), в некоторых вариантах осуществления, величины шага могут изменяться в зависимости от изменения показателя от позиции к позиции. Например, в одном варианте осуществления, размер шага между CP3 и CP4 можно уменьшить относительно размера шага между CP1 и CP2 поскольку общая дельта показателя грубой AF (∆_C34) меньше дельты от CP1 до CP2 (∆_C12).

[00444] Способ 864, изображающий этот процесс, представлен на фиг. 93. Начиная с блока 865, показатель грубой AF определяется для данных изображения с различными шагами вдоль фокусного расстояния, от позиции 0 к позиции L (фиг. 92). После этого, на блоке 866, показатели грубой AF анализируются, и грубая позиция, демонстрирующая первое отрицательное изменение показателя грубой AF, идентифицируется как исходный пункт для анализа показателя точной AF. Например, затем, на блоке 867, позиция фокуса пошагово изменяется обратно к начальной позиции 0 с меньшими шагами, причем показатель точной AF анализируется шаг за шагом, пока не будет найден пик кривой показателя AF (например, кривой 860 на фиг. 92). На блоке 868, позиция фокуса, соответствующая пику, устанавливается как оптимальная позиция фокуса для текущей сцены изображения.

[00445] Как рассмотрено выше, вследствие времени механической установки катушки, вариант осуществления метода, показанного на фиг. 93, можно адаптировать для первоначального получения показателей грубой AF по всему фокусному расстоянию, вместо того, чтобы анализировать каждую грубую позицию по одной и искать оптимальную зону фокусирования. Однако другие варианты осуществления, в которых времена установки катушки не столь важны, могут анализировать показатели грубой AF по одному шаг за шагом, вместо того, чтобы искать по всему фокусному расстоянию.

[00446] В некоторых вариантах осуществления, показатели AF можно определять с использованием значений яркости, сбалансированных по уровню белого, полученных из байеровских RGB данных. Например, значение яркости, Y, можно вывести путем прореживания байеровской четверки 2×2 с коэффициентом 2, как показано на фиг. 94, или путем прореживания пиксельного блока 4×4, состоящего из четырех байеровских четверок 2×2, с коэффициентом 4, как показано на фиг. 95. В одном варианте осуществления, показатели AF можно определить с использованием градиентов. В другом варианте осуществления, показатели AF можно определить путем применения преобразования 3×3 с использованием оператора Шарра, который обеспечивает вращательную симметрию, в то же время, минимизируя средневзвешенные квадратичные угловые ошибки в области Фурье. В порядке примера, ниже показано вычисление показателя грубой AF на camY с использованием общего оператора Шарра (рассмотренного выше):

$$AFScor{e}_{coarse}=f\left(\left[\begin{array}{ccc}-3& 0& 3\\ -10& 0& 10\\ -3& 0& 3\end{array}\right]\times in\right)+f\left(\left[\begin{array}{ccc}-3& -10& -3\\ 0& 0& 0\\ 3& 10& 3\end{array}\right]\times in\right)$$ ,

где in представляет прореженное значение Y яркости. В других вариантах осуществления, показатель AF для грубой и точной статистики можно вычислять с использованием других преобразований 3×3.

[00447] Регулировки автофокусировки также можно осуществлять по-разному в зависимости от цветовых компонент, поскольку объектив может по-разному влиять на разные длины волны света, из-за чего горизонтальный фильтр 843 применяется независимо к каждой цветовой компоненте. Таким образом, автофокусировка может осуществляться даже в присутствие хроматической аберрации в объективе. Например, поскольку красный и синий свет обычно фокусируется в разных позициях или на разном расстоянии относительно зеленого цвета при наличии хроматических аберраций, относительные показатели AF для каждого цвета можно использовать для определения направления к фокусу. Это лучше представлено на фиг. 96, которая демонстрирует оптимальную позицию фокуса для цветовых каналов синего, красного и зеленого для объектива 870. Как показано, оптимальные фокальные позиции для красного, зеленого и синего изображены буквенными обозначениями R, G и B соответственно, каждая из которых соответствует показателю AF, при текущей позиции 872 фокуса. В общем случае, в такой конфигурации, может быть желательным выбирать оптимальную позицию фокуса как позицию, соответствующую оптимальной позиции фокуса для компонент зеленого (например, поскольку байеровский RGB шаблон имеет вдвое больше компонент зеленого, чем красного или синего), здесь позиция G. Таким образом, можно ожидать, что для оптимальной позиции фокуса, канал зеленого должен демонстрировать наивысший показатель автофокусировки. Таким образом, на основании позиций оптимальных фокальных позиций для каждого цвета (чем выше показатели AF, тем ближе к объективу), логика 841 AF и соответствующая управляющая логика 84 могут определять направление фокусировки на основании относительных показателей AF для синего, зеленого и красного. Например, если канал синего имеет более высокий показатель AF относительно канала зеленого (как показано на фиг. 96), то позиция фокуса регулируется в отрицательном направлении (к датчику изображения) без первоначального анализа в положительном направлении от текущей позиции 872. В некоторых вариантах осуществления, может осуществляться обнаружение или анализ источника света с использованием цветокоррелированных температур (CCT).

[00448] Кроме того, как упомянуто выше, также можно использовать показатели дисперсии. Например, пиксельные суммы и значения суммы квадратов пикселей можно накапливать для размеров блока (например, 8x8 - 32x32 пикселей) и можно использовать для получения показателей дисперсии (например, avg_pixel²) - (avg_pixel)^2). Дисперсии можно суммировать для получения показателя суммарной дисперсии для каждого окна. Меньшие размеры блока можно использовать для получения точных показателей дисперсии, и большие размеры блока можно использовать для получения более грубых показателей дисперсии.

[00449] Что касается логики 742 статистики 3A, показанной на фиг. 82, логика 742 также может быть сконфигурирована для сбора компонентных гистограмм 874 и 876. Очевидно, что, гистограммы можно использовать для анализа распределения уровня пикселя в изображении. Это может оказаться полезным для реализации некоторых функций, например, выравнивания гистограммы, где данные гистограммы используются для определения спецификации гистограммы (согласования гистограммы). В порядке примера, гистограммы яркости можно использовать для AE (например, для регулировки/задания времен интегрирования датчика), и гистограммы цвета можно использовать для AWB. В настоящем варианте осуществления, гистограммы могут быть 256, 128, 64 или 32 бинов (где 8, 7, 6 и 5 старших битов пикселя используется для определения бина, соответственно) для каждой цветовой компоненты, что указано размером бина (BinSize). Например, когда пиксельные данные являются 14-битовыми, дополнительный масштабный коэффициент между 0-6 и смещение могут задаваться для определения, какой диапазон (например, какие 8 битов) пиксельных данных собирается в целях статистики. Номер бина можно получить следующим образом:

idx=((pixel - hist_offset)>>(6 - hist_scale)

[00450] в одном варианте осуществления, бины цветовой гистограммы увеличиваются, только если индексы бинов находятся в диапазоне [0, 2^(8-BinSize)]:

if (idx >= 0 && idx < 2^(8-BinSize))

StatsHist[idx] += Count;

[00451] В настоящем варианте осуществления, блок 142 статистической обработки может включать в себя два блока гистограммы. Эта первая гистограмма 874 (Hist0) может быть сконфигурирована для сбора пиксельных данных как части сбора статистики после прореживания 4×4. Для Hist0, компоненты можно выбирать как RGB, sRGB_linear, sRGB или YC1C2 с использованием схемы 880 выбора. Вторая гистограмма 876 (Hist1) может быть сконфигурирована для сбора пиксельных данных до конвейера статистики (до логики 738 коррекции дефектных пикселей), как показано более подробно на фиг. 96. Например, первичные байеровские RGB данные (выход из 146) можно прореживать (для формирования сигнала 878) с использованием логики 882 путем пропуска пикселей, как дополнительно рассмотрено ниже. Для канала зеленого, цвет можно выбирать между Gr, Gb или обоими Gr и Gb (в бинах зеленого накапливаются оба счетчика Gr и Gb).

[00452] Чтобы поддерживать ширину бина гистограммы одинаковой между двумя гистограммами, Hist1 может быть сконфигурирована для сбора пиксельных данных через каждые 4 пикселя (каждой второй байеровской четверки). Начало окна гистограммы определяет положение первой байеровской четверки, где гистограмма начинает накапливаться. Начиная с этого положения, каждая вторая байеровская четверка пропускается горизонтально и вертикально для Hist1. Начальным положением окна может быть любая позиция пикселя для Hist1, и, таким образом, пиксели, пропускаемые при вычислении гистограммы, можно выбирать, изменяя начальное положение окна. Hist1 можно использовать для сбора данных, представленных 884 на фиг. 97, вблизи уровня черного для помощи в динамической компенсации уровня черного на блоке 739. Таким образом, хотя в целях иллюстрации, на фиг. 97 она показана отдельно от логики 742 статистики 3A, следует понимать, что гистограмма 876 фактически может быть частью статистики, записанной в памяти, и может фактически физически располагаться в блоке 142 статистической обработки.

[00453] В настоящем варианте осуществления, бины красного (R) и синего (B) могут быть 20-битовыми, а бин зеленого (G) является 21-битовым (зеленый больше для обеспечения накопления Gr и Gb в Hist1). Это обеспечивает максимальный размер изображения 4160 на 3120 пикселей (12 MP). Необходимый размер внутренней памяти составляет 3x256x20(1) битов (3 цветовых компоненты, 256 бинов).

[00454] В отношении формата памяти, статистика для окон AWB/AE, окон AF, 2D цветовой гистограммы и компонентных гистограмм может отображаться в регистры для облегчения доступа со стороны программно-аппаратного обеспечения. В одном варианте осуществления, два указателя памяти можно использовать для записи статистики в память, один для мозаичной статистики 863, и другой для статистики 859 суммарных яркостей по строке, сопровождаемой всей остальной собранной статистикой. Все статистические данные записываются во внешнюю память, в качестве которой можно использовать память DMA. Адресные регистры памяти могут быть дважды буферизованными, благодаря чему, на каждом кадре может указываться новая ячейка памяти.

[00455] Прежде чем перейти к подробному рассмотрению логики 82 конвейера ISP, располагающейся после логики 80 предварительной обработки ISP, следует понять, что конфигурация различных функциональных логических блоков в блоках 142 и 144 статистической обработки (например, логических блоков 738, 739, 740, 741 и 742) и блоке 150 предварительной обработки пикселей ISP (например, логических блоков 650 и 652) призваны иллюстрировать только один вариант осуществления настоящего изобретения. Действительно, в других вариантах осуществления, проиллюстрированные здесь логические блоки могут располагаться в другом порядке или могут включать в себя дополнительные логические блоки, которые могут осуществлять дополнительные функции обработки изображений, конкретно здесь не описанные. Кроме того, следует понимать, что операции обработки изображений, осуществляемые в блоках статистической обработки (например, 142 и 144), например коррекция затенения объектива, обнаружение/коррекция дефектных пикселей и компенсация уровня черного, осуществляются в блоках статистической обработки в целях сбора статистических данных. Таким образом, операции обработки, осуществляемые на данных изображения, принятых блоками статистической обработки, фактически не отражаются в сигнале 109 изображения (FEProcOut), который выводится из логики 150 предварительной обработки пикселей ISP и перенаправляется на логику 82 конвейерной обработки ISP.

[00456] Прежде чем продолжить, следует также отметить, что при наличии достаточного времени обработки и сходства между многими требованиями к обработке различных описанных здесь операций, можно переконфигурировать показанные здесь функциональные блоки для осуществления обработки изображений в последовательном, а не конвейерном режиме. Очевидно, что это может дополнительно снизить общую стоимость аппаратной реализации, но также может повысить требования к ширине полосы для доступа к внешней памяти (например, для кэширования/сохранения промежуточных результатов/данных).

Логика конвейерной обработки ("конвейера") ISP

[00457] На основании подробно описанной выше логики 80 предварительной обработки ISP, настоящее рассмотрение теперь сконцентрируется на логике 82 конвейерной обработки ISP. В общем случае, функция логики 82 конвейера ISP состоит в приеме первичных данные изображения, которые могут поступать из логики 80 предварительной обработки ISP или извлекаться из памяти 108, и в осуществлении дополнительных операций обработки изображений, т.е. до вывода данных изображения на устройство 28 отображения.

[00458] Блок-схема, демонстрирующая вариант осуществления логики 82 конвейера ISP, изображена на фиг. 98. Как показано, логика 82 конвейера ISP может включать в себя логику 900 первичной обработки, логику 902 обработки RGB, и логику 904 обработки YCbCr. Логика 900 первичной обработки может осуществлять различные операции обработки изображений, например обнаружение и коррекцию дефектных пикселей, коррекцию затенения объектива, демозаику, а также применение коэффициентов усиления для автоматического баланса белого и/или установки уровня черного, как будет дополнительно описано ниже. Как показано в настоящем варианте осуществления, входным сигналом 908 на логику 900 первичной обработки может быть выходной сигнал 109 первичного пикселя (сигнал FEProcOut) из логики 80 предварительной обработки ISP или первичные пиксельные данные 112 из памяти 108, в зависимости от настоящей конфигурации логики 906 выбора.

[00459] В результате операций демозаики, осуществляемых в логике 900 первичной обработки, выходной сигнал 910 изображения может находиться в области RGB, и затем может перенаправляться на логику 902 обработки RGB. Например, как показано на фиг. 98, логика 902 обработки RGB принимает сигнал 916, который может быть выходным сигналом 910 или сигналом 912 изображения RGB из памяти 108, в зависимости от настоящей конфигурации логики 914 выбора. Логика 902 обработки RGB может обеспечивать различные операции регулировки цвета RGB, включающие в себя цветовую коррекцию (например, с использованием матрицы цветовой коррекции), применение цветовых коэффициентов усиления для автоматической балансировки белого, а также глобальной тональной компрессии, что будет дополнительно описано ниже. Логика 904 обработки RGB также может обеспечивать преобразование цветового пространства данных изображения RGB в цветовое пространство YCbCr (яркость/цветность). Таким образом, выходной сигнал 918 изображения может находиться в области YCbCr, и затем может перенаправляться на логику 904 обработки YCbCr.

[00460] Например, как показано на фиг. 98, логика 904 обработки YCbCr принимает сигнал 924, который может быть выходным сигналом 918 из логики 902 обработки RGB или YCbCr-сигналом 920 из памяти 108, в зависимости от текущей конфигурации логики 922 выбора. Как пояснено подробнее ниже, логика 904 обработки YCbCr может обеспечивать операции обработки изображений в цветовом YCbCr-пространстве, включающие в себя масштабирование, подавление цветности, яркостное повышение резкости, регулировки яркости, контрастности и цвета (BCC), отображение гаммы YCbCr, прореживание цветности и т.д. Выходной сигнал 926 изображения логики 904 обработки YCbCr может отправляться в память 108 или может выводиться из логики 82 конвейерной обработки ISP в качестве сигнала 114 изображения (фиг. 7). Затем, в соответствии с вариантом осуществления схемы 32 обработки изображений, изображаемой на фиг. 7, сигнал 114 изображения может отправляться в устройство 28 отображения (напрямую или через память 108) для просмотра пользователем или дополнительно может обрабатываться с использованием механизма сжатия (например, кодера 118), ЦП/ГП, машины графики и т.п. Дополнительно, в варианте осуществления, в котором блок 120 окончательной обработки ISP включается в схему 32 обработки изображений (например, фиг. 8), сигнал 114 изображения может отправляться в логику 120 окончательной обработки ISP для дополнительной последующей постобработки.

[00461] В соответствии с вариантами осуществления настоящего изобретения, логика 82 конвейера ISP может поддерживать обработку первичных пиксельных данных в 8-битовом, 10-битовом, 12-битовом или 14-битовом форматах. Например, в одном варианте осуществления, 8-битовые, 10-битовые или 12-битовые входные данные могут преобразовываться в 14-битовые на входе логики 900 первичной обработки, и операции первичной обработки и обработки RGB могут осуществляться с 14-битовой точностью. В последнем варианте осуществления, 14-битовые данные изображения могут подвергаться понижающей дискретизации до 10 битов до преобразования данных RGB в цветовое пространство YCbCr, и обработка YCbCr (логика 904) может осуществляться с 10-битовой точностью.

[00462] Для предоставления исчерпывающего описания различных функций, предоставленных логикой 82 конвейерной обработки ISP, каждая из логики 900 первичной обработки, логики 902 обработки RGB и логики 904 обработки YCbCr, а также внутренней логики для осуществления различных операций обработки изображений, которые можно реализовать в каждом соответствующем блоке логики 900, 902 и 904, будет последовательно рассмотрена ниже, начиная с логики 900 первичной обработки. Например, со ссылкой на фиг. 99, проиллюстрирована блок-схема, демонстрирующая более детализированный вид варианта осуществления логики 900 первичной обработки, в соответствии с вариантом осуществления настоящего изобретения. Как показано, логика 900 первичной обработки включает в себя логику 930 коэффициента усиления, смещения и ограничения (GOC), логику 932 обнаружения/коррекции дефектных пикселей (DPDC), логику 934 шумопонижения, логику 936 коррекции затенения объектива, логику 938 GOC и логику 940 демозаики. Кроме того, хотя в рассмотренных ниже примерах предполагается использование матрицы байеровских цветовых фильтров с датчиком(ами) 90 изображения, следует понимать, что другие варианты осуществления настоящего изобретения могут использовать и другие типы цветовых фильтров.

[00463] Входной сигнал 908, который может быть первичным сигналом изображения, сначала принимается логикой 930 коэффициента усиления, смещения и ограничения (GOC). Логика 930 GOC может обеспечивать аналогичные функции и может быть реализована по аналогии с логикой 739 BLC блока 142 статистической обработки логики 80 предварительной обработки ISP, рассмотренной выше на фиг. 68. Например, логика 930 GOC может обеспечивать коэффициент цифрового усиления, смещение и ограничение (отсечку) независимо для каждой цветовой компоненты R, B, Gr и Gb байеровского датчика изображения. В частности, логика 930 GOC может осуществлять автоматический баланс белого или устанавливать уровень черного первичных данных изображения. Кроме того, в некоторых вариантах осуществления, логику 930 GOC также можно использовать для коррекции или компенсации смещения между цветовыми компонентами Gr и Gb.

[00464] В ходе эксплуатации, входное значение для текущего пикселя сначала смещается на знаковое значение и умножается на коэффициент усиления. Эта операция может осуществляться с использованием формулы, показанной в вышеприведенном уравнении 11, где X представляет входное пиксельное значение для данной цветовой компоненты R, B, Gr или Gb, O[c] представляет знаковое 16-битовое смещение для текущей цветовой компоненты c, и G[c] представляет значение коэффициента усиления для цветовой компоненты c. Значения G[c] могут заранее определяться в ходе статистической обработки (например, в блоке 80 предварительной обработки ISP). В одном варианте осуществления, коэффициент G[c] усиления может представлять собой 16-битовое беззнаковое число с 2 битами целой части и 14 битами дробной части (например, в представлении 2.14 с плавающей запятой), и коэффициент G[c] усиления можно применять с округлением. Исключительно в порядке примера, коэффициент G[c] усиления может принимать значения в пределах от 0 до 4X.

[00465] Вычисленное пиксельное значение Y (которое включает в себя коэффициент G[c] усиления и смещение O[c]) из уравнения 11 затем ограничивается минимальным и максимальным диапазоном в соответствии с уравнением 12. Как рассмотрено выше, переменные min[c] и max[c] могут представлять знаковые 16-битовые "значения отсечки" для минимального и максимального выходных значений, соответственно. В одном варианте осуществления, логика 930 GOC также может быть сконфигурирована для поддержания счетчика количества пикселей, которые были отсечены выше и ниже максимального и минимального диапазонов, соответственно, для каждой цветовой компоненты.

[00466] Затем выходной сигнал логики 930 GOC перенаправляется на логику 932 обнаружения и коррекции дефектных пикселей. Как рассмотрено выше со ссылкой на фиг. 68 (логика 738 DPDC), наличие дефектных пикселей может объясняться рядом факторов, и они могут включать в себя "горячие" (или с утечкой) пиксели, "залипшие" пиксели и "мертвые" пиксели, где горячие пиксели демонстрируют сверхнормативную утечку заряда относительно недефектных пикселей и, таким образом, могут выглядеть ярче, чем недефектный пиксель, и где залипший пиксель выглядит, как постоянно включенный (например, полностью заряженный) и, таким образом, выглядит ярче, тогда как мертвый пиксель выглядит, как постоянно отключенный. По этой причине, может быть желательным иметь схему обнаружения пикселей, достаточно надежную для идентификации и исправления различных типов сценариев отказа. В частности, при сравнении с логикой 738 предварительной обработки DPDC, которая может обеспечивать только обнаружение/коррекцию динамических дефектов, логика 932 конвейера DPDC может обеспечивать обнаружение/коррекцию фиксированных или статических дефектов, обнаружение/коррекцию динамических дефектов, а также удаление спеклов.

[00467] В соответствии с вариантами осуществления описанного здесь изобретения, коррекция/обнаружение дефектных пикселей, осуществляемые логикой 932 DPDC, могут происходить независимо для каждой цветовой компоненты (например, R, B, Gr и Gb), и могут включать в себя различные операции для обнаружения дефектных пикселей, а также для коррекции обнаруженных дефектных пикселей. Например, в одном варианте осуществления, операции обнаружения дефектных пикселей могут обеспечивать обнаружение статических дефектов, динамических дефектов, а также обнаружение спекла, которые могут быть связаны с электрическими помехами или шумом (например, фотонным шумом), которые могут присутствовать в датчике формирования изображения. По аналогии, спекл может возникать в изображении как, по-видимому, случайные шумовые артефакты, аналогично тому, как статика может возникать на дисплее, например, телевизионном дисплее. Кроме того, как упомянуто выше, коррекция динамических дефектов считается динамической в том смысле, что характеризация пикселя как дефектного в данный момент времени может зависеть от данных изображения в соседних пикселях. Например, залипший пиксель, который всегда имеет максимальную яркость, может не рассматриваться как дефектный пиксель, если залипший пиксель располагается в области текущего изображения, где преобладают яркие белые цвета. Напротив, если залипший пиксель находится в области текущего изображения, где преобладают черный или более темные цвета, то залипший пиксель можно идентифицировать как дефектный пиксель в ходе обработки логикой 932 DPDC и соответственно корректировать.

[00468] В отношении обнаружения статических дефектов, положение каждого пикселя сравнивается с таблицей статических дефектов, где могут храниться данные, соответствующие положению пикселей, в отношении которых известно, что они дефектные. Например, в одном варианте осуществления, логика 932 DPDC может отслеживать обнаружение дефектных пикселей (например, с использованием механизма счетчика или регистра) и, если наблюдаются постоянные отказы конкретного пикселя, положение этого пикселя заносится в таблицу статических дефектов. Таким образом, в ходе обнаружения статических дефектов, если определено, что положение текущего пикселя указано в таблице статических дефектов, то текущий пиксель идентифицируется как дефектный пиксель, и значение замены определяется и временно сохраняется. В одном варианте осуществления, значение замены может представлять собой значение предыдущего пикселя (на основании порядка сканирования) той же цветовой компоненты. Значение замены можно использовать для коррекции статического дефекта в ходе обнаружения и коррекции динамических дефектов/спеклов, как будет рассмотрено ниже. Дополнительно, если предыдущий пиксель находится вне первичного кадра 310 (фиг. 23), то его значение не используется, и статический дефект можно корректировать в процессе коррекции динамических дефектов. Кроме того, из соображений памяти, в таблице статических дефектов может храниться конечное количество записей положения. Например, в одном варианте осуществления, таблицу статических дефектов можно реализовать как очередь FIFO, сконфигурированную для хранения всего 16 положений для каждых двух линий данных изображения. Тем не менее, положения, заданные в таблице статических дефектов будут корректироваться с использованием значения замены предыдущего пикселя (а не посредством процесса обнаружения динамических дефектов, рассмотренного ниже). Как упомянуто выше, варианты осуществления настоящего изобретения также могут обеспечивать обновление таблицы статических дефектов с перерывами с течением времени.

[00469] Варианты осуществления могут обеспечивать таблицу статических дефектов, реализуемую во внутрикристальной памяти или внекристальной памяти. Очевидно, что использование внутрикристальной реализации может увеличить общую площадь/размер микросхемы, тогда как использование внекристальной реализации может уменьшить площадь/размер микросхемы, но при этом увеличить требования к пропускной способности памяти. Таким образом, следует понимать, что таблицу статических дефектов можно реализовать либо на кристалле, либо вне кристалла в зависимости от требований конкретной реализации, т.е. полного количества пикселей, подлежащих хранению в таблице статических дефектов.

[00470] Процессы обнаружения динамических дефектов и спеклов могут быть сдвинуты по времени относительно рассмотренного выше процесса обнаружения статических дефектов. Например, в одном варианте осуществления, процесс обнаружения динамических дефектов и спеклов может начинаться после того, как процесс обнаружения статических дефектов проанализирует две линии сканирования (например, строки) пикселей. Очевидно, что, это позволяет идентифицировать статические дефекты и их соответствующие значения замены, подлежащие определению до обнаружения динамических дефектов/спеклов. Например, в процессе обнаружения динамических дефектов/спеклов, если текущий пиксель был ранее помечен как статический дефект, вместо применения операций обнаружения динамических дефектов/спеклов, статический дефект без труда корректируется с использованием ранее оцененного значения замены.

[00471] В отношении обнаружения динамических дефектов и спеклов, эти процессы могут происходить последовательно или параллельно. Обнаружение и коррекция динамических дефектов и спеклов, которые осуществляются логикой 932 DPDC, могут опираться на адаптивное обнаружение края с использованием градиентов в направлении от пикселя к пикселю. В одном варианте осуществления, логика 932 DPDC может выбирать восемь непосредственных соседей текущего пикселя, имеющих ту же цветовую компоненту, которые используются в первичном кадре 310 (фиг. 23). Другими словами, текущий пиксель и его восемь непосредственных соседей P0, P1, P2, P3, P4, P5, P6 и P7 могут формировать область 3×3, как показано ниже на фиг. 100.

[00472] Однако следует отметить, что в зависимости от положения текущего пикселя P, пиксели вне первичного кадра 310 не рассматриваются при вычислении градиентов от пикселя к пикселю. Например, в отношении "верхнего левого" случая 942, показанного на фиг. 100, текущий пиксель P находится в верхнем левом углу первичного кадра 310, и, таким образом, соседние пиксели P0, P1, P2, P3 и P5 вне первичного кадра 310 не рассматриваются, оставляя только пиксели P4, P6 и P7 (N=3). В "верхнем" случае 944, текущий пиксель P находится на самом верхнем краю первичного кадра 310, и, таким образом, соседние пиксели P0, P1 и P2 вне первичного кадра 310 не рассматриваются, оставляя только пиксели P3, P4, P5, P6 и P7 (N=5). Затем, в "верхнем правом" случае 946, текущий пиксель P находится в верхнем правом углу первичного кадра 310, и, таким образом, соседние пиксели P0, P1, P2, P4 и P7 вне первичного кадра 310 не рассматриваются, оставляя только пиксели P3, P5 и P6 (N=3). В "левом" случае 948, текущий пиксель P находится на самом левом краю первичного кадра 310, и, таким образом, соседние пиксели P0, P3 и P5 вне первичного кадра 310 не рассматриваются, оставляя только пиксели P1, P2, P4, P6 и P7 (N=5).

[00473] В "центральном" случае 950, все пиксели P0-P7 лежат в первичном кадре 310 и, таким образом, используются при определении градиентов от пикселя к пикселю (N=8). В "правом" случае 952, текущий пиксель P находится на самом правом краю первичного кадра 310, и, таким образом, соседние пиксели P2, P4 и P7 вне первичного кадра 310 не рассматриваются, оставляя только пиксели P0, P1, P3, P5 и P6 (N=5). Дополнительно, в "нижнем левом" случае 954, текущий пиксель P находится в нижнем левом углу первичного кадра 310, и, таким образом, соседние пиксели P0, P3, P5, P6 и P7 вне первичного кадра 310 не рассматриваются, оставляя только пиксели P1, P2 и P4 (N=3). В "нижнем" случае 956, текущий пиксель P находится на самом нижнем краю первичного кадра 310, и, таким образом, соседние пиксели P5, P6 и P7 вне первичного кадра 310 не рассматриваются, оставляя только пиксели P0, P1, P2, P3 и P4 (N=5). Наконец, в "нижнем правом" случае 958, текущий пиксель P находится в нижнем правом углу первичного кадра 310, и, таким образом, соседние пиксели P2, P4, P5, P6 и P7 вне первичного кадра 310 не рассматриваются, оставляя только пиксели P0, P1 и P3 (N=3).

[00474] Таким образом, в зависимости от позиции текущего пикселя P, количество пикселей, используемых при определении градиентов от пикселя к пикселю, может составлять 3, 5 или 8. В проиллюстрированном варианте осуществления, для каждого соседнего пикселя (k=0~7) внутри границы изображения (например, первичный кадр 310), градиенты от пикселя к пикселю можно вычислять следующим образом:

$$G_k=abs(P-P_k)$$ , для $$0\le k\le 7$$ (только для k в первичном кадре) (51)

Дополнительно, средний градиент, G_av, можно вычислять как разность между текущим пикселем и средним, P_av, окружающих его пикселей, как показано в нижеследующих уравнениях:

$$P_{av}=\frac{\left({\displaystyle \sum _k^N{P}_k}\right)}{N}$$ , где N=3, 5 или 8 (в зависимости от позиции пикселя) (52a)

$$G_{av}=abs(P-P_{av})$$ (52b)

Значения градиента от пикселя к пикселю (уравнение 51) можно использовать при определении случая динамического дефекта, и среднее соседних пикселей (уравнения 52a и 52b) можно использовать при идентификации случаев спеклов, как дополнительно рассмотрено ниже.

[00475] В одном варианте осуществления, обнаружение динамических дефектов может осуществляться логикой 932 DPDC следующим образом. Прежде всего, предполагается, что пиксель является дефектным, если некоторое количество градиентов G_k находятся на конкретном пороге или ниже, который обозначается переменной dynTh (порог динамического дефекта). Таким образом, для каждого пикселя, накапливается счетчик (C) количества градиентов для соседних пикселей внутри границ изображения, которые находятся на пороге или ниже dynTh. Порог dynTh может быть комбинацией фиксированной пороговой компоненты и динамической пороговой компоненты, которая может зависеть от "активности" окружающих пикселей. Например, в одном варианте осуществления, динамическую пороговую компоненту dynTh можно определить путем вычисления значения высокочастотной компоненты P_hf на основании суммирования абсолютной разности между средними пиксельными значениями P_av (уравнение 52a) и каждым соседним пикселем, как показано ниже:

$$P_{hf}=\frac{8}{N}{\displaystyle \sum _k^{N}abs}(P_{av}-P_k)$$ , где N=3, 5 или 8 (52c)

В случаях, когда пиксель располагается в углу изображения (N=3) или на краю изображения (N=5), P_hf можно умножать на 8/3 или 8/5, соответственно. Очевидно, что это гарантирует, что высокочастотная компонента P_hf нормализуется на основании восьми соседних пикселей (N=8).

[00476] Определив P_hf, порог dynTh обнаружения динамических дефектов можно вычислить, как показано ниже:

dynTh=dynTh₁+(dynTh₂ P_hf), (53)

где dynTh₁ представляет фиксированную пороговую компоненту, и dynTh₂ представляет динамическую пороговую компоненту и является множителем для P_hf в уравнении 53. Для каждой цветовой компоненты может быть предоставлена отдельная фиксированная пороговая компонента dynTh₁, но для каждого пикселя одного и того же цвета dynTh₁ один и тот же. Исключительно в порядке примера, dynTh₁ можно устанавливать, по меньшей мере, выше дисперсии шума в изображении.

[00477] Динамическую пороговую компоненту dynTh₂ можно определить на основании некоторой характеристики изображения. Например, в одном варианте осуществления, dynTh₂ можно определить с использованием сохраненных эмпирических данных, касающихся экспозиции и/или времени интегрирования датчика. Эмпирические данные могут определяться в ходе калибровки датчика изображения (например, 90) и могут связывать значения динамической пороговой компоненты, которые можно выбирать для dynTh₂, с каждой из ряда точек данных. Таким образом, на основании текущего значения экспозиции и/или времени интегрирования датчика, которые можно определить в ходе статистической обработки в логике 80 предварительной обработки ISP, dynTh₂ можно определить путем выбора значения динамической пороговой компоненты из сохраненных эмпирических данных, которые соответствуют текущему значению экспозиции и/или времени интегрирования датчика. Дополнительно, если текущее значение экспозиции и/или времени интегрирования датчика не соответствует непосредственно одной из эмпирических точек данных, то dynTh₂ можно определить путем интерполяции значений динамической пороговой компоненты, связанных с точками данных, между которыми находится текущее значение экспозиции и/или времени интегрирования датчика. Кроме того, по аналогии с фиксированной пороговой компонентой dynTh₁, динамическая пороговая компонента dynTh₂ может иметь разные значения для каждой цветовой компоненты. Таким образом, составное пороговое значение dynTh может изменяться для каждой цветовой компоненты (например, R, B, Gr, Gb).

[00478] Как упомянуто выше, для каждого пикселя, определяется счетчик C количества градиентов для соседних пикселей внутри границ изображения, которые находятся на пороге или ниже dynTh. Например, для каждого соседнего пикселя в первичном кадре 310, накопленный счетчик C градиентов G_k, которые находятся на пороге или ниже dynTh, можно вычислить следующим образом:

C= $${\displaystyle \sum _k^N}$$ (G_k $$\le$$ dynTh), (54)

для $$0\le k\le 7$$ (только для k в первичном кадре)

Затем, если определено, что накопленный счетчик C меньше или равен максимальному счетчику, обозначенному переменной dynMaxC, то пиксель можно рассматривать как динамический дефект. В одном варианте осуществления, разные значения для dynMaxC могут быть предоставлены для условий N=3 (угол), N=5 (край) и N=8. Эта логика выражена ниже:

если (C $$\le$$ dynMaxC), то текущий пиксель P является дефектным. (55)

[00479] Как упомянуто выше, положение дефектных пикселей может сохраняться в таблице статических дефектов. В некоторых вариантах осуществления, минимальное значение градиента (min(G_k)), вычисленное в ходе обнаружения динамических дефектов для текущего пикселя, можно сохранять и можно использовать для сортировки дефектных пикселей, так что большее минимальное значение градиента указывает более высокую "степень тяжести" дефекта и подлежит коррекции в ходе коррекции пикселей до того, как будут скорректированы менее тяжелые дефекты. В одном варианте осуществления, пиксель может нуждаться в обработке по множественным кадрам формирования изображения до сохранения в таблице статических дефектов, например, путем фильтрации положений дефектных пикселей с течением времени. В последнем варианте осуществления, положение дефектного пикселя может сохраняться в таблице статических дефектов, только если дефект возникает в конкретном количестве последовательных изображений в одном и том же положении. Кроме того, в некоторых вариантах осуществления, таблица статических дефектов может быть сконфигурирована для сортировки сохраненных положений дефектных пикселей на основании минимальных значений градиента. Например, наивысшее минимальное значение градиента может указывать дефект большей "степени тяжести". Упорядочивая положения таким образом, можно устанавливать приоритет коррекции статических дефектов, чтобы наиболее тяжелые или важные дефекты корректировались в первую очередь. Дополнительно, таблица статических дефектов может обновляться с течением времени для включения в нее вновь обнаруженных статических дефектов и их упорядочения, соответственно, на основании их соответствующих минимальных значений градиента.

[00480] Обнаружение спеклов, которое может происходить параллельно вышеописанному процессу обнаружения динамических дефектов, может осуществляться путем определения, превышает ли значение G_av (уравнение 52b) порог spkTh обнаружения спеклов. По аналогии с порогом dynTh динамического дефекта, спековый порог spkTh также может включать в себя фиксированные и динамические компоненты, обозначаемые spkTh₁ и spkTh₂, соответственно. В целом, фиксированные и динамические компоненты spkTh₁ и spkTh₂ можно устанавливать более "агрессивно" по сравнению со значениями dynTh₁ и dynTh₂, во избежание ошибочного обнаружения спекла в областях изображения, которые могут быть более тяжело текстурированы, и других, таких как, текст, листва, некоторые шаблоны ткани и т.д. Соответственно, в одном варианте осуществления, динамическая пороговая компонента spkTh₂ спекла может увеличиваться для высокотекстурированных областей изображения и уменьшаться для "уплощенных" или более однородных областей. Порог spkTh обнаружения спеклов можно вычислить, как показано ниже:

spkTh=spkTh₁+(spkTh₂×P_hf), (56)

где spkTh₁ представляет фиксированную пороговую компоненту, и spkTh₂ представляет динамическую пороговую компоненту. Затем обнаружение спекла можно определить в соответствии со следующим выражением:

если (G_av > spkTh), то текущий пиксель P является спекловым. (57)

[00481] После идентификации дефектных пикселей, логика 932 DPDC может применять операции коррекции пикселей в зависимости от типа обнаруженного дефекта. Например, если дефектный пиксель идентифицирован как статический дефект, пиксель заменяется сохраненным значением замены, как рассмотрено выше (например, значением предыдущего пикселя той же цветовой компоненты). Если пиксель идентифицирован либо как динамический дефект, либо как спекл, то коррекция пикселей может осуществляться следующим образом. Сначала, градиенты вычисляются как сумма абсолютных разностей между центральным пикселем и первым и вторым соседними пикселями (например, вычисление G_k согласно уравнению 51) для четырех направлений, горизонтального (h) направления, вертикального (v) направления, диагонально положительного (dp) направления и диагонально отрицательного (dn) направление, как показано ниже:

G_h=G₃+G₄ (58)

G_v=G₁+G₆ (59)

G_dp=G₂+G₅ (60)

G_dn=G₀+G₇ (61)

[00482] Затем, корректирующее пиксельное значение P_C можно определить путем линейной интерполяции двух соседних пикселей, связанных с направленным градиентом G_h, G_v, G_dp и G_dn, который имеет наименьшее значение. Например, в одном варианте осуществления, нижеприведенное логическое утверждение может выражать вычисление P_C:

if (min==G_h) (62)

$$P_C=\frac{P_3+P_4}{2}$$ ;

else if (min==G_v)

$$P_C=\frac{P_1+P_6}{2}$$ ;

else if (min==G_dp)

$$P_C=\frac{P_2+P_5}{2}$$ ;

else if (min==G_dn)

$$P_C=\frac{P_0+P_7}{2}$$ ;

Методы коррекции пикселей, реализованные логикой 932 DPDC, также могут предусматривать исключения при граничных условиях. Например, если один из двух соседних пикселей, связанных с выбранным направлением интерполяции, находится вне первичного кадра, то вместо него подставляется значение соседнего пикселя, который находится в первичном кадре. Таким образом, с использованием этого метода, корректирующее пиксельное значение будет эквивалентно значению соседнего пикселя в первичном кадре.

[00483] Следует отметить, что методы обнаружения/коррекции дефектных пикселей, применяемые логикой 932 DPDC в ходе конвейерной обработки ISP, более надежны по сравнению с логикой 738 DPDC в логике 80 предварительной обработки ISP. Как рассмотрено выше согласно варианту осуществления, логика 738 DPDC осуществляет только обнаружение и коррекцию динамических дефектов с использованием соседних пикселей только в горизонтальном направлении, тогда как логика 932 DPDC обеспечивает обнаружение и коррекцию статических дефектов, динамических дефектов, а также спеклов, с использованием соседних пикселей в горизонтальном и вертикальном направлениях.

[00484] Очевидно, что, сохранение положения дефектных пикселей с использованием таблицы статических дефектов может обеспечивать временную фильтрацию дефектных пикселей с более низкими требованиями к памяти. Например, по сравнению со многими традиционными методами, которые предусматривают сохранение полных изображений и применение временной фильтрации для идентификации статических дефектов с течением времени, варианты осуществления настоящего изобретения предусматривают сохранение только положений дефектных пикселей, для чего обычно требуется использовать лишь часть памяти, необходимой для хранения полного кадра изображения. Кроме того, как рассмотрено выше, сохранение минимального значения градиента (min(G_k)), позволяет эффективно использовать таблицу статических дефектов, определяющую приоритет порядка положений, в которых корректируются дефектные пиксели (например, начиная с тех, которые наиболее заметны).

[00485] Дополнительно, использование порогов, которые включают в себя динамическую компоненту (например, dynTh₂ и spkTh₂), может способствовать снижению вероятности ошибочного обнаружения дефектов, каковая проблема часто возникает в традиционных системах обработки изображений при обработке высокотекстурных областей изображения (например, текста, листвы, некоторых шаблонов ткани и т.д.). Кроме того, использование направленных градиентов (например, h, v, dp, dn) для коррекции пикселей может снижать заметность визуальных артефактов в случае ошибочного обнаружения дефекта. Например, фильтрация в направлении минимального градиента может приводить к коррекции, которая все еще дает приемлемые результаты в большинстве случаев, даже в случаях ошибочного обнаружения. Дополнительно, включение текущего пикселя P в вычисление градиента может повышать точность обнаружения градиента, в частности, в случае горячих пикселей.

[00486] Рассмотренные выше методы обнаружения и коррекции дефектных пикселей, реализованные логикой 932 DPDC, можно кратко описать рядом блок-схем операций, предоставленных на фиг. 101-103. Например, На фиг. 101 проиллюстрирован процесс 960 для обнаружения статических дефектов. На этапе 962 входной пиксель P принимается в первый момент времени T₀. Затем, на этапе 964, положение пикселя P сравнивается со значениями, хранящимися в таблице статических дефектов. Логика 966 принятия решения определяет, найдено ли положение пикселя P в таблице статических дефектов. Если положение P указано в таблице статических дефектов, то процесс 960 переходит к этапу 968, на котором пиксель P помечается как статический дефект и определяется значение замены. Как рассмотрено выше, значение замены можно определить на основании значения предыдущего пикселя (в порядке сканирования) одной той же цветовой компоненты. Затем процесс 960 переходит к этапу 970, на котором процесс 960 переходит к процессу 980 обнаружения динамических дефектов и спеклов, представленному на фиг. 102. Дополнительно, если на логике 966 принятия решения, определено, что положение пикселя P не указано в таблице статических дефектов, то процесс 960 переходит к этапу 970, минуя этап 968.

[00487] Согласно фиг. 102, входной пиксель P принимается в момент времени T1, как показано на этапе 982, для обработки с целью определения, присутствует ли динамический дефект или спекл. Время T1 может представлять временной сдвиг относительно процесса 960 обнаружения статических дефектов, показанного на фиг. 101. Как рассмотрено выше, процесс обнаружения динамических дефектов и спеклов может начинаться после того, как процесс обнаружения статических дефектов проанализирует две линии сканирования (например, строки) пикселей, что дает время для идентификации статических дефектов и их соответствующих значений замены, подлежащих определению до обнаружения динамических дефектов/спеклов.

[00488] Логика 984 принятия решения определяет, помечен ли ранее входной пиксель P как статический дефект (например, на этапе 968 процесса 960). Если P помечен как статический дефект, то процесс 980 может переходить к процессу коррекции пикселей, показанному на фиг. 103 и может пропускать остальные этапы, показанные на фиг. 102. Если логика 984 принятия решения определяет, что входной пиксель P не является статическим дефектом, то процесс переходит к этапу 986, и идентифицируются соседние пиксели, которые можно использовать в процессе обнаружения динамических дефектов и спеклов. Например, в соответствии с вариантом осуществления, рассмотренном выше и представленном на фиг. 100, соседние пиксели могут включать в себя 8 непосредственных соседей пикселя P (например, P0-P7), таким образом, образуя область 3×3 пикселя. Затем, на этапе 988, градиенты от пикселя к пикселю вычисляются относительно каждого соседнего пикселя в первичном кадре 310, как описано в вышеприведенном уравнении 51. Дополнительно, средний градиент (G_av) можно вычислять как разность между текущим пикселем и средним окружающих его пикселей, как показано в уравнениях 52a и 52b.

[00489] Затем процесс 980 переходит к этапу 990 для обнаружения динамических дефектов и к логике 998 принятия решения для обнаружения спеклов. Как упомянуто выше, обнаружение динамических дефектов и обнаружение спеклов, в некоторых вариантах осуществления, может происходить параллельно. На этапе 990 определяется счетчик C количества градиентов, которые меньше или равны порогу dynTh. Как описано выше, порог dynTh может включать в себя фиксированные и динамические компоненты и, в одном варианте осуществления, может определяться в соответствии с вышеприведенным уравнением 53. Если C меньше или равен максимальному счетчику, dynMaxC, то процесс 980 переходит к этапу 996, и текущий пиксель помечается как динамический дефект. После этого, процесс 980 может переходить к процессу коррекции пикселей, показанному на фиг. 103, который будет рассмотрен ниже.

[00490] Возвращаясь к ветвлению после этапа 988, для обнаружения спеклов, логика 998 принятия решения определяет, превышает ли средний градиент G_av порог spkTh обнаружения спеклов, который также может включать в себя фиксированную и динамическую компоненты. Если G_av больше порога spkTh, то на этапе 1000 пиксель P помечается как содержащий спекл, и, после этого, процесс 980 переходит к фиг. 103 для коррекции спеклового пикселя. Кроме того, если на выходе обоих логических блоков 992 и 998 принятия решения получен ответ "Нет", это указывает, что пиксель P не содержит динамических дефектов, спеклов и даже статических дефектов (логика 984 принятия решения). Таким образом, когда логики 992 и 998 принятия решения выдают ответ "Нет", процесс 980 может завершаться на этапе 994, в связи с чем, пиксель P остается неизменным, поскольку никаких дефектов (например, статических, динамических или спекловых) не обнаружено.

[00491] На фиг. 103 представлен процесс 1010 коррекции пикселей в соответствии с вышеописанными методами. На этапе 1012, входной пиксель P принимается от процесса 980 на фиг. 102. Следует отметить, что пиксель P может приниматься процессом 1010 из этапа 984 (статический дефект) или из этапов 996 (динамический дефект) и 1000 (спекловый дефект). Затем логика 1014 принятия решения определяет, помечен ли пиксель P как статический дефект. Если пиксель P является статическим дефектом, то процесс 1010 продолжается и заканчивается на этапе 1016, благодаря чему, статический дефект корректируется с использованием значения замены, определенного на этапе 968 (фиг. 101).

[00492] Если пиксель P не идентифицирован как статический дефект, то процесс 1010 переходит от логики 1014 принятия решения к этапу 1018, и вычисляются направленные градиенты. Например, как рассмотрено выше со ссылкой на уравнения 58-61, градиенты можно вычислить как сумму абсолютных разностей между центральным пикселем и первым и вторым соседними пикселями для четырех направлений (h, v, dp и dn). Затем, на этапе 1020 идентифицируется направленный градиент, имеющий наименьшее значение, после чего, логика 1022 принятия решения оценивает, располагается ли один из двух соседних пикселей, связанных с минимальным градиентом, вне кадра изображения (например, первичного кадра 310). Если оба соседние пиксели находятся в кадре изображения, то процесс 1010 переходит к этапу 1024, и значение (P_C) коррекции пикселя определяется путем применения линейной интерполяции к значениям двух соседних пикселей, как показано уравнением 62. После этого, входной пиксель P можно корректировать с использованием интерполированного значения P_C коррекции пикселя, как показано на этапе 1030.

[00493] Если на логике 1022 принятия решения определено, что один из двух соседних пикселей располагается вне кадра изображения (например, первичного кадра 165), то вместо использования значения наружного пикселя (Pout), логика 932 DPDC может заменять значение Pout значением другого соседнего пикселя, который находится внутри кадра изображения (Pin), как показано на этапе 1026. После этого, на этапе 1028, значение P_C коррекции пикселя определяется путем интерполяции значений Pin и подстановочного значения Pout. Другими словами, в этом случае, P_C может быть эквивалентно значению Pin. Завершая этап 1030, пиксель P корректируется с использованием значения P_C. Прежде чем продолжить, следует понять, что конкретные процессы обнаружения и коррекции дефектных пикселей, рассмотренные здесь со ссылкой на логику 932 DPDC, призваны отражать лишь один возможный вариант осуществления настоящего изобретения. В действительности, в зависимости от конструкционных и/или стоимостных ограничений, возможны некоторые изменения, и признаки могут добавляться и устраняться, так что общая сложность и надежность логики обнаружения/коррекции дефектов находится между упрощенной логикой 738 обнаружения/коррекции, реализованный в блоке 80 предварительной обработки ISP, и логикой обнаружения/коррекции дефектов, рассмотренной здесь со ссылкой на логику 932 DPDC.

[00494] Согласно фиг. 99, скорректированные пиксельные данные выводятся из логики 932 DPDC и затем принимаются логикой 934 шумопонижения для дальнейшей обработки. В одном варианте осуществления, логика 934 шумопонижения может быть сконфигурирована для реализации двухмерной низкочастотной фильтрации с адаптацией к краевым условиям для снижения шума в данных изображения при поддержании деталей и текстур. Пороги с адаптацией к краевым условиям могут устанавливаться (например, управляющей логикой 84) на основании текущих уровней освещенности, благодаря чему, фильтрация может усиливаться в условиях низкой освещенности. Кроме того, как кратко упомянуто выше в отношении определения значений dynTh и spkTh, дисперсию шума можно заранее определить для данного датчика, что позволяет устанавливать пороги шумопонижения чуть выше дисперсии шума, благодаря чему, в ходе обработки шумопонижения, шум снижается без значительного влияния на текстуры и детали сцены (например, для исключения/сокращения ложных обнаружений). Предполагая реализацию байеровского цветового фильтра, логика 934 шумопонижения может обрабатывать каждую цветовую компоненту Gr, R, B и Gb независимо с использованием разделимых 7-отводного горизонтального фильтра и 5-отводного вертикального фильтра. В одном варианте осуществления, процесс шумопонижения может осуществляться путем коррекции неоднородности на цветовых компонентых (Gb т Gr) зеленого с последующим осуществлением горизонтальной фильтрации и вертикальной фильтрации.

[00495] Неоднородность зеленого (GNU), в общем случае, характеризуется небольшим различием в яркости между пикселями Gr и Gb при условии однородно освещенной плоской поверхности. Без коррекции или компенсации этой неоднородности, после демозаики в полноцветном изображении могут возникать некоторые артефакты, например, артефакт "лабиринта". В ходе неоднородности зеленого, процесс может включать в себя определение, для каждого пикселя зеленого в первичных байеровских данных изображения, меньше ли абсолютная разность между текущим пикселем (G1) зеленого и пикселем зеленого правее и ниже (G2) текущего пикселя порога коррекции GNU (gnuTh). Фиг. 104 иллюстрирует положение пикселей G1 и G2 в области 2x2 шаблона Байера. Как показано, цвет граничных пикселей G1 может зависеть от того, является ли текущий пиксель зеленого пикселем Gb или Gr. Например, если G1 является Gr, то G2 является Gb, пиксель справа от G1 является R (красным), и пиксель под G1 является B (синим). Альтернативно, если G1 является Gb, то G2 является Gr, и пиксель справа от G1 является B, тогда как пиксель под G1 является R. Если абсолютная разность между G1 и G2 меньше порогового значения коррекции GNU, то текущий пиксель G1 зеленого заменяется средним G1 и G2, как показано нижеследующей логикой:

if(abs(G1-G2) $$\le$$ gnuTh); $$G1=\frac{G1+G2}{2}$$ (63)

Очевидно, что такое применение коррекции неоднородности зеленого позволяет предотвращать усреднение пикселей G1 и G2 по краям, что повышает и/или сохраняет резкость.

[00496] Горизонтальная фильтрация применяется после коррекции неоднородности зеленого, и может, в одном варианте осуществления, предоставлять 7-отводный горизонтальный фильтр. Градиенты по краю каждого отвода фильтра вычисляются, и если они выше горизонтального краевого порога (horzTh), отвод фильтра свертывается к центральному пикселю, как проиллюстрировано ниже. В конкретных вариантах осуществления, фильтрация шума может быть адаптивной в отношении края. Например, горизонтальный фильтр может быть фильтром с конечной импульсной характеристикой (FIR), в котором отводы фильтра используются только в том случае, если разность между центральным пикселем и пикселем в отводе меньше порога, который зависит от дисперсии шума. Горизонтальный фильтр может обрабатывать данные изображения независимо для каждого цветового компонента (R, B, Gr, Gb) и может использовать нефильтрованные значения в качестве входных значений.

[00497] В порядке примера, фиг. 105 демонстрирует графическое представление набора горизонтальных пикселей P0 - P6, где центральный отвод располагается на P3. На основании пикселей, показанных на фиг. 105, краевые градиенты для каждого отвода фильтра можно вычислять следующим образом:

Eh0=abs(P0-P1) (64)

Eh1=abs(P1-P2) (65)

Eh2=abs(P2-P3) (66)

Eh3=abs(P3-P4) (67)

Eh4=abs(P4-P5) (68)

Eh5=abs(P5-P6) (69)

Затем краевые градиенты Eh0-Eh5 могут использоваться компонентом горизонтального фильтра для определения выхода горизонтальной фильтрации, P_horz, с использованием формулы, показанной ниже в уравнении 70:

P_horz=C0[(Eh2 > horzTh[c]) ? P3: (Eh1 > horzTh[c]) ? P2: (Eh0 > horzTh[c]) ? P1: P0] +

C1[(Eh2 > horzTh[c]) ? P3: (Eh1 > horzTh[c]) ? P2: P1] +

C2[(Eh2 > horzTh[c]) ? P3: P2] +

C3P3+ (70)

C4[(Eh3 > horzTh[c]) ? P3: P4] +

C5[(Eh3 > horzTh[c]) ? P3: (Eh4 > horzTh[c]) ? P4: P5] +

C6[(Eh3 > horzTh[c]) ? P3: (Eh4 > horzTh[c]) ? P4: (Eh5 > horzTh[c]) ? P5: P6],

где horzTh[c] - горизонтальный краевой порог для каждой цветовой компоненты c (например, R, B, Gr и Gb), и C0-C6 - коэффициенты отводов фильтра, соответствующие пикселям P0-P6, соответственно. Выходной сигнал P_horz горизонтального фильтра можно применять в положении центрального пикселя P3. В одном варианте осуществления, коэффициенты C0-C6 отводов фильтра могут быть 16-битовыми значениями в формате дополнения до 2 с 3 битами целой части и 13 битами дробной части (в представлении 3.13 с плавающей запятой). Кроме того, следует отметить, что коэффициенты C0-C6 отводов фильтра не обязаны быть симметричными относительно центрального пикселя P3.

[00498] Вертикальная фильтрация также применяется логикой 934 шумопонижения после процессов коррекции неоднородности зеленого и горизонтальной фильтрации. В одном варианте осуществления, операция вертикального фильтра может обеспечивать 5-отводный фильтр, как показано на фиг. 106, где центральный отвод вертикального фильтра располагается в P2. Процесс вертикальной фильтрации может происходить аналогичным образом, как вышеописанный процесс горизонтальной фильтрации. Например, градиенты по краю каждого отвода фильтра вычисляются, и в случае превышения вертикального краевого порога (vertTh), отвод фильтра прикладывается к центральному пикселю P2. Вертикальный фильтр может обрабатывать данные изображения независимо для каждой цветовой компоненты (R, B, Gr, Gb) и может использовать нефильтрованные значения в качестве входных значений.

[00499] На основании пикселей, показанных на фиг. 106, вертикальные краевые градиенты для каждого отвода фильтра можно вычислять следующим образом:

Ev0=abs(P0-P1) (71)

Ev1=abs(P1-P2) (72)

Ev2=abs(P2-P3) (73)

Ev3=abs(P3-P4) (74)

Затем краевые градиенты Ev0-Ev5 могут использоваться вертикальным фильтром для определения выхода вертикальной фильтрации, P_vert, с использованием формулы, показанной ниже в уравнении 75:

P_vert=C0[(Ev1 > vertTh[c]) ? P2: (Ev0 > vertTh[c]) ? P1: P0] +

C1[(Ev1 > vertTh[c]) ? P2: P1] +

C2P2+ (75)

C3[(Ev2 > vertTh[c]) ? P2: P3] +

C4[(Ev2 > vertTh[c]) ? P2: (Eh3 > vertTh[c]) ? P3: P4],

где vertTh[c] - вертикальный краевой порог для каждой цветовой компоненты c (например, R, B, Gr и Gb), и C0-C4 - коэффициенты отводов фильтра, соответствующие пикселям P0-P4 на фиг. 106, соответственно. Выходной сигнал P_vert вертикального фильтра можно применять в положении центрального пикселя P2. В одном варианте осуществления, коэффициенты C0-C4 отводов фильтра могут быть 16-битовыми значениями в формате дополнения до 2 с 3 битами целой части и 13 битами дробной части (в представлении 3.13 с плавающей запятой). Кроме того, следует отметить, что коэффициенты C0-C4 отводов фильтра не обязаны быть симметричными относительно центрального пикселя P2.

[00500] Дополнительно, в отношении граничных условий, когда соседние пиксели находятся вне первичного кадра 310 (фиг. 23), значения наружных пикселей дублируются значением пикселя того же цвета на краю первичного кадра. Это соглашение можно реализовать для обеих операций горизонтальной и вертикальной фильтрации. В порядке примера, возвращаясь к фиг. 105, в случае горизонтальной фильтрации, если пиксель P2 является краевым пикселем на самом левом краю первичного кадра, и пиксели P0 и P1 находятся вне первичного кадра, то значения пикселей P0 и P1 заменяются значением пикселя P2 для горизонтальной фильтрации.

[00501] Возвращаясь к блок-схеме логики 900 первичной обработки, показанной на фиг. 99, выходной сигнал логики 934 шумопонижения затем поступает на логику 936 коррекции затенения объектива (LSC) для обработки. Как рассмотрено выше, методы коррекции затенения объектива могут включать в себя применение надлежащего коэффициента усиления на попиксельной основе для компенсации спадов интенсивности света, что может быть результатом геометрической оптики объектива, несовершенств в изготовлении, рассогласования микролинзовой матрицы и матрицы цветовых фильтров и т.д. Кроме того, инфракрасный (ИК) фильтр в некоторых объективах может приводить к тому, что спад будет зависеть от источника света, что позволяет адаптировать коэффициенты усиления затенения объектива в зависимости от обнаруженного источника света.

[00502] В представленном варианте осуществления, логика 936 LSC конвейера 82 ISP может быть реализована аналогичным образом и, таким образом, обеспечивать, в общем случае, те же функции, что и логика 740 LSC блока 80 предварительной обработки ISP, которые рассмотрены выше со ссылкой на фиг. 71-79. Соответственно, во избежание избыточности, следует понимать, что логика 936 LSC проиллюстрированного здесь варианта осуществления сконфигурирована работать, в общем случае, таким же образом, как логика 740 LSC, и поэтому вышеприведенное описание методов коррекции затенения объектива здесь повторяться не будет. Однако, для подведения общих итогов, следует понимать, что логика 936 LSC может независимо обрабатывать каждую цветовую компоненту потока первичных пиксельных данных для определения коэффициента усиления для применения к текущему пикселю. В соответствии с рассмотренными выше вариантами осуществления, коэффициент усиления коррекции затенения объектива можно определить на основании заданного набора точек сетки коэффициентов усиления, распределенных по кадру формирования изображения, в котором интервал между каждой точкой сетки задается количеством пикселей (например, 8 пикселей, 16 пикселей и т.д.). Если положение текущего пикселя соответствует точке сетки, то значение коэффициента усиления, связанное с этой точкой сетки, применяется к текущему пикселю. Если же положение текущего пикселя находится между точками сетки (например, G0, G1, G2 и G3 на фиг. 74), то значение коэффициента усиления LSC можно вычислять путем интерполяции точек сетки, между которыми располагается текущий пиксель (уравнения 13a и 13b). Этот процесс изображен процессом 772 на фиг. 75. Кроме того, как упомянуто выше согласно фиг. 73, в некоторых вариантах осуществления, точки сетки могут распределяться неравномерно (например, логарифмически), из-за чего точки сетки меньше концентрируются в центре области 760 LSC, но больше концентрируются по углам области 760 LSC, где искажение затенения объектива обычно является более заметным.

[00503] Дополнительно, как рассмотрено выше со ссылкой на фиг. 78 и 79, логика 936 LSC также может применять радиальную компоненту коэффициента усиления со значениями коэффициента усиления сетки. Радиальную компоненту коэффициента усиления можно определить на основании расстояния текущего пикселя от центра изображения (уравнения 14-16). Как упомянуто, использование радиального коэффициента усиления позволяет использовать единую общую сетку коэффициентов усиления для всех цветовых компонент, что позволяет значительно сократить суммарную емкость хранилища, необходимую для хранения отдельных сеток коэффициентов усиления для каждой цветовой компоненты. Это сокращение объема данных сетки коэффициента усиления позволяет снизить стоимость реализации, поскольку таблицы данных сетки коэффициента усиления могут занимать значительный участок памяти или площадь микросхемы в оборудовании обработки изображений.

[00504] Затем, возвращаясь к блок-схеме 900 логики первичной обработки, показанной на фиг. 99, выходной сигнал логики 936 LSC затем поступает на второй блок 938 коэффициента усиления, смещения и ограничения (GOC). Логику 938 GOC можно применять до демозаики (логическим блоком 940) и можно использовать для осуществления автоматического баланса белого на выходном сигнале логики 936 LSC. В представленном варианте осуществления, логику 938 GOC можно реализовать таким же образом, как логику 930 GOC (и логику 739 BLC). Таким образом, в соответствии с вышеприведенным уравнением 11, входной сигнал, принятый логикой 938 GOC, сначала смещается на знаковое значение и затем умножается на коэффициент усиления. Затем результирующее значение ограничивается минимальным и максимальным диапазоном в соответствии с уравнением 12.

[00505] После этого, выходной сигнал логики 938 GOC перенаправляется на логику 940 демозаики для обработки для создания полноцветного (RGB) изображения на основании первичных байеровских входных данных. Очевидно, что первичный выходной сигнал датчика изображения, использующего матрицу цветовых фильтров, например, байеровский фильтр, является "неполным" в том смысле, что каждый пиксель фильтруется для получения только одной цветовой компоненты. Таким образом, данных, собранных для отдельно взятого пикселя, не достаточно для определения цвета. Соответственно, методы демозаики можно использовать для формирования полноцветного изображения из первичных байеровских данных путем интерполяции отсутствующих цветовых данных для каждого пикселя.

[00506] На фиг. 107 проиллюстрирована схема 692 обработки графики, которая обеспечивает общий обзор того, как можно применять демозаику к шаблону 1034 первичного байеровского изображения для создания полноцветного RGB. Как показано, участок 1036 4x4 первичного байеровского изображения 1034 может включать в себя отдельные каналы для каждой цветовой компоненты, включающие в себя канал 1038 зеленого, канал 1040 красного и канал 1042 синего. Поскольку каждый пиксель формирования изображения в байеровском датчике получает данные только для одного цвета, цветовые данные для каждого цветового канала 1038, 1040 и 1042 могут быть неполными, что указано символами "?". Применяя метод 1044 демозаики, недостающие цветовые выборки из каждого канала можно интерполировать. Например, как указано ссылочной позицией 1046, интерполированные данные G' можно использовать для наполнения недостающих выборок на цветовом канале зеленого, аналогично, интерполированные данные R' (в сочетании с интерполированными данными G' 1046) можно использовать для наполнения недостающих выборок на цветовом канале 1048 красного, и интерполированные данные B' (в сочетании с интерполированными данными G' 1046) можно использовать для наполнения недостающих выборок на цветовом канале 1050 синего. Таким образом, в результате процесса демозаики, каждый цветовой канал (R, G, B) будет иметь полный набор цветовых данных, который затем можно использовать для реконструкции полноцветного RGB-изображения 1052.

[00507] Метод демозаики, который можно реализовать логикой 940 демозаики, будет описан ниже в соответствии с одним вариантом осуществления. На цветовом канале зеленого, недостающие цветовые выборки можно интерполировать с использованием низкочастотного направленного фильтра на известных выборках зеленого и высокочастотного (или градиентного) фильтра на соседних цветовых каналах (например, красного и синего). Для цветовых каналов красного и синего, недостающие цветовые выборки можно интерполировать аналогичным образом, но с использованием низкочастотной фильтрации на известных значениях красного или синего и высокочастотной фильтрации на близко расположенных интерполированных значениях зеленого. Кроме того, в одном варианте осуществления, демозаика на цветовом канале зеленого может использовать фильтр пиксельного блока 5x5 с адаптацией к краевым условиям на основании исходных байеровских цветовых данных. Как будет дополнительно описано ниже, использование фильтра с адаптацией к краевым условиям может обеспечивать непрерывное взвешивание на основании градиентов горизонтальных и вертикальных фильтрованных значений, что снижает заметность некоторых артефактов, например, ступенчатых, "шахматных" или "радужных" артефактов, обычно наблюдаемых в традиционных методах демозаики.

[00508] В ходе демозаики на канале зеленого, используются исходные значения для пикселей зеленого (пикселей Gr и Gb) шаблона байеровского изображения. Однако для получения полного набора данных для канала зеленого, значения пикселей зеленого можно интерполировать на пикселях красного и синего шаблона байеровского изображения. В соответствии с настоящим изобретением, горизонтальные и вертикальные энергетические компоненты, соответственно именуемые Eh и Ev, сначала вычисляются на пикселях красного и синего на основании вышеупомянутого пиксельного блока 5×5. Значения Eh и Ev можно использовать для получения взвешенного по краю фильтрованного значения из этапов горизонтальной и вертикальной фильтрации, как дополнительно рассмотрено ниже.

[00509] В порядке примера, фиг. 108 иллюстрирует вычисление значений Eh и Ev для пикселя красного, центрированного в пиксельном блоке 5×5 в положении (j, i), где j соответствует строке, и i соответствует столбцу. Как показано, вычисление Eh учитывает три средние строки (j-1, j, j+1) пиксельного блока 5×5, и вычисление Ev учитывает три средних столбца (i-1, i, i+1) пиксельного блока 5×5. Для вычисления Eh, абсолютное значение суммы каждого из пикселей в столбцах (i-2, i, i+2) красного, умноженное на соответствующий коэффициент (например, -1 для столбцов i-2 и i+2; 2 для столбца i), суммируется с абсолютным значением суммы каждого из пикселей в столбцах (i-1, i+1) синего, умноженной на соответствующий коэффициент (например, 1 для столбца i-1; -1 для столбца i+1). Для вычисления Ev, абсолютное значение суммы каждого из пикселей в строках (j-2, j, j+2) красного, умноженное на соответствующий коэффициент (например, -1 для строк j-2 и j+2; 2 для строки j), суммируется с абсолютным значением суммы каждого из пикселей в строках (j-1, j+1) синего, умноженным на соответствующий коэффициент (например, 1 для строки j-1; -1 для строки j+1). Эти вычисления проиллюстрированы ниже уравнениями 76 и 77:

Eh=abs[2((P(j-1, i)+P(j, i)+P(j+1, i)) - (76)

(P(j-1, i-2)+P(j, i-2)+P(j+1, i-2)) -

(P(j-1, i+2)+P(j, i+2)+P(j+1, i+2)] +

- abs[(P(j-1, i-1)+P(j, i-1)+P(j+1, i-1)) -

(P(j-1, i+1)+P(j, i+1)+P(j+1, i+1)]

Ev=abs[2(P(j, i-1)+P(j, i)+P(j, i+1)) - (77)

(P(j-2, i-1)+P(j-2, i)+P(j-2, i+1)) -

(P(j+2, i-1)+P(j+2, i)+P(j+2, i+1] +

- abs[(P(j-1, i-1)+P(j-1, i)+P(j-1, i+1)) -

(P(j+1, i-1)+P(j+1, i)+P(j+1, i+1)]

Таким образом, полную сумму энергий можно выразить как: Eh+Ev. Кроме того, хотя пример, показанный на фиг. 108, иллюстрирует вычисление Eh и Ev для центрального пикселя красного в (j, i), следует понимать, что значения Eh и Ev можно определить аналогичным образом для центральных пикселей синего.

[00510] Затем, горизонтальная и вертикальная фильтрация может применяться к шаблону Байера для получения вертикального и горизонтального фильтрованных значений Gh и Gv, которые могут представлять интерполированные значения зеленого в горизонтальном и вертикальном направлениях, соответственно. Фильтрованные значения Gh и Gv можно определить с использованием фильтра низких частот на известных соседних выборках зеленого помимо использования направленных градиентов соседнего цвета (R или B) для получения высокочастотного сигнала в положениях недостающих выборок зеленого. Например, со ссылкой на фиг. 109, будет проиллюстрирован пример горизонтальной интерполяции для определения Gh.

[00511] Как показано на фиг. 109, пять горизонтальных пикселей (R0, G1, R2, G3 и R4) линии 1060 красного байеровского изображения, где предполагается, что R2 является центральным пикселем в (j, i), можно рассматривать при определении Gh. Коэффициенты фильтрации, связанные с каждым из этих пяти пикселей, указаны ссылочной позицией 1062. Соответственно, интерполяцию значения зеленого, именуемого G2', для центрального пикселя R2, можно определить следующим образом:

G2'= $$\frac{G1+G3}{2}$$ + $$\frac{2R2-\left(\frac{R0+R2}{2}\right)-\left(\frac{R2+R4}{2}\right)}{2}$$ (78)

Различные математические операции затем могут использоваться для создания выражения для G2', показанного ниже в уравнениях 79 и 80:

G2'= $$\frac{2G1+2G3}{4}$$ + $$\frac{4R2-R0-R2-R2-R4}{4}$$ (79)

G2'= $$\frac{2G1+2G3+2R2-R0-R4}{4}$$ (80)

Таким образом, со ссылкой на фиг. 109 и вышеприведенные уравнения 78-80, общее выражение для горизонтальной интерполяции для значения зеленого в (j, i) можно вывести в виде:

Gh= $$\frac{(2P(j,i-1)+2P(j,i+1)+2P(j,i)-P(j,i-2)-P(j,i+2))}{4}$$ (81)

[00512] Компоненту Gv вертикальной фильтрации можно определить аналогичным образом, как Gh. Например, согласно фиг. 110, пять вертикальных пикселей (R0, G1, R2, G3 и R4) столбца 1064 красного байеровского изображения и их соответствующие коэффициенты 1068 фильтрации, где предполагается, что R2 является центральным пикселем в (j, i), можно рассматривать при определении Gv. Используя низкочастотную фильтрацию на известных выборках зеленого и высокочастотную фильтрацию на канале красного в вертикальном направлении, можно вывести следующее выражение для Gv:

Gv= $$\frac{(2P(j-1,i)+2P(j+1,i)+2P(j,i)-P(j-2,i)-P(j+2,i))}{4}$$ (82)

Хотя в рассмотренных здесь примерах показана интерполяция значений зеленого на пикселе красного, следует понимать, что выражения, приведенные в уравнениях 81 и 82, также можно использовать при горизонтальной и вертикальной интерполяции значений зеленого для пикселей синего.

[00513] Окончательное интерполированное значение зеленого G' для центрального пикселя (j, i) можно определить взвешиванием горизонтального и вертикального выходных сигналов фильтра (Gh и Gv) энергетическими компонентами (Eh и Ev), рассмотренными выше, для получения следующего уравнения:

G'(j, i)= $$\left(\frac{Ev}{Eh+Ev}\right)Gh+\left(\frac{Eh}{Eh+Ev}\right)Gv$$ (83)

Как рассмотрено выше, энергетические компоненты Eh и Ev могут обеспечивать взвешивание с адаптацией к краевым условиям горизонтального и вертикального выходных сигналов фильтра Gh и Gv, которое может помогать ослаблять артефакты изображения, например, радужные, ступенчатые или шахматные артефакты, в реконструированном RGB-изображении. Дополнительно, логика 940 демозаики может обеспечивать вариант для обхода признака взвешивания с адаптацией к краевым условиям путем задания значения каждого Eh и Ev равным 1, в результате чего, Gh и Gv взвешиваются одинаково.

[00514] В одном варианте осуществления, горизонтальный и вертикальный весовые коэффициенты, показанные в вышеприведенном уравнении 51, можно квантовать для снижения точности весовых коэффициентов в набор "грубых" значений. Например, в одном варианте осуществления, весовые коэффициенты можно квантовать до восьми возможных отношений весов: 1/8, 2/8, 3/8, 4/8, 5/8, 6/8, 7/8 и 8/8. Другие варианты осуществления могут квантовать весовые коэффициенты на 16 значений (например, от 1/16 до 16/16), 32 значения (от 1/32 до 32/32) и т.д. Очевидно, что по сравнению с использованием значений полной точности (например, 32-битовых значений с плавающей запятой), квантование весовых коэффициентов может снижать сложность реализации при определении и применении весовых коэффициентов к горизонтальному и вертикальному выходным сигналам фильтра.

[00515] В дополнительных вариантах осуществления, описанное здесь изобретение, помимо определения и использования горизонтальных и вертикальных энергетических компонент для применения весовых коэффициентов к горизонтальному (Gh) и вертикальному (Gv) фильтрованным значениям, также может определять и использовать энергетические компоненты в диагонально положительном и диагонально отрицательном направлениях. Например, в таких вариантах осуществления, фильтрация также может применяться в диагонально положительном и диагонально отрицательном направлениях. Взвешивание выходных сигналов фильтра может включать в себя выбор двух наивысших энергетических компонент, и использование выбранных энергетических компонент для взвешивания их соответствующих выходных сигналов фильтра. Например, предполагая, что две наивысшие энергетические компоненты соответствуют вертикальному и диагональному положительному направлениям, вертикальный и диагонально положительный энергетические компоненты используются для взвешивания вертикального и диагонально положительного выходных сигналов фильтра для определения интерполированного значения зеленого (например, в положение пикселя красного или синего в шаблоне Байера).

[00516] Затем, демозаика на цветовых каналах красного и синего может осуществляться путем интерполяции значения красного и синего на пикселях зеленого шаблона байеровского изображения, интерполяция значений красного на пикселях синего шаблона байеровского изображения, и интерполяция значений синего на пикселях красного шаблона байеровского изображения. В соответствии с рассмотренными здесь методами, недостающие пиксельные значения красного и синего можно интерполировать с использованием низкочастотной фильтрации на основании известных соседних пикселей красного и синего и высокочастотной фильтрации на основании близко расположенных значений пикселей зеленого, которые могут быть исходными или интерполированными значениями (из рассмотренного выше процесса демозаики канала зеленого) в зависимости от положения текущего пикселя. Таким образом, в отношении таких вариантов осуществления, следует понимать, что сначала может осуществляться интерполяция недостающих значений зеленого, в результате чего, образуется полный набор значений зеленого (исходных и интерполированных значений) при интерполяции недостающих выборок красного и синего.

[00517] Интерполяцию пиксельных значений красного и синего можно описать со ссылкой на фиг. 111, которая иллюстрирует различные 3×3 блоки шаблона байеровского изображения, к которым можно применять демозаику красного и синего, а также интерполированные значения зеленого (обозначенные G'), которые можно получить в ходе демозаики на канале зеленого. Сначала, на блоке 1070, интерполированное значение красного, R'₁₁, для пикселя Gr (G₁₁) можно определить следующим образом:

$$R{\text{'}}_{11}=\frac{\left(R_{10}+R_{12}\right)}{2}+\frac{\left(2G_{11}-G{\text{'}}_{10}-G{\text{'}}_{12}\right)}{2}$$ , (84)

где G'₁₀ и G'₁₂ представляют интерполированные значения зеленого, как указано ссылочной позицией 1078. Аналогично, интерполированное значение синего, B'₁₁, для пикселя Gr (G₁₁) можно определить следующим образом:

$$B{\text{'}}_{11}=\frac{\left(B_{01}+B_{21}\right)}{2}+\frac{\left(2G_{11}-G{\text{'}}_{01}-G{\text{'}}_{21}\right)}{2}$$ , (85)

где G'₀₁ и G'₂₁ представляют интерполированные значения зеленого (1078).

[00518] Затем, на пиксельном блоке 1072, в котором центральным пикселем является пиксель Gb (G₁₁), интерполированное значение красного, R'₁₁, и значение синего B'₁₁, можно определить, как показано ниже в уравнениях 86 и 87:

$$R{\text{'}}_{11}=\frac{\left(R_{01}+R_{21}\right)}{2}+\frac{\left(2G_{11}-G{\text{'}}_{01}-G{\text{'}}_{21}\right)}{2}$$ (86)

$$B{\text{'}}_{11}=\frac{\left(B_{10}+B_{12}\right)}{2}+\frac{\left(2G_{11}-G{\text{'}}_{10}-G{\text{'}}_{12}\right)}{2}$$ (87)

[00519] Кроме того, согласно пиксельному блоку 1074, интерполяцию значения красного на пикселе синего, B₁₁, можно определить следующим образом:

$$R{\text{'}}_{11}=\frac{\left(R_{00}+R_{02}+R_{20}+R_{22}\right)}{4}+\frac{\left(4G{\text{'}}_{11}-G{\text{'}}_{00}-G{\text{'}}_{02}-G{\text{'}}_{20}-G{\text{'}}_{22}\right)}{4}$$ , (88)

где G'₀₀, G'₀₂, G'₁₁, G'₂₀ и G'₂₂ представляют интерполированные значения зеленого, как указано ссылочной позицией 1080. Наконец, интерполяцию значения синего на пикселе красного, как показано пиксельным блоком 1076, можно вычислять следующим образом:

$$B{\text{'}}_{11}=\frac{\left(B_{00}+B_{02}+B_{20}+B_{22}\right)}{4}+\frac{\left(4G{\text{'}}_{11}-G{\text{'}}_{00}-G{\text{'}}_{02}-G{\text{'}}_{20}-G{\text{'}}_{22}\right)}{4}$$ (89)

[00520] Хотя рассмотренный выше вариант осуществления опирался на разностях цветов (например, градиентов) для определения интерполированных значений красного и синего, другой вариант осуществления может обеспечивать интерполированные значения красного и синего с использованием отношений цветов. Например, интерполированные значения зеленого (блоки 1078 и 1080) можно использовать для получения отношения цветов в положениях пикселя красного и синего шаблона байеровского изображения, и линейную интерполяцию отношений можно использовать для определения интерполированного отношения цветов для недостающей цветовой выборки. Значение зеленого, которое может быть интерполированным или исходным значением, можно умножать на интерполированное отношение цветов для получения окончательного интерполированного значения цвета. Например, интерполяция пиксельных значений красного и синего с использованием отношений цветов может осуществляться в соответствии с нижеследующими формулами, в которых уравнения 90 и 91 демонстрируют интерполяцию значений красного и синего для пикселя Gr, уравнения 92 и 93 демонстрируют интерполяцию значений красного и синего для пикселя Gb, уравнение 94 демонстрирует интерполяцию значения красного на пикселе синего, и уравнение 95 демонстрирует интерполяцию значения синего на пикселе красного:

$$R{\text{'}}_{11}=G_{11}\frac{\left(\frac{R_{10}}{G{\text{'}}_{10}}\right)+\left(\frac{R_{12}}{G{\text{'}}_{12}}\right)}{2}$$ (90)

(R'₁₁ интерполированный, когда G₁₁ является пикселем Gr)

$$B{\text{'}}_{11}=G_{11}\frac{\left(\frac{B_{01}}{G{\text{'}}_{01}}\right)+\left(\frac{B_{21}}{G{\text{'}}_{21}}\right)}{2}$$ (91)

(B'₁₁ интерполированный, когда G₁₁ является пикселем Gr)

$$R{\text{'}}_{11}=G_{11}\frac{\left(\frac{R_{01}}{G{\text{'}}_{01}}\right)+\left(\frac{R_{21}}{G{\text{'}}_{21}}\right)}{2}$$ (92)

(R'₁₁ интерполированный, когда G₁₁ является пикселем Gb)

$$B{\text{'}}_{11}=G_{11}\frac{\left(\frac{B_{10}}{G{\text{'}}_{10}}\right)+\left(\frac{B_{12}}{G{\text{'}}_{12}}\right)}{2}$$ (93)

(B'₁₁ интерполированный, когда G₁₁ является пикселем Gb)

$$R{\text{'}}_{11}=G{\text{'}}_{11}\frac{\left(\frac{R_{00}}{G{\text{'}}_{00}}\right)+\left(\frac{R_{02}}{G{\text{'}}_{02}}\right)+\left(\frac{R_{20}}{G{\text{'}}_{20}}\right)+\left(\frac{R_{22}}{G{\text{'}}_{22}}\right)}{4}$$ (94)

(R'₁₁ интерполированный на пикселе B₁₁ синего)

$$B{\text{'}}_{11}=G{\text{'}}_{11}\frac{\left(\frac{B_{00}}{G{\text{'}}_{00}}\right)+\left(\frac{B_{02}}{G{\text{'}}_{02}}\right)+\left(\frac{B_{20}}{G{\text{'}}_{20}}\right)+\left(\frac{B_{22}}{G{\text{'}}_{22}}\right)}{4}$$ (95)

(B'₁₁ интерполированный на пикселе R₁₁ красного)

[00521] После интерполяции недостающих цветовых выборок для каждого пикселя изображения из шаблона байеровского изображения, полная выборка значений цвета для каждого из цветовых каналов красного, синего и зеленого (например, 1046, 1048 и 1050 на фиг. 107) может объединяться для создания полноцветного RGB-изображения. Например, согласно фиг. 98 и 99, выходной сигнал 910 логики 900 обработки первичных пикселей может быть сигналом изображения RGB в 8, 10, 12 или 14-битовом форматах.

[00522] На фиг. 112-115 проиллюстрированы различные блок-схемы последовательностей операций способов, демонстрирующие процессы для демозаики первичного шаблона байеровского изображения в соответствии с раскрытыми вариантами осуществления. В частности, процесс 1082 на фиг. 112 изображает определение, какие цветовые компоненты подлежат интерполяции для данного входного пикселя P. На основании определения процессом 1082, один или более из процесса 1100 (фиг. 113) для интерполяции значения зеленого, процесса 1112 (фиг. 114) для интерполяции значения красного и процесса 1124 (фиг. 115) для интерполяции значения синего может осуществляться (например, логикой 940 демозаики).

[00523] Начиная с фиг. 112, процесс 1082 начинается с этапа 1084 приема входного пикселя P. Логика 1086 принятия решения определяет цвет входного пикселя. Например, это может зависеть от положения пикселя в шаблоне байеровского изображения. Соответственно, если P идентифицируется как пиксель зеленого (например, Gr или Gb), процесс 1082 переходит к этапу 1088 для получения интерполированных значений красного и синего для P. Это может включать в себя, например, переход к процессам 1112 и 1124 на фиг. 114 и 115, соответственно. Если P идентифицируется как пиксель красного, то процесс 1082 переходит к этапу 1090 для получения интерполированных значений зеленого и синего для P. Это может включать в себя дополнительно осуществление процессов 1100 и 1124 на фиг. 113 и 115, соответственно. Дополнительно, если P идентифицируется как пиксель синего, то процесс 1082 переходит к этапу 1092 для получения интерполированных значений зеленого и красного для P. Это может включать в себя дополнительно осуществление процессов 1100 и 1112 на фиг. 113 и 114, соответственно. Каждый из процессов 1100, 1112 и 1124 дополнительно описан ниже.

[00524] Процесс 1100 для определения интерполированного значения зеленого для входного пикселя P представлен на фиг. 113 и включает в себя этапы 1102-1110. На этапе 1102 принимается входной пиксель P (например, от процесса 1082). Затем, на этапе 1104 идентифицируется набор соседних пикселей, образующих пиксельный блок 5×5, причем P является центром блока 5×5. После этого, пиксельный блок анализируется для определения горизонтальных и вертикальных энергетических компонент на этапе 1106. Например, горизонтальные и вертикальные энергетические компоненты можно определить в соответствии с уравнениями 76 и 77 для вычисления Eh и Ev, соответственно. Как рассмотрено, энергетические компоненты Eh и Ev можно использовать как весовые коэффициенты для обеспечения фильтрации с адаптацией к краевым условиям и, таким образом, снижения заметности некоторых артефактов демозаики в окончательном изображении. На этапе 1108 низкочастотная фильтрация и высокочастотная фильтрация применяется в горизонтальном и вертикальном направлениях для определения выходных сигналов горизонтальной и вертикальной фильтрации. Например, выходные сигналы горизонтальной и вертикальной фильтрации, Gh и Gv, можно вычислять в соответствии с уравнениями 81 и 82. Затем процесс 1082 переходит к этапу 1110, на котором интерполированное значение зеленого G' вычисляется на основании значений Gh и Gv, взвешенных энергетическими компонентами Eh и Ev, как показано в уравнении 83.

[00525] Затем, в отношении процесса 1112 на фиг. 114, интерполяция значений красного может начинаться на этапе 1114, на котором принимается входной пиксель P (например, от процесса 1082). На этапе 1116 идентифицируется набор соседних пикселей, образующих 3×3 пиксельный блок, где P является центром блока 3×3. После этого, низкочастотная фильтрация применяется на соседних пикселях красного в блоке 3×3 на этапе 1118, и высокочастотная фильтрация применяется (этап 1120) на близко расположенных соседних значениях зеленого, которые могут быть исходными значениями зеленого, захваченными байеровским датчиком изображения, или интерполированными значениями (например, определенными в процессе 1100 на фиг. 113). Интерполированное значение красного R' для P можно определить на основании выходных сигналов низкочастотной и высокочастотной фильтрации, как показано на этапе 1122. В зависимости от цвета P, R' можно определить в соответствии с одним из уравнений 84, 86 или 88.

[00526] В отношении интерполяции значений синего, можно применять процесс 1124 на фиг. 115. Этапы 1126 и 1128, в общем случае, идентичны этапам 1114 и 1116 процесса 1112 (фиг. 114). На этапе 1130, низкочастотная фильтрация применяется на соседних пикселях синего в 3×3, и, на этапе 1132, высокочастотная фильтрация применяется на близко расположенных соседних значениях зеленого, которые могут быть исходными значениями зеленого, захваченными байеровским датчиком изображения, или интерполированными значениями (например, определенными в процессе 1100 на фиг. 113). Интерполированное значение синего B' для P можно определить на основании выходных сигналов низкочастотной и высокочастотной фильтрации, как показано на этапе 1134. В зависимости от цвета P, B' можно определить в соответствии с одним из уравнений 85, 87 или 89. Кроме того, как упомянуто выше, интерполяцию значений красного и синего можно определить с использованием разностей цветов (уравнения 84-89) или отношений цветов (уравнения 90-95). Опять же, следует понимать, что сначала может осуществляться интерполяция недостающих значений зеленого, в результате чего, образуется полный набор значений зеленого (исходных и интерполированных значений) при интерполяции недостающих выборок красного и синего. Например, процесс 1100 на фиг. 113 может применяться для интерполяции всех недостающих цветовых выборок зеленого до осуществления процессов 1112 и 1124 на фиг. 114 и 115, соответственно.

[00527] На фиг. 116-119 приведены примеры цветных чертежей изображений, обработанных логикой 900 обработки первичных пикселей в конвейере 82 ISP. Фиг. 116 изображает сцену 1140 исходного изображения, которое может быть захвачено датчиком 90 изображения устройства 30 формирования изображения. Фиг. 117 демонстрирует первичное байеровское изображение 1142, которое может представлять первичные пиксельные данные, захваченные датчиком 90 изображения. Как упомянуто выше, традиционные методы демозаики могут не обеспечивать адаптивную фильтрацию на основании обнаружения краев (например, границ между областями двух или более цветов) в данных изображения, которая может, помимо желания, порождать артефакты в результирующем реконструированном полноцветном RGB-изображении. Например, фиг. 118 демонстрирует RGB-изображение 1144, которое реконструировано с использованием традиционных методов демозаики и может включать в себя артефакты, например "шахматные" артефакты 1146, на краю 1148. Однако, сравнивая изображение 1144 с RGB-изображением 1150 на фиг. 119, которое может служить примером изображения, реконструированного с использованием вышеописанных методов демозаики, можно видеть, что шахматные артефакты 1146, присутствующие на фиг. 118, отсутствуют или, по меньшей мере, существенно менее заметны на краю 1148. Таким образом, изображения, показанные на фиг. 116-119, призваны иллюстрировать, по меньшей мере, одно преимущество раскрытых здесь методов демозаики над традиционными способами.

[00528] В соответствии с конкретным аспектом технологий обработки изображений, раскрытых в данном документе, различные логические блоки обработки подсистемы 32 ISP могут быть реализованы с использованием набора линейных буферов, которые могут быть выполнены с возможностью передавать данные изображения через различные блоки, как показано выше. Например, в одном варианте осуществления, логика 900 обработки первичных пикселей, поясненная выше на фиг. 99, может быть реализована с использованием конфигурации линейных буферов, размещаемых, так как показано на фиг. 120-123. В частности, фиг. 120 изображает полную компоновку линейных буферов, которая может быть использована для того, чтобы реализовывать логику 900 обработки первичных пикселей, в то время как фиг. 121 изображает более подробный вид первого поднабора линейных буферов, как показано в обведенной области 1162 по фиг. 120, фиг. 122 изображает более подробный вид вертикального фильтра, который может быть частью логики 934 уменьшения уровня шума, и фиг. 123 изображает более подробный вид второго поднабора линейных буферов, как показано в обведенной области 1164 по фиг. 120.

[00529] Как, в общем, проиллюстрировано на фиг. 120, логика 900 обработки первичных пикселей может включать в себя набор из десяти линейных буферов, пронумерованных как 0-9 и помеченных как ссылочные позиции 1160a-1160j, соответственно, а также строку логики 1160k, которая включает в себя ввод 908 данных изображения (который может исходить из датчика изображения или из памяти) в логику 900 первичной обработки. Таким образом, логика, показанная на фиг. 120, может включать в себя 11 строк, из которых 10 строк включают в себя линейные буферы (1160a-1160j). Как пояснено ниже, линейные буферы могут быть использованы совместно посредством логических блоков логики 900 обработки первичных пикселей, включающих в себя логические блоки 930 и 938 усиления, смещения, ограничения (называемые GOC1 и GOC2, соответственно, на фиг. 120), логику 932 обнаружения и коррекции дефектных пикселей (DPC), логику 934 уменьшения уровня шума (показанную на фиг. 120 как включающую в себя логику 934a коррекции неоднородности зеленого (GNU), 7-отводный горизонтальный фильтр 934b и 5-отводный вертикальный фильтр 934c), логику 936 коррекции затенения объектива (LSC) и логику 940 демозаики (DEM). Например, в варианте осуществления, показанном на фиг. 120, нижний поднабор линейных буферов, представленный посредством линейных буферов 6-9 (1160g-1160j) может быть совместно использован логикой 932 DPC и частями логики 934 уменьшения уровня шума (включающими в себя логику 934a GNU, горизонтальный фильтр 934b и часть вертикального фильтра 934c). Верхний поднабор линейных буферов, представленный посредством линейных буферов 0-5 (1160a-1160f), может быть совместно использован частью логики 934c вертикальной фильтрации, логики 936 коррекции затенения объектива, логики 938 усиления, смещения и ограничения и логики 940 демозаики.

[00530] Чтобы, в общем, описывать перемещение данных изображения через линейные буферы, первичные данные 908 изображения, которые могут представлять вывод логики 80 предварительной обработки ISP, сначала принимаются и обрабатываются посредством логики 930 GOC1, если применяются соответствующие параметры усиления, смещения и ограничения. Вывод логики 930 GOC1 затем предоставляется в логику 932 DPC. Как показано, обработка обнаружения и коррекции дефектных пикселей может осуществляться в линейных буферах 6-9. Первый вывод логики 932 DPC предоставляется в логику 934a коррекции неоднородности зеленого (логику 934 уменьшения уровня шума), которая предоставляется в линейном буфере 9 (1160j). Таким образом, линейный буфер 9 (1160j), в настоящем варианте осуществления, совместно используется логикой 932 DPC и логикой 934a коррекции GNU.

[00531] Затем, вывод линейного буфера 9 (1160j), указываемый на фиг. 121 в качестве W8, предоставляется на вход линейного буфера 8 (1160i). Как показано, линейный буфер 8 совместно используется логикой 932 DPC, которая предоставляет дополнительную обработку обнаружения и коррекции дефектных пикселей, и логикой (934b) горизонтальной фильтрации блока 934 уменьшения уровня шума. Как показано в настоящем варианте осуществления, горизонтальный фильтр 934b может быть 7-отводным фильтром, как указано посредством отводов 1165a-1165g фильтра на фиг. 121, и может быть сконфигурирован как фильтр с конечной импульсной характеристикой (FIR). Как пояснено выше, в конкретных вариантах осуществления, фильтрация шума может быть адаптивной в отношении края. Например, горизонтальный фильтр может быть FIR-фильтром, но в котором отводы фильтра используются только в том случае, если разность между центральным пикселем и пикселем в отводе меньше порога, который зависит, по меньшей мере, частично от дисперсии шума.

[00532] Вывод 1163 (фиг. 121) логики 934b горизонтальной фильтрации может предоставляться в логику 934c вертикальной фильтрации (подробнее проиллюстрированную на фиг. 122) и на вход линейного буфера 7 (1160h). В проиллюстрированном варианте осуществления, линейный буфер 7 выполнен с возможностью обеспечивать задержку (w) перед передачей своего входа W7 в линейный буфер 6 (1160g) в качестве входа W6. Как показано на фиг. 121, линейный буфер 6 совместно используется логикой 932 DPC и вертикальным фильтром 934c для уменьшения уровня шума.

[00533] Затем, обращаясь одновременно к фиг. 120, 122, и 123, верхний поднабор линейных буферов, а именно, линейные буферы 0-5 (1160a-1160f) совместно используются вертикальным фильтром 934c для уменьшения уровня шума (показан на фиг. 122), логикой 936 коррекции затенения объектива, логикой 938 GOC2 и логикой 940 демозаики. Например, вывод линейного буфера 5 (1160f), который предоставляет задержку (w), подается в линейный буфер 4 (1160e). Вертикальная фильтрация выполняется в линейном буфере 4, и вывод W3 части вертикального фильтра 934c в линейном буфере 4 подается в линейный буфер 3 (1160d), а также далее в части логики 936 коррекции затенения объектива, логики 938 GOC2 и логики 940 демозаики, совместно используемые посредством линейного буфера 4. В настоящем варианте осуществления, логика 934c вертикальной фильтрации может включать в себя пять отводов 1166a-1166e (фиг. 122), но может быть выполнена с возможностью работать как в частично рекурсивном режиме (бесконечная импульсная характеристика (IIR)), так и в нерекурсивном (FIR) режиме. Например, когда используются все пять отводов, так что отвод 1166c является центральным отводом, логика 934c вертикальной фильтрации работает в частично рекурсивном IIR-режиме. Настоящий вариант осуществления также может выбирать использование трех из пяти отводов, а именно, отводов 1166c-1166e, где отвод 1166d является центральным отводом, для того чтобы управлять логикой 934c вертикальной фильтрации в нерекурсивном (FIR) режиме. Режим вертикальной фильтрации, в одном варианте осуществления, может указываться с использованием регистра конфигурации, ассоциированного с логикой 934 уменьшения уровня шума.

[00534] Затем, линейный буфер 3 принимает входной сигнал W3 и предоставляет задержку (w) до вывода W2 в линейный буфер 2 (1160c), а также далее в части логики 936 коррекции затенения объектива, логики 938 GOC2 и логики 940 демозаики, совместно используемые посредством линейного буфера 3. Как показано, линейный буфер 2 также совместно используется вертикальным фильтром 934c, логикой 936 коррекции затенения объектива, логикой 938 GOC2 и логикой 940 демозаики и предоставляет вывод W1 в линейный буфер 1 (1160b). Аналогично, линейный буфер 1 также совместно используется вертикальным фильтром 934c, логикой 936 коррекции затенения объектива, логикой 938 GOC2 и логикой 940 демозаики и предоставляет вывод W1 в линейный буфер 0 (1160a). Вывод 910 логики 940 демозаики может предоставляться далее в логику 902 обработки RGB для дополнительной обработки, как дополнительно пояснено ниже.

[00535] Следует понимать, что в проиллюстрированном варианте осуществления, изображающем совместную компоновку линейных буферов, такие различные блоки обработки могут применять совместно используемые линейные буферы, одновременно могут значительно сокращать число линейных буферов, требуемых для того, чтобы реализовывать логику 900 первичной обработки. Можно принимать во внимание, что это позволяет уменьшать полезную площадь аппаратных средств, требуемую для реализации схемы 32 обработки изображений, и тем самым снижать совокупные затраты на проектирование и изготовление. В качестве примера, текущая проиллюстрированная технология для совместного использования линейных буферов различными компонентами обработки может, в конкретных вариантах осуществления, сокращать число требуемых линейных буферов по сравнению с традиционным вариантом осуществления, который не обеспечивает совместное использование линейных буферов на 40-50 процентов или больше. Дополнительно, в то время как текущий проиллюстрированный вариант осуществления логики 900 обработки первичных пикселей, показанной на фиг. 120, использует 10 линейных буферов, следует принимать во внимание, что меньшее или большее число линейных буферов может быть использовано в других вариантах осуществления. Иными словами, вариант осуществления, показанный на фиг. 120, предназначен просто для того, чтобы иллюстрировать принцип, по которому линейные буферы совместно используются в нескольких блоках обработки, и не должен истолковываться в качестве ограничения настоящей технологии только логикой 900 обработки первичных пикселей. Фактически, аспекты раскрытия, показанные на фиг. 120, могут быть реализованы в любом из логических блоков подсистемы 32 ISP.

[00536] Фиг. 124 - блок-схема последовательности операций способа, показывающая способ 1167 для обработки первичных пиксельных данных в соответствии с конфигурацией линейного буфера, показанной на фиг. 120-123. В начале, на этапе 1168 линейные буферы логики 900 обработки первичных пикселей могут принимать первичные пиксельные данные (например, из предварительной обработки 80 ISP, памяти 108 или и того, и другого). На этапе 1169, первый набор параметров усиления, смещения и ограничения (GOC1) применяется к первичным пиксельным данным. Затем, на этапе 1170, выполняется обнаружение и коррекция дефектных пикселей с использованием первого поднабора линейных буферов (например, линейных буферов 6-9 на фиг. 120). После этого, на этапе 1171, коррекция неоднородности зеленого (GNU) применяется с использованием, по меньшей мере, одного линейного буфера (например, линейного буфера 9) из первого поднабора линейных буферов. Затем, как показано на этапе 1172, применяется горизонтальная фильтрация для уменьшения уровня шума, также с использованием, по меньшей мере, одного линейного буфера из первого поднабора. В варианте осуществления, показанном на фиг. 120, линейный буфер(ы) из первого поднабора, которые используются для того, чтобы выполнять коррекцию GNU и горизонтальную фильтрацию, могут отличаться.

[00537] Способ 1167 затем переходит к этапу 1173, на котором вертикальная фильтрация для уменьшения уровня шума применяется с использованием, по меньшей мере, одного линейного буфера из первого поднабора, а также, по меньшей мере, части второго поднабора линейных буферов (например, линейных буферов 0-5) логики 900 обработки первичных пикселей. Например, как пояснено выше, в зависимости от режима вертикальной фильтрации (к примеру, рекурсивного или нерекурсивного), может быть использована часть или весь второй поднабор линейных буферов. Дополнительно, в одном варианте осуществления, второй поднабор может включать в себя оставшиеся линейные буферы, не включенные в первый поднабор линейных буферов из этапа 1170. На этапе 1174, второй поднабор линейных буферов используется для того, чтобы применять коррекцию затенения объектива к первичным пиксельным данным. Затем, на этапе 1175, второй поднабор линейных буферов используется для того, чтобы применять второй набор параметров усиления, смещения и ограничения (GOC2), и затем второй набор линейных буферов также используется для того, чтобы выполнять операцию демозаики первичных данных изображения, как показано на этапе 1176. Цветовые RGB-данные после демозаики затем могут отправляться дальше на этапе 1177 для дополнительной обработки посредством логики 902 обработки RGB, как подробнее описано ниже.

[00538] Полностью описав работу логики 900 обработки первичных пикселей, которая может выводить сигнал 910 изображения RGB, возвращаясь к фиг. 98, сосредоточимся на описании обработки сигнала 910 изображения RGB логикой 902 обработки RGB. Как показано, сигнал 910 изображения RGB может отправляться на логику 914 выбора и/или в память 108. Логика 902 обработки RGB может принимать входной сигнал 916, который может представлять собой данные RGB-изображения из сигнала 910 или из памяти 108, обозначенные сигналом 912, в зависимости от конфигурации логики 914 выбора. Данные 916 RGB-изображения можно обрабатывать логикой 902 обработки RGB для осуществления операций регулировки цветов, включающих в себя цветовую коррекцию (например, с использованием матрицы цветовой коррекции), применение цветовых коэффициентов усиления для автоматической балансировки белого, а также глобальной тональной компрессии и т.д.

[00539] Блок-схема, изображающая более детализированный вид варианта осуществления логики 902 обработки RGB, представлена на фиг. 125. Как показано, логика 902 обработки RGB включает в себя логику 1178 коэффициента усиления, смещения и ограничения (GOC), логику 1179 цветовой коррекции RGB, логику 1180 GOC, логику регулировки гаммы RGB и логику 1182 преобразования цветового пространства. Сначала входной сигнал 916 принимается логикой 1178 коэффициента усиления, смещения и ограничения (GOC). В проиллюстрированном варианте осуществления, логика 1178 GOC может применять коэффициенты усиления для осуществления автоматической балансировки белого на одном или более цветовых каналах R, G или B до обработки логикой 1179 цветовой коррекции.

[00540] Логика 1178 GOC может быть аналогична логике 930 GOC логики 900 обработки первичных пикселей, за исключением того, что обрабатываются цветовые компоненты области RGB, а не компоненты R, B, Gr и Gb байеровских данных изображения. В ходе эксплуатации, входное значение для текущего пикселя сначала смещается на знаковое значение O[c] и умножается на коэффициент G[c] усиления, как показано в вышеприведенном уравнении 11, где c представляет R, G и B. Как рассмотрено выше, коэффициент G[c] усиления может представлять собой 16-битовое беззнаковое число с 2 битами целой части и 14 битами дробной части (например, в представлении 2.14 с плавающей запятой), и значения коэффициента G[c] усиления могут быть заранее определены в ходе статистической обработки (например, в блоке 80 предварительной обработки ISP). Вычисленное пиксельное значение Y (на основании уравнения 11) затем ограничивается минимальным и максимальным диапазоном в соответствии с уравнением 12. Как рассмотрено выше, переменные min[c] и max[c] могут представлять знаковые 16-битовые "значения отсечки" для минимального и максимального выходных значений, соответственно. В одном варианте осуществления, логика 1178 GOC также может быть сконфигурирована для поддержания счетчика количества пикселей, которые были отсечены выше и ниже максимума и минимума, соответственно, для каждой цветовой компоненты R, G и B.

[00541] Затем выходной сигнал логики 1178 GOC перенаправляется на логику 1179 цветовой коррекции. В соответствии с описанным здесь изобретением, логика 1179 цветовой коррекции может быть сконфигурирована для применения цветовой коррекции к данным RGB-изображения с использованием матрицы цветовой коррекции (CCM). В одном варианте осуществления, CCM может быть матрицей преобразования RGB 3×3, хотя в других вариантах осуществления также можно использовать матрицы других размеров (например, 4×3 и т.д.). Соответственно, процесс осуществления цветовой коррекции на входном пикселе, имеющем компоненты R, G и B, можно выразить следующим образом:

$$\left[\begin{array}{ccc}R\text{'}& G\text{'}& B\text{'}\end{array}\right]=\left[\begin{array}{ccc}CCM00& CCM01& CCM02\\ CCM10& CCM11& CCM12\\ CCM20& CCM21& CCM22\end{array}\right]\times \left[\begin{array}{ccc}R& G& B\end{array}\right]$$ , (96)

где R, G и B представляют текущие значения красного, зеленого и синего для входного пикселя, CCM00-CCM22 представляют коэффициенты матрицы цветовой коррекции, и R', G' и B' представляют скорректированные значения красного, зеленого и синего для входного пикселя. Соответственно, верные значения цвета можно вычислить в соответствии с нижеследующими уравнениями 97-99:

$$R\text{'}=(CCM00\times R)+(CCM01\times G)+(CCM02\times B)$$ (97)

$$G\text{'}=(CCM10\times R)+(CCM11\times G)+(CCM12\times B)$$ (98)

$$B\text{'}=(CCM20\times R)+(CCM21\times G)+(CCM22\times B)$$ (99)

[00542] Коэффициенты (CCM00-CCM22) CCM можно определить в ходе статистической обработки в блоке 80 предварительной обработки ISP, как рассмотрено выше. В одном варианте осуществления, коэффициенты для данного цветового канала можно выбирать так, чтобы сумма этих коэффициентов (например, CCM00, CCM01 и CCM02 для коррекции красного цвета) была равна 1, что может способствовать поддержанию яркостного и цветового баланса. Кроме того, коэффициенты обычно выбираются так, чтобы к корректируемому цвету применялся положительный коэффициент усиления. Например, при коррекции красного цвета, коэффициент CCM00 может быть больше 1, тогда как один или оба из коэффициентов CCM01 и CCM02 могут быть меньше 1. Такое задание коэффициентов может усиливать компоненту красного (R) в результирующем скорректированном значении R', одновременно ослабляя какую-либо из компонент синего (B) и зеленого (G). Очевидно, что это позволяет решать проблемы, связанные с перекрытием цветов, которое может происходить при получении исходного байеровского изображения, вследствие "перетекания" части фильтрованного света для конкретного окрашенного пикселя в соседний пиксель другого цвета. В одном варианте осуществления, коэффициенты CCM могут быть предоставлены как 16-битовые числа в формате дополнения до 2 с 4 битами целой части и 12 битами дробной части (выраженные в представлении 4.12 с плавающей запятой). Дополнительно, логика 1179 цветовой коррекции может обеспечивать отсечку вычисленных скорректированных значений цвета, если значения превышают максимальное значение или ниже минимального значения.

[00543] Затем выходной сигнал логики 1179 цветовой коррекции RGB поступает на другой логический блок 1180 GOC. Логику 1180 GOC можно реализовать таким же образом, как логику 1178 GOC, и поэтому подробное описание предоставленных здесь функций коэффициента усиления, смещения и ограничения повторяться не будет. В одном варианте осуществления, применение логики 1180 GOC после цветовой коррекции может обеспечивать автоматическый баланс белого данных изображения на основании скорректированных значений цвета и также может регулировать изменения датчика в связи с отношениями красного к зеленому и синего к зеленому.

[00544] Затем выходной сигнал логики 1180 GOC передается на логику 1181 регулировки гаммы RGB для дальнейшей обработки. Например, логика 1181 регулировки гаммы RGB может обеспечивать гамма-коррекцию, тональную компрессию, согласование гистограммы и т.д. В соответствии с раскрытыми вариантами осуществления, логика 1181 регулировки гаммы может обеспечивать отображение входных значений RGB в соответствующие выходные значения RGB. Например, логика регулировки гаммы может обеспечивать набор из трех поисковых таблиц, по одной таблице для каждой из компонент R, G и B. В порядке примера, каждая поисковая таблица может быть сконфигурирована для хранения 256 записей 10-битовых значений, причем каждое значение представляет уровень выходного сигнала. Записи таблицы могут равномерно распределяться в диапазоне входных пиксельных значений, чтобы в случае, когда входное значение попадает между двумя записями, выходное значение можно было линейно интерполировать. В одном варианте осуществления, каждую из трех поисковых таблиц для R, G и B можно дублировать, в результате чего, поисковые таблицы "дважды буферизуются" в памяти, что позволяет использовать одну таблицу в ходе обработки, в то время как ее дубликат обновляется. На основании рассмотренных выше 10-битовых выходных значений, следует отметить, что 14-битовый сигнал изображения RGB эффективно подвергается понижающей дискретизации до 10 битов в результате процесса гамма-коррекции в настоящем варианте осуществления.

[00545] Выходной сигнал логики 1181 регулировки гаммы может отправляться в память 108 и/или на логику 1182 преобразования цветового пространства. Логика 1182 преобразования цветового пространства (CSC) может быть сконфигурирована для преобразования выходного сигнала RGB из логики 1181 регулировки гаммы в формат YCbCr, в котором Y представляет компоненту яркости, Cb представляет компоненту цветоразности синего, и Cr представляет компоненту цветоразности красного, каждый из которых может иметь 10-битовый формат в результате преобразования битовой глубины данных RGB от 14 битов до 10 битов в ходе операции регулировки гаммы. Как рассмотрено выше, в одном варианте осуществления, выходной сигнал RGB логики 1181 регулировки гаммы может подвергаться понижающей дискретизации до 10 битов и, таким образом, преобразовываться в 10-битовые значения YCbCr логикой 1182 CSC, которые затем могут перенаправляться на логику 904 обработки YCbCr, что будет дополнительно рассмотрено ниже.

[00546] Преобразование из области RGB в цветовое пространство YCbCr может осуществляться с использованием матрицы преобразования цветового пространства (CSCM). Например, в одном варианте осуществления, CSCM может быть матрицей 3×3 преобразования. Коэффициенты CSCM можно устанавливать в соответствии с известным уравнением преобразования, например, стандартами BT.601 и BT.709. Дополнительно, коэффициенты CSCM можно задавать гибко на основании желаемого диапазона входных и выходных сигналов. Таким образом, в некоторых вариантах осуществления, коэффициенты CSCM можно определять и программировать на основании данных, собранных в ходе статистической обработки в блоке 80 предварительной обработки ISP.

[00547] Процесс осуществления преобразования цветового пространства YCbCr на входном пикселе RGB можно выразить следующим образом:

$$\left[\begin{array}{ccc}Y& Cb& Cr\end{array}\right]=\left[\begin{array}{ccc}CSCM00& CSCM01& CSCM02\\ CSCM10& CSCM11& CSCM12\\ CSCM20& CSCM21& CSCM22\end{array}\right]\times \left[\begin{array}{ccc}R& G& B\end{array}\right]$$ , (100)

где R, G и B представляют текущие значения красного, зеленого и синего для входного пикселя в 10-битовой форме (например, обработанные логикой 1181 регулировки гаммы), CSCM00-CSCM22 представляют коэффициенты матрицы преобразования цветового пространства, и Y, Cb и Cr представляют результирующие компоненты яркости и цветности для входного пикселя. Соответственно, значения Y, Cb и Cr можно вычислить в соответствии с нижеследующими уравнениями 101-103:

$$Y=(CSCM00\times R)+(CSCM01\times G)+(CSCM02\times B)$$ (101)

$$Cb=(CSCM10\times R)+(CSCM11\times G)+(CSCM12\times B)$$ (102)

$$Cr=(CSCM20\times R)+(CSCM21\times G)+(CSCM22\times B)$$ (103)

После операции преобразования цветового пространства, результирующие значения YCbCr могут выводиться из логики 1182 CSC в качестве сигнала 918, который можно обрабатывать логикой 904 обработки YCbCr, как будет рассмотрено ниже.

[00548] В одном варианте осуществления, коэффициенты CSCM могут быть 16-битовыми числами в формате дополнения до 2 с 4 битами целой части и 12 битами дробной части (4.12). В другом варианте осуществления, логика 1182 CSC может быть дополнительно сконфигурирована для применения смещения к каждому из значений Y, Cb и Cr, и для ограничения полученных значений минимальным и максимальным значениями. Исключительно в порядке примера, предполагая, что значения YCbCr находятся в 10-битовой форме, смещение может находиться в диапазоне от -512 до 512, и минимальное и максимальное значения могут быть равны 0 и 1023, соответственно.

[00549] Возвращаясь к блок-схеме логики 82 конвейера ISP на фиг. 98, сигнал 918 YCbCr может отправляться на логику 922 выбора и/или в память 108. Логика 904 обработки YCbCr может принимать входной сигнал 924, который может представлять собой данные YCbCr-изображения из сигнала 918 или из памяти 108, как показано сигналом 920, в зависимости от конфигурации логики 922 выбора. Данные 924 YCbCr-изображения могут затем обрабатываться логикой 904 обработки YCbCr для яркостного повышения резкости, подавления цветности, понижения шума цветности, понижения шума цветности, а также регулировок яркости, контрастности и цвета, и т.д. Кроме того, логика 904 обработки YCbCr может обеспечивать отображение гаммы и масштабирование обработанных данных изображения в горизонтальном и вертикальном направлениях.

[00550] Блок-схема, изображающая более детализированный вид варианта осуществления логики 904 обработки YCbCr, представлена на фиг. 126. Как показано, логика 904 обработки YCbCr включает в себя логику 1183 повышения резкости изображения, логику 1184 для регулировки яркости, контрастности и/или цвета, логику 1185 регулировки гаммы YCbCr, логику 1186 прореживания цветности и логику 1187 масштабирования. Логика 904 обработки YCbCr может быть сконфигурирована для обработки пиксельных данных в форматах 4:4:4, 4:2:2 или 4:2:0 с использованием 1-плоскостной, 2-плоскостной или 3-плоскостной конфигурации памяти. Кроме того, в одном варианте осуществления, входной сигнал 924 YCbCr может обеспечивать информацию яркости и цветности в виде 10-битовых значений.

[00551] Очевидно, что 1-плоскостная, 2-плоскостная или 3-плоскостная означает количество плоскостей формирования изображения, используемых в памяти изображений. Например, в 3-плоскостном формате, каждая из компонент Y, Cb и Cr может использовать отдельные соответствующие плоскости памяти. В 2-плоскостном формате, первая плоскость может быть предоставлена для компоненты яркости (Y), и вторая плоскость, которая перемежает выборки Cb и Cr, может быть предоставлена для компонент цветности (Cb и Cr). В 1-плоскостном формате, единственная плоскость в памяти перемежается с выборками яркости и цветности. Кроме того, в отношении форматов 4:4:4, 4:2:2 и 4:2:0, очевидно, что формат 4:4:4 относится к формату дискретизации, в котором каждый из трех компонент YCbCr дискретизируются с одной и той же частотой дискретизации. В формате 4:2:2 компоненты цветности Cb и Cr прореживаются на половине частоты дискретизации компоненты яркости Y, из-за чего разрешение компонент цветности Cb и Cr снижается в два раза в горизонтальном направлении. Аналогично формат 4:2:0 прореживает компоненты цветности Cb и Cr в вертикальном и горизонтальном направлениях.

[00552] Обработка информации YCbCr может происходить в активной области источника, заданной в буфере источника, где активная область источника содержит "действительные" пиксельные данные. Например, на фиг. 127 проиллюстрирован буфер 1188 источника, в котором задана активная область 1189 источника. В проиллюстрированном примере, буфер источника может представлять 1-плоскостной формат 4:4:4, обеспечивающий исходные пиксели 10-битовых значений. Активная область 1189 источника может задаваться по отдельности для выборок яркости (Y) и выборок цветности (Cb и Cr). Таким образом, следует понимать, что активная область 1189 источника фактически может включать в себя множественные активные области источника для выборок яркости и цветности. Начало активных областей 1189 источника для яркости и цветности можно определить на основании смещения относительно базового адреса (0,0) 1190 буфера источника. Например, начальную позицию (Lm_X, Lm_Y) 1191 для яркостной активной области источника можно задать смещением 1193 по оси x и смещением 1196 по оси y относительно базового адреса 1190. Аналогично, начальную позицию (Ch_X, Ch_Y) 1192 для цветностной активной области источника можно задать смещением 1194 по оси x и смещением 1198 по оси y относительно базового адреса 1190. Следует отметить, что в настоящем примере, смещения 1196 и 1198 по оси y для яркости и цветности, соответственно, могут быть равны. На основании начальной позиции 1191, яркостная активная область источника может задаваться шириной 1195 и высотой 1200, каждая из которых может представлять количество выборок яркости в направлениях x и y, соответственно. Дополнительно, на основании начальной позиции 1192, цветностная активная область источника может задаваться шириной 1202 и высотой 1204, каждая из которых может представлять количество выборок цветности в направлениях x и y, соответственно.

[00553] На фиг. 128 дополнительно приведен пример, демонстрирующий, как можно определить активные области источника для выборок яркости и цветности в двухплоскостном формате. Например, как показано, яркостную активную область 1189 источника можно задать в первом буфере 1188 источника (имеющем базовый адрес 1190) как область, заданную шириной 1195 и высотой 1200 относительно начальной позиции 1191. Цветностную активную область 1208 источника можно задать во втором буфере 1206 источника (имеющем базовый адрес 1190) как область, заданную шириной 1202 и высотой 1204 относительно начальной позиции 1192.

[00554] Исходя из вышеизложенного и возвращаясь к фиг. 126, сигнал 924 YCbCr сначала принимается логикой 1183 повышения резкости изображения. Логика 1183 повышения резкости изображения может быть сконфигурирована для осуществления обработки повышения резкости изображения и подчеркивания краев для увеличения детализации текстуры и краев в изображении. Очевидно, что, повышение резкости изображения может повышать воспринимаемое разрешение изображения. Однако, в общем случае, желательно, чтобы существующий шум в изображении не обнаруживался как текстура и/или края, и, таким образом, не усиливался в процессе повышения резкости.

[00555] В соответствии с настоящим изобретением, логика 1183 повышения резкости изображения может осуществлять повышение резкости изображения с использованием фильтра с многомасштабной нерезкой маской на компоненте яркости (Y) сигнала YCbCr. В одном варианте осуществления, может быть предоставлено два или более низкочастотных гауссовых фильтра размеров масштаба разности. Например, согласно варианту осуществления, который предусматривает два гауссова фильтра, выходной сигнал (например, гауссово размывание) первого гауссова фильтра, имеющего первый радиус (x) вычитается из выходного сигнала второго гауссова фильтра, имеющего второй радиус (y), где x больше y, для формирования нерезкой маски. Дополнительные нерезкие маски также можно получить вычитанием выходных сигналов гауссовых фильтров из входного сигнала Y. В некоторых вариантах осуществления, метод также может предусматривать операции сравнения с адаптивным порогом коринга, которые могут осуществляться с использованием нерезких масок, что позволяет, на основании результата(ов) сравнения, прибавлять величины коэффициента усиления к базовому изображению, которое можно выбирать в качестве исходного входного изображения Y, или к выходному сигналу одного из гауссовых фильтров, для формирования окончательного выходного сигнала.

[00556] На фиг. 129 проиллюстрирована блок-схема, изображающая примерную логику 1210 для осуществления повышения резкости изображения в соответствии с вариантами осуществления описанного здесь изобретения. Логика 1210 представляет многомасштабную нерезкую маску фильтрации, которая может применяться к входному яркостному изображению Yin. Например, как показано, Yin принимается и обрабатывается двумя низкочастотными гауссовыми фильтрами 1212 (G1) и 1214 (G2). В настоящем примере, фильтр 1212 может быть фильтром 3×3, и фильтр 1214 может быть фильтром 5×5. Однако очевидно, что в дополнительных вариантах осуществления, также можно использовать более двух гауссовых фильтров, включающих в себя фильтры разных масштабов (например, 7×7, 9×9 и т.д.). Очевидно, что вследствие процесса низкочастотной фильтрации, высокочастотные компоненты, которые, в общем случае, соответствуют шуму, можно удалять из выходных сигналов G1 и G2 для создания "нерезких" изображений (G1out и G2out). Как будет рассмотрено ниже, использование нерезкого входного изображения в качестве базового изображения позволяет осуществлять шумопонижение как часть фильтра повышения резкости.

[00557] Гауссов фильтр 1212 3×3 и гауссов фильтр 1214 5×5 можно задать, как показано ниже:

$$G1=\frac{\left[\begin{array}{ccc}G{1}_1& G{1}_1& G{1}_1\\ G{1}_1& G{1}_0& G{1}_1\\ G{1}_1& G{1}_1& G{1}_1\end{array}\right]}{256}$$ $$G2=\frac{\left[\begin{array}{ccccc}G{2}_2& G{2}_2& G{2}_2& G{2}_2& G{2}_2\\ G{2}_2& G{2}_1& G{2}_1& G{2}_1& G{2}_2\\ G{2}_2& G{2}_1& G{2}_0& G{2}_1& G{2}_2\\ G{2}_2& G{2}_1& G{2}_1& G{2}_1& G{2}_2\\ G{2}_2& G{2}_2& G{2}_2& G{2}_2& G{2}_2\end{array}\right]}{256}$$

Исключительно в порядке примера, значения гауссовых фильтров G1 и G2 можно выбирать в одном варианте осуществления следующим образом:

$$G1=\frac{\left[\begin{array}{ccc}28& 28& 28\\ 28& 32& 28\\ 28& 28& 28\end{array}\right]}{256}$$ $$G2=\frac{\left[\begin{array}{ccccc}9& 9& 9& 9& 9\\ 9& 12& 12& 12& 9\\ 9& 12& 16& 12& 9\\ 9& 12& 12& 12& 9\\ 9& 9& 9& 9& 9\end{array}\right]}{256}$$

[00558] На основании Yin, G1out и G2out, можно формировать три нерезкие маски, Sharp1, Sharp2 и Sharp3. Sharp1 можно определить как результат вычитания нерезкого изображения G2out от гауссова фильтра 1214, из нерезкого изображения G1out гауссова фильтра 1212. Поскольку Sharp1, по существу, равна разности между двумя фильтрами низких частот, она может именоваться "среднеполосной" маской, поскольку шумовые компоненты более высоких частот уже отфильтрованы в нерезких изображениях G1out и G2out. Дополнительно, Sharp2 можно вычислять путем вычитания G2out из входного яркостного изображения Yin, и Sharp3 можно вычислять путем вычитания G1out из входного яркостного изображения Yin. Как будет рассмотрено ниже, схему адаптивного порога коринга можно применять с использованием нерезких масок Sharp1, Sharp2 и Sharp3.

[00559] Согласно логике 1216 выбора, базовое изображение можно выбирать на основании сигнала управления UnsharpSel. В проиллюстрированном варианте осуществления, базовым изображением может быть либо входное изображение Yin, либо фильтрованные выходные сигналы G1out или G2out. Очевидно, что, когда исходные изображения имеют высокую дисперсию шума (например, почти такую же высокую, как дисперсия сигнала), использование исходного изображения Yin в качестве базового изображения при повышении резкости может не обеспечивать достаточного снижения шумовых компонентов в ходе повышения резкости. Соответственно, при обнаружении конкретного порога шумового наполнения во входном изображении, логику 1216 выбора можно адаптировать для выбора одного из выходных сигналов G1out или G2out фильтра низких частот, из которых удалено высокочастотное наполнение, которое может включать в себя шум. В одном варианте осуществления, значение сигнала управления UnsharpSel можно определить путем анализа статистических данных, полученных в ходе статистической обработки в блоке 80 предварительной обработки ISP, для определения шумового наполнения изображения. В порядке примера, если входное изображение Yin имеет низкое шумовое наполнение, благодаря чему не происходит заметного повышения шума в результате процесса повышения резкости, входное изображение Yin можно выбирать в качестве базового изображения (например, UnsharpSel=0). Если определено, что входное изображение Yin содержит заметный уровень шума, из-за чего процесс повышения резкости может усиливать шум, можно выбирать одно из фильтрованных изображений G1out или G2out (например, UnsharpSel=1 или 2, соответственно). Таким образом, благодаря применению адаптивного метода выбора базового изображения, логика 1210, по существу, обеспечивает функцию шумопонижения.

[00560] Затем коэффициенты усиления можно применять к одной или более из масок Sharp1, Sharp2 и Sharp3 в соответствии со схемой адаптивного порога коринга, как описано ниже. Затем нерезкие значения Sharp1, Sharp2 и Sharp3 можно сравнивать с различными порогами SharpThd1, SharpThd2 и SharpThd3 (не обязательно соответственно) посредством компараторных блоков 1218, 1220 и 1222. Например, значение Sharp1 всегда сравнивается с SharpThd1 на компараторном блоке 1218. В отношении компараторного блока 1220, порог SharpThd2 можно сравнивать либо с Sharp1, либо с Sharp2, в зависимости от логики 1226 выбора. Например, логика 1226 выбора может выбирать Sharp1 или Sharp2 в зависимости от состояния сигнала управления SharpCmp2 (например, SharpCmp2=1 выбирает Sharp1; SharpCmp2=0 выбирает Sharp2). Например, в одном варианте осуществления, состояние SharpCmp2 можно определить в зависимости от дисперсии/наполнения шума входного изображения (Yin).

[00561] В проиллюстрированном варианте осуществления, в общем случае, предпочтительно задавать значения SharpCmp2 и SharpCmp3 для выбора Sharp1, если не обнаружено, что данные изображения имеют относительно низкий уровень шума. Дело в том, что Sharp1, будучи разностью между выходными сигналами гауссовых фильтров G1 и G2 низких частот, в общем случае, менее чувствителен к шуму, что позволяет уменьшать величину изменения значений SharpAmt1, SharpAmt2 и SharpAmt3 вследствие флуктуаций уровня шума "зашумленных" данных изображения. Например, если исходное изображение имеет высокую дисперсию шума, некоторые высокочастотные компоненты не удается уловить с использованием фиксированных порогов, и, таким образом, они могут усиливаться в процессе повышения резкости. Соответственно, в случае высокого шумового наполнения входного изображения, некоторое шумовое наполнение может присутствовать в Sharp2. В таких случаях, SharpCmp2 можно устанавливать равным 1 для выбора среднеполосной маски Sharp1, которая, как рассмотрено выше, снизила высокочастотное наполнение вследствие того, что является разностью двух выходных сигналов фильтров низких частот, и, таким образом, менее чувствительна к шуму.

[00562] Очевидно, что аналогичный процесс может применяться к выбору Sharp1 или Sharp3 логикой 1224 выбора под управлением SharpCmp3. В одном варианте осуществления, SharpCmp2 и SharpCmp3 можно устанавливать равными 1 по умолчанию (например, использовать Sharp1), и устанавливать равными 0 только для тех входных изображений, которые идентифицированы как имеющие, в общем случае, низкие значения дисперсии шума. Это, по существу, обеспечивает схему адаптивного порога коринга, в которой выбор значения сравнения (Sharp1, Sharp2 или Sharp3) является адаптивным на основании дисперсии шума входного изображения.

[00563] На основании выходных сигналов компараторных блоков 1218, 1220 и 1222, можно определить выходное изображение повышенной резкости Ysharp путем применения нерезких масок с примененным коэффициентом усиления к базовому изображению (например, выбранному посредством логики 1216). Например, на компараторном блоке 1222, SharpThd3 сравнивается с B-входом, предоставленным логикой 1224 выбора, который будет именоваться здесь "SharpAbs", и может быть равен Sharp1 или Sharp3 в зависимости от состояния SharpCmp3. Если SharpAbs больше порога SharpThd3, то коэффициент усиления SharpAmt3 применяется к Sharp3, и результирующее значение прибавляется к базовому изображению. Если SharpAbs меньше порога SharpThd3, то можно применять ослабленный коэффициент усиления Att3. В одном варианте осуществления, ослабленный коэффициент усиления Att3 можно определить следующим образом:

$$Att3=\frac{SharpAmt3\times SharpAbs}{SharpThd3}$$ (104)

где SharpAbs равен Sharp1 или Sharp3, что определяется логикой 1224 выбора. Выбор суммирования базового изображения с полным коэффициентом усиления (SharpAmt3) или ослабленным коэффициентом усиления (Att3) осуществляется логикой 1228 выбора на основании выходного сигнала компараторного блока 1222. Очевидно, что использование ослабленного коэффициента усиления позволяет разрешать ситуации, в которых SharpAbs не превышает порог (например, SharpThd3), но дисперсия шума изображения, тем не менее, близка к данному порогу. Это позволяет сделать менее заметным переход между резким и нерезким пикселями. Например, если в таких обстоятельствах данные изображения пропускаются без ослабленного коэффициента усиления, результирующий пиксель может выглядеть как дефектный пиксель (например, залипший пиксель).

[00564] Затем аналогичный процесс можно применять в отношении компараторного блока 1220. Например, в зависимости от состояния SharpCmp2, логика 1226 выбора может обеспечивать Sharp1 или Sharp2 в качестве входного сигнала компараторного блока 1220, который сравнивается с порогом SharpThd2. В зависимости от выхода компараторного блока 1220, либо коэффициент усиления SharpAmt2, либо ослабленный коэффициент усиления на основании SharpAmt2, Att2, применяется к Sharp2 и суммируется с выходным сигналом логики 1228 выбора, рассмотренным выше. Очевидно, что ослабленный коэффициент усиления Att2 можно вычислить аналогично вышеприведенному уравнению 104, за исключением того, что коэффициент усиления SharpAmt2 и порог SharpThd2 применяются к SharpAbs, в качестве которого можно выбирать Sharp1 или Sharp2.

[00565] После этого, коэффициент усиления SharpAmt1 или ослабленный коэффициент усиления Att1 применяется к Sharp1, и результирующее значение суммируется с выходным сигналом логики 1230 выбора для создания пиксельного выхода повышенной резкости Ysharp (из логики 1232 выбора). Применять ли коэффициент усиления SharpAmt1 или ослабленный коэффициент усиления Att1, можно определить на основании выходного сигнала компараторного блока 1218, который сравнивает Sharp1 с порогом SharpThd1. Опять же, ослабленный коэффициент усиления Att1 можно определить аналогично вышеприведенному уравнению 104, за исключением того, что коэффициент усиления SharpAmt1 и порог SharpThd1 применяются к Sharp1. Результирующие пиксельные значения повышенной резкости, масштабированные с использованием каждой из трех масок, прибавляются к входному пикселю Yin для формирования выходного сигнала повышенной резкости Ysharp, который, в одном варианте осуществления, можно обрезать до 10 битов (предполагая, что обработка YCbCr происходит с 10-битовой точностью).

[00566] Очевидно, что, по сравнению с традиционными методами нерезкого маскирования, методы повышения резкости изображения, изложенные в этом раскрытии, могут обеспечивать усовершенствованное подчеркивание текстур и краев с одновременным понижением шума в выходном изображении. В частности, настоящее изобретение можно успешно применять в приложениях, где изображения, захваченные с использованием, например, КМОП-датчиков изображения, демонстрируют низкое отношение сигнал/шум, например изображения, полученные в условиях низкой освещенности с использованием камер пониженного разрешения, встроенных в портативные устройства (например, мобильные телефоны). Например, когда дисперсия шума и дисперсия сигнала сравнимы, трудно использовать фиксированный порог для повышения резкости, поскольку некоторые шумовые компоненты будут подвергаться повышению резкости совместно с текстурой и краями. Соответственно, предоставленные здесь методы, как рассмотрено выше, позволяют отфильтровывать шум от входного изображения с использованием многомасштабных гауссовых фильтров для выделения признаков из нерезких изображений (например, G1out и G2out) для предоставления изображения повышенной резкости, которое также демонстрирует сниженное шумовое наполнение.

[00567] Прежде чем продолжить, следует понять, что проиллюстрированная логика 1210 призвана обеспечивать лишь один примерный вариант осуществления настоящего изобретения. В других вариантах осуществления, большее или меньшее количество признаков может быть предоставлено логикой 1183 повышения резкости изображения. Например, в некоторых вариантах осуществления, вместо применения ослабленного коэффициента усиления, логика 1210 может просто передавать базовое значение. Дополнительно, некоторые варианты осуществления могут не включать в себя логические блоки 1224, 1226 или 1216 выбора. Например, компараторные блоки 1220 и 1222 могут просто принимать значения Sharp2 и Sharp3, соответственно, а не выходной сигнал выбора из логических блоков 1224 и 1226 выбора, соответственно. Хотя такие варианты осуществления могут не обеспечивать признаки повышения резкости и/или шумопонижения, которые столь же надежны, как реализация, показанная на фиг. 129, очевидно, что такие варианты конструкции могут быть результатом ограничений, связанных с затратами и/или бизнесом.

[00568] В настоящем варианте осуществления, логика 1183 повышения резкости изображения также может обеспечивать признаки подчеркивания краев и подавления цветности после получения выходного сигнала YSharp изображения повышенной резкости. Ниже мы рассмотрим каждый из этих дополнительных признаков. На фиг. 130, примерная логика 1234 для осуществления подчеркивания краев, которую можно реализовать, располагая ее после логики 1210 повышения резкости, показанной на фиг. 129, проиллюстрирована в соответствии с одним вариантом осуществления. Как показано, исходное входное значение Yin обрабатывается фильтром Собеля 1236 для обнаружения края. Фильтр Собеля 1236 может определять значение градиента YEdge на основании пиксельного блока 3×3 (обозначенного "A") исходного изображения, где Yin является центральным пикселем блока 3×3. В одном варианте осуществления, фильтр 1236 Собеля может вычислять YEdge путем вычисления свертки исходных данных изображения для обнаружения изменений в горизонтальном и вертикальном направлениях. Этот процесс показан ниже в уравнениях 105-107.

$$S_x=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$$ $$\begin{array}{ccc}& & \end{array}$$ $$S_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$$

$$G_x=S_x\times A$$ , (105)

$$G_y=S_y\times A$$ , (106)

$$YEdg{e}_{}=G_x\times G_y$$ , (107)

где S_x и S_y представляют матричные операторы для градиентного обнаружения силы края в горизонтальном и вертикальном направлениях, соответственно, и G_x и G_y представляют градиентные изображения, которые содержат производные горизонтального и вертикального изменения, соответственно. Соответственно, выход YEdge определяется произведение G_x и G_y.

[00569] Затем YEdge принимается логикой 1240 выбора совместно со среднеполосной маской Sharp1, как рассмотрено выше на фиг. 129. На основании сигнала EdgeCmp управления, Sharp1 или YEdge сравнивается с порогом, EdgeThd, на компараторном блоке 1238. Состояние EdgeCmp можно определить, например, на основании шумового наполнения изображения, таким образом, обеспечивая схему адаптивного порога коринга для обнаружения и подчеркивания края. Затем выход компараторного блока 1238 может поступать на логику 1242 выбора, и может применяться либо полный коэффициент усиления, либо ослабленный коэффициент усиления. Например, когда выбранный B-вход в компараторный блок 1238 (Sharp1 или YEdge) выше EdgeThd, YEdge умножается на краевой коэффициент усиления, EdgeAmt, для определения величины подчеркивания краев, подлежащего применению. Если B-вход на компараторном блоке 1238 меньше EdgeThd, то может применяться ослабленный краевой коэффициент усиления, AttEdge, во избежание заметных переходов между пикселем с подчеркнутым краем и исходным пикселем. Очевидно, что AttEdge можно вычислять аналогично тому, как показано выше в уравнении 104, но при этом EdgeAmt и EdgeThd применяются к "SharpAbs", который может представлять собой Sharp1 или YEdge, в зависимости от выходного сигнала логики 1240 выбора. Таким образом, краевой пиксель, усиленный с использованием коэффициента усиления (EdgeAmt) или ослабленного коэффициента усиления (AttEdge), может прибавляться к YSharp (выходному сигналу логики 1210 на фиг. 129) для получения выходного пикселя Yout с подчеркнутым краем, который, в одном варианте осуществления, можно обрезать до 10 битов (предполагая, что обработка YCbCr происходит с 10-битовой точностью).

[00570] В отношении признаков подавления цветности, предоставленных логикой 1183 повышения резкости изображения, такие признаки могут ослаблять цветность на краях яркости. В общем случае, подавление цветности может осуществляться путем применения коэффициента усиления цветности (коэффициента ослабления) меньшего 1 в зависимости от значения (YSharp, Yout), полученного на рассмотренных выше этапах яркостного повышения резкости и/или подчеркивания краев. В порядке примера, фиг. 131 демонстрирует график 1250, который включает в себя кривую 1252, представляющую коэффициенты усиления цветности, которые можно выбирать для соответствующих значений яркости при повышенной резкости (YSharp). Данные, представленные графиком 1250, можно реализовать в виде поисковой таблицы значений YSharp и соответствующих коэффициентов усиления цветности между 0 и 1 (коэффициента ослабления). Поисковые таблицы используются для аппроксимации кривой 1252. Для значений YSharp, которые близко расположены между двумя коэффициентами ослабления в поисковой таблице, линейная интерполяция может применяться к двум коэффициентам ослабления, соответствующим значениям YSharp выше или ниже текущего значения YSharp. Кроме того, в других вариантах осуществления, входное значение яркости также можно выбирать как одно из значений Sharp1, Sharp2 и Sharp3, определенных логикой 1210, как рассмотрено выше на фиг. 129, или значения YEdge, определенного логикой 1234, рассмотренной на фиг. 130.

[00571] Затем выходной сигнал логики 1183 повышения резкости изображения (фиг. 126) обрабатывается логикой 1184 регулировки яркости, контрастности и цвета (BCC). Функциональная блок-схема, изображающая вариант осуществления логики 1184 регулировки BCC, представлена на фиг. 132. Как показано, логика 1184 включает в себя блок 1262 обработки яркости и контрастности, блок 1264 глобального управления оттенками и блок 1266 управления насыщенностью. Проиллюстрированный здесь вариант осуществления предусматривает обработку данных YCbCr 10-битовой точности, хотя другие варианты осуществления могут использовать разные битовые глубины. Функции каждого из блоков 1262, 1264 и 1266 рассмотрены ниже.

[00572] На блоке 1262 обработки яркости и контрастности, смещение, YOffset, сначала вычитается из данных яркости (Y) для установки уровня черного на нуль. Это делается для того, чтобы гарантировать, что регулировка контрастности не изменяет уровни черного. Затем значение яркости умножается на значение коэффициента усиления контрастности для применения управления контрастностью. В порядке примера, значение коэффициента усиления контрастности может быть 12-битовым беззнаковым числом с 2 битами целой части и 10 битами дробной части, таким образом, обеспечивающим диапазон коэффициента усиления контрастности, до 4 раз превышающий пиксельное значение. После этого, регулировку яркости можно реализовать путем прибавления (или вычитания) значения смещения яркости из данных яркости. В порядке примера, смещение яркости в настоящем варианте осуществления может представлять собой 10-битовое значение в формате дополнения до 2, имеющее диапазон от -512 до +512. Кроме того, следует отметить, что регулировка яркости осуществляется после регулировки контрастности во избежание изменения смещения постоянной составляющей при изменении контрастности. После этого, начальное YOffset прибавляется обратно к отрегулированным данным яркости для переустановки уровня черного.

[00573] Блоки 1264 и 1266 обеспечивают регулировку цвета на основании тоновых характеристик данных Cb и Cr. Как показано, смещение 512 (предполагая 10-битовую обработку) сначала вычитается из данных Cb и Cr для установки диапазона приблизительно равным нулю. Затем тон регулируется в соответствии со следующими уравнениями:

Cb_adj=Cb cos(θ)+Cr sin(θ), (108)

Cr_adj=Cr cos(θ) - Cb sin(θ), (109)

где Cb_adj и Cr_adj представляют отрегулированные значения Cb и Cr, и θ представляет угол тона, который можно вычислять следующим образом:

θ=arctan $$\left(\frac{Cr}{Cb}\right)$$ (110)

Вышеописанные операции изображены логикой в блоке 1264 глобального управления оттенками и могут быть представлены следующей матричной операцией:

$$\left[\begin{array}{c}C{b}_{adj}\\ C{r}_{adj}\end{array}\right]=\left[\begin{array}{cc}Ka& Kb\\ -Kb& Ka\end{array}\right]\left[\begin{array}{c}Cb\\ Cr\end{array}\right]$$ , (111)

где, Ka=cos(θ), Kb=sin(θ), и θ задан выше в уравнении 110.

[00574] Затем управление насыщенностью может применяться к значениям Cb_adj и Cr_adj, что показано блоком 1266 управления насыщенностью. В проиллюстрированном варианте осуществления, управление насыщенностью осуществляется путем применения глобального коэффициента насыщенности и коэффициента насыщенности на основе оттенка для каждого из значений Cb и Cr. Управление насыщенностью на основе оттенка может улучшать воспроизведение цветов. Тон цвета можно представить в цветовом пространстве YCbCr, как показано круговой диаграммой 1270 цветов на фиг. 133. Очевидно, что, цветовой круг 1270 оттенков и насыщенности YCbCr можно вывести путем сдвига идентичного цветового круга в цветовом пространстве HSV (оттенок, насыщенность и интенсивность) приблизительно на 109 градусов. Как показано, график 1270 включает в себя окружные значения, представляющие коэффициент насыщенности (S) в диапазоне от 0 до 1, а также угловые значения, представляющие θ, заданный выше, в диапазоне от 0 до 360°. Каждый θ может представлять отдельный цвет (например, 49є=малиновый, 109є=красный, 229є=зеленый, и т.д.). Оттенок цвета при конкретном угле θ оттенка можно регулировать путем выбора надлежащего коэффициента S насыщенности.

[00575] Возвращаясь к фиг. 132, угол θ оттенка (вычисленный в блоке 1264 глобального управления оттенками) можно использовать как индекс для поисковой таблицы 1268 насыщенности Cb и поисковой таблицы 1269 насыщенности Cr. В одном варианте осуществления, поисковые таблицы 1268 и 1269 насыщенности могут содержать 256 значений насыщенности, равномерно распределенных в диапазоне оттенка 0-360° (например, первая запись поисковой таблицы находится на 0° и последняя запись находится на 360°), и значение S насыщенности на данном пикселе можно определить путем линейной интерполяции значений насыщенности в поисковой таблице непосредственно ниже и выше текущего угла θ оттенка. Окончательное значение насыщенности для каждой из компонент Cb и Cr получается путем умножения глобального значения насыщенности (которое может быть глобальной постоянной для каждого из Cb и Cr) на определенное значение насыщенности на основе оттенка. Таким образом, окончательные скорректированные значения Cb' и Cr' можно определить путем умножения Cb_adj и Cr_adj с их соответствующими окончательными значениями насыщенности, как показано в блоке 1266 управления насыщенностью на основе оттенка.

[00576] После этого, выходной сигнал логики 1184 BCC поступает на логику 1185 регулировки гаммы YCbCr, как показано на фиг. 126. В одном варианте осуществления, логика 1185 регулировки гаммы может обеспечивать функции нелинейного отображения для каналов Y, Cb и Cr. Например, входные значения Y, Cb и Cr отображаются в соответствующие выходные значения. Опять же, предполагая, что данные YCbCr обрабатываются в 10 битах, можно использовать поисковую таблицу 256 интерполированных 10-битовых записей. Три такие поисковые таблицы могут быть предоставлены по одной для каждого из каналов Y, Cb и Cr. Каждая из 256 входных записей может быть равномерно распределена, и выходной сигнал можно определить путем линейной интерполяции выходных значений, отображаемых в индексы непосредственно выше и ниже текущего входного индекса. В некоторых вариантах осуществления, также можно использовать неинтерполированную поисковую таблицу, которая имеет 1024 записи (для 10-битовых данных), но может предъявлять значительно более высокие требования к памяти. Очевидно, что, регулируя выходные значения поисковых таблиц, функцию регулировки гаммы YCbCr также можно использовать для осуществления некоторых эффектов фильтра изображения, например, черно-белого, сепии, негативные изображения, соляризации и т.д.

[00577] Затем прореживание цветности может применяться логикой 1186 прореживания цветности к выходному сигналу логики 1185 регулировки гаммы. В одном варианте осуществления, логика 1186 прореживания цветности может быть сконфигурирована для осуществления горизонтального прореживания для преобразования данных YCbCr из формата 4:4:4 в формат 4:2:2, в котором информация цветности (Cr и Cr) прореживается до половины частоты дискретизации данных яркости. Исключительно в порядке примера, прореживание может осуществляться путем применения 7-отводного фильтра низких частот, например полуполосового фильтра Ланцоша, к набору из 7 горизонтальных пикселей, как показано ниже:

$$Out=\frac{\begin{array}{l}C0\times in(i-3)+C1\times in(i-2)+C2\times in(i-1)+C3\times in(i)+\\ C4\times in(i+1)+C5\times in(i+2)+C6\times in(i+3)\end{array}}{512}$$ , (112)

где in(i) представляет входной пиксель (Cb или Cr), и C0-C6 представляют коэффициенты фильтрации 7-отводного фильтра. Каждый входной пиксель имеет независимый коэффициент фильтрации (C0-C6) для предоставления гибкого смещения фазы для фильтрованных выборок цветности.

[00578] Кроме того, прореживание цветности, в ряде случаев, также можно осуществлять без фильтрации. Это может оказаться полезным, когда исходное изображение первоначально принимается в формате 4:2:2, но подвергается повышающей дискретизации до формата 4:4:4 для обработки YCbCr. В этом случае, результирующее прореженное изображение в формате 4:2:2 идентично исходному изображению.

[00579] Затем данные YCbCr, выводимые из логики 1186 прореживания цветности, можно масштабировать с использованием логики 1187 масштабирования до вывода из блока 904 обработки YCbCr. Функция логики 1187 масштабирования может быть аналогична функциональным возможностям логики 709, 710 масштабирования в фильтре 652 компенсации биннинга блока 150 предварительной обработки пикселей, рассмотренных выше со ссылкой на фиг. 59. Например, логика 1187 масштабирования может осуществлять горизонтальное и вертикальное масштабирование в два этапа. В одном варианте осуществления, 5-отводный многофазный фильтр можно использовать для вертикального масштабирования, и 9-отводный многофазный фильтр можно использовать для горизонтального масштабирования. Многоотводные многофазные фильтры могут умножать пиксели, выбранные из источника изображения, на весовой коэффициент (например, коэффициент фильтрации) и затем суммировать выходные сигналы для формирования окончательного пикселя. Выбранные пиксели могут выбираться в зависимости от позиции текущего пикселя и количества отводов фильтров. Например, с помощью вертикального 5-отводного фильтра, можно выбирать два соседних пикселя на каждой вертикальной стороне текущего пикселя, и, с помощью горизонтального 9-отводного фильтра, можно выбирать четыре соседних пикселя на каждой горизонтальной стороне текущего пикселя. Коэффициенты фильтрации могут обеспечиваться из поисковой таблицы и могут определяться текущей межпиксельной дробной позицией. Затем выходной сигнал 926 логики 1187 масштабирования выводится из блока 904 обработки YCbCr.

[00580] Возвращаясь обратно к фиг. 98, обработанный выходной сигнал 926 может отправляться в память 108, или, в соответствии с вариантом осуществления схемы 32 обработки изображений, показанной на фиг. 7, может выводиться из логики 82 конвейерной обработки ISP в качестве сигнала 114 изображения в аппаратные средства отображения (например, на дисплей 28) для просмотра пользователем либо в механизм сжатия (например, кодер 118). В некоторых вариантах осуществления, сигнал 114 изображения дополнительно может обрабатываться посредством графического процессора и/или механизма сжатия и сохраняться до подвергания восстановлению и предоставления на дисплей. Дополнительно, один или более буферов кадров также могут предоставляться, чтобы управлять буферизацией данных изображения, выводимых на дисплей, в частности, относительно данных видеоизображения. Дополнительно, в варианте осуществления, в котором предоставляется логика 120 окончательной обработки ISP (например, фиг. 8), сигнал 114 изображения может отправляться дальше для дополнительных этапов постобработки, как пояснено в следующем разделе.

Логика окончательной обработки ISP

[00581] После подробного описания логики 80 предварительной обработки ISP и конвейера 82 ISP выше, настоящее пояснение далее фокусируется на логику 120 окончательной обработки ISP, которая проиллюстрирована выше на фиг. 8. Как пояснено выше, логика 120 окончательной обработки ISP, в общем, функционирует с возможностью принимать обработанные данные изображения, предоставляемые посредством конвейера 82 ISP или из памяти 108 (сигнал 124), и выполнять дополнительные операции постобработки изображения, т.е. до вывода данных изображения на устройство 28 отображения.

[00582] Блок-схема, показывающая вариант осуществления логики 120 окончательной обработки ISP, проиллюстрирована на фиг. 134. Как проиллюстрировано, логика 120 окончательной обработки ISP может включать в себя логику 2200 обнаружения признаков, логику 2202 локальной тональной компрессии (LTM), логику 2204 регулировки яркости, контрастности и цвета, логику 2206 масштабирования и блок 2208 обработки окончательной статистики. Логика 2200 обнаружения признаков может включать в себя логику обнаружения лиц в одном варианте осуществления и может быть выполнена с возможностью идентифицировать положение(я) лиц/черт лица в кадре изображения, показанном здесь посредством ссылочной позиции 2201. В других вариантах осуществления, логика 2200 обнаружения признаков также может быть выполнена с возможностью обнаруживать положения других типов признаков, таких как углы объектов в кадре изображения. Например, эти данные могут быть использованы для того, чтобы идентифицировать положение признаков в последовательных кадрах изображения, чтобы определять оценку глобального движения между кадрами, которая затем может быть использована для того, чтобы выполнять определенные операции обработки изображений, к примеру, регистрацию изображения. В одном варианте осуществления, идентификация угловых признаков и т.п. может быть, в частности, полезной для алгоритмов, которые комбинируют несколько кадров изображения, к примеру, в определенных алгоритмах формирования изображения в расширенном динамическом диапазоне (HDR), а также определенных алгоритмах сшивки панорамных изображений.

[00583] Для простоты, логика 2200 обнаружения признаков упоминается в нижеприведенном описании как логика обнаружения лиц. Тем не менее, следует понимать, что логика 2200 не имеет намерение ограничения просто логикой обнаружения лиц и может быть выполнена с возможностью обнаруживать другие типы признаков вместо или в дополнение к чертам лица. Например, в одном варианте осуществления, логика 2200 может обнаруживать угловые признаки, как пояснено выше, и вывод 2201 логики 2200 обнаружения признаков может включать в себя угловые признаки.

[00584] Логика 2200 обнаружения лиц может быть выполнена с возможностью принимать данные 114 YCC-изображения, предоставляемые посредством конвейера 82 ISP, или может принимать изображение уменьшенного разрешения (представленное посредством сигнала 2207) из логики 2206 масштабирования и обнаруживать положение и позиции лиц и/или черт лица в кадре изображения, соответствующем выбранным данным изображения. Как показано на фиг. 134, ввод в логику 2200 обнаружения лиц может включать в себя схему 2196 выбора, которая принимает данные 114 YCC-изображения из конвейера 82 ISP и изображение 2207 уменьшенного разрешения из логики 2206 масштабирования. Управляющий сигнал, который может предоставляться посредством управляющей логики 84 ISP (например, процессор, выполняющий программно-аппаратное обеспечение), может определять то, какой ввод предоставляется в логику 2200 обнаружения лиц.

[00585] Обнаруженное положение лиц/черт лица, представленных здесь посредством сигнала 2201, может предоставляться в качестве данных обратной связи в один или более предыдущих блоков обработки, а также один или более последующих блоков. В качестве примера, данные 2201 могут представлять положения, в которых лица или черты лица отображаются в настоящем кадре изображения. В некоторых вариантах осуществления, данные 2201 могут включать в себя изображение преобразования уменьшенного разрешения, которое может предоставлять дополнительную информацию для обнаружения лиц. Дополнительно, логика 2200 обнаружения лиц, в некоторых вариантах осуществления, может использовать алгоритм обнаружения черт лица, к примеру, алгоритм Виолы-Джонса для обнаружения черт лица/объектов, или может использовать любой другой алгоритм, технологии преобразования либо обнаружения/совпадения конструкции, подходящие для обнаружения черт лица в изображении.

[00586] В проиллюстрированном варианте осуществления, данные 2201 обнаружения лиц могут быть возвращены в управляющую логику 84, которая может представлять процессор, выполняющий программно-аппаратное обеспечение для управления схемой 32 обработки изображений. Управляющая логика 84, в одном варианте осуществления, может предоставлять данные 2201 в контур управления для обработки предварительной статистики (например, включающий в себя блоки (142 и 144) обработки предварительной статистики логики 80 предварительной обработки ISP по фиг. 10), посредством чего блоки 142 или 144 обработки статистики могут использовать данные 2201 обратной связи для того, чтобы размещать надлежащее окно (на) и/или выбирать конкретные мозаичные элементы для обработки автоматического баланса белого, автоматической установки экспозиции и автофокусировки. Следует принимать во внимание, что повышение точности цвета и/или тона для областей изображения, которые содержат черты лица, может приводить к изображению, которое выглядит более эстетически приятным для зрителя. Как дополнительно пояснено ниже, данные 2201 также могут предоставляться в логику 2202 LTM, блок 2208 обработки окончательной статистики, а также в блок 118 кодера/декодера.

[00587] Логика 2202 LTM также может принимать данные 114 YCC-изображения из конвейера 82 ISP. Как пояснено выше, логика 2202 LTM может быть выполнена с возможностью применять тональную компрессию к данным изображения 114. Следует принимать во внимание, что технологии тональной компрессии могут быть использованы в приложениях для обработки изображений, чтобы отображать один набор пиксельных значений другому. В случаях, когда входные и выходные изображения имеют идентичную битовую точность, тональная компрессия может не требоваться, хотя некоторые варианты осуществления могут применять тональную компрессию без сжатия, чтобы улучшать характеристики контрастности в выходном изображении (например, чтобы заставить яркие области выглядеть более темными, и темные области выглядеть более яркими). Тем не менее, когда входные и выходные изображения имеют различные битовые точности, тональная компрессия может применяться, чтобы отображать значения входного изображения в соответствующие значения выходного диапазона входного изображения. Например, сцены могут иметь динамический диапазон в 25000:1 или больше, тогда как стандарты сжатия могут разрешать гораздо меньший диапазон (например, 256:1) для целей отображения, и иногда еще меньший диапазон (например, 100:1) для печати.

[00588] Таким образом, только в качестве примера, тональная компрессия может быть полезной в таком случае, когда данные изображения, выраженные с точностью в 10 битов или более, должны выводиться в формате с меньшей точностью, к примеру, 8-битового JPEG-изображения. Дополнительно, тональная компрессия, в частности, может быть полезной при применении к изображениям в расширенном динамическом диапазоне (HDR). В цифровой обработке изображений HDR-изображения могут быть сформированы посредством получения нескольких изображений сцены на различных уровнях экспозиции и комбинирования или составления изображений таким образом, чтобы формировать изображение, которое имеет динамический диапазон, который превышает динамический диапазон, который может достигаться с использованием только экспозиции. Дополнительно, в некоторых системах формирования изображения, датчик изображения (например, датчик 90a, 90b) может быть выполнен с возможностью получать HDR-изображения без необходимости комбинирования нескольких изображений для того, чтобы формировать составное HDR-изображение.

[00589] Логика 2202 LTM проиллюстрированного варианта осуществления может использовать операторы локальной тональной компрессии (например, пространственное варьирование), которые могут быть определены на основе локальных признаков в кадре изображения. Например, операторы локальной тональной компрессии могут быть основаны на области и могут изменяться локально на основе контента в конкретной области кадра изображения. Только в качестве примера, операторы локальной тональной компрессии могут быть основаны на HDR-сжатии в области градиентов, фотографическом тоновоспроизведении или обработке изображений Retinex®.

[00590] Можно принимать во внимание, что технологии локальной тональной компрессии при применении к изображениям могут, в общем, формировать выходные изображения, имеющие улучшенные характеристики контрастности, и могут выглядеть более эстетически приятными для зрителя относительно изображений, обработанных с использованием глобальной тональной компрессии. Фиг. 135 и 136 иллюстрируют некоторые недостатки, ассоциированные с отображением глобальных тонов. Например, ссылаясь на фиг. 135, график 2400 представляет тональную компрессию входного изображения, имеющего входной диапазон 2401 в выходной диапазон 2403. Диапазон тона во входном изображении представляется посредством кривой 2402, на которой значения 2404 представляют яркие области изображения, а значения 2406 представляют темные области изображения.

[00591] В качестве примера, в одном варианте осуществления, диапазон 2401 входного изображения может иметь 12-битовую точность (0-4095) и может отображаться в выходной диапазон 2403 имеющей 8-битовую точность (0-255, например, JPEG-изображение). Фиг. 135 показывает линейный процесс тональной компрессии, в котором кривая 2402 линейно отображается в кривую 2410. Как проиллюстрировано, результат процесса тональной компрессии, показанного на фиг. 135, приводит к сжатию диапазона 2404, соответствующего ярким областям входного изображения, в меньший диапазон 2412, а также приводит к сжатию диапазона 2406, соответствующего темным областям входного изображения, в меньший диапазон 2414. Уменьшение диапазона тонов для темных областей (например, теней) и ярких областей может оказывать отрицательное влияние на свойства контрастности и может выглядеть эстетически неприятным для зрителя.

[00592] Ссылаясь на фиг. 136, один способ для того, чтобы разрешать проблемы, ассоциированные со сжатием "яркого" диапазона 2404 (сжатого до диапазона 2412) и "темного" диапазона 2406 (сжатого до диапазона 2414), как показано на фиг. 176A, состоит в том, чтобы использовать нелинейную технологию тональной компрессии. Например, на фиг. 136, кривая 2402 тонов, представляющая входное изображение, отображается с использованием нелинейной S-образной кривой (или S-кривой) 2422. В результате нелинейного отображения яркая часть входного диапазона 2404 отображается в яркую часть выходного диапазона 2424, и, аналогично, темная часть входного диапазона 2406 отображается в темную часть выходного диапазона 2426. Как показано, яркие и темные диапазоны 2424 и 2426 выходного изображения по фиг. 136 крупнее ярких и темных диапазонов 2412 и 2414 выходного изображения по фиг. 135 и в силу этого сохраняют больше яркого и темного контента входного изображения. Тем не менее, вследствие нелинейного (например, S-кривой) аспекта технологии отображения по фиг. 136, значения в среднем диапазоне 2428 выходного изображения могут выглядеть более плоскими, что также может быть эстетически неприятным для зрителя.

[00593] Соответственно, варианты осуществления настоящего раскрытия могут реализовывать технологии локальной тональной компрессии с использованием операторов локальной тональной компрессии, чтобы обрабатывать дискретные секции кадра текущего изображения, который может быть разделен на области на основе локальных признаков в изображении, таких как характеристики яркости. Например, как показано на фиг. 137, часть 2430 кадра изображения, принимаемого посредством логики 120 окончательной обработки ISP, может включать в себя яркую область 2432 и темную область 2434. В качестве примера, яркая область 2432 может представлять светлую область изображения, к примеру, небо или горизонт, тогда как темная область может представлять относительно более темную область изображения, к примеру, фон или ландшафт. Локальная тональная компрессия может применяться отдельно для каждой из областей 2432 и 2434, чтобы формировать выходное изображение, которое сохраняет больший динамический диапазон входного изображения относительно вышеописанных технологий глобальной тональной компрессии, тем самым повышая локальную контрастность и предоставляя выходное изображение, которое является эстетически более приятным для зрителя.

[00594] Пример того, как локальная тональная компрессия может быть реализована в настоящем варианте осуществления, показывается в качестве примера на фиг. 138 и 139. В частности, фиг. 138 изображает традиционную технологию локальной тональной компрессии, которая может в некоторых случаях приводить к ограниченному выходному диапазону, а фиг. 139 изображает адаптивный процесс локальной тональной компрессии, который может быть реализован посредством логики 2202 LTM, которая может использовать полный выходной диапазон, даже если часть входного диапазона не используется посредством кадра изображения.

[00595] Обращаясь сначала к фиг. 138, график 2440 представляет применение локальной тональной компрессии ко входному изображению с большей битовой точностью с тем, чтобы формировать выходное изображение с меньшей битовой точностью. Например, в проиллюстрированном примере, данные входного изображения с большей битовой точностью могут быть 12-битовыми данными изображения (с 4096 входными значениями (например, значениями 0-4095)), как представлено посредством диапазона 2442, который подвергнут тональной компрессии, чтобы формировать 8-битовый вывод (с 256 выходными значениями (например, 0-255)), представленный здесь посредством диапазона 2444. Следует понимать, что битовые глубины предназначены просто для того, чтобы предоставлять примеры, и не должны истолковываться так или иначе в качестве ограничения. Например, в других вариантах осуществления, входное изображение может быть 8-битовым, 10-битовым, 14-битовым или 16-битовым и т.д., и выходное изображение может иметь битовую глубину, которая превышает или меньше 8-битовой точности.

[00596] Здесь, можно предположить, что только область изображения, в которой применяется локальная тональная компрессия, использует часть полного входного динамического диапазона, к примеру, диапазон 2448, представленный посредством значений 0-1023. Например, эти входные значения могут соответствовать значениям темной области 2434, показанной на фиг. 137. Фиг. 138 показывает линейное отображение 4096 (12-битовых) входных значений в 256 (8-битовых) выходных значений. Таким образом, в то время как значения в пределах 0-4095 отображаются в значения 0-255 выходного динамического диапазона 2444, неиспользуемая часть 2450 (значения 1024-4095) полного входного диапазона 2442 отображается в часть 2454 (значения 64-255) выходного диапазона 2444, тем самым оставляя только выходные значения 0-63 (часть 2452 выходного диапазона 2444), доступные для представления используемой части 2448 (значения 0-1023) входного диапазона. Другими словами, эта технология линейной локальной тональной компрессии не учитывает то, отображаются неиспользуемые значения или диапазоны значений. Это приводит к тому, что часть (например, 2454) выходных значений (например, 2444) выделяется для представления входных значений, которые фактически не присутствуют в области (например, 2434) кадра изображения, для которого применяется текущая операция локальной тональной компрессии (например, график 2440), тем самым уменьшая доступные выходные значения (например, 2452), которые могут быть использованы для того, чтобы выражать входные значения (например, диапазон 2448), присутствующие в обрабатываемой текущей области.

[00597] С учетом вышеизложенного, фиг. 139 иллюстрирует технологию локальной тональной компрессии, которая может быть реализована в соответствии с вариантами осуществления настоящего раскрытия. Здесь, до выполнения отображения входного диапазона 2442 (например, 12-битового) в выходной диапазон 2444 (например, 8-битовый), логика 2202 LTM может быть выполнена с возможностью сначала определять используемый диапазон входного диапазона 2442. Например, при условии, что область, в общем, является темной областью, входные значения, соответствующие цвету в этой области, могут использовать только поддиапазон, к примеру, 2448 (например, значения 0-1023) полного диапазона 2442. Иными словами, поддиапазон 2448 представляет фактический динамический диапазон, присутствующий в конкретной области обрабатываемого кадра изображения. Таким образом, поскольку значения 1024-4095 (неиспользуемый поддиапазон 2450) не используются в этой области, используемый диапазон 2448 может сначала отображаться и расширяться так, чтобы использовать полный диапазон 2442, как показано посредством процесса 2472 расширения. Иными словами, поскольку значения 1024-4095 не используются в текущей области обрабатываемого изображения, они могут быть использованы для того, чтобы выражать используемую часть (например, 0-1023). В результате используемая часть 2448 входного диапазона может выражаться с использованием дополнительных значений, здесь приблизительно в три раза большего числа дополнительных входных значений

[00598] Затем, как показано посредством процесса 2474, расширенный используемый входной диапазон (расширенный до значений 0-4095) затем может отображаться в выходные значения 0-255 (выходной диапазон 2444). Таким образом, как проиллюстрировано на фиг. 139, в результате расширения сначала используемого диапазона 2448 входных значений, чтобы использовать полный входной диапазон (0-4095), используемый диапазон 2448 входных значений может выражаться с использованием полного выходного диапазона 2444 (значения 0-255), вместо части выходного диапазона, как показано на фиг. 138.

[00599] Перед продолжением, следует отметить, что хотя называется блоком локальной тональной компрессии, логика 2202 LTM также может быть выполнена с возможностью реализовывать глобальную тональную компрессию в некоторых случаях. Например, если кадр изображения включает в себя сцену изображения, в общем, с универсальными характеристиками (к примеру, сцену неба), область, в которой применяется тональная компрессия, может включать в себя весь кадр. Иными словами, идентичный оператор тональной компрессии может применяться ко всем пикселям кадра. Возвращаясь к фиг. 134, логика 2202 LTM также может принимать данные 2201 из логики 2200 обнаружения лиц и, в некоторых случаях, может использовать эти данные для того, чтобы идентифицировать одну или более локальных областей в кадре текущего изображения, к которому применяется тональная компрессия. Таким образом, конечный результат от применения одной или более вышеописанных технологий локальной тональной компрессии может представлять собой изображение, которое является эстетически более приятным для зрителя.

[00600] Вывод логики 2202 LTM может предоставляться в логику 2204 регулировки яркости, контрастности и цвета (BCC). В проиллюстрированном варианте осуществления, логика 2204 BCC может быть реализована, в общем, идентично логике 1184 BCC логики 904 обработки YCbCr конвейера ISP, как показано на фиг. 132, и может предлагать, в общем, аналогичную функциональность, чтобы обеспечивать управление яркостью, контрастностью, оттенком и/или насыщенностью. Таким образом, чтобы не допускать избыточности, логика 2204 BCC настоящего варианта осуществления не описывается повторно здесь, но, как должны понимать, является идентичной вышеописанной логике 1184 BCC по фиг. 132.

[00601] Затем, логика 2206 масштабирования может принимать вывод логики 2204 BCC и может быть выполнена с возможностью масштабировать данные изображения, представляющие кадр текущего изображения. Например, когда фактический размер или разрешение кадра изображения (например, в пикселях) отличается от ожидаемого или требуемого выходного размера, логика 2206 масштабирования может масштабировать цифровое изображение, соответственно, чтобы достигать выходного изображения требуемого размера или разрешения. Как показано, вывод 126 логики 2206 масштабирования может отправляться в устройство 28 отображения для просмотра пользователем или в память 108. Дополнительно, вывод 126 также может предоставляться в механизм 118 сжатия/восстановления для кодирования/декодирования данных изображения. Кодированные данные изображения могут быть сохранены в сжатом формате и затем подвержены восстановлению перед отображением на устройстве 28 отображения.

[00602] Дополнительно, в некоторых вариантах осуществления, логика 2206 масштабирования может масштабировать данные изображения с использованием нескольких разрешений. В качестве примера, когда требуемое разрешение выходного изображения составляет 720p (1280x720 пикселей), логика масштабирования может масштабировать кадр изображения, соответственно, чтобы предоставлять выходное изображение на 720p, а также может предоставлять изображение более низкого разрешения, которое может выступать в качестве предварительного просмотра или миниатюры. Например, приложение, работающее на устройстве, такое как приложение "Photos", доступное на моделях iPhone®, или приложения iPhoto® и iMovie®, доступные на определенных моделях компьютеров iPhone®, MacBook®, и iMac®, от компании Apple Inc., могут обеспечивать возможность пользователям просматривать список версий для предварительного просмотра видеоизображений или неподвижных изображений, сохраненных на электронном устройстве 10. После выбора сохраненного изображения или видео, электронное устройство может отображать и/или воспроизводить выбранное изображение или видео в полном разрешении.

[00603] В проиллюстрированном варианте осуществления, логика 2206 масштабирования также может предоставлять информацию 2203 в блок 2208 обработки окончательной статистики, который может использовать логику 2206 масштабирования для обработки окончательной статистики. Например, в одном варианте осуществления, логика 2208 обработки окончательной статистики может обрабатывать информацию 2203 масштабированного изображения, чтобы определять один или более параметров для модуляции параметров квантования, ассоциированных с кодером 118 (например, параметров квантования в расчете на макроблок), который может быть кодером/декодером H.264/JPEG в одном варианте осуществления. Например, в одном варианте осуществления, логика 2208 обработки окончательной статистики может анализировать изображение посредством макроблоков, чтобы определять параметр или количественный показатель частотного спектра для каждого макроблока. Например, в некоторых вариантах осуществления, логика обработки окончательной статистики 2206 может определять частотный количественный показатель для каждого макроблока с использованием таких технологий, как вейвлет-сжатие, быстрые преобразования Фурье или дискретные косинусные преобразования (DCT). С помощью количественных показателей кодер 118 может иметь возможность модулировать параметры квантования, чтобы достигать, например, в общем, равномерного качества изображений по макроблокам, составляющим кадр изображения. Например, если высокая дисперсия в частотном спектре присутствует в конкретном макроблоке, сжатие может применяться к этому макроблоку более активно. Как показано на фиг. 134, логика 2206 масштабирования также может предоставлять изображение уменьшенного разрешения, представленное здесь посредством ссылочной позиции 2207, в логику 2200 обнаружения лиц посредством ввода в схему 2196 выбора, которая может быть мультиплексором или некоторым другим подходящим типом логики выбора. Таким образом, вывод 2198 схемы 2196 выбора может быть либо YCC-вводом 114 из конвейера 82 ISP, либо YCC-изображением 2207 с уменьшенным размером из логики 2206 масштабирования.

[00604] В некоторых вариантах осуществления, окончательные статистические данные и/или кодер 118 могут быть выполнены с возможностью прогнозировать и обнаруживать смены сцен. Например, логика 2208 обработки окончательной статистики может быть выполнена с возможностью получать статистику движения. Кодер 118 может пытаться прогнозировать смены сцен посредством сравнения статистики движения, предоставляемой посредством логики 2208 обработки окончательной статистики, которая может включать в себя определенные показатели (например, яркость), текущего кадра с предыдущим кадром. Когда разность в показателе превышает конкретный порог, смена сцены прогнозируется, логика 2208 обработки окончательной статистики может передавать команду смены сцены. В некоторых вариантах осуществления, могут быть использованы взвешенные прогнозирования, поскольку фиксированный порог не всегда может быть идеальным вследствие разнесения изображений, которые могут быть захвачены и обработаны посредством устройства 10. Дополнительно, несколько порогов также могут быть использованы в зависимости от определенных характеристик обрабатываемых данных изображения.

[00605] Как пояснено выше, данные 2201 обнаружения черт лица также могут предоставляться в логику 2208 обработки окончательной статистики и кодер 118, как показано на фиг. 134. Здесь, окончательные статистические данные и/или кодер 118 могут использовать данные 2201 обнаружения черт лица вместе с информацией частоты макроблоков во время окончательной обработки. Например, квантование может быть уменьшено для макроблоков, которые соответствуют положению лиц в кадре изображения, определенному с использованием данных 2201 обнаружения черт лица, тем самым улучшая внешний вид и общее качество кодированных лиц и черт лица, присутствующих в изображении, отображаемом с использованием устройства 28 отображения.

[00606] Ссылаясь теперь на фиг. 140, блок-схема, показывающая более подробный вид логики 2202 LTM, проиллюстрирована в соответствии с одним вариантом осуществления. Как показано, тональная компрессия применяется после первого преобразования данных 114 YC1C2-изображения из конвейера 82 ISP в линейное цветовое RGB-пространство с гамма-скоррекцией. Например, как показано на фиг. 140, логика 2208 может сначала преобразовывать YC1C2-данные (например, YCbCr-) в нелинейное цветовое sRGB-пространство. В настоящем варианте осуществления, логика 2202 LTM может быть выполнена с возможностью принимать данные YCC-изображения, имеющие различные характеристики субдискретизации. Например, как показано посредством вводов 114 в логику выбора 2205 (к примеру, мультиплексор), логика 2202 LTM может быть выполнена с возможностью принимать полные данные YCC 4:4:4, субдискретизированные по цветности данные YCC 4:2:2 или субдискретизированные по цветности данные YCC 4:2:0. Для форматов субдискретизированных данных YCC-изображения логика 2209 повышающего преобразования может применяться, чтобы преобразовывать субдискретизированные данные YCC-изображения в формат YCC 4:4:4 перед преобразованием посредством логики 2208 в цветовое sRGB-пространство.

[00607] Преобразованные данные sRGB-изображения, представленные здесь посредством ссылочной позиции 2210, затем могут быть преобразованы в цветовое RGB_linear-пространство, которое является линейным пространством с гамма-скоррекцией, посредством логики 2212. После этого, преобразованные данные 2214 RGB_linear-изображения предоставляются в логику 2216 LTM, которая может быть выполнена с возможностью идентифицировать области (например, 2432 и 2434 по фиг. 137) в кадре изображения, которые совместно используют аналогичную яркость, и применять локальную тональную компрессию к этим областям. Как показано в настоящем варианте осуществления, логика 2216 LTM также может принимать параметры 2201 из логики 2200 обнаружения лиц (фиг. 134), которые могут указывать положение и позиции в кадре текущего изображения, в которых присутствуют лица и/или черты лица.

[00608] После того, как локальная тональная компрессия применяется к RGB_linear-данным 2214, обработанные данные 2220 изображения затем преобразуются обратно в цветовое YC1C2-пространство посредством сначала использования логики 2222 для того, чтобы преобразовывать обработанные данные 2220 RGB_linear-изображения обратно в цветовое sRGB-пространство, а затем использования логики 2226 для того, чтобы преобразовывать данные sRGB-изображения 2224 обратно в цветовое YC1C2-пространство. Таким образом, преобразованные YC1C2-данные 2228 (с применяемой тональной компрессией) могут выводиться из логики 2202 LTM и предоставляться в логику 2204 BCC, как пояснено выше на фиг. 134. Следует принимать во внимание, что преобразование данных изображения 114 в различные цветовые пространства, используемые в логическом блоке 2202 LTM окончательной обработки ISP, может быть реализовано с использованием технологий, аналогичных преобразованию данных изображения RGB после демозаики в цветовое YC1C2-пространство в логике 902 обработки RGB конвейера 82 ISP, как пояснено выше на фиг. 125. Дополнительно, в вариантах осуществления, в которых осуществляется повышающее преобразование YCC (например, с использованием логики 2209), может быть выполнено понижающее преобразование YC1C2-данных (субдискретизация) посредством логики 2226. Дополнительно, в других вариантах осуществления, эта субдискретизация/понижающее преобразование также может быть выполнена посредством логики 2206 масштабирования вместо логики 2226.

[00609] Хотя настоящий вариант осуществления показывает процесс преобразования, который преобразует из цветового YCC-пространства в цветовое sRGB-пространство и затем в цветовое sRGB_linear-пространство, другие варианты осуществления могут использовать разностные преобразования цветового пространства или могут применять аппроксимированное преобразование с использованием степенной функции. Иными словами, в некоторых вариантах осуществления, преобразование в приблизительно линейное цветовое пространство может быть достаточным для целей локальной тональной компрессии. Таким образом, с использованием аппроксимированной функции преобразования, логика преобразования таких вариантов осуществления может быть, по меньшей мере, частично упрощена (например, посредством исключения необходимости таблиц поиска для преобразования цветового пространства). В дополнительном варианте осуществления, локальная тональная компрессия также может быть выполнено в цветовом пространстве, которое в плане восприятия более приемлемо для человеческого глаза, к примеру, в цветовом Lab-пространстве.

[00610] Фиг. 141 и 142 показывают блок-схемы последовательностей операций способов, которые изображают способы для обработки данных изображения с использованием логики 120 окончательной обработки ISP, в соответствии с раскрытым вариантом осуществления. Обращаясь сначала к фиг. 141, проиллюстрирован способ 2230, в общем, иллюстрирующий обработку данных изображения посредством логики 120 окончательной обработки ISP. В начале, на этапе 2232 способ 2230 принимает данные YCC-изображения из конвейера 82 ISP. Например, как пояснено выше, принятые данные YCC-изображения могут присутствовать в цветовом пространстве яркости и цветности YCbCr. Затем, способ 2232 может разветвляться в каждый из этапов 2234 и 2238. На этапе 2234, принятые данные YCC-изображения могут быть обработаны, чтобы обнаруживать позиции/положения лиц и/или черт лица в кадре текущего изображения. Например, со ссылкой на фиг. 134, этот этап может быть выполнен с использованием логики 2200 обнаружения лиц, которая может быть выполнена с возможностью реализовывать такой алгоритм обнаружения черт лица, как алгоритм Виолы-Джонса. После этого, на этапе 2236 данные обнаружения лиц (например, данные 2201) могут предоставляться в управляющую логику 84 ISP в качестве обратной связи в блоки 142 или 144 обработки статистики предварительной обработки ISP), а также в логический блок 2202 LTM, логику 2208 обработки окончательной статистики и логику 118 кодера/декодера, как показано на фиг. 134.

[00611] На этапе 2238, который может выполняться, по меньшей мере, частично одновременно с этапом 2234, данные YCC-изображения, принятые из конвейера 82 ISP, обрабатываются таким образом, чтобы применять тональную компрессию. После этого, способ 2230 переходит к этапу 2240, посредством которого данные YCC-изображения (например, 2228) дополнительно обрабатываются на предмет регулировки яркости, контрастности и цвета (например, с использованием логики 2204 BCC). Затем, на этапе 2242 масштабирование применяется к данным изображения из этапа 2240, чтобы масштабировать данные изображения для одного или более требуемого размера или разрешения. Дополнительно, как упомянуто выше, в некоторых вариантах осуществления, преобразование цветового пространства или субдискретизация также может применяться (например, в вариантах осуществления, в которых YCC-данные повышающе дискретизируются для локальной тональной компрессии) для того, чтобы формировать выходное изображение, имеющее требуемую дискретизацию. В завершение, на этапе 2244 данные масштабированного YCC-изображения могут отображаться для просмотра (например, с использованием устройства 28 отображения) или могут быть сохранены в памяти 108 для последующего просмотра.

[00612] Фиг. 142 подробнее иллюстрирует этап 2238 тональной компрессии по фиг. 141. Например, этап 2238 может начинаться с подэтапа 2248, на котором данные YCC-изображения, принятые на этапе 2232, сначала преобразуются в цветовое sRGB-пространство. Как пояснено выше и показано на фиг. 140, некоторые варианты осуществления могут обеспечивать повышющее преобразование субдискретизированных данных YCC-изображения перед преобразованием в sRGB-пространство. После этого, данные sRGB-изображения преобразуются в линейное цветовое пространство с гамма-коррекцией, RGB_linear, на подэтапе 2250. Затем, на подэтапе 2252, тональная компрессия применяется к RGB_linear-данным посредством логики 2216 тональной компрессии логического блока 2202 LTM окончательной обработки ISP. Данные изображения после тональной компрессии из подэтапа 2252 затем могут быть преобразованы из цветового RGB_linear-пространства обратно в цветовое sRGB-пространство, как показано на подэтапе 2254. После этого, на подэтапе 2256, данные sRGB-изображения могут быть преобразованы обратно в цветовое YCC-пространство, и этап 2238 способа 2230 может переходить к этапу 2240, как пояснено на фиг. 141. Как упомянуто выше, процесс 2238, показанный на фиг. 142, имеет намерение быть просто одним процессом для применения преобразования цветового пространства способом, подходящим для локальной тональной компрессии. В других вариантах осуществления, аппроксимированные линейные преобразования также могут применяться вместо проиллюстрированных этапов преобразования.

[00613] Очевидно, что различные методы обработки изображений описанные выше и относящиеся, в частности, к обнаружению и коррекции дефектных пикселей, коррекции затенения объектива, демозаике и повышению резкости изображения, обеспечены здесь исключительно в порядке примера. Соответственно, следует понимать, что настоящее раскрытие не следует рассматривать как ограничивающееся только приведенными выше примерами. Действительно, логика, представленная здесь для примера, может подвергаться ряду изменений и/или приобретать дополнительные признаки в других вариантах осуществления. Кроме того, очевидно, что рассмотренные выше методы можно реализовать любым пригодным образом. Например, компоненты схемы 32 обработки изображений и, в частности, блок 80 предварительной обработки ISP и блок 82 конвейера ISP можно реализовать с использованием оборудования (например, надлежащим образом сконфигурированной схемы), программного обеспечения (например, посредством компьютерной программы, включающей в себя исполнимый код, хранящийся на одном или более вещественных машиночитаемых носителях), или с использованием комбинации аппаратных и программных элементов.

[00614] Вышеописанные конкретные варианты осуществления были представлены в порядке примера, и следует понимать, что эти варианты осуществления допускают различные модификации и альтернативные формы. Также следует понимать, что формула изобретения не подлежит ограничению конкретными раскрытыми формами, но призвана охватывать все модификации, эквиваленты, и альтернативы, отвечающие сущности и объему этого раскрытия.

Изобретение относится к устройствам формирования цифрового изображения и, в частности, к системам и способу для обработки данных изображения, полученных с использованием датчика изображения устройства формирования цифрового изображения. Техническим результатом является улучшение внешнего вида изображения, достигаемое за счет повышения резкости изображения без появления шума или артефактов. Система обработки сигналов изображения включает блок окончательной обработки пикселей, блок предварительной обработки пикселей и конвейер обработки пикселей. Блок окончательной обработки принимает пиксельные данные яркости/цветности изображения после обработки посредством одного из блока предварительной обработки и конвейера обработки. Блок окончательной обработки выполнен с возможностью применять операции обнаружения лиц, локальную тональную компрессию, регулировки яркости, контрастности, цвета, а также масштабирование. Блок окончательной обработки также включает блок обработки окончательной статистики, который собирает частотную статистику. Частотная статистика предоставляется в кодер и используется для того, чтобы определять параметры квантования, которые должны применяться к кадру изображения. 4 н. и 16 з.п. ф-лы, 142 ил., 5 табл.

1. Система обработки сигнала изображения, содержащая:
конвейер обработки изображений, выполненный с возможностью принимать кадр первичных данных изображения, содержащих пиксели, полученные с использованием датчика цифрового изображения, и обрабатывать первичный кадр изображения посредством применения демозаики, чтобы формировать соответствующий кадр данных полноцветного RGB-изображения, а затем преобразовывать данные RGB-изображения в соответствующий кадр данных яркости и цветности изображения;
блок окончательной обработки, выполненный с возможностью принимать кадр данных яркости и цветности изображения и обрабатывать кадр данных яркости и цветности изображения с использованием логики обнаружения лиц, сконфигурированной обнаруживать положения в принятом кадре, содержащие черты лица, и предоставлять обнаруженные положения в качестве набора данных обнаружения черт лица; и
блок предварительной обработки, подсоединенный перед конвейером обработки изображений и имеющий машину сбора предварительной статистики, выполненную с возможностью обрабатывать первичный кадр изображения, чтобы определять, по меньшей мере, одну из статистики автоматического баланса белого, статистики автоматической установки экспозиции, статистики автофокусировки и статистики обнаружения мерцания до обработки первичного кадра изображения посредством конвейера обработки изображений и блока окончательной обработки, при этом данные обнаружения черт лица подаются в машину сбора предварительной статистики, причем машина сбора предварительной статистики выполнена с возможностью размещать одно или более окон сбора статистики для определения статистики автоматического баланса белого с использованием данных обнаружения черт лица.

2. Система обработки сигналов изображения по п.1, в которой логика обнаружения лиц выполнена с возможностью обнаруживать положения черт лица с использованием алгоритма обнаружения объектов.

3. Система обработки сигналов изображения по п.1, в которой датчик цифрового изображения содержит матрицу байеровских цветных светофильтров, при этом первичные данные изображения содержат байеровские данные изображения.

4. Способ обработки данных изображения с использованием логики окончательной обработки системы обработки сигналов изображения (ISP), содержащий этапы, на которых:
принимают кадр изображения, содержащий данные яркости и цветности изображения, причем кадр изображения был ранее обработан посредством конвейера обработки изображений системы ISP;
применяют локальную тональную компрессию к кадру изображения с использованием логики тональной компрессии; и
используют логику масштабирования, чтобы масштабировать кадр изображения к первому выходному разрешению и ко второму выходному разрешению после применения локальной тональной компрессии, при этом первое выходное разрешение соответствует требуемому разрешению просмотра дисплейного устройства, выполненного с возможностью воспроизводить кадр изображения, и при этом второе выходное разрешение соответствует разрешению предварительного просмотра, которое ниже требуемого разрешения просмотра.

5. Способ по п.4, в котором при применении локальной тональной компрессии к кадру изображения разделяют кадр изображения на секции на основе локальных признаков в кадре изображения и обрабатывают каждую из секций посредством этапов, на которых:
идентифицируют полный доступный динамический диапазон кадра изображения;
идентифицируют полный доступный выходной динамический диапазон;
определяют фактический динамический диапазон значений яркости в текущей секции кадра изображения;
расширяют фактический динамический диапазон текущей секции посредством отображения фактического динамического диапазона в полный доступный динамический диапазон, если фактический динамический диапазон меньше полного доступного динамического диапазона; и
отображают расширенный фактический динамический диапазон в полный доступный выходной динамический диапазон.

6. Способ по п.4, содержащий этап, на котором применяют, по меньшей мере, одну из регулировок яркости, контрастности и цвета (BCC) к кадру изображения с использованием логики регулировки BCC после применения локальной тональной компрессии, но перед применением масштабирования с использованием логики масштабирования.

7. Система обработки сигнала изображения, содержащая
блок окончательной обработки пикселей, выполненный с возможностью принимать кадр данных изображения, при этом блок окончательной обработки пикселей содержит:
логику обнаружения лиц, выполненную с возможностью принимать и обрабатывать кадр данных изображения и выводить набор данных обнаружения черт лица, указывающих положение черт лица в рамках кадра данных изображения;
логику тональной компрессии, выполненную с возможностью применения тональной компрессии к кадру данных изображения;
логику масштабирования, выполненную с возможностью масштабировать кадр данных изображения к первому выходному разрешению и ко второму выходному разрешению после применения локальной тональной компрессии, при этом первое выходное разрешение соответствует требуемому разрешению просмотра дисплейного устройства, выполненного с возможностью воспроизводить кадр данных изображения, и при этом второе выходное разрешение соответствует разрешению предварительного просмотра, которое ниже требуемого разрешения просмотра; и
блок обработки окончательной статистики, выполненный с возможностью обрабатывать данные масштабированного изображения, чтобы собирать частотную статистику для данных масштабированного изображения; и
логику кодера/декодера, выполненную с возможностью применять сжатие к данным масштабированного изображения, по меньшей мере, частично на основе частотной статистики.

8. Система обработки сигналов изображения по п.7, в которой блок обработки окончательной статистики обрабатывает данные масштабированного изображения в качестве множества макроблоков, при этом сбор частотной статистики содержит определение частотного параметра, указывающего частотный спектр для каждого макроблока.

9. Система обработки сигналов изображения по п.8, в которой частотный параметр определяется для каждого макроблока с использованием, по меньшей мере, одного из дискретного косинусного преобразования, быстрого преобразования Фурье или вейвлет-сжатия, либо некоторой комбинации вышеозначенного.

10. Система обработки сигналов изображения по п.8, в которой для каждого макроблока логика кодера/декодера модулирует, по меньшей мере, один параметр квантования на основе частотного параметра, ассоциированного с макроблоком.

11. Система обработки сигналов изображения по п.8, в которой данные обнаружения черт лица предоставляются в, по меньшей мере, один из блока обработки окончательной статистики и логики кодера/декодера, при этом логика кодера/декодера выполнена с возможностью уменьшать квантование для макроблоков в кадре изображения, которые соответствуют положениям черт лица, как указано посредством данных обнаружения черт лица.

12. Система обработки сигналов изображения по п.7, в которой блок окончательной обработки пикселей содержит логику выбора, сконфигурированную принимать как кадр данных изображения, так и, по меньшей мере, один кадр масштабированного изображения из блока масштабирования, при этом логика выбора выполнена с возможностью выбирать один из кадра изображения и кадра масштабированного изображения и предоставлять выбранный кадр изображения в логику обнаружения лиц.

13. Электронное устройство, содержащее
датчик цифрового изображения;
интерфейс датчика, выполненный с возможностью обмениваться данными с датчиком цифрового изображения;
запоминающее устройство,
дисплейное устройство, сконфигурированное для воспроизведения визуального представления сцены изображения, соответствующей первичным данным изображения, полученным цифровым датчиком изображения, и
подсистема обработки сигналов изображения, содержащая:
конвейер обработки изображений, выполненный с возможностью принимать кадр первичных данных изображения, содержащих пиксели, полученные с использованием датчика цифрового изображения, выполнять операцию демозаики первичного кадра изображения, чтобы формировать соответствующий кадр полноцветного RGB-изображения, и преобразовывать данные полноцветного RGB-изображения в соответствующий кадр данных яркости и цветности изображения; и
блок окончательной обработки, выполненный с возможностью принимать и обрабатывать кадр данных яркости и цветности изображения с использованием, по меньшей мере, одной из логики обнаружения лиц, логики локальной тональной компрессии и логики масштабирования и собирать статистику изображения с использованием машины сбора окончательной статистики, при этом статистика изображения включает в себя частотную статистику, которая может быть использована для определения параметров квантования для кодирования кадра данных яркости и цветности изображения с использованием кодера.

14. Электронное устройство по п.13, в котором блок окончательной обработки обрабатывает кадр данных яркости и цветности изображения с использованием логики локальной тональной компрессии посредством преобразования кадра данных яркости и цветности из цветового пространства яркости и цветности, по меньшей мере, в приблизительно линейное цветовое RGB-пространство и применения локальной тональной компрессии к приблизительно линейному цветовому RGB-пространству.

15. Электронное устройство по п.14, в котором преобразование данных яркости и цветности, по меньшей мере, в приблизительно линейное цветовое RGB-пространство содержит применение аппроксимированного преобразования на основе степенной функции.

16. Электронное устройство по п.15, в котором, если данные яркости и цветности содержат данные яркости и цветности в формате субдискретизированных данных YCC 4:2:2 или YCC 4:2:0, сначала выполняется повышающее преобразование данных яркости и цветности в формат полных данных YCC 4:4:4 до преобразования, по меньшей мере, в приблизительно линейное цветовое RGB-пространство.

17. Электронное устройство по п.14, в котором преобразование данных яркости и цветности, по меньшей мере, в приблизительно линейное цветовое RGB-пространство содержит преобразование данных яркости и цветности в цветовое sRGB-пространство, а затем преобразование sRGB-данных в цветовое sRGB_linear-пространство.

18. Электронное устройство по п.13, в котором датчик цифрового изображения содержит, по меньшей мере, одну из цифровой камеры, интегрированной с электронным устройством, внешней цифровой камеры, соединенной с электронным устройством через порт ввода-вывода, или некоторой комбинации вышеозначенного.

19. Электронное устройство по п.13, содержащее, по меньшей мере, один из стационарного компьютера, портативного компьютера, планшетного компьютера, мобильного сотового телефона, портативного медиаплеера или любую их комбинацию.

20. Электронное устройство по п.13, в котором статистика изображения содержит статистику движения, при этом блок окончательной обработки выполнен с возможностью осуществлять обнаружение сцены на основе статистики движения.