СУБДИСКРЕТИЗАЦИЯ СИГНАЛА ЦВЕТНОСТИ Российский патент 2018 года по МПК H04N9/64 H04N19/186 

Настоящая заявка относится к субдискретизации сигнала цветности, к примеру, к субдискретизации сигнала цветности HDR-изображений.

Традиционные схемы кодирования изображений и видео с узким динамическим диапазоном (LDR) используют такие цветовые пространства, как YCbCr с одним каналом яркости и двумя каналами цветности, и субдискретизацию каналов цветности, чтобы использовать тот факт, что человеческий глаз является менее чувствительным к изменениям сигнала цветности, чем к изменениям яркости.

Для видео с расширенным динамическим диапазоном (HDR), адаптивное цветовое LogLuv-пространство предложено в [1]. Здесь также можно субдискретизировать u- и v-каналы цветности.

Тем не менее, в частности, в HDR-изображениях и видео, могут возникать края с очень высокой контрастностью, т.е. области с очень высокой яркостью рядом с областями с очень низкой яркостью. На таких краях, артефакты вследствие субдискретизации сигнала цветности могут становиться видимыми.

Фиг. A показывает HDR-изображение с тональным преобразованием после субдискретизации сигнала цветности с помощью фильтров согласно [2] и повышающей дискретизации с помощью фильтров согласно [3]. Артефакты цветового размытия контуров являются четко видимыми в частях, выделенных прямоугольником и указываемых укрупнено около изображения, а именно, по краю цветочного горшка и между полотнами жалюзи. Эти артефакты по существу возникают, поскольку значения сигнала цветности из темных и ярких областей смешиваются во время процесса субдискретизации и повышающей дискретизации сигнала цветности.

Соответственно, должно быть предпочтительным иметь улучшенный принцип субдискретизации сигнала цветности, который исключает или уменьшает такие артефакты размытия контуров при одновременном фактическом поддержании других характеристик изображения. Соответственно, цель настоящего изобретения заключается в том, чтобы предоставлять принцип субдискретизации сигнала цветности с улучшенными характеристиками.

Эта цель достигается посредством предмета изобретения в независимых пунктах прилагаемой формулы изобретения.

Базовая идея настоящего изобретения заключается в том, что субдискретизация сигнала цветности, имеющая уменьшенные артефакты, может достигаться посредством обнаружения высококонтрастных областей в канале яркости изображения, которое должно быть подвергнуто субдискретизации сигнала цветности с тем, чтобы сегментировать изображение на первую область, состоящую из высококонтрастных областей, и вторую область, отличную от первой области, с субдискретизацией сигнала цветности изображения в первой области с использованием первого модуля субдискретизации сигнала цветности и субдискретизацией сигнала цветности изображения во второй области с использованием второго модуля субдискретизации сигнала цветности, причем первый модуль субдискретизации сигнала цветности имеет свойство сохранения более высокой резкости краев по сравнению со вторым модулем субдискретизации сигнала цветности. В силу этого, артефакты размытия контуров могут исключаться, по меньшей мере частично, тогда как другие характеристики изображения, такие как насыщенность изображения, в ином случае глобально затрагиваемые посредством использования ранговых фильтров, например, могут фактически сохраняться.

Преимущественные реализации представляют собой предмет зависимых пунктов формулы изобретения, тогда как предпочтительные варианты осуществления настоящей заявки описываются относительно чертежей, на которых:

Фиг. 1a-1d являются схематическими видами различных шаблонов выборок сигнала цветности;

Фиг. 2 показывает принципиальную блок-схему устройства для субдискретизации сигнала цветности в соответствии с вариантом осуществления;

Фиг. 3a и 3b показывают часть изображения, которое должно быть подвергнуто субдискретизации сигнала цветности, вместе с целевыми позициями выборок сигнала цветности изображения после субдискретизации сигнала цветности и позиционными областями, в которых примерно выполняется высококонтрастное обнаружение, в первом случае для субдискретизации сигнала цветности вниз вплоть до шаблона выборок цветов по фиг. 1c в случае фиг. 3a, а во втором случае для субдискретизации сигнала цветности вниз вплоть до шаблона выборок цветов по фиг. 1b в случае фиг. 3b;

Фиг. 4a и 4b иллюстрируют возможные операции первого и второго модулей субдискретизации с использованием ядер фильтров и позиционирование ядер фильтров относительно областей обнаружения фиг. 3a и 3b, соответственно, в первом случае для субдискретизации сигнала цветности вниз вплоть до шаблона выборок цветов по фиг. 1c в случае фиг. 3a, а во втором случае для субдискретизации сигнала цветности вниз вплоть до шаблона выборок цветов по фиг. 1b в случае фиг. 3b;

Фиг. 5a и 5b иллюстрируют альтернативный режим работы второго модуля субдискретизации сигнала цветности с использованием размера ядра фильтра, который превышает позиционные области, в которых высококонтрастное обнаружение выполняется в соответствии с фиг. 3a и 3b, соответственно, в первом случае для субдискретизации сигнала цветности вниз вплоть до шаблона выборок цветов по фиг. 1c в случае фиг. 3a, а во втором случае для субдискретизации сигнала цветности вниз вплоть до шаблона выборок цветов по фиг. 1b в случае фиг. 3b; и

Фиг. 6 является изображением и его укрупненными подчастями, получаемыми посредством понижающей дискретизации сигнала цветности и повторной повышающей дискретизации сигнала цветности с использованием способов, как описано в [2] и [3].

Перед описанием некоторых вариантов осуществления настоящей заявки, характер субдискретизации сигнала цветности описывается относительно фиг. 1a-1d. Каждый из этих чертежей показывает пространственную подчасть из изображения или картинки и выборок сигнала яркости и сигнала цветности, содержащихся в ней. В частности, выборки сигнала яркости показаны как белые окружности, тогда как выборки сигнала цветности указываются в качестве заштрихованных окружностей, при этом различные штриховки используются для двух различных компонентов сигнала цветности.

Каждая "выборка" имеет ассоциированную определенную пространственную дискретизированную позицию и выборочное значение. Только позиции выборок для выборок указываются на фиг. 1a-1d. Значения выборок могут быть представлены по-разному для выборок сигнала яркости, с одной стороны, и выборок сигнала цветности, с другой стороны. Альтернативно, может использоваться идентичное представление. В HDR-изображениях, динамический диапазон, представленный посредством представления выборок сигнала яркости, зачастую превышает представимый динамический диапазон выборок сигнала цветности. Выборки сигнала яркости, например, могут быть представлены с использованием представления с плавающей запятой. В другом примере, который обозначается ниже в качестве logLuv-представления, выборки сигнала яркости представлены посредством целочисленных значений, которые, тем не менее, измеряют яркость на логарифмической шкале, тогда как выборки сигнала цветности представляют свои значения сигнала цветности, например, с использованием целочисленных значений на линейной шкале.

В примере по фиг. 1a, число выборок сигнала яркости в показанной пространственной подчасти равно числу выборок сигнала цветности первого компонента сигнала цветности и числу выборок второго компонента сигнала цветности. Как примерно показано, их позиции выборок размещаются совместно друг с другом. Такое представление цветов, например, известно как 4:4:4. Тем не менее, на фиг. 1b, отношение между выборками яркости в два раза превышает число выборок сигнала цветности первого и второго компонентов сигнала цветности, соответственно. Иными словами, пространственное разрешение двух каналов сигнала цветности изображения, в случае фиг. 1b, составляет половину от пространственного разрешения канала сигнала яркости. В случае фиг. 1b, выборки сигнала цветности размещаются совместно с выборками сигнала яркости каждого второго столбца выборок сигнала яркости, т.е. пространственное разрешение каналов сигнала цветности разделено пополам вдоль горизонтального направления и равно пространственному разрешению канала сигнала яркости вдоль вертикального направления. Тем не менее, оно также может рассчитываться по-другому. В любом случае, шаблон дискретизации сигнала цветности, показанный на фиг. 1b, известен как 4:2:2.

Фиг. 1c и 1d показывают две возможных конфигурации, в которых число выборок сигнала цветности первого и второго каналов сигнала цветности, соответственно, составляет четверть от числа выборок сигнала яркости в соответствующей пространственной подчасти изображения. В случае фиг. 1c, например, одна выборка сигнала цветности в расчете на канал сигнала цветности позиционируется в середине блока выборок сигнала яркости 2×2. Выборки сигнала яркости регулярно упорядочены в строках и столбцах в любом из шаблонов дискретизации сигнала цветности по фиг. 1a-1d, и блоки 2×2, соответственно, также регулярно упорядочены. В случае фиг. 1d, позиции выборок сигнала цветности сдвигаются вдоль горизонтального направления или направления строк на расстояние в половину пела, т.е. на половину шага выборок сигнала яркости, по сравнению с шаблоном по фиг. 1c, так что они позиционируются в середине последовательных пар выборок сигнала яркости в каждом втором столбце выборок сигнала яркости. Оба шаблона дискретизации сигнала цветности по фиг. 1c и 1d известны как 4:2:0.

Операции, которые приводят из шаблона дискретизации сигнала цветности согласно фиг. 1a к любому из шаблонов дискретизации сигнала цветности цвета 1b-1d, называются "субдискретизацией сигнала цветности", и хотя варианты осуществления, подробнее приведенные ниже, примерно предполагают, что представление цветов согласно фиг. 1a формирует начало координат или начальную точку субдискретизации сигнала цветности, это естественно не обязательно. Шаблон дискретизации сигнала цветности изображения, которое должно быть подвергнуто субдискретизации сигнала цветности, альтернативно нижеприведенному описанию, может отличаться от шаблона, показанного на фиг. 1a. Аналогично, конкретный шаблон дискретизации сигнала цветности, получающийся в результате субдискретизации цветов, может отличаться от шаблонов дискретизации сигнала цветности, показанных на фиг. 1b и 1d, и просто для упрощения понимания, нижеприведенное описание иногда иллюстративно ссылается на представления цветов фиг. 1b и 1c в качестве цели процедуры субдискретизации сигнала цветности. Например, субдискретизация сигнала цветности, приводящая из представления цветов по фиг. 1a к представлению цветов по фиг. 1c, с одной стороны, и по фиг. 1d, с другой стороны, отличаются между собой просто посредством позиций выборок сигнала цветности, а не числа выборок сигнала цветности, в которых субдискретизация сигнала цветности должна осуществляться. Чтобы учитывать эту разность, могут использоваться фильтры субдискретизации сигнала цветности с различными коэффициентами фильтрации.

Чтобы преодолевать проблемы, указанные выше во вводной части подробного описания настоящей заявки, т.е. артефакты цветового размытия контуров, ассоциированные с обычно используемыми процессами субдискретизации сигнала цветности, авторы настоящей заявки приспосабливают следующую идею. В частности, артефакты цветового размытия контуров могут исключаться, если только значения сигнала цветности из ярких областей, например, используются для процесса субдискретизации. Например, простой способ реализации вышеозначенного состоит в том, чтобы находить позицию значения с наибольшей яркостью в области пикселей 2×2 для 4:2:0 или в области пикселей 2×1 для 4:2:2 и использовать значения цветности из совместно размещенных позиций соответствующих областей пикселей в качестве субдискретизированных значений цветности для этой области пикселей 2×1 или 2×2. Тем не менее, при глобальном выполнении для всего изображения/картинки, возникает другой артефакт: общий цвет изображения становится ненасыщенным. Таким образом, два способа для субдискретизации сигнала цветности используются в соответствии с вариантами осуществления, указанными ниже: способ субдискретизации сигнала цветности, который исключает артефакт цветового размытия контуров, и другой способ субдискретизации сигнала цветности, который исключает артефакт уменьшения насыщенности. Например, способ, который исключает уменьшение насыщенности, представляет собой, например, фильтр преобразования с понижением частоты согласно [2] или простое среднее арифметическое четырех значений сигнала цветности области пикселей 2×2 для 4:2:0. Соответственно, варианты осуществления, подробнее указанные ниже, используют определение в отношении того, какой из двух способов субдискретизации сигнала цветности должен применяться. Например, простой способ для этого решения, как подробнее указано ниже, заключается в том, чтобы находить значение с наибольшей и наименьшей яркостью в области пикселей 2×2 (в случае 4:2:0) или 2×1 (в случае 4:2:2). Если отношение между наибольшим и наименьшим значением превышает пороговое значение, применяется способ недопущения цветового размытия контуров, в противном случае применяется способ субдискретизации сигнала цветности для недопущения уменьшения насыщенности. Экспериментально обнаружено, что пороговое значение отношения в два обеспечивает хорошие результаты, но естественно, это представляет собой просто пример и может зависеть от обстоятельств и может варьироваться соответствующим образом.

Фиг. 2 показывает устройство для субдискретизации сигнала цветности, которое формирует результат вышеуказанных идей. Устройство, в общем, указывается с использованием ссылки с номером 10 и содержит детектор 12, первый модуль 14 субдискретизации сигнала цветности и второй модуль 16 субдискретизации сигнала цветности. Детектор обнаруживает высококонтрастные области в канале яркости изображения 18, которое должно быть подвергнуто субдискретизации сигнала цветности с тем, чтобы сегментировать изображение на первую область 20, состоящую из высококонтрастных областей, и вторую область 22, отличную от первой области 20. Первый модуль 14 субдискретизации сигнала цветности выполнен с возможностью подвергать субдискретизации сигнала цветности изображение 18 в первой области 20, т.е. первый модуль 14 субдискретизации сигнала цветности ограничивает выполнение своей субдискретизации сигнала цветности первой областью 20, и, соответственно, второй модуль 16 субдискретизации сигнала цветности выполнен с возможностью подвергать субдискретизации сигнала цветности изображение только во второй области 22. В результате субдискретизации 24 сигнала цветности, выполняемой посредством первого модуля 14 субдискретизации сигнала цветности, и субдискретизации 26 сигнала цветности, выполняемой посредством второго модуля 16 субдискретизации сигнала цветности, изображение 28 после субдискретизации сигнала цветности получается из изображения 18. Что касается канала сигнала яркости изображения 28, он, например, может быть идентичным каналу сигнала яркости исходного изображения 18. Только разрешение сигнала цветности одного или обоих из каналов сигнала цветности изображения 28, возможно, субдискретизировано от изображения 18 к изображению 28. Теоретически, можно считать, что присутствует только один канал сигнала цветности, хотя обычно присутствуют два канала сигнала цветности.

Первый модуль 14 субдискретизации сигнала цветности и второй модуль 16 субдискретизации сигнала цветности отличаются друг от друга тем, что первый модуль субдискретизации сигнала цветности имеет свойство сохранения более высокой резкости краев по сравнению со вторым модулем 16 субдискретизации сигнала цветности. Например, первый модуль субдискретизации сигнала цветности может быть выполнен с возможностью осуществлять субдискретизацию сигнала цветности с использованием рангового фильтра, и второй модуль субдискретизации сигнала цветности может быть выполнен с возможностью осуществлять субдискретизацию сигнала цветности с использованием фильтра усреднения, к примеру, фильтра усреднения до среднего значения. В соответствии с вариантами осуществления, указанными ниже, второй модуль 16 субдискретизации сигнала цветности выполняет свою субдискретизацию 26 только с использованием каналов сигнала цветности изображения 18, т.е. безотносительно и независимо от канала яркости изображения 18. Тем не менее, первый модуль 14 субдискретизации сигнала цветности может использовать ранговый фильтр для субдискретизации 24 сигнала цветности, что дает в результате ранжирование выборок сигнала цветности в исходном изображении 18 посредством оценки канала яркости изображения 18. Например, первый модуль 14 субдискретизации сигнала цветности выбирает для каждого ядра значение выборки сигнала цветности изображения, которое должно быть подвергнуто субдискретизации сигнала цветности, совместно размещенное с максимальным или минимальным значением выборки яркости изображения 18, которое должно быть подвергнуто субдискретизации сигнала цветности.

Далее представлены конкретные варианты осуществления или реализации. Они иллюстрируют возможные реализации детектора, первого модуля 14 субдискретизации сигнала цветности и второго модуля 16 субдискретизации сигнала цветности, но следует отметить, что все эти сведения по реализации могут применяться к детектору 12, модулю 14 субдискретизации сигнала цветности и модулю 16 субдискретизации сигнала цветности, по отдельности, без строгого соответствия комбинациям, которые указаны на чертежах.

Относительно фиг. 3a и 3b, в качестве примера приводится то, как детектор 12 может выполнять обнаружение 30 высококонтрастных областей (см. фиг. 2), причем это обнаружение, в свою очередь, управляет местоположением работы модулей 14 и 16 субдискретизации сигнала цветности. Фиг. 3a и 3b показывают позиции выборок сигнала яркости исходного изображения 18 с помощью белых окружностей. Поскольку они остаются идентичными в результирующем изображении, эти белые окружности могут одновременно указывать позиции выборок сигнала яркости в конечном изображении 28. Дополнительно, по-разному заштрихованные окружности показывают позиции выборок сигнала цветности в результирующем изображении 28 после субдискретизации сигнала цветности, причем фиг. 3a предполагает то, что субдискретизация сигнала цветности осуществляется от шаблона дискретизации сигнала цветности согласно фиг. 1a к шаблону дискретизации сигнала цветности по фиг. 1c, тогда как фиг. 3b разрешает случай перехода от шаблона дискретизации сигнала цветности по фиг. 1a к шаблону дискретизации сигнала цветности согласно фиг. 1b. Поскольку идентичный стиль представления также используется на фиг. 4a-5b, следует отметить, что фиг. 3a и 3b показывают (посредством белых окружностей) не только позиции выборок сигнала яркости, но одновременно и позиции исходных выборок сигнала цветности, которые, как описано относительно фиг. 1a, совместно размещаются с позициями исходных выборок сигнала яркости. Таким образом, вышеприведенные пояснения также являются допустимыми для следующих чертежей.

В соответствии с вариантами осуществления по фиг. 3a и 3b, детектор 12 обнаруживает высококонтрастные области посредством локальной проверки того, превышает или нет отношение между наименьшей и наибольшей яркостью в первом локальном шаблоне предварительно определенное пороговое значение. Детектор 12 выполняет эту проверку с определенной степенью детализации, здесь примерно со степенью детализации блоков 2×2 в случае фиг. 3a и со степенью детализации блоков 2×1 в случае фиг. 3b. В соответствии с примером, показанным на фиг. 3a и 3b, детектор 12 использует шаблон выборок яркости 2×2 и шаблон выборок яркости 2×1, соответственно, т.е. шаблон, охватывающий область выборок сигнала яркости 2×2 в исходном изображении 18 в случае фиг. 3a и область выборок сигнала яркости 2×1 в исходном изображении 18 в случае фиг. 3b, с тем чтобы определять для каждой области, совместно размещаемой с соответствующим шаблоном, то, имеет или нет контент изображений яркости высокую контрастность, т.е. то, высококонтрастная область или нет. Тем не менее, это также может обрабатываться по-другому. Посредством использования сплошных линий, фиг. 3a и 3b показывают позиции локального шаблона, в котором детектор 12 выполняет локальную проверку того, превышает или нет отношение между наименьшей и наибольшей яркостью в изображении 18 предварительно определенное пороговое значение, здесь примерно совпадающее с позиционными областями, в/для которых детектор 12 выполняет обнаружение. Как показано здесь, детектор позиционирует локальный шаблон без промежутков и без перекрытия, распределенным по изображению 18, за счет этого задавая шаблонную сетку областей сетки 2×2 в случае фиг. 3a и областей 2×1 в случае фиг. 3b, причем эта сетка, на фиг. 3a и 3b, наблюдается посредством сплошных линий. Как указано относительно фиг. 4a и 4b, первый и второй модули 14 и 16 субдискретизации сигнала цветности могут быть выполнены с возможностью осуществлять субдискретизацию 24 и 26 сигнала цветности, соответственно, так что субдискретизация сигнала цветности дает в результате разрешение субдискретизации, совпадающее с разрешением шаблонной сетки, т.е. точно к одной выборке сигнала цветности в расчете на позицию локального шаблона или область сетки, в расчете на канал сигнала цветности.

Для одной примерной позиции локального шаблона фиг. 3a и 3b обозначают выборки сигнала яркости в локальном шаблоне посредством l₁ в l₄ в случае фиг. 3a и l₁ и l₂ в случае фиг. 3b. Как уже пояснено выше, детектор 12, для каждой позиции локального шаблона, может проверять то, превышает или нет отношение между максимальной яркостью и минимальной яркостью в текущей позиции локального шаблона определенное пороговое значение. Пусть l_i обозначает значения яркости, в таком случае детектор 12 может проверять каждую позицию локального шаблона на предмет того:

где i, j находятся в пределах 1, ..., 4 в случае фиг. 3a и 1, ..., 2 в случае фиг. 3b, и t является пороговым значением. Как упомянуто выше, пороговое значение, например, может составлять 2. Если используется цветовое logLuv-пространство, значение яркости, как уже указано выше, является логарифмическим представлением значения яркости пикселя, и, соответственно, отношение между значением с наименьшей яркостью и с наибольшей яркостью соответствует разности соответствующих значений яркости. Таким образом, в случае использования цветового logLuv-пространства, детектор 12 может определять отношение между наименьшей и наибольшей яркостью в локальном шаблоне посредством вычитания. Детектор 12 затем может проверять следующее:

Если проверка раскрывает то, что пороговое значение превышается, детектор 12 приписывает область, покрытую текущей позицией локального шаблона, высококонтрастным областям, т.е. области 20, тогда как если не превышается, область, покрытая текущей позицией локального шаблона, приписывается оставшейся области 22. Высококонтрастные области, на фиг. 3a и 3b, указываются посредством штриховки в качестве иллюстрации.

Следует отметить, что возможно несколько модификаций относительно описания, приведенного выше. Например, обнаружение высококонтрастных областей может выполняться более сложным способом. Например, детектор 12 может выполнять проверку высококонтрастных областей с шагом, который, например, меньше ширины локальных шаблонов, т.е. шаг, с которым локальный шаблон позиционируется таким образом, чтобы охватывать изображение 18 и локально дискретизировать контрастность изображения 18, может быть меньше ширины локального шаблона, так что шаблоны перекрывают друг друга в позициях, распределенных по изображению 18 с шагом обнаружения. Например, детектор 12 может выполнять высококонтрастную проверку для каждой из областей 2×2, показанных на фиг. 3a и 3b, за счет этого формируя позиционные области, в которых выполняется высококонтрастное обнаружение, но использовать шаблон, который превышает каждую из этих областей, к примеру, область 4×4 или область 4×1 для каждого обнаружения, т.е. каждую позиционную область. Кроме того, обнаружение высококонтрастных областей может разрабатываться сложнее, чем просто определение отношения минимальной/максимальной яркости, превышающего определенное пороговое значение. Например, детектор 12 может анализировать гистограмму значений яркости в локальном шаблоне, с тем чтобы определять то, является гистограмма бимодальной или нет, и если "Да", отделены или нет два режима бимодального распределения друг от друга более чем на предварительно определенное пороговое значение, к примеру, как указано выше, в 2. Даже некоторый тип обнаружения краев в локальном шаблоне может использоваться для того, чтобы находить высококонтрастные области. Результат этого обнаружения должен быть приписан позиционной области, в которой в данный момент позиционирован локальный шаблон.

Относительно фиг. 4a и 4b, описывается пример, в котором первый и второй модули 14 и 16 субдискретизации сигнала цветности выполнены с возможностью осуществлять субдискретизации сигнала цветности изображения 18 с использованием ядер фильтров, позиционированных совпадающим способом относительно позиций, в которых детектор 12 выполняет обнаружение, т.е. позиций, в которых детектор 12 позиционирует или распределяет свой локальный шаблон. В соответствии с фиг. 4a и 4b, первый и второй модули 14 и 16 субдискретизации сигнала цветности даже используют идентичный размер ядра фильтра по сравнению с локальным шаблоном, используемым посредством детектора 12, хотя, как описано выше, локальный шаблон, используемый посредством детектора, также может быть большим. Следует отметить, что описание, предоставленное относительно фиг. 4a и 4b, также может варьироваться таким образом, что оно применяется, например, только относительно одного из модулей 14 и 16 субдискретизации сигнала цветности.

Тем не менее, в соответствии с вариантами осуществления по фиг. 4a и 4b, модули 14 и 16 субдискретизации сигнала цветности выполнены с возможностью работать следующим образом. В частности, для каждой из областей 2x2 в случае фиг. 4a и областей 2x1 в случае фиг. 4b, для которых детектор 12 определяет то, что контрастность является низкой в соответствии с фиг. 3a и 3b, например, модуль 16 субдискретизации сигнала цветности выполняет субдискретизацию сигнала цветности посредством усреднения значений выборок сигнала цветности в этой области. Фиг. 4a и 4b иллюстративно показывают, например, ядро 40 фильтра модуля 16 субдискретизации сигнала цветности как совпадающее с границами одной из областей, для которых детектор 12 определяет то, что контрастность является низкой, т.е. области, принадлежащей области 22. Для этой области, модуль 16 субдискретизации сигнала цветности использует значения выборок сигнала цветности в этом ядре 40, здесь обозначаемые как x1, x2, x3 и x4 в случае фиг. 4a и x1 и x2 в случае фиг. 4b, усредняет их соответствии с предварительно определенным способом и использует результат усреднения в качестве значения выборки сигнала цветности y соответствующего канала сигнала цветности конечного изображения 28 выборки сигнала цветности, локально позиционированной в ядре 40 фильтра. Модуль 16 субдискретизации сигнала цветности выполняет это усреднение, например, для каждого канала сигнала цветности отдельно.

Тем не менее, фиг. 4a и 4b также показывают ядро 42 фильтра модуля 14 субдискретизации сигнала цветности, здесь примерно совпадающее со структурой области, для которой детектор 12 примерно определяет то, что эта область представляет собой высококонтрастную область. Модуль 14 субдискретизации сигнала цветности, например, может задавать для каждого канала сигнала цветности значение выборки сигнала цветности конечного изображения 28 после субдискретизации сигнала цветности в ядре 42, равном этому значению выборки сигнала цветности из значений выборок сигнала цветности x1-x4 в случае фиг. 4a или x1 и x2 в случае фиг. 4b, в ядре 42, которое совместно размещается со максимальным значением яркости в ядре 42. Например, пусть l₁ обозначает значение яркости изображения 18, которое совместно размещается со значением выборки сигнала цветности x1 изображения 18, l₂ обозначает значение выборки сигнала яркости, совместно размещаемое со значением выборки сигнала цветности x2, и т.д. Затем модуль 14 субдискретизации задает y равным x_i, где i составляет . Тем не менее, следует отметить, что даже этот пример служит просто в качестве иллюстрации. Вместо использования значения выборки сигнала цветности, совместно размещаемого с выборочным значением максимальной яркости изображения 18, модуль 14 субдискретизации, например, может задавать упомянутое y равным значению выборки сигнала цветности, например, совместно размещаемому с медианой значений выборок яркости в ядре 42 фильтра.

В качестве иллюстрации дополнительных изменений, фиг. 5a и 5b иллюстрируют то, что ядро 40 фильтра модуля 16 субдискретизации сигнала цветности, например, может превышать размер позиционных областей, в которых детектор 12 выполняет высококонтрастное обнаружение, т.е. быть больше позиций выборок 2×2 изображения 18 в случае фиг. 5a и больше областей выборок 2×1 в изображении 18 в случае фиг. 5b.В этом случае, второй модуль 16 субдискретизации сигнала цветности может быть выполнен с возможностью осуществлять субдискретизацию 26 сигнала цветности изображения 18 с заменой значений сигнала цветности в части 44 этого ядра 40 фильтра, которая случайно входит в высококонтрастную область 20, на надлежащие значения, к примеру, посредством использования экстраполяции или посредством задания значений выборок сигнала цветности в этой части 44 равными предварительно определенному значению сигнала цветности, к примеру, 0. Например, значения выборок сигнала цветности изображения 18 в ядре 40 фильтра, в данный момент позиционированном таким образом, что он перекрывает область 20, в случае фиг. 5a являются значениями выборок сигнала цветности в x4, x8 и x12, а в случае фиг. 5b – в x5, и модуль 16 субдискретизации сигнала цветности, например, может экстраполировать эти значения выборок сигнала цветности из других значений выборок сигнала цветности в ядре 40 фильтра, т.е. другие находятся в диапазоне x1-x16 в случае фиг. 4a или от x1 до x4 в случае фиг. 5b, либо может задавать эти значения равными предварительно определенному значению, к примеру, 0. Затем модуль 16 субдискретизации может продолжать обычную обработку с помощью фильтра, такую как усреднение по x1-x16 в случае фиг. 5a и по x1-x5 в случае фиг. 5b.

Обобщая вышеописанные варианты осуществления, они используют два различных способа субдискретизации сигнала цветности, при этом один из них выбирается для того, чтобы исключать артефакты цветового размытия контуров, а другой выбирается для того, чтобы исключать артефакты уменьшения насыщенности. Способ субдискретизации сигнала цветности для недопущения цветового размытия контуров, например, может использовать значения цветности из позиций пикселей со значением с наибольшей яркостью в областях пикселей 2×2 или 2×1, как описано выше. Выбор между способами субдискретизации сигнала цветности, как описано выше, может выполняться на основе отношения наибольшего к наименьшему значению яркости в областях пикселей 2×2 или 2×1. Области пикселей, используемые в способах субдискретизации сигнала цветности и используемые при выборе способа субдискретизации сигнала цветности, могут совпадать, как описано выше. Отношение значений яркости может вычисляться в качестве разности в случае использования логарифмической области, чтобы представлять яркость в изображении 18. В частности, вышеописанные варианты осуществления могут использоваться для того, чтобы подвергать субдискретизации сигнала цветности HDR-изображения или видео.

Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства. Некоторые или все этапы способа могут быть выполнены посредством (или с использованием) устройства, такого как, например, микропроцессор, программируемый компьютер либо электронная схема. В некоторых вариантах осуществления, некоторые из одного или более самых важных этапов способа могут выполняться посредством этого устройства.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового запоминающего носителя, например, гибкого диска, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные электронно-читаемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой, так что осуществляется соответствующий способ. Следовательно, цифровой запоминающий носитель может быть машиночитаемым.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронно-читаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.

Другими словами, следовательно, вариант осуществления изобретаемого способа представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.

Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой запоминающий носитель (цифровой запоминающий носитель или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе. Носитель данных, цифровой запоминающий носитель или носитель с записанными данными типично являются материальными и/или некратковременными.

Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, выполненную с возможностью передавать (например, электронно или оптически) компьютерную программу для осуществления одного из способов, описанных в данном документе, в приемное устройство. Приемное устройство, например, может представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Устройство или система, например, может содержать файловый сервер для передачи компьютерной программы в приемное устройство.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может быть использовано для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого устройства.

Вышеописанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

[1] WO2011088960.

[2] Gary Sullivan: "Color forma down-conversion for test sequence generation", ISO/IEC JTC1/SC29/WG11 MPEG2003/N6265, декабрь 2003 года, Waikoloa.

[3] Gary Sullivan: "Color format up-conversion for video display" ISO/IEC JTC1/SC29/WG11 MPEG2003/N6296, декабрь 2003 года, Waikoloa.

Изобретение относится к субдискретизации сигнала цветности изображений с расширенным динамическим диапазоном (HDR). Технический результат заключается в обеспечении субдискретизации сигнала цветности c уменьшением артефактов размытия контуров при одновременном поддержании других характеристик изображения. Предложено субдискретизацию сигнала цветности, имеющую уменьшенные артефакты, обеспечивать посредством обнаружения высококонтрастных областей в канале яркости изображения, сегментирования изображения на первую высококонтрастную область и вторую область, отличную от первой области, с субдискретизацией сигнала цветности изображения в первой области с использованием первого модуля субдискретизации сигнала цветности и субдискретизацией сигнала цветности изображения во второй области с использованием второго модуля субдискретизации сигнала цветности. Первый модуль субдискретизации имеет свойство сохранения более высокой резкости краев по сравнению со вторым модулем субдискретизации. 3 н. и 10 з.п. ф-лы, 12 ил.

1. Устройство для субдискретизации сигнала цветности, содержащее:

- детектор (12), выполненный с возможностью обнаруживать высококонтрастные области в канале яркости изображения (18), которое должно быть подвергнуто субдискретизации сигнала цветности с тем, чтобы сегментировать изображение (18) на первую область (20), состоящую из высококонтрастных областей, и вторую область (22), отличную от первой области (20);

- первый модуль (14) субдискретизации сигнала цветности, выполненный с возможностью подвергать субдискретизации сигнала цветности изображение в первой области;

- второй модуль (16) субдискретизации сигнала цветности, выполненный с возможностью подвергать субдискретизации сигнала цветности изображение во второй области,

- при этом первый модуль (14) субдискретизации сигнала цветности имеет свойство сохранения более высокой резкости краев по сравнению со вторым модулем (16) субдискретизации сигнала цветности.

2. Устройство по п. 1, в котором детектор (12) выполнен с возможностью обнаруживать высококонтрастные области посредством локальной проверки того, превышает ли отношение между наименьшей и наибольшей яркостью в первом локальном шаблоне предварительно определенное пороговое значение.

3. Устройство по п. 2, в котором канал яркости изображения, которое должно быть подвергнуто субдискретизации сигнала цветности, представляет яркость на логарифмической шкале, и детектор (12) выполнен с возможностью определять отношение между наименьшей и наибольшей яркостью в локальном шаблоне посредством вычитания.

4. Устройство по п. 2, в котором детектор (12) выполнен с возможностью при обнаружении высококонтрастных областей распределять локальный шаблон по изображению, за счет этого задавая шаблонную сетку, при этом первый и второй модули субдискретизации сигнала цветности выполнены с возможностью осуществлять субдискретизацию сигнала цветности изображения таким образом, что субдискретизация сигнала цветности дает в результате разрешение субдискретизации, совпадающее с разрешением шаблонной сетки.

5. Устройство по п. 4, в котором детектор (12) выполнен с возможностью при обнаружении высококонтрастных областей распределять локальный шаблон по изображению без промежутков и без перекрытия.

6. Устройство по п. 1, в котором первый модуль (14) субдискретизации сигнала цветности выполнен с возможностью осуществлять субдискретизацию сигнала цветности изображения с использованием первого ядра фильтра, позиционированного совпадающим с позицией, в которой детектор (12) выполняет обнаружение.

7. Устройство по п. 4, в котором второй модуль (16) субдискретизации сигнала цветности выполнен с возможностью осуществлять субдискретизацию сигнала цветности изображения с использованием второго ядра фильтра, позиционированного совпадающим с позицией, в которой детектор (12) выполняет обнаружение.

8. Устройство по п. 1, в котором первый модуль (14) субдискретизации сигнала цветности выполнен с возможностью осуществлять субдискретизацию сигнала цветности с использованием рангового фильтра.

9. Устройство по п. 1, в котором первый модуль (14) субдискретизации сигнала цветности выполнен с возможностью выбирать для каждого ядра значение выборки сигнала цветности изображения, которое должно быть подвергнуто субдискретизации сигнала цветности, совместно размещенное с максимальным или минимальным значением выборки яркости изображения, которое должно быть подвергнуто субдискретизации сигнала цветности.

10. Устройство по п. 1, в котором второй модуль (16) субдискретизации сигнала цветности выполнен с возможностью осуществлять субдискретизацию сигнала цветности с использованием фильтра усреднения.

11. Устройство по п. 1, в котором второй модуль (16) субдискретизации сигнала цветности выполнен с возможностью осуществлять субдискретизацию сигнала цветности изображения с использованием второго ядра фильтра и заменять часть второго ядра фильтра, входящую в первую область, с использованием экстраполяции и посредством задания его равным предварительно определенному значению сигнала цветности.

12. Способ субдискретизации сигнала цветности, содержащий этапы, на которых:

- обнаруживают высококонтрастные области в канале яркости изображения, которое должно быть подвергнуто субдискретизации сигнала цветности с тем, чтобы сегментировать изображение на первую область, состоящую из высококонтрастных областей, и вторую область, отличную от первой области;

- подвергают субдискретизации сигнала цветности изображение в первой области с использованием первого модуля субдискретизации сигнала цветности;

- подвергают субдискретизации сигнала цветности изображение во второй области посредством второго модуля субдискретизации сигнала цветности,

- при этом первый модуль субдискретизации сигнала цветности имеет свойство сохранения более высокой резкости краев по сравнению со вторым модулем субдискретизации сигнала цветности.

13. Компьютерно-читаемый носитель, хранящий компьютерную программу, имеющую программный код для осуществления, при выполнении на компьютере, способа по п. 12.