ДЕКОМПОЗИЦИЯ УРОВНЕЙ В ИЕРАРХИЧЕСКОМ КОДИРОВАНИИ VDR Российский патент 2016 года по МПК H04N19/124 H04N19/30 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/555978, поданной 4 ноября 2011 г., и предварительной заявки на патент США №61/596600, поданной 8 февраля 2012 г., которые обе полностью включаются в настоящее раскрытие посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее изобретение, в общем, относится к обработке изображений и, в частности, к кодированию, декодированию и представлению изображений с переменным динамическим диапазоном с использованием иерархического кодека VDR.

ПРЕДПОСЫЛКИ

[0003] Дисплейные технологии, разрабатываемые компанией Dolby Laboratories, Inc., и другими, способны воспроизводить изображения, имеющие расширенный динамический диапазон (HDR). Такие дисплеи могут воспроизводить изображения, которые более верно представляют сцены реального мира, чем традиционные дисплеи.

[0004] Для поддержки обратной совместимости, а также новых технологий HDR-дисплеев, при доставке видеоданных из устройства в восходящем направлении, такого, как многоуровневый видеокодер, к устройствам в нисходящем направлении может использоваться несколько уровней. Видеоданные со стандартным динамическим диапазоном (SDR), переносимые в базовом уровне (BL) из нескольких уровней, являются оптимизированными для режима просмотра на SDR-дисплеях, в то время как видеоданные с визуальным динамическим диапазоном (VDR), переносимые в комбинации базового уровня и уровня расширения (EL) из нескольких уровней, поддерживают режим просмотра VDR-дисплеев, имеющих более широкие динамические диапазоны, чем таковые для SDR-дисплеев. В том смысле, как они используются в настоящем раскрытии, кодеки, вовлеченные в кодирование и декодирование данных таких изображений, обозначаются как кодеки VDR, оптимизированные для SDR-дисплеев.

[0005] Данные изображения BL могут включать SDR-изображения с меньшей битовой глубиной (например, 8 битов на цветовую составляющую), полученные из исходных HDR-изображений с большей битовой глубиной (например, 12 или более битов на цветовую составляющую) из ввода данных изображения. SDR-изображения, кодированные в данных изображения BL, как правило, содержат корректуры цвета, выполняемые художниками-колористами для того, чтобы сделать SDR-изображения выглядящими как можно более реалистично в пределах относительно узкого, или стандартного, динамического диапазона. Например, информация цветовых тонов, относящаяся к некоторым или ко всем пикселам на входном HDR-изображении, может изменяться или корректироваться на SDR-изображении с целью создания реалистично выглядящего изображения в пределах стандартного динамического диапазона. Указанные корректуры цвета приводят к асимметричным отсечениям в различных цветовых каналах и вносят рукотворные изменения цвета, особенно, в относительно недодержанных или передержанных областях исходных HDR-изображений. SDR-изображение с корректурами цвета может позволять SDR-дисплеям демонстрировать детали изображения в темных областях и наиболее ярких участках исходного HDR-изображения.

[0006] Отсечение представляет собой один из типов изменения цвета, который изменяет/модифицирует значения пикселов за пределами границ в цветовых каналах так, чтобы результирующие значения пикселов находились в пределах целевого представляемого диапазона (который может находиться в пределах диапазона, поддерживаемого конкретным типом SDR-дисплеев, или в пределах диапазона, поддерживаемого каким-либо диапазоном SDR-дисплеев, или в пределах диапазона, поддерживаемого диапазоном VDR-дисплеев и т.д.). Отсечение может проявляться в нуле, одном или нескольких цветовых каналах (например, значения пикселов R, G и B в цветовом пространстве RGB в некоторой части HDR-изображения могут являться отсеченными на тонально отображенном изображении). Величины отсечения могут изменяться или могут не изменяться для цветовых каналов (например, большее отсечение - для зеленого, меньшее отсечение - для синего и т.д.).

[0007] Корректуры цвета, такие как отсечение, вносимые в SDR-изображения заставляют SDR-изображения содержать разное содержимое независимого происхождения из эквивалентных им VDR-изображений, и устройству в нисходящем направлении трудно или даже невозможно устранить их с целью реконструкции изображений с расширенным динамическим диапазоном без сложной обработки данных и без достаточно высокой битовой скорости передачи данных. Когда для передачи данных устройству в нисходящем направлении используется несколько уровней, обращение корректур цвета может потребовать передачи устройству в нисходящем направлении большого объема дополнительных данных изображения, например, на уровне расширения.

[0008] Подходы, описываемые в данном разделе, представляют собой подходы, который могут осуществляться, но необязательно являются подходами, которые были сформулированы или осуществлены ранее. Поэтому, если не указано иное, не следует полагать, что любой из подходов, описываемых в данном разделе, квалифицируется как известный уровень техники единственно в силу его включения в данный раздел. Аналогично, проблемы, распознаваемые в отношении одного или нескольких подходов, не следует полагать признанными на известном уровне техники на основе данного раздела, если не указано иное.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0009] Настоящее изобретение проиллюстрировано на примере, но не в качестве ограничения на фигурах сопроводительных графических материалов, на которых похожие ссылочные позиции относятся к сходным элементам, и на которых:

[00010] ФИГ. 1 иллюстрирует архитектуру кодека визуального динамического диапазона в базовом профиле в соответствии примерным вариантом осуществления;

[0010] ФИГ. 2 иллюстрирует архитектуру кодека визуального динамического диапазона в основном профиле в соответствии с примерным вариантом осуществления;

[0011] ФИГ. 3 иллюстрирует адаптирующееся к сцене квантование корректировки динамического диапазона, которое применяется в цветовом пространстве YCbCr, в соответствии с примерным вариантом осуществления;

[0012] ФИГ. 4А и ФИГ. 4В иллюстрируют примеры последовательностей операций процессов в соответствии с примерными вариантами осуществления настоящего изобретения;

[0013] ФИГ. 5 иллюстрирует примерную аппаратную платформу, на которой может быть реализован компьютер или вычислительное устройство, описываемое в настоящем раскрытии, согласно варианту осуществления настоящего изобретения; и

[0014] ФИГ. 6 иллюстрирует пример последовательности процесса обнаружения переходных последовательностей и выбора между двумя схемами квантования согласно одному варианту осуществления настоящего изобретения.

ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0015] В настоящем раскрытии описываются примерные варианты осуществления, которые относятся к кодированию, декодированию и представлению изображений с переменным динамическим диапазоном с использованием иерархического кодека VDR. В нижеследующем описании с целью разъяснения многочисленные конкретные подробности излагаются для того, чтобы обеспечить исчерпывающее понимание настоящего изобретения. Однако будет очевидно, что настоящее изобретение может применяться на практике без этих конкретных подробностей. В других случаях, хорошо известные конструкции и устройства не описываются в исчерпывающих подробностях с тем, чтобы избежать излишнего затруднения, усложнения или запутывания настоящего изобретения.

[0016] Примерные варианты осуществления описываются в настоящем раскрытии в соответствии со следующим планом:

1. ОБЩИЙ ОБЗОР

2. ИЕРАРХИЧЕСКАЯ ДОСТАВКА ВИДЕОИЗОБРАЖЕНИЙ

2.1. БАЗОВЫЙ ПРОФИЛЬ

2.2. ОСНОВНОЙ ПРОФИЛЬ

3. УСОВЕРШЕНСТВОВАННОЕ КВАНТОВАНИЕ

4. ЛИНЕЙНОЕ РАСТЯЖЕНИЕ

5. ПРИМЕРНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ ОПЕРАЦИЙ ПРОЦЕССОВ

6. АДАПТИВНАЯ КОРРЕКТИРОВКА ДИНАМИЧЕСКОГО ДИАПАЗОНА

7. МЕХАНИЗМЫ РЕАЛИЗАЦИИ - ОБЗОР АППАРАТНОГО ОБЕСПЕЧЕНИЯ

8. ЭКВИВАЛЕНТЫ, РАСШИРЕНИЯ, АЛЬТЕРНАТИВЫ И РАЗНОЕ

1. ОБЩИЙ ОБЗОР

[0017] Данный обзор представляет базовое описание некоторых особенностей примерного варианта осуществления настоящего изобретения. Следует отметить, что данный обзор не является всесторонним или исчерпывающим изложением особенностей примерного варианта осуществления. Более того, следует отметить, что данный обзор не следует понимать как идентифицирующий любые особенно значительные особенности или элементы примерного варианта осуществления, ни как очерчивающие какой-либо объем примерного варианта осуществления изобретения в частности, ни как очерчивающие изобретение в целом. Данный обзор лишь представляет в сжатой и упрощенной форме некоторые концепции, которые относятся к примерному варианту осуществления, и его следует понимать лишь как концептуальное вступление к более подробному описанию примерных вариантов осуществления изобретения, которое следует ниже.

[0018] В некоторых вариантах осуществления изобретения, иерархические кодеки VDR могут использоваться для доставки сжатых VDR-изображений (например, видеоизображений) в устройства обработки VDR-изображений (например, в VDR-дисплеи). В том смысле, как он используется в настоящем раскрытии, термин «иерархический кодек VDR» может относиться к кодеку VDR, где сам по себе базовый уровень может не просматриваться на SDR-дисплеях. В том смысле, как он используется в настоящем раскрытии, термин «VDR», или «визуальный динамический диапазон», может относиться к более широкому динамическому диапазону, чем стандартный динамический диапазон, и может включать широкий динамический диапазон вплоть до мгновенно воспринимаемого динамического диапазона и цветовую гамму, которую человеческое зрение может воспринимать в любой момент времени, но не ограничиваясь этим.

[0019] Иерархический кодек VDR, описываемый в настоящем раскрытии, который поддерживает VDR-изображения с большей битовой глубиной (например, 12+битов), может реализовываться двумя или большим количеством кодеков с меньшей битовой глубиной (например, 8 битов) на нескольких уровнях. Несколько уровней могут включать базовый уровень и один или несколько уровней расширения.

[0020] В резком противоречии с другими методиками, данные изображения базового уровня согласно методикам, описываемым в настоящем раскрытии, не должны поддерживать оптимизированный просмотр на SDR-дисплеях или создание SDR-изображений, выглядящих как можно лучше и согласующихся с человеческим восприятием, в пределах стандартного динамического диапазона. Вместо этого, данные изображения базового уровня согласно методикам, описываемым в настоящем раскрытии, должны поддерживать оптимизированный просмотр на VDR-дисплеях. В примерном варианте осуществления данные изображения базового уровня согласно методикам, описываемым в настоящем раскрытии, содержат специфическую структуру версии данных VDR-изображения с меньшей битовой глубиной, а остаточная разность между базовым уровнем и оригинальным VDR-изображением переносится на уровне расширения.

[0021] Также, согласно другим методикам, данные VDR-изображения и данные SDR-изображения, относящиеся к одним и тем же исходным изображениям, содержат разное содержимое изображения. Например, данные SDR-изображения на вводе кодера содержат в данном конкретном случае независимые изменения, которые неизвестны или не могут быть определены исходя из данных VDR-изображения на вводе кодера. Часто корректуры цвета или результаты цветокоррекции художником-колористом должны подвергаться экспертному анализу путем сравнения данных SDR-изображения с VDR-изображением после того, как данные SDR-изображения уже были изменены, например, художником-колористом.

[0022] В резком противоречии, согласно методикам, описываемым в настоящем раскрытии, данные VDR-изображения могут использоваться для доставки данных изображения базового уровня (BL) посредством иерархической декомпозиции, например, усовершенствованного квантования с последующим многоуровневым кодированием. Конкретные способы, применяемые при усовершенствованном квантовании, известны и даже целенаправленно выбираются иерархическим кодером VDR. Выбор/определение конкретного усовершенствованного квантователя для выполнения усовершенствованного квантования может основываться, например, на том, каким на стороне декодера VDR может быть качество изображения реконструированных VDR-изображений. Таким образом, усовершенствованное квантование согласно способам, описываемым в настоящем раскрытии, представляет собой одну или несколько операций, известных заранее (например, перед тем, как генерируются входные несжатые данные базового уровня в обработке базового уровня), управляемых и реализуемых иерархическим кодеком VDR, описываемым в настоящем раскрытии. Таким образом, согласно методикам, описываемым в настоящем раскрытии, можно избежать и исключить сложный анализ для определения различий между данными VDR-изображения и данными SDR-изображения, которые, согласно другим методикам, изменялись или генерировались независимо.

[0023] Кодеки, реализующие методики, описываемые в настоящем раскрытии, могут конфигурироваться для включения в них инструментов межуровневого предсказания для того, чтобы в полной мере использовать статистическую избыточность между данными изображения базового уровня (BL) и данными оригинального VDR-изображения. Данные изображений EL могут (возможно, только) переносить остаточные (или разностные) данные изображения вместо переноса большого объема данных VDR-изображения без использования статистической избыточности в данных изображения на различных уровнях.

[0024] В некоторых вариантах осуществления для дальнейшей минимизации объема данных VDR-изображения, которые подлежат переносу на уровнях расширения, может использоваться предсказание. В качестве специфического применения усовершенствованного иерархического кодера VDR, иерархическим кодером VDR может устанавливаться соответствующая взаимосвязь между усовершенствованным квантованием и предсказанием. На основе специфического применения усовершенствованного квантования, используемого для получения входных несжатых данных базового уровня, для обработки базового уровня, иерархический кодер VDR может выбирать среди ряда доступных способов предсказания соответствующий конкретный способ предсказания. В одном из примеров, если для усовершенствованного квантования используется линейное квантование, для предсказания может использоваться способ предсказания на основе многочленов первого порядка. В другом примере, если при усовершенствованном квантовании используется кривая квантования (например, сигмоидальная кривая, функция вида мю, кривая на основе человеческого восприятия и т.д.), для предсказания может использоваться соответствующий кривой квантования способ предсказания на основе многочлена более высокого порядка (второго или более высокого порядка). В другом примере, если при усовершенствованном квантовании используется (векторное) квантование между цветовыми каналами (например, наклон/смещение/мощность/цветовой тон/насыщенность, используемые в операции первичной цветокоррекции), для предсказания может использоваться соответствующее предсказание между цветовыми каналами. В еще одном примере, если при усовершенствованном квантовании используется кусочное квантование, для предсказания может использоваться способ предсказания, соответствующий кусочному квантованию. Соответствующий способ предсказания может предварительно конфигурироваться или динамически выбираться иерархическим кодером VDR, поскольку иерархическому кодеру VDR заранее (например, без анализа результата усовершенствованного квантования) известно, использовалось ли при усовершенствованном квантовании какое-либо квантование, и какого типа квантование использовалось, например, линейное квантование, криволинейное квантование, квантование между цветовыми каналами, кусочное квантование, квантование на основе справочной таблицы (LUT), какое-либо специальное сочетание разных типов квантования и т.д.

[0025] В резком противоречии, согласно другим методикам, так как корректуры цвета в данных входного SDR-изображения на базовом уровне, такие, как корректуры, вносимые художником-колористом, выполняются независимо, трудно определить, какой способ следует применить для предсказания в отсутствие дорогостоящей обработки сравнения и анализа на независимо отличающемся содержимом изображений как для данных входного SDR-изображения на базовом уровне, так и для данных входного VDR-изображения.

[0026] Таким образом, согласно способам, описываемым в настоящем раскрытии, в некоторых вариантах осуществления можно исключить или избежать сложных и дорогостоящих анализов (например, в операциях предсказания) для определения различий в VDR-содержимом и независимо измененном содержимом базового уровня. Иерархический кодек VDR может реализовывать для корреляции усовершенствованного квантования с предсказанием логику усовершенствованного квантования и обработки.

[0027] В некоторых вариантах осуществления даже если иерархический кодек VDR не рассчитан на создание данных изображения базового уровня, оптимизированных для просмотра на SDR-дисплеях, иерархический кодек VDR по-прежнему может широко использовать повторно компоненты в кодеке VDR с оптимизацией базового уровня. В одном из вариантов осуществления иерархический кодер VDR может добавлять один или несколько модулей или модифицировать один или несколько модулей в инфраструктуре кодека VDR, оптимизированной для SDR-дисплеев с целью генерирования входного изображения базового уровня посредством усовершенствованного квантования при обработке базового уровня из данных VDR-изображения. Таким образом, иерархический кодер VDR может нуждаться только в единичном вводе содержимого изображения из данных входного VDR-изображения, а не одного ввода содержимого изображения для VDR и еще одного ввода отличающегося содержимого изображения для SDR. Например, модуль преобразования в иерархическом кодере VDR может реализовывать усовершенствованное квантование для преобразования 16-битных VDR-данных RGB в 8-битные данные YCbCr в качестве данных входного изображения базового уровня в обработку базового уровня.

[0028] В примерном варианте осуществления иерархический кодек VDR может конфигурироваться для широкой поддержки синтаксиса, описания и архитектуры кодирования обработки опорного значения VDR, определяемого, например, в промышленном стандарте, описании, защищенном правами собственности, расширении промышленного стандарта или в сочетании вышеизложенного. В примерном варианте осуществления один или несколько вводов и выводов иерархического кодека VDR (кодера и/или декодера) являются такими же или по существу сходными с таковыми, которые описываются техническими условиями или профилями VDR для кодека VDR, оптимизированного для SDR-дисплеев. Иерархический кодек VDR может представлять собой средство для обработки и представления 12+-битных VDR-изображений через два (недорогих) 8-битных декодера, избегая необходимости в использовании дорогого 12+-битного декодера для обеспечения для VDR-изображений качества изображения, сходного с точки зрения восприятия. В том смысле, как он используется в настоящем раскрытии, термин «N+-битное изображение» может относиться к изображениям, которые представляются с использованием N и более битов на каждую цветовую составляющую, и содержат по меньшей мере одну цветовую составляющую. В некоторых вариантах осуществления, для, по меньшей мере, некоторых операций в устройстве может параллельно действовать более одного декодера с меньшей битовой глубиной в кодеке и/или более одного кодера с меньшей битовой глубиной, и они могут совместно выполнять кодирование и декодирование данных VDR-изображения.

[0029] Практические выгоды вариантов осуществления, описываемых в настоящем раскрытии, включают в качестве неограничивающих примеров доставку высококачественных данных VDR-изображения конечным потребителям, которые озабочены только конечным качеством VDR и не заботятся или даже не смотрят на версию SDR, которая может быть сконструирована из данных изображения базового уровня.

[0030] В некоторых вариантах осуществления для действия в нескольких режимах может использоваться комбинированный кодек (который может представлять собой кодер VDR или декодер VDR). Один из рабочих режимов для комбинированного кодека может размещать комбинированный кодек для работы в качестве иерархического кодека VDR, в то время как один из других рабочих режимов для комбинированного кодека также может допускать кодирование базового уровня, которое является подходящим для просмотра на SDR-дисплеях. Как результат, в некоторых примерных вариантах осуществления кодированные битовые потоки, которые соответствуют любым из технических условий VDR, могут должным образом декодироваться комбинированным декодером VDR. Как результат, в некоторых примерных вариантах осуществления кодированные битовые потоки, которые соответствуют любым из технических условий VDR, могут должным образом генерироваться комбинированным кодером VDR.

[0031] В некоторых примерных вариантах осуществления изобретения, в данные изображения базового уровня и уровня расширения, подлежащие доставке из устройства в восходящем направлении в устройство в нисходящем направлении, также могут включаться данные, необходимые для других приложений. В некоторых примерных вариантах осуществления базовым уровнем и уровнем расширения, описываемым в настоящем раскрытии, могут поддерживаться дополнительные и/или независимые характерные признаки.

[0032] В некоторых примерных вариантах осуществления механизмы, описываемые в настоящем раскрытии, образуют часть системы обработки медиаданных, включающей в качестве неограничивающих примеров какое-либо из следующих устройств: карманное устройство, игровой автомат, телевизор, портативный персональный компьютер, нетбук, планшетный компьютер, сотовый радиотелефон, электронная книга, терминал торговой точки, настольный компьютер, автоматизированное рабочее место, компьютерный киоск или терминалы и модули обработки медиаданных других видов.

[0033] Специалистам в данной области техники будут легко видны различные модификации предпочтительных вариантов осуществления и общих принципов и характерных признаков, описываемых в настоящем раскрытии. Поэтому данное раскрытие не предполагается как ограничивающееся показанными вариантами осуществления, но должно согласовываться с самым широким объемом в соответствии с принципами и характерными признаками, описываемыми в настоящем раскрытии.

2. ИЕРАРХИЧЕСКАЯ ДОСТАВКА ВИДЕОИЗОБРАЖЕНИЙ

[0034] В некоторых вариантах осуществления базовый уровень и один или несколько уровней расширения могут использоваться, например, устройством в восходящем направлении (например, кодером 102 VDR-изображений по ФИГ. 1 или кодером 202 VDR-изображений по ФИГ. 2) для доставки данных изображения в одном или нескольких видеосигналах (или кодированных битовых потоках) устройству в нисходящем направлении (например, декодеру 150 VDR-изображений по ФИГ. 1). Данные изображения могут содержать данные изображения базового уровня с меньшей битовой глубиной, квантованного из VDR-изображения с большей битовой глубиной (например, 12+битов) и переносимого в контейнере изображения базового уровня (контейнере изображения YCbCr 4:2:0), и данные изображения уровня расширения, содержащие остаточные значения между VDR-изображением и предсказанным кадром, генерируемым исходя из данных изображения базового уровня. Данные изображения базового уровня и данные изображения уровня расширения могут приниматься и использоваться устройством в нисходящем направлении для реконструкции версии VDR-изображения с большей битовой глубиной (12+битов).

[0035] В некоторых вариантах осуществления данные изображения базового уровня не предназначены для генерирования SDR-изображения, оптимизированного для просмотра на SDR-дисплеях; вместо этого, данные изображения базового уровня совместно с данными изображения уровня расширения оптимизированы для реконструкции высококачественных VDR-изображений для просмотра на VDR-дисплеях.

2.1. БАЗОВЫЙ ПРОФИЛЬ

[0036] На ФИГ. 1 показана архитектура кодека VDR в базовом профиле в соответствии с примерным вариантом осуществления. В том смысле, как он используется в настоящем раскрытии, термин «базовый профиль» может относиться к простейшему профилю кодера в системе кодирования VDR. В варианте осуществления базовый профиль ограничивает всю обработку видеоданных на базовом уровне кодирования и уровне расширения цветовым пространством YCbCr 4:2:0. В примерном варианте осуществления изобретения, предсказание может осуществляться в пространстве YCbCr согласно схеме дискретизации 4:2:0; для предсказания может использоваться, например, способ многочленного предсказания/предсказания 1D LUT. В некоторых вариантах осуществления изобретения, устройство в восходящем направлении, которое доставляет данные VDR-изображения в устройства в нисходящем направлении, может содержать кодер 102 VDR-изображений, реализующий одну или несколько методик, описываемых в настоящем раскрытии, и, в то же время, устройство в нисходящем направлении, которое принимает и обрабатывает видеосигналы из кодера 102 VDR-изображений, может содержать декодер 150 VDR-изображений, реализующий одну или несколько методик, описываемых в настоящем раскрытии. Каждое из указанных устройств, кодер 102 VDR-изображений и декодер 150 VDR-изображений, может реализовываться одним или несколькими вычислительными устройствами.

[0037] В примерном варианте осуществления кодер (102) VDR-изображений сконфигурирован для приема входного VDR-изображения (106). В том смысле, как он используется в настоящем раскрытии, термин «входное VDR-изображение» относится к данным изображения с широким или расширенным динамическим диапазоном, которые могут использоваться для получения VDR-версии исходного изображения (например, необработанное изображение, зафиксированное устройством высокого класса для получения изображений и т.д.), которое дает начало входному VDR-изображению. Входное VDR-изображение может находиться в любом цветовом пространстве, которое поддерживает цветовую гамму расширенного динамического диапазона. В некоторых вариантах осуществления входное VDR-изображение (106) является единственным вводом относительно исходного изображения, который доставляет данные изображения для кодера (102) VDR-изображений с целью кодирования; данные входного изображения относительно исходного изображения для обработки на базовом уровне согласно способам, раскрываемым в настоящем раскрытии, могут генерироваться на основе входного VDR-изображения (106) с использованием усовершенствованного квантования.

[0038] В примерном варианте осуществления входное VDR-изображение, как показано на ФИГ. 1, представляет собой 12+-битное изображение RGB в цветовом пространстве RGB. В одном из примеров, каждый пиксел, представленный на входном VDR-изображении, содержит значения пиксела для всех каналов (например, для красного, зеленого и синего цветовых каналов), определенных для цветового пространства (например, для цветового пространства RGB). Необязательно и/или в качестве альтернативы каждый пиксел может содержать значения пиксела, подвергнутые повышающей или понижающей дискретизации, для одного или нескольких каналов в цветовом пространстве. Следует отметить, что в некоторых вариантах осуществления в дополнение к трем основным цветам, таким, как красный, зеленый и синий, в цветовом пространстве, описываемом в настоящем раскрытии, могут одновременно использоваться и другие основные цвета, например, для поддержки широкой цветовой гаммы; в таких вариантах осуществления данные изображения, описываемые в настоящем раскрытии, содержат дополнительные значения пиксела для этих других основных цветов, и они могут одновременно обрабатываться по методикам, описываемым в настоящем раскрытии.

[0039] В примерном варианте осуществления кодер (102) VDR-изображений сконфигурирован для преобразования значений пикселов входного VDR-изображения из первого цветового пространства (например, цветового пространства RGB) во второе цветовое пространство (например, в цветовое пространство YCbCr). Преобразование цветового пространства может выполняться, например, модулем (108) RGB-2-YCbCr в кодере (102) VDR-изображений.

[0040] В примерном варианте осуществления кодер (102) VDR-изображений или понижающий дискретизатор (например, понижающий дискретизатор 110 в диапазоне 444-420) в нем, сконфигурирован для понижающей дискретизации VDR-изображения (например, в формате дискретизации 4:4:4) в цветовом пространстве YCbCr в подвергнутое понижающей дискретизации 12+-битное VDR-изображение 112 (например, в формате дискретизации 4:2:0). Без учета эффектов сжатия, общий объем данных изображения в канале цветности 12+-битного VDR-изображения (112), подвергнутого понижающей дискретизации, может составлять в размере одну четверть от общего объема данных изображения в канале светимости 12+-битного VDR-изображения (112), подвергнутого понижающей дискретизации.

[0041] В примерном варианте осуществления кодер (102) VDR-изображений сконфигурирован для выполнения усовершенствованного квантования на данных изображения YCbCr (в настоящем примере, в формате дискретизации 4:2:0), как подвергнутых понижающей дискретизации из VDR-изображения (в формате дискретизации 4:4:4), с целью генерирования 8-битного изображения (114) BL в цветовом пространстве YCbCr. Как проиллюстрировано на ФИГ. 1, оба изображения, 12+-битное VDR-изображение (112) и 8-битное изображение (114) BL, генерируются после одной и той же понижающей дискретизации цветности и поэтому содержат одно и то же содержимое изображения (например, 8-битное изображение 114 BL является более грубо квантованным, чем 12+-битное VDR-изображение 112).

[0042] В примерном варианте осуществления кодер (102) VDR-изображений, или первый кодер (116-1) в нем, сконфигурирован для кодирования/форматирования 8-битного изображения (214) BL в цветовом пространстве YCbCr в данные изображения в контейнере изображения базового уровня в формате дискретизации 4:2:0. В некоторых вариантах осуществления указанные данные изображения в контейнере изображения базового уровня не предназначены для генерирования SDR-изображений, оптимизированных для просмотра на SDR-дисплеях; точнее, данные изображения в контейнере изображения базового уровня оптимизированы для содержания оптимального объема данных изображения базового уровня в контейнере изображения с меньшей битовой глубиной с целью минимизации общей потребности в битах для данных VDR-изображения, подлежащих переносу на нескольких уровнях с целью реконструкции в VDR-изображение, оптимизированное для VDR-дисплеев. В том смысле, как он используется в настоящем раскрытии, термин «меньшая битовая глубина» относится к данным изображения, квантованным в кодовом пространстве, которое имеет меньшую битовую глубину; один из примеров меньшей битовой глубины содержит 8 битов, в то время как термин «большая битовая глубина» относится к данным изображения, квантованным в кодовом пространстве, которое имеет большую битовую глубину; одним из примеров большей битовой глубины является битовая глубина 12 битов или более. В частности, термины «меньшая битовая глубина» и «большая битовая глубина» не относятся к самым младшим битам или самым старшим битам значения пиксела.

[0043] В примерном варианте осуществления кодер (102) VDR-изображений генерирует на основе данных изображения в контейнере изображения базового уровня видеосигнал базового уровня, который может выводиться в видеодекодер (например, в декодер 150 VDR-изображений или в первый декодер 152-1 в нем) в устройстве в нисходящем направлении.

[0044] В примерном варианте осуществления декодер (120) в кодере (102) VDR-изображений декодирует данные изображения в контейнере изображения базового уровня в декодированное изображение базового уровня, в настоящем примере, в формате дискретизации 4:2:0. Декодированное изображение базового уровня отличается от 8-битного изображения (114) BL, поскольку декодированное изображение базового уровня содержит кодовые изменения, ошибки округления и приближения, вносимые в операции кодирования и декодирования, выполняемые первым кодером (116-1) и декодером (120).

[0045] Данные реконструкции VDR-изображения в дополнение к тем, которые содержатся в видеосигнале базового уровня, могут доставляться кодером VDR-изображений в устройство в нисходящем направлении на одном или нескольких уровнях расширения, отдельных от базового уровня. В некоторых вариантах осуществления изобретения VDR-изображение (112) с большей битовой глубиной в цветовом пространстве YCbCr может предсказываться исходя либо из соседних дискретных значений в том же самом кадре изображения (с использованием внутреннего предсказания), либо из дискретных значений кадров ранее декодированного изображения (внешнее предсказание), которые принадлежат одному и тому же уровню и буферизуются как опорные значения предсказания с компенсацией движения в буфере предсказанного кадра изображения. Межуровневое предсказание также может, по меньшей мере, частично основываться на декодированной информации из других уровней (например, из базового уровня).

[0046] В примерном варианте осуществления кодер (102) VDR-изображений содержит модуль (122) обработки предсказания, который выполняет одну или несколько операций, относящихся к предсказанию. Предсказание, реализуемое модулем обработки предсказания (например, модулем 122), может уменьшать непроизводительные затраты при реконструкции VDR-изображения VDR-видеодекодером (например, 150 по ФИГ. 1). В примерном варианте осуществления кодер (102) VDR-изображений сконфигурирован для определения, по меньшей мере, частично на основе 12+-битного VDR-изображения (112) и декодированного изображения базового уровня, посредством внешнего или внутреннего предсказания (или оценки, или других способов), набора параметров отображения для предсказания (134). Модуль (122) обработки предсказания может генерировать 12+-битное предсказанное изображение в цветовом пространстве YCbCr на основе набора параметров (134) отображения и декодированного изображения базового уровня. В том смысле, как они используются в настоящем раскрытии, примеры параметров отображения могут включать, но ограничиваться только параметрами многочлена, используемого для предсказания.

[0047] В примерном варианте осуществления кодер (102) VDR-изображений сконфигурирован для генерирования остаточных значений (130) между 12+-битным VDR-изображением (112) и предсказанным изображением, генерируемым модулем (122) обработки предсказания. Остаточные значения в цветовом канале (например, в канале светимости) могут представлять собой разности, полученные посредством операций вычитания (например, 126) в линейной или логарифмической области. В альтернативном варианте и/или необязательно, остаточные значения в цветовом канале (например, в канале светимости) могут представлять собой отношения, полученные посредством операций деления в линейной или логарифмической области. В различных примерных вариантах осуществления с целью генерирования остаточных значений (130) между 12+-битным VDR-изображением (112) и предсказанным изображением может использоваться одно или несколько математических представлений и соответствующих операций.

[0048] В варианте осуществления, если не принимать во внимание разности, вносимые путем усовершенствованного квантования (или процесса псевдоцветокоррекции), 12+-битное VDR-изображение (112) и 8-битное изображение (114) BL содержат одно и то же содержимое изображения. В варианте осуществления 12+-битное VDR-изображение (112) содержит такую же информацию цветности, что и 8-битное изображение (114) BL, если не принимать во внимание шумы квантования или разности, вносимые усовершенствованным квантованием (или процессом псевдоцветокоррекции). В варианте осуществления области средних тонов и темные области на 12+-битном изображении (112) могут кодироваться на базовом уровне в условиях усовершенствованного квантования, где наиболее яркие области на 12+-битном изображении (112) могут кодироваться на уровнях расширения в условиях того же усовершенствованного квантования.

[0049] В дополнение и/или необязательно, на пути обработки от 8-битного изображения (114) BL к предсказанному изображению первым модулем (116-1) кодирования, модулем (120) декодирования или модулем (122) обработки предсказания только в обработку базового уровня не вносятся корректуры/изменения/искажение цветов (например, отсечение). В примерном варианте осуществления предсказанное изображение содержит такую же информацию цветности, что и 8-битное изображение (114) BL за исключением возможных искажений, которые могут неотъемлемо присутствовать на пути обработки (например, искажений базового уровня, вызываемых кодеком базового уровня).

[0050] В примерном варианте осуществления нелинейный квантователь (NLQ) 128 в кодере (102) VDR-изображений сконфигурирован для квантования остаточных значений (130) в 12+-битном цифровом представлении в 8-битное цифровое представление (или 8-битные остаточные значения в цветовом пространстве YCbCr) с использованием одного или нескольких параметров NLQ.

[0051] В примерном варианте осуществления кодер (102) VDR-изображений, или второй кодер (116-2) в нем, сконфигурирован для кодирования 8-битных остаточных значений в контейнере изображения уровня расширения, например, в формате дискретизации 4:2:0. Контейнер изображения уровня расширения является логически отдельным от контейнера изображения базового уровня на базовом уровне.

[0052] В примерном варианте осуществления кодер (102) VDR-изображений генерирует на основе 8-битных остаточных значений в контейнере изображения уровня расширения видеосигнал уровня расширения, который может выводиться в видеодекодер (например, декодер 150 VDR-изображений или второй декодер 152-2 в нем).

[0053] В примерном варианте осуществления набор параметров (134) отображения и параметров (132) NLQ может передаваться в устройство в нисходящем направлении (например, в декодер 150 VDR-изображений) как часть вспомогательной информации расширения (SEI) или других аналогичных носителей метаданных, доступных в битовых видеопотоках (например, на уровнях расширения).

[0054] Одно или несколько из таких устройств, как первый кодер (116-1), второй кодер (116-2) и декодер (120) (и 152-1, 152-2), могут быть реализованы с использованием одного или нескольких кодеков из ряда таких кодеков, как H.264/AVC/HEVC, MPEG-2, VP8, VC-1 и/или другие.

[0055] В примерном варианте осуществления декодер (150) VDR-изображений сконфигурирован для приема входных видеосигналов на нескольких уровнях (или в нескольких битовых потоках), содержащих базовый уровень и один или несколько уровней расширения. В том смысле, как он используется в настоящем раскрытии, термин «многоуровневый», или «несколько уровней», может относиться к двум или большему количеству битовых потоков, которые переносят видеосигналы или сигналы изображений, содержащие одно или несколько логических отношений зависимости друг от друга (для видеосигналов).

[0056] В примерном варианте осуществления первый декодер (152-1) в декодере (150) VDR-изображений сконфигурирован для генерирования на основе видеосигнала базового уровня декодированного изображения базового уровня. В некоторых вариантах осуществления первый декодер (152-1) в декодере (150) VDR-изображений может быть таким же или по существу аналогичным декодеру (120) в декодере (102) VDR-изображений. Аналогично, декодированное изображение базового уровня в декодере (150) VDR-изображений и декодированное изображение базового уровня могут быть одинаковы или аналогичны по существу при условии, что декодированные изображения базового уровня происходят из одного и того же VDR-изображения (например, 106).

[0057] В примерном варианте осуществления VDR-видеодекодер (150) содержит модуль (158) обработки предсказания, который выполняет одну или несколько операций, относящихся к предсказанию. Предсказание, реализуемое модулем обработки предсказания, может использоваться для эффективной реконструкции VDR-изображений в VDR-видеодекодере (например, 150 по ФИГ. 1). Модуль (158) обработки предсказания сконфигурирован для приема набора параметров (134) отображения и для генерирования 12+-битного предсказанного изображения, по меньшей мере, частично на основе указанного набора параметров (134) отображения и декодированного изображения базового уровня.

[0058] В примерном варианте осуществления второй декодер (152-2) в декодере (150) VDR-изображений сконфигурирован для отыскания на основе одного или нескольких видеосигналов расширения 8-битных остаточных значений в контейнере изображения уровня расширения.

[0059] В примерном варианте осуществления нелинейный деквантователь (NLdQ) 154 в декодере (150) VDR-изображений сконфигурирован для приема одного или нескольких параметров NLQ через уровни расширения и для деквантования 8-битных остаточных значений в 12+-битное цифровое представление (или 12+-битные остаточные значения в цветовом пространстве YCbCr) с использованием одного или нескольких параметров NLQ.

[0060] В примерном варианте осуществления декодер (150) VDR-изображений сконфигурирован для генерирования реконструированного VDR-изображения (160) на основе 12+-битных остаточных значений (130) и 12+-битного предсказанного изображения, генерируемого модулем (158) обработки предсказания. Реконструированные значения пикселов в цветовом канале (например, в канале светимости) могут представлять собой суммы, генерируемые путем операций сложения (например, 162) в линейной или логарифмической области. В качестве альтернативы и/или необязательно, реконструированные значения в цветовом канале (например, в канале светимости) могут представлять собой произведения, генерируемые посредством операций умножения в линейной или логарифмической области. В различных примерных вариантах осуществления с целью генерирования реконструированных значений (160) пикселов исходя из остаточных значений и предсказанного изображения может использоваться одно или несколько других математических представлений и соответствующих операций.

2.2. ОСНОВНОЙ ПРОФИЛЬ

[0061] На ФИГ. 2 показана архитектура кодека VDR в основном профиле в соответствии с примерным вариантом осуществления. В том смысле, как он используется в настоящем раскрытии, термин «основной профиль» может относиться к профилю, который допускает большую сложность, чем базовый профиль в системе кодирования VDR. Например, основной профиль может допускать операции цветовых пространствах как YCbCr, так и RGB, а также может допускать операции в ряде форматов субдискретизации, в том числе 4:2:0, 4:2:2, и 4:4:4. В примерном варианте осуществления предсказания могут выполняться в цветовом пространстве RGB по схеме дискретизации 4:4:4; для предсказания может, например, использоваться способ предсказания на основе многочлена/предсказания 1D LUT. В некоторых вариантах осуществления устройство в восходящем направлении, которое доставляет данные VDR-изображения в устройства в нисходящем направлении, может, как проиллюстрировано на ФИГ. 2, содержать кодер 202 VDR-изображений, в то время как устройство в нисходящем направлении, которое принимает и обрабатывает данные VDR-изображения может содержать декодер 250 VDR-изображений. Каждое из устройств, кодер 202 VDR-изображений и декодер 250 VDR-изображений, может реализовываться одним или несколькими вычислительными устройствами.

[0062] В примерном варианте осуществления кодер (202) VDR-изображений сконфигурирован для приема входного VDR-изображения (206). Входное VDR-изображение (206) может находиться в любом цветовом пространстве, которое поддерживает цветовую гамму расширенного динамического диапазона.

[0063] В примерном варианте осуществления входное VDR-изображение, как проиллюстрировано на ФИГ. 2, представляет собой 12+-битное изображение RGB в цветовом пространстве RGB. В одном из примеров, каждый пиксел на входном VDR-изображении содержит значения пиксела для красного, зеленого и синего цветовых каналов, определенных в цветовом пространстве RGB. Каждый пиксел может, необязательно и/или в качестве альтернативы, содержать значения пиксела, подвергнутые повышающей дискретизации или понижающей дискретизации, для одного или нескольких из каналов в цветовом пространстве.

[0064] В примерном варианте осуществления кодер (202) VDR-изображений сконфигурирован для выполнения усовершенствованного квантования на данных 12+-битного изображения RGB в VDR-изображении 206 (в настоящем примере, в формате дискретизации 4:4:4) для генерирования 8-битных данных VDR-изображения RGB.

[0065] В примерном варианте осуществления кодер (202) VDR-изображений сконфигурирован для преобразования 8-битных данных VDR-изображения RGB из первого цветового пространства (в настоящем примере цветового пространства RGB) во второе цветовое пространство (например, в цветовое пространство YCbCr). Преобразование цветового пространства может выполняться, например, модулем (208) RGB-2-YCbCr в кодере (202) VDR-изображений.

[0066] В примерном варианте осуществления, кодер (202) VDR-изображений, или понижающий дискретизатор (например, понижающий дискретизатор 210 в диапазоне 444-420) в нем, сконфигурирован для понижающей дискретизации 8-битных данных VDR в цветовом пространстве YCbCr в 8-битное изображение 214 BL, подвергнутое понижающей дискретизации (например, в формате дискретизации 4:2:0).

[0067] В примерном варианте осуществления кодер (202) VDR-изображений, или первый кодер (216-1) в нем, сконфигурирован для кодирования 8-битного изображения (214) BL, подвергнутого понижающей дискретизации, в данные изображения в контейнере изображения базового уровня. В примерном варианте осуществления данные изображения в контейнере изображения базового уровня не оптимизированы для просмотра на SDR-дисплеях; точнее, данные изображения в контейнере изображения базового уровня оптимизированы для содержания максимального объема реконструируемой информации для представления данных VDR-изображения с большей битовой глубиной в контейнер изображения с меньшей битовой глубиной и для минимизации объема данных реконструкции VDR-изображения (например, остаточных значений 230), которые требуют переноса в уровнях расширения.

[0068] В примерном варианте осуществления кодер (202) VDR-изображений генерирует, на основе данных изображения в контейнере изображения базового уровня, видеосигнал базового уровня, который может выводиться в видеодекодер (например, в декодер 250 изображений VDR или в первый декодер 252-1 в нем) в устройстве в нисходящем направлении.

[0069] В примерном варианте осуществления декодер (220) в кодере (202) VDR-изображений декодирует данные изображения в контейнере изображения базового уровня в декодированное изображение базового уровня, в настоящем примере, в формате дискретизации 4:2:0. Декодированное изображение базового уровня отличается от 8-битного изображения (214) BL, поскольку декодированное изображение базового уровня содержит изменения и ошибки, такие, как ошибки округления и приближения, вносимые в операции кодирования и декодирования, выполняемые первым кодером (216-1) и декодером (220).

[0070] Данные реконструкции VDR-изображения в дополнение к видеосигналу базового уровня могут доставляться кодером VDR-изображений в устройство в нисходящем направлении на одном или нескольких уровнях расширения, отдельных от базового уровня. VDR-изображение (206) в цветовом пространстве RGB может предсказываться исходя либо из соседних дискретных значений в том же кадре изображения (с использованием внутреннего предсказания), либо из дискретных значений ранее декодированных кадров изображения (внешнее предсказание), которые принадлежат к одному и тому же уровню и буферизуются как опорные значения предсказания с компенсацией движения в буфере предсказанного кадра изображения. Межуровневое предсказание может также, по меньшей мере, частично основываться на декодированной информации из других уровней (например, из базового уровня).

[0071] В примерном варианте осуществления кодер (202) VDR-изображений, или повышающий дискретизатор (например, повышающий дискретизатор 212 в диапазоне 420-444) в нем, сконфигурирован для повышающей дискретизации декодированного изображения базового уровня в формате дискретизации 4:2:0 в 8-битные данные изображения, подвергнутого повышающей дискретизации (в настоящем примере, в формате дискретизации 4:4:4).

[0072] В примерном варианте осуществления кодер (202) VDR-изображений, или модуль (например, 236) YCbCr-2-RGB в нем, сконфигурирован для преобразования 8-битных данных изображения, подвергнутого повышающей дискретизации, из цветового пространства не для предсказания (в настоящем примере, цветового пространства YCbCr) в цветовое пространство предсказания (например, в цветовое пространство RGB).

[0073] В примерном варианте осуществления кодер (202) VDR-изображений содержит модуль (222) обработки предсказания, который выполняет одну или несколько операций, относящихся к предсказанию. Предсказание, реализуемое модулем (например, 222) обработки предсказания, может уменьшать непроизводительные издержки при реконструкции VDR-изображения VDR-видеодекодером (например, декодером 250 по ФИГ. 2).

[0074] В примерном варианте осуществления кодер (202) VDR-изображений сконфигурирован для определения, по меньшей мере, частично на основе 12+-битного VDR-изображения (206) и данных изображения, подвергнутого повышающей дискретизации при преобразовании в цветовое пространство предсказания, посредством внутреннего или внешнего предсказания (или оценки, или других способов), набора параметров (234) отображения для предсказания. Модуль (222) обработки предсказания может генерировать, на основе набора параметров (234) отображения и данных изображения, подвергнутого повышающей дискретизации при преобразовании в цветовое пространство предсказания, 12+-битное предсказанное изображение в цветовом пространстве RGB.

[0075] В примерном варианте осуществления кодер (202) VDR-изображений сконфигурирован для генерирования остаточных значений (230) (RGB) между 12+-битным VDR-изображением (206) и предсказанным изображением. Остаточные значения в цветовом канале (например, в канале G) могут представлять собой разности, генерируемые посредством операций (например, 126) вычитания в линейной или логарифмической области. В альтернативном варианте и/или необязательно, остаточные значения в цветовом канале (например, в канале G) могут представлять собой отношения, генерируемые посредством операций деления в линейной или логарифмической области. В различных примерных вариантах осуществления с целью генерирования остаточных значений (230) между 12+-битным VDR-изображением (206) и предсказанным изображением могут использоваться и другие математические представления и соответствующие операции/отображения/функции.

[0076] В варианте осуществления 12+-битное VDR-изображение (206) содержит такую же информацию цветности, что и 8-битные VDR-данные RGB, за исключением различий квантования или шумов, вносимых усовершенствованным квантованием (или процессом псевдоцветокоррекции). В варианте осуществления области средних тонов и темные области на 12+-битном VDR-изображении (206) могут кодироваться на базовом уровне в соответствии с усовершенствованным квантованием, в то время как наиболее яркие области на 12+-битном VDR-изображении (206) могут кодироваться на уровнях расширения в соответствии с тем же усовершенствованным квантованием.

[0077] В примерном варианте осуществления модулем (208) RGB-2-YCbCr, понижающим дискретизатором (210), первым модулем (216-1) кодирования, модулем (220) декодирования, повышающим дискретизатором (212), модулем (236) YCbCr-2-RGB или модулем (222) обработки предсказания на пути обработки от 8-битных VDR-данных RGB к предсказанному изображению не вносятся дополнительные корректуры/изменения/искажения цвета (например, отсечение). В примерном варианте осуществления предсказанное изображение содержит такую же информацию цветности, что и 8-битные VDR-данные RGB, за исключением возможных искажений, которые могут неотъемлемо присутствовать на пути обработки (например, искажения базового уровня, вызываемые кодеком базового уровня, или ошибки из-за переформатирования цветности при понижающей и повышающей дискретизации).

[0078] В примерном варианте осуществления модуль 228 понижающей дискретизации 444-в-420 и нелинейного квантования (444-в-420 и NLQ) в кодере (202) VDR-изображений сконфигурирован для понижающей дискретизации и квантования остаточных значений (230) из 12+-битного цифрового представления в формате дискретизации 4:4:4 в 8-битное цифровое представление (или 8-битные остаточные значения RGB) в формате дискретизации 4:2:0 с использованием одного или нескольких параметров NLQ.

[0079] В примерном варианте осуществления кодер (202) VDR-изображений, или второй кодер (216-2) в нем, сконфигурирован для кодирования 8-битных остаточных значений в контейнере изображения уровня расширения. Контейнер изображения уровня расширения является логически отдельным от контейнера изображения базового уровня.

[0080] В примерном варианте осуществления кодер (202) VDR-изображений генерирует на основе 8-битных остаточных значений в контейнере изображения уровня расширения видеосигнал уровня расширения, который может выводиться в видеодекодер (например, в декодер 250 VDR-изображений или во второй декодер 252-2 в нем).

[0081] В примерном варианте осуществления набор параметров (234) отображения и параметров (232) NLQ может передаваться в устройство в нисходящем направлении (например, в декодер 250 VDR-изображений) как часть вспомогательной информации расширения (SEI) или других аналогичных носителей метаданных, доступных в битовых видеопотоках (например, на уровнях расширения).

[0082] Одно или несколько из устройств, первый кодер (216-1), второй кодер (216-2) и декодер (220) (252-1 и 252-2), может реализовываться с использованием одного или нескольких кодеков из ряда таких кодеков, как H.264/AVC/HEVC, MPEG2, VP8, VC-1 и/или другие.

[0083] В примерном варианте осуществления декодер (250) VDR-изображений сконфигурирован для приема входных видеосигналов на нескольких уровнях (или в нескольких битовых потоках), включающих базовый уровень и один или несколько уровней расширения.

[0084] В примерном варианте осуществления первый декодер (252-1) в декодере (250) VDR-изображений сконфигурирован для генерирования на основе видеосигнала базового уровня декодированного (YCbCr) изображения базового уровня. В некоторых вариантах осуществления первый декодер (252-1) в декодере (250) VDR-изображений может быть таким же или по существу аналогичным декодеру (220) в декодере (202) VDR-изображений. Аналогично, декодированное изображение базового уровня в декодере (250) VDR-изображений и декодированное изображение базового уровня могут быть одинаковыми или по существу одинаковыми при условии, что декодированные изображения базового уровня происходят из одного и того же VDR-изображения (например, 206).

[0085] В примерном варианте осуществления декодер (250) VDR-изображений, или повышающий дискретизатор (например повышающий дискретизатор 266 в диапазоне 420-444) в нем, сконфигурирован для повышающей дискретизации декодированного изображения базового уровня в формате дискретизации 4:2:0 в 8-битные данные изображения, подвергнутого повышающей дискретизации, в настоящем примере, в формате дискретизации 4:4:4.

[0086] В примерном варианте осуществления декодер (250) VDR-изображений, или модуль RGB-2-YCbCr (например, модуль 264) в нем, сконфигурирован для преобразования 8-битных данных изображения, подвергнутого повышающей дискретизации, из цветового пространства не для предсказания (в настоящем примере, цветового пространства YCbCr) в цветовое пространство предсказания (например, в цветовое пространство RGB).

[0087] В примерном варианте осуществления декодер (250) VDR-изображений содержит модуль (258) обработки предсказания, который выполняет одну или несколько операций, относящихся к предсказанию. Предсказание, реализуемое модулем обработки предсказания, может использоваться для эффективной реконструкции VDR-изображений в VDR-видеодекодере (например, 250 по ФИГ. 2). Модуль (258) обработки предсказания сконфигурирован для приема набора параметров (234) отображения и для генерирования, по меньшей мере, частично на основе набора параметров (234) отображения и 8-битных данных изображения, подвергнутого повышающей дискретизации и находящегося в цветовом пространстве предсказания, в 12+-битное предсказанное изображение.

[0088] В примерном варианте осуществления второй декодер (252-2) в декодере (250) VDR-изображений сконфигурирован для отыскания на основе одного или нескольких видеосигналов расширения 8-битных остаточных значений (RGB) в контейнере изображения уровня расширения.

[0089] В примерном варианте осуществления нелинейный деквантователь (NLdQ) 254 в декодере (250) VDR-изображений и повышающий дискретизатор (268) 420-в-444 сконфигурированы для приема посредством уровней расширения одного или нескольких параметров NLQ и для деквантования и повышающей дискретизации 8-битных остаточных значений в формате дискретизации 4:2:0 в 12+-битное цифровое представление (или 12+-битные остаточные значения в цветовом пространстве RGB) в формате дискретизации 4:4:4 с использованием указанного одного или нескольких параметров NLQ.

[0090] В примерном варианте осуществления декодер (250) VDR-изображений сконфигурирован для генерирования реконструированного VDR-изображения (260) на основе 12+-битных остаточных значений (230) и 12+-битного предсказанного изображения, генерируемого модулем (258) обработки предсказания. Реконструированные значения пикселов в цветовом канале (например, в канале G) могут представлять собой суммы, генерируемые посредством операций (например, 262) сложения в линейной или логарифмической области. В качестве альтернативы и/или необязательно, реконструированные значения в цветовом канале (например, в канале G) могут представлять собой произведения, генерируемые посредством операций умножения в линейной или логарифмической области. В различных примерных вариантах осуществления с целью генерирования реконструированных значений (260) пикселов исходя из указанных остаточных значений и предсказанного изображения могут использоваться и другие математические представления и соответствующие операции/функции/отображения.

[0091] В качестве альтернативы и/или необязательно, видеокодером или видеодекодером, описываемым в настоящем раскрытии, может выполняться одна или несколько из следующих операций: преобразование, квантование, энтропийное кодирование, буферизация изображения, фильтрация дискретных значений, понижающая дискретизация, повышающая дискретизация, интерполяция, уплотнение, разуплотнение, чередование, повышение разрешения, понижение разрешения, компенсация движения, оценка рассогласования, компенсация рассогласования, оценка глубины, компенсация глубины, кодирование, декодирование и т.д.

3. УСОВЕРШЕНСТВОВАННОЕ КВАНТОВАНИЕ

[0092] В некоторых вариантах осуществления изобретения усовершенствованное квантование, такое, как квантование, выполняемое кодером VDR-изображений (кодером 102 по ФИГ. 1 или кодером 202 по ФИГ. 2) рассчитано и реализуется для фиксации/сбережения максимально возможного количества деталей изображения на базовом уровне. Это минимизирует количество остаточных значений (например, 130 по ФИГ. 1 или 230 по ФИГ. 2), которые нуждаются в кодировании в видеосигнал уровня расширения. Кроме того, детали изображения, зафиксированные/сберегаемые на базовом уровне, обеспечивают поддержку при эффективной реконструкции VDR-изображений устройством в нисходящем направлении, таким, как декодер (например, 150) VDR-изображений. Присутствие точных деталей изображения ослабляет/уменьшает/устраняет видимые артефакты, которые иначе могли бы генерироваться/усиливаться в ходе операций сжатия с потерями.

[0093] Как обсуждалось, в отличие от оптимизированного для SDR-дисплеев SDR-изображения базового уровня, генерируемого другими методиками, декодированное изображение базового уровня согласно методикам, описываемым в настоящем раскрытии, не предназначено для просмотра на SDR-дисплеях. Точнее, декодированное изображение базового уровня согласно методикам, описываемым в настоящем раскрытии, служит в качестве промежуточных данных изображения для дальнейшего генерирования остаточных значений в кодере VDR-изображений и для дальнейшей реконструкции VDR-изображений с большей битовой глубиной в декодере VDR-изображений.

[0094] Согласно методикам, описываемым в настоящем раскрытии, процесс цветокоррекции, рассчитанный на генерирование наилучшего режима просмотра на SDR-дисплеях, не является необходимым и может быть отключен или отменен. Отменяются или отключаются внешние или управляемые пользователем корректуры цвета, которые вызывают асимметричное (или другое) отсечение на пути обработки уровня расширения и пути обработки базового уровня. Уровни отсечения на путях обработки как уровня расширения, так и базового уровня, полностью управляются кодером VDR-изображений согласно методикам, описываемым в настоящем раскрытии. Пикселы, которые являются подвергнутыми отсечению цвета в данных изображения базового уровня, также могут являться подвергнутыми отсечению цвета в данных изображения уровня расширения.

[0095] Методики, описываемые в настоящем раскрытии, могут использоваться для уменьшения вычислительной сложности предсказания, в том числе межуровневого предсказания, включающего данные SDR-изображения на базовом уровне и данные VDR-изображения на уровнях расширения, и являются ориентированными на системы на кристалле (SoC). Например, процесс предсказания, описываемый в настоящем раскрытии, может реализовываться как процесс, обратный усовершенствованному квантованию (или псевдоцветокоррекции), описываемому в настоящем раскрытии. Так как усовершенствованное квантование может полностью управляться кодером VDR-изображений, описываемым в настоящем раскрытии, то процесс предсказания также может быть полностью управляемым. В некоторых вариантах осуществления уровни отсечения и пикселы, подвергнутые отсечению цвета, могут полностью управляться на пути обработки уровня расширения и пути обработки базового уровня так, чтобы для генерирования и реконструкции предсказанных изображений было достаточно такого эффективного в вычислительном отношении способа, как отображение посредством многочлена первого порядка.

[0096] В примерном варианте осуществления при усовершенствованном квантовании (например, на ФИГ. 1 или ФИГ. 2) VDR-данные с большими битовыми глубинами (например, 16-битные) квантуются при помощи линейного квантователя непосредственно в данные изображений базового уровня с меньшими битовыми глубинами (8-битные).

[0097] В некоторых примерных вариантах осуществления для квантования данных изображений с большей битовой глубиной (например, 12+битов) в данные изображения с меньшей битовой глубиной (например, 8 битов) может использоваться один или несколько линейных или нелинейных квантователей. Можно выбрать разные квантователи в разных цветовых пространствах и/или в разных цветовых каналах. Например, для ослабления/уменьшения/устранения контурных артефактов (например, в областях плавного перехода) и других артефактов, видеосигналы могут квантоваться в разных цветовых пространствах и/или разными способами усовершенствованного квантования. В некоторых вариантах осуществления усовершенствованное квантование, описываемое в настоящем раскрытии, может включать одно или несколько из линейного квантования; линейного растяжения, квантования на основе кривой/неравномерного квантования; квантования, оптимизированного функцией плотности вероятности (Pdf) (например, квантование Ллойда-Макса), основанного на гистограммах для кадра, нескольких кадров, сцены, нескольких сцен или одного или нескольких разделов в пределах кадра, и т.д.; перцептивного квантования; векторного квантования; любого сочетания вышеупомянутых способов (например, перцептивного квантования с последующим квантованием, оптимизированным Pdf, в перцептивном пространстве). В некоторых вариантах осуществления конкретный тип усовершенствованного квантования может обладать соответствующей взаимосвязью с одним или несколькими способами предсказания. Например, когда в качестве усовершенствованного квантования применяется равномерное квантование, способ предсказания соответствующего типа, используемый при предсказании, может основываться на многочлене первого порядка.

[0098] Квантование может выполняться на основе отдельных каналов или на основе двух или большего количества каналов одновременно. В примерном варианте осуществления векторное квантование может выполняться по двум или большему количеству цветовых каналов. Например, система координат (например, трехмерная декартова) может задаваться с использованием в качестве осей цветовых каналов в цветовом пространстве. Для создания новых осей, которые определяются как комбинации (или суммы проекций) двух или большего количества цветовых каналов в цветовом пространстве, в системе координат может выполняться такое пространственное преобразование, как вращение. Значения пиксела в двух или большем количестве цветовых каналов проецируются таким образом, чтобы одна из указанных новых осей могла совместно квантоваться квантователем по одной из новых осей.

[0099] В некоторых вариантах осуществления конкретный способ усовершенствованного квантования может выбираться на основе того, насколько хорошо он может сжимать данные выходного многоуровневого VDR-изображения, по-прежнему сохраняя высокое воспринимаемое качество сжатых данных выходного VDR-изображения на стороне декодера VDR.

[00100] В некоторых вариантах осуществления конкретный способ усовершенствованного квантования может выбираться так, чтобы он компенсировал недостатки кодеков. Например, кодек может не действовать хорошо при сжатии черных областей и даже может выводить контурные артефакты на реконструированном VDR-изображении. Для генерирования данных изображения с меньшим количеством контурных артефактов, видимых на реконструированном VDR-изображении, усовершенствованное квантование, описываемое в настоящем раскрытии, может использовать специальную кривую (например, сигмоидальную кривую, функцию вида мю, кривую на основе человеческого восприятия и т.д.).

[0100] Кодер VDR согласно способам, описываемым в настоящем раскрытии, может принимать данные входного VDR-изображения в качестве единственного ввода для содержимого изображения, которое подлежит обработке кодером VDR. Несмотря на то, что данные входного VDR-изображения могут доставляться в обработку данных уровня расширения, для генерирования данных входного изображения для обработки данных базового уровня, описываемой в настоящем раскрытии, может использоваться усовершенствованное квантование, которое может выполняться оперативно (например, с такой же соответствующей среде передачи данных скоростью, с какой ввод VDR вводится в кодер VDR).

[0101] В некоторых вариантах осуществления этапу (например, 128 по ФИГ. 1 или 228 по ФИГ. 2) 8-битного квантования, описываемому в настоящем раскрытии, может предшествовать преобразование для создания видеосигнала (например, VDR) в большей степени выглядящего как SDR-сигнал, поскольку существующие кодеры, такие, как H.264, могут быть приспособлены для обработки SDR-сигнала. Для сдвига динамического диапазона VDR-сигнала так, чтобы он выглядел в большей степени как SDR-сигнал, может использоваться множество методик усовершенствованного квантования. В примерном варианте осуществления для преобразования разреженных данных в целенаправленные диапазоны может использоваться способ обратимой цветокоррекции (например, наклон+смещение+мощность+цветовой тон+насыщение, или SOP+HS). В другом примерном варианте осуществления для преобразования VDR-сигнала так, чтобы он выглядел в большей степени как SDR-сигнал, при управлении отображением может использоваться кривая тонального отображения. Здесь, термин «управление отображением» относится к одной или нескольким операциям, которые выполняются с целью адаптации VDR-видеосигнала к динамическому диапазону, который поддерживается конкретным дисплеем или конкретным рядом дисплеев.

[0102] Усовершенствованное квантование, описываемое в настоящем раскрытии, может выполняться одним или несколькими разными способами. Усовершенствованное квантование может выполнять глобальное квантование, при котором с использованием единственной настойки квантуется весь кадр или вся сцена. Усовершенствованное квантование также может выполнять квантование на основе разделов (локальное), при котором каждый кадр разбивается на ряд неперекрывающихся областей, и каждая из неперекрывающихся областей квантуется с использованием ее собственной настройки. Усовершенствованное квантование может выполнять квантование на основе разделов (локальное), при котором каждый кадр разбивается на ряд неперекрывающихся областей, и каждая из неперекрывающихся областей квантуется с использованием ее собственной настройки, но настройки квантователя для конкретной неперекрывающейся области определяются на основе данных анализа, полученных из одной или нескольких перекрывающихся областей. Усовершенствованное квантование может применяться в любом из одного или нескольких разных цветовых пространств. Примеры цветовых пространств, в которых может применяться усовершенствованное квантование, включают в качестве неограничивающих примеров любое из следующих пространств: цветовые пространства RGB, цветовые пространства YCbCr, цветовые пространства YCoCg, цветовые пространства ACES или другие цветовые пространства.

[0103] В некоторых вариантах осуществления цветовое пространство, в котором применяется квантование, остается таким же, как цветовое пространство, в котором выполняется предсказание. Это может быть как в процессе кодирования VDR-изображения, так и в процессе декодирования VDR-изображения. Преобразование цветового пространства может при необходимости выполняться, если цветовое пространство, в котором происходит представление изображения, отличается от цветового пространства, в котором происходит квантование.

4. ЛИНЕЙНОЕ РАСТЯЖЕНИЕ

[0104] В примерном варианте осуществления при усовершенствованном квантовании, проиллюстрированном на ФИГ. 1 и ФИГ. 2, в цветовом пространстве YCbCr, как проиллюстрировано на ФИГ. 3, или в цветовом пространстве RGB может применяться адаптирующийся к сцене способ квантования корректировки динамического диапазона. Максимальное значение в цветовом канале i в одной рассматриваемой сцене можно обозначить как $$v_{i,\max }$$ . Минимальное значение в цветовом канале i в одной рассматриваемой сцене можно обозначить как $$v_{i,\min }$$ . Диапазон, определяемый минимумом и максимумом, и/или распределением точек данных в пределах диапазона может изменяться на основе содержимого изображения от кадра к кадру, от нескольких кадров к нескольким кадрам, от сцены к сцене, от нескольких сцен к нескольким сценам, от программы к программе и т.д.

[0105] Значение подлежащего обработке пиксела в цветовом канале i можно обозначить как $$v_i$$ . Там, где пространство кодирования VDR (например, светимости) имеет глубину 16 битов (или 12+битов по ФИГ. 1 и ФИГ. 2), сохраняет справедливость следующее выражение:

$$0\le v_{i,\min }\le v_{i,\max }\le 2^{16}-1$$ (1)

[0106] Адаптирующийся к сцене способ квантования корректировки динамического диапазона отображает весь диапазон $$\left[v_{i,\min },\text{}\text{}{v}_{i,\max }\right]$$ в стандартный диапазон 8-битного YCbCr 709 $$\left[s_{i,\min },\text{}\text{}{s}_{i,\max }\right]$$ следующим образом:

$$s_i=round\left(\frac{s_{i,\max }-s_{i,\min }}{v_{i,\max }-v_{i,\min }}\cdot \left(v_i-v_{i,\min }\right)+v_{i,\min }\right)$$ ,(2)

где $$s_i$$ обозначает преобразованное значение пиксела в данных изображения, генерируемых посредством усовершенствованного квантования, проиллюстрированного на ФИГ. 1 и ФИГ. 2. В выражении (2) оператор round() обеспечивает то, что вывод будет целым числом. За округлением также может следовать функция отсечения. Например, отрицательные значения могут отсекаться до нуля, а положительные значения больше 255 могут отсекаться до 255.

[0107] Как проиллюстрировано на ФИГ. 3, адаптирующееся к сцене квантование корректировки динамического диапазона может использоваться для того, чтобы полностью использовать весь 8-битный динамический диапазон. Горизонтальная ось графика диапазон квантования-индекс кадра по ФИГ. 3 представляет переменную индекса кадра. Минимальное значение для линейного растяжения, $$s_{i,\min }$$ в каждом кадре, как указывается графиком 302, может устанавливаться таким же, как минимальное значение $$v_{i,\min }$$ в этом кадре, как указывается графиком 304. Максимальное значение линейного растяжения, $$s_{i,\max }$$ в каждом кадре, как указывается графиком 306, однако, может устанавливаться как не меньшее, чем максимальное значение, $$v_{i,\max }$$ в этом кадре, как указывается графиком 308. Как изображено на ФИГ. 3, в кадре 2200, согласно другим методикам кодирования (например, иным, чем методики кодирования с линейным растяжением), максимальное значение составляет около 140. Для сравнения, при использовании методик линейного растяжения, описываемых в настоящем раскрытии, максимальное значение для кадра 2200 расширяется до примерно 225. Таким образом, линейное растяжение, описываемое в настоящем раскрытии, обеспечивает больше этапов квантования относительно других методик кодирования и, поэтому, обеспечивает лучшую разрешающую способность для деталей. Как проиллюстрировано, отсечение начинает происходить в кадре возле кадра 2400 и продолжается до кадра 2600 как для линейного растяжения, так и для других методик.

5. ПРИМЕРНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ ОПЕРАЦИЙ ПРОЦЕССОВ

[0108] На ФИГ. 4А показана примерная последовательность операций процесса согласно примерному варианту осуществления настоящего изобретения. В некоторых примерных вариантах осуществления эту последовательность операций процесса может выполнять одно или несколько вычислительных устройств или компонентов. В блоке 402 многоуровневый VDR-видеокодер (например, 102 по ФИГ. 1) принимает входное изображение с визуальным динамическим диапазоном (VDR) в последовательности входных изображений.

[0109] В блоке 404 многоуровневый VDR-видеокодер (102) выбирает конкретный способ усовершенствованного квантования из одного или нескольких доступных способов усовершенствованного квантования.

[0110] В блоке 406 многоуровневый VDR-видеокодер (102) применяет конкретный способ усовершенствованного квантования к входному VDR-изображению, генерируя входное изображение базового уровня. В примерном варианте осуществления входное VDR-изображение содержит данные VDR-изображения с большей битовой глубиной, в то время как входное изображение базового уровня содержит данные VDR-изображения с меньшей битовой глубиной.

[0111] В блоке 408 многоуровневый VDR-видеокодер (102) сжимает данные изображения, полученные из входного изображения базового уровня в видеосигнал базового уровня (BL).

[0112] В блоке 410 многоуровневый VDR-видеокодер (102) сжимает, по меньшей мере, часть данных изображения, полученных из входного VDR-изображения, в один или несколько видеосигналов уровня расширения (EL).

[0113] В примерном варианте осуществления многоуровневый VDR-видеокодер (102) декодирует изображение базового уровня из видеосигнала BL, где изображение базового уровня соответствует входному изображению базового уровня; выбирает способ предсказания из одного или нескольких способов предсказания; генерирует предсказанное изображение, по меньшей мере, частично на основе изображения базового уровня с использованием способа предсказания; генерирует остаточные значения на основе предсказанного изображения и входного VDR-изображения; применяет нелинейное квантование к остаточным значениям для генерирования данных выходного изображения EL, где остаточные значения содержат значения с большей битовой глубиной, и данные выходного изображения EL содержат значения с меньшей битовой глубиной; и сжимает данные выходного изображения EL в один или несколько видеосигналов EL.

[0114] В примерном варианте осуществления способ предсказания выбирается на основе отношения соответствия между способом усовершенствованного квантования и способом предсказания.

[0115] В примерном варианте осуществления способ усовершенствованного квантования содержит один или несколько из следующих способов: глобальное квантование, линейное квантование, линейное растяжение, квантование на основе кривой, квантование, оптимизированное функцией плотности вероятности (Pdf), квантование Ллойда-Макса, квантование на основе разделов, перцептивное квантование, векторное квантование или другие типы квантования.

[0116] В примерном варианте осуществления последовательность входных изображений содержит второе, отличающееся входное VDR-изображение; и многоуровневый видеокодер (102) выбирает второй, отличающийся конкретный способ усовершенствованного квантования из одного или нескольких доступных способов усовершенствованного квантования; применяет второй, отличающийся конкретный способ усовершенствованного квантования ко второму входному VDR-изображению для генерирования второго входного изображения базового уровня; сжимает вторые данные изображения, полученные из второго входного изображения базового уровня, в видеосигнал базового уровня (BL); и сжимает, по меньшей мере, часть данных изображения, полученных из второго входного VDR-изображения, в один или несколько видеосигналов уровня расширения (EL).

[0117] В примерном варианте осуществления многоуровневый видеокодер (102) декодирует второе, отличающееся изображение BL из указанного видеосигнала базового уровня, где второе изображение BL соответствует второму входному изображению BL; выбирает второй, отличающийся способ предсказания из одного или нескольких способов предсказания; генерирует второе предсказанное изображение, по меньшей мере, частично на основе второго изображения BL с использованием второго способа предсказания; вычисляет вторые, отличающиеся остаточные значения на основе второго предсказанного изображения и второго входного VDR-изображения; применяет нелинейное квантование ко вторым остаточным значениям для генерирования данных второго выходного изображения EL, где вторые остаточные значения содержат значения с большей битовой глубиной, и данные второго выходного изображения EL содержат значения с меньшей битовой глубиной; и сжимает данные выходного изображения EL в один или несколько видеосигналов EL.

[0118] В примерном варианте осуществления данные изображения во входном изображении базового уровня сжимаются в видеосигнал BL первым 8-битным кодером в кодере VDR, в то время, как, по меньшей мере, часть данных изображения во входном VDR-изображении сжимается в один или несколько видеосигналов уровня расширения (EL) вторым 8-битным кодером в кодере VDR.

[0119] В примерном варианте осуществления способ усовершенствованного квантования выбирается на основе одного или нескольких факторов, включающих в качестве неограничивающего примера минимизацию количества данных изображения, подлежащих кодированию в один или несколько видеосигналов EL, относительно входного VDR-изображения.

[0120] В примерном варианте осуществления способ усовершенствованного квантования выбирается на основе одного или нескольких факторов, включающих в качестве неограничивающих примеров любую из одной или нескольких характеристик, определяемых исходя из входного VDR-изображения.

[0121] В примерном варианте осуществления, цветокоррекция художником-колористом исключается после приема входного VDR-изображения многоуровневым видеокодером (102).

[0122] В примерном варианте осуществления для хранения данных изображения, полученных из входного изображения базового уровня, используется первый контейнер изображения, в то время как второй, отличающийся контейнер изображения используется для хранения, по меньшей мере, части данных изображения во входном VDR-изображении. В примерном варианте осуществления по меньшей мере один из первого контейнера изображения или второго контейнера изображения, содержит значения пикселов в одном или нескольких каналах в цветовом пространстве. В примерном варианте осуществления по меньшей мере один из первого контейнера изображения или второго контейнера изображения, выбирается из ряда контейнеров изображений, связанных с рядом схем дискретизации, где ряд схем дискретизации содержит любую из следующих схем: схема дискретизации 4:4:4, схема дискретизации 4:2:2, схема дискретизации 4:4:0 или другие схемы дискретизации.

[0123] В примерном варианте осуществления многоуровневый видеокодер (102) преобразовывает один или несколько входных VDR-изображений, представляемых, принимаемых, передаваемых или хранимых одним или несколькими входными видеосигналами, в одно или несколько выходных VDR-изображений, представляемых, принимаемых, передаваемых или хранимых одним или несколькими выходными видеосигналами.

[0124] В примерном варианте осуществления по меньшей мере одно из входного VDR-изображения и одного или нескольких видеосигналов EL, содержит данные изображения, кодированные в одном из следующих форматов: формат изображения с расширенным динамическим диапазоном (HDR), цветовое пространство RGB, связанное со стандартом «спецификация академии, определяющая параметры цветового кодирования» (ACES) Американской академии кинематографических искусств и наук (AMPAS), стандарт цветового пространства Р3 Организации инициативных исследований в области цифровой кинематографии, стандарт «метрика образцового входного материала/метрика образцового выходного материала» (RIMM/ROMM), цветовое пространство sRGB или цветовое пространство RGB, связанное со стандартом «рекомендация BT.709» Международного союза электросвязи (ITU).

[0125] На ФИГ. 4 В показана примерная последовательность операций процесса согласно примерному варианту осуществления настоящего изобретения. В некоторых примерных вариантах осуществления эту последовательность операций процесса может выполнять одно или несколько вычислительных устройств или компонентов. В блоке 452 многоуровневый видеодекодер (например, 150 по ФИГ. 1) генерирует, по меньшей мере, часть данных изображения для VDR-изображения в последовательности входных изображений на основе одного или нескольких видеосигналов уровня расширения (EL).

[0126] В блоке 454 многоуровневый видеодекодер (150) генерирует изображение базового уровня на основе видеосигнала базового уровня (BL), где изображение базового уровня содержит данные VDR-изображения с меньшей битовой глубиной для VDR-изображения, генерируемого конкретным способом усовершенствованного квантования, выбранным из одного или нескольких доступных способов усовершенствованного квантования.

[0127] В блоке 456 многоуровневый видеодекодер (150) реконструирует версию VDR-изображения с большей битовой глубиной на основе изображения базового уровня и, по меньшей мере, части данных изображения.

[0128] В примерном варианте осуществления многоуровневый видеодекодер (150) принимает метаданные предсказания, содержащие набор параметров отображения, но не ограничиваясь этим; определяет способ предсказания на основе метаданных предсказания; генерирует предсказанное изображение, по меньшей мере, частично на основе изображения базового уровня с использованием способа предсказания; реконструирует версию VDR-изображения с большей битовой глубиной путем объединения предсказанного изображения с, по меньшей мере, частью данных изображения, полученных из одного или нескольких видеосигналов EL.

[0129] В примерном варианте осуществления способ предсказания соответствует способу усовершенствованного квантования.

[0130] В примерном варианте осуществления способ усовершенствованного квантования содержит один или несколько из следующих способов: глобальное квантование, линейное квантование, линейное растяжение, квантование на основе кривой, квантование, оптимизированное функцией плотности вероятности (Pdf), квантование Ллойда-Макса, квантование на основе разделов, перцептивное квантование, векторное квантование или другие типы квантования.

[0131] В примерном варианте осуществления изображение базового уровня получают первым 8-битным декодером в декодере VDR из видеосигнала BL, в то время как, по меньшей мере, часть данных изображения в VDR-изображении получают вторым 8-битным декодером в декодере VDR из одного или нескольких видеосигналов уровня расширения (EL).

[0132] В примерном варианте осуществления способ усовершенствованного квантования выбирается на основе одного или нескольких факторов, включающих в качестве неограничивающего примера минимизацию объема данных изображения, подлежащих доставке из одного или нескольких видеосигналов EL, относительно исходного VDR-изображения.

[0133] В примерном варианте осуществления для хранения данных изображения в изображении базового уровня используется первый контейнер изображения, в то время как второй, отличающийся контейнер изображения используется для хранения, по меньшей мере, части данных изображения для VDR-изображения. В примерном варианте осуществления по меньшей мере один из первого контейнера изображения или второго контейнера изображения содержит значения пикселов в одном или нескольких каналах в цветовом пространстве. В примерном варианте осуществления по меньшей мере один из первого контейнера изображения или второго контейнера изображения выбирается из ряда контейнеров изображений, связанных с рядом схем дискретизации, где ряд схем дискретизации содержит любую из следующих схем: схема дискретизации 4:4:4, схема дискретизации 4:2:2, схема дискретизации 4:4:0 или другие схемы дискретизации.

[0134] В примерном варианте осуществления многоуровневый видеодекодер (150) обрабатывает одно или несколько VDR-изображений, представляемых, принимаемых, передаваемых или хранимых одним или несколькими входными видеосигналами.

[0135] В примерном варианте осуществления, по меньшей мере, часть версии VDR-изображения с большей битовой глубиной содержит данные изображения, кодированные в одном из следующих форматов: формат изображения с расширенным динамическим диапазоном (HDR), цветовое пространство RGB, связанное со стандартом «спецификация академии, определяющая параметры цветового кодирования» (ACES) Американской академии кинематографических искусств и наук (AMPAS), стандарт цветового пространства Р3 организации инициативных исследований в области цифровой кинематографии, стандарт «метрика образцового входного материала/метрика образцового выходного материала» (RIMM/ROMM), цветовое пространство sRGB или цветовое пространство RGB, связанное со стандартом «рекомендация BT.709» Международного союза электросвязи (ITU).

[0136] В различных примерных вариантах осуществления кодер, декодер, система, устройство и одно или несколько других вычислительных устройств выполняют любой из вышеописанных способов или его часть.

6. АДАПТИВНАЯ КОРРЕКТИРОВКА ДИНАМИЧЕСКОГО ДИАПАЗОНА

[0137] Постепенные проявления и исчезновения изображения представляют собой специальные эффекты при переходах между сценами, которые обычно используются в видеопроизводстве. При постепенном проявлении изображения яркость постепенно увеличивается до тех пор, пока сцена не будет иметь полную яркость. В ходе постепенного исчезновения изображения сцена начинается при полной яркости и постепенно исчезает. По причине изменения светимости в ходе этих переходов, методики оценки движения могут терпеть неудачу при точном определении наилучших векторов движения, что в результате приводит к большим остаткам и менее эффективному кодированию видеоизображений.

[0138] В некоторых вариантах осуществления, где применяется квантователь с линейным растяжением (например, по уравнению (2)), желательно поддерживать относительно постоянный VDR для этапа квантования базового уровня (BL) в пределах сцены. Это подход, обозначаемый в настоящем раскрытии как «адаптация на основе сцены», уменьшает объем относящихся к квантованию метаданных, которые необходимо передавать из кодера в декодер, и, таким образом, поддерживает в сцене относительно постоянную яркость, что способствует последующему процессу сжатия. Однако такой подход может не являться подходящим в ходе постепенного проявления или исчезновения изображения. Как описывается в настоящем раскрытии, для подобных переходов может лучше подходить «адаптация на покадровой основе».

[0139] Предположим, что в ходе перехода с постепенным проявлением или исчезновением изображения имеется F кадров. Для некоторой цветовой составляющей (например, для светимости Y) для i-го кадра в оригинальной VDR-последовательности, обозначим максимальные и минимальные значения для этой цветовой составляющей, соответственно, как $$v_{H,i}$$ и $$v_{L,i}$$ (i=0,…,F-1). Аналогично, обозначим максимальное и минимальное значения для соответствующей цветовой составляющей в i-м кадре BL, соответственно, как $$c_{H,i}$$ и $$c_{L,i}$$ (i=0,…,F-1). С использованием способа квантования посредством линейного растяжения по уравнению (2), значение j-го пиксела в i-м кадре квантованного потока базового уровня можно выразить как:

[0140] где $$v_{ji}$$ обозначает значение j-го пиксела в i-м VDR-кадре, и О обозначает смещение при округлении (например, О=0,5 или О=0). В том смысле, как она применяется в настоящем раскрытии, функция округления в меньшую сторону $$\left[x\right]$$ вычисляет самое большое целое число, меньшее или равное х.

[0141] Для сцены с постепенным исчезновением изображения первый кадр должен иметь максимальный динамический диапазон, а именно: $$v_{H\mathrm{,0}}\ge v_{H,i}$$ для $$0<i<F$$ .

[0142] Для сцены с постепенным проявлением изображения, последний кадр должен иметь максимальный динамический диапазон, а именно: $$v_{H,F-1}\ge v_{H,i}$$ для $$0\le i\le F$$ .

[0143] Для данной выше формулы, задача, которая возникает, заключается в том, как в уравнении (3) можно адаптивно корректировать параметры $$\left\{c_{H,i}|i=\mathrm{0,...,}F-1\right\}$$ и $$\left\{c_{L,i}|i=\mathrm{0,...,}F-1\right\}$$ с целью оптимизации последующего выполнения кодирования.

Способ полного перебора

[0144] В одном из вариантов осуществления можно испытать все возможные сочетания $$\left\{c_{H,i}|i=\mathrm{0,...,}F-1\right\}$$ и $$\left\{c_{L,i}|i=\mathrm{0,...,}F-1\right\}$$ , и выбрать те переменные, которые обеспечивают наилучшее общее сжатие. Однако даже если приравнять $$c_{L,i}=0$$ для 8-битных данных, для $$c_{H,i}$$ существует 255^F возможных сочетаний, испытывать и проверять которые при кодировании в реальном времени может оказаться непрактичным.

Способ равных максимальных значений

[0145] В другом варианте осуществления изобретения, можно приравнять все значения $$c_{H,i}$$ (i=0,…,F-1) зависящему от сцены максимальному значению, $$c_{H,\max }$$ . В одном из вариантов осуществления $$c_{H,\max }$$ может представлять значение, которое используется либо в предыдущей, либо в следующей сцене с постоянной яркостью, а именно: в сцене с отсутствием постепенного проявления или исчезновения изображения (например, $$c_{H,i}=c_{H,\max }=255$$ для всех i в интервале $$\left[\mathrm{0,}F-1\right]$$ ). Аналогично, $$c_{L,i}$$ может приравниваться минимальному значению, $$c_{L,\min }$$ , которое использовалось в предыдущей или следующей сцене без постепенного проявления/исчезновения изображения (например, $$c_{L,i}=c_{L,\min }=0$$ для всех i в интервале $$\left[\mathrm{0,}F-1\right]$$ ). В таком варианте осуществления изобретения, все кадры BL в пределах сцены с постепенным проявлением или исчезновением изображения будут иметь одинаковый динамический диапазон $$\left[c_{L,\min }{c}_{L,\max }\right]$$ ; однако этап квантования VDR в BL может отличаться от кадра к кадру. Исходя из уравнения (3), данный подход к адаптивному квантованию (также именуемый покадровой адаптацией) для переходов постепенного проявления и исчезновения изображения можно выразить как:

[0146]

[0147] Далее описывается алгоритм принятия решения при определении того, следует применять адаптацию на основе сцены (например, применять уравнения (2) или (3) с постоянным квантованием для всей сцены) или покадровую адаптацию (например, применять уравнение (4)).

Алгоритм принятия решения

[0148] В одном из вариантов осуществления рассмотрим два последовательных VDR-кадра, скажем, кадры $$v_{i-1}$$ и $$v_i$$ . Тогда алгоритм принятия решения можно получить путем сравнения гистограмм соответствующих квантованных кадров BL $$s_{i-1}$$ и $$s_i$$ . Несмотря на то, что алгоритм описывается для единственной цветовой составляющей (например, светимости), операции могут повторяться для всех цветовых составляющих.

Этап 1. Предполагая покадровое (fbf) адаптивное квантование, вычислить значения BL для пикселов. Для заданных кадров $$v_{i-1}$$ и $$v_i$$ можно применить уравнение (4) для вычисления значений пикселов в соответствующих кадрах BL как:

(a) Для кадра i-1:

(b) Для кадра i:

[0149] Без потери общности, допуская 8 битов на цветовую составляющую в потоке BL, для кадров $$s_{i-1}$$ и $$s_i$$ можно использовать выходные данные уравнений (5) и (6) для вычисления соответствующих гистограмм с 256 двоичных чисел каждая, как $$H_{i-1}^{fbf}\left(n\right)$$ и $$H_i^{fbf}\left(n\right)$$ для n=0, 1,..., 255. В том смысле, как он используется в настоящем раскрытии, термин «гистограмма» обозначает функцию, которая подсчитывает количество наблюдаемых пикселов, которое подпадает под каждый из возможных отдельных значений пиксела. Например, $$H_{i-1}^{fbf}\left(20\right)=10$$ обозначает, что 10 пикселов в кадре i-1 имеют значение 20.

Этап 2. Вычислить среднеквадратичную разность между $$H_{i-1}^{fbf}\left(n\right)$$ и $$H_i^{fbf}\left(n\right)$$ .

[0150] Для данных гистограмм, вычисленных на этапе 1, можно вычислить их среднеквадратичные разности как

$$D_i^{fbf}=\frac{1}{256}{\displaystyle \sum _{n=0}^{255}\Vert H_{i-1}^{fbf}\left(n\right)-H_i^{fbf}\left(n\right)\Vert {}^2}\text{ (7)}$$

[0151] Данный процесс теперь можно повторить в предположении использования адаптивного квантования на основе сцены (sb).

Этап 3. Вычислить минимальное и максимальное значения пикселов для кадров i-1 и i

$$v_{L\min }=\min \left\{v_{L,i-1},v_{L,i}\right\}$$ ,

и

$$v_{H\max }=\max \left\{v_{H,i-1},v_{H,i}\right\}$$ .

[0152] Затем для заданных кадров $$v_{i-1}$$ и $$v_i$$ можно применить эти значения и уравнение (3) для вычисления соответствующих значений пикселов BL как

и

[0153] Используя выходные данные уравнений (8) и (9), можно вычислить гистограммы кадров $$H_i^{sb}\left(n\right)$$ и $$H_{i-1}^{sb}\left(n\right)$$ для n=0, 1,..., 255.

Этап 4. Вычислить среднеквадратичную разность между $$H_{i-1}^{sb}\left(n\right)$$ и $$H_i^{sb}\left(n\right)$$

$$D_i^{sb}=\frac{1}{256}{\displaystyle \sum _{n=0}^{255}\Vert H_{i-1}^{sb}\left(n\right)-H_i^{fbf}\left(n\right)\Vert {}^2}$$ (10)

[0154] Этап 5. Адаптивное решение о применении либо покадровой адаптации, либо адаптации на основе сцены может основываться на разности между двумя среднеквадратичными разностями:

если $$D_i^{fbf}<D_i^{sb}$$ , использовать покадровую корректировку,

иначе

использовать корректировку на основе сцены.

На ФИГ. 6 кратко сформулирован один из вариантов осуществления алгоритма принятия решения, описываемого в настоящем раскрытии. На этапе 610 процесс получает доступ к двум последовательным изображениям (или кадрам) в последовательности входных VDR-изображений. Используя способы, описываемые в настоящем раскрытии, этапы 625 и 630 вычисляют два альтернативных представления соответствующих изображений BL. Этап 625 вычисляет кадры BL, используя покадровую адаптацию (например, с использованием уравнений (5) и (6)). Этап 630 вычисляет изображения BL, используя адаптацию на основе сцены (например, с использованием уравнений (8) и (9)). На основе вычисленных изображений BL этапы 625 и 630 могут вычислять соответствующие гистограммы (например, $$H_{i-1}^{fbf}\left(n\right)$$ , $$H_i^{fbf}\left(n\right)$$ , $$H_i^{sb}\left(n\right)$$ и $$H_{i-1}^{sb}\left(n\right)$$ ). При заданных гистограммах, для каждого набора гистограмм этапы 635 и 640 могут вычислять первую и вторую среднеквадратичные разности (например, $$D_i^{fbf}$$ - по уравнению (7), и $$D_i^{sb}$$ - по уравнению (10)). В конечном итоге, на этапе 650 могут сравниваться две среднеквадратичные разности и делаться выбор в качестве способа квантования того способа, который приводит к гистограммам с наименьшей среднеквадратичной разностью.

7. МЕХАНИЗМЫ РЕАЛИЗАЦИИ - ОБЗОР АППАРАТНОГО ОБЕСПЕЧЕНИЯ

[0155] Согласно одному из вариантов осуществления методики, описываемые в настоящем раскрытии, реализуются одним или несколькими специализированными вычислительными устройствами. Специализированные вычислительные устройства могут представлять собой аппаратные решения, предназначенные для выполнения методик, или могут содержать такие цифровые электронные устройства, как одна или несколько специализированных интегральных микросхем (ASIC) или программируемых вентильных матриц (FPGA), которые являются постоянно запрограммированными для выполнения методик, или могут содержать один или несколько аппаратных процессоров общего назначения, запрограммированных для выполнения методик в соответствии с программными командами в программно-аппаратном обеспечении, памяти, другом носителе данных или их сочетании. Для выполнения методик указанные специализированные вычислительные устройства также могут объединять настраиваемую аппаратную логику, микросхемы ASIC или матрицы FPGA с программированием по заказу. Вычислительные устройства специального назначения могут представлять собой настольные компьютерные системы, переносные компьютерные системы, карманные устройства, сетевые устройства или любые другие устройства, которые объединяют аппаратную и/или программную логику для реализации указанных методик.

[0156] Например, ФИГ. 5 представляет собой блок-схему, которая иллюстрирует компьютерную систему 500, в которой может реализовываться примерный вариант осуществления изобретения. Компьютерная система 500 содержит шину 502 или другой механизм связи, предназначенный для передачи информации, и предназначенный для обработки информации аппаратный процессор 504, соединенный с шиной 502. Аппаратный процессор 504 может представлять собой, например, микропроцессор общего назначения.

[0157] Компьютерная система 500 также содержит основную память 506, такую, как память с произвольным доступом (RAM) или другое динамическое запоминающее устройство, соединенное с шиной 502 и предназначенное для хранения информации и команд, подлежащих исполнению процессором 504. Основная память 506 также может использоваться для хранения временных переменных или другой промежуточной информации в ходе исполнения команд, подлежащих исполнению процессором 504. Указанные команды при хранении в памяти постоянного носителя данных, доступной для процессора 504, превращают компьютерную систему 500 в специализированную машину, которая является настроенной для выполнения операций, обусловленных командами.

[0158] Компьютерная система 500 дополнительно содержит постоянное запоминающее устройство (ROM) 508 или другой статический носитель данных, соединенный с шиной 502 и предназначенный для хранения статической информации и команд для процессора 504. Запоминающее устройство 510, такое, как магнитный диск или оптический диск, предусмотрено и соединено с шиной 502 для хранения информации и команд.

[0159] Компьютерная система 500 может соединяться посредством шины 502 с дисплеем 512, таким, как жидкокристаллический дисплей, предназначенным для отображения информации пользователю компьютера. Устройство 514 ввода, содержащее буквенно-цифровые и другие клавиши, соединяется с шиной 502 для передачи информации и выбора команд для процессора 504. Другим типом устройства ввода является устройство 516 управления курсором, такое как мышь, шаровой манипулятор или клавиши управления курсором, предназначенные для передачи информации направления и выбора команд для процессора 504, а также для управления перемещением курсора на дисплее 512. Это устройство ввода, как правило, имеет две степени свободы по двум осям, первой оси (например, х) и второй оси (например, y), что позволяет устройству точно определять положения в плоскости.

[0160] Компьютерная система 500 может реализовывать методики, описываемые в настоящем раскрытии, с использованием настраиваемой аппаратной логики, одной или нескольких микросхем ASIC или матриц FPGA, аппаратной и/или программной логики, которая в сочетании с компьютерной системой обуславливает или программирует компьютерную систему 500 как специализированную машину. Согласно одному варианту осуществления методики, описываемые в настоящем раскрытии, выполняются компьютерной системой 500 в ответ на исполнение процессором 504 одной или нескольких последовательностей из одной или нескольких команд, содержащихся в основной памяти 506. Указанные команды могут считываться в основную память 506 из другого носителя данных, такого, как запоминающее устройство 510. Исполнение последовательностей команд, содержащихся в основной памяти 506, вызывает выполнение процессором 504 этапов процесса, описываемых в настоящем раскрытии. В альтернативных вариантах осуществления вместо команд программного обеспечения или в сочетании с ними может использоваться аппаратная схематика.

[0161] Термин «носитель данных» в том смысле, как он используется в настоящем раскрытии, относится к любым постоянным носителям, которые хранят данные и/или команды, которые вызывают действие машины специфическим образом. Указанные носители данных могут включать энергонезависимые и/или энергозависимые носители. Энергонезависимые носители включают, например, оптические или магнитные диски, такие как запоминающее устройство 510. Энергозависимые носители включают такую динамическую память, как основная память 506. Общеизвестные формы носителей данных включают, например, дискету, гибкий диск, жесткий диск, твердотельный накопитель, магнитную ленту или любой другой магнитный носитель данных, CD-ROM, любой другой оптический носитель данных, любой физический носитель со структурой отверстий, RAM, PROM и EPROM, FLASH-EPROM, NVRAM, любую другую микросхему или кассету памяти.

[0162] Носители данных отличаются, но могут использоваться в сочетании со средствами связи. Средства связи принимают участие в передаче информации между носителями данных. Например, средства связи включают коаксиальный кабель, медную проволоку и волоконную оптику, включая провода, которые включают шину 502. Средства связи также могут принимать форму звуковых или световых волн, таких, как волны, генерируемые в ходе передачи данных через радиоволны и инфракрасные волны.

[0163] В перенос одной или нескольких последовательностей одной или нескольких команд к процессору 504 с целью исполнения могут вовлекаться различные формы носителей. Например, команды могут изначально переноситься на магнитном диске или твердотельном накопителе отдаленного компьютера. Удаленный компьютер может загружать команды в его динамическую память и отправлять команды по телефонной линии с использованием модема. Модем, локальный для компьютерной системы 500, может принимать данные по телефонной линии и использовать инфракрасный передатчик для преобразования данных в инфракрасный сигнал. Инфракрасный детектор может принимать данные, переносимые в инфракрасном сигнале, а соответствующая схематика может помещать данные на шину 502. Шина 502 переносит данные в основную память 506, в которой процессор 504 отыскивает и исполняет команды. Команды, принятые основной памятью 506 могут, необязательно, храниться в запоминающем устройстве 510 либо перед, либо после исполнения процессором 504.

[0164] Компьютерная система 500 также содержит интерфейс 518 связи, соединенный с шиной 502. Интерфейс 518 связи обеспечивает подключение двусторонней передачи данных к сетевой линии 520 связи, которая подключена к локальной сети 522. Например, интерфейс 518 связи может представлять собой карту глобальной цифровой сети с интеграцией служб (ISDN), кабельный модем, спутниковый модем или модем, предназначенный для обеспечения соединения передачи данных с телефонной линией соответствующего типа. В качестве другого примера, интерфейс 518 связи может представлять собой карту локальной сети (LAN), предназначенную для обеспечения соединения передачи данных с совместимой LAN. Также могут реализовываться беспроводные линии связи. В любой такой реализации, интерфейс 518 связи отправляет и принимает электрические, электромагнитные или оптические сигналы, которые переносят потоки цифровых данных, представляющие разные типы информации.

[0165] Сетевая линия 520 связи, как правило, обеспечивает передачу данных через одну или несколько сетей другим устройствам передачи данных. Например, сетевая линия 520 связи может обеспечивать соединение через локальную сеть 522 с главным компьютером 524 или с оборудованием передачи данных, управляемым поставщиком услуг Internet (ISP) 526. ISP 526, в свою очередь, обеспечивает услуги передачи данных через всемирную сеть передачи пакетных данных, в настоящее время обычно именуемую «Интернет» 528. Обе сети, локальная сеть 522 и Интернет 528, используют электрические, электромагнитные или оптические сигналы, которые переносят потоки цифровых данных. Примерами форм средств связи являются сигналы через различные сети и сигналы в сетевой линии 520 связи и через интерфейс 518 связи, которые переносят цифровые данные в компьютерную систему 500 и из нее.

[0166] Компьютерная система 500 может отправлять сообщения и принимать данные, включающие программный код, через сеть (сети), сетевую линию 520 связи и интерфейс 518 связи. В примере Интернета, сервер 530 может передавать затребованный код для прикладной программы через Интернет 528, ISP 526, локальную сеть 522 и интерфейс 518 связи.

[0167] Принимаемый код может исполняться процессором 504 по мере приема и/или сохраняться в запоминающем устройстве 510 или другом энергонезависимом носителе для последующего исполнения.

8. ЭКВИВАЛЕНТЫ, РАСШИРЕНИЯ, АЛЬТЕРНАТИВЫ И РАЗНОЕ

[0168] В предшествующем описании примерные варианты осуществления изобретения были описаны со ссылкой на многочисленные специфические подробности, которые могут меняться от реализации к реализации. Поэтому единственным и исключительным указателем на то, что является изобретением и предполагается заявителями как являющееся изобретением, является набор пунктов формулы изобретения, которые вытекают из данной заявки, в указанной конкретной форме, в которой изложены указанные пункты формулы изобретения, включая любую последующую правку. Любые определения, в прямой форме изложенные в настоящем раскрытии для терминов, содержащихся в указанной формуле изобретения, должны определять смысл указанных терминов, используемых в формуле изобретения. Таким образом, ни одно ограничение, элемент, свойство, признак, преимущество или особенность, которая не перечислена в прямой форме в пункте формулы изобретения, во всяком случае не должна ограничивать объем указанного пункта формулы изобретения. Соответственно, описание и графические материалы следует рассматривать в иллюстративном, а не в ограничительном смысле.

Изобретение относится к вычислительной технике. Технический результат заключается в минимизации объема данных изображения с визуальным динамическим диапазоном (VDR), которые подлежат переносу на уровнях расширения. Способ кодирования включает прием входного VDR-изображения в последовательности входных изображений, причем указанный VDR является широким или расширенным динамическим диапазоном, где входное VDR-изображение содержит первую битовую глубину; выбор конкретной функции усовершенствованного квантования из одной или нескольких доступных функций усовершенствованного квантования; применение функции усовершенствованного квантования к входному VDR-изображению для генерирования входного изображения базового уровня, где входное изображение базового уровня содержит вторую битовую глубину, которая является меньшей, чем первая битовая глубина; сжатие данных изображения, полученных из входного изображения базового уровня, в видеосигнал базового уровня (BL); и сжатие остаточных данных изображений между входным VDR-изображением и предсказанным изображением, сгенерированным из входного изображения базового уровня, в один или несколько видеосигналов уровня расширения (EL). 4 н. и 17 з.п. ф-лы, 9 ил.

1. Способ кодирования, включающий:
прием входного изображения с визуальным динамическим диапазоном (VDR) в последовательности входных изображений, причем указанный VDR является широким или расширенным динамическим диапазоном, где входное VDR-изображение содержит первую битовую глубину;
выбор конкретной функции усовершенствованного квантования из одной или нескольких доступных функций усовершенствованного квантования;
применение функции усовершенствованного квантования к входному VDR-изображению для генерирования входного изображения базового уровня, где входное изображение базового уровня содержит вторую битовую глубину, которая является меньшей, чем первая битовая глубина;
сжатие данных изображения, полученных из входного изображения базового уровня, в видеосигнал базового уровня (BL); и
сжатие остаточных данных изображений между входным VDR-изображением и предсказанным изображением, сгенерированным из входного изображения базового уровня, в один или несколько видеосигналов уровня расширения (EL);
причем доступные функции усовершенствованного квантования содержат одно или несколько из глобального квантования, линейного квантования, линейного растяжения, квантования на основе кривой, квантования, оптимизированного функцией плотности вероятности (Pdf), квантования Ллойда-Макса, квантования на основе разделов, перцептивного квантования, квантования между цветовыми каналами/векторного квантования;
причем конкретную функцию усовершенствованного квантования выбирают на основе одного или нескольких факторов, включая по меньшей мере один из:
- минимизация объема данных изображения, подлежащих кодированию в один или несколько видеосигналов EL относительно входного VDR-изображения; и
- одна или несколько характеристик, определяемых исходя из входного VDR-изображения; и
причем выбор конкретной функции усовершенствованного квантования из одной или нескольких доступных функций усовершенствованного квантования дополнительно включает:
выбор двух последовательных входных VDR-изображений в последовательности входных изображений;
применение первой функции адаптации для вычисления первого набора из двух соответствующих изображений базового уровня (BL), причем первая функция адаптации представляет собой функцию адаптации на покадровой основе выбранной функции усовершенствованного квантования;
применение второй функции адаптации для вычисления второго набора из двух соответствующих изображений BL, причем вторая функция адаптации представляет собой функцию адаптации на основе сцены выбранной функции усовершенствованного квантования;
вычисление первого набора гистограмм на основе первого набора изображений BL, причем каждая гистограмма первого набора гистограмм представляет собой функцию, которая вычисляет количество пикселов, попадающих в каждое из многочисленных отличающихся значений пикселов в соответствующем изображении BL первого набора изображений BL;
вычисление второго набора гистограмм на основе второго набора изображений BL, причем каждая гистограмма второго набора гистограмм представляет собой функцию, которая вычисляет количество пикселов, попадающих в каждое из многочисленных отличающихся значений пикселов в соответствующем изображении BL второго набора изображений BL;
вычисление первой среднеквадратичной разности на основе первого набора гистограмм;
вычисление второй среднеквадратичной разности на основе второго набора гистограмм;
сравнение первой среднеквадратичной разности со второй среднеквадратичной разностью; и
выбор первой функции адаптации, если первая среднеквадратичная разность меньше второй среднеквадратичной разности.

2. Способ по п. 1, отличающийся тем, что дополнительно включает:
декодирование изображения BL из видеосигнала BL, при этом изображение BL соответствует входному изображению BL;
выбор способа предсказания из одного или нескольких способов предсказания;
генерирование предсказанного изображения, по меньшей мере, частично на основе изображения BL с использованием способа предсказания;
генерирование остаточных значений на основе предсказанного изображения и входного VDR-изображения;
применение нелинейного квантования к остаточным значениям для генерирования данных выходного изображения EL, при этом остаточные значения содержат значения с большей битовой глубиной и данные выходного изображения EL содержат значения с меньшей битовой глубиной; и
сжатие данных выходного изображения EL в один или несколько видеосигналов EL.

3. Способ по п. 2, отличающийся тем, что способ предсказания выбирают на основе отношения соответствия между способом усовершенствованного квантования и способом предсказания.

4. Способ по п. 1, отличающийся тем, что последовательность входных изображений содержит второе отличающееся входное VDR-изображение; и способ дополнительно включает:
выбор второго отличающегося конкретного способа усовершенствованного квантования из одного или нескольких доступных способов усовершенствованного квантования;
применение второго конкретного способа усовершенствованного квантования к второму входному VDR-изображению для генерирования второго входного изображения BL;
сжатие данных второго изображения, полученных из второго входного изображения базового уровня, в видеосигнал BL; и
сжатие, по меньшей мере, части данных изображения, полученных из второго входного VDR-изображения, в один или несколько видеосигналов EL.

5. Способ по п. 4, отличающийся тем, что дополнительно включает:
декодирование второго отличающегося изображения BL из видеосигнала BL, при этом второе изображение BL соответствует второму входному изображению BL;
выбор второго отличающегося способа предсказания из одного или нескольких способов предсказания;
генерирование второго предсказанного изображения, по меньшей мере, частично на основе второго изображения BL с использованием второго способа предсказания;
генерирование вторых отличающихся остаточных значений на основе второго предсказанного изображения и второго входного VDR-изображения;
применение нелинейного квантования ко вторым остаточным значениям для генерирования данных второго выходного изображения EL, при этом вторые остаточные значения содержат значения с большей битовой глубиной, а данные второго выходного изображения EL содержат значения с меньшей битовой глубиной; и
сжатие данных выходного изображения EL в один или несколько видеосигналов EL.

6. Способ по п. 1, отличающийся тем, что данные изображения во входном изображении BL сжимают первым 8-битным кодером в кодере VDR в видеосигнал BL, и при этом, по меньшей мере, часть данных изображения во входном VDR-изображении сжимают вторым 8-битным кодером в кодере VDR в один или несколько видеосигналов EL.

7. Способ по п. 6, отличающийся тем, что по меньшей мере один из первого 8-битного кодера и второго 8-битного кодера содержит один из следующих кодеров: кодер усовершенствованного видеокодирования (AVC), кодер экспертной группы по вопросам движущегося изображения (MPEG-2) или кодер высокоэффективного видеокодирования (HEVC).

8. Способ по п. 1, отличающийся тем, что после приема входного VDR-изображения исключают цветокоррекцию художником-колористом.

9. Способ по п. 1, отличающийся тем, что для хранения данных изображения, полученных из входного изображения BL, используют первый контейнер изображения, и при этом для хранения, по меньшей мере, части данных изображения во входном VDR-изображении используют второй отличающийся контейнер изображения.

10. Способ по п. 9, отличающийся тем, что по меньшей мере один из первого контейнера изображения и второго контейнера изображения содержит значения пикселов в одном или нескольких каналах в цветовом пространстве.

11. Способ по п. 9, отличающийся тем, что по меньшей мере один из первого контейнера изображения и второго контейнера изображения выбирают из ряда контейнеров изображения, связанных с рядом схем дискретизации, и при этом ряд схем дискретизации содержит любую из следующих схем: схема дискретизации 4:4:4, схема дискретизации 4:2:2, схема дискретизации 4:2:0.

12. Способ по п. 1, отличающийся тем, что дополнительно включает преобразование одного или нескольких входных VDR-изображений, представляемых, принимаемых, передаваемых или хранимых одним или несколькими входными видеосигналами, в одно или несколько выходных VDR-изображений, представляемых, принимаемых, передаваемых или хранимых одним или несколькими выходными видеосигналами.

13. Способ по п. 1, отличающийся тем, что по меньшей мере одно из входного VDR-изображения и одного или нескольких видеосигналов EL содержит данные изображения, кодированные в одном или нескольких из следующих форматов: формат изображения с расширенным динамическим диапазоном (HDR), цветовое пространство RGB, связанное со стандартом «спецификация академии, определяющая параметры цветового кодирования» (ACES) Американской академии кинематографических искусств и наук (AMPAS), стандарт цветового пространства P3 организации инициативных исследований в области цифровой кинематографии, стандарт «метрика образцового входного материала/метрика образцового выходного материала» (RIMM/ROMM), цветовое пространство sRGB, или цветовое пространство RGB, или цветовое пространство YCbCr.

14. Способ по п. 1, отличающийся тем, что дополнительно включает:
определение профиля для обработки входного VDR-изображения в видеосигналы BL и EL; и
выполнение одной или нескольких операций, относящихся к профилю, при обработке входного VDR-изображения в видеосигналы BL и EL.

15. Способ по п. 1, отличающийся тем, что выбранная функция усовершенствованного квантования содержит функцию линейного растяжения:

где ν_ji обозначает j-й пиксел для i-го входного VDR-изображения в последовательности входных изображений, s_ji обозначает j-й пиксел генерируемого i-го входного изображения базового уровня, ν_L,i и ν_H,i обозначают минимальное и максимальное значения пикселов среди пикселов на i-м входном VDR-изображении, c_L,i и c_H,i обозначают минимальное и максимальное значения пикселов среди пикселов на генерируемом i-м входном изображении базового уровня и О представляет собой постоянную округления.

16. Способ по п. 1, отличающийся тем, что выбранная функция усовершенствованного квантования содержит функцию адаптации на основе сцены:

где ν_ji обозначает j-й пиксел на i-м входном VDR-изображении в сцене в последовательности входных изображений, s_ji обозначает j-й пиксел генерируемого i-го входного изображения базового уровня в сцене, ν_L,min и ν_H,max обозначают минимальное и максимальное значения среди значений пикселов на входном VDR-изображении в сцене, c_L,min и c_H,max обозначают минимальное и максимальное значения пикселов среди пикселов на генерируемых входных изображениях базового уровня в сцене, и О представляет собой постоянную округления.

17. Способ по п. 1, отличающийся тем, что выбранная функция усовершенствованного квантования содержит функцию адаптации на покадровой основе:
где ν_ji обозначает j-й пиксел на i-м входном VDR-изображении в переходной сцене в последовательности входных изображений, s_ji обозначает j-й пиксел генерируемого i-го входного изображения базового уровня в переходной сцене, ν_L,i и ν_H,i обозначают минимальное и максимальное значения среди значений пикселов на i-м входном VDR-изображении в переходной сцене, c_L,min и c_H,max обозначают минимальное и максимальное значения пикселов среди пикселов на генерируемых входных изображениях базового уровня в переходной сцене и О представляет собой постоянную округления.

18. Способ по п. 17, отличающийся тем, что переходная сцена содержит сцену с постепенным проявлением изображения или сцену с постепенным исчезновением изображения.

19. Кодер, выполняющий способ по пп. 1-18.

20. Система для обработки медиаданных, выполняющая способ по пп. 1-18.

21. Система для обработки медиаданных, содержащая:
кодер, сконфигурированный для выполнения:
приема входного изображения с визуальным динамическим диапазоном (VDR) в последовательности входных изображений, причем указанный VDR является широким или расширенным динамическим диапазоном, где входное VDR-изображение содержит первую битовую глубину;
выбора конкретной функции усовершенствованного квантования из одной или нескольких доступных функций усовершенствованного квантования;
применения конкретной функции усовершенствованного квантования к входному VDR-изображению для генерирования входного изображения базового уровня, при этом входное VDR-изображение содержит данные VDR-изображения с большей битовой глубиной, а входное изображение базового уровня содержит данные VDR-изображения с меньшей битовой глубиной;
сжатия данных изображения, полученных из входного изображения базового уровня, в видеосигнал базового уровня (BL); и
сжатия остаточных данных изображений между входным VDR-изображением и предсказанным изображением, сгенерированным из входного изображения базового уровня, в один или несколько видеосигналов уровня расширения (EL);
причем доступные функции усовершенствованного квантования содержат одно или несколько из глобального квантования, линейного квантования, линейного растяжения, квантования на основе кривой, квантования, оптимизированного функцией плотности вероятности (Pdf), квантования Ллойда-Макса, квантования на основе разделов, перцептивного квантования, квантования между цветовыми каналами/векторного квантования;
причем конкретная функция усовершенствованного квантования выбирается на основе одного или нескольких факторов, включая по меньшей мере один из:
- минимизация объема данных изображения, подлежащих кодированию в один или несколько видеосигналов EL относительно входного VDR-изображения; и
- одна или несколько характеристик, определяемых исходя из входного VDR-изображения; и
причем выбор конкретной функции усовершенствованного квантования из одной или нескольких доступных функций усовершенствованного квантования дополнительно включает:
выбор двух последовательных входных VDR-изображений в последовательности входных изображений;
применение первой функции адаптации для вычисления первого набора из двух соответствующих изображений базового уровня (BL), причем первая функция адаптации представляет собой функцию адаптации на покадровой основе выбранной функции усовершенствованного квантования;
применение второй функции адаптации для вычисления второго набора из двух соответствующих изображений BL, причем вторая функция адаптации представляет собой функцию адаптации на основе сцены выбранной функции усовершенствованного квантования;
вычисление первого набора гистограмм на основе первого набора изображений BL, причем каждая гистограмма первого набора гистограмм представляет собой функцию, которая вычисляет количество пикселов, попадающих в каждое из многочисленных отличающихся значений пикселов в соответствующем изображении BL первого набора изображений BL;
вычисление второго набора гистограмм на основе второго набора изображений BL, причем каждая гистограмма второго набора гистограмм представляет собой функцию, которая вычисляет количество пикселов, попадающих в каждое из многочисленных отличающихся значений пикселов в соответствующем изображении BL второго набора изображений BL;
вычисление первой среднеквадратичной разности на основе первого набора гистограмм;
вычисление второй среднеквадратичной разности на основе второго набора гистограмм;
сравнение первой среднеквадратичной разности со второй среднеквадратичной разностью; и
выбор первой функции адаптации, если первая среднеквадратичная разность меньше второй среднеквадратичной разности;
и
декодер, сконфигурированный для выполнения:
генерирования, по меньшей мере, части данных входного изображения для входного VDR-изображения на основе одного или нескольких видеосигналов уровней расширения (EL);
генерирования изображения BL на основе видеосигнала BL; и
реконструирования версии входного VDR-изображения с большей битовой глубиной на основе изображения BL и, по меньшей мере, части данных входного изображения.