СОЗДАНИЕ ИЗОБРАЖЕНИЙ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ ИЗ ИЗОБРАЖЕНИЙ С СУЖЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ Российский патент 2016 года по МПК H04N19/597 H04N13/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к созданию изображений с расширенным динамическим диапазоном из изображений с суженным динамическим диапазоном и, в частности, касается объединения информации с расширенным динамическим диапазоном с 3D информацией.

Предшествующий уровень техники

В последние десятилетия становится все более важным цифровое кодирование различных исходных сигналов, поскольку цифровое представление сигналов и цифровая передача все в больших объемах заменяют аналоговое представление и передачу. Не прекращающиеся исследования и разработки идут в направлении повышения качества, которое можно получить от кодированных изображений и видеопоследовательностей при одновременном поддержании скорости передачи данных на приемлемых уровнях.

Важным фактором для воспринимаемого человеком качества изображения является динамический диапазон, который может быть воспроизведен при визуальном воспроизведении изображения. Однако традиционно динамический диапазон воспроизводимых изображений зачастую оказывается существенно уже, чем при нормальном зрении. В реальных сценах динамический диапазон разных объектов в областях с разной освещенностью может вполне соответствовать динамическому диапазону 10000:1 или более (14-битное линейное представление), где очень тонкие градации яркости могут появиться на всех уровнях яркости, например, в углублении, освещенном узконаправленными источниками света, и, следовательно, независимо от окончательной оптимальной визуализации на конкретном устройстве для кодирования изображения может понадобиться, чтобы оно содержало как можно больше полезной информации (при одновременном минимальном количестве бит, например, на носителе с фиксированным пространством памяти, таком как диск «Bluray» или при использовании сетевых соединений с ограниченной шириной полосы пропускания).

Обычно динамический диапазон датчиков изображения и дисплеев ограничен 2-3 порядками величины, например, обычный телевизор обеспечивает изображение для динамического диапазона 40:1, который также является типовым диапазоном для печати, то есть 8 бит считались достаточными для указанных носителей, но они уже не достаточны для появившихся недавно более качественных устройств визуализации и/или для более интеллектуальной обработки изображений, особенно касающейся оптимальной визуализации на этих устройствах. То есть обычно имелась возможность запоминать и передавать изображения в 8-битовых форматах, получающихся в результате гамма-кодирования без введения воспринимаемых человеком артефактов на традиционных устройствах визуализации. Однако в стремлении обеспечить запись более точных и более живых изображений были разработаны новые датчики изображений с расширенным динамическим диапазоном (HDR), которые изложены в пунктах формулы изобретения, способные поддерживать динамические диапазоны записи вплоть до 6 порядков величины. Кроме того, специальные эффекты, усовершенствования компьютерной графики и другие послесъемочные операции уже выполняются при больших значениях глубины в битах, что делает визуальные пространства, созданные на компьютере, потенциально бесконечными.

Кроме того, непрерывно возрастает контрастная и пиковая яркость известных дисплейных систем. За последнее время были представлены новые прототипные дисплеи с пиковой яркостью до 5000 Кд/м^-2 и теоретическими коэффициентами контрастности 5 порядков величины. При визуальном воспроизведении на таких дисплеях закодированных обычным способом 8-битовых сигналов могут появиться неприятные ощущения, связанные с квантованием, и режущие глаз артефакты, и, кроме того, ограниченная информация в 8-битовых сигналах обычно недостаточна для создания сложного изображения (с обеспечением распределения значений серого), которое можно будет точно визуализировать с помощью этих устройств в естественном виде. В частности, традиционные форматы видео не предоставляют достаточный объем свободного пространства и достаточную точность для передачи обширной информации, содержащейся в новых изображениях с HDR.

В результате возрастает потребность в новых форматах видео, которые позволят потребителю получить в полном объеме выгоду от возможностей существующих датчиков и дисплейных систем. Предпочтительно, чтобы указанные форматы обладали обратной совместимостью, с тем чтобы существующее оборудование могло, как и раньше, принимать ординарные видеопотоки, в то время как новые устройства с HDR в полном объеме использовали бы преимущества дополнительной информации, переносимой новым форматом. Таким образом, желательно, чтобы кодированные видеоданные не только представляли изображения с HDR, но также давали возможность кодировать традиционные изображения с суженным динамическим диапазоном (LDR), которые могут визуально воспроизводиться обычным оборудованием.

Наиболее прямым подходом было бы сжатие и запоминание потоков с LDR и HDR независимо друг от друга (одновременно). Однако это привело бы к высокой скорости передачи данных. Чтобы повысить эффективность сжатия, было предложено использовать межуровневое предсказание, при котором предсказание данных с HDR выполняется на основе потока с LDR, в связи с чем необходимо будет кодировать и запоминать/передавать только небольшие различия между действительными данными с HDR и результатами предсказания.

Однако предсказание данных с HDR, исходя из данных с LDR, отличается относительной неточностью и трудностью выполнения. В действительности, взаимосвязь между соответствующими данными с LDR и HDR зачастую усложнена и часто может сильно отличаться между разными частями изображения. Например, изображение с LDR часто может создаваться посредством тонального отображения и цветовой градации изображения с HDR. Точное тональное отображение/цветовая градация, а значит, взаимосвязь между изображениями с HDR и LDR будет зависеть от конкретного алгоритма и параметров, выбранных для цветовой градации, и вероятнее всего будет изменяться в зависимости от источника. В действительности цветовая градация часто может подвергаться индивидуальному изменению не только для разных фрагментов контента, но также между другими изображениями, а в действительности, очень часто между разными частями одного изображения. Например, блок цветовой градуировки может выбрать разные объекты в изображении и применять отдельную индивидуальную цветовую градацию для каждого объекта. Следовательно, предсказание изображений с HDR исходя из изображений с LDR, как правило, сильно затруднено и в идеале требует адаптации для конкретного подхода, используемого для создания изображения с LDR из изображения с HDR.

Пример подхода к предсказанию изображения с HDR представлен в работе Mantiuk, R., Efremov, A., Myszkowski, K. B Seidel, H. 2006. Backward compatible high dynamic range MPEG video compression. ACM Trans. Graph. 25, 3 (Jul. 2006), 713-723.ВК. При этом подходе оценивают функцию глобального восстановления, которую используют для выполнения межуровневого предсказания. Однако этот подход приводит к субоптимальным результатам, которые оказываются не такими точными, как хотелось бы. В частности использование функции глобального восстановления позволяет получить лишь грубую оценку, так как не учитываются локальные изменения взаимосвязи между данными HDR и данными LDR, например, из-за применения разной цветовой градации.

Другой подход предложен в патентной заявке США US2009/0175338, где представлен механизм межуровневого предсказания, функционирующий на уровне макроблоков (MB). При этом подходе поток с HDR имеется для каждого макроблока, локально прогнозируемого путем оценки масштабного параметра и параметра смещения, что соответствует линейной регрессии данных макроблока. Однако, хотя это позволяет выполнять более локальное предсказание, простота применяемой линейной модели часто не позволяет точно описать сложные соотношения между данными с LDR и данными с HDR, в частности, в окрестности высококонтрастных и цветных краев.

Таким образом, усовершенствованный подход к кодированию данных с HDR/LDR и/или к созданию данных с HDR из данных с LDR является весьма перспективным. В частности, сулит преимущества система, позволяющая получить повышенную гибкость, отличающаяся удобством реализации и/или эксплуатации, улучшенной и/или автоматической адаптацией, повышенной точностью, уменьшенными скоростями кодирования данных и/или улучшенными рабочими характеристиками.

Другая важная тенденция, которая проявилась недавно, состоит в том, что разработчики множества дисплейных устройств, будь то телевизоры, игровые мониторы или даже мобильные устройства, стремятся к тому, чтобы по меньшей мере часть визуальной информации была представлена в трехмерном виде. Возможно, что рынок вместе с тем не захочет иметь дело только с этими двумя альтернативами, то есть либо 3D с LDR, либо 2D с HDR, то есть для одних и тех же систем с низкой производительностью (например, диск типа bluray) возможно потребуется, чтобы качественные улучшения были обеспечены и по тому и по другому варианту одновременно.

Сущность изобретения

Соответственно, изобретение направлено на то, чтобы предпочтительно смягчить, уменьшить или исключить один или несколько из вышеупомянутых недостатков, по одному или в любой комбинации; в частности, изобретение направлено на обеспечение опции облегченного кодирования некоторой информации, связанной с HDR, и некоторой информации, связанной с 3D, а именно, эффективным образом, при котором имеется возможность использовать существующие зависимости между разными кодированными представлениями съемки одной и той же сцены, где указанные кодированные представления имеют разные уровни достоверности. Особый интерес представляет случай, когда имеется возможность интеллектуального кодирования с использованием ряда сходных свойств технологии на основе HDR, с одной стороны, и 3D-технологии, с другой стороны. В частности, поскольку многие существующие технологии кодирования основаны на предсказаниях одного представления исходя из другого представления (например, градуировка расширенного динамического диапазона исходя из приближенного представления с LDR), будет весьма полезным, если предсказания для одного указанного улучшения (например, HDR) смогут использовать предсказания для другого улучшения (дополнительные 3D-виды вдобавок к первичному виду). Оказывается весьма выгодным, если, с одной стороны очень сложные эвристики, используемые, например, в 3D-модуле для точной идентификации, например, пространственных объектов в сцене (и для точного определения их границ), могут быть повторно использованы также и в предсказаниях «от LDR к HDR» (например, для применения стратегии локального преобразования «LDR-HDR» на точно определенном объекте), но, с другой стороны, дополнительная информация, которую можно получить из дополнительной информации для одного режима (например, информация, которую можно получить из дополнительных видов), может быть использована для того, чтобы облегчить указанные преобразования, например, предсказания, исходя из другого режима, повысить их достоверность и т.д. (например, карта глубин помогает сформировать полезную информацию для преобразования «LDR-HDR» или в обратном направлении, если стратегия кодирования для LDR/HDR содержит данные (метаданные), позволяющие лучше идентифицировать области или объекты, что может помочь при анализе и представлении/кодировании трехмерной сцены).

Согласно одному аспекту изобретения обеспечен способ кодирования входного изображения, причем способ содержит: прием входного изображения; создание отображения, связывающего входные данные в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном в соответствии с эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным изображением с расширенным динамическим диапазоном; и создание выходного потока кодированных данных путем кодирования входного изображения в соответствии с упомянутым отображением.

Изобретение может обеспечить улучшенное кодирование. Например, оно может обеспечить адаптируемое кодирование, привязанное к характеристикам конкретного динамического диапазона, и, в частности, к характеристикам, связанным со способами расширения динамического диапазона, которые могут выполняться подходящим для этой цели декодером. Изобретение, например, может обеспечить кодирование, которое позволяет декодеру усовершенствовать принятое изображение с суженным динамическим диапазоном, преобразовав его в изображение с расширенным динамическим диапазоном. Использование отображения на основе эталонных изображений может во многих вариантах обеспечить, в частности, автоматическую и/или усовершенствованную адаптацию к характеристикам изображения, не требуя при этом выполнения заранее определенных правил или алгоритмов, которые должны быть разработаны и применены для конкретных характеристик изображения.

Позиции изображения, которые можно рассматривать как связанные с упомянутой комбинацией, могут быть, например, определены для конкретного входного набора в виде позиций, которые удовлетворяют критерию близости для пространственных позиций изображения для данного конкретного входного набора. Например, набор может включать в себя позиции изображения, которые имеют расстояние от позиции входного набора, меньшее заданного, где входной набор принадлежит тому же самому изображаемому объекту, что и позиция входного набора, которая находится в диапазонах позиций, определенных для данного входного набора, и т.д.

Упомянутая комбинация может представлять собой, например, комбинацию, которая объединяет множество значений цветовых координат в меньшее количество значений, и в частности, в одно значение. Например, такая комбинация может объединять цветовые координаты (такие как значения RGB) в одно значение яркости. В другом примере, эта комбинация может объединять значения соседних пикселей в одно среднее значение или разностное значение. В других вариантах эта комбинация может, в качестве альтернативы или вдобавок к вышесказанному, представлять собой множество значений. Например, комбинация может представлять собой набор данных, содержащий пиксельное значение для каждого из множества соседних пикселей. Таким образом, в некоторых вариантах комбинация может соответствовать одной дополнительной размерности упомянутого отображения.

Цветовая координата может иметь любое значение, отражающее визуальную характеристику пикселя, и может, в частности, иметь значение яркости, цветности или цветоразности. В некоторых вариантах комбинация может содержать только одно пиксельное значение, соответствующее пространственной позиции изображения для входного набора.

Упомянутый способ может включать в себя динамическое создание упомянутого отображения. Например, новое отображение может быть создано для каждого изображения видеопоследовательности, или, например, для каждого N-го изображения, где N - целое число.

Согласно опциональному признаку изобретения, входное изображение является входным изображением с расширенным динамическим диапазоном; а способ кроме того содержит: прием входного изображения с суженным динамическим диапазоном, соответствующего входному изображению с расширенным динамическим диапазоном; создание базового изображения для предсказания исходя из входного изображения с суженным динамическим диапазоном; предсказание предсказанного изображения с расширенным динамическим диапазоном исходя из базового изображения для предсказания в соответствии с упомянутым отображением; кодирование остаточного изображения с расширенным динамическим диапазоном в соответствии с предсказанным изображением с расширенным динамическим диапазоном и входным изображением с расширенным динамическим диапазоном для создания кодированных данных с расширенным динамическим диапазоном; и включение кодированных данных с расширенным динамическим диапазоном в выходной поток кодированных данных.

Изобретение может обеспечить улучшенное кодирование изображений с HDR. В частности, может быть достигнуто улучшенное предсказание изображения с HDR, исходя из изображения с LDR, что позволяет уменьшить остаточный сигнал и повысить эффективность кодирования. Таким образом, можно достичь скорости передачи данных уровня улучшения, а значит, комбинированного сигнала.

Этот подход может обеспечить предсказание на основе улучшенной и/или автоматической адаптации к конкретной зависимости между изображениями с HDR и LDR. Например, данный подход может обеспечить автоматическую адаптацию, отражающую применение различных подходов к тональному отображению и цветовой градации, будь то изображения или же части изображения для разных источников. Например, такой подход помогает адаптироваться к конкретным характеристикам в отдельных изображаемых объектах.

Данный подход позволяет во многих сценариях обеспечить обратную совместимость с существующим оборудованием с LDR, что позволяет достаточно просто использовать базовый уровень, содержащий кодирование входного изображения с LDR. Кроме того, этот подход несложен при практической реализации, что открывает возможности сокращения затрат, снижения требований к ресурсам и к эксплуатации, либо облегчает проектирование или изготовление.

Базовое изображение для предсказания может быть создано специальным образом посредством кодирования входного изображения с суженным динамическим диапазоном для создания кодированных данных; и создания изображения на основе предсказания посредством декодирования кодированных данных.

Способ может содержать создание выходного потока кодированных данных, имеющего первый уровень, содержащий кодированные данные для входного изображения, и второй уровень, содержащий кодированные данные для остаточного изображения. Второй уровень может быть опциональным уровнем, а первый уровень, в частности, может быть базовым уровнем, при этом второй уровень может быть уровнем улучшения.

Кодирование остаточного изображения с расширенным динамическим диапазоном может, в частности, содержать создание остаточных данных по меньшей мере для части изображения с расширенным динамическим диапазоном путем сравнения входного изображения с расширенным динамическим диапазоном и предсказанного изображения с расширенным динамическим диапазоном; и создания по меньшей мере части кодированных данных с расширенным динамическим диапазоном путем кодирования остаточных данных.

Согласно опциональному признаку изобретения каждый входной набор соответствует пространственному интервалу для каждого пространственного размера изображения и по меньшей мере одному интервалу значений для указанной комбинации, и создание отображения содержит для каждой позиции изображения по меньшей мере из одной группы позиций эталонного изображения с суженным динамическим диапазоном: определение по меньшей мере одного совпадающего входного набора, имеющего пространственные интервалы, соответствующие каждой позиции изображения, и интервал значений для комбинации, соответствующей значению комбинации для каждой позиции изображения в эталонном изображении с суженным динамическим диапазоном; и определение выходного пиксельного значения с расширенным динамическим диапазоном для совпадающего входного набора в соответствии с пиксельным значением с расширенным динамическим диапазоном для каждой позиции изображения в эталонном изображении с расширенным динамическим диапазоном.

Это обеспечивает эффективный и точный подход к определению подходящего отображения для модификации динамического диапазона.

В некоторых вариантах множество совпадающих входных наборов можно определить по меньшей мере для первой позиции по меньшей мере из одной группы позиций изображения, и определить выходные значения пикселей с расширенным динамическим диапазоном для каждого набора из множества совпадающих входных наборов в соответствии с пиксельным значением с расширенным динамическим диапазоном для первой позиции при отображении изображения с расширенным динамическим диапазоном.

В некоторых вариантах способ кроме того содержит определение выходного пиксельного значения с расширенным динамическим диапазоном для первого входного набора в соответствии с результатом усреднения комбинаций из всех пиксельных значений с расширенным динамическим диапазоном для позиций изображения по меньшей мере из одной группы позиций изображения, которые совпадают с первым входным набором.

Согласно опциональному признаку изобретения указанным отображением является по меньшей мере одно из: отображение на основе пространственной субдискретизации; отображение на основе временной субдискретизации; и/или отображение на основе субдискретизации значений упомянутой комбинации.

Во многих вариантах это может повысить эффективность и/или уменьшить скорость передачи данных, либо снизить требования к ресурсам при сохранении возможности эффективного функционирования. Временная субдискретизация может содержать обновление отображения для поднабора изображений из последовательности изображений. Субдискретизация значений комбинации может содержать применение более грубого квантования одного или нескольких значений комбинации, чем в случае квантования пиксельных значений. Пространственная субдискретизация может содержать входные наборы, покрывающие множество пиксельных позиций.

Согласно опциональному признаку изобретения входное изображение является входным изображением с расширенным динамическим диапазоном; и способ кроме того содержит: прием входного изображения с суженным динамическим диапазоном, соответствующего входному изображению с расширенным динамическим диапазоном; создание базового изображения для предсказания исходя из входного изображения с суженным динамическим диапазоном; предсказание с получением предсказанного изображения с расширенным динамическим диапазоном исходя из базового изображения для предсказания в соответствии с упомянутым отображением; и адаптацию по меньшей мере одного из: отображения и/или остаточного изображения с расширенным динамическим диапазоном для предсказанного изображения с расширенным динамическим диапазоном в соответствии с результатом сравнения входного изображения с расширенным динамическим диапазоном и предсказанного изображения с расширенным динамическим диапазоном.

Это открывает возможность обеспечить улучшенное кодирование и во многих вариантах позволяет адаптировать скорость передачи данных к специфическим характеристикам изображения. Например, скорость передачи данных может быть уменьшена до уровня, необходимого для заданного уровня качества, с динамической адаптацией скорости передачи данных для достижения переменной минимальной скорости передачи данных.

В некоторых вариантах адаптация может содержать определение того, модифицировать ли часть или все упомянутое отображение. Например, если отображение приводит к предсказанному изображению с расширенным динамическим диапазоном, которое отклоняется от входного изображения с расширенным динамическим диапазоном на величину, превышающую заданную, то отображение можно частично или полностью модифицировать, чтобы в результате обеспечить улучшенное предсказание. Например, упомянутая адаптация может содержать модификацию конкретных пиксельных значений с расширенным динамическим диапазоном, обеспеченных посредством упомянутого отображения для конкретных входных наборов.

В некоторых вариантах способ может включать в себя выбор элементов по меньшей мере одного из: данных отображения и/или данных остаточного изображения с расширенным динамическим диапазоном, - для включения в выходной поток кодированных данных в соответствии с результатом сравнения входного изображения с расширенным динамическим диапазоном и предсказанного изображения с расширенным динамическим диапазоном. Данные отображения и/или данные остаточного изображения с расширенным динамическим диапазоном могут, например, быть ограничены областями, где различие между входным изображением с расширенным динамическим диапазоном и предсказанным изображением с расширенным динамическим диапазоном превышает заданный порог.

Согласно опциональному признаку изобретения, входное изображение представляет собой эталонное изображение с расширенным динамическим диапазоном, а эталонное изображение с суженным динамическим диапазоном представляет собой входное изображение с суженным динамическим диапазоном, соответствующее упомянутому входному изображению.

Это позволяет во многих вариантах обеспечить высокоэффективное предсказание изображения с расширенным динамическим диапазоном исходя из входного изображения с суженным динамическим диапазоном и во многих сценариях может обеспечить особо эффективное кодирование как изображений с расширенным динамическим диапазоном, так и изображений с суженным динамическим диапазоном. Способ кроме того может включать в себя отображение данных, характеризующих по меньшей мере часть указанного отображения в выходном потоке кодированных данных.

Согласно опциональному признаку изобретения, входные наборы для отображения кроме того содержат индикаторы глубины, связанные с пространственными позициями изображения, и отображение кроме того отражает зависимость между глубиной и пиксельными значениями с расширенным динамическим диапазоном. Это может обеспечить улучшенное отображение и, например, дает возможность использовать указанное отображение для создания улучшенного предсказания для входного изображения. Данный подход позволяет обеспечить уменьшенную скорость передачи данных для данного уровня качества. Индикатор глубины может представлять собой любой подходящий индикатор глубины в изображении, в том числе значение глубины (в направлении z) или значение рассогласования.

Согласно опциональному признаку изобретения, входное изображение соответствует изображению первого вида многовидового изображения, и способ кроме того содержит: кодирование изображения второго вида с расширенным динамическим диапазоном для многовидового изображения в соответствии с изображением первого вида с расширенным динамическим диапазоном.

Такой подход может обеспечить особо эффективное кодирование многовидовых изображений позволяет оптимизировать скорость передачи данных согласно некому показателю качества и/или облегчить реализацию указанного способа. Многовидовое изображение может представлять собой изображение, содержащее множество изображений, соответствующих разным видам одной и той же сцены. Многовидовое изображение, в частности, может представлять собой стереоизображение, содержащее правое и левое изображение (например, соответствующее точке зрения для правого и левого глаза наблюдателя). Изображение первого вида с расширенным динамическим диапазоном может, в частности, быть использовано для создания предсказания (или дополнительного предсказания) изображения второго вида с расширенным динамическим диапазоном. В некоторых случаях изображение первого вида с расширенным динамическим диапазоном может быть использовано непосредственно в качестве предсказания для изображения второго вида с расширенным динамическим диапазоном. Этот подход открывает возможность выполнения высокоэффективного совместного/комбинированного кодирования многовидовых изображений с LDR/HDR. Изображение с расширенным динамическим диапазоном может, в частности, представлять собой изображение первого вида с расширенным динамическим диапазоном.

Согласно опциональному признаку изобретения, изображение первого вида с расширенным динамическим диапазоном и изображение второго вида с расширенным динамическим диапазоном кодируют совместно, причем изображение первого вида с расширенным динамическим диапазоном кодируют независимо от изображения второго вида с расширенным динамическим диапазоном, а изображение второго вида с расширенным динамическим диапазоном кодируют с использованием данных из изображения первого вида с расширенным динамическим диапазоном; при этом кодированные данные разделяют на отдельные потоки данных, включающие в себя первичный поток данных, содержащий данные для изображения первого вида с расширенным динамическим диапазоном, и вторичный битовый поток, содержащий данные для изображения второго вида с расширенным динамическим диапазоном, где первичный и вторичный битовые потоки мультиплексируют, обеспечивая создание выходного потока кодированных данных, где данные для первичного и вторичного потоков данных снабжены отдельными кодами.

Это дает возможность обеспечить особо эффективное кодирование потока данных многовидовых изображений, что позволяет повысить уровень обратной совместимости. Данный подход открывает возможность сочетания преимуществ совместного кодирования многовидовых изображений с HDR с преимуществом обратной совместимости, что позволяет декодерам с неполным набором функциональных возможностей эффективно декодировать одновидовые изображения.

Согласно опциональному признаку изобретения, кодирующий модуль содержит вход данных изображения для приема данных изображения, подлежащего кодированию, вход предсказания для приема предсказания для изображения, подлежащего кодированию, и выход данных для вывода кодированных данных для кодированного изображения, причем кодирующий модуль предназначен для создания кодированных данных из данных предсказания и данных изображения; при этом кодирование изображения первого вида с расширенным динамическим диапазоном выполняется кодирующим модулем при приеме предсказания, созданного исходя из отображения на входе предсказания и данных изображения для изображения с расширенным динамическим диапазоном на входе данных изображения, а кодирование изображения второго вида с расширенным динамическим диапазоном выполняется кодирующим модулем при приеме предсказания, созданного исходя из изображения первого вида с расширенным динамическим диапазоном, на входе предсказания и данных изображения для изображения второго вида с расширенным динамическим диапазоном на входе данных изображения.

Это открывает возможность обеспечить особо эффективное и/или достаточно простое кодирование. Преимуществом является то, что кодирующий модуль можно многократно использовать для реализации разных функциональных возможностей. В качестве кодирующего модуля может быть, например, использован одновидовый кодирующий модуль H264.

Согласно одному аспекту изобретения, обеспечен способ создания изображения с расширенным динамическим диапазоном из изображения с суженным динамическим диапазоном, причем способ содержит: прием изображения с суженным динамическим диапазоном; обеспечение входных данных, относящихся к отображению, в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, для вывода данных в виде пиксельных значений с расширенным динамическим диапазоном, причем указанное отображение отражает зависимость между эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным изображением с расширенным динамическим диапазоном; и создание изображения с расширенным динамическим диапазоном в соответствии с изображением с суженным динамическим диапазоном и указанным отображением.

Изобретение предлагает особо эффективный подход к созданию изображения с расширенным динамическим диапазоном из изображения с суженным динамическим диапазоном.

В частности, указанный способ может представлять собой способ декодирования изображения с расширенным динамическим диапазоном. Изображение с суженным динамическим диапазоном может приниматься в виде кодированного изображения, которое сначала декодируют, после чего к декодированному изображению с суженным динамическим диапазоном применяют отображение для обеспечения изображения с расширенным динамическим диапазоном. В частности, изображение с суженным динамическим диапазоном может быть создано путем декодирования изображения базового уровня из потока кодированных данных.

В частности, эталонное изображение с суженным динамическим диапазоном и соответствующее эталонное изображение с расширенным динамическим диапазоном могут представлять собой изображения, декодированные ранее. В некоторых вариантах изображение с суженным динамическим диапазоном может быть принято в потоке кодированных данных, который может также содержать данные, характеризующие или идентифицирующие упомянутое отображение, или одно или оба из эталонных изображений.

Согласно опциональному признаку изобретения, создание изображения с расширенным динамическим диапазоном содержит определение по меньшей мере части предсказанного изображения с расширенным динамическим диапазоном для каждой позиции по меньшей мере части предсказанного изображения с расширенным динамическим диапазоном: определение по меньшей мере одного совпадающего входного набора, соответствующего каждой позиции и первой комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с каждой позицией; извлечение из указанного отображения по меньшей мере одного выходного пиксельного значения с расширенным динамическим диапазоном по меньшей мере для одного совпадающего входного набора; определение пиксельного значения с расширенным динамическим диапазоном для каждой позиции в предсказанном изображении с расширенным динамическим диапазоном в соответствии по меньшей мере с одним выходным пиксельных значением с расширенным динамическим диапазоном; и определение изображения с расширенным динамическим диапазоном в соответствии по меньшей мере с частью предсказанного изображения с расширенным динамическим диапазоном.

Это может обеспечить создание изображения с расширенным динамическим диапазоном, которое отличается особыми преимуществами. Во многих вариантах такой подход открывает возможность обеспечения особо эффективного кодирования сообщений как с суженным динамическим диапазоном, так и с расширенным динамическим диапазоном. В частности, может быть достигнута автоматическая адаптация и/или эффективное создание предсказанного изображения с расширенным динамическим диапазоном исходя из изображения с суженным динамическим диапазоном.

Создание изображения с расширенным динамическим диапазоном в соответствии по меньшей мере с частью предсказанного изображения с расширенным динамическим диапазоном может содержать непосредственное использование по меньшей мере части предсказанного изображения с расширенным динамическим диапазоном, или может, например, содержать улучшение по меньшей мере части предсказанного изображения с расширенным динамическим диапазоном с использованием остаточных данных с расширенным динамическим диапазоном, которые, например, могут содержаться в другом уровне кодированного сигнала, отличном от уровня, где содержится изображение с суженным динамическим диапазоном.

Согласно опциональному признаку изобретения, изображение с суженным динамическим диапазоном представляет собой изображение из видеопоследовательности с суженным динамическим диапазоном, а упомянутый способ содержит создание отображения с использованием предшествующего изображения с суженным динамическим диапазоном из видеопоследовательности с суженным динамическим диапазоном в качестве эталонного изображения с суженным динамическим диапазоном, и предшествующего изображения с расширенным динамическим диапазоном, созданного для предшествующего изображения с суженным динамическим диапазоном, в качестве эталонного изображения с расширенным динамическим диапазоном.

Это может обеспечить эффективное функционирование и, в частности, позволяет обеспечить эффективное кодирование видеопоследовательностей с соответствующими изображениями с суженным динамическим диапазоном и расширенным динамическим диапазоном. Например, такой подход позволяет обеспечить точное кодирование на основе предсказания по меньшей мере части изображения с расширенным динамическим диапазоном исходя из изображения с суженным динамическим диапазоном без необходимости иметь какую-либо информацию об используемом отображении, подлежащую передаче между кодером и декодером.

Согласно опциональному признаку изобретения, предшествующее изображение с расширенным динамическим диапазоном кроме того создают в соответствии с остаточными данными изображения для предшествующего изображения с суженным динамическим диапазоном в связи с данными предсказанного изображения для предшествующего изображения с суженным динамическим диапазоном.

Это дает возможность обеспечить особо точное отображение, а значит, улучшенное предсказание.

Согласно опциональному признаку изобретения, изображение с суженным динамическим диапазоном представляет собой изображение из видеопоследовательности с суженным динамическим диапазоном, и способ кроме того содержит использование номинального отображения по меньшей мере для некоторых изображений с суженным динамическим диапазоном из видеопоследовательности с суженным динамическим диапазоном.

Это может обеспечить особо эффективное кодирование для многих изображений и, в частности, позволяет обеспечить эффективную адаптацию к другим изображениям в видеопоследовательности. Например, номинальное отображение можно использовать для изображений, для которых не существуют подходящие эталонные изображения, например, первое изображение, следующее за изменением сцены.

В некоторых вариантах видеопоследовательность с динамическим диапазоном может быть принята как часть кодированного видеосигнала, который кроме того содержит индикатор эталонного отображения для изображений с суженным динамическим диапазоном, для которых используется это эталонное отображение. В некоторых вариантах индикатор эталонного отображения указывает применяемое эталонное отображение, выбранное из заранее определенного набора эталонных отображений. Например, между кодером и декодером может быть определено N эталонных отображений, и кодирование может включать в себя индикатор, указывающий, какое из эталонных отображений следует использовать декодеру для конкретного изображения.

Согласно опциональному признаку изобретения, упомянутая комбинация указывает по меньшей мере одно из: изменение текстуры, градиента и/или пространственного пиксельного значения для пространственных позиций изображения.

Это может обеспечить создание изображения с расширенным динамическим диапазоном, отличающееся особыми преимуществами, и, в частности, может создать более привлекательные изображения с расширенным динамическим диапазоном.

Согласно опциональному признаку изобретения, входные наборы для отображения кроме того содержат индикаторы глубины, связанные с пространственными положениями изображения, и указанное отображение кроме того отражает зависимость между глубиной и пиксельными значениями с расширенным динамическим диапазоном. Это может обеспечить улучшенное отображение, и, например, может обеспечить отображение, подлежащее использованию для создания улучшенного предсказания изображения с расширенным динамическим диапазоном. Этот подход может, например, обеспечить пониженную скорость передачи данных для данного уровня качества. Индикатором глубины может быть любой подходящий индикатор глубины в изображении, в том числе, значение глубины (в направлении z) или значение рассогласования.

Согласно опциональному признаку изобретения, изображение с расширенным динамическим диапазоном соответствует изображению первого вида из многовидового изображения, а способ, кроме того, содержит: создание изображения второго вида с расширенным динамическим диапазоном для многовидового изображения в соответствии с изображением с расширенным динамическим диапазоном.

Данный подход может обеспечить особо эффективное создание/декодирование многовидовых изображений и позволяет оптимизировать скорость передачи данных согласно показателю качества и/или облегчить реализацию указанного способа. Многовидовое изображение может представлять собой изображение, содержащее множество изображений, соответствующих разным видам одной и той же сцены. Многовидовое изображение, в частности, может представлять собой стереоизображение, содержащее правое и левое изображение (например, соответствующее точке зрения для правого и левого глаза наблюдателя). Изображение первого вида с расширенным динамическим диапазоном может, в частности, быть использовано для создания предсказания изображения второго вида с расширенным динамическим диапазоном. В некоторых случаях изображение первого вида с расширенным динамическим диапазоном может быть использовано непосредственно в качестве предсказания для изображения второго вида с расширенным динамическим диапазоном. Этот подход открывает возможность выполнения высокоэффективного совместного/комбинированного декодирования многовидовых изображений с LDR/HDR.

Согласно опциональному признаку изобретения, декодирующий модуль содержит вход данных кодера для приема кодированных данных для кодированного изображения, вход предсказания для приема предсказания для кодированного изображения и выход данных для вывода декодированного изображения, причем декодирующий модуль предназначен для создания декодированного изображения исходя предсказания и данных кодера; при этом создание изображения с расширенным динамическим диапазоном выполняется декодирующим модулем при приеме предсказания, созданного исходя из отображения на входе предсказания и остаточных данных изображения для изображения с расширенным динамическим диапазоном на входе данных кодера, а создание изображения второго вида с расширенным динамическим диапазоном выполняется декодирующим модулем при приеме предсказания, созданного исходя из изображения с расширенным динамическим диапазоном на входе предсказания и остаточных данных изображения для изображения второго вида с расширенным динамическим диапазоном на входе данных кодера.

Это позволяет обеспечить особо эффективное и/или достаточно простое декодирование. Преимуществом является то, что декодирующий модуль можно многократно использовать для реализации разных функциональных возможностей. Декодирующим модулем может быть, например, одновидовый декодирующий модуль типа H264.

Согласно опциональному признаку изобретения, декодирующий модуль содержит множество блоков памяти для предсказаний, предназначенных для запоминания изображений-предсказаний, созданных из ранее декодированных изображений; при этом декодирующий модуль перезаписывает содержимое одного из блоков памяти для изображений-предсказаний на изображение-предсказание, принятое на входе предсказания.

Это дает возможность обеспечить особо эффективную реализацию и/или функционирование.

Согласно опциональному признаку изобретения, этап создания изображения второго вида с расширенным динамическим диапазоном содержит: обеспечение отображения, связывающего входные данные, в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с расширенным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном, причем указанное отображение отражает зависимость между эталонным изображением с расширенным динамическим диапазоном для первого вида и соответствующим эталонным изображением с расширенным динамическим диапазоном для второго вида; и создание изображения второго вида с расширенным динамическим диапазоном в соответствии с изображением с расширенным динамическим диапазоном и указанным отображением.

Это дает возможность обеспечить подход, имеющий особые преимущества, к созданию изображения второго вида с расширенным динамическим диапазоном на основе изображения первого вида с расширенным динамическим диапазоном. В частности, можно обеспечить точное отображение или предсказание, основанное на эталонных изображениях. Создание изображения второго вида с расширенным динамическим диапазоном может быть основано на автоматическом создании отображения и, например, может быть основано на предшествующем изображении второго вида с расширенным динамическим диапазоном и предшествующем изображении первого вида с расширенным динамическим диапазоном. Данный подход может, например, обеспечить отображение, создаваемое независимо на стороне кодера и декодера, что позволяет обеспечить эффективное предсказание на стороне кодера/декодера на основе указанного отображения без необходимости передачи каких-либо дополнительных данных, связанных с отображением, от кодера на декодер.

Согласно одному аспекту изобретения, обеспечено устройство для кодирования входного изображения, причем устройство содержит: приемник для приема входного изображения; генератор отображения для создания отображения, связывающего входные данные, в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном в соответствии с эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным значением с расширенным динамическим диапазоном; и выходной процессор для создания выходного потока кодированных данных путем кодирования входного изображения в соответствии с указанным отображением. Данное устройство может представлять собой, например, интегральную схему или ее часть.

Согласно одному аспекту изобретения, обеспечена аппаратура, содержащая: устройство, описанное в предыдущем абзаце; входное соединение для приема сигнала, содержащего входное изображение, и подачи его в упомянутое устройство; и выходное соединение для вывода выходного потока кодированных данных из указанного устройства.

Согласно одному аспекту изобретения, обеспечено устройство для создания изображения с расширенным динамическим диапазоном из изображения с суженным динамическим диапазоном, причем упомянутое устройство содержит: приемник для приема изображения с суженным динамическим диапазоном; процессор отображения для обеспечения связывающего отображения, входные данные, в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном, причем указанное отображение отражает зависимость между эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным изображением с расширенным динамическим диапазоном; и генератор изображения для создания изображения с расширенным динамическим диапазоном в соответствии с изображением с суженным динамическим диапазоном и упомянутым отображением. Данное устройство может представлять собой, например, интегральную схему или ее часть.

Согласно одному аспекту изобретения, обеспечено аппаратура, содержащая устройство, описанное в предыдущем абзаце; входное соединение для приема изображения с суженным динамическим диапазоном, и подачи его в упомянутое устройство; выходное соединение для вывода из указанного устройства сигнала, содержащего изображение с расширенным динамическим диапазоном. Указанная аппаратура может представлять собой, например, телевизионную приставку, компьютерный монитор или другой дисплей, медиаплеер, DVD-плеер или BluRay^TM-плеер и т.д.

Согласно одному аспекту изобретения обеспечен кодированный сигнал, содержащий: кодированное изображение с суженным динамическим диапазоном; и остаточные данные изображения для изображения с суженным динамическим диапазоном, причем по меньшей мере часть остаточных данных изображения указывает различие между желаемым изображением с расширенным динамическим диапазоном, соответствующим изображению с суженным динамическим диапазоном, и предсказанным изображением с расширенным динамическим диапазоном, являющимся результатом применения отображения к кодированному изображению с суженным динамическим диапазоном, где указанное отображение связывает входные данные в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном, при этом указанное отображение отражает зависимость между эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным изображением с расширенным динамическим диапазоном.

Согласно одному признаку изобретения обеспечена запоминающая среда, содержащая кодированный сигнал, описанный в предшествующем абзаце. Этой запоминающей средой может быть, например, носитель данных, такой как DVD BluRay^TM диск.

Может быть обеспечен компьютерный программный продукт для выполнения способа согласно любому из аспектов или признаков изобретения. Также может быть обеспечена запоминающая среда, содержащая исполняемый код для выполнения способа согласно любому из аспектов или признаков изобретения.

Эти и другие аспекты, признаки и преимущества изобретения станут очевидными по прочтении нижеследующего описания варианта (вариантов) осуществления изобретения.

Краткое описание чертежей

Далее описываются варианты изобретения, исключительно как примеры, со ссылками на чертежи, на которых:

фиг. 1 - пример системы передачи согласно некоторым вариантам изобретения;

фиг. 2 - пример кодера согласно некоторым вариантам изобретения;

фиг. 3 - пример способа кодирования согласно некоторым вариантам изобретения;

фиг. 4 и 5 - примеры отображений согласно некоторым вариантам изобретения;

фиг. 6 - пример кодера согласно некоторым вариантам изобретения;

фиг. 7 - пример кодера согласно некоторым вариантам изобретения;

фиг. 8 - пример способа декодирования согласно некоторым вариантам изобретения;

фиг. 9 - пример предсказания изображения с расширенным динамическим диапазоном согласно некоторым вариантам изобретения;

фиг. 10 - пример отображения согласно некоторым вариантам изобретения;

фиг. 11 - пример декодера согласно некоторым вариантам изобретения;

фиг. 12 - пример кодера согласно некоторым вариантам изобретения;

фиг. 13 - пример базового кодирующего модуля, который может быть использован в кодерах, согласно некоторым вариантам изобретения;

фиг. 14-17 - примеры кодеров, в которых используется базовый кодирующий модуль по фиг. 13;

фиг. 18 - пример мультиплексирования потоков данных;

фиг. 19 - пример базового декодирующего модуля, который может быть использован в декодерах, согласно некоторым вариантам изобретения; и

фиг. 20-22 - примеры декодеров, в которых используется базовый декодирующий модуль по фиг. 18.

Подробное описание некоторых вариантов изобретения

Последующее описание сфокусировано на вариантах изобретения, применимых для кодирования и декодирования соответствующих изображений с суженным динамическим диапазоном и расширенным динамическим диапазоном из видеопоследовательностей. Однако очевидно, что данное изобретение не ограничено указанным применением и что описанные здесь принципы можно применить во многих других сценариях, и, например, можно применить для улучшения или модификации динамических диапазонов изображений множества различных типов.

На фиг. 1 показана система 100 передачи для передачи видеосигнала согласно некоторым вариантам изобретения. Система 100 передачи содержит передатчик 101, соединенный с приемником 103 через сеть 105, которая, в частности, может представлять собой Интернет или, например, широковещательную систему, такую как широковещательная система цифрового телевидения.

В данном конкретном примере приемником 103 является средство воспроизведения сигнала, но очевидно, что в других вариантах приемник может использоваться в других приложениях и для других целей. В конкретном примере приемником 103 может быть дисплей, такой как телевизионный приемник, или телевизионная приставка для создания выходного сигнала визуального воспроизведения для внешнего дисплейного устройства, такого как компьютерный монитор или телевизор.

В данном конкретном варианте передатчик 101 содержит источник 107 сигнала, который обеспечивает видеопоследовательность изображений с суженным динамическим диапазоном и соответствующую видеопоследовательность изображений с расширенным динамическим диапазоном. Соответствующие изображения представляют одинаковую сцену/изображение, но с разными динамическими диапазонами. Как правило, изображение с суженным динамическим диапазоном может создаваться из соответствующего изображения с расширенным динамическим диапазоном посредством подходящей цветовой градации, которая может выполняться автоматически, в полуавтоматическом режиме или вручную. В некоторых вариантах изображение с расширенным динамическим диапазоном может быть создано из изображения с суженным динамическим диапазоном, либо они могут создаваться параллельно, например, для изображений, создаваемых компьютером.

Следует понимать, что термины «изображение с суженным динамическим диапазоном» и «изображение с расширенным динамическим диапазоном» не задают в абсолютных единицах какие-либо конкретные динамические диапазоны для изображений, а просто являются относительными терминами, которые соотносят эти изображения друг с другом, так что изображение с расширенным динамическим диапазоном имеет потенциально более широкий динамический диапазон, чем изображение с более узким динамическим диапазоном.

Источник 107 сигнала может сам создавать изображение с суженным динамическим диапазоном, изображение с расширенным динамическим диапазоном либо изображения как с суженным, так и с расширенным динамическим диапазоном, или, например, может принимать одно либо оба из них от внешнего источника.

Источник 107 сигнала соединен с кодером 109, который приступает к кодированию видеопоследовательностей с расширенным и суженным динамическим диапазоном в соответствии с алгоритмом кодирования, который более подробно будет описан ниже. Кодер 109 соединен с сетевым передатчиком 111, который принимает кодированный сигнал и осуществляет взаимодействие с сетью 105 связи. Сетевой передатчик может передавать кодированный сигнал на приемник 103 через сеть 105 связи. Следует иметь в виду, что во многих других вариантах могут использоваться другие распределительные или коммуникационные сети, такие как, например, наземная или спутниковая широковещательная система.

Приемник 103 содержит приемник 113, который обеспечивает взаимодействие с сетью 105 связи и принимает кодированный сигнала от передатчика 101. В некоторых вариантах приемник 113 может представлять собой, например, интерфейс сети Интернет, либо беспроводной или спутниковый приемник.

Приемник 113 соединен с декодером 115. На декодер 115 подается принятый кодированный сигнал, а затем он приступает к декодированию в соответствии с алгоритмом декодирования, который более подробно описывается ниже. В частности, декодер 115 может создавать видеопоследовательность с расширенным динамическим диапазоном исходя из принятых кодированных данных.

В конкретном примере, где поддерживается функция воспроизведения сигнала, приемник 103 кроме того содержит средство 117 воспроизведения сигнала, которое принимает декодированный видеосигнал от декодера 115 и представляет его пользователю, используя подходящие для этого функциональные возможности. В частности, само средство 117 воспроизведения сигнала может содержать дисплей, способный представлять кодированную видеопоследовательность. В качестве альтернативы или как дополнение, средство 117 воспроизведения сигнала может содержать схему вывода, которая способна создавать подходящий сигнал возбуждения для внешнего дисплейного устройства. Таким образом, приемник 103 может содержать средство соединения на входе, принимающее кодированную видеопоследовательность, и средство соединения на выходе, обеспечивающее выходной сигнал возбуждения для дисплея.

На фиг. 2 показан пример кодера 109 согласно некоторым вариантам изобретения. На фиг. 3 показан пример способа кодирования согласно некоторым вариантам изобретения.

Кодер содержит приемник 201 для приема видеопоследовательности изображений с расширенным динамическим диапазоном (которые могут быть получены, например, в том же самом блоке, который содержит кодер, на основе имеющегося изображения с HDR, либо эти изображения могут поступить с отдельного входа (например, с отдельной градуировкой), например, версия с LDR из телевизионной записи и т.д., запомненная на жестком диске), в дальнейшем называемых изображениями с LDR, и приемник 203 для приема соответствующей видеопоследовательности изображений с расширенным динамическим диапазоном, далее называемых изображениями с HDR.

Сначала кодер 109 выполняет шаг 301, на котором осуществляется прием входного изображения с LDR видеопоследовательности c LDR. Изображения с LDR подаются в кодер 205 с LDR, который кодирует видеоизображения из видеопоследовательности с LDR. Следует иметь в виду, что для этого может быть использован любой алгоритм кодирования видео или изображений, и что такое кодирование может включать в себя компенсацию движения, квантование, трансформное преобразование и т.д., как известно специалистам в данной области техники. В частности, кодером 205 с LDR может быть стандартный кодер H-264/AVC.

Таким образом, за шагом 301 следует шаг 303, на котором выполняется кодирование изображения с LDR для создания кодированного изображения с LDR.

Затем кодер 109 приступает к созданию предсказанного изображения с HDR из изображения с LDR. Предсказание основано на базовом изображении для предсказания, которым, например, может быть само входное изображение с LDR. Однако во многих вариантах базовое изображение для предсказания может быть создано таким образом, чтобы оно соответствовало изображению с LDR, которое может быть создано декодером посредством декодирования кодированного изображения с LDR.

В примере на фиг. 2 кодер 205 с LDR соединен соответственно с декодером 207 с LDR, который приступает к созданию базового изображения для предсказания посредством декодирования кодированных данных изображения с LDR. Такое декодирование может иметь действительный входной поток данных или может иметь промежуточный поток данных, такой как, например, поток кодированных данных до окончательного энтропийного кодирования без потерь. Таким образом, декодер 207 с LDR выполняет шаг 305, на котором создается базовое изображение для предсказания посредством декодирования кодированного изображения с LDR.

Декодер 207 с LDR соединен с предсказателем 209, который приступает к созданию предсказанного изображения с HDR исходя из базового изображения для предсказания. Упомянутое предсказание основано на отображении, обеспеченном процессором 211 отображения.

Таким образом, в данном примере за шагом 305 следует шаг 307, на котором создается упомянутое отображение, а затем шаг 309, на котором выполняется предсказание для создания предсказанного изображения с HDR.

Предсказатель 209 кроме того соединен с кодером 213 с HDR, который кроме того подсоединен к приемнику 203 с HDR. Кодер 213 с HDR принимает входное изображение с HDR и предсказанное изображение с HDR и приступает к кодированию входного изображения с HDR на основе предсказанного изображения с HDR.

Ниже подробно на конкретном несложном примере описывается кодирование изображения с HDR на основе создания остаточного изображения с HDR относительно предсказанного изображения с HDR и кодирования остаточного изображения с HDR. Однако специалистам в данной области техники должно быть ясно, что стратегии предсказания для кодирования изображений с LDR/HDR в сочетании с 3D-кодированием (стерео или несколько изображений), согласующиеся с несколькими описанными здесь вариантами, будут совместно работать с несколькими стратегиями предсказания, например, возможно использование локальных функций комплексного преобразования на объектах (независимо от того, закодированы ли они в виде алгоритмов, таблиц LUT либо промежуточных или окончательно используемых изображений и т.д.), пространственно-временных модификаций изображения с LDR по нескольким изображениям и т.д. Таким образом, в указанном простом примере кодер 213 с HDR может приступить к выполнению шага 311, на котором создается остаточное изображение с HDR в соответствии с результатом сравнения входного изображения с HDR и предсказанного изображения с HDR. В частности, кодер 213 с HDR может создать остаточное изображение с HDR путем вычитания предсказанного изображения с HDR исходя из входного изображения с HDR. Таким образом, остаточное изображение с HDR представляет ошибку между входным изображением с HDR и изображением, предсказанным на основе соответствующего (кодированного) изображения с LDR. В других вариантах могут выполняться другие сравнения. Например, может быть использовано деление изображения с HDR на предсказанное изображение с HDR.

Кодер 213 с HDR может затем выполнить шаг 313, на котором кодируется остаточное изображение для создания кодированных остаточных данных.

Для кодирования остаточного изображения можно использовать любой подходящий принцип или алгоритм кодирования. В действительности, во многих вариантах можно использовать предсказанное изображение с HDR в качестве одного из нескольких возможных предсказаний. Таким образом, в некоторых вариантах кодер 213 с HDR может быть скомпонован для выбора из множества предсказаний, включая предсказанное изображение с HDR. Другие предсказания могут включать в себя пространственные или временные предсказания. Выбор может быть основан на показателе точности для разных предсказаний, например, на величине остатка относительно входного изображения с HDR. Выбор может выполняться для всего изображения в целом или, например, может выполняться индивидуально для разных областей или зон изображения с HDR.

Например, кодером с HDR может быть кодер H264. Стандартный кодер H264 может использовать разные предсказания, такие как временное предсказание (между кадрами, например, компенсация движения) или пространственное предсказание (то есть, предсказание одной области изображения исходя из другой). В подходе согласно фиг. 2 указанные предсказания могут быть добавлены посредством предсказания изображения по схеме «от LDR к HDR». Затем кодер на основе H.264 приступает к выбору предсказания из числа разных возможных предсказаний. Этот выбор выполняется на основе макроблоков и базируется на выборе того предсказания, которое в результате даст минимальный остаток для данного макроблока. В частности, для выбора наилучшего подхода к предсказанию для каждого блока может быть выполнен анализ зависимости искажения от скорости передачи. Таким образом, принимается частное решение.

Соответственно, кодер на основе H264 может использовать разные подходы к предсказанию разных макроблоков. Остаточные данные могут создаваться и кодироваться для каждого макроблока. Таким образом, кодированные данные для входного изображения с HDR могут содержать остаточные данные для каждого макроблока, полученные в результате конкретного выбранного способа предсказания для данного макроблока. Вдобавок, кодированные данные могут содержать указание о том, какой подход к кодированию используется для каждого отдельного макроблока.

Таким образом, предсказание «от LDR к HDR» может обеспечить дополнительное предсказание, которое может быть выбрано кодером. Для некоторых макроблоков это предсказание может привести к меньшему остатку, чем другие предсказания, и, соответственно оно будет выбрано для данного макроблока. Результирующее остаточное изображение для данного макроблока будет затем представлять разность между входным изображением с HDR и предсказанным изображением с HDR для данного блока.

В этом примере кодер может выбирать разные подходы к предсказанию, но не комбинацию из них, поскольку разные предсказания, как правило, противоречат друг другу.

Кодер 205 с LDR и кодер 213 с HDR соединены с выходным процессором 215, который принимает кодированные данные с LDR и кодированные остаточные данные. Затем выходной процессор 215 приступает к выполнению шага 315, на котором создается выходной поток кодированные данных, включающий в себя кодированные данные с LDR и кодированные остаточные данные.

В данном примере созданный выходной поток кодированных данных представляет собой многоуровневый поток данных, причем кодированные данные с LDR содержатся на первом уровне, а кодированные остаточные данные - на втором уровне. Второй уровень, в частности, может являться опционным уровнем, который может игнорироваться декодерами или устройствами, несовместимыми с обработкой HDR. Таким образом, первый уровень может быть базовым уровнем, а второй уровень - опционным уровнем, и, в частности, второй уровень может быть уровнем улучшения или опционным уровнем модификации динамического диапазона. Такой подход может обеспечить обратную совместимость, что позволяет оборудованию, способному действовать с HDR, использовать дополнительную информацию о HDR. Кроме того, использование предсказания и кодирования остаточного изображения позволяет обеспечить высокоэффективное кодирование с низкой скоростью передачи данных при заданном качестве изображения.

В примере на фиг. 2 предсказание изображения с HDR основано на отображении. Отображение сконфигурировано для отображения входных данных в виде входных наборов пространственных позиций изображения и комбинации цветовых координат пиксельных значений с суженным динамическим диапазоном, связанных с пространственными позициями изображения, на выходные данные в виде пиксельных значений с расширенным динамическим диапазоном.

Таким образом, отображение, которое в частности, можно реализовать в виде справочной таблицы, основано на входных данных, которые определяются количеством параметров, сформированных во входных наборах. Следовательно, входные наборы можно рассматривать как многомерные наборы, которые содержат значения для нескольких параметров. Эти параметры включают в себя пространственные размеры, причем они, в частности, могут содержать позицию двумерного изображения, например, параметр (диапазон) для горизонтального размера и параметр (диапазон) для вертикального размера. В частности, указанное отображение может разделять область изображения на множество пространственных блоков с заданной протяженностью по горизонтали и вертикали.

Для каждого пространственного блока указанное отображение может содержать один или несколько параметров, созданных из цветовых координат пиксельных значений с суженным динамическим диапазоном. В качестве простого примера, каждый входной набор может включать в себя вдобавок к пространственным параметрам одно значение яркости. Таким образом, в данном случае каждый входной набор представляет собой трехмерный набор с двумя пространственными параметрами и одним параметром яркости.

Для различных возможных входных наборов рассматриваемое отображение обеспечивает выходное пиксельное значение с расширенным динамическим диапазоном. Таким образом, в данном конкретном примере отображение может представлять собой отображение трехмерных входных данных на одно пиксельное значение с расширенным динамическим диапазоном.

Таким образом, указанное отображение обеспечивает отображение, зависящее от пространственной и цветовой компоненты (в том числе, только компоненты яркости), на подходящее пиксельное значение с расширенным динамическим диапазоном.

Процессор 211 отображения сконфигурирован для создания отображения в соответствии с эталонным изображением с суженным динамическим диапазоном и соответствующим эталонным изображением с расширенным динамическим диапазоном. Таким образом, отображение не является заранее предопределенным или фиксированным отображением, а скорее представляет собой отображение, которое может создаваться/обновляться автоматически и адаптивно на основе эталонных изображений.

В частности, в качестве эталонных изображений могут выступать изображения из видеопоследовательностей. Таким образом, отображение создается динамически из изображений видеопоследовательности, что обеспечивает автоматическую адаптацию отображения к конкретным изображениям.

В конкретном примере отображение может быть основано на действительном изображении с LDR и соответствующем изображении с HDR, находящимися в процессе кодирования. В этом примере может быть создано отображение, отражающее взаимосвязь пространственных и цветовых компонент между входным изображением с LDR и входным изображением с HDR.

В конкретном примере отображение может быть создано в виде трехмерной сетки размерности NX х NY х NI бинов (входных наборов). Указанный подход на основе сетки обеспечивает большую гибкость с точки зрения степени квантования, применяемого к трем размерам. В данном примере третий (не пространственный) размер представляет собой параметр интенсивности, который просто соответствует значению яркости. В примерах, описанных ниже, предсказание изображения с HDR выполняется на уровне макроблоков и с 2⁸ бинами интенсивности (то есть, в этом случае используются 8-битовые значения). Для изображения высокой четкости это означает, что сетка имеет размеры: 120×68×256 бинов. Каждый бин соответствует входному набору для указанного отображения.

Для каждого входного пикселя с LDR на позиции (x,y) в эталонных изображениях и значениях V_LDR и V_HDR интенсивности для изображения с LDR и с HDR соответственно для рассматриваемой цветовой компоненты (например, если каждую цветовую компоненту рассматривать отдельно) сначала идентифицируют соответствующий бин для данной позиции и интенсивности. В этом примере каждый бин соответствует пространственному интервалу по горизонтали, пространственному интервалу по вертикали и интервалу по интенсивности. Соответствующий бин (то есть, входной набор) можно определить посредством интерполяции по соседним элементам:

где I_x, I_y и I_l - координаты сетки в горизонтальном направлении, вертикальном направлении и направлении интенсивности соответственно; s_x, s_y и s_l - шаги сетки (значения длины интервала) по этим размерам, а [ ] обозначает оператор определения ближайшего целого числа.

Таким образом, в этом примере процессор 211 отображения определяет соответствующий входной набор/бин, который имеет пространственные интервалы, соответствующие каждой позиции изображения для данного пикселя, и интервал значения интенсивности, который соответствует значению интенсивности для данного пикселя в эталонном изображении с суженным динамическим диапазоном на данной конкретной позиции.

Затем процессор 211 отображения приступает к определению выходного пиксельного значения с расширенным динамическим диапазоном для соответствующего входного набора/бина в соответствии с пиксельным значением с расширенным динамическим диапазоном для данной позиции в эталонном изображении с HDR.

В частности, в процессе построения указанной сетки значение D интенсивности и значение W веса обновляется для каждой новой рассматриваемой позиции:

После оценки всех пикселей изображений выполняют нормализацию значения интенсивности, используя значение веса, чтобы получить в результате выходное значение B с HDR для данного бина:

где значение B данных для каждого значения содержит выходное пиксельное значение с HDR, соответствующее данной позиции и входной интенсивности для конкретного бина/входного набора. Таким образом, позиция в сетке определяется эталонным изображением с LDR, в то время как данные, запомненные в сетке, соответствуют эталонному изображению с HDR. Таким образом, входные наборы для отображения определяют из эталонного изображения с LDR, а выходные данные отображения определяют из эталонного изображения с HDR. В данном конкретном примере запомненным выходным значением с HDR является среднее значение пикселей с HDR, входящих во входной набор/бин, но следует иметь в виду, что в других вариантах могут быть использованы другие, и, в частности, более совершенные подходы.

В данном примере отображение создается автоматически для отражения взаимосвязей, касающихся пространственных и пиксельных значений, между эталонным изображением c LDR и эталонным изображением с HDR. Это особенно полезно для предсказания изображения с HDR, исходя из изображения с LDR, когда эталонные изображения сильно коррелированны с кодированными изображениями с LDR и с HDR. Это, в частности, относится к случаю, когда эталонные изображения в действительности совпадают с кодируемыми изображениями. В этом случае создается отображение, которое автоматически адаптируется к конкретным взаимосвязям между входными изображениями с LDR и с HDR. Таким образом, хотя взаимосвязь между этими изображениями, как правило, заранее не известна, описанный подход обеспечивает автоматическую адаптацию к указанной взаимосвязи без какой-либо предварительной информации. Это позволяет обеспечить точное предсказание, что в результате приводит к меньшим отличиям от входного изображения с HDR, а значит, в остаточном изображении, которое можно кодировать более эффективным образом.

В вариантах, где кодируемые входные изображения непосредственно используют для создания упомянутого отображения, указанные изображения обычно недоступны на стороне декодера. Следовательно, сам декодер не может создать упомянутое отображение. Соответственно, в некоторых вариантах кодер может быть дополнительно скомпонован для введения в выходной кодированный поток данных, которые характеризуют по меньшей мере часть отображения. Например, в сценариях, где используются фиксированные и заранее определенные интервалы для входных наборов (то есть, фиксированные бины), кодер может включить в выходной кодированный поток все выходные значения бинов, например, в виде части опционного уровня. Хотя это может привести к увеличению скорости передачи данных, скорее всего непроизводительные издержки окажутся относительно низкими из-за субдискретизации, выполненной при создании упомянутой сетки. Таким образом, сокращение объема данных, которое достигается в результате использования точного и адаптивного подхода к предсказанию, скорее всего, перевесит увеличение скорости передачи данных в результате передачи данных об отображении.

При создании предсказанного изображения предсказатель 209 может приступить к пошаговой обработке одного пикселя изображения в каждый момент времени. Для каждого пикселя для идентификации конкретного входного набора/бина для отображения используют пространственную позицию и значение интенсивности для данного пикселя в данном изображении с LDR. Таким образом, бин для каждого пикселя выбирают на основе пространственной позиции и значения изображения с LDR для данного пикселя. Затем извлекают выходное пиксельное значение с HDR для данного входного набора/бина, которое в некоторых вариантах может быть использовано непосредственно в качестве значения изображения для пикселя. Однако, так как ожидается тенденция к обеспечению определенной компактности из-за пространственной субдискретизации отображения, во многих вариантах пиксельное значение с расширенным динамическим диапазоном будет создаваться путем интерполяции на выходных пиксельных значениях с расширенным динамическим диапазоном из множества входных бинов. Например, указанные значения также можно извлечь из соседних бинов (как в пространственных, так и в непространственном направлении), а значение пикселя может быть создано в виде интерполяции этих бинов.

В частности, предсказанное изображение с HDR можно сформировать путем квантования упомянутой сетки на дробных позициях, обусловленных пространственными координатами и изображением с LDR:

где F_int обозначает подходящий интерполяционный оператор, например, интерполяция по соседним элементам или бикубическая интерполяция.

Во многих сценариях изображения могут быть представлены множество цветовых компонент (например, RGB или YUV), и описанный процесс можно применить отдельно для каждого из цветовых каналов. В частности, выходные пиксельные значения с расширенным динамическим диапазоном могут содержать одно значение для каждой из цветовых компонент. Примеры создания отображения представлены на фиг. 4 и 5. В этих примерах отображающее соотношение LDR-HDR установлено с использованием обучающих изображений с LDR и с HDR, а позиция в таблице отображения определяется в изображении пиксельными позициями по горизонтали (x) и вертикали (y), а также комбинацией пиксельных значений с LDR, таких как яркость (Y) в примере на фиг. 4 и энтропия (E) в примере на фиг. 5. Как было описано ранее, в таблице отображения в заданном месте хранятся связанные обучающие данные с HDR. Эти комбинации (как правило, таблицы LUT) для предсказания по желанию могут быть усложнены, например, пиксельное значение V_HDR можно предсказать, используя не только субдискретизированную комбинацию (x, y, I_LDR) (независимо от того, является ли I яркостью, либо R, G, B и т.д.), но для отображения с целью получения оценки V_HDR могут быть использованы (x, y, I_LDR, дополнительные реквизиты), где дополнительные реквизиты могут содержать дополнительные характеристики информации об изображении (одно или несколько дополнительных чисел, как правило, это размеры таблицы LUT, которые для простоты вычислений также могут быть представлены, например, в виде индексов для различных таблиц LUT, и так далее), которые можно получить на одном или нескольких изображениях с LDR, например, локальная характеристика объекта или отдельных зон, описывающая такие параметры, как оценка текстуры, оценка глубины и т.д.

Таким образом, кодер 115 создает кодированный сигнал, содержащий кодированное изображение с суженным динамическим диапазоном. Это изображение, в частности, может быть включено в обязательный или базовый уровень кодированного потока. Вдобавок, вводятся данные, которые позволяют обеспечить эффективное создание изображения с HDR в декодере на основе кодированного изображения с LDR.

В некоторых вариантах указанные данные могут включать в себя или представлять собой данные об отображении, которые могут использоваться декодером. Однако в других вариантах указанные данные об отображении для некоторых или всех изображений не вводятся. Вместо этого, декодер сам может создать данные отображения исходя из предыдущих изображений.

Созданный кодированный сигнал может дополнительно содержать остаточные данные изображения для изображения с суженным динамическим диапазоном, где остаточные данные изображения указывают различие между требуемым изображением с расширенным динамическим диапазоном, соответствующим изображению с суженным динамическим диапазоном, и предсказанным изображением с расширенным динамическим диапазоном, полученным в результате применения указанного отображения к кодированному изображению с суженным динамическим диапазоном. Требуемым изображением с расширенным динамическим диапазоном является, в частности, входное изображение с HDR, и, следовательно, остаточные данные изображения представляют данные, которые могут модифицировать изображение с HDR, созданное декодером, чтобы оно больше соответствовало требуемому изображению с HDR, то есть соответствующему входному изображению с HDR.

Дополнительные остаточные данные изображения во многих вариантах преимущественно включены в опциональный уровень (например, уровень улучшения), который может быть использован подходящим образом оборудованными декодерами, и проигнорирован существующими декодерами, которые не обладают необходимыми функциональными возможностями.

Такой подход может, например, обеспечить интеграцию вышеописанного предсказания на основе указанного отображения в новые форматы видео с HDR, обладающие свойством обратной совместимости. Например, оба уровня могут кодироваться с использованием стандартных операций преобразования данных (например, вейвлетное преобразование, дискретное косинусное преобразование (DCT)), после которых следует квантование. Эффективность кодирования можно повысить, если использовать межкадровые предсказания с внутрикадровыми предсказаниями и компенсацией движения. В указанном подходе межуровневое предсказание «от LDR к HDR» дополняет другие предсказания и дополнительно повышает эффективность кодирования для уровня улучшения.

Упомянутый сигнал, в частности может представлять собой битовый поток, который может распределяться или передаваться, например, через сеть, показанную в примере на фиг. 1. В некоторых сценариях указанный сигнал может запоминаться на подходящем носителе, таком как магнитооптический диск. Например, этот сигнал может быть запомнен на диске типа DVD или типа Bluray^TM.

В предыдущем примере информация об отображении была включена в выходной битовый поток, что позволяет декодеру воспроизводить предсказание на основе принятого изображения. В этом и других случаях возможно, что особое преимущество даст использование субдискретизации отображения.

В действительности, пространственная субдискретизация преимущественно может быть использована без запоминания отдельного выходного значения для каждого отдельного пикселя, но с запоминанием значения для групп пикселей и в конкретных областях пикселей. В данном конкретном примере отдельное выходное значение запоминается для каждого макроблока.

В качестве альтернативы или как дополнение, может быть использована субдискретизация входных размеров, не относящихся к пространственным размерам. В данном конкретном примере каждый входной набор может покрывать множество возможных значений интенсивности в изображениях с LDR, что позволит уменьшить количество возможных бинов. Указанная субдискретизация может соответствовать применению более грубого квантования перед созданием упомянутого отображения.

Указанная пространственная субдискретизация или субдискретизация значения может существенно уменьшить скорость передачи данных, необходимую для передачи упомянутого отображения. Однако, вдобавок к этому или в качестве альтернативы, можно существенно уменьшить требования к ресурсам для кодера (и соответствующего декодера). Например, можно существенно уменьшить ресурс памяти, необходимый для запоминания отображений. Также можно во многих вариантах уменьшить ресурс обработки, необходимый для создания отображения.

В данном примере создание отображения было основано на текущих изображениях, то есть на кодируемом изображении с LDR и соответствующем изображении с HDR. Однако в других вариантах отображение можно создать, используя предшествующее изображение из видеопоследовательности с суженным динамическим диапазоном в качестве эталонного изображения с суженным динамическим диапазоном и предшествующее изображение с расширенным динамическим диапазоном, созданное для предшествующей видеопоследовательности с суженным динамическим диапазоном, в качестве эталонного изображения с расширенным динамическим диапазоном (либо в некоторых случаях соответствующее предшествующее входное изображение с HDR). Таким образом, в некоторых вариантах отображение, используемое для текущего изображения, может быть основано на предшествующих соответствующих изображениях с LDR и с HDR.

Видеопоследовательность в качестве примера может содержать последовательность изображений одной и той же сцены, и тогда соответствующие различия между последовательными изображениями скорее всего будут невелики. Следовательно, отображение, подходящее для одного изображения с высокой вероятностью также подойдет для последующего изображения. Таким образом, отображение, созданное с использованием предшествующих изображений с LDR и HDR, в качестве эталонных изображений, с большой вероятностью также применимо к текущему изображению. Преимуществом использования отображения для текущего изображения на основе предшествующего изображения является то, что данное отображение может независимо создаваться декодером, поскольку в этом случае также имеются доступные предшествующие изображения (посредством их декодирования). Соответственно, нет необходимости вводить информацию о данном отображении и, следовательно, скорость передачи данных кодированного выходного потока может быть дополнительно снижена.

На фиг. 6 показан конкретный пример кодера, использующего указанный подход. В этом примере отображение (которое здесь представлено справочной таблицей, LUT) построено на основе предшествующего (с задержкой τ) восстановленного кадра с LDR и предшествующего восстановленного (с задержкой τ) кадра с HDR как на стороне кодера, так и на стороне декодера. В этом сценарии нет необходимости передавать значения отображения от кодера на декодер. Декодер просто копирует процесс предсказания с HDR, используя данные, которые уже ему доступны. Хотя качество предсказания, выполняемого перемежителем, может слегка ухудшиться, как правило, такое ухудшение будет незначительным из-за высокой временной корреляции между последовательными кадрами видеопоследовательности. В данном примере для изображений с LDR используется цветовая схема yuv420, а для изображений с HDR используется цветовая схема yuv444/422 (и следовательно, создание и применение таблицы LUT (отображения) выполняются после цветовой ап-конверсии).

Предпочтительно поддерживать как можно меньшее значение задержки τ, чтобы увеличить вероятность того, что изображения останутся сходными, насколько это возможно. Однако во многих вариантах минимальное значение может зависеть от конкретной структуры кодирования, используемой так, как требуется декодеру, чтобы он смог создавать отображения из уже декодированных изображений. Следовательно, оптимальная задержка может зависеть от типа используемой группы изображений (GOP), и, в частности, от используемого временного предсказания (компенсации движения). Например, для группы IPPPP GOP задержка τ может представлять собой задержку по меньшей мере на одно изображение, в то время как для IBPBP GOP она составит по меньшей мере два изображения.

В данном примере каждая позиция LDR, введена только в один входной набор/бин упомянутой сетки. Однако в других вариантах процессор отображения может идентифицировать множество совпадающих входных наборов по меньшей мере для одной позиции по меньшей мере из одной группы позиций изображения, используемых для создания отображения. Затем в соответствии с пиксельным значением с расширенным динамическим диапазоном для позиции в эталонном изображении с расширенным динамическим диапазоном может быть определено выходное пиксельное значение с расширенным динамическим диапазоном для всех совпадающих входных наборов.

В частности, при использовании интерполяции по соседним элементам для построения сетки отдельные данные также могут быть распространены по соседним бинам, а не просто в бине с наилучшим совпадением. В этом случае каждый пиксель присутствует не в одном бине, а присутствует, например, во всех соседних бинах (8 в случае сетки 3D). Этот вклад, например, может быть обратно пропорционален трехмерному расстоянию между данным пикселем и центрами соседних бинов. Заметим, что некоторые из блоков памяти, функционирующих с временным сдвигом, могут быть многократно использованы для запоминания других предсказаний, которые могут относиться к любому типу предсказания кадра, который понадобиться использовать согласно той или иной стратегии предсказания. Особенно для части, выполняющей кодирование с HDR, указанная стратегия делает упомянутую память весьма универсальным блоком.

На фиг. 7 показан пример декодера 115, комплементарного по отношению к кодеру по фиг. 2, а на фиг. 8 показан пример способа его функционирования.

Декодер 115 содержит приемную схему 701, выполняющую шаг 801, на котором она принимает кодированные данные от приемника 113. В данном конкретном примере, где кодированные данные с LDR и остаточные данные кодируют на разных уровнях, приемная схема скомпонована для извлечения и демультиплексирования кодированных данных с LDR и данных опционного уровня в виде остаточных данных изображения. В тех вариантах, где в полученный битовый поток включена информация об отображении, приемная схема 701 кроме того может извлекать эти данные.

Приемная схема 701 соединена с декодером 703 с LDR, который принимает кодированные данные с LDR. Затем он приступает к выполнению шага 803, где выполняется декодирование изображения с LDR. Декодер 703 с LDR является комплементарным по отношению к кодеру 205 с LDR кодера 109, причем, в частности, им может быть стандартный декодер H-264/AVC.

Декодер 703 с LDR соединен с предсказателем 705 декодирования, который принимает декодированное изображение с LDR. Предсказатель 705 декодирования кроме того подсоединен к процессору 707 отображения декодирования, который скомпонован для выполнения шага 805, на котором создается отображение для предсказателя 705 декодирования.

Процессор 707 отображения декодирования создает отображение, соответствующее отображению, используемому кодером при создании остаточных данных изображения. В некоторых вариантах процессор 707 отображения декодирования может просто создавать отображение в соответствии с отображением данных, полученных в потоке кодированных данных. Например, значение выходных данных для каждого бина упомянутой сетки может быть представлено в полученном потоке кодированных данных.

Затем предсказатель 705 декодирования приступает к выполнению шага 807, на котором из декодированного изображения с LDR с использованием отображения, созданного процессором 707 отображения декодирования, создается предсказанное изображение с HDR. Данное предсказание может выполняться согласно тому же подходу, какой был использован в кодере.

Для краткости и ясности изложения в данном примере принято упрощение, состоящее в том, что, функционирование кодера основано только на предсказании «от LDR к HDR», и где таким образом создается полное изображение-предсказание «от LDR к HDR» (а значит полное остаточное изображение). Однако следует иметь в виду, что в других вариантах может быть использован подход с другими концепциями предсказания, такими как временное или пространственное предсказания. В частности, следует иметь в виду, что вместо применения описанного подхода ко всему изображению, можно применить его только к отдельным областям или блокам изображения, где предсказание «от LDR к HDR» было выбрано кодером.

На фиг. 9 показан конкретный пример того, как может быть выполнена операция предсказания.

На шаге 901 выбирается первая пиксельная позиция в изображении с HDR. Затем на шаге 903 для этой пиксельной позиции определяют входной набор для отображения, то есть определяют подходящий входной бин в упомянутой сетке. Это можно, например, определить посредством идентификации сетки, покрывающей пространственный интервал, на который пришлась упомянутая позиция, и интервал интенсивности, на который пришлось декодированное пиксельное значение декодированного изображения с LDR. Затем после шага 903 следует шаг 905, на котором из упомянутого отображения получают выходное значение для данного входного набора. Например, можно обратиться к таблице LUT, используя данные определенного входного набора, после чего извлекаются результирующие выходные данные, запомненные согласно данной адресации.

Затем после шага 905 выполняется шаг 907, на котором, исходя из извлеченных выходных данных, определяют пиксельное значение для данного пикселя. В качестве простого примера, пиксельное значение может быть установлено равным извлеченному значению. В более сложных примерах пиксельное значение может быть создано путем интерполяции множества выходных значений для разных входных наборов (например, с учетом всех соседних бинов, а также совпадающего бина).

Этот процесс может повторяться для всех позиций в изображении с HDR и для всех цветовых компонент, в результате чего создается предсказанное изображение с HDR.

Затем декодер 115 приступает к созданию выходного изображения с HDR на основе предсказанного изображения с HDR.

В данном конкретном варианте выходное изображение с HDR создают с учетом полученных остаточных данных изображения. Таким образом, приемная схема 701 подсоединена к декодеру 709 остатка, который принимает остаточные данные изображения и приступает к выполнению шага 809, на котором осуществляется декодирование остаточных данных изображения для создания декодированного остаточного изображения.

Декодер 709 остатка подсоединен к объединителю 711, который кроме того соединен с предсказателем 705 декодирования. Объединитель 711 принимает предсказанное изображение с HDR и декодированное остаточное изображение с HDR и приступает к выполнению шага 811, на котором он объединяет два изображения для создания выходного изображения с HDR. В частности, объединитель может добавить пиксельные значения для двух изображений на попиксельной основе для создания выходного изображения с HDR.

Объединитель 711 подсоединен к выходной схеме 713, которая выполняет шаг 830 создания выходного сигнала. Выходным сигналом может быть, например, сигнал возбуждения дисплея, который может возбуждать подходящий дисплей, такой как телевизионный приемник, для представления изображения с HDR.

В данном конкретном примере отображение было определено на основе данных, включенных в поток кодированных данных. Однако в других вариантах отображение может быть создано в соответствии с предшествующими изображениями, которые были получены декодером, например, предшествующее изображение видеопоследовательности. Для указанного предшествующего изображения декодер будет иметь изображение с LDR, полученное в результате декодирования с LDR, и это предыдущее изображение можно использовать в качестве эталонного изображения с LDR. Вдобавок, было создано изображение с HDR посредством предсказания, за которым следует дополнительная коррекция предсказанного изображения с использованием остаточных данных изображения. Таким образом, созданное изображение с HDR практически полностью соответствует входному изображению с HDR кодера и может быть соответствующим образом использовано в качестве эталонного изображения с HDR. На основе этих двух эталонных изображений для создания отображения с помощью декодера можно использовать точно такой же подход, который используется кодером. Соответственно, это отображение будет соответствовать отображению, используемому кодером, что приведет к одинаковому предсказанию (а значит, к тому, что остаточные данные изображения будут точно отражать различие между изображением, предсказанным декодером, и входным изображением HDR в кодере).

Таким образом, данный подход обеспечивает обратно совместимое кодирование с HDR, начиная со стандартного кодирования с LDR, в котором, например, может использоваться «не оптимальный» поддиапазонный выбор всех яркостей, доступных в данной сцене для оптимальной контрастности, посредством тонального отображения с LDR (например, круто нарастающая S-образная кривая с черно-белым клиппированием). Затем согласно данному подходу вводятся дополнительные данные, позволяющие восстановить оптимально закодированное сообщение с HDR (с потенциально иным тональным отображением для более качественного визуального эффекта: например, темно-серые тона могут быть продвинуты глубже, чем при кодировании с LDR).

Это может, например, привести к следующим различиям между HDR и LDR:

более высокая точность для одних и тех же значений (например, L=27,5 вместо 27), которые могли бы также быть повторно закодированы с использованием масштабирования и смещения (например, 55=2×27,5+0);

кодирование белых и черных субизображений, которые были потеряны при клиппировании;

смещение по меньшей мере некоторых серых тонов в изображении (например, потемнение 18% серого), чтобы обеспечить более совершенное визуальное представление на типовом дисплее с более высокой пиковой яркостью.

В данном подходе используется предсказание сигнала с HDR исходя из имеющихся данных с LDR, так что объем необходимой остаточной информации сокращается.

В данном подходе используется улучшенное описание отображения разных значений LDR на значения HDR с автоматическим учетом того, что происходит со всеми фоновыми цветами объекта (например, часть текстового символа в блоке, перекрывающем несколько объектов и т.д.).

В описанном примере игнорируется действительный пространственный профиль точности для каждого пикселя, но использование подхода «с локальным усреднением» или «адаптацией всех цветов», как правило, обеспечит в результате более совершенное предсказание (например, для краев с любой стороны путем использования входного значения с LDR в качестве приблизительного индекса для обращения к соответствующему бину, после чего получают необходимое аппроксимированное значение HDR). Это приводит к тому, что возможно будет обеспечено хорошее среднее стартовое значение для любого указанного объекта, что потребует иметь меньший остаток.

В частности, отображающая сетка формируется, например, субдискретизируется, в пространстве (поскольку используются только локальные средние значения, и нет точного геометрического микропрофиля HDR), причем со значением с HDR для каждого возможного значения с LDR (или комбинации цветовых координат). В некоторых вариантах субдискретизация значений также может выполняться, например, с помощью значения HDR на шаге 4 кодировок яркости LDR.

Описанный подход может обеспечить особо эффективную адаптацию отображения к конкретным локальным характеристикам и может обеспечить во многих сценариях особо точное предсказание. Это можно проиллюстрировать примером на фиг. 10, где показана зависимость между яркостью для изображения Y_LDR с LDR и яркостью для соответствующего изображения Y_HDR с HDR. На фиг. 10 показана зависимость для конкретного макроблока, который в данном случае включает в себя элементы трех разных объектов. Как последовательность, соотношения яркостей пикселей (показаны точками) находятся в трех разных кластерах 1001, 1003, 1005.

Алгоритмы, известные в данной области техники, выполняют линейную регрессию на основе упомянутой зависимости, создавая тем самым линейную зависимость между значениями яркости LDR и значениями яркости HDR, например, зависимость, показанная линией 1007. Однако указанный подход не будет обеспечивать относительно удовлетворительное отображение/предсказание по меньшей мере для некоторых значений, таких как значения, принадлежащие изображаемому объекту кластера 1003.

В противоположность этому, вышеописанный подход позволяет создать гораздо более точное отображение, например, отображение, показанное линией 1009. Это отображение гораздо точнее отражает указанные характеристики и подходит для всех кластеров, в результате чего будет обеспечено улучшенное отображение. В действительности, указанное отображение может не только обеспечить точные результаты для яркостей, соответствующих упомянутым кластерам, но также поможет точно предсказать зависимости для яркостей, например, для интервала, показанного под ссылочной позицией 1011. Указанные отображения можно получить посредством интерполяции.

Кроме того, информация об указанном точном отображении может быть определена автоматически путем простой обработки на основе эталонных изображений (а в данном конкретном случае на основе двух эталонных макроблоков). Вдобавок, точное отображение может быть определено независимым образом кодером и декодером на основе предшествующих изображений, в связи с чем нет необходимости включения информации об отображении в поток данных. Следовательно, можно будет минимизировать непроизводительные издержки, связанные с отображением.

В предыдущем примере упомянутый подход был использован как часть функционирования декодера применительно к изображению с HDR. Однако очевидно, что эти принципы можно использовать во множестве других приложений и сценариев. Например, данный подход может быть использован просто для создания изображения с HDR из изображения с LDR. Например, можно выбрать локальным образом подходящие локальные эталонные изображения и использовать их для создания подходящего отображения. Затем это отображение можно применить к изображению с LDR для создания изображения с HDR (например, с использованием интерполяции). Затем результирующее изображение с HDR может быть воспроизведено на дисплее с HDR.

Также следует понимать, что декодер в некоторых вариантах может не учитывать остаточные данные (и это значит, что кодеру нет необходимости создавать остаточные данные). В действительности, во многих вариантах изображение с HDR, созданное с применением отображения к декодированному изображению с LDR, можно непосредственно использовать в качестве выходного изображения с HDR без необходимости какой-либо дополнительной модификации или улучшения.

Вышеописанный подход может быть использован во множестве различных приложений и сценариев и, например, может быть использован для динамического создания видеосигналов с HDR в режиме реального времени из видеосигналов с LDR. Декодер 115, например, может быть реализован в телевизионной приставке или другом устройстве, имеющем входной разъем для приема видеосигнала и выходной разъем для вывода видеосигнала с HDR, который может воспроизводиться на подходящем дисплее с расширенным динамическим диапазоном.

В качестве конкретного примера, описанный здесь видеосигнал может быть записан на диске Bluray^TM, который считывается плеером Bluray^TM. Плеер Bluray^TM может быть подсоединен к указанной телевизионной приставке через кабель HDMI (мультимедийный интерфейс высокой четкости), и тогда телевизионная приставка может создавать изображение с HDR. Телевизионная приставка может быть подсоединена к дисплею (например, к телевизору) через другой соединитель HDMI.

В некоторых сценариях декодер или функциональные возможности для создания изображения с HDR могут быть встроены в источник сигнала, такого как плеер Bluray^TM или другой медиаплеер, как его составная часть. В качестве другой альтернативы, указанные функциональные возможности могут быть реализованы как составная часть дисплея, такого как компьютерный монитор или телевизор. Таким образом, дисплей может принимать поток с LDR, который можно модифицировать для обеспечения изображений с LDR. Следовательно, можно обеспечить источник сигнала, такой как медиаплеер, или дисплей, такой как компьютерный монитор или телевизор, который предоставляет значительно улучшенное восприятие со стороны пользователя.

Описанный подход можно применить к каждому отдельному цветовому каналу для изображения. Например, для изображения в формате RGB данный подход можно индивидуально применить к каждому из каналов R, G и B. Однако в некоторых вариантах комбинированное значение, используемое для отображения входа, может представлять собой значение яркости, в то время как выходные данные могут представлять собой значение отдельной цветовой компоненты. Например, значение RGB для данного пикселя может быть скомбинировано в единое значение яркости, в то время как отдельные выходные пиксельные значения с HDR запоминаются в упомянутой сетке для каждого отдельного цветового канала.

В действительности, при практическом использовании изображения с LDR часто создаются из изображений с HDR с помощью не известного тонального отображения и операций цветовой градуировки. Авторы изобретения установили, что взаимозависимость между отдельными цветовыми компонентами для изображений с LDR и с HDR часто можно с большим успехом предсказать исходя из информации о яркости для LDR, чем исходя из цветовых данных для LDR. Следовательно, во многих вариантах выгодно использовать яркость сигнала с LDR для координат интенсивности даже при формировании сетки для цветовых компонент, таких как U и V. Другими словами, V_LDR в предыдущем уравнении можно установить равным значению Y_LDR яркости для всех цветовых компонент. Таким образом, можно будет использовать одну и ту же сетку для всех цветовых каналов, где каждый бин хранит выходное значение HDR для каждого цветового канала.

В описанных здесь конкретных примерах входные данные для отображения просто имели два пространственных размера и один размер для пиксельного значения, представляющий значение интенсивности, которое может, например, соответствовать значению яркости для пикселя или значению интенсивности цветового канала.

Однако в более общем случае входные данные отображения могут содержать комбинацию цветовых координат для пикселей изображения с LDR. Каждая цветовая координата может просто соответствовать одному значению пикселя, такому как одно из значений R, G или B сигнала RGB, или одному из значений Y, U, V сигнала YUV. В некоторых вариантах эта комбинация просто может соответствовать выбору одного из значений цветовых координат, то есть может соответствовать комбинации, в которой все цветовые координаты помимо значения выбранной цветовой координаты взвешиваются с использованием нулевых значений весов.

В других вариантах упомянутая комбинация может представлять собой множество цветовых координат для одного пикселя. В частности, цветовые координаты сигнала RGB могут просто комбинироваться для создания значения яркости. В других вариантах могут быть использованы более гибкие подходы, как например, взвешенное значение яркости, где учитываются все цветовые каналы, но взвешивается с весом, превышающим вес других цветовых каналов, тот цветовой канал, для которого разработана упомянутая сетка.

В некоторых вариантах указанная комбинация может учитывать пиксельные значения для множества пиксельных позиций. Например, одно значение яркости может быть создано таким образом, что будет учитываться не только яркость пикселя для обрабатываемой позиции, но которое также учитывает яркость для других пикселей.

В действительности, в некоторых вариантах могут быть созданы значения комбинации, которые не только отражают характеристики конкретного пикселя, но также характеристики окрестности данного пикселя и, в частности, каким образом указанные характеристики изменяются в окрестности данного пикселя.

В качестве примера в указанную комбинацию может быть введена компонента градиента яркости или цветовой интенсивности. Например, значение комбинации можно создать с учетом разности между яркостью с текущим пиксельным значением и яркостями каждого из окружающих пикселей. Кроме того, можно определить различие яркостей для пикселей, окружающих указанные окружающие пиксели (то есть, на следующем концентрическом уровне). Затем эти разности могут быть просуммированы с использованием взвешенного суммирования, где вес зависит от расстояния до текущего пикселя. Кроме того вес может зависеть от пространственного направления, например, можно применить противоположные знаки для разностей в противоположных направлениях. Указанное значение на основе комбинированной разности можно рассматривать как индикатор возможного градиента яркости в окрестности конкретного пикселя.

Таким образом, применение указанного отображения, улучшенного в отношении учета пространственных характеристик, может обеспечить изображение с HDR, создаваемое из изображения с LDR, с учетом пространственных вариаций, что позволяет более точно отражать указанные пространственные вариации.

В качестве другого примера, может быть создано значение комбинации, отражающее текстурную характеристику области изображения, где находится текущая позиция пикселя. Указанное значение комбинации можно создать, например, путем определения дисперсии пиксельного значения в области ближайшего окружения. В другом примере могут быть обнаружены повторяющиеся конфигурации, которые учитывают при определении значения комбинации.

В действительности, во многих вариантах может оказаться выгодным, чтобы значение комбинации отражало индикатор вариаций значений пикселей в окрестности текущего значения пикселя. Например, дисперсия может быть непосредственно определена и использована в качестве входного значения.

В еще одном примере упомянутая комбинация может представлять собой параметр, такой как значение локальной энтропии. Эта энтропия является статистической мерой случайности, которую, например, можно использовать для описания текстуры входного изображения. Значение H энтропии можно вычислить, например, как:

где p() обозначает функцию плотности вероятности для пиксельных значений I_j в изображении I. Эту функцию можно оценить, построив локальную гистограмму в рассматриваемой окрестности (в приведенном выше уравнении n соседних пикселей). Основанием логарифма b, как правило, является 2.

Следует иметь в виду, что в вариантах, где значение комбинации создают исходя из множества отдельных пиксельных значений, количество возможных значений комбинации, которые используются в упомянутой сетке для каждого пространственного входного набора, возможно будет превышать общее количество уровней квантования пиксельного значения для отдельного пикселя. Например, количество бинов для конкретной пространственной позиции может превышать количество возможных дискретных значений яркости, которое может быть достигнуто в одном пикселе. Однако точное квантование значения отдельной комбинации, а значит, размера сетки лучше всего оптимизировать для конкретного приложения.

Следует иметь в виду, что создание изображения с HDR из изображения с LDR может выполняться в соответствии с различными иными особенностями, параметрами и характеристиками.

Например, создание изображения с HDR может осуществляться в соответствии с информацией о глубине, связанной с изображением с LDR. Указанный подход, в принципе можно использовать без вышеописанного отображения, и возможно, что изображение с HDR можно будет создать, например, на основе только изображения с LDR и информации о глубине. Однако особые преимущества с точки зрения рабочих характеристик можно достичь при использовании отображения «LDR-HDR» вместе с предсказанием на основе информации о глубине. Таким образом, в некоторых вариантах кодер также может включать в себя декодер глубины, который, например, кодирует карту глубин для изображения с LDR и вводит кодированные данные о глубине в поток данных, которые передаются на декодер. Затем декодер декодирует карту глубин и создает изображение с HDR в соответствии с декодированной картой глубин. На фиг. 11 показано, как можно усовершенствовать декодер по фиг. 7 путем включения декодера 1101 глубины, в который подают кодированные данные о глубине от приемной схемы 701, и который затем приступает к декодированию данных для создания карты глубин для изображения с LDR. Затем карта глубин подается в предсказатель 705 декодирования, где она используется для создания предсказания для изображения с HDR (или в некоторых примерах она может быть использована для создания изображения с HDR, которое непосредственно используют в качестве выходного изображения с HDR). Заметим, что наши варианты для предсказания «от LDR к HDR» поддерживается любой 3D информацией (например, кодированная карта глубин, независимо от того, закодирована ли она совместно с помощью одного или нескольких видов, или карта глубин, полученная из нескольких видов), но с одинаковыми функциями также в том случае, когда примерная карта глубин оценивается по одному виду (например, с помощью алгоритма, комбинирующего глубину исходя из геометрических характеристик, затенения и т.д.). Следовательно, блочный декодер глубины в общем случае следует рассматривать как блок создания индикаторов глубины.

Например, в сценах, которые освещены яркими сфокусированными лучами света, объекты на переднем плане часто могут выглядеть ярче, чем объекты на втором плане. Следовательно, зная глубину данного объекта, ее можно использовать для определения того, каким образом использовать расширенный динамический диапазон. Например, объекты на переднем плане можно сделать ярче, используя дополнительный динамический диапазон изображения с HDR, в то время как яркость объектов на втором плане не обязательно эквивалентно увеличивать, так как это может потенциально увеличить при восприятии значимость объектов на втором плане сверх того, как это было задумано или реализовано посредством специального освещения данной сцены. Глубину можно также использовать в конечном преобразовании для визуализации, чтобы оптимизировать использование диапазона яркости дисплея и распределение его по различным элементам сцены, в частности, с разными значениями глубины. Поскольку имеется взаимосвязь между восприятием яркости и глубины (и даже такими свойствами, как внимательность), это можно использовать для оптимального распределения окончательных значений V_HDR для визуализации.

Таким образом, отображение для создания выходных пикселей с HDR может не только зависеть от цветовых комбинаций и позиции изображения, но также может зависеть от информации о глубине на этой позиции. Эта информация может быть включена в отображение различным путями. Например, могут быть созданы разные отображающие сетки для цветовых комбинаций и для значений глубины, и, следовательно, для каждой позиции может выполняться поиск в двух справочных таблицах. Затем для данной позиции могут быть созданы два результирующих значения предсказания с HDR путем комбинирования двух значений HDR, например, посредством простого усреднения. В другом примере может быть использована одна справочная таблица, имеющая входные наборы, содержащие комбинации цветовых координат и пространственных позиций, и вывод в виде значения (например, такая же справочная таблица, как в примере на фиг. 7). Затем можно учесть глубину посредством адаптации входных данных в зависимости от глубины перед использованием справочной таблицы и/или посредством адаптации выходного значения HDR в зависимости от глубины. Функции, применяемые к входным и/или выходным данным, могут быть определены заранее либо, например, определены на основе предыдущих изображений. Примечательно, что разные значения HDR для разных видов могут придать больше реализма, например, особенностям двунаправленного отражения заснятых элементов сцены, но даже желаемое впечатление при использовании кодирования с HDR может быть многообразным и, например, зависеть от того, каким образом завышена глубина во время визуализации изображений (например, кому-то может захотеться, чтобы объекты, выступающие далеко вперед в направлении наблюдателя, не были яркими). Данные стратегии благодаря повторению могут дать несколько вариантов HDR по меньшей мере для некоторых видов, откуда можно получить более подходящие конечные сигналы визуализации для указанных видов с учетом пользовательских настроек.

В некоторых вариантах отображение может быть реализовано в виде сетки, которая также включает в себя информацию о глубине. Например, каждый бин может быть задан интервалом для каждого пространственного размера изображения, интервалом для каждой цветовой координаты и интервалом для значения глубины. Такая таблица может быть заполнена так, как было описано ранее, за исключением того, что для каждой пиксельной позиции бин кроме того выбирается таким образом, чтобы указатель глубины для пиксельной позиции находился в интервале глубины данного бина. Указанное заполнение, конечно, может быть основано на предшествующем изображении и карте глубин и может, соответственно, быть выполнено независимо, но согласовано как на стороне кодера, так и на стороне декодера.

Другие параметры, которые могут быть рассмотрены при отображении, могут включать в себя различные характеристики изображения, например, характеристики изображаемых объектов. Например, известно, что оттенки кожи очень чувствительны к манипуляциям, направленным на поддержание ее естественного вида. Следовательно, отображение может, в частности, учитывать, соответствует ли комбинация цветовых координат оттенкам кожи, и может выполнить более точное отображение для указанных оттенков.

В другом примере, кодер и/или декодер могут обладать функциональными возможностями для извлечения и возможной идентификации изображаемых объектов и могут настраивать отображение в соответствии с характеристиками указанных объектов. Например, известны различные алгоритмы для обнаружения лиц в изображении, и такие алгоритмы можно использовать для адаптации отображения в тех областях, которые, как считается, соответствуют человеческому лицу.

Таким образом, в некоторых вариантах кодер и/или декодер могут содержать средство для обнаружения изображаемых объектов и средство для адаптации отображения в соответствии с характеристиками изображаемых объектов. В частности, кодер и/или декодер могут содержать средство, осуществляющее обнаружение человеческих лиц, и средство для адаптации отображения в соответствии с обнаруженным лицом.

Следует иметь в виду, что указанное отображение можно адаптировать множеством различных способов. Как не очень сложный пример, можно просто использовать разные сетки или справочные таблицы для разных областей. Таким образом, кодер/декодер может быть скомпонован для выбора отображения из различных отображений в соответствии с обнаружением лица и/или с характеристиками изображения для изображаемого объекта.

Как специальный пример, кодер и/или декодер могут в эталонных изображениях идентифицировать области, которые, как считается, соответствуют человеческим лицам. Для этих областей может быть создана одна справочная таблица, а для других областей может использоваться другая справочная таблица. Создание двух справочных таблиц позволяет использовать разные подходы, и/или отображение может быть разным в этих двух примерах. Например, может быть создано отображение, отличающееся повышенной насыщенностью для общих областей, но не для областей, соответствующих человеческим лицам. В другом примере, для областей с человеческими лицами можно использовать более мелкую зернистость, чем для областей, которые не соответствуют человеческим лицам.

Можно рассмотреть другие средства адаптации отображения. Например, в некоторых вариантах наборы входных данных могут обрабатываться до выполнения упомянутого отображения. Например, для цветовых значений перед использованием справочной таблицы можно применить параболическую функцию. Такая предварительная обработка может быть применена ко всем входным значениям, либо может быть применена, например, избирательным образом. Например, входные значения могут предварительно обрабатываться только для некоторых областей или изображаемых объектов, либо только для некоторых интервалов значений. Например, указанная предварительная обработка может применяться только к цветовым значениям, находящимся в интервале оттенков кожи и/или в областях, которые, скорее всего, соответствуют человеческому лицу.

В качестве альтернативы или вдобавок к вышеизложенному, может применяться постобработка выходных пиксельных значений HDR. Указанная постобработка может применяться ко всем пиксельным значениям или применяться избирательно. Например, она может применяться только к выходным значениям, которые соответствуют оттенкам кожи, либо применяться только к областям, которые, как считается, соответствуют человеческим лицам. В некоторых системах постобработка может быть сконфигурирована для частичной или полной компенсации предварительной обработки. Например, при предварительной обработке может применяться операция преобразования с постобработкой, где применяется обратное преобразование.

В качестве специального примера, предварительная обработка и/или постобработка могут содержать фильтрацию (одного или нескольких) входных/выходных значений. Во многих вариантах это может обеспечить улучшенные рабочие характеристики, и в частности, отображение часто может привести к улучшенному предсказанию. Например, результатом фильтрации может быть уменьшение полосчатости изображения.

Как пример предварительной обработки, в некоторых случаях желательно применить цветовое преобразование к подходящему цветовому пространству. Многие стандартные цветовые пространства для видео (например, YCbCr) весьма слабо связаны с человеческим восприятием. Следовательно, выгодно преобразовать видеоданные в равномерно воспринимаемое цветовое пространство (цветовые пространства, в которых определенный размер шага соответствует фиксированному перцептуальному отличию). Примеры указанных цветовых пространств включают в себя Yu'v', CIELab или CIELuv. Выгода от указанного шага предварительной обработки состоит в том, что ошибки, возникающие в результате неточных предсказаний, будут восприниматься более равномерно.

В некоторых вариантах отображение может быть подвергнуто неравномерной субдискретизации. Отображение может, в частности, представлять собой по меньшей мере одно из: пространственно неравномерное субдискретизированное отображение; неравномерное по времени субдискретизированное отображение; и/или субдискретизированное отображение с неравномерными значениями упомянутой комбинации.

Неравномерная субдискретизация может представлять собой статическую неравномерную субдискретизацию, или неравномерная субдискретизация может быть адаптирована в соответствии с характеристиками комбинаций цветовых координат или характеристиками изображения.

Например, субдискретизация цветовых значений может зависеть от значений цветовых координат. Она может быть, например, статической, так что бины для цветовых значений, соответствующих оттенкам кожи, могут покрывать гораздо меньшие интервалы значений цветовых координат, чем для цветовых значений, которые покрывают другие цвета.

В другом примере может применяться динамическая пространственная субдискретизация, при которой используется гораздо более тонкая субдискретизация областей, которые, как считается, соответствуют человеческим лицам, чем для областей, которые, как считается, к ним не относятся. Следует иметь в виде, что можно использовать множество других подходов, связанных с неравномерной субдискретизацией.

В еще одном примере, когда изображения сдержат плавные градиенты в ограниченном диапазоне яркости, возможно выгодным окажется использование более мелкого шага квантования для этого диапазона, чтобы предотвратить визуальное появление артефактов квантования в указанном градиенте.

В следующем примере дискретизация/квантование может зависеть от фокуса в изображении. Эту зависимость можно получить из показателей резкости или частотного анализа. Для размытого фона нет необходимости, чтобы точность предсказания была такая же, как для небольших ярких объектов, на которые сфокусирована камера. В общем случае, области, содержащие мало деталей, можно квантовать более грубо, так как для них будет достаточно использовать кусочно-линейную аппроксимацию, предложенную в описанном подходе.

В предыдущих примерах использовалось трехмерное отображение/сетка. Однако в других вариантах может быть использована N-мерная сетка, где N - целое число, больше трех. В частности, два пространственных измерения могут быть дополнены множеством измерений, относящихся к пиксельным значениям.

Таким образом, в некоторых вариантах упомянутая комбинация может содержать множество размеров вместе со значением для каждого размера. В качестве простого примера, может быть создана сетка, имеющая два пространственных размера и по одному размеру для каждого цветового канала. Например, для изображения RGB каждый бин может быть задан интервалом позиции по горизонтали, интервалом позиции по вертикали, интервалом значения R, интервалом значения G и интервалом значения B.

В другом примере множество размеров для пиксельных значений может, вдобавок или в качестве альтернативы, соответствовать другим пространственным размерам. Например, может быть выделен размер для яркости текущего пикселя и для каждого из окружающих пикселей.

Такие многомерные сетки могут предоставить дополнительную информацию, которая дает возможность обеспечить улучшенное предсказание и, в частности, позволяет обеспечить боле точное отражение относительных различий между пикселями в изображении с HDR.

В некоторых вариантах кодер может быть сконфигурирован для адаптации своего функционирования в соответствии с предсказанием.

Например, кодер может создать предсказанное изображение с HDR, как это было описано ранее, а затем может сравнить его с входным изображением с HDR. Это можно сделать, например, путем создания остаточного изображения и оценки этого изображения. Затем кодер может приступить к адаптации своего функционирования в зависимости от указанной оценки и, в частности, может адаптировать упомянутое отображение и/или остаточное изображение в зависимости от полученной оценки.

В качестве конкретного примера, кодер может быть скомпонован для выбора на основе указанной оценки частей отображения для их включения в поток кодированных данных. Например, кодер может использовать предыдущий набор изображений для создания отображения для текущего изображения. На основе этого отображения можно определить соответствующее предсказание и можно создать соответствующее остаточное изображение. Кодер может оценить остаточные области для идентификации тех областей, в которых предсказание считается достаточно точным, и тех областей, в которых предсказание считается недостаточно точным. Например, достаточно точно предсказанными можно считать все пиксельные значения, для которых значение остаточного изображения ниже заранее заданного порогового значения. Таким образом, значения отображения для указанных областей считаются достаточно точными, и значения сетки для этих значений могут непосредственно использоваться декодером. Соответственно, не включаются во входные наборы/бины данные отображения, которые охватывают только те пиксели, которые считаются предсказанными недостаточно точно.

Что касается бинов, которые соответствуют пикселям с недостаточно точным предсказанием, то кодер может приступить к созданию новых значений отображения на основе использования текущего набора изображений в качестве эталонных изображений. Так как эта информация об отображении не может быть воссоздана декодером, ее включают в кодированные данные. Таким образом, данный подход можно использовать для динамической адаптации отображения, состоящего из бинов данных, отражающих предыдущие изображения, и бинов данных, отражающие текущие изображения. Таким образом, выполняется автоматическая адаптация отображения, направленная на использование в качестве основы предшествующих изображений, когда это приемлемо, и текущих изображений, когда это необходимо. Поскольку в кодированный выходной поток необходимо включать только те бины, которые создаются на основе текущих изображений, достигается автоматическая адаптация передаваемой информации об отображении.

Таким образом, в некоторых вариантах возможно потребуется передача относительно лучшего (сформированного не на стороне декодера) отображения LDR-HDR для некоторых зон изображения, например, поскольку кодер может обнаружить, что предсказание изображения с HDR для этих зон оказалось недостаточно качественным, например, из-за критичных изменений объекта или из-за того, что объект действительно является особо важным (например, человеческое лицо).

В некоторых вариантах аналогичный подход можно использовать, вдобавок или в качестве альтернативы, для остаточного изображения. В качестве несложного примера, объем данных, относящихся к остаточному изображению, который подлежит передаче, может быть адаптирован в соответствии с результатом сравнения входного изображения с расширенным динамическим диапазоном с предсказанным изображением с расширенным динамическим диапазоном. В качестве конкретного примера, кодер может приступить к оценке того, насколько значима информация в остаточном изображении. Например, если среднее значение для пикселей остаточного изображения меньше заданного порогового значения, это указывает на то, что предсказанное изображение близко к входному изображению с HDR. Соответственно, кодер может на основе указанного рассмотрения решить, ввести ли остаточное изображение в кодированный выходной поток. Например, если среднее значение яркости ниже порогового значения, то кодированные данные для остаточного изображения не вводятся в выходной поток, а, если указанное среднее значение превышает пороговое значение, то кодированные данные для остаточного изображения вводят в выходной поток.

В некоторых вариантах может быть применен более тонкий выбор, когда данные остаточного изображения включают в выходной поток для тех областей, в которых пиксельные значения в среднем превышают пороговое значение, но не для тех областей, в которых пиксельные значения в среднем меньше порогового значения. Упомянутые области изображения могут, например, иметь фиксированный размер, либо могут, например, определяться динамически (например, посредством процесса сегментации).

В некоторых вариантах кодер может дополнительно создавать отображение для обеспечения необходимых визуальных эффектов. Например, в некоторых вариантах отображение может быть создано не для обеспечения максимально точного предсказания, а скорее, вдобавок или в качестве альтернативы, для внесения желаемого визуального эффекта. Например, можно создать отображение, где предсказание также обеспечивает, например, регулировку цвета, приращение контрастности, коррекцию резкости и т.д. Указанный желаемый эффект может быть применен, например, по-разному в разных областях изображения. Например, может быть выполнена идентификация изображаемых объектов, и для разных областей могут быть использованы разные подходы для создания отображения.

В действительности, в некоторых вариантах кодер может быть скомпонован для выбора из множества различных подходов для создания отображения в соответствии с характеристиками изображения и, в частности, в соответствии с локальными характеристиками изображения.

Например, кодер может увеличить ширину динамического диапазона в областях, где доминируют пиксели со средней яркостью, но не для областей, где доминируют пиксели с высокой или низкой яркостью. Следовательно, кодер может проанализировать входные изображения с LDR или с HDR и динамически выбрать разные подходы для разных областей изображения. Например, к конкретным бинам может быть добавлено смещение яркости в зависимости от характеристик области, которой они принадлежат. Хотя в этом подходе может все еще использоваться адаптация на основе конкретных изображений, его также можно использовать для обеспечения желаемых визуальных характеристик изображения, которые возможно не приведут к более точной аппроксимации применительно к входному изображению с HDR, но скорее к желаемому изображению с HDR. Данный подход может привнести некоторую неопределенность, касающуюся того, насколько точно создано отображение в кодере, и, чтобы дать возможность декодеру независимо обеспечить соответствие с этим отображением, кодер может ввести данные, определяющие или описывающие выбранное отображение. Например, декодеру может быть сообщена величина смещения, примененного к отдельным бинам.

В этих примерах отображение было основано на адаптивном создании отображения на основе наборов входных изображений с LDR и HDR. В частности, такое отображение может быть создано на основе предшествующих входных изображений с LDR и HDR, так как для этого не требуется включение в поток кодированных данных какой-либо информации об отображении. Однако в некоторых случаях такой подход не годится; например, при изменении сцены маловероятно, что корреляция между предыдущим изображением и текущим изображением будет очень большой. В указанном случае кодер может переключиться на вариант, при котором отображение включается в кодированные выходные данные. Например, кодер может обнаружить, что появилось изменение сцены, и может в связи с этим приступить к созданию отображения для изображения (изображений), следующих непосредственно после изменения сцены, на основе самих текущих изображений. Затем данные о созданном изображении включают в кодированный выходной поток. Декодер может приступить к созданию отображений на основе предшествующих изображений за исключением случая, когда в принятом кодированном битовом потоке содержатся данные об отображении в явном виде, если таковые используются.

В некоторых вариантах декодер может использовать эталонное отображение по меньшей мере для некоторых изображений с суженным динамическим диапазоном из видеопоследовательности с суженным динамическим диапазоном. Такое эталонное отображение может представлять собой отображение, которое не определяют динамическим образом в соответствии с наборами изображений с LDR и HDR из видеопоследовательности. Эталонное отображение может представлять собой заранее определенное отображение.

Например, как кодер, так и декодер могут иметь информацию о заранее определенном стандартном отображении, которое можно использовать для создания изображения с HDR из изображения с LDR. Следовательно, в варианте, где динамические адаптивные отображения создаются из предшествующих изображений, стандартное заранее определенное отображение можно использовать тогда, когда указанное заранее определенное отображение скорее всего не будет точно отражать текущее изображение. Например, после изменения сцены эталонное отображение можно использовать для первого изображения (изображений).

В указанных случаях кодер может обнаружить, что сцена изменилась (например, путем простого сравнения разницы в значениях пикселей между последовательными изображениями), а затем может ввести в кодированный выходной поток индикатор эталонного изображения, который указывает, что для предсказания следует использовать эталонное отображение. Скорее всего, эталонное отображение приведет к снижению точности предсказанного изображения с HDR. Однако, поскольку и кодер, и декодер используют одно и то же эталонное отображение, это приведет лишь к увеличению значений (а значит, возрастанию скорости передачи данных) для остаточного изображения.

В некоторых вариантах кодер и декодер способны выбирать указанное эталонное отображение из множества эталонных отображений. Таким образом, система может совместно использовать информацию о множестве заранее определенных отображений вместо использования только одного эталонного отображения. В указанных вариантах кодер может создать предсказанное изображение с HDR и соответствующее остаточное изображение для всех возможных эталонных отображений. Затем он может выбрать то отображение, которое в результате приведет к минимальному остаточному отображению (а значит, к минимальной скорости передачи кодированных данных). Кодер может ввести индикатор эталонного отображения, который в явном виде определяет, какое эталонное отображение было использовано в кодированном выходном потоке. Указанный подход может принять данное предсказание и таким образом уменьшить скорость передачи данных, необходимую для передачи остаточного изображения во многих сценариях.

Таким образом, в некоторых вариантах может быть использована фиксированная таблица LUT (отображение) (или таблица, выбранная из фиксированного набора только с соответствующим передаваемым индексом) для первого кадра или для первого кадра после изменения сцены. Хотя остаточное изображение для указанных кадров обычно оказывается более значительным, это обстоятельство, как правило, перевешивается тем фактом, что данные отображения не надо будет кодировать.

В этих примерах отображение компонуется в виде многомерной карты, имеющей два пространственных размера изображения и по меньшей мере один размер значения комбинации. Это обеспечивает особо эффективную структуру.

В некоторых вариантах для указанной многомерной карты может быть применен многомерный фильтр, где этот многомерный фильтр содержит по меньшей мере один размер для значения упомянутой комбинации и по меньшей мере один из пространственных размеров изображения. В частности, для многомерной сетки в некоторых вариантах может быть применен фильтр с умеренной низкочастотной полосой. Во многих вариантах это может обеспечить улучшенное предсказание, а значит, снизить скорость передачи данных. В частности, это может повысить качество предсказания для некоторых сигналов, таких как плавные градиенты интенсивности, которые, как правило, приводят к контурным артефактам при представлении на недостаточной глубине (в битах).

В предшествующем описании из одного изображения с LDR создавалось одно изображение с HDR. Однако повышенный интерес был проявлен к многовидовой фиксации и визуализации сцен. Например, на потребительском рынке внедряется трехмерное (3D) телевидение. В качестве другого примера, разработаны многовидовые компьютерные дисплеи, позволяющие пользователю рассматривать объекты со всех сторон и т.д.

Таким образом, многовидовое изображение может содержать множество изображений одной и той же сцены, зафиксированных или созданных с разных точек обзора. Далее описание фокусируется на стереовиде, содержащем вид сцены с левого и правого глаза. Однако следует иметь ввиду, что указанные принципы равным образом применимы к видам многовидового изображения, содержащего более двух изображений, соответствующих разным направлениям, и что, в частности, левое и правое изображения могут рассматриваться как два изображения для двух видов из более чем двух изображений/видов многовидового изображения.

Во многих сценариях желательно иметь возможность эффективно создавать, кодировать или декодировать многовидовые изображения, и это во многих сценариях может быть достигнуто с помощью одного изображения, входящего в многовидовое изображение и зависящего от другого изображения.

Например, на основе изображения с HDR для первого вида можно закодировать изображение с HDR для второго вида. Например, как показано на фиг. 12, кодер на фиг. 2 можно усовершенствовать для обеспечения кодирования стереоизображения. В частности, кодер по фиг. 12 соответствует кодеру по фиг. 2, но он кроме того содержит второй приемник 1201, который скомпонован для приема второго изображения с HDR. В дальнейшем изображение с HDR, принятое первым приемником 201, называется изображением первого вида, а изображение с HDR, принятое вторым приемником 1201, называется изображением второго вида. Изображения первого и второго видов являются правым и левым изображениями стереоизображения, и, следовательно, при попадании на правый и левый глаз наблюдателя обеспечивает трехмерное восприятие.

Изображение первого вида кодируется, как было описано ранее. Кроме того, кодированное изображение первого вида подают в предсказатель 1203 вида, который приступает к созданию предсказания для изображения второго вида исходя из изображения первого вида. Система содержит декодер 1205 с HDR между кодером 213 с HDR и предсказателем 1203 вида, причем декодер 1205 декодирует кодированные данные для изображения первого вида и подает декодированное изображение в предсказатель 1203 вида, который затем создает из него предсказание для изображения второго вида. В качестве простого примера, изображение первого вида можно само по себе непосредственно использовать в качестве предсказания для изображения второго вида.

Кодер на фиг. 12 кроме того содержит второй кодер 1207, который принимает предсказанное изображение от предсказателя 1203 вида и исходное изображение от второго приемника 1201. Второй коде 1207 приступает к кодированию изображения второго вида в соответствии с предсказанным изображением, полученным от предсказателя 1203 вида. В частности, второй кодер 1207 может вычесть предсказанное изображение из изображения второго вида и закодировать результирующее остаточное изображение. Второй кодер 1207 подсоединен к выходному процессору 215, который содержит кодированные данные для изображения второго вида в выходном потоке. Выходной процессор может, но не обязательно, выполнять сложные функции форматирования, например, он может перетасовывать части кодированного потока, например, по схеме перемежения, показанной на фиг. 18.

Описанный подход позволяет обеспечить весьма эффективное кодирование для многовидовых изображения с HDR. В частности, может быть достигнута весьма низкая скорость передачи данных для заданного качества изображения.

Для предсказания второго вида изображения исходя из первого вида изображения можно использовать разные подходы. Как упоминалось ранее, в некоторых примерах первый вид изображения можно использовать напрямую в качестве предсказания для второго вида.

В основе особо эффективной системы с очень хорошими рабочими характеристиками может лежать подход к отображению, аналогичный подходу, описанному для отображения между изображениями с LDR и с HDR.

В частности, можно на основе эталонных изображений создать отображение, которое соотносит входные данные в виде входных наборов пространственных позиций изображения и комбинацию цветовых координат пиксельных значений с расширенным динамическим диапазоном, связанных с пространственными позициями изображения, с выходными данными в виде пиксельных значений с расширенным динамическим диапазоном. Таким образом, указанное отображение создается для отражения зависимости между эталонным изображением с расширенным динамическим диапазоном для первого вида (то есть, в соответствии с изображением первого вида) и соответствующим эталонным изображением с расширенным динамическим диапазоном для второго вида (то есть, в соответствии с изображением второго вида).

Это отображение может быть создано с использованием тех же принципов, которые были описаны ранее применительно к отображению «LDR-HDR». В частности, это отображение может быть создано на основе предшествующего стереоизображения. Например, для предшествующего стереоизображения каждую пространственную позицию можно оценить с использованием подходящего бина отображения, идентифицируемого как отображение, покрывающее соответствующий пространственный интервал изображения и интервалы цветовых координат с HDR. Затем для создания выходного значения для указанного бина можно использовать соответствующие значения цветовых координат с HDR в эталонном изображении для второго бина (в некоторых примерах их можно использовать непосредственно в качестве выходного значения). Таким образом, данный подход может обеспечить преимущества, корреспондирующиеся с преимуществами подхода, применяемого для отображения «LDR -HDR», в том числе автоматическое создание отображения, точное предсказание, практическая реализуемость и т.д.

Конкретную эффективную реализацию кодеров можно обеспечить путем использования общих, идентичных или совместно используемых элементов. В некоторых системах для множества операций кодирования может быть использован модуль предиктивного кодирования. В частности, базовый кодирующий модуль может быть скомпонован для кодирования входного изображения на основе предсказания этого изображения. Базовый кодирующий модуль может, в частности, иметь следующие входы и выходы:

кодирующий вход для приема изображения, подлежащего кодированию;

вход предсказания для приема предсказания для кодируемого изображения; и

выход кодера для вывода кодированных данных для кодируемого изображения.

Примером такого кодирующего модуля является кодирующий модуль, показанный на фиг. 13. В этом конкретном кодирующем модуле используется кодек H264 1301, который принимает входной сигнал IN, содержащий данные для изображения, подлежащего кодированию. Далее кодек H264 1301 создает кодированные выходные данные BS путем кодирования входного изображения в соответствии со стандартами и принципами кодирования H264. Это кодирование основано на одном или нескольких изображениях-предсказаниях, которые хранятся в блоках 1303, 1305 памяти предсказания. Один из этих блоков 1305 памяти предсказания скомпонован для запоминания входного изображения с входа предсказания (INex). В частности, базовый кодирующий модуль может перезаписать изображения-предсказания, созданные самим базовым кодирующим модулем. Таким образом, в данном примере блоки 1303, 1305 памяти предсказания в соответствии со стандартом H264 заполняются предшествующими данными предсказания, созданными путем декодирования предшествующих кодированных изображений видеопоследовательности. Однако, вдобавок, по меньшей мере один из блоков 1305 памяти предсказания перезаписывается с использованием входного изображения с входа предсказания, то есть предсказания, созданного вне рассматриваемого устройства. Хотя данные предсказания, созданные внутри кодирующего модуля, как правило, представляют собой временные или пространственные предсказания, то есть предсказания, сделанные исходя из предшествующих или будущих изображений видеопоследовательности или из пространственно смежных областей, предсказание, обеспеченное на входе предсказания, как правило, может не являться ни временным, ни пространственным. Например, это может быть предсказание на основе изображения из другого вида. Например, изображение второго вида можно закодировать, используя вышеописанный кодирующий модуль, с помощью изображения первого вида, подаваемого на вход предсказания.

Примерный кодирующий модуль по фиг. 13 кроме того содержит опционный вход OUT_LOC декодированного изображения, который может обеспечить декодированное изображение, полученное в результате декодирования кодированных данных, для реализации внешних функциональных возможностей. Кроме того, второй опционный выход в виде выходного декодированного изображения с задержкой, OUT_LOC(τ-1), обеспечивает версию декодированного изображения с задержкой.

Кодирующий блок, в частности, может представлять собой кодирующий блок, описанный в патентной заявке WO2008084417, содержание которой включено сюда по ссылке.

Таким образом, в некоторых примерах система может кодировать видеосигнал, причем в этой системе выполняется сжатие изображения, и множество временных предсказаний используется с множеством кадров предсказания, хранящихся в памяти, причем кадр предсказания в памяти перезаписывается на отдельно созданный кадр предсказания.

В частности, перезаписанный кадр предсказания может представлять собой один или несколько самых длинных кадров предсказания в памяти.

Указанная память может представлять собой память в кодере потока улучшения, а кадр предсказания может быть переписан на кадр, поступивший от кодера базового потока.

В частности, кадр временного предсказания может быть перезаписан на кадр вида глубины.

Данный кодирующий модуль может быть использован во множестве преимущественных конфигураций и топологий, причем он позволяет обеспечить весьма эффективный вариант реализации при низких издержках. Например, в кодере на фиг. 12 один и тот же кодирующий модуль можно использовать для кодера 205 с LDR, кодера 212 с HDR и второго кодера 1207 с HDR.

Далее со ссылками на фиг. 14-17 описываются различные преимущественные конфигурации и варианты использования кодирующего модуля, такого как кодирующий модуль на фиг. 13.

На фиг. 14 показан пример, в котором базовый кодирующий модуль, такой как на фиг. 13, может быть использован для кодирования как изображения с LDR, так и соответствующего изображения с HDR в соответствии с ранее описанными принципами. В данном примере базовый кодирующий модуль 1401, 1405 используют как для кодирования изображения с LDR, так и для кодирования изображения с HDR. В данном примере изображение с LDR подается в кодирующий модуль 1401, который приступает к созданию кодированного битового потока BS LDR без какого-либо предсказания для изображения с LDR, подаваемого на вход предсказания (хотя такое кодирование может использовать созданные внутри предсказания, такие как временные предсказания, используемые для компенсации движения).

Базовый кодирующий модуль 1401 кроме того создает декодированную версию изображения с LDR на выходе декодированного изображения и декодированное изображение с задержкой на выходе декодированного изображения с задержкой. Эти два декодированных изображения подаются в предсказатель 1403, который, кроме того, принимает декодированное изображение с HDR с задержкой, то есть предшествующее изображение с HDR. Предсказатель 1403 приступает к созданию отображения на основе предшествующих декодированных изображений с LDR и HDR (с задержкой). Затем предсказатель 1403 приступает к созданию предсказанного изображения для текущего изображения с HDR путем применения этого отображения к текущему декодированному изображению с LDR.

Затем базовый кодирующий модуль 1405 приступает к кодированию изображения с HDR на основе предсказанного изображения. В частности, предсказанное изображение подается на вход предсказания базового кодирующего модуля 1405, и туда же подается изображение с HDR. Затем базовый кодирующий модуль 1405 создает выходной битовый поток BS HDR, соответствующий изображению с HDR. Эти два битовых потока (BS LDR и BS HDR) могут быть объединены в один выходной битовый поток.

В данном примере для кодирования как изображения с LDR, так для изображения с HDR используется один и тот же кодирующий модуль (представленный двумя функциональными элементами 1401, 1405). Это можно обеспечить путем использования только одного базового кодирующего модуля последовательно во времени. В качестве альтернативы, могут быть реализованы идентичные базовые кодирующие модули. Это может привести к существенной экономии затрат.

Таким образом, в данном примере изображение с HDR кодируется в зависимости от изображения с LDR, в то время как изображение с LDR не кодируется в зависимости от изображения с HDR. Таким образом, здесь обеспечена иерархическая конфигурация кодирования, где совместное кодирование/сжатие достигается с помощью одного изображения, зависящего от другого изображения (которое однако не зависит от первого изображения).

Следует иметь в виду, что пример на фиг. 14 можно рассматривать как конкретную реализацию кодера по фиг. 2, где для изображения с HDR и с LDR используется идентичный или подобный кодирующий модуль. В частности, один и тот же базовый кодирующий модуль можно использовать как для реализации кодера 205 с LDR, так и для декодера 207 с LDR, а также для кодера 213 с HDR по фиг. 2.

На фиг. 15 показан еще один пример. В этом примере для выполнения эффективного кодирования стереоизображения используется множество идентичных или один базовый кодирующий модуль 1501, 1503. В этом примере левое изображение с LDR подается в базовый кодирующий модуль 1401, который приступает к кодированию левого изображения с LDR, не полагаясь на какое-либо предсказание. Результирующие кодированные данные выводятся в виде первого битового потока L BS. Данные изображения для правого изображения с LDR вводятся через вход для данных изображения базового кодирующего модуля 1503. Кроме того, используют левое изображение в качестве изображения-предсказания, и соответственно этому выход декодированного изображения базового кодирующего модуля 1501 соединен с входом предсказания базового кодирующего модуля 1503, так что декодированная версия изображения L LDR подается на вход предсказания базового кодирующего модуля 1503, который приступает к кодированию правого изображения с LDR на основе этого предсказания. Таким образом, базовый кодирующий модуль 1503 создает второй битовый поток R BS, содержащий кодированные данные для правого изображения (относительно левого изображения).

На фиг. 16 показан пример, где для обеспечения совместного и комбинированного кодирования как вида с HDR, так и стереовида, используется множество идентичных или один базовый кодирующий модуль 1401, 1403, 1603, 1601. В этом примере к левым изображениям с LDR и HDR применяется подход согласно фиг. 14. Вдобавок, правое изображение с HDR кодируют на основе левого изображения с HDR. В частности, правое изображение с HDR подают на вход данных изображения базового кодирующего модуля 1601, вход предсказания которого соединен с выходом декодированного изображения базового кодирующего модуля 1405, который кодирует левое изображение с HDR. Таким образом, в этом примере правое изображение с HDRT кодируется базовым кодирующим модулем 1601 на основе левого изображения с HDR. Таким образом, кодер по фиг. 16 создает битовый поток L BS левого изображения с LDR, битовый поток L HDR BS левого изображения с HDR и битовый поток R HDR BS правого изображения с HDR.

В конкретном примере на фиг. 16 также может кодироваться четвертый битовый поток для правого изображения с LDR. В этом примере базовый кодирующий модуль 1603 принимает правое изображение с LDR на входе данных изображения, в то время как декодированная версия левого изображения с LDR подается на вход предсказания. Затем базовый кодирующий модуль 1603 приступает к кодированию правого изображения с LDR для создания четвертого битового потока R BS.

Таким образом, в примере, показанном на фиг. 16, совместно и эффективным образом кодируются/сжимаются как характеристики, относящиеся к стерео, так и характеристики, относящиеся к HDR. В данном примере изображение с LDR левого вида кодируется независимо, а изображение с LDR правого вида зависит от изображения с LDR левого вида. Кроме того, изображение L HDR зависит от левого изображения с LDR. Правое изображение с HDR зависит от левого изображения с HDR, а значит, также ВКР от левого изображения с LDR. В этом примере правое изображение с LDR не используется для кодирования/декодирования какого-либо из стереоизображений с HDR. Преимущество данного подхода состоит в том, что для кодирования/декодирования стереосигнала с HDR требуется только 3 базовых модуля. Таким образом, это техническое решение обеспечивает улучшенную обратную совместимость.

На фиг. 17 показан пример, в котором кодер по фиг. 16 усовершенствован таким образом, что для кодирования правого изображения с HDR также используется правое изображение с LDR. В частности, предсказание правого изображения с HDR может быть создано из левого изображения с LDR с использованием того же подхода, который применяется для левого изображения с HDR. В частности, здесь можно использовать ранее описанное отображение. В этом примере вход предсказания в базовом кодирующем модуле 1501 предусмотрен для приема двух изображений-предсказаний, которые могут быть оба использованы для кодирования правого изображения с HDR. Например, два изображения-предсказания могут быть перезаписаны в два блока памяти предсказания, имеющихся в базовом кодирующем модуле 1601.

Таким образом, в этом примере, как стерео, так и HDR совместно кодируются и (более того) эффективно сжимаются. Здесь изображение с LDR левого вида кодируется независимо, а изображение с LDR правого вида кодируется в зависимости от изображения с LDR левого вида. В данном примере правое изображение с LDR также используют для кодирования/декодирования стереосигнала с HDR и, в частности, правого изображения с HDR. Таким образом, в данном примере могут быть использованы два предсказания для правого изображения с HDR, что обеспечивает более высокую эффективность сжатия, несмотря на затраты, необходимые для обеспечения четырех базовых кодирующих модулей (или четырехкратное использование одного и того же базового кодирующего модуля).

Таким образом, в примерах на фиг. 14-17 один и тот же базовый модуль кодирования/сжатия используют для совместного кодирования HDR и стерео, что выгодно с точки зрения эффективности сжатия, практичности реализации и минимизации затрат.

Следует иметь в виду, что на фиг. 14-17 представлены функциональные иллюстрации, которые могут отражать последовательное использование во времени одного и того же кодирующего модуля, либо могут, например, иллюстрировать параллельное применение идентичных кодирующих модулей.

Таким образом, в описанных примерах кодирования создаются выходные данные, которые включают в себя кодирование одного или нескольких изображений на основе одного или нескольких изображений. Следовательно, в этих примерах по меньшей мере два изображения совместно кодируют так, что одно изображение зависит от другого, но это другое изображение не зависит от первого изображения. Например, в кодере по фиг. 16 два изображения с HDR совместно кодируются с использованием правого изображения с HDR, кодируемого в зависимости от левого изображения с HDR (посредством предсказания), в то время как левое изображение с HDR кодируется независимо от правого изображения с HDR.

Такое асимметричное совместное кодирование можно использовать для создания эффективных выходных потоков. В частности, создаются (расщепляются) два выходных потока R HDR BS и L HDR BS для правого и левого изображений с HDR соответственно в виде двух разных потоков данных, которые можно мультиплексировать для формирования выходного потока данных. Поток данных L HDR BS, для которого не требуются данные из потока данных R HDR BS, может рассматриваться как первичный поток данных, а поток данных R HDR BS, для которого не требуются данные из потока данных L HDR BS, может рассматриваться как вторичный поток данных. В одном примере, демонстрирующем особые преимущества, мультиплексирование выполняется так, что первичный и вторичный потоки данных обеспечиваются отдельными кодами. Таким образом, указанным двум потокам данных присваивают разные коды (заголовок/метка), обеспечивая тем самым отдельные потоки данных, разделенные и идентифицированные в выходном потоке данных.

В качестве конкретного примера, выходной поток данных можно разделить на пакеты или сегменты данных, где каждый пакет/сегмент содержит данные только из первичного или только из вторичного потока данных, и где каждый пакет/сегмент обеспечен кодом (например, в заголовке, преамбуле, средней части или заключительной части), который идентифицирует, какой поток включен в конкретный пакет/сегмент.

Указанный подход может обеспечить улучшенные рабочие характеристики и, в частности, обеспечить обратную совместимость. Например, полностью совместимый стереодекодер способен выделять как правые, так и левые изображения с HDR для создания полного стереоизображения с HDR. Однако декодер, не являющийся стерео декодером, может извлекать только первичный поток данных. В действительности, когда поток данных не зависит от правого изображения с HDR, декодер, не являющийся стерео декодером, может приступить к декодированию одного изображения с HDR, используя способы, не относящиеся к декодированию стерео.

Следует иметь в виду, что данный подход можно использовать для различных кодеров. Например, для кодера по фиг. 14 битовый поток BS LDR может считаться первичным потоком данных, а битовый поток BS HDR может считаться вторичным потоком данных. В примере, показанном на фиг. 15, первичным потоком данных может считаться битовый поток L BS, а вторичным потоком данных может считаться битовый поток R BS. Таким образом, в ряде примеров первичный поток данных может содержать данные, которые являются полностью самодостаточными, то есть для которых не требуется ввод каких-либо других кодированных данных (то есть, которые не зависят от кодированных данных из любого другого потока данных, но кодируются самосогласованным образом).

Также этот подход можно распространить на количество битовых потоков, большее двух. Например, для кодера на фиг. 15 битовый поток L BS (который является полностью самодостаточным) может считаться первичным потоком данных, битовый поток L HDR BS (который зависит от битового потока L BS, но не зависит от битового потока R HDR BS) может считаться вторичным потоком данных, а битовый поток R HDR BS (который зависит как от битового потока L BS, так и от битового потока L HDR BS) может считаться третичным потоком данных. Эти три потока данных можно мультиплексировать, причем каждому потоку данных выделен собственный код.

В другом примере четыре битовых потока, созданные в кодере по фиг. 16 или 17, могут быть введены в четыре разные части выходного потока данных. В качестве конкретного примера, мультиплексирование битовых потоков может создать выходной поток, содержащий следующие части: часть 1, содержащую все пакеты L BS с кодом 0x1B дескриптора (регулярный H264); часть 2, содержащую все пакеты R BS c кодом 0х20 дескриптора (зависимый стереовид MVC), часть 3, содержащую все пакеты L HDR BS с кодом 0х21 дескриптора; и часть 4, содержащую все пакеты enh R HDR BS с кодом 0х22 дескриптора. Этот тип мультиплексирования обеспечивает гибкое использование мультиплексирования стерео с HDR при поддержке обратной совместимости с MVC стерео и H264 моно. В частности, конкретные коды позволяют стандартному декодеру H264, декодирующему изображение с LDR, при обеспечении подходящим образом оборудованными декодерами (например, на базе H264 или MVC) декодировать более совершенные изображения, такие как изображения с HDR и/или стереоизображения.

Создание выходного потока может, в частности, следовать подходу, описанному в патентной заявке WO2009040701, которая включена сюда по ссылке.

Указанные подходы могут объединить преимущества других способов и избежать при этом присущих этим способам недостатков. Данный подход содержит совместное сжатие двух или более сигналов видеоданных, после чего следует формирование двух или более (первичного и вторичного) отдельных битовых потоков. Первичный битовый поток, являющийся самодостаточным (или не зависящим от вторичного битового потока), может быть декодирован видеодекодерами, возможно не способными декодировать оба битовых потока. Один или более вторичных битовых потоков (которые часто называют вспомогательными потоками для представления видео) зависят от первичного битового потока. Эти отдельные битовые потоки мультиплексируют, причем первичный и вторичный битовые потоки передаются как отдельные битовые потоки, обеспеченные отдельными кодами. На первый взгляд может показаться излишним и напрасным первоначальное совместное сжатие сигналов только затем, чтобы разделить их снова после сжатия и обеспечения отдельными кодами. В общепринятых способах сигналу сжатых видеоданных выдается единый код в мультиплексоре. На первый взгляд кажется, что такой подход вносит ненужную сложность в процесс кодирования сигнала видеоданных.

Однако, было установлено, что разделение и раздельное пакетирование (то есть, выделение отдельных кодов для первичного и вторичного битовых потоков в мультиплексоре) первичного и вторичного битового потока в мультиплексированном сигнале приводит к тому, что с одной стороны стандартный демультиплексор в обычной видеосистеме будет распознавать первичный битовый поток по его коду и посылать его в декодер, так что стандартный видеодекодер будет получать только первичный поток, причем вторичный поток через демультиплексор не проходит, и, таким образом, стандартный видеодекодер обеспечивает правильную обработку указанного потока в виде стандартного сигнала видеоданных, но с другой стороны, специализированная система может полностью реверсировать процесс кодирования и вновь создать исходный улучшенный битовый поток перед его посылкой на подходящий декодер.

При данном подходе первичный и вторичный битовые потоки являются отдельными битовыми потоками, где первичный битовый поток, в частности, может быть самодостаточным битовым потоком. Это позволяет выделить первичному битовому потоку код, соответствующий стандартному сигналу видеоданных, и выделить вторичному битовому потоку или вторичным битовым потокам коды, которые не будут распознаваться стандартными демультиплексорами в качестве стандартного сигнала видеоданных. На приемной стороне стандартные демультиплексирующие устройства будут распознавать первичный битовый поток в качестве стандартного сигнала видеоданных и пересылать его на видеодекодер. Стандартные демультиплексирующие устройства не будут принимать вторичные битовые потоки, поскольку они не определяют их как стандартные сигналы видеоданных. Сам видеодекодер будет принимать только «стандартный сигнал видеоданных». Таким образом, количество бит, принимаемых самим видеодекодером, ограничено первичным битовым потоком, который может быть самодостаточным и который представлен в виде стандартного сигнала видеоданных, и может интерпретироваться стандартными видеоустройствами, причем скорость передачи битов будет соответствовать скорости, которую стандартные видеоустройства могут обеспечить. Видеодекодер не перегружается сверх его пропускной способности в битах.

Такое кодирование может отличаться тем, что сигнал видеоданных кодируется с использование кодированного сигнала, содержащего первый и по меньшей мере один второй набор кадров, где кадры из первого и второго наборов перемежают для формирования перемежающейся видеопоследовательности, или тем, что принимается сигнал перемежающихся видеоданных, содержащий первый и второй набор кадров, где перемежающаяся видеопоследовательность сжимается в сигнал сжатых видеоданных, где кадры первого набора кодируются и сжимаются без использования кадров второго набора, а кадры второго набора кодируются и сжимаются с использованием кадров первого набора, и где далее сигнал сжатых видеоданных разделяется на первичный и по меньшей мере один вторичный битовый поток, причем каждый битовый поток содержит кадры, где первичный битовый поток содержит сжатые кадры для первого набора, а вторичный битовый поток содержит сжатые кадры для второго набора, при этом первичный и вторичный битовые потоки образуют отдельные битовые потоки, после чего первичный и вторичный битовые потоки мультиплексируются, образуя мультиплексированный сигал, причем первичный и вторичный битовые потоки обеспечены отдельными кодами.

После перемежения по меньшей мере один набор, а именно, набор кадров первичного битового потока, может быть сжат в качестве «самодостаточного сигнала». Это означает, что для кадров, принадлежащих этому самодостаточному набору кадров, не требуется какая-либо информация (например, через компенсацию движения или какую-либо иную схему предсказания) из других вторичных битовых потоков.

Первичный и вторичный битовые потоки образуют отдельные битовые потоки и мультиплексируются с отдельными кодами по причинам, которые были объяснены выше.

В ряде примеров первичный битовый поток содержит данные для кадров одного вида из сигнала многовидовых видеоданных, а вторичный битовый поток содержит данные для кадров другого вида из сигнала многовидовых данных.

На фиг. 18 показан пример возможного перемежения двух видов, таких как левый (L) вид и правый (R) вид с HDR кодера по фиг. 16, где каждый из видов содержит кадры с 0 по 7 в перемежающемся комбинированном сигнале, содержащем кадры с 0 по 15.

В данном конкретном примере кадры/изображения битовых потоков L HDR BS и R HDR BS по фиг. 16 разделены на отдельные кадры/сегменты, как показано на фиг. 17.

Затем кадры левого и правого видов перемежают для создания комбинированного сигнала. Комбинированный сигнал похож на двумерный сигнал. Особым признаком сжатия является то, что кадры одного из видов не зависят от кадров другого вида (и могут представлять собой самодостаточную систему), то есть при сжатии никакая информация из другого вида не используется. Кадры другого вида сжимают, используя информацию из кадров первого вида. Этот подход отклоняется от естественного стремления обрабатывать оба вида не равной основе. В действительности, оба вида не обрабатываются одинаково во время сжатия. Один из видов становится первичным видом, для которого во время сжатия не используется никакая информация из другого вида, причем другой вид является вторичным. Кадры первичного вида и кадры вторичного вида разделяют на первичный битовый поток и вторичный битовый поток. Система кодирования может содержать мультиплексор, который распределяет код, например, 0х01 для MPEG, или 0х1В для H.264, распознаваемый для стандартного видео в качестве битового потока видео, для первичного битового потока и другой код, например, 0х20, - для вторичного потока. Затем выполняется передача мультиплексированного сигнала. Этот сигнал может быть принят системой декодирования, в которой демультиплексор распознает два битовых потока 0х01 или 0х1В (для первичного потока) и 0х20 (для вторичного потока) и посылает их на блок объединения битовых потоков, который вновь объединяет первичный и вторичный потоки, а затем комбинированную видеопоследовательность декодируют путем реверсирования способа кодирования в декодере.

Следует иметь в виду, что примеры кодера на фиг. 14-17 можно непосредственно преобразовать в соответствующие операции, выполняемые на стороне декодера. В частности, на фиг. 19 показан базовый декодирующий модуль, который является комплементарным по отношению к базовому кодирующему модулю по фиг. 13. Этот базовый декодирующий модуль имеет вход данных кодера для приема данных кодера для кодированного изображения, подлежащего декодированию. По аналогии с базовым кодирующим модулем, базовый декодирующий модуль содержит множество блоков 1901 памяти предсказания, а также вход предсказания для приема предсказания для кодированного изображения, подлежащего декодированию. Базовый декодирующий модуль содержит блок 1903 декодера, который декодирует кодированные данные на основе предсказания (предсказаний) для создания декодированного изображения, которое выводится на выход OUT_LOC декодера. Далее декодированное изображение подается в блоки памяти предсказания. Как и в случае с базовым кодирующим модулем, данные предсказания на входе предсказания могут быть записаны поверх данных в блоках 1901 памяти предсказания. Также, как и в случае с базовым кодирующим модулем, базовый декодирующий модуль имеет (не обязательный) выход для выдачи декодированного изображения с задержкой.

Очевидно, что указанный базовый декодирующий модуль можно использовать в качестве комплементарного модуля по отношению к базовому кодирующему модулю в примерах на фиг. 14-17. Например, на фиг. 20 показан декодер, комплементарный по отношению к кодеру по фиг. 14. Мультиплексор (не показан) разделяет кодированные данные с суженным динамическим диапазоном (EncLDR) и кодированные данные с расширенным динамическим диапазоном (EncHDR). Первый базовый декодирующий модуль декодирует изображение с LDR и использует это для создания предсказания для изображения с HDR, как это было объяснено в связи с фиг. 14. Затем второй базовый декодирующий модуль (идентичный первому базовому декодирующему модулю или, в действительности, первому базовому декодирующему модулю, использованному последовательным во времени образом) декодирует изображение с HDR исходя из кодированных данных с HDR и предсказания.

В качестве другого примера, на фиг. 21 показан декодер, комплементарный по отношению к кодеру по фиг. 15. В этом примере кодированные данные для левого изображения подаются в первый базовый декодирующий модуль, который декодирует левое изображение. Далее оно подается на вход предсказания второго базового декодирующего модуля, который также принимает кодированные данные для правого изображения и который приступает к декодированию этих данных на основе предсказания, создавая в результате правое изображение.

На фиг. 22 показан еще один пример декодера, комплементарного по отношению к кодеру по фиг. 16.

Следует иметь в виду, что фиг. 20-22 являются функциональными иллюстрациями и могут отражать последовательное во времени использование одного и того же декодирующего модуля либо могут, например, иллюстрировать параллельное использование идентичных декодирующих модулей.

На фиг. 22 в качестве примера показано, каким образом можно объединить несколько стандартных блоков, как это было объяснено выше в различных комбинациях, например, через блоки памяти результирующего изображения и, кроме того, показано несколько приемников 2201, 2201, 2203, которые, как известно специалистам в данной области техники, могут принимать различную кодированную информацию об изображениях с HDR или информацию о видах, которая может быть переформатирована и/или обработана в соответствии с несколькими возможными вариантами топологии и реализаций, например, посредством таблицы LUT 2204, как в качестве примера было описано выше. На фиг. 22 показан лишь простой пример возможной реализации декодера. Специалистам в данной области техники очевидно, что возможны другие топологии, например, приемники 2201, 2202, 2203 могут составлять часть общего приемника данных, который может, например, содержать другие блоки, такие как разделитель для форматирования входящих данных, например, изолирования других кодированных 3D/HDR субпотоков согласно принципу перемежения, показанному на фиг. 18. Кроме того, в соответствии с принципами кодирования, используемыми в кодере, к процессорам, работающим с математическими моделями, могут быть подсоединены блоки памяти изображений или т.п., такие как LUT 2204, или входы в блоки, например, блок вычисления глубины, который может создать изображение карты глубин. Как показано на фиг. 19, блоки памяти изображения могут содержать все виды данных, представленных в качестве изображения, которые могут использоваться для создания, например, локальных пиксельных значений с HDR; например, алгоритм компьютерной графики может создать изображаемый объект типа «огненный шар» (fireball), используемый при предсказании. Это может быть альтернативой вышеописанной локализованной взаимосвязи с низким разрешением между пиксельными значениями с LDR и HDR, например, профили объекта, воспроизводимые с разной точностью или в разных диапазонах.

Хотя здесь были описаны принципы кодирования (декодирования), использующие локальное пространственное отображение между изображениями с LDR и HDR (с цветовой градацией), для предсказания (преобразования) «LDR-HDR» могут быть использованы другие стратегии предсказания. Например, на локальных зонах кадра могут быть использованы стратегии преобразования, которые позволяют отображать функции или даже параметрические преобразования, нацеленные на грубую (предварительную) визуализацию, как например, режимное кодирование согласно предшествующей европейской заявке EP10155277.6.

Также для связи изображения с HDR с изображением с LDR можно использовать профили грубой полуглобальной настройки на важном локальном участке набора изображений для определенных моментов времени, возможно с дальнейшим уточнением данных, например, с использованием кодирования с виртуальной подсветкой, как это описано в патентной заявке EP10177155.8. Специалисты в данной области техники поймут, как заменить предсказатели на более сложные алгоритмические блоки.

Следует иметь в виду, что в приведенном выше описании для ясности были изложены варианты изобретения со ссылками на различные функциональные схемы, блоки и процессоры. Однако очевидно, что можно использовать любое другое подходящее распределение функциональных возможностей между различными функциональными схемами, блоками или процессорами, не преуменьшая при этом объем изобретения. Например, функциональные возможности, выполняемые, как здесь показано, отдельными процессорами или контроллерами, могут выполняться одним и тем же процессором или контроллером. Следовательно, ссылки на конкретные функциональные блоки или схемы следует рассматривать лишь как ссылки на подходящие средства для обеспечения описанных функциональных возможностей, а не как ссылки, указывающие на точную логическую или физическую структуру либо организацию.

Следует заметить, что все варианты и комбинации, которые поясняются как кодеры, также могут быть реализованы (и раскрыты и заявлены) как декодеры и наоборот, а также как способы и результирующие продукты, такие как, например, кодированные сигналы изображения, или продукты, содержащие указанное, такие как запоминающие устройства, причем во всех вариантах и комбинациях используется все из вышеперечисленного.

Изобретение может быть реализовано в любом подходящем виде, в том числе, аппаратными средствами, программными средствами, программно-аппаратными средствами или в виде любой их комбинации. Изобретение может быть реализовано по меньшей мере частично в виде компьютерного программного обеспечения, выполняемого на одном или нескольких процессорах данных и/или цифровых процессорах сигналов. Отдельные элементы и компоненты того или иного варианта изобретения могут быть реализованы физически, функционально и логически любым подходящим образом. В действительности, указанные функциональные возможности могут быть реализованы в одном блоке, во множестве блоков, или как часть других функциональных блоков. Как таковое, изобретение может быть реализовано в одном блоке, либо может быть физически или функционально распределено между разными блоками, схемами и процессорами.

Хотя настоящее изобретение было описано в связи с некоторыми вариантами, здесь не предполагается, что оно ограничено изложенной здесь конкретной формой. Наоборот, объем изобретения ограничен только прилагаемой формулой изобретения. Вдобавок, хотя в связи с конкретными вариантами возможно появление того или иного признака, подлежащего описанию, специалистам в данной области техники должно быть понятно, что различные признаки описанных вариантов могут комбинироваться согласно настоящему изобретению. В формуле изобретения термин «содержащий» не исключает наличие других элементов или шагов.

Кроме того, множество средств, элементов, схем или шагов способов, хотя они здесь и были отдельно перечислены, могут быть реализованы, например, с помощью одной схемы, блока или процессора. Вдобавок, хотя отдельные признаки могут содержаться в разных пунктах формулы изобретения, они потенциально могут быть объединены эффективным образом, и их включение в другие пункты формулы изобретения не предполагает, что комбинация признаков является не осуществимой и/или невыгодной. Также включение признака в одну категорию пунктов формулы изобретения не предполагает наличия ограничения на эту категорию, а скорее указывает на то, что данный признак равным образом применим к другим категориям в случае необходимости. Кроме того порядок признаков в пунктах формулы изобретения не предполагает какой-либо особый порядок, в котором эти признаки должны действовать, и в частности, порядок отдельных шагов в заявленном способе не предполагает, что указанные шаги должны выполняться именно в этом порядке. Скорее, шаги могут выполняться в любом подходящем порядке. Вдобавок, ссылки на один объект не исключают наличия множества объектов. Таким образом, ссылки с употреблением в единственном числе, и терминов «первый», «второй» и т.д. не исключают наличие множества объектов. Ссылочные позиции в пунктах формулы изобретения предусмотрены просто для описания поясняющих примеров и не должны трактоваться как любого рода ограничение объема изобретения.

Изобретение относится к области обработки изображений, в частности к созданию изображений с расширенным динамическим диапазоном (HDR) из изображений с суженным динамическим диапазоном (LDR), и касается объединения информации с расширенным динамическим диапазоном с 3D информацией. Техническим результатом является обеспечение кодирования информации, связанной с HDR, и информации, связанной с 3D, а именно использовать существующие зависимости между разными кодированными представлениями съемки одной и той же сцены, где указанные кодированные представления имеют разные уровни достоверности. Предложено устройство кодирования для кодирования изображения первого вида с расширенным динамическим диапазоном и изображения второго вида с расширенным динамическим диапазоном, содержащее: первый и второй приемники (203, 1201) изображения с HDR, скомпонованные для приема изображения первого вида с расширенным динамическим диапазоном и изображения второго вида с расширенным динамическим диапазоном; предсказатель (209), скомпонованный для предсказания изображения первого вида с расширенным динамическим диапазоном исходя из представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном; и предсказатель (1203) вида для предсказания изображения второго вида с расширенным динамическим диапазоном исходя по меньшей мере одного из: изображения первого вида с расширенным динамическим диапазоном, представления с суженным динамическим диапазоном изображения второго вида с расширенным динамическим диапазоном или представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном. 4 н. и 8 з.п. ф-лы, 22 ил.

1. Устройство кодирования для кодирования изображений с расширенным динамическим диапазоном (HDR), содержащее:
первый приемник (203) изображения с HDR, выполненный с возможностью приема изображения первого вида с расширенным динамическим диапазоном;
средство предсказания (209), выполненное с возможностью предсказания изображения первого вида с расширенным динамическим диапазоном исходя из представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном с использованием функции отображения, при этом средство предсказания выполнено с возможностью генерирования функции отображения на основе эталонного изображения с суженным динамическим диапазоном и соответствующего эталонного изображения с расширенным динамическим диапазоном; и
выходной процессор (215), выполненный с возможностью генерирования выходного потока, содержащего кодированное представление с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном и по меньшей мере одно из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном, причем данные отображения указывают на функцию отображения, а остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением первого вида с расширенным динамическим диапазоном и его предсказанием,
отличающееся тем, что:
изображение первого вида с расширенным динамическим диапазоном представляет первый вид видеопоследовательности с множественными видами, при этом устройство кодирования дополнительно содержит:
второй приемник (1201) изображения с HDR, выполненный с возможностью приема изображения второго вида с расширенным динамическим диапазоном, представляющего второй вид упомянутой видеопоследовательности с множественными видами;
средство предсказания (1203) вида, выполненное с возможностью предсказания изображения второго вида с расширенным динамическим диапазоном исходя из изображения первого вида с расширенным динамическим диапазоном с использованием дополнительной функции отображения, при этом средство предсказания вида выполнено с возможностью генерирования дополнительной функции отображения на основе эталонного изображения с расширенным динамическим диапазоном для первого вида и соответствующего эталонного изображения с расширенным динамическим диапазоном для второго вида, при этом
выходной процессор (215) дополнительно выполнен с возможностью включать в выходной поток по меньшей мере одно из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном, причем дополнительные данные отображения указывают на дополнительную функцию отображения, а дополнительные остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением второго вида с расширенным динамическим диапазоном и его предсказанием.

2. Устройство кодирования по п. 1, отличающееся тем, что изображение первого вида с расширенным динамическим диапазоном и изображение второго вида с расширенным динамическим диапазоном являются изображениями сцены в упомянутой видеопоследовательности с множественными видами, при этом упомянутые эталонное изображение с суженным динамическим диапазоном, соответствующее эталонное изображение с расширенным динамическим диапазоном, эталонное изображение с расширенным динамическим диапазоном для первого вида и соответствующее эталонное изображение с расширенным динамическим диапазоном для второго вида являются предыдущими изображениями данной сцены в упомянутой видеопоследовательности с множественными видами, при этом:
устройство кодирования дополнительно содержит средство обнаружения изменения сцены для обнаружения того, имело ли место изменение сцены, чтобы определить, что упомянутые предыдущие изображения являются изображениями той же самой сцены, что и изображение первого вида с расширенным динамическим диапазоном и изображение второго вида с расширенным динамическим диапазоном, и
выходной процессор (215) выполнен с возможностью включать упомянутые данные отображения и дополнительные данные отображения в выходной поток в качестве реакции на обнаружение изменения сцены.

3. Устройство кодирования по п. 1, отличающееся тем, что средство предсказания (1203) вида выполнено с возможностью предсказывать изображение второго вида с расширенным динамическим диапазоном дополнительно с использованием по меньшей мере одного из представления с суженным динамическим диапазоном изображения второго вида с расширенным динамическим диапазоном и представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном.

4. Устройство кодирования по п. 1, отличающееся тем, что средство предсказания (209) дополнительно выполнено с возможностью предсказания изображения первого вида с расширенным динамическим диапазоном на основе запомненного субдискретизированного описания пространственной взаимосвязи между пиксельными значениями представления с суженным динамическим диапазоном и пиксельными значениями изображения первого вида с расширенным динамическим диапазоном.

5. Устройство кодирования по п. 1 или 2, отличающееся тем, что средство предсказания (209) дополнительно выполнено с возможностью предсказания изображения первого вида с расширенным динамическим диапазоном на основе индикаторов глубины для пространственных зон представления с суженным динамическим диапазоном.

6. Устройство кодирования по п. 1, отличающееся тем, что изображение первого вида с расширенным динамическим диапазоном и изображение второго вида с расширенным динамическим диапазоном совместно кодируются, причем изображение первого вида с расширенным динамическим диапазоном кодируется независимо от изображения второго вида с расширенным динамическим диапазоном, а изображение второго вида с расширенным динамическим диапазоном кодируется с использованием данных из изображения первого вида с расширенным динамическим диапазоном, при этом кодированные данные разделяются на отдельные потоки данных, включая первичный поток данных, содержащий данные для изображения первого вида с расширенным динамическим диапазоном, и вторичный поток данных, содержащий данные для изображения второго вида с расширенным динамическим диапазоном, при этом выходной процессор (215) дополнительно выполнен с возможностью мультиплексировать предпочтительно перемежающимся образом первичный и вторичный потоки данных в выходной поток кодированных данных и обеспечивать данные для первичного и вторичного потоков данных отдельными идентификационными кодами.

7. Устройство кодирования по п. 1, отличающееся тем, что по меньшей мере одно из средства (209) предсказания и средства предсказания (1203) вида соединено с несколькими блоками памяти изображения для запоминания соответственного одного из предсказания изображения первого вида с расширенным динамическим диапазоном и предсказания изображения второго вида с расширенным динамическим диапазоном.

8. Устройство декодирования для декодирования изображений с расширенным динамическим диапазоном, содержащее:
первый приемник (2201) для приема кодированного представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном;
второй приемник (2202) для приема по меньшей мере одного из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном, при этом данные отображения указывают на функцию отображения, предназначенную для предсказания изображения первого вида с расширенным динамическим диапазоном исходя из упомянутого представления с суженным динамическим диапазоном, причем остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением первого вида с расширенным динамическим диапазоном и упомянутым предсказанием;
декодер (2204+2205) для получения изображения первого вида с расширенным динамическим диапазоном исходя из декодированного представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном и упомянутого по меньшей мере одного из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном,
отличающееся тем, что:
изображение первого вида с расширенным динамическим диапазоном представляет первый вид видеопоследовательности с множественными видами, при этом устройство декодирования дополнительно содержит:
третий приемник (2203) для приема по меньшей мере одного из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном, причем дополнительные данные отображения указывают на дополнительную функцию отображения, предназначенную для предсказания изображения второго вида с расширенным динамическим диапазоном исходя из изображения первого вида с расширенным динамическим диапазоном, при этом изображение второго вида с расширенным динамическим диапазоном представляет второй вид упомянутой видеопоследовательности с множественными видами, а дополнительные остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением второго вида с расширенным динамическим диапазоном и упомянутым предсказанием; и
декодер (2210) вида для получения изображения второго вида с расширенным динамическим диапазоном на основе изображения первого вида с расширенным динамическим диапазоном и упомянутого по меньшей мере одного из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном.

9. Устройство декодирования по п. 8, отличающееся тем, что средство предсказания дополнительно выполнено с возможностью предсказания изображения первого вида с расширенным динамическим диапазоном на основе полученной информации о глубине для первого вида.

10. Устройство декодирования по п. 8, отличающееся тем, что дополнительно содержит средство форматирования, выполненное с возможностью разделения перемежающихся первичного и вторичного потоков данных, содержащихся в кодированном потоке данных, созданном кодером по п. 6.

11. Способ кодирования изображений с расширенным динамическим диапазоном, содержащий:
прием изображения первого вида с расширенным динамическим диапазоном;
генерирование функции отображения на основе эталонного изображения с суженным динамическим диапазоном и соответствующего эталонного изображения с расширенным динамическим диапазоном;
предсказание изображения первого вида с расширенным динамическим диапазоном исходя из представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном с использованием функции отображения; и
генерирование выходного потока, содержащего кодированное представление с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном и по меньшей мере одно из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном, причем данные отображения указывают на функцию отображения, а остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением первого вида с расширенным динамическим диапазоном и его предсказанием,
отличающийся тем, что:
изображение первого вида с расширенным динамическим диапазоном представляет первый вид видеопоследовательности с множественными видами, при этом способ дополнительно содержит:
прием изображения второго вида с расширенным динамическим диапазоном, представляющего второй вид упомянутой видеопоследовательности с множественными видами;
генерирование дополнительной функции отображения на основе эталонного изображения с расширенным динамическим диапазоном для первого вида и соответствующего эталонного изображения с расширенным динамическим диапазоном для второго вида;
предсказание изображения второго вида с расширенным динамическим диапазоном исходя из изображения первого вида с расширенным динамическим диапазоном с использованием дополнительной функции отображения; и
включение в выходной поток по меньшей мере одного из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном, причем дополнительные данные отображения указывают на дополнительную функцию отображения, а дополнительные остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением второго вида с расширенным динамическим диапазоном и его предсказанием.

12. Способ декодирования изображений с расширенным динамическим диапазоном, содержащий:
прием кодированного представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном;
прием по меньшей мере одного из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном, при этом данные отображения указывают на функцию отображения, предназначенную для предсказания изображения первого вида с расширенным динамическим диапазоном исходя из упомянутого представления с суженным динамическим диапазоном, причем остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением первого вида с расширенным динамическим диапазоном и упомянутым предсказанием;
получение изображения первого вида с расширенным динамическим диапазоном исходя из декодированного представления с суженным динамическим диапазоном изображения первого вида с расширенным динамическим диапазоном и упомянутого по меньшей мере одного из данных отображения и остаточных данных изображения с расширенным динамическим диапазоном,
отличающийся тем, что:
изображение первого вида с расширенным динамическим диапазоном представляет первый вид видеопоследовательности с множественными видами, при этом способ дополнительно содержит:
прием по меньшей мере одного из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном, причем дополнительные данные отображения указывают на дополнительную функцию отображения, предназначенную для предсказания изображения второго вида с расширенным динамическим диапазоном исходя из изображения первого вида с расширенным динамическим диапазоном, при этом изображение второго вида с расширенным динамическим диапазоном представляет второй вид упомянутой видеопоследовательности с множественными видами, а дополнительные остаточные данные изображения с расширенным динамическим диапазоном представляют различие между изображением второго вида с расширенным динамическим диапазоном и упомянутым предсказанием; и
получение изображения второго вида с расширенным динамическим диапазоном на основе изображения первого вида с расширенным динамическим диапазоном и упомянутого по меньшей мере одного из дополнительных данных отображения и дополнительных остаточных данных изображения с расширенным динамическим диапазоном.