УСТРОЙСТВО И СПОСОБ ДЕКОДИРОВАНИЯ И УСТРОЙСТВО И СПОСОБ КОДИРОВАНИЯ Российский патент 2019 года по МПК H04N19/70 H04N19/60 

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству декодирования и способу декодирования, и к устройству кодирования, и способу кодирования, и, в частности, к устройству декодирования и способу декодирования, и к устройству кодирования, и способу кодирования, позволяющим преобразовывать декодируемое изображение в требуемое изображение с разным динамическим диапазоном.

Уровень техники

В последние годы широкое распространение получили устройства, которые соответствуют способу, такому как Группа экспертов движущегося изображения (MPEG), как в отношении доставки информации в станциях широковещательной передачи и т.п., так и при приеме информации в обычных домах. MPEG сжимает информацию изображения, используя ортогональное преобразование, такое как дискретное косинусное преобразование, и выполняет компенсацию движения, используя избыточность, уникальную для информации изображения.

В частности, способ MPEG2 (ISO/IEC 13818-2) определен, как способ кодирования изображений общего использования, и в настоящее время широко используется в распространенных приложениях для профессионального использования и пользования потребителями, как стандарт, охватывающий, как изображение с чересстрочной разверткой, так и изображение с последовательной разверткой, и изображение стандартного разрешения, и изображение высокой четкости. В результате использования способа MPEG2 становится возможным реализовать высокую степень сжатия и хорошее качество изображения, например, путем назначения скорости передачи битов от 4 Мбит/с до 8 Мбит/с для изображения с чересстрочной разверткой, со стандартным разрешением, имеющим 720×480 пикселей, и путем назначения скорости передачи битов от 18 Мбит/с до 22 Мбит/с для изображения к чересстрочной разверткой, с высоким разрешением, имеющим 1920×1088 пикселей.

MPEG2, в основном, предназначен для кодирования изображения высокого качества, пригодного для широковещательной передачи, но не работает со способом кодирования со скоростью передачи битов ниже, чем MPEG1, то есть при более высокой степени сжатия. В результате широкого использования портативных терминалов, считается, что увеличивается потребность в таком способе кодирования, и, таким образом, была выполнена стандартизация способа кодирования MPEG4, которая соответствует им. Что касается способа кодирования изображений, в соответствии с MPEG4, его стандарт был утвержден, как международный стандарт под названием ISO/IEC 14496-2 в декабре 1998 г.

Кроме того, в последние годы была выполнена работа по внедрению стандарта под названием H.26L (ITU-T Q6/16 VCEG), который первоначально предназначался для кодирования изображения для использования в видеоконференциях. В H.26L используется большой объем расчетов, связанный с кодированием и декодированием, по сравнению со способом кодирования предшествующего уровня техники, таким как MPEG2 или MPEG4, но, как известно, при этом реализуется высокая эффективность кодирования.

Кроме того, как часть действий, связанных с MPEG4, в настоящее время стандартизируют объединенную модель кодирования видеоданных с улучшенным сжатием для того, чтобы реализовать более высокую эффективность кодирования, путем также внедрения функций, которые не поддерживаются H.26L, на основе H.26L. Что касается плана его стандартизации, способ кодирования стал международным стандартом под наименованием H.26L и MPEG 4 часть 10 ((Усовершенствованное кодирование видеоданных (AVC)) в марте 2003 г.

Кроме того, в качестве расширения способа AVC, в феврале 2005 г. стандартизовали Расширение точности воспроизведения (FRExt), который включает в себя инструменты кодирования для использования в бизнесе, такие как RGB или YUS422 и YUV444, и также включает в себя 8×8 DCT, или матрицу квантования, определенную в MPEG2. Здесь реализуется способ кодирования, в котором даже шумы пленки, содержащейся в кинофильме, могут быть предпочтительно подчеркнуты, используя способ AVC, и это позволяет его использовать в различных вариантах применения, таких как диск Blu-Ray (зарегистрированный товарный знак) (BD).

Однако в последнее время, увеличилась потребность в кодировании в более высокой степенью сжатия, такая как потребность для сжатия изображения, содержащего приблизительно 4000×2000 пикселей, что в четыре раза больше размера изображения высокой четкости или потребность в передаче изображения высокой четкости при ограниченных возможностях передачи, таких как через Интернет. По этой причине исследование улучшения эффективности кодирования выполняется в настоящее время выполняется в Группе экспертов кодирования видеоданных (VCEG), которая представляет собой филиал упомянутой выше ITU-T.

Кроме того, в настоящее время, с целью достижения более высокой эффективности кодирования, чем у AVC, выполняется стандартизация способа кодирования, называемого Кодированием видеоданных высокой эффективности (HEVC), выполняемое Объединенными командами по взаимодействию кодирования видеоданных (JCTVC), которые представляют собой объединенную организацию стандартизации ITU-T и ISO/IEC. NPL 1 опубликован, как проект, в августе 2013 г.

В то же время, в последнее время, в ходе развития технологий, на рынке начались продажи дисплея с расширенным динамическим диапазоном (HDR), с максимальной яркостью 500 нит или 1000 нит.

В случае совместного использования дисплея со стандартным динамическим диапазоном (SDR) и дисплея HDR, необходимо кодировать каждое изображение SDR и изображение HDR в способе AVC или в способе HEVC, и это приводит к увеличению объема данных. Поэтому, рассматривается способ, в котором кодируют изображения SDR и изображения HDR, и затем преобразуют динамический диапазон после выполнения декодирования, в соответствии с необходимостью, генерируя, таким образом, другие данные.

Список литературы

Не патентная литература

[NPL 1] Benjamin Bross, Gary J. Sullivan, Ye-Kui Wang, "Editors' proposed corrections to HEVC version 1", JCTVC-M0432_v3, 2013. 4. 18-4. 26

Раскрытие изобретения

Техническая задача

Однако преобразование в изображение, которое было предусмотрено производителем, не рассматривается, когда выполняют преобразование динамического диапазона.

Желательно выполнять преобразование декодируемого изображения в требуемое изображение с другим динамическим диапазоном.

Решение задачи

В соответствии с вариантом осуществления настоящего раскрытия, предложено устройство декодирования, включающее в себя: схему, выполненную с возможностью приема кодированных данных и информации преобразования, кодированные данные, относящиеся к изображению, имеющему яркость в первом динамическом диапазоне, и информация преобразования, относящаяся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и декодирования принятых кодированных данных для генерирования изображения, в котором при преобразовании используется коленчатая функция.

Способ декодирования, обеспечивающий выполнение устройством декодирования: приема кодированных данных и информации преобразования, кодированные данные, относящиеся к изображению, имеющему яркость в первом динамическом диапазоне, и информация преобразования, относящаяся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и декодирования принятых кодированных данных так, чтобы сгенерировать изображение, в котором при преобразовании используется коленчатая функция.

Устройство кодирования, включающее в себя: схему, выполненную с возможностью устанавливать информацию преобразования, относящуюся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и кодировать изображение, имеющее яркость в первом динамическом диапазоне так, чтобы генерировать кодированные данные, в котором при преобразовании используется коленчатая функция.

Энергонезависимый считываемый компьютером носитель записи, на котором содержатся кодированные данные и информация преобразования, кодированные данные, относящиеся к изображению, имеющему яркость в первом динамическом диапазоне, и информация преобразования, относящаяся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон, в котором устройство декодирования декодирует кодированные данные, генерирует изображение на основе декодированных данных, и преобразует динамический диапазон на основе информации преобразования, включающей в себя точку перелома.

В соответствии с вариантом осуществления настоящего раскрытия, предусмотрено устройство декодирования, включающее в себя модуль выделения, который выделяет кодированные данные и информацию преобразования из кодированного потока, включающего в себя кодированные данные первого изображения, которое представляет собой изображение, имеющее яркость в первом динамическом диапазоне, и информацию преобразования, относящуюся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и модуль декодирования, который декодирует кодированные данные, выделенные модулем выделения, так, чтобы генерировать первое изображение.

Способ декодирования, в соответствии с вариантом осуществления настоящего раскрытия, соответствует устройству декодирования, в соответствии с вариантом осуществления настоящего раскрытия.

В соответствии с вариантом осуществления настоящего раскрытия, кодированные данные и информацию преобразования выделяют из кодированного потока, включающего в себя кодированные данные первого изображения, которое представляет собой изображение, имеющее яркость в первом динамическом диапазоне, и информацию преобразования, которая представляет собой информацию, относящуюся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон, и выделенные кодированные данные декодируют так, что генерируют первое изображение.

В соответствии с другим вариантом осуществления настоящего раскрытия, предусмотрено устройство кодирования, включающее в себя модуль установки, который устанавливает информацию преобразования, которая представляет собой информацию, относящуюся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; модуль кодирования, который кодирует первое изображение, которое представляет собой изображение, имеющее яркость в первом динамическом диапазоне, так, чтобы генерировать кодированные данные; и модуль передачи, который передает кодированный поток, включающий в себя информацию преобразования, установленную модулем установки, и кодированные данные первого изображения, сгенерированные модулем кодирования.

Способ кодирования в другом варианте осуществления настоящего раскрытия соответствует устройству кодирования, в соответствии с другим вариантом осуществления настоящего раскрытия.

В соответствии с вариантом осуществления настоящего раскрытия, устанавливают информацию преобразования, которая представляет собой информацию, относящуюся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон, первое изображение, которое представляет собой изображение, имеющее яркость в первом динамическом диапазоне, кодируют так, что генерируют кодированные данные, и передают кодированный поток, включающий в себя информацию преобразования и кодированные данные первого изображения.

Кроме того, устройство декодирования и устройство кодирования, в соответствии с вариантами осуществления, могут быть воплощены, в результате исполнения программы в компьютере.

Кроме того, программа, исполняемая в компьютере для воплощения устройства декодирования и устройства кодирования, в соответствии с вариантом осуществления, могут быть предусмотрены путем передачи программы через среду передачи данных или путем записи программы на носитель записи.

Устройство декодирования и устройство кодирования, в соответствии с вариантами осуществления, могут представлять собой отдельные устройства, и могут представлять собой внутренний блок, формирующий одно устройство.

Полезные результаты изобретения

В соответствии с вариантом осуществления настоящего раскрытия, возможно декодировать кодированные данные изображения. Кроме того, в соответствии с вариантом осуществления настоящего раскрытия, возможно преобразовывать декодируемое изображение в требуемое изображение с другим динамическим диапазоном.

В соответствии с другим вариантом осуществления настоящего раскрытия, можно кодировать изображение. Кроме того, в соответствии с еще одним вариантом осуществления настоящего раскрытия, можно кодировать изображение так, что декодируемое изображение может быть преобразовано в требуемое изображение с другим динамическим диапазоном во время декодирования.

Кроме того, эффекты, описанные здесь, не обязательно ограничены, и может присутствовать только один из эффектов, описанных в настоящем раскрытии.

Краткое описание чертежей

На фиг. 1 представлена схема, иллюстрирующая изображение SDR.

На фиг. 2 представлена схема, иллюстрирующая изображение HDR.

На фиг. 3 представлена схема, иллюстрирующая общий обзор кодирования в варианте осуществления настоящего раскрытия.

На фиг. 4 представлена схема, иллюстрирующая общий обзор декодирования в варианте осуществления настоящего раскрытия.

На фиг. 5 представлена схема, иллюстрирующая разворачивание по коленчатой функции.

На фиг. 6 представлена блок-схема, иллюстрирующая пример конфигурации варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие.

На фиг. 7 представлена схема, иллюстрирующая пример синтаксиса knee_function info SEI.

На фиг. 8 представлена схема, иллюстрирующая каждую часть информации, установленной в knee_function_info SEI на фиг. 7.

На фиг. 9 представлена схема, иллюстрирующая пример информации преобразования, установленной в knee_function_info SEI.

На фиг. 10 представлена схема, иллюстрирующая пример информации преобразования, установленной в knee_function_info SEI.

На фиг. 11 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования потока, выполняемую устройством кодирования.

На фиг. 12 представлена блок-схема, иллюстрирующая пример конфигурации варианта осуществления устройства декодирования, в котором применяется настоящее раскрытие.

На фиг. 13 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования изображения, выполняемую устройством декодирования на фиг. 12.

На фиг. 14 представлена схема, иллюстрирующая другой пример синтаксиса knee_function_info SEI.

На фиг. 15 представлена схема, иллюстрирующая каждую часть информации, установленной в knee_function_info SEI на фиг. 14.

На фиг. 16 представлена блок-схема, иллюстрирующая пример конфигурации первого варианта осуществления устройства кодирования, в котором применяется вариант осуществления настоящего раскрытия.

На фиг. 17 представлена схема, иллюстрирующая первый пример синтаксиса knee_function_info SEI установленной модулем установки на фиг. 16.

На фиг. 18 представлена схема, иллюстрирующая каждую часть информации, установленной в knee_function_info SEI на фиг. 17.

На фиг. 19 представлена схема, иллюстрирующая пример информацию о преобразовании DR на фиг. 17.

На фиг. 20 представлена схема, иллюстрирующая пример DR информации о преобразовании на фиг. 17.

На фиг. 21 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования потока, выполняемую устройством кодирования на фиг. 16.

На фиг. 22 представлена блок-схема, иллюстрирующая пример конфигурации второго варианта осуществления устройства декодирования, в котором применяется настоящее раскрытие.

На фиг. 23 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования изображения, выполняемую устройством декодирования на фиг. 22.

На фиг. 24 представлена схема, иллюстрирующая других примера информацию о преобразовании DR на фиг. 17.

На фиг. 25 представлена схема, иллюстрирующая еще один другой пример информации о преобразовании DR на фиг. 17.

На фиг. 26 представлена схема, иллюстрирующая пример синтаксиса tone_mappmg_info_SEI, включая в себя информацию о преобразовании DR на фиг. 17.

На фиг. 27 представлена схема, иллюстрирующая другой пример синтаксиса tone_mapping_info_SEI, включающего в себя информацию о преобразовании DR на фиг. 17.

На фиг. 28 представлена схема, иллюстрирующая второй пример синтаксиса knee function_info SEI, установленного модулем установки на фиг. 16.

На фиг. 29 представлена схема, иллюстрирующая каждую часть информации, установленной в knee_function_info SEI Фиг. 28.

На фиг. 30 представлена схема, иллюстрирующая пример информацию о преобразовании DR на фиг. 28.

На фиг. 31 представлена схема, иллюстрирующая пример информацию о преобразовании DR на фиг. 28.

На фиг. 32 представлена схема, иллюстрирующая пример синтаксиса tone_mapping_info_SEI, включающего в себя информацию о преобразовании DR на фиг. 28.

На фиг. 33 представлена схема, иллюстрирующая каждую часть информации, установленной в knee_function_info SEI на фиг. 28 в случае, когда количество точек перелома ограничено.

На фиг. 34 представлена схема, иллюстрирующая пример knee_function_info SEI Фиг. 28 в случае, когда количество точек перелома ограничено.

На фиг. 35 представлена схема, иллюстрирующая пример tone_mapping_info_SEI на фиг. 32 в случае, когда количество точек перелома ограничено.

На фиг. 36 представлена схема, иллюстрирующая третий пример синтаксиса knee_function_info SEI, установленного модулем установки на фиг. 16.

На фиг. 37 представлена схема, иллюстрирующая каждую часть информации, установленной в knee_function_info SEI на фиг. 36.

На фиг. 38 представлена схема, иллюстрирующая пример информации о преобразовании DR на фиг. 36.

На фиг. 39 представлена схема, иллюстрирующая пример синтаксиса tone_mapping_info_SEI, включающий в себя информацию о преобразовании DR на фиг. 36.

На фиг. 40 представлена схема, иллюстрирующая четвертый пример синтаксиса knee_function_info SEI, установленного модулем установки на фиг. 16.

На фиг. 41 представлена схема, иллюстрирующая каждую часть информации, установленной в knee_function_info SEI на фиг. 40.

На фиг. 42 представлена схема, иллюстрирующая пример информации о преобразовании DR на фиг. 40.

На фиг. 43 представлена схема, иллюстрирующая пример информации о преобразовании DR на фиг. 40.

На фиг. 44 представлена схема, иллюстрирующая операцию устройства декодирования в случае, когда установлено множество knee_function_info SEI на фиг. 40.

На фиг. 45 представлена схема, иллюстрирующая пример синтаксиса tone_mapping_info_SEI, включающая в себя информацию о преобразовании DR на фиг. 40.

На фиг. 46 представлена схема, иллюстрирующая блок МР4, в котором располагается информация о преобразовании DR.

На фиг. 47 представлена схема, иллюстрирующая пример синтаксиса ToneMapInfo.

На фиг. 48 представлена схема, иллюстрирующая, что семантика в первой конфигурации третьего варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие, отличается от второго варианта осуществления.

На фиг. 49 представлена блок-схема, иллюстрирующая первый пример конфигурации варианта осуществления системы декодирования, к которой применяется настоящее раскрытие.

На фиг. 50А представлена схема, иллюстрирующая пример точки перелома и функции коленчатого преобразования, определенной knee_function_info SEI, которая была принята системой декодирования на фиг. 49.

На фиг. 50В представлена схема, иллюстрирующая пример точки перелома и функции коленчатого преобразования, определенной knee_function_info SEI, которая была системой декодирования на фиг. 49.

На фиг. 51 представлена схема, иллюстрирующая пример приблизительной функции коленчатого преобразования на фиг. 50.

На фиг. 52 представлена схема, иллюстрирующая пример приблизительной функции коленчатого преобразования на фиг. 50.

На фиг. 53 показана блок-схема последовательности операций, иллюстрирующая обработку декодирования, выполняемую устройством декодирования на фиг. 49.

На фиг. 54 показана блок-схема последовательности операций, иллюстрирующая обработку отображения, выполняемую устройством дисплея на фиг. 49.

На фиг. 55 представлена схема, иллюстрирующая пример синтаксиса knee_function_info SEI во второй конфигурации третьего варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие.

На фиг. 56 представлена схема, иллюстрирующая разность в семантике на фиг. 55 от второго варианта осуществления.

На фиг. 57А представлена схема, иллюстрирующая пример точки перелома и функции коленчатого преобразования, определенной knee_function_info SEI на фиг. 55.

На фиг. 57В представлена схема, иллюстрирующая пример точки перелома и функции коленчатого преобразования, определенной knee_function_info SEI на фиг. 55.

На фиг. 58 представлена схема, иллюстрирующая пример приблизительной функции коленчатого преобразования на фиг. 57.

На фиг. 59 представлена схема, иллюстрирующая пример приблизительной функции коленчатого преобразования на фиг. 57.

На фиг. 60 представлена схема, иллюстрирующая пример синтаксиса approximate_knee_function_info SEI.

На фиг. 61 представлена схема, иллюстрирующая взаимосвязь между входным электрическим сигналом и яркостью отображения CRT.

На фиг. 62 представлена схема, иллюстрирующая электрический сигнал, который пропорционален яркости.

На фиг. 63 представлена схема, иллюстрирующая взаимосвязь между входным электрическим сигналом и яркостью отображения.

На фиг. 64 представлена схема, иллюстрирующая функцию с характеристикой, обратной функции, показанной на фиг. 61.

На фиг. 65 представлена схема, иллюстрирующая пример потока обработки до отображения изображения от съемки изображения.

На фиг. 66 представлена схема, иллюстрирующая OETF для использования в изображении SDR.

На фиг. 67 представлена схема, иллюстрирующая OETF для использования в изображении HDR.

На фиг. 68 представлена схема, иллюстрирующая общий обзор обработки фотоэлектрического преобразования в четвертом варианте осуществления.

На фиг. 69 представлена схема, иллюстрирующая общий обзор электрооптического преобразования в четвертом варианте осуществления.

На фиг. 70 представлена блок-схема, иллюстрирующая пример конфигурации четвертого варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие.

На фиг. 71 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования потока, выполняемую устройством кодирования на фиг. 70.

На фиг. 72 представлена блок-схема, иллюстрирующая пример конфигурации четвертого варианта осуществления устройства декодирования, в котором применяется настоящее раскрытие.

На фиг. 73 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования изображения, выполняемую устройством декодирования на фиг. 72.

На фиг. 74 представлена блок-схема, иллюстрирующая пример конфигурации аппаратных средств компьютера.

На фиг. 75 представлена схема, иллюстрирующая пример способа кодирования многообзорного изображения.

На фиг. 76 представлена схема, иллюстрирующая пример конфигурации многообзорного изображения устройство кодирования, в котором применяется настоящее раскрытие.

На фиг. 77 представлена схема, иллюстрирующая пример конфигурации устройства декодирования многообзорного изображения, в котором применяется настоящее раскрытие.

На фиг. 78 представлена схема, иллюстрирующая пример способа кодирования изображения уровня.

На фиг. 79 представлена схема, иллюстрирующая пример пространственного масштабируемого кодирования.

На фиг. 80 представлена схема, иллюстрирующая пример масштабируемого по времени кодирования.

На фиг. 81 представлена схема, иллюстрирующая пример кодирования масштабируемого по отношению S/N.

На фиг. 82 представлена схема, иллюстрирующая пример конфигурации устройства кодирования изображения уровня, в котором применяется настоящее раскрытие.

На фиг. 83 представлена схема, иллюстрирующая пример конфигурации устройства декодирования изображения уровня, в котором применяется настоящее раскрытие.

На фиг. 84 представлена блок-схема, иллюстрирующая схематичный пример конфигурации телевизионного устройства, в котором применяется настоящее раскрытие.

На фиг. 85 представлена блок-схема, иллюстрирующая схематичный пример конфигурации мобильного телефона, в котором применяется настоящее раскрытие.

На фиг. 86 представлена блок-схема, иллюстрирующая схематичный пример конфигурации устройства записи/воспроизведений, в котором применяется настоящее раскрытие.

На фиг. 87 представлена блок-схема, иллюстрирующая схематичный пример конфигурации устройства формирования изображения, в котором применяется настоящее раскрытие.

На фиг. 88 представлена блок-схема, иллюстрирующая пример использования масштабируемого кодирования.

На фиг. 89 представлена блок-схема, иллюстрирующая другой пример использования масштабируемого кодирования.

На фиг. 90 представлена блок-схема, иллюстрирующая еще один другой пример использования масштабируемого кодирования.

На фиг. 91 представлена схема, иллюстрирующая схематичный пример конфигурации видеоустройства, в котором применяется настоящее раскрытие.

На фиг. 92 представлена схема, иллюстрирующая схематичный пример конфигурации видеопроцессора, в котором применяется настоящее раскрытие.

На фиг. 93 представлена схема, иллюстрирующая другой схематичный пример конфигурации видеопроцессора, в котором применяется настоящее раскрытие.

Осуществление изобретения

Основание настоящего раскрытия

Описание изображения SDR

На фиг. 1 показана схема, иллюстрирующая изображение SDR.

Как показано на фиг. 1, изображение SDR представляет собой, например, изображение, качество изображения которого регулируют так, чтобы оно соответствовало устройству дисплея, с максимальной яркостью 100 нит (кандел на квадратный метр). Поскольку максимальная яркость в естественной системе достигает 20000 нит или более, в некоторых случаях, в изображении SDR, динамический диапазон яркости существенно сжат.

Описание изображения HDR

На фиг. 2 показана схема, иллюстрирующая изображение HDR.

Как представлено на фиг. 2, изображение HDR представляет собой изображение, в котором динамический диапазон яркости больше, чем от 0 до 100%. В настоящем описании, если только не будет описано другое, динамический диапазон яркости изображения HDR составляет от 0 до 400%. Например, как представлено на фиг. 2, в случае, когда изображение HDR, в котором динамический диапазон яркости составляет от 0 до 800% (800 нит), кодируют и записывают на диск Blu-ray (зарегистрированный товарный знак) (BD) и т.п., информацию атрибута, обозначающую яркость, также записывают вместе с изображением HDR. Кроме того, информацию атрибута вводят в устройство дисплея вместе с декодированным изображением HDR, и изображение HDR отображают, как изображение, в котором динамический диапазон яркости составляет от 0 до 800%.

Кроме того, в случае, когда максимальная яркость устройства дисплея составляет, например, 1000 нит, яркость изображения HDR масштабируют до 1000 нит и отображают. Даже в случае, когда масштабирование выполняют таким образом, изображение HDR имеет динамический диапазон яркости от 0 до 800%, и, таким образом, ухудшение качества его изображения из-за масштабирования будет меньше, чем у изображения SDR.

Первый вариант осуществления

Общий обзор кодирования в первом варианте осуществления

На фиг. 3 показана схема, иллюстрирующая общий обзор кодирования в первом варианте осуществления устройства кодирования, в котором применяется настоящее раскрытие.

На фиг. 3 на поперечной оси выражено значение яркости (значение входного кода), и на продольной оси выражена яркость (уровень выходного видеоизображения). Кроме того, значение яркости на поперечной оси на фиг. 3 представляет собой значение, получаемое путем установки количества битов значения яркости, равным 10 битам, и установки яркости белого, после преобразования, в соответствии с коленчатой функцией, до 100%, но значение яркости, преобразуемое в значение яркости на практике, представляет собой значение, которое нормализуют по 0 или больше и по 1 или меньше. Это также относится к фиг. 5, описанной ниже.

Как представлено на фиг. 3, в первом варианте осуществления, от 80% до 400% изображение HDR, в котором динамический диапазон яркости составляет от 0 до 400%, сжимают, используя коленчатую функцию до 80%-100%, таким образом, что генерируют изображение SDR, в котором динамический диапазон яркости составляет от 0 до 100%, и затем кодируют.

Общий обзор декодирования в первом варианте осуществления

На фиг. 4 показана схема, иллюстрирующая общий обзор декодирования в первом варианте осуществления устройства декодирования, в котором применяется настоящее раскрытие.

Как представлено на фиг. 4, в первом варианте осуществления, декодируют кодированные данные изображения SDR, в которых динамический диапазон яркости составляет от 0 до 100%, сгенерированные, как описано со ссылкой на фиг. 3. В случае, когда модуль дисплея представляет собой дисплей SDR, изображение SDR, которое получают в результате декодирования, вводят в и отображают в модуле дисплея без изменения. С другой стороны, в случае, когда модуль дисплея представляет собой дисплей HDR, изображение SDR, получаемое в результате декодирования, масштабируют до изображения HDR и вводят в и отображают в модуле дисплея.

В частности, как представлено на фиг. 5, от 80% до 100% изображения SDR, в котором динамический диапазон яркости составляет от 0 до 100%, разворачивают, используя коленчатую функцию, до 80%-400%, и, таким образом, генерируют изображение HDR, в котором динамический диапазон яркости составляет от 0 до 400%. Кроме того, отображают сгенерированное изображение HDR.

Кроме того, в это время, для того, чтобы сгенерировать требуемое изображение HDR, необходима информация, относящаяся к преобразованию, из изображения SDR в требуемое изображение HDR, такая как диапазон (от 80% до 100% в примере на фиг. 5) яркости изображения SDR, которое было подвергнуто преобразованию с использованием коленчатой функции, и диапазон (от 80% до 400% в примере на фиг. 5) яркости в изображении HDR, которое соответствует этому диапазону. Поэтому, в первом варианте осуществления, информацию преобразования, относящуюся к преобразованию из изображения SDR в изображение HDR, передают из устройства кодирования в устройство декодирования, и, таким образом, становится возможным сгенерировать требуемое изображение HDR из декодируемого изображения SDR в устройстве декодирования.

Пример конфигурации первого варианта осуществления устройства кодирования

На фиг. 6 показана блок-схема, иллюстрирующая пример конфигурации первого варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие.

Устройство 10 кодирования на фиг. 6 включает в себя модуль 11 установки, модуль 12 кодирования, модуль 13 передачи и модуль 14 преобразования, и кодирует изображение SDR, которое преобразуют из изображения HDR в способе, соответствующем способу HEVC.

В частности, модуль 11 установки устройства 10 кодирования устанавливает набор параметра последовательности (SPS), набор параметра изображения (PPS), VUI и т.п. Кроме того, модуль 11 установки устанавливает вспомогательную информацию улучшения (SEI) knee_function_info, включающую в себя информацию преобразования, в ответ на команду от пользователя (производителя). Модуль 11 установки передает наборы параметра, включающие в себя SPS, PPS, VUI, knee_function_info SEI и т.п. в модуль 12 кодирования.

Модуль 12 кодирования кодирует изображение SDR, подаваемое из модуля 14 преобразования в способе HEVC. Модуль 12 кодирования генерирует кодированный поток из кодированных данных, которые получают, как результат кодирования, и наборы параметров, которые подают из модуля 11 установки, и передает сгенерированный кодированный поток в модуль 13 передачи.

Модуль 13 передачи передает кодированный поток, подаваемый из модуля 12 кодирования, в устройство декодирования, описанное ниже. Кроме того, модуль 13 передачи может передавать кодированный поток в устройство записи, которое записывает кодированный поток на носитель записи, такой как BD. В этом случае кодированный поток передают в устройство декодирования через носитель записи.

Модуль 14 преобразования преобразует изображение HDR, вводимое из внешнего устройства, в изображение SDR через преобразование коленчатой функции, и подает изображение SDR в модуль 12 кодирования.

Пример синтаксиса knee_function_info SEI

На фиг. 7 показана схема, иллюстрирующая пример синтаксиса knee_function_info SEI, и на фиг. 8 показана схема, иллюстрирующая одну часть информации, установленной в knee_function_info SEI по фиг. 7.

Как представлено на фиг. 7, информация входного положения перелома (knee_point_of_input), информация выходного о положения перелома (knee_point_of_input), информация о выходном диапазоне яркости (output_white_level_range), информация о выходной яркости (output_white_level_range_luminace) и т.п. установлены в knee_function_info SEI, как информация преобразования.

Информация о входном положении перелома представляет собой информацию, обозначающую минимальное значение (точку перелома) яркости, которая представляет собой развернутое значение перелома изображения SDR, которое представляет собой непреобразованное изображение. Информация о входном положении перелома представляет собой выраженную в виде промилле точку перелома, когда максимальное значение яркости изображения SDR установлено равным 1000 промилле.

Информация о выходном положении перелома представляет собой информацию, обозначающую яркость изображения HDR, которое представляет собой преобразованное изображение, соответствующее минимальному значению (точке перелома) яркости, которая представляет собой цель разворачивания по коленчатой функции изображения SDR, которое представляет собой непреобразованное изображение. Информация о выходном положении перелома представляет собой выражение в промилле яркости, соответствующей точке перелома, когда максимальное значение яркости в изображении HDR установлено равным 1000 промилле.

Информация о выходном диапазоне яркости представляет собой информацию, обозначающая яркость белого изображения HDR, которое представляет собой преобразованное изображение. Кроме того, информация о выходной яркости представляет собой информацию, обозначающую яркость (освещенность) модуля дисплея, в соответствии с белым цветом изображения HDR, которое представляет собой преобразованное изображение.

Пример информации преобразования

На фиг. 9 и 10 показаны схемы, иллюстрирующие примеры информации преобразования, установленной в knee_function_info SEI.

В примере на фиг. 9 пользователь устанавливает изображение HDR, которое получают, как результат разворачивания по коленчатой функции от 80% до 100% яркости изображения SDR, в диапазон от 80% до 400%, который используются в качестве требуемого изображения HDR. В этом случае, в knee_function_info SEI равная 800 установлена, как информация о входном положении перелома (knee_point_of_input), и 200 установлена, как информация о выходном положении перелома (knee_point_of_output).

Поэтому, устройство декодирования, описанное ниже, может выполнять разворачивание с использованием коленчатой функции яркости в диапазоне от 80% до 100% изображения SDR, которое получают, как результат декодирования, в диапазон он 80% до 400% на основе информации о входном положении перелома и информации о выходном положении перелома. В результате, устройство декодирования может преобразовывать изображение SDR, полученное в результате декодирования, в требуемое изображение HDR.

Кроме того, в примере на фиг. 9, информация о выходном диапазоне яркости (output_white_level_range) составляет 400, и информация о выходной яркости (output_white_level_range_luminace) составляет 800 (кандел на квадратный метр).

В примере на фиг. 10 пользователь устанавливает изображение HDR, которое получают в результате разворачивания с использованием коленчатой функции в диапазоне от 80% до 100% яркости изображения SDR в диапазон от 100% до 400%, в качестве требуемого изображения HDR. В этом случае, в knee_function_info SEI 800 устанавливается, как информация о входном положении перелома (knee_point_of_input), и 200 устанавливают, как информацию о выходном положении перелома (knee_point_of_output).

Поэтому, устройство декодирования, описанное ниже, может выполнять разворачивание с коленчатой функцией диапазона от 80% до 100% яркости изображения SDR, которое получают в результате декодирования, в диапазон от 100% до 400%, на основе информации о входном положении перелома и информации о выходном положении перелома. В результате, устройство декодирования может преобразовывать изображение SDR, полученное в результате декодирования, в требуемое изображение HDR.

Кроме того, в примере на фиг. 10 информация о выходном диапазоне яркости (output_white_level_range) составляет 400, и информация о выходной яркости (output_white_level_range_luminace) составляет 800 (кандел на квадратный метр).

Описание обработки в устройстве кодирования

На фиг. 11 показана блок-схема последовательности операций, иллюстрирующая поток обработки генерирования, выполняемой устройством 10 кодирования.

На этапе S10, на фиг. 11, модуль 14 преобразования устройства 10 кодирования преобразует изображение HDR, которое подают из внешнего устройства, в изображение SDR, которое затем подают в модуль 12 кодирования.

На этапе S11, модуль 11 установки устанавливает SPS. На этапе S12 модуль 11 установки устанавливает VUI. На этапе S13 модуль 11 установки устанавливает PPS.

На этапе S14 модуль 11 установки устанавливает knee_function_info SEI в соответствии с инструкцией и т.п. от пользователя. Модуль 11 установки подает наборы параметра, включающие в себя набор SPS, PPS, VUI, knee_function_info SEI и т.п. в модуль 12 кодирования.

На этапе S15 модуль 12 кодирования кодирует изображение SDR, подаваемое из модуля 14 преобразования в способе HEVC. На этапе S16 модуль 12 кодирования генерирует кодированный поток из кодированных данных, которые получают, как результат кодирования, и наборы параметров, которые подают из модуля 11 установки, и передает сгенерированный кодированный поток в модуль 13 передачи.

На этапе S17 модуль 13 передачи передает кодированный поток, подаваемый из модуля 12 кодирования, в устройство декодирования, описанное ниже, и затем заканчивает обработку.

Как упомянуто выше, устройство 10 кодирования устанавливает и передает knee_function_info SEI, включающее в себя информацию преобразования, и, таким образом, устройство декодирования, описанное ниже, может преобразовывать изображение SDR, полученное в результате декодирования, в требуемое изображение HDR на основе информации преобразования. Поэтому, можно сказать, что устройство 10 кодирования может кодировать изображение SDR таким образом, что декодируемое изображение SDR может быть преобразовано в требуемое изображение HDR во время декодирования.

Кроме того, после того как информация преобразования будет установлена, устройство 10 кодирования может генерировать кодированный поток изображения, соответствующего дисплею HDR и дисплею SDR, только кодируя изображение SDR. Поэтому, возможно дополнительно уменьшить количество данных кодированного потока по сравнению со случаем кодирования, как изображения HDR, так и изображения SDR.

Пример конфигурации первого варианта осуществления устройства декодирования

На фиг. 12 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления устройства декодирования, которое декодирует кодированный поток, передаваемый из устройства 10 кодирования по фиг. 6, и в котором применяется настоящее раскрытие.

Устройство 50 декодирования по фиг. 12 включает в себя модуль 51 приема, модуль 52 выделения, модуль 53 декодирования, модуль 54 преобразования, модуль 55 управления дисплеем и модуль 56 дисплея.

Модуль 51 приема устройства 50 декодирования принимает кодированный поток, передаваемый из устройства 10 кодирования по фиг. 6, и подает кодированный поток в модуль 52 выделения.

Модуль 52 выделения выделяет наборы параметров и кодированные данные изображения SDR из кодированного потока, который подают из модуля 51 приема. Модуль 52 выделения подает набор параметров и кодированные данные в модуль 53 декодирования. Кроме того, модуль 52 выделения подает knee_function_info SEI среди наборов параметров, в модуль 54 преобразования.

Модуль 53 декодирования декодирует кодированные данные изображения SDR, переданные из модуля 52 выделения, в способе HEVC. В это время модуль 53 декодирования также обращается к наборам параметров, поданным из модуля 52 выделения, в соответствии с необходимостью. Модуль 53 декодирования подает изображение SDR, которое получают в результате декодирования, в модуль 54 преобразования.

Модуль 54 преобразования преобразует изображение SDR, переданное из модуля 53 декодирования, в изображение HDR, используя разворачивание по коленчатой функции на основе информации преобразования, включенной в knee_function_info SEI, переданную из модуля 52 выделения, и подает изображение HDR в модуль 55 управления дисплеем.

Модуль 55 управления дисплеем отображает изображение HDR, переданное из модуля 54 преобразования, в модуль 56 дисплея. Модуль 56 дисплея представляет собой дисплей HDR.

Описание обработки в устройстве декодирования

На фиг. 13 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования изображения, выполняемую устройством 50 декодирования по фиг. 12.

На этапе S51, на фиг. 13, модуль 51 приема устройства 50 декодирования принимает кодированный поток, переданный из устройства кодирования 10 на фиг. 6, и подает кодированный поток в модуль 52 выделения.

На этапе S52, модуль 52 выделения выделяет наборы параметра и кодированные данные SDR из кодированного потока, который подают из модуля 51 приема. Модуль 52 выделения подает наборы параметров и кодированные данные изображения SDR в модуль 53 декодирования. Кроме того, модуль 52 выделения подает knee_function_info SEI среди наборов параметров, в модуль 54 преобразования.

На этапе S53 модуль 53 декодирования декодирует кодированные данные изображения SDR, подаваемые из модуля 52 выделения в способе HEVC. В это время модуль 53 декодирования также обращается к наборам параметров, подаваемым из модуля 52 выделения, в соответствии с необходимостью. Модуль 53 декодирования передает изображение SDR, которое получают, как результат декодирования, в модуль 54 преобразования.

На этапе S54 модуль 54 преобразования получает информацию преобразования из knee_function_info SEI, который подают из модуля 52 выделения.

На этапе S55 модуль 54 преобразования преобразует изображение SDR, подаваемое из модуля 53 декодирования в изображение HDR, на основе информации преобразования, и подает изображение HDR в модуль 55 управления дисплеем.

На этапе S56 модуль 55 управления дисплеем отображает изображение HDR, передаваемое из модуля 54 преобразования в модуль 56 дисплея, и заканчивает обработку.

Как упомянуто выше, устройство 50 декодирования преобразует изображение SDR, полученное в результате декодирования, в изображение HDR, на основе информации преобразования, и, таким образом, может преобразовывать изображение SDR, полученное, как результат декодирования, в требуемое изображение HDR.

Другой пример синтаксиса knee_function_info SEI

На фиг. 14 показана схема, иллюстрирующая другие примеры синтаксиса knee_function_info SEI, и на фиг. 15 показана схема, иллюстрирующая каждую часть информации, установленной в knee_function_info SEI на фиг. 14.

knee_function_info SEI на фиг. 14 является такой же, как knee_function_info SEI на фиг. 7, за исключением того, что информация диапазона яркости (white_level_range) и информация яркости (white_level_range_luminance) установлены вместо информации выходного диапазона яркости (output_white_level_range) и выходной информации яркости (output_white_level_range_luminance).

Информация диапазона яркости представляет собой информацию выходного диапазона яркости, когда информация о входном положении точки перелома (knee_point_of_input) равна или больше, чем информация выходного положения точки перелома (knee_point_of_output), то есть, когда выполняют разворачивание по коленчатой функции на стороне декодирования таким же образом, как и в первом варианте осуществления.

С другой стороны, когда информация о входном положении точки перелома меньше, чем информация о выходном положении точки перелома, то есть, когда выполняют сжатие по коленчатой функции на стороне декодирования, информация о диапазоне яркости представляет собой информацию, обозначающую яркость белого в непреобразованном изображении (например, изображение HDR).

Аналогично, информация яркости (white_level_range_luminance) представляет собой выходную информацию яркости, когда информация входного положения точки перелома равна или больше, чем информация выходного положения точки перелома таким же образом, как и в первом варианте осуществления, и представляет собой информацию, обозначающую яркость (значение) белого непреобразованного изображения (например, изображения HDR), когда информация о входном положении точки перелома меньше, чем информация о выходном положении точки перелома.

Кроме того, в первом варианте осуществления, только изображение SDR кодируют в устройстве 10 кодирования, но только изображение HDR, преобразованное из изображения SDR, может быть кодировано. В этом случае информацию, относящуюся к преобразованию из изображения SDR в изображение HDR, устанавливают в SEI и передают в устройство 50 декодирования. В частности, knee_function_info SEI, представленную на фиг. 7 или фиг. 15, в которой непреобразованное изображение установлено, как изображение HDR, и преобразованное изображение установлено, как изображение SDR, передают в устройство 50 декодирования. Кроме того, устройство 50 декодирования преобразует HDR в оригинальное изображение SDR с высокой точностью на основе knee_function_info SEI.

Кроме того, в первом варианте осуществления, модуль 56 дисплея представляет собой дисплей HDR, но модуль 56 дисплея может представлять собой дисплей SDR. В этом случае модуль 54 преобразования передает изображение SDR в модуль 55 управления дисплеем без преобразования в изображение HDR. В соответствии с этим, изображение SDR отображают в модуле 56 дисплея.

Кроме того, требуемое изображение может представлять собой изображение HDR, которое вводят в устройство 10 кодирования.

Кроме того, в первом варианте осуществления, устройство 10 кодирования преобразует изображение HDR, которое вводят из внешнего устройства в изображение SDR, которое затем кодируют, но возможно кодировать изображение SDR, которое подают из внешнего устройства, без преобразования.

Второй вариант осуществления

Пример конфигурации второго варианта осуществления устройства кодирования

На фиг. 16 показана блок-схема, иллюстрирующая пример конфигурации второго варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие.

Среди составляющих элементов, представленных на фиг. 16, те же составляющие элементы, как составляющие элементы, показанные на фиг. 6, обозначены теми же номерами ссылочных позиций. Повторное описание их будет исключено соответственно.

Конфигурация устройства 70 кодирования на фиг. 16 отличается от конфигурации устройства 10 кодирования на фиг. 6 тем, что модуль 71 установки, модуль 72 кодирования и модуль 73 преобразования предусмотрены вместо модуля 11 установки, модуля 12 кодирования и модуля 14 преобразования. Устройство 70 кодирования кодирует изображение HDR, которое вводят из внешнего устройства, или кодирует изображение SDR, которое преобразуют из изображения HDR, в способе, подтверждающем способ HEVC.

В частности, модуль 71 установки устройства 70 кодирования устанавливает SPS, PPS, VUI и т.п. Кроме того, модуль 71 установки устанавливает SEI, такую как knee_function_info SEI, включающую в себя информацию преобразования DR, в ответ на команду, поступающую от пользователя (производителя). Информация преобразования DR представляет собой информацию, относящуюся к преобразованию из динамического диапазона яркости изображения, который представляет собой цель кодирования, в другой динамический диапазон. Модуль 71 установки подает наборы параметров, включающие в себя установленные SPS, PPS, VUI, knee_function_info SEI и т.п., в модуль 72 кодирования.

Модуль 72 кодирования устанавливает изображение HDR или изображение SDR, подаваемое из модуля 73 преобразования, как изображение - цель кодирования, и кодирует изображение цели кодирования в способе HEVC. Модуль 72 кодирования генерирует кодированный поток из кодированных данных, которые получают, как результат кодирования, и наборы параметров, которые подают из модуля 71 установки, и передает сгенерированный кодированный поток в модуль 13 передачи.

Модуль 73 преобразования выполняет сжатие по коленчатой функции яркости изображения HDR, которое вводят из внешнего устройства, таким образом, чтобы сгенерировать изображение SDR, которое затем передают в модуль 72 кодирования, или подает изображение HDR, которое вводят из внешнего устройства в модуль 72 кодирования без сжатия.

Первый пример синтаксиса knee_function_info SEI

На фиг. 17 показана схема, иллюстрирующая первый пример синтаксиса knee_function_info SEI, установленного модулем 71 установки по фиг. 16, и на фиг. 18 показана схема, иллюстрирующая каждую часть информации, установленную в knee function info SEI на фиг. 17.

Как представлено на фиг. 17, Id преобразования по коленчатой функции (knee_function_id) и флаг отмены преобразования по коленчатой функции (knee_function_cancel_flag) установлены в knee_function_info SEI.

Id преобразования по коленчатой функции представляет собой уникальный Id, предназначенный для преобразования по коленчатой функции, которое представляет собой сжатие по коленчатой функции или разворачивание по коленчатой функции, как представлено на фиг. 18. Кроме того, флаг отмены преобразования по коленчатой функции представляет собой флаг, иллюстрирующий, было ли отменено или нет постоянство предыдущей knee_function_info SEI. Флаг отмены преобразования по коленчатой функции установлен в 1, когда это обозначает, что постоянство предыдущей knee_function_info SEI отменено, и устанавливается в 0, когда постоянство не отменено.

Если флаг отмены преобразования по коленчатой функции равен 0, как представлено на фиг. 17, одну часть информации о положении перед преобразованием (input_knee_point), одну часть информации о положении после преобразования (output_knee_point), информацию о диапазоне яркости HDR (d_range), и информацию о яркости дисплея (d_range_disp_luminance) устанавливают в knee_function_info SEI, как информацию преобразования DR.

Информация о положении перед преобразованием представляет собой информацию, обозначающую точку перелома изображения цели кодирования, которая представляет собой непреобразованное изображение при преобразовании, соответствующем информации преобразования DR, и представляет собой представление в промилле точки перелома, когда максимальное значение яркости изображения цели кодирования установлено, как 1000 промилле. Точка перелома представляет собой яркость (которая представляет собой значение, полученное в результате нормализации линейных значений RGB в диапазоне от 0,0 до 1,1), кроме 0, который представляет собой исходную точку диапазона яркости, которую преобразуют по коленчатой функции с таким же отношением преобразования, как и динамический диапазон яркости изображения цели кодирования.

Информация о положении после преобразования представляет собой информацию, обозначающую начальную точку диапазона яркости, соответствующего диапазону яркости, преобразованному по коленчатой функции, которая имеет точку перелома, как начальную точку, в изображении после преобразования (ниже называется преобразованным изображением) при преобразовании, которое соответствует информации преобразования DR. В частности, информация о положении после преобразования представляет собой выраженное в промилле значение яркости преобразованного изображения, соответствующего точке перелома, когда максимальное значение яркости преобразованного изображения установлено, как 1000 промилле.

Информация диапазона яркости HDR представляет собой информацию, обозначающую выраженное в промилле максимальное значение яркости изображения HDR, которое представляет собой целевое изображение кодирования или преобразованное изображение. Кроме того, информация яркости отображения представляет собой информацию, обозначающую ожидаемое значение яркости (освещенности) модуля дисплея, соответствующего максимальному значению яркости изображения HDR.

Первый пример информации преобразования DR

На фиг. 19 и 20 показаны схемы, иллюстрирующие примеры информации преобразовании DR, установленной в knee_function_irifo SEI по фиг. 17.

В примере на фиг. 19 целевое изображение кодирования представляет собой изображение SDR, и пользователь устанавливает изображение HDR, которое получают, как результат разворачивания по коленчатой функции диапазона от 80% до 100% яркости изображения SDR в диапазон от 80% до 400%, в качестве требуемого преобразованного изображения. В этом случае, в knee_function_info SEI 800 устанавливают, как информацию о положении перед преобразованием (input_knee_point), и 200 устанавливают, как информацию о положении после преобразования (output_knee_point).

Кроме того, в примере на фиг. 19 информация о диапазоне яркости HDR (d_range) равна 4000, и информация о диапазоне яркости дисплея (d_range_disp_luminance) равна 800 (кандел на квадратный метр).

Как и в случае на фиг. 19, в случае, когда целевое изображение кодирования представляет собой изображение SDR, и преобразованное изображение представляет собой изображение HDR, точка перелома input_knee_point_PER (%) и яркость output_knee_point_PER (%) преобразованного изображения, соответствующего точке перелома, определяют следующим Уравнением (1).

Поэтому, устройство декодирования, описанное ниже, распознает, что точка перелома input_knee_point_PER и яркость output_knee_point_PER равны 80% в соответствии с Уравнением (1). Кроме того, устройство декодирования, описанное ниже, распознает, что преобразование по коленчатой функции, соответствующее информации преобразования DR, представляет собой разворачивание по коленчатой функции, поскольку информация о положении перед преобразованием равна или больше, чем информация о положении после преобразования. Кроме того, устройство декодирования, описанное ниже, распознает, что максимальное значение яркости преобразованного изображения равно 400%, из информации о диапазоне яркости HDR.

Как упомянуто выше, устройство декодирования, описанное ниже, выполняет преобразование по коленчатой функции диапазона от 80% до 100% яркости изображения SDR, которое получают, как результат декодирования, в диапазон от 80% до 400%. Поэтому, устройство декодирования может преобразовывать изображение SDR, полученное в результате декодирования, в требуемое изображение HDR.

В примере на фиг. 20, изображение цели кодирования представляет собой изображение HDR, и пользователь устанавливает изображение SDR, которое получают, как результат сжатия по коленчатой функции диапазона от 80% до 400% яркости изображения HDR в диапазон от 80% до 100%, в качестве требуемого преобразованного изображения. В этом случае, в knee_function_info SEI значение 200 устанавливают, как информацию о положении перед преобразованием (input_knee_point), и значение 800 устанавливают, как информацию о положении после преобразования (output_knee_point).

Кроме того, в примере на фиг. 20, информация диапазона яркости HDR (d_range) равна 4000, и информация о диапазоне яркости дисплея (d_range_disp_luminance) равна 800 (кандел на квадратный метр).

Как и в случае на фиг. 20, в случае, когда целевое изображение кодирования представляет собой изображение HDR, и преобразованное изображение представляет собой изображение SDR, точка перелома input_knee_point_PER (%) и яркость output_knee_point_PER (%) преобразованного изображения, соответствующего точке перелома, определяется по следующему Уравнению (2).

Поэтому, устройство декодирования, описанное ниже, распознает, что точка перелома input_knee_point_PER, и яркость output_knee_point_PER составляют 80%, в соответствии с Уравнением (2). Кроме того, устройство декодирования, описанное ниже, распознает, что преобразование по коленчатой функции, соответствующее информации преобразования DR, представляет собой сжатие по коленчатой функции, поскольку информация о положении перед преобразованием меньше, чем информация о положении после преобразования. Кроме того, устройство декодирования, описанное ниже, распознает, что максимальное значение яркости преобразованного изображения составляет 400%, из информации диапазона яркости HDR.

Как упомянуто выше, устройство декодирования, описанное ниже, выполняет сжатие по коленчатой функции диапазона от 80% до 400% яркости изображения SDR, которое получают в результате декодирования, в диапазон от 80% до 100%. Поэтому, устройство декодирования может преобразовывать изображение HDR, полученное в результате декодирования, в требуемое изображение SDR.

Описание обработки в устройстве кодирования

На фиг. 21 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования потока, выполняемую устройством 70 кодирования на фиг. 16.

На этапе S71, на фиг. 21, модуль 73 преобразования устройства 70 кодирования определяет, является или нет, например, целевое изображение кодирования изображением SDR, в ответ на инструкцию и т.п. от пользователя. Если определяют, что целевое изображение кодирования представляет собой изображение SDR на этапе S71, обработка переходит на этап S72.

На этапе S72, модуль 73 преобразования преобразует изображение HDR, которое вводят из внешнего устройства, в изображение SDR посредством сжатия по коленчатой функции яркости изображения HDR, и подает изображение SDR в модуль 72 кодирования.

С другой стороны, если определяют, что целевое изображение кодирования не является изображением SDR на этапе S71, то есть, целевое изображение кодирования представляет собой изображение HDR, модуль 73 преобразования передает изображение HDR, которое вводят из внешнего устройства в модуль 72 кодирования без изменения, и обработка переходит на этап S73.

На этапе S73, модуль 71 установки устанавливает SPS. На этапе S74, модуль 71 установки устанавливает VUI. На этапе S75 модуль 71 установки устанавливает PPS.

На этапе S76 модуль 71 установки устанавливает knee_function_info SEI, в ответ на инструкцию и т.п. от пользователя. Модуль 71 установки подает наборы параметров, включающие в себя наборы SPS, PPS, VUI, knee_function_info SEI, и т.п., в модуль 72 кодирования.

На этапе S77, модуль 72 кодирования кодирует изображение SDR или изображение HDR, передаваемое из модуля 73 преобразования, как целевое изображение кодирования, в способе HEVC. На этапе S78, модуль 72 кодирования генерирует кодированный поток из кодированных данных, которые получают, как результат кодирования, и наборы параметров, которые подают из модуля 71 установки, и передает сгенерированный кодированный поток, в модуль 13 передачи.

На этапе S79, модуль 13 передачи передает кодированный поток, подаваемый из модуля 72 кодирования, в устройство декодирования, описанное ниже, и затем заканчивает обработку.

Как упомянуто выше, устройство 70 кодирования устанавливает и передает knee_function_info SEI, включающую в себя информацию преобразования DR, и, таким образом, устройство декодирования, описанное ниже, может преобразовывать целевое изображение кодирования, полученное в результате декодирования, в требуемое преобразованное изображение, на основе информации преобразования DR. Поэтому, можно сказать, что устройство 70 кодирования может кодировать изображение таким образом, что декодированное изображение может быть преобразовано в требуемое преобразованное изображение во время декодирования.

Кроме того, поскольку информация преобразования DR установлена, устройство 70 кодирования может генерировать кодированный поток изображения, соответствующего дисплею HDR, и только дисплею SDR, путем кодирования либо изображения SDR, или изображения HDR. Поэтому, возможно дополнительно уменьшить объем данных кодированного потока по сравнению со случаем кодирования, как изображения HDR, так и изображения SDR.

Пример конфигурации второго варианта осуществления устройства декодирования

На фиг. 22 показана блок-схема, иллюстрирующая пример конфигурации второго варианта осуществления устройства декодирования, которое декодирует кодированный поток, передаваемый из устройства 70 кодирования по фиг. 16 и в котором применяется настоящее раскрытие.

Среди составляющих элементов, представленных на фиг. 22, те же составляющие элементы, что и составляющие элементы на фиг. 12, обозначены одинаковыми номерами ссылочных позиций. Повторное описание будет исключено, соответственно.

Конфигурация устройства 90 декодирования по фиг. 22 отличается от конфигурации устройства 50 декодирования на фиг. 12 тем, что модуль 91 выделения, модуль 92 декодирования, модуль 93 преобразования, модуль 94 управления дисплеем, и модуль 95 дисплея, предусмотрены вместо модуля 52 выделения, модуля 53 декодирования, модуля 54 преобразования, модуля 55 управления дисплеем и модуля 56 дисплея. Устройство 90 декодирования преобразует декодированное изображение в преобразованное изображение, в соответствии с типом модуля 95 дисплея, и отображает преобразованное изображение в модуле 95 дисплея.

В частности, модуль 91 выделения устройства 90 декодирования выделяет наборы параметров и кодированные данные из кодированного потока, который передают из модуля 51 приема. Модуль 91 выделения передает наборы параметра и кодированные данные в модуль 92 декодирования. Кроме того, модуль 91 выделения передает knee_function_info SEI среди наборов параметров, в модуль 93 преобразования.

Модуль 92 декодирования декодирует кодированные данные, передаваемые из модуля 91 выделения, в способе HEVC. В это время модуль 92 декодирования также обращается к наборам параметров, подаваемым из модуля 91 выделения, в соответствии с необходимостью. Модуль 92 декодирования передает декодированное изображение в модуль 93 преобразования.

В случае, когда динамический диапазон яркости, соответствующий модулю 95 дисплея, представляет собой динамический диапазон яркости декодируемого изображения, модуль 93 преобразования передает декодированное изображение, которое передает из модуля 92 декодирования, в модуль 94 управления дисплеем без изменения. С другой стороны, в случае когда динамический диапазон яркости, соответствующей модулю 95 дисплея, не является динамическим диапазоном яркости декодируемого изображения, модуль 93 преобразования преобразует декодированное изображение в преобразованное изображение через преобразование по коленчатой функции на основе информации преобразования DR, включенной в knee_function_info SEI, передаваемой из модуля 91 выделения. Кроме того, модуль 93 преобразования передает преобразованное изображение в модуль 94 управления дисплеем, как изображение дисплея.

В частности, в случае, когда модуль 95 дисплея представляет собой дисплей HDR, и декодированное изображение представляет собой изображение HDR, или в случае, когда модуль 95 дисплея представляет собой дисплей SDR, и декодируемое изображение представляет собой изображение SDR, модуль 93 преобразования передает декодированное изображение в модуль 94 управления дисплеем без изменения. С другой стороны, в случае, когда модуль 95 дисплея представляет собой дисплей SDR, и декодированное изображение представляет собой изображение HDR, или в случае, когда модуль 95 дисплея представляет собой дисплей HDR, и декодированное изображение представляет собой изображение SDR, модуль 93 преобразования выполняет преобразование по коленчатой функции декодированного изображения на основе информации преобразования DR, таким образом, для генерирования преобразованного изображения. Кроме того, модуль 93 преобразования подает преобразованное изображение в модуль 94 управления дисплеем, как изображение дисплея.

Модуль 94 управления дисплеем отображает изображение дисплея, подаваемое из модуля 93 преобразования в модуль 95 дисплея. В соответствии с этим, в случае, когда модуль 95 дисплея представляет собой дисплей HDR, изображение HDR отображают в модуле 95 дисплея, и в случае, когда модуль 95 дисплея представляет собой дисплей SDR, изображение SDR отображают в модуле 95 дисплея. Модуль 95 дисплея представляет собой дисплей HDR или дисплей SDR, и отображает изображение дисплея, подаваемое из модуля 94 управления дисплеем.

Описание обработки в устройстве декодирования

На фиг. 23 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования изображения, выполняемую устройством 90 декодирования по фиг. 22.

На этапе S91, на фиг. 23, модуль 51 приема устройства 90 декодирования принимает кодированный поток, передаваемый из устройства 70 кодирования на фиг. 16, и подают кодированный поток в модуль 91 выделения.

На этапе S92 модуль 91 выделения выделяет наборы параметров и кодированные данные из кодированного потока, которые подают из модуля 51 приема. Модуль 91 выделения подает наборы параметров и кодированные данные в модуль 92 декодирования. Кроме того, модуль 91 выделения подает knee_function_info SEI среди наборов параметров в модуль 93 преобразования.

На этапе S93 модуль 92 декодирования декодирует кодированные данные, подаваемые из модуля 91 выделения в способе HEVC. В это время модуль 92 декодирования также обращается к наборам параметров, подаваемым из модуля 91 выделения, в соответствии с необходимостью. Модуль 92 декодирования подает декодированное изображение в модуль 93 преобразования.

На этапе S94 модуль 93 преобразования получает информацию преобразования DR из knee_function_info SEI, который подают из модуля 91 выделения.

На этапе S95 модуль 93 преобразования определяет, является или нет динамический диапазон яркости, соответствующий модулю 95 дисплея, динамическим диапазоном яркости декодируемого изображения. Если определяют, что динамический диапазон яркости, соответствующий модулю 95 дисплея, не является динамическим диапазоном яркости декодируемого изображения, обработка переходит на этап S96.

На этапе S96 модуль 93 преобразования преобразует декодированное изображение, передаваемое из модуля 92 декодирования, в преобразованное изображение на основе информации преобразования DR, и подает преобразованное изображение в модуль 94 управления дисплеем, как изображение дисплея. Кроме того, обработка переходит на этап S97.

С другой стороны, на этапе S95 определяют, что динамический диапазон яркости, соответствующей модулю 95 дисплея, представляет собой динамический диапазон яркости декодируемого изображения, модуль 93 преобразования подает декодированное изображение, которое передают из модуля 92 декодирования, в модуль 94 управления дисплеем, как изображение отображения, без изменения. Кроме того, обработка переходит на этап S97.

На этапе S97 модуль 94 управления дисплеем отображает изображение отображения, подаваемое из модуля 93 преобразования, в модуль 95 дисплея, и заканчивает обработку.

Как упомянуто выше, устройство 90 декодирования преобразует декодируемое изображение в преобразованное изображение на основе информации преобразования DR, и, таким образом, может преобразовать декодированное изображение в требуемое преобразованное изображение.

Кроме того, во втором варианте осуществления, одно из изображения SDR и изображения HDR представляет собой целевое изображение кодирования, и другое представляет собой преобразованное изображение, но изображение SDR может быть заменено изображением "проявленным с десенсибилизацией" изображения HDR, в котором ожидаемое значение яркости модуля дисплея, соответствующего максимальному значению яркости, больше, чем у изображения SDR.

Второй пример информации преобразования DR

На фиг. 24 и 25 показаны схемы, иллюстрирующие примеры информации преобразования DR, установленной в knee_function_info SEI, в случае, когда одно из изображения, "проявленного с десенсибилизацией", и изображения HDR, представляют собой целевое изображение кодирования, и другое представляет собой преобразованное изображение.

Кроме того, в примерах на фиг. 24 и 25, изображение, "проявленное с десенсибилизацией", представляет собой изображение, в котором динамический диапазон яркости составляет от 0 до 200%, полученное в результате проявления с десенсибилизацией 1 EV (значение экспозиции) для изображения HDR. Кроме того, ожидаемое значение яркости модуля дисплея, соответствующее максимальному значению яркости изображения, проявленного с десенсибилизацией, равно 400 (кандел на квадратный метр), что больше, чем 200 (кандел на квадратный метр), которое представляет собой ожидаемое значение яркости, соответствующее максимальному значению яркости в изображении SDR.

Информация, обозначающая, что целевое изображение кодирования или преобразованное изображение представляет собой изображение, полученное в результате выполнения проявления с десенсибилизацией для изображения HDR, и динамический диапазон яркости изображения, проявленного с десенсибилизацией, установлен в tone_mapping_info_SEI модулем 71 установки.

В примере на фиг. 24 целевое изображение кодирования представляет собой изображение, проявленное с десенсибилизацией, и пользователь устанавливает изображение HDR, которое получают, как результат разворачивания изображения, полученного с помощью коленчатой функции в диапазоне от 160% до 200% яркости изображения, проявленного с десенсибилизацией до диапазона от 160% до 400%, как в требуемом преобразованном изображении. В этом случае, в knee_function_info SEI, значение 800 установлено, как информация о положении перед преобразованием (input_knee_point), и 400 установлено, как информация о положении после преобразования (output_knee_point).

Кроме того, в примере на фиг. 24, информация диапазона яркости HDR (d_range) составляет 4000, и диапазон яркости дисплея (d_range_disp_luminance) составляет 800 (кандел на квадратный метр).

Как и в случае, показанном на фиг. 24, в случае, когда целевое изображение кодирования представляет собой изображение, проявленное с десенсибилизацией, и преобразованное изображение представляет собой изображение HDR, точка перелома input_knee_point_PER (%) и яркость output_knee_point_PER (%) преобразованного изображения, соответствующую точке перелома, определяют, используя представленное выше Уравнение (1).

Поэтому, устройство 90 декодирования распознает, что точка перелома input_knee_point_PER и яркость output_knee_point_PER составляют 160%, в соответствии с Уравнением (1). Кроме того, устройство 90 декодирования распознает, что максимальное значение яркости преобразованного изображения составляет 400% по информации диапазона яркости HDR. Кроме того, устройство 90 декодирования распознает, что динамический диапазон яркости целевого изображения кодирования составляет от 0 до 200% из tone_mapping_info_SEI. Кроме того, в случае, когда модуль 95 дисплея представляет собой дисплей HDR, диапазон от 160% до 200% яркости изображения, проявленного с десенсибилизацией, которое получают в результате декодирования, разворачивают с использованием коленчатой функции до диапазона от 160% до 400% для отображения, в качестве изображения отображения.

С другой стороны, в случае, когда модуль 95 дисплея представляет собой дисплей SDR, устройство 90 декодирования отображает изображение, проявленное с десенсибилизацией, как изображение отображения, без изменения. В это время ожидаемое значение яркости модуля дисплея, соответствующее максимальному значению яркости изображения, проявленного с десенсибилизацией, больше, чем у изображения SDR, и, таким образом, яркость отображаемого изображения недостаточна.

Однако в последнее время, был разработан дисплей SDR (ниже называется дисплеем SDR с высокой яркостью), который имеет относительно высокую яркость, соответствующую максимальному значению яркости, достигающему 300 (кандел на квадратный метр) и т.п. В случае, когда модуль 95 дисплея представляет собой дисплей SDR с высокой яркостью, яркость изображения отображения может в достаточной степени поддерживаться, даже если изображение, проявленное с десенсибилизацией, отображают, как изображение отображения без изменения. Кроме того, поскольку отношение сжатия при сжатии по коленчатой функции во время генерирования целевого изображения кодирования ниже, чем в случае, когда целевое изображение кодирования представляет собой изображение SDR, качество изображения отображения может быть улучшено.

В примере на фиг. 25, целевое изображение кодирования представляет собой изображение HDR, и пользователь устанавливает изображение, проявленное с десенсибилизацией, которое получают в результате сжатия с коленчатой функцией из диапазона от 160% до 400% яркости изображения HDR в диапазон от 160% до 200%, который требуется для преобразованного изображения. В этом случае, в knee_function_info SEI, значение 400 устанавливают, как информацию положения предварительного преобразования (input_knee_point), и значение 800 устанавливают, как информацию о положении после преобразования (output_knee_point).

Кроме того, в примере на фиг. 25, информация диапазона яркости HDR (d_range) составляет 4000, и диапазон яркости дисплея (d_range_disp_luminance) составляет 800 (кандел на квадратный метр).

Как и в случае на фиг. 25, в случае, когда целевое изображение кодирования представляет собой изображение HDR, и преобразованное изображение представляет собой изображение, проявленное с десенсибилизацией, точку перелома input_knee_point_PER (%) и яркость output_knee_point_PER (%) преобразованного изображения, соответствующую точке перелома, получают, используя представленное выше Уравнение (2).

Поэтому, устройство 90 декодирования распознает, что точка перелома input_knee_point_PER, и яркость output_knee_pomt_PER составляют 160%, в соответствии с Уравнением (2). Кроме того, устройство 90 декодирования распознает, что максимальное значение яркости целевого изображения кодирования составляет 400% из информации диапазона яркости HDR. Кроме того, устройство 90 декодирования распознает, что динамический диапазон яркости преобразованного изображения составляет от 0 до 200% из tone_mapping_info_SEI.

Кроме того, в случае, когда модуль 95 дисплея представляет собой дисплей SDR, устройство 90 декодирования выполняет сжатие с использованием коленчатой функции в диапазоне от 160% до 400% яркости изображения HDR, которое получают в результате декодирования, в диапазон от 160% до 200%, для отображения сжатого результата, в качестве отображаемого изображения. В этом случае, как описано выше, яркость отображаемого изображения недостаточна. Однако, в случае, когда модуль 95 дисплея представляет собой дисплей SDR с высокой яркостью, яркость изображения дисплея может в достаточной степени поддерживаться, как описано выше. Кроме того, качество отображаемого изображения может быть улучшено.

С другой стороны, в случае, когда модуль 95 дисплея представляет собой дисплей HDR, устройство 90 декодирования отображает изображение HDR, которое получают, как результат декодирования, как изображение, отображаемое без изменения.

Кроме того, информация преобразования DR на фиг. 17 может быть включена в SEI, такой как tone_mapping_info_SEI, другой, чем knee_function_info SEI.

Первый пример синтаксиса tone_mapping_info_SEI

На фиг. 26 показана схема, иллюстрирующая пример синтаксиса tone_mapping_info_SEI в случае, когда информация преобразования DR по фиг. 17 включена в tone_mapping_info_SEI.

tone_mapping_info_SEI представляет собой SEI, относящуюся к преобразованию яркости. Как представлено на фиг. 26, в случае, когда информация преобразования DR по фиг. 17 включена в tone_mapping_info_SEI, tone_map_model_id, обозначающий модель преобразования яркости, устанавливают, например, равным 5. Кроме того, в tone_mapping_info_SEI, информация положения перед преобразованием (input_knee_point), информация положения после преобразования (output_knee_point), информация диапазона яркости HDR (d_range) и информация яркости дисплея (d_range_disp_luminance) установлены в tone_mapping_info_SEI, как информация преобразования DR.

Кроме того, информация диапазона яркости HDR (d_range) и информация яркости дисплея (d_range_disp_luminance) включены в tone_mapping_info_SEI, когда tone_map_model_id равен 4. Поэтому, как представлено на фиг. 27, информация диапазона яркости HDR (d_range) и информация яркости дисплея (d_range_disp_luminance) не могут быть включены в tone_mapping_info_SEI. Кроме того, может быть включена только одна из информации диапазона яркости HDR (d_range) и информации яркости дисплея (d_range_disp_luminance).

Второй пример синтаксиса knee_function_info SEI

На фиг. 28 показана схема, иллюстрирующая второй пример синтаксиса knee_function_info SEI, установленный модулем 71 установки по фиг. 16, и на фиг. 29 показана схема, иллюстрирующая каждую часть информации, установленной в knee_function_info SEI по фиг. 28.

Множество точек перелома установлено в knee_function_info SEI на фиг. 28. В частности, таким же образом, как и в случае на фиг. 17, ID преобразования по коленчатой функции (knee_function_id) и флаг отмены преобразования по коленчатой функции (knee_function_cancel_flag) установлены в knee_function_info SEI на фиг. 28.

Кроме того, если флаг отмены преобразования по коленчатой функции, равен 0, как представлено на фиг. 28, информация преобразования DR установлена в knee_function_info SEI. Информация преобразования DR является такой же, как и в случае на фиг. 17, за исключением того, что в нее включены флаг сжатия (compression_flag) и число точек перелома (num_knee_point_minus1), и информация о положении перед преобразованием (input_knee_point), и информация о положении после преобразования (output_knee_point) установлены для каждой точки перелома. Описание тех же частей, что и в случае на фиг. 17, не повторяется и, таким образом, будет пропущено, соответственно.

Как представлено на фиг. 29, флаг сжатия представляет собой флаг, обозначающий, является или нет преобразование по коленчатой функции сжатием по коленчатой функции. Другими словами, в случае, когда количество точек перелома равно одной, когда информация о положении перед преобразованием (input_knee_point) равна или больше, чем информация о положении после преобразования (output_knee_point), можно определить, что преобразование по коленчатой функции представляет собой разворачивание по коленчатой функции, и когда информация о положении перед преобразованием (input_knee_point) меньше, чем информация о положении после преобразования (output_knee_point), можно определить, что преобразование по коленчатой функции представляет собой сжатие по коленчатой функции.

Однако в случае, когда существует множество точек перелома, нет возможности точно определить, является ли преобразование по коленчатой функции расширением по коленчатой функции или сжатием по коленчатой функции, используя корреляцию магнитуды между информацией о положении перед преобразованием и информацией о положении после преобразования, и, таким образом, устанавливают флаг сжатия. Кроме того, даже в случае, когда количество точек перелома равно единице, может быть установлен флаг сжатия. Флаг сжатия устанавливают в 1, когда преобразование по коленчатой функции представляет собой сжатие по коленчатой функции, и устанавливают в 0, когда преобразование по коленчатой функции представляет собой расширение по коленчатой функции.

Количество точек перелома представляет собой значение, получаемое путем вычитания 1 из количества точек перелома. Кроме того, порядок i (где i представляет собой целое число, равное 0 или больше), в котором установлена информация о положении перед преобразованием и информация о положении после преобразования точек перелома, представляет собой порядок, в котором уменьшается информация о положении перед преобразованием.

Третий пример информации преобразования DR

На фиг. 30 и 31 показаны схемы, иллюстрирующие примеры информации о преобразовании DR, установленной в knee_function_info SEI по фиг. 28.

В примере на фиг. 30 целевое изображение кодирования представляет собой изображение SDR. Кроме того, пользователь устанавливает изображение HDR, которое получают в результате соответствующего преобразования диапазонов от 0 до 60%, от 60% до 80%, от 80% до 90% и от 90% до 100% изображения SDR в диапазоны от 0 до 40%, от 40% до 100%, от 100% до 180% и от 180% до 400%, в качестве требуемого преобразованного изображения.

В этом случае, knee_function_info SEI, 600 устанавливают, как информацию о положении перед преобразованием (input_knee_point [0]) 0-ой точки перелома, и 100 устанавливают, как ее информацию о положении после преобразования (output_knee_point [0]). 800 устанавливают, как информацию о положении перед преобразованием (input_knee_point [1]) первой точки перелома, и 250 устанавливают, как ее информацию о положении после преобразования (output_knee_point [1]). 900 устанавливают, как информацию о положении перед преобразованием (input_knee_point [2]) второй точки перелома, и 450 устанавливают, как ее информацию о положении после преобразования (output_knee_point [2]).

Кроме того, в примере на фиг. 30, информация диапазона яркости HDR (d_range) равна 4000, диапазон яркости дисплея (d_range_disp_luminance) равен 800 (кандел на квадратный метр), и флаг сжатия (compression_flag) равен 0.

Как описано выше, в случае, когда целевое изображение кодирования представляет собой изображение SDR, и преобразованное изображение представляет собой изображение HDR, точку перелома input_knee_point_PER (%) и яркость output_knee_point_PER (%) преобразованного изображения, соответствующую точке перелома, определяют по представленному выше Уравнению (1).

Поэтому, устройство 90 декодирования распознает, что от 0-ой до второй точки перелома, input_knee_point_PER представляют собой, соответственно 60%, 80% и 90%, в соответствии с Уравнением (1). Кроме того, устройство 90 декодирования распознает, что от 0-ого до второго значения яркости output_knee_point_PER, соответственно, представляют собой 40%, 100% и 180%. Кроме того, устройство 90 декодирования распознает, что максимальное значение яркости преобразованного изображения равно 400%, из информации диапазона яркости HDR.

Кроме того, устройство 90 декодирования, соответственно, преобразует по коленчатой функции диапазоны от 0 до 60%, от 60% до 80%, от 80% до 90% и от 90% до 100% изображения SDR, которое получают, как результат декодирования, в диапазоны от 0 до 40%, от 40% до 100%, от 100% до 180% и от 180% до 400%, в соответствии с прямой линией преобразования, на которой точки перелома соединены друг с другом в установленном порядке. Поэтому, устройство 90 декодирования может преобразовывать изображение SDR, которое получают, как результат декодирования, в требуемое изображение HDR.

В примере на фиг. 31 целевое изображение кодирования представляет собой изображение HDR. Кроме того, пользователь устанавливает изображение SDR, которое получают, как результат соответствующего преобразования диапазонов от 0 до 40%, от 40% до 100%, от 100% до 180%, и от 180% до 400% яркости изображения HDR в диапазоны от 0 до 60%, от 60% до 80%, от 80% до 90% и от 90% до 100%, как требуемое преобразованное изображение.

В этом случае в knee_function_info SEI, значение 100 установлено, как информация о положении перед преобразованием (input_knee_point [0]) для 0-ой точки перелома, и 600 установлено, как информация о положении после преобразования (output_knee_point [0]). Значение 250 устанавливают, как информацию о положении перед преобразованием (input_knee_point [1]) первой точки перелома, и 800 устанавливают, как информацию о положении после преобразования (output_knee_point [1]). Значение 450 устанавливают, как информацию о положении перед преобразованием (input_knee_point [2]) второй точки перелома, и 900 устанавливают, как информацию о положении после преобразования (output_knee_point [2]).

Кроме того, в примере на фиг. 31, информация диапазона яркости HDR (d_range) равна 4000, диапазон яркости дисплея (d_range_disp_luminance) равен 800 (кандел на квадратный метр), и флаг сжатия (compression_flag) равен 1.

Как описано выше, в случае, когда целевое изображение кодирования представляет собой изображение HDR, и преобразованное изображение представляет собой изображение SDR, точка перелома input_knee_point_PER (%) и яркость output_knee_point_PER (%) преобразованного изображения, соответствующая точке перелома, определены в представленном выше Уравнении (2).

Поэтому, устройство 90 декодирования распознает, что от 0-ой до второй точки перелома, input_knee_point_PER равны, соответственно, 40%, 100% и 180%, в соответствии с Уравнением (2). Кроме того, от 0-ого до второго значений яркости output_knee_point_PER (%) равны, соответственно, 60%, 80% и 90%. Кроме того, устройство 90 декодирования распознает, что максимальное значение яркости преобразованного изображения составляет 400%, из информации диапазона яркости HDR.

Кроме того, устройство 90 декодирования преобразует по коленчатой функции диапазоны от 0 до 40%, от 40% до 100%, от 100% до 180% и от 180% до 400% изображения HDR, которое получают, как результат декодирования, в диапазоны от 0 до 60%, от 60% до 80%, от 80% до 90% и от 90% до 100%, путем соединения точек перелома друг с другом в установленном порядке. Поэтому, устройство 90 декодирования может преобразовывать изображение HDR, которое получают в результате декодирования, в требуемое изображение SDR.

Как упомянуто выше, в случае, когда установлено множество точек перелома, отношение сжатия может быть более точно установлено, чем в случае, когда установлена одна точка перелома. Поэтому, возможно выполнять преобразование по коленчатой функции с более высокой точностью.

Кроме того, информация преобразования DR на фиг. 28 может быть включена в SEI, такую как tone_mapping_info_SEI, другую, чем knee_function_info SEI.

Второй пример синтаксиса tone_mapping_info_SEI

На фиг. 32 показана схема, иллюстрирующая пример синтаксиса tone_mapping_info_SEI в случае, когда информация преобразования DR по фиг. 28 включена в tone_mapping_info_SEI.

Как представлено на фиг. 32, в случае, когда информация преобразования DR по фиг. 28 включена в tone_mapping_info_SEI, tone_map_model_id установлен, например, равным 5. Кроме того, в tone_mapping_info_SEI, флаг сжатия (compression_flag (mapping_flag)), информация диапазона яркости HDR (d_range), информация яркости дисплея (d_range_disp_luminance), количество точек перелома (num_knee_point_minus1), и информация о положении перед преобразованием (input_knee_point), и информация о положении после преобразования (output_knee_point) каждой точки перелома установлены в tone_mapping_info_SEI, как информация преобразования DR.

Кроме того, таким же образом, как и в tone_mapping_info_SEI по фиг. 27, информация диапазона яркости HDR (d_range) и информация яркости дисплея (d_range_disp_luminance) могут не быть включены в tone_mapping_info_SEI по фиг. 32. Кроме того, только одна из информации диапазона яркости HDR (d_range) и информации яркости дисплея (d_range_disp_luminance) может быть включена.

Кроме того, количество точек перелома (num_knee_point_minus1) может быть равно одному из 0, 1 и 2, как представлено на фиг. 33-35. Другими словами, количество точек перелома (num_knee_point_minus1) может быть ограничено значением 2 или меньше. В этом случае, как представлено на фиг. 33-35, количество битов для количества точек перелома (num_knee_point_minus1), включенных в knee_function_info SEI или tone_mapping_info_SEI, устанавливают до 2 битов (u(2)).

Как упомянуто выше, определяют максимальное значение количества точек перелома (num_knee_point_minus1), и, таким образом, количество информации преобразования DR может быть уменьшено. В соответствии с этим, информация преобразования DR может быть передана с малым пакетом, как в AVI InfoFrame мультимедийного интерфейса высокой четкости (HDMI (зарегистрированный товарный знак)).

Третий пример синтаксиса knee_function_info SEI

На фиг. 36 представлена схема, иллюстрирующая третий пример синтаксиса knee_fanction_info SEI, установленный модулем 71 установки по фиг. 16, и фиг. 37 показана схема, иллюстрирующая каждую часть информации, установленной в knee_function_info SEI на фиг. 36.

Множество точек перелома и точка перелома (ниже, называется представительной точкой перелома), которая используется представительно, установлены в knee_function_info SEI по фиг. 36.

В частности, таким же образом, как и в случае на фиг. 17, ID преобразования по коленчатой функции (knee_function_id) и флаг отмены преобразования по коленчатой функции (knee_function_cancel_flag), установлены в knee_function_info SEI на фиг. 36.

Кроме того, если флаг отмены преобразования по коленчатой функции, равен 0, как представлено на фиг. 36, информация преобразования DR установлена в knee_function_info SEI. Информация преобразования DR является такой же, как в случае на фиг. 28, за исключением того, что включены представительная информация о положении перед преобразованием (representative_input_knee_point) и представительная информация о положении после преобразования (representative_output_knee_point). Описание тех же частей, что и в случае фиг. 28, повторяется и, таким образом, будет исключено соответственно.

Как представлено на фиг. 37, информация о представительном положении перед преобразованием представляет собой информацию, обозначающую представительную точку перелома целевого изображения кодирования, которое представляет собой непреобразованное изображение при преобразовании, соответствующем информации преобразования DR, и представляет собой выражение в промилле представительной точки перелома, когда максимальное значение яркости целевого изображения кодирования установлено равным 1000 промилле.

Информация о представительном положении перед преобразованием представляет собой информацию, обозначающую яркость, соответствующую представительной точке перелома преобразованного изображения при преобразовании, соответствующем информации преобразования DR, и представляет собой выражение в промилле яркости, соответствующей точке перелома, когда максимальное значение яркости преобразованного изображения установлено равным 1000 промилле.

Кроме того, представительная точка перелома может представлять собой одну из точек перелома, соответствующих множеству частей информации о положении перед преобразованием, включенных в информацию преобразования DR, и может представлять собой точку перелома, которая полностью отличается от точки перелома.

Четвертый пример информации преобразования DR

На фиг. 38 показана схема, иллюстрирующая пример информации преобразования DR, установленной в knee_function_info SEI на фиг. 36.

В примере на фиг. 38 целевое изображение кодирования представляет собой изображение SDR. Кроме того, пользователь устанавливает изображение HDR, которое получают в результате соответствующего преобразования диапазонов от 0 до 60%, от 60% до 80%, от 80% до 90% и от 90% до 100% изображения SDR в диапазоны от 0 до 40%, от 40% до 100%, от 100% до 180% и от 180% до 400%, в качестве требуемого преобразованного изображения, когда устройство 90 декодирования выполняет преобразование по коленчатой функции с высокой точностью. Кроме того, пользователь устанавливает изображение HDR, которое получают в результате разворачивания по коленчатой функции диапазона от 80% до 100% яркости изображения SDR, в диапазон от 80% до 400%, в качестве требуемого преобразованного изображения, когда устройство 90 декодирования выполняет простое преобразование по коленчатой функции с низкой точностью.

В этом случае, в knee_function_info SEI, те же значения, что и на фиг. 30, установлены в качестве информации о положении перед преобразованием (input_knee_point) и информации о положении после преобразования (output_knee_point) для точек перелома от 0-ой до второй. Кроме того, информация о представительном положении перед преобразованием (representative_input_knee_point) равна 800, и информация о представительном положении после преобразования (representative_output_knee_point) равна 200.

Кроме того, в примере на фиг. 38 информация диапазона яркости HDR (d_range) равна 4000, диапазон яркости дисплея (d_range_disp_luminance) равен 800 (кандел на квадратный метр), и флаг сжатия (compression_flag) равен 0.

Как представлено на фиг. 38, в случае, когда устройство 90 декодирования выполняет простое преобразование по коленчатой функции с низкой точностью, устройство 90 декодирования распознает, что представительная точка перелома representative_input_knee_point_PER (%), и яркости representative_output_knee_point_PER (%) преобразованного изображения, соответствующего представительной точке перелома, равны 80% в соответствии с представленным выше Уравнением (1). Кроме того, устройство 90 декодирования распознает, что максимальное значение яркости преобразованного изображения составляет 400% из информации диапазона яркости HDR. Кроме того, устройство 90 декодирования выполняет разворачивание по коленчатой функции диапазона от 80% до 100% яркости изображения SDR, который получают, как результат декодирования, в диапазон от 80% до 400%. Поэтому, устройство 90 декодирования может преобразовывать изображение SDR, которое получают, как результат декодирования, в требуемое изображение HDR.

С другой стороны, в случае, когда устройство 90 декодирования выполняет преобразование по коленчатой функции с высокой точностью, устройство 90 декодирования выполняет ту же обработку, что и на фиг. 30, и преобразует изображение SDR, которое получают, как результат декодирования, в требуемое изображение HDR.

Как упомянуто выше, информация о представительном положении перед преобразованием (representative_input_knee_point) и информация о представительном положении после преобразования (representative_output_knee_point) включена в информацию преобразования DR на фиг. 36. Поэтому, даже в случае, когда способность к обработке ресурса, такая как емкость запоминающего устройства, не может быть в достаточной степени предусмотрена в устройстве 90 декодирования, преобразование по коленчатой функции может быть выполнено на основе представительной точки перелома. Кроме того, поскольку информацию о представительном положении перед преобразованием и информацию о представительном положении после преобразования передают в устройство 90 декодирования, устройство 90 декодирования не должно генерировать информацию представительного положения перед преобразованием и информацию представительного положения после преобразования на основе информации о положении перед преобразованием и информации о положении после преобразования множества точек перелома.

Кроме того, информация преобразования DR на фиг. 36 может быть включена в SEI, такой как tone_mapping_info_SEI, другую, чем knee_function_info SEI.

Третий пример синтаксиса tone_mapping_info_SEI

На фиг. 39 показана схема, иллюстрирующая пример синтаксиса tone_mapping_info_SEI в случае, когда информация преобразования DR на фиг. 36 включена в tone_mapping_info_SEI.

Как представлено на фиг. 39, в случае, когда информация преобразования DR на фиг. 36 включена в tone_mapping_info_SEI, tone_map_model_id установлен, например, равным 5. Кроме того, в tone_mapping_info_SEI, флаг сжатия (compression_flag), информацию о представительном положении перед преобразованием (representative_input_knee_point), информацию о представительном положении после преобразования (representative_output_knee_point), информацию о диапазоне яркости HDR (d_range), информацию о яркости дисплея (d_range_disp_luminance), количество точек перелома (num_knee_point_minus1) и информацию о положении перед преобразованием (input_knee_point), и информацию о положении после преобразования (output_knee_point) каждой точки перелома устанавливают в tone_mapping_info_SEI, как информацию о преобразовании DR.

Кроме того, таким же образом, как и в tone_mapping_info_SEI на фиг. 27, информация диапазона яркости HDR (d_range) и информация яркости дисплея (d_range_disp_luminance) могут не быть включены в tone_mapping_info_SEI на фиг. 39. Кроме того, может быть включена только одна из информации диапазона яркости HDR (d_range) и информации яркости дисплея (d_range_disp_luminance).

Четвертый пример синтаксиса knee_function_info SEI

На фиг. 40 показана схема, иллюстрирующая четвертый пример синтаксиса knee_function_info SEI, установленной модулем 71 установки на фиг. 16, и на фиг. 41 показана схема, иллюстрирующая (семантическое представление) каждой части информации, установленной в knee_function_info SEI на фиг. 40.

В knee_function_info SEI на фиг. 40 другие изображения, кроме изображения SDR, могут использоваться, как одно из целевого изображения кодирования и преобразованного изображения.

В частности, так же, как и в случае на фиг. 17, ID преобразования по коленчатой функции (knee_function_id) и флаг отмены преобразования по коленчатой функции (knee_function_cancel_flag), установлены в knee_function_info SEI на фиг. 40.

Кроме того, если флаг отмены преобразования по коленчатой функции равен 0, как представлено на фиг. 40, информация преобразования DR установлена в knee_function_info SEI. Информация преобразования DR является такой же, как и в случае на фиг. 28, за исключением того, что флаг постоянства преобразования коленчатой функции (knee_function_persistence_flag) вновь включен, и информация непреобразованного диапазона отображения (input_d_range), информация непреобразованной яркости отображения (input_disp_luminance), информация преобразованного диапазона отображения (output_d_range) и информация преобразованной яркости отображения (output_disp_luminance) включены вместо информации диапазона яркости HDR (d_range) и информации яркости дисплея (d_range_disp_luminance). Описание тех же частей, что и на фиг. 28, представляет собой повторение и, таким образом, будет, соответственно, исключено.

Как представлено на фиг. 41, флаг постоянства преобразования по коленчатой функции представляет собой флаг, обозначающий, применяется или нет информация преобразования DR для множества изображений, которые расположены непрерывно. Флаг постоянства преобразования по коленчатой функции установлен в 1, когда информация преобразования DR применяется к множеству изображений, которые расположены непрерывно, и установлен в 0, когда информация преобразования DR применяется только для одного изображения. Флаг постоянства преобразования по коленчатой функции также может быть установлен в knee_function_info SEI на фиг. 17, 28, 34 и 36.

Кроме того, непреобразованная информация диапазона яркости представляет собой информацию, обозначающую выражение в промилле максимального значения яркости целевого изображения кодирования, которое представляет собой непреобразованное изображение, при преобразовании, соответствующем информации преобразования DR, и преобразованная информация диапазона яркости представляет собой информацию, обозначающую выражение в промилле максимального значения яркости преобразованного изображения.

Кроме того, непреобразованная информация яркости дисплея представляет собой информацию, обозначающую ожидаемое значение яркости модуля дисплея, соответствующее максимальному значению яркости целевого изображения кодирования, и преобразованная информация яркости дисплея представляет собой информацию, обозначающую ожидаемое значение яркости модуля дисплея, соответствующее максимальному значению яркости преобразованного изображения. Пятый пример информации преобразования DR

На фиг. 42 и 43 показаны схемы, иллюстрирующие примеры информации преобразования DR, установленные в knee_function_info SEI на фиг. 40.

В примере на фиг. 42 целевое изображение кодирования представляет собой изображение HDR (ниже называется изображением 200% HDR), динамический диапазон которого составляет от 0 до 200%. Кроме того, пользователь устанавливает изображение 400% HDR, которое получают, как результат соответствующего преобразования по коленчатой функции диапазонов от 0 до 120%, от 120% до 160%, от 160% до 180%, и от 180% до 200% яркости изображения 200% HDR в диапазоны от 0 до 40%, от 40% до 100%, от 100% до 180%, и от 180% до 400%, как требуемое преобразованное изображение. Изображение 400% HDR представляет собой изображение HDR, динамический диапазон которого составляет от 0 до 400%.

В этом случае, в knee_function_info SEI, те же значения, что и на фиг. 30, установлены, как информация о положении перед преобразованием (input_knee_point) и информация о положении после преобразования (output_knee_point) от 0-ой до второй точек перелома. Кроме того, 2000 установлено, как непреобразованная информация диапазона яркости (input_d_range), и 4000 установлено, как преобразованная информация диапазона яркости (output_d_range).

Кроме того, в примере на фиг. 42 непреобразованная информация яркости дисплея (input_disp_luminance) равна 400 (кандел на квадратный метр), и преобразованная информация яркости дисплея (output_disp_luminance) составляет 800 (кандел на квадратный метр). Флаг сжатия (compression_flag) равен 0.

Как представлено на фиг. 42, в случае, когда целевое изображение кодирования представляет собой изображение с динамическим диапазоном, соответствующим непреобразованной информации диапазона яркости, и преобразованное изображение представляет собой изображение с динамическим диапазоном, соответствующим преобразованной информации диапазона яркости, точку перелома input_knee_point_PER (%) и яркость output_knee_point_PER (%) преобразованного изображения, соответствующего точке перелома, определяют по следующему Уравнению (3).

Поэтому, устройство 90 декодирования распознает, что от 0-ой до второй точки перелома, input_knee_point_PER составляет, соответственно, 120%, 160% и 180%, в соответствии с Уравнением (3). Кроме того, устройство 90 декодирования распознает, что от 0-ого до второго значения яркости output_knee_point_PER представляет собой, соответственно, 40%, 100% и 180%. Кроме того, устройство 90 декодирования распознает, что максимальное значение яркости целевого изображения кодирования составляет 200% из входной информации диапазона яркости, и максимальное значение яркости преобразованного изображения составляет 400% из выходной информации диапазона яркости.

Кроме того, устройство 90 декодирования, соответственно, выполняет преобразование по коленчатой функции диапазонов от 0 до 120%, от 120% до 160%, от 160% до 180%, и от 180% до 200% изображения 200% HDR, которое получают в результате декодирования, в диапазоны от 0 до 40%, от 40% до 100%, от 100% до 180%, и от 180% до 400%, в соответствии с прямой линией преобразования, на которой точки перелома соединены друг с другом в установленном порядке. Поэтому, устройство 90 декодирования может преобразовывать изображение 200% HDR, которое получают в результате декодирования, в требуемое изображение 400% HDR.

В примере на фиг. 43 целевое изображение кодирования представляет собой изображение 400% HDR. Кроме того, пользователь устанавливает изображение 200% HDR, которое получают в результате соответствующего преобразования по коленчатой функции диапазонов от 0 до 40%, от 40% до 100%, от 100% до 180% и от 180% до 400% яркости изображения 400% HDR, в диапазоны от 0 до 120%, от 120% до 160%, от 160% до 180% и от 180% до 200%, в качестве требуемого преобразованного изображения.

В этом случае, в knee_function_info SEI, те же значения, что и на фиг. 31, установлены, как информация о положении перед преобразованием (input_knee_point) и информация о положении после преобразования (output_knee_point) для 0-ой - второй точек перелома. Кроме того, 4000 установлено, как непреобразованная информация диапазона яркости (input_d_range), и 2000 установлено, как преобразованная информация диапазона яркости (output_d_range).

Кроме того, в примере на фиг. 43, непреобразованная информация яркости дисплея (input_disp_luminance) составляет 800 (кандел на квадратный метр), и преобразованная информация яркости дисплея (output_disp_luminance) составляет 400 (кандел на квадратный метр). Флаг сжатия (compression_flag) равен 1.

Как описано выше, в случае, когда целевое изображение кодирования представляет собой изображение с динамическим диапазоном, соответствующим непреобразованной информации диапазона яркости, и преобразованное изображение представляет собой изображение с динамическим диапазоном, соответствующим преобразованной информации диапазона яркости, точка перелома input_knee_point_PER (%) и яркость output_knee_point_PER (%) преобразованного изображения, соответствующего точке перелома, определены по представленному выше Уравнению (3).

Поэтому, устройство 90 декодирования распознает, что от 0-ой до второй точки перелома, input_knee_point_PER составляет, соответственно, 40%, 100% и 180%, в соответствии с Уравнением (3). Кроме того, устройство 90 декодирования распознает, что от 0-ого до второго значения яркости output_knee_point_PER (%) составляют, соответственно, 120%, 160% и 180%. Кроме того, устройство 90 декодирования распознает, что максимальное значение яркости целевого изображения кодирования составляет 400%, из входной информации диапазона яркости, и максимальное значение яркости преобразованного изображения составляет 200%, из выходной информации диапазона яркости.

Кроме того, устройство 90 декодирования, соответственно, выполняет преобразование по коленчатой функции диапазонов от 0 до 40%, от 40% до 100%, от 100% до 180%, и от 180% до 400% изображения 400% HDR, которые получают, как результат декодирования, в диапазоны от 0 до 120%, от 120% до 160%, от 160% до 180% и от 180% до 200%, путем соединения точек перелома друг с другом в установленном порядке. Поэтому, устройство 90 декодирования может преобразовывать изображение 400% HDR, которое получают в результате декодирования, в требуемое изображение 200% HDR.

Как упомянуто выше, в соответствии с информацией преобразования DR на фиг. 40, не только преобразование между изображением SDR и изображением HDR, но также и преобразование между изображениями HDR с другими динамическими диапазонами может быть выполнено, как задано пользователем в устройстве 90 декодирования. Динамический диапазон изображения HDR может быть больше, чем от 0 до 100% и может составлять от 0 до 400%, от 0 до 800%, от 0 до 1300% и т.п. Кроме того, ожидаемое значение яркости дисплея, соответствующее максимальному значению яркости изображения HDR, может быть больше, чем 100 (кандел на квадратный метр), и может составлять 800 (кандел на квадратный метр), 4000 (кандел на квадратный метр), 1500 (кандел на квадратный метр) и т.п.

Описание операции устройства декодирования

На фиг. 44 показана схема, иллюстрирующая операцию устройства 90 декодирования в случае, когда установлено множество knee_function_info SEI по фиг. 40.

В примере на фиг. 44 целевое изображение кодирования представляет собой изображение 400% HDR. Кроме того, установлены knee_function info SEI (ниже называется knee_function_info SEI изображения 800% HDR), для установки требуемого преобразованного изображения в изображение 800% HDR, с динамическим диапазоном от 0 до 800%, и knee_function_info SEI (ниже называется knee_function_info SEI изображения SDR) для установки требуемого преобразованного изображения в изображение SDR. В этом случае разные ID преобразования коленчатой функции заданы для knee_function_info SEI изображения 800% HDR и knee_function_info SEI изображения SDR.

В случае, когда модуль 95 дисплея представляет собой дисплей HDR, который может отображать изображение 800% HDR, устройство 90 декодирования выполняет разворачивание по коленчатой функции яркости изображения 400% HDR, которое представляет собой декодированное изображение на основе knee_function_info SEI изображения 800% HDR, для генерирования требуемого изображения 800% HDR, как изображения отображения.

С другой стороны, в случае, когда модуль 95 дисплея представляет собой дисплей HDR, который может отображать изображение 400% HDR, устройство 90 декодирования использует изображение 400% HDR, которое представляет собой декодированное изображение, как изображение отображения, без изменения. Кроме того, в случае, когда модуль 95 дисплея представляет собой дисплей SDR, устройство 90 декодирования выполняет сжатие по коленчатой функции яркости изображения 400% HDR, которое представляет собой декодированное изображение, на основе SDR knee_function_info SEI изображения SDR, с тем, чтобы генерировать требуемое изображение SDR, как изображение отображения.

Кроме того, информация преобразования DR на фиг. 40 может быть включена в SEI, такая как tone_mapping_info_SEI, другая, чем knee_function_info SEI.

Четвертый пример синтаксиса tone_mapping_info_SEI

На фиг. 45 показана схема, иллюстрирующая пример синтаксиса tone_mapping_info_SEI в случае, когда информация преобразования DR по фиг. 40 включена в tone_mapping_info_SEI.

Как представлено на фиг. 45, в случае, когда информация преобразования DR по фиг. 40 включена в tone_mapping_info_SEI, tone_map_model_id установлен, например, равным 5. Кроме того, в tone_mapping_info_SEI флаг сжатия (compression_flag), входная информация диапазона яркости (input_d_range), входной диапазон яркости дисплея (input_d_range_disp_luminance), выходная информация диапазона яркости (output_d_range), выходной диапазон яркости дисплея (output_d_range_disp_luminance), количество точек перелома (num_knee_point_minus1) и информация о положении перед преобразованием (input_knee_point), и информация о положении после преобразования (output_knee_point) каждой точки перелома установлены в tone_mapping_info_SEI, как информация преобразования DR.

Кроме того, по меньшей мере, одна из входной информации диапазона яркости (input_d_range), входного диапазона яркости дисплея (input_d_range_disp_luminance), выходной информации диапазона яркости (output_d_range) и выходного диапазона яркости дисплея (output_d_range_disp_luminance) могут не быть включены в tone_mapping_info_SEI по фиг. 45.

Кроме того, в представленном выше описании, информация преобразования DR расположена в SEI, но может быть расположена в системном уровне.

Пример размещения информации преобразования DR в блоке МР4

Описание блока МР4, в котором располагают информацию преобразовании DR

На фиг. 46 показана схема, иллюстрирующая блок МР4, как системный уровень, в котором располагается информация преобразования DR.

Как представлено на фиг. 46, в случае, когда информация преобразования DR располагается в блоке МР4, вновь определяют блок tinf (блок информации отображения тона), в котором содержится информация преобразования DR, как ToneMapInfo. Блок tinf содержится в блоке trak (блок трека) (в котором содержится блок stbl) или в блоке traf (блок фрагмента трека).

Пример синтаксиса ToneMapInfo

На фиг. 47 показана схема, иллюстрирующая пример синтаксиса ToneMapInfo.

ToneMapInfo по фиг. 47 имеет такую же конфигурацию, как и у tone_mapping_info_SEI на фиг. 32, за исключением того, что padding_value для выравнивания байта вставляют перед ним.

Кроме того, хотя это и не представлено, ToneMapInfo может иметь ту же конфигурацию, как и у tone_mapping_info_SEI на фиг. 26, 27, 39 или 45, за исключением того, что padding_value для выравнивания байта вставлено перед ним.

Кроме того, таким же образом, как и во втором варианте осуществления, информация преобразования в первом варианте осуществления может быть расположена на системном уровне.

Кроме того, изображение HDR, требующееся для пользователя, может представлять собой изображение HDR, которое вводят в устройство 70 кодирования.

Кроме того, во втором варианте осуществления, изображение HDR вводят в устройство 70 кодирования, но изображение SDR может быть введено в него. В этом случае, когда целевое изображение кодирования представляет собой изображение HDR, устройство 70 кодирования преобразует изображение SDR, которое вводят из внешнего устройства, в изображение HDR, которое затем устанавливают, как целевое изображение кодирования.

Кроме того, множество точек перелома установлено в knee_function_info SEI на фиг. 40. Поэтому, преобразование точек перелома, выполняемое с использованием более плавной и более сложной функции, может быть определено, чем в случае, когда установлена только одна точка перелома. В результате, модуль 93 преобразования может выполнять оптимальное преобразование по коленчатой функции.

Однако, если количество точек перелома увеличивается, количество информации преобразования DR увеличивается. Поэтому, например, в случае, когда декодируемое изображение и информацию преобразования DR передают с HDMI, количество информации преобразования DR равно или больше, чем 27 байта, что представляет собой размер одного пакета AVI InfoFrame в HDMI, и, таким образом, информация преобразования DR может не быть включена в AVI InfoFrame.

Поэтому, в третьем варианте осуществления, описанном ниже, устройство декодирования выполняет прореживание оптимальной точки перелома в случае, когда количество информации преобразования DR уменьшается, так же, как и в случае, когда информацию преобразования DR передают с HDMI.

Третий вариант осуществления

Первый пример семантики

Первая конфигурация третьего варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие, является такой же, как и конфигурация устройства 70 кодирования на фиг. 16, за исключением порядка i точек перелома, и семантика, обозначенная knee_function_info SEI на фиг. 40, устанавливается модулем 71 установки. Поэтому, ниже будут описаны только порядок i точек перелома и семантика, обозначенная knee_function_info SEI на фиг. 40.

В первой конфигурации третьего варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие, порядок i точек перелома установлен в порядке, в котором приоритеты для представления требуемой функции преобразования коленчатой функции являются более высокими в knee_function_info SEI на фиг. 40.

Кроме того, на фиг. 48 показана схема, иллюстрирующая, что семантика в первой конфигурации третьего варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие, отличается от применяемой во втором варианте осуществления.

Как представлено на фиг. 48, в семантике на фиг. 40, в первой конфигурации третьего варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие, информация о положении перед преобразованием (input_knee_point [i]) i-ой точки перелома может быть равна или меньше, чем информация о положении перед преобразованием (input_knee_point [i-1]) для (i-1)-oft точка перелома. Другими словами, порядок i (где i представляет собой целое число, равное 0 или больше), в котором установлена информация о положении перед преобразованием и информация о положении после преобразования точки перелома, может представлять собой порядок, в котором используется меньше информации о положении после преобразования.

Кроме того, функция (коленчатая функция) для преобразования коленчатой функции представляет собой прямую линию, которая соединяет точки перелома друг с другом в порядке (порядок возрастания), в котором информация о положении перед преобразованием (input_knee_point) меньше.

Кроме того, декодированное изображение может быть преобразовано по коленчатому преобразованию, используя приблизительную функцию по коленчатому преобразованию. Приблизительная функция для коленчатого преобразования представляет собой прямую линию, которая соединяет 0-ые с N-ыми (где N равно или больше, чем 0, и равно или меньше, чем num_knee_point_minus1) точки перелома друг с другом в порядке, в котором информация положения перед преобразованием будет меньше. Поскольку порядок i точек перелома установлен в порядке, в котором приоритет для предоставления требуемой функции коленчатого преобразования является более высоким, приблизительная функция коленчатого преобразования является более приблизительной в отношении требуемой функции коленчатого преобразования, по мере возрастания N.

Первый пример конфигурации одного варианта осуществления системы декодирования

На фиг. 49 показана блок-схема, иллюстрирующая первый пример конфигурации варианта осуществления системы декодирования, в которой применяется настоящее раскрытие, и которая декодирует кодированный поток, передаваемый из первой конфигурации третьего варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие.

Среди составляющих элементов, представленных на фиг. 49, те же составляющие элементы, что и составляющие элементы на фиг. 12 и 22, обозначены одинаковыми номерами ссылочных позиций. Повторное описание будет исключено, соответственно.

Система 110 декодирования на фиг. 49 включает в себя устройство 111 декодирования и устройство 112 дисплея. Устройство 111 декодирования включает в себя модуль 51 приема, модуль 91 выделения, модуль 92 декодирования, модуль 121 выбора и модуль 122 передачи.

Модуль 121 выбора устройства 111 декодирования получает knee_function_info SEI среди наборов параметров, выделенных модулем 91 выделения. Модуль 121 выбора выбирает информацию преобразования DR для количества (например, 3) точек перелома, включенных в один пакет AVI InfoFrame для HDMI в порядке, в котором порядок i меньше, чем среди частей информации преобразования DR для множества точек перелома, включенных в knee_function_info SEI. Модуль 121 выбора подает выбранную информацию преобразования DR по точкам перелома в модуль 122 передачи.

Модуль 122 передачи располагает информацию DR преобразования, выбранную модулем 121 выбора, в одном пакете AVI InfoFrame HDMI, и передает его результат в устройство 112 дисплея с HDMI вместе с декодируемым изображением, генерируемым модулем 92 декодирования.

Устройство 112 дисплея включает в себя модуль 131 приема, модуль 93 преобразования, модуль 94 управления дисплеем и модуль 95 дисплея.

Модуль 131 приема устройства 112 дисплея принимают AVI InfoFrame и декодированное изображение, которые передают из модуля 122 передачи с HDMI. Модуль 131 приема подает информацию преобразования DR, расположенную в AVI InfoFrame, и декодированное изображение в модуль 93 преобразования.

Описание первого способа выбора точки перелома

На фиг. 50 показана схема, иллюстрирующая пример точки перелома и функции преобразования коленчатой функции, определенной по knee_function_info SEI, которую принимает система 110 декодирования по фиг. 49.

Кроме того, в примере на фиг. 50, количество точек перелома (number_knee_point_minus1), установленное в knee_function_info SEI, равно 8.

Как представлено на фиг. 50А, помимо восьми точек перелома, установленных в knee_function_info SEI, информация о положении перед преобразованием (input_knee_point [0]) для 0-ой коленчатой точки равна 200, и информация о положении после преобразования (output_knee_point [0]) его составляет 433. Кроме того, информация о положении перед преобразованием (input_knee_point [1]) первой точки перелома равна 600, и информация о положении после ее преобразования (output_knee_point [1]) составляет 774, и информация о положении перед преобразованием (input_knee_point [2]) второй точки перелома равна 100, и информация о положении после преобразования (output_knee_point [2]) его равна 290.

Кроме того, информация о положении перед преобразованием (input_knee_point [3]) третьей точки перелома равна 400, и информация о ее положении после преобразования (output_knee_point [3]) равна 628, и информация о положении перед преобразованием (input_knee_point [4]) четвертой точки перелома равна 800, и информация о положении после преобразования (output_knee_point [4]) ее равна 894.

Кроме того, информация о положении перед преобразованием (input_knee_point [5]) пятой точки перелома равна 300, и информация о ее положении после преобразования (output_knee_point [5]) равна 540, и информация о положении перед преобразованием (input_knee_point [6]) шестой точки перелома равна 500, и информация о ее положении после преобразования (output_knee_point [6]) равна 705.

Кроме того, информация о положении перед преобразованием (input_knee_point [7]) седьмой точки перелома равна 700, и информация о ее положении после преобразования (output_knee_point [7]) равна 836, и информация о положении перед преобразованием (input_knee_point [8]) восьмой точки перелома равна 900, и информация о ее положении после преобразования (output_knee_point [8]) равна 949.

В этом случае, соответствующие точки перелома соединяют друг с другом в порядке, в котором информация о положении перед преобразованием будет меньшей, и, таким образом, функция преобразования по коленчатой функции будет такой, как представлено на фиг. 50 В. Другими словами, прямая линия, которая соединяет точки перелома друг с другом в порядке второй, 0-ой, пятой, третьей, шестой, первой, седьмой, четвертой и восьмой точек перелома используется, как функция коленчатого преобразования. Кроме того, поперечная ось на фиг. 50В представляет яркость целевого изображения кодирования, и яркость выражена по продольной оси преобразованного изображения. Это также совпадает с тем, что представлено на фиг. 51, 52 и 57-59, описанных ниже.

В случае, когда модуль 121 выбора выбирает части информации преобразования DR для трех точек перелома из частей информации преобразования DR точек перелома, определенных knee_function_info SEI на фиг. 50А, приблизительная функция коленчатого преобразования, имеющая выбранные точки перелома, будет такой, как представлено на фиг. 51.

Другими словами, в этом случае, модуль 121 выбора выбирает части информации о преобразования DR с 0-ой по вторую точки перелома среди частей информации преобразования DR от 0-ой до восьмой точек перелома, определенных по ключевой функции knee_function_info SEI. Поэтому, функция преобразования по коленчатой функции, имеющая выбранные точки перелома, представляет собой прямую линию, которая соединяет 0-ую со второй точкой перелома друг с другом в порядке, в котором информация о положении перед преобразованием является меньшей, то есть, в порядке вторая, 0-ая и первая точки перелома.

В то же время, в случае, когда модуль 121 выбора выбирает части информации преобразования DR по пяти точкам перелома среди частей информации преобразования DR по точкам перелома, определенным в knee_function_info SEI на фиг. 50А, приблизительная функция коленчатого преобразования, имеющая выбранные точки перелома, будет такой, как представлено на фиг. 52.

Другими словами, в этом случае, модуль 121 выбора выбирает часть информации преобразования DR для от 0-ой по четвертую точек перелома среди частей информации о преобразовании DR от 0-ой до восьмой точек перелома, определенных knee_function_info SEI. Поэтому, функция преобразования по коленчатой функции, имеющая выбранные точки перелома, представляет собой прямую линию, которая соединяет 0-ую и четвертую точки перелома друг с другом в порядке, в котором информация о положении перед преобразованием является меньшей, то есть, в порядке вторая, 0-ая, третья, первая и четвертая точки перелома.

Порядок i точек перелома установлен более высоким в порядке приоритета, для представления функции на фиг. 50В, которая представляет собой требуемую функцию преобразования по коленчатой функции, и части информации о преобразовании DR заданного количества точек перелома выбирают из i более низкого порядка. Поэтому, как представлено на фиг. 51 и 52, соответствующая функция преобразования по коленчатой функции является в большей степени приближенной к функции фиг. 50В, чем в случае, когда другие точки перелома выбирают в том же количестве.

Кроме того, большее количество точек перелома приводит к более плавной и более сложной функции. Поэтому, приблизительная функция преобразования по коленчатой функции на фиг. 52, в которой количество точек перелома равно пяти, является более приближенной к функции преобразования по коленчатой функции на фиг. 50В, чем приблизительная функция для преобразования по коленчатой функции на фиг. 51, в которой количество точек перелома равно трем.

Описание обработки в системе декодировании

На фиг. 53 показана блок-схема последовательности операций, иллюстрирующая обработку декодирования, выполняемую устройством 111 декодирования в системе 110 декодирования на фиг. 49.

На этапе S111, на фиг. 53, модуль 51 приема устройства 111 декодирования принимает кодированный поток, передаваемый из устройства 70 кодирования на фиг. 16, и подает этот кодированный поток в модуль 91 выделения.

На этапе S112, модуль 91 выделения выделяет наборы параметра и кодированные данные из кодированного потока, который подают из модуля 51 приема. Модуль 91 выделения подает наборы параметра и кодированные данные в модуль 92 декодирования. Кроме того, модуль 91 выделения передает knee_function_info SEI среди наборов параметров в модуль 121 выбора.

На этапе S113, модуль 92 декодирования декодирует кодированные данные, переданные из модуля 91 выделения, в способе HEVC. В это время модуль 92 декодирования также обращается к наборам параметров, подаваемым из модуля 91 выделения, в соответствии с необходимостью. Модуль 92 декодирования подает декодированное изображение в модуль 122 передачи.

На этапе S114 модуль 121 выбора выбирает информацию преобразования DR количества точек перелома, включенных в один пакет AVI InfoFrame HDMI в порядке, в котором порядок i меньше среди частей информации преобразования DR множества точек перелома, включенных в knee_function_info SEI из модуля 91 выделения. Модуль 121 выбора подает выбранную информацию преобразования DR по точкам перелома в модуль 122 передачи.

На этапе S115 модуль 122 передачи располагает информацию преобразования DR, выбранную модулем 121 выбора в одном пакете AVI InfoFrame HDMI и передает ее результат в устройство 112 дисплея с HDMI вместе с декодированным изображением, генерируемым модулем 92 декодирования. Кроме того, обработка заканчивается.

На фиг. 54 показана блок-схема последовательности операций, иллюстрирующая обработку отображения, выполняемую устройством 112 дисплея в системе 110 декодирования.

На этапе S131, на фиг. 54, модуль 131 приема устройства 112 дисплея принимают информацию преобразования DR, размещенную в AVI InfoFrame, и декодирует изображение, которое передают из модуля 122 передачи по HDMI. Модуль 131 приема подает информацию преобразования DR и декодированное изображение в модуль 93 преобразования.

Обработка на этапах S132-S134 является такой же, как и обработка на этапах S95 и S97 на фиг. 23, и, таким образом, ее описание не будет здесь повторяться.

Как упомянуто выше, в первой конфигурации третьего варианта осуществления, в котором применяется настоящее раскрытие, информация преобразования DR точки перелома, в которой установлен порядок, и порядок, в котором приоритет для представления требуемого преобразование по коленчатой функции является более высоким, устанавливают в knee_function_info SEI и передают. Поэтому, устройство 111 декодирования выбирает информацию преобразования DR количества точек перелома, включенную в один пакет AVI InfoFrame в порядке, в котором порядок I ниже, и, таким образом, может располагать информацию преобразования DR точки перелома, обозначающую приблизительную функцию преобразования по коленчатой функции, которая в большей степени приближена к требуемой функции преобразования по коленчатой функции в одном пакете AVI InfoFrame.

Пример синтаксиса knee_function_info SEI

Вторая конфигурация третьего варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие, является такой же, как и конфигурация устройства 70 кодирования на фиг. 16, за исключением knee_function_info SEI, установленной модулем 71 установки и семантикой. Поэтому, ниже будут описаны только knee_function_info SEI и семантика.

На фиг. 55 показана схема, иллюстрирующая пример синтаксиса knee_function_info SEI, установленной модулем 71 установки во второй конфигурации третьего варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие.

knee_function_info SEI по фиг. 55 является такой же, как и knee_function_info SEI на фиг. 40, за исключением того, что приблизительный индекс точки перелома (approximate_knee_point_index) (информация приоритета), обозначающий порядок i, установлен в порядке, в котором приоритет представления требуемой функции для преобразования по коленчатой функции, является более высоким.

В knee_function_info SEI на фиг. 55 порядок i точек перелома представляет собой порядок, в котором информация о положении перед преобразованием меньше в той же степени, как и в случае на фиг. 40, но вновь установлен приблизительный индекс точки перелома (approximate_knee_point_index). Значение приблизительного индекса точки перелома (approximate_knee_point_index) равно или меньше, чем число точек перелома (number_knee_point_minus1).

Второй пример семантики

На фиг. 56 показана схема, иллюстрирующая, что семантика на фиг. 55 отличается от семантики во втором варианте осуществления.

Как представлено на фиг. 56, в семантике на фиг. 55, декодируемое изображение может быть преобразовано по коленчатой функции, используя аппроксимированную функцию преобразования по коленчатой функции. Такая приблизительная функция преобразования по коленчатой функции представляет собой прямую линию, которая соединяет точки перелома, в которых порядок i составляет от 0-ой до N-ой (где N равно или больше, чем 0, и равно или меньше, чем num_knee_point_minus1) аппроксимированного индекса точки перелома (approximate_knee_point_index [0] до approximate_knee_point_index [N]) в порядке, в котором порядок i меньше. Порядок j аппроксимированных индексов точки перелома представляет собой порядок, в котором приоритет для представления требуемой функции коленчатого преобразования является более высоким, и, таким образом, функция приближения для коленчатого преобразования является в большей степени аппроксимированной к требуемой функции преобразования по коленчатой функции, по мере увеличения N.

Пример конфигурации одного варианта осуществления системы кодирования

Вторая конфигурация варианта осуществления системы декодирования, в которой применяется настоящее раскрытие, является такой же, как и конфигурация системы 110 декодирования на фиг. 49 за исключением того, что выбор, выполняемый модулем 121 выбора, выполняется на основе не порядка i точек перелома, но порядка j соответствующих индексов точек перелома. Поэтому, ниже, будет описан только выбор, выполняемый модулем 121 выбора.

Описание второго способа выбора точки перелома

На фиг. 57А и 57В показаны схемы, иллюстрирующие пример точки перелома и функции преобразования точки перелома, определенной knee_function_info SEI по фиг. 55.

Кроме того, в примере на фиг. 57А и 57В, номер точки перелома (number_knee_point_minus1), установленный в knee_function_info SEI, равен 8 таким же образом, как и на фиг. 50А и 50В, и точки перелома также являются такими же, как и на фиг. 50А и 50В. Однако, в knee_function_info SEI на фиг. 55, порядок i точек перелома представляет собой порядок, в котором информация о положении перед преобразованием является меньшей, и, таким образом, отличается от информации, представленной на фиг. 50А и 50 В.

Как представлено на фиг. 57А, среди восьми точек перелома, установленных в knee_function_info SEI, информация о положении перед преобразованием (input_knee_point [0]) для 0-ой точки перелома равна 100, и информация о ее положении после преобразования (output_knee_point [0]) составляет 290. Кроме того, информация о положении перед преобразованием (input_knee_point [1]) первой точки перелома равна 200, и информация о ее положении после преобразования (output_knee_point [1]) составляет 433, и информация о положении перед преобразованием (input_knee_point [2]) второй точки перелома равна 300, и ее информация о положении после преобразования (output_knee_point [2]) составляет 540.

Кроме того, информация о положении перед преобразованием (input_knee_point [3]) третьей точки перелома равна 400, и ее информация о положении после преобразования (output_knee_point [3]) равна 628, и информация о положении перед преобразованием (input_knee_point [4]) четвертой точки перелома равна 500, и ее информация о положении после преобразования (output_knee_point [4]) равна 705.

Кроме того, информация о положении перед преобразованием (input_knee_point [5]) пятой точки перелома равна 600, и ее информация о положении после преобразования (output_knee_point [5]) равна 774, и информация о положении перед преобразованием (input_knee_point [6]) шестой точки перелома равна 700, и ее информация о положении после преобразования (output_knee_point [6]) равна 836.

Кроме того, информация о положении перед преобразованием (input_knee_point [7]) седьмой точки перелома равна 800, и ее информация о положении после преобразования (output_knee_point [7]) равна 894, и информация о положении перед преобразованием (input_knee_point [8]) восьмой точки перелома равна 900, и информация о ее положении после преобразования (output_knee_point [8]) равна 949.

В этом случае, соответствующие точки перелома соединены друг с другом в порядке, в котором порядок i уменьшается, и, таким образом, функция преобразования коленчатой функции является такой, как представлено на фиг. 57 В.

Кроме того, как представлено на фиг. 57А, аппроксимированные индексы точки перелома (approximate_knee_point_index), в которых порядок j равен от 0 до 8, представляют собой 1, 5, 0, 3, 7, 2, 4, 6 и 8 в указанном порядке.

В случае, когда модуль 121 выбора выбирает части информации преобразования DR из трех точек перелома среди частей информации преобразования DR точек перелома, определенных knee_function_info SEI на фиг. 57А, функция преобразования по коленчатой функции, имеющей выбранные точки перелома, является такой, как представлено на фиг. 58.

Другими словами, в этом случае, модуль 121 выбора выбирает части информации преобразования DR точек перелома, в которых порядок i представляет собой от 0-ого по второй аппроксимированные индексы точек перелома (appoximate_knee_point_index) среди частей информации преобразования DR от 0-ой до восьмой точек перелома, определенных по knee_function_info SEI. Другими словами, модуль 121 выбора выбирает части информации преобразования DR первой, пятой и 0-ой точек перелома. Поэтому, функция преобразования по коленчатой функции, имеющей выбранные точки перелома, представляет собой прямую линию, которая соединяет первую, пятую и 0-ую точки перелома друг с другом в порядке, в котором порядок уменьшается, то есть, в порядке 0-ая, первая и пятая точки перелома.

В то же время, в случае, когда модуль 121 выбора выбирает части информации преобразования DR из пяти точек перелома среди частей информации преобразования DR точек перелома, определенных knee_function_info SEI на фиг. 57А, функция коленчатого преобразования, имеющая выбранные точки перелома, будет такой, как представлено на фиг. 59.

Другими словами, в этом случае, модуль 121 выбора выбирает части информации преобразования DR точек перелома, в которых порядок i представляет от 0-ого по четвертый индексы аппроксимированных точек перелома (approximate_knee_point_index) среди частей информации преобразования DR с 0-ой по восьмую точки перелома, определенных knee_function_info SEI. Другими словами, модуль 121 выбора выбирает части информации преобразования DR первой, пятой, 0-ой, третьей и седьмой точек перелома. Поэтому, функция преобразования по коленчатой функции, имеющая, выбранные точки перелома, представляет собой прямую линию, которая соединяет первую, пятую, 0-ую, третью и седьмую точки перелома друг с другом в порядке, в котором порядок i уменьшается, то есть, в порядке 0-ая, первая, третья, пятая и седьмая точки перелома.

Порядок j приблизительных индексов точек перелома установлен в порядке приоритетов для представления функции по фиг. 57В, которая представляет собой требуемую функцию, когда функция коленчатого преобразования повышается, и части информации преобразования DR точек перелома, которые представляют собой заданное количество аппроксимированных индексов точек перелома в порядке i выбирают из нижнего порядка j. Поэтому, как представлено на фиг. 58 и 59, аппроксимирующая функция преобразования по коленчатой функции является более приближенной к функции на фиг. 57В, чем в случае, когда выбирают другие точки перелома в таком же количестве.

Кроме того, большее количество точек перелома приводит к более гладкой и более сложной функции. Поэтому, приблизительная функция коленчатого преобразования на фиг. 59, в которой количество точек перелома равно пяти или больше, является приближенным к функции коленчатого преобразования на фиг. 57 В, чем приблизительная функция коленчатого преобразования на фиг. 58, в которой количество точек перелома равно трем.

Кроме того, как представлено на фиг. 60, приблизительный индекс точки перелома (approximate_knee_point_index) может быть установлен в approximate_knee_function_info SEI, отличной от knee_function_info SEI.

В этом случае, ID приблизительного коленчатого преобразования (approximate_knee_function_id) и соответствующий флаг отмены приблизительного коленчатого преобразования (approximate_knee_function_cancel_flag) установлены в approximate_knee function_info SEI.

ID приблизительного коленчатого преобразования представляет собой ID, уникальный для коленчатого преобразования, в котором используется аппроксимированная функция. Кроме того, флаг отмены аппроксимированного коленчатого преобразования представляет собой флаг, иллюстрирующий, отменяется или нет постоянство предыдущей approximate_knee_function_info SEI. Флаг отмены приблизительного коленчатого преобразования устанавливают в 1, когда он обозначает, что постоянство предыдущей approximate_knee_function_info SEI отменяется, и устанавливают в 0, когда постоянство не отменяется.

В случае, когда флаг отмены приблизительного коленчатого преобразования равен 0, опорный ID коленчатого преобразования (ref_knee_function_id) установлен в approximate_knee_function_info SEI. Опорный ID коленчатого преобразования представляет собой ID коленчатого преобразования для knee_function_info SEI, включающей в себя информацию DR точки перелома, обозначающей функцию коленчатого преобразования, которая аппроксимирована, используя индекс аппроксимирующей точки перелома для approximate_knee_function_info SEI.

Кроме того, установлены количество индексов аппроксимированных точек перелома (num_approximate_knee_point_indices_minus1), которое представляет значение, полученное в результате вычитания 1 из количества индексов аппроксимированных точек перелома, и индекс аппроксимированной точки перелома (approximate_knee_point_index).

Как упомянуто выше, также в случае, когда индекс аппроксимированной точки перелома (approximate_knee_point_index) установлен в approximate_knee_function_info SEI, семантика является такой же, как семантика, описанная со ссылкой на фиг. 56.

Кроме того, в представленном выше описании, установлена только knee_function_info SEI, включающая в себя информацию DR точки перелома, обозначающей функцию коленчатого преобразования, но может быть установлена knee_function_info SEI, включающая в себя информацию DR точки перелома, обозначающую аппроксимированную функцию коленчатого преобразования. В этом случае, например, информация DR точки перелома, обозначающая функцию коленчатого преобразования, установлена, как knee_function_info SEI, в которой ID коленчатого преобразования равен 0, и информация DR точки перелома, обозначающая аппроксимированную функцию коленчатого преобразования, установлена в knee_function_info SEI, в которой ID коленчатого преобразования равен 1. Кроме того, в случае, когда информацию DR передают с HDMI, устройство декодирования располагает информацию DR, включенную в knee_function_info SEI, в которой ID коленчатого преобразования установлен в 1, в один пакет AVI InfoFrame, и передает информацию DR.

Кроме того, уникальный ID установлен с заданной яркостью, как информация непреобразованной яркости дисплея (input_disp_luminance) и преобразованная информация о диапазоне яркости (output_d_range), и, таким образом, возможно уменьшить количество информации DR. В этом случае, например, 0 может быть назначен для 400 кандел на квадратный метр, и 1 может быть назначена для 800 кандел на квадратный метр, как ID. Соответствующая взаимосвязь между ID и яркостью, для которой назначен ID, установлена общей для стороны кодирования и стороны дисплея, и, таким образом, сторона дисплея может распознавать яркость по ID.

В третьем варианте осуществления точку перелома выбирают в порядке, в котором приоритеты для представления требуемой функции коленчатого преобразования являются более высокими, но точка перелома может быть выбрана в других порядках.

Кроме того, в третьем варианте осуществления, количество выбранных точек перелома представляет собой количество, которое может быть включено в один пакет AVI InfoFrame, но не ограничено этим. Например, в случае, когда устройство 111 декодирования имеет функцию устройства 112 дисплея, количество выбранных точек перелома может представлять собой количество точек перелома, соответствующих коленчатому преобразованию, которое можно обрабатывать с помощью модуля 93 преобразования и т.п.

Четвертый вариант осуществления

Основа четвертого варианта осуществления

Как представлено на фиг. 61, в электронно-лучевой трубке (CRT), используемой в дисплее CRT, входной электрический сигнал и яркость дисплея не имеют пропорциональную взаимосвязь, и при этом необходимо вводить более высокий электрический сигнал, для отображения большей яркости. Поэтому, если электрический сигнал, который пропорционален яркости изображения, вводить в дисплей CRT, как представлено на фиг. 62, яркость отображения будет ниже, чем оригинальная яркость изображения, как представлено на фиг. 63. Поэтому, для отображения изображения с оригинальной яркостью изображения, как представлено на фиг. 64, необходимо преобразовывать яркость изображения в электрический сигнал, используя функции, имеющие характеристику, обратную функции, показанной на фиг. 61.

Кроме того, на фиг. 61 и 63, на поперечной оси значение, полученное путем нормализации входного электрического сигнала, когда значение входного электрического сигнала для отображения с максимальной яркостью в дисплее CRT установлено равным 1, и на продольной оси обозначено значение, получаемое в результате нормализации яркости дисплея, когда максимальное значение яркости дисплея для дисплея CRT установлено равным 1. На фиг. 62 и 64 на поперечной оси представлено значение, получаемое в результате нормализации яркости целевого изображения дисплея, когда максимальное значение яркости целевого изображения дисплея установлено равным 1, и на продольной оси обозначено значение, получаемое в результате нормализации электрического сигнала, когда значение электрического сигнала, соответствующее максимальному значению яркости целевого изображения дисплея, установлено равным 1.

Функция для преобразования входного электрического сигнала в яркость дисплея, как представлено на фиг. 61, называется функцией электрооптической передачи (EOTF), и функция для преобразования яркости изображения в электрический сигнал, как показано на фиг. 64, называется функцией оптико-электрической передачи (OETF).

Другие дисплеи, такие как светодиодная (LED) панель, имеют другие характеристики, чем характеристики дисплея CRT. Однако, для того, чтобы не менять процедуры генерирования входного электрического сигнала, в зависимости от дисплеев, обработка с использованием EOTF и OETF также выполняется таким же образом, как в дисплее CRT, в случае выполнения отображения на других дисплеях.

На фиг. 65 показана схема, иллюстрирующая пример потока обработки до тех пор, пока изображение не будет отображено после съемки изображения.

Кроме того, в примере на фиг. 65, электрический сигнал имеет кодовое значение 10 битов (от 0 до 1023), и OETF, и EOFT определены в ВТ 709.

Как представлено на фиг. 65, когда изображение снимают с помощью камеры и т.п., для снятого изображения выполняют обработку фотоэлектрического преобразования для преобразования яркости (света) в электрический сигнал (кодовое значение), используя OETF. Затем электрический сигнал кодируют, и кодированный электрический сигнал декодируют. Кроме того, обработка электрооптического преобразования, состоящая в преобразовании электрического сигнала в яркость, используя EOTF, выполняется для декодированного электрического сигнала.

В то же время, зрение человека имеет такую характеристику, что оно в большей степени чувствительно к разности яркостей при низкой яркости и нечувствительна к разности яркостей при высокой яркости. Поэтому, как представлено на фиг. 65, OETF ВТ 709 представляет собой функцию, в которой большие кодовые значения назначают для части с низкой яркостью, чем для части с высокой яркостью. В результате, реализуется субъективно достаточное качество изображения.

В случае, когда максимальная яркость изображения составляет приблизительно 100 кандел на квадратный метр, удовлетворительные кодовые значения могут быть назначены для части с низкой яркостью, используя OETF или ВТ 709. Однако максимальная яркость дисплеев в последнее время проявляет тенденцию увеличения, и ожидается, что эта тенденция будет ускорена в будущем. Если максимальная яркость изображения увеличивается в соответствии с этим, значения кода, которые должны быть назначены для части низкой яркости, будут недостаточными в OETF ВТ 709, и, таким образом, невозможно будет получить изображения с удовлетворительным качеством.

Поэтому, считается, что новые OETF, предназначенные для использования с изображением HDR, в котором отношение значений кода, назначенных для части низкой яркости, увеличено, будут сгенерированы, и, таким образом, удовлетворительное качество изображения будет получено в изображении HDR. Однако, в этом случае, для выполнения обработки фотоэлектрического преобразования, при обработке электрооптического преобразования, необходимо подготовить, как OETF, так и EOTF для изображения HDR и OETF, и EOTF для изображения SDR.

С другой стороны, в случае, когда выполняется электрооптическое преобразование для изображения SDR, используя OETF для изображения HDR, выражение серой шкалы яркости делают более грубым.

Например, как представлено на фиг. 66, в случае, когда выполняется фотоэлектрическое преобразование для изображения SDR, используя OETF ВТ 709 для изображения SDR, имеющего максимальную яркость 100 кандел за квадратный метр, яркость изображения SDR выражается в кодах 1024, включающих в себя от 0 до 1023. В отличие от этого, как представлено на фиг. 67, в случае, когда выполняется фотоэлектрическое преобразование для изображения SDR, используя OETF для изображения HDR, имеющего максимальную яркость 400 кандел на квадратный метр, яркость изображения SDR выражается, например, в 502 значениях кода, включающих в себя от 0 до 501.

Поэтому, OETF и EOTF, предпочтительно, изменяются для назначения достаточных значений кода для части с низкой яркостью, как для изображения HDR, имеющего высокую максимальную яркость, так и для изображения SDR, имеющего низкую максимальную яркость. Поэтому, в четвертом варианте осуществления, коленчатое преобразование выполняют перед OETF по ВТ 709 и после EOTF по ВТ 709, и, таким образом, достаточные значения кода могут быть назначены для части с низкой яркостью.

Обзор обработки фотоэлектрического преобразования в четвертом варианте осуществления

На фиг. 68 показана схема, иллюстрирующая общий обзор обработки фотоэлектрического преобразования в четвертом варианте осуществления.

Как представлено в левой части на фиг. 68, в четвертом варианте осуществления, вначале выполняют заданное преобразование по коленчатой функции для яркости (входной яркости) снятого изображения. В примере на фиг. 68, в результате преобразование по коленчатой функции, 10% части низкой яркости для входной яркости преобразуют в 90% части низкой яркости входной яркости', и 90% части высокой яркости входной яркости преобразуют в 10% части высокой яркости входной яркости'. В соответствии с этим, происходит генерирование входной яркости', в которой больше значений назначено для части с низкой яркостью, чем для части с высокой яркостью.

Затем, как представлено в центральной части на фиг. 68, обработка фотоэлектрического преобразования, используя OETF по ВТ 709, выполняется для входной яркости', для генерирования значения кода с заданным количеством битов (10 битов в примере на фиг. 68). Как описано выше, поскольку во входной яркости' больше значений назначают для части с низкой яркостью, чем для части с высокой яркостью, как представлено в правой части на фиг. 68, больше значений назначают для значений кода, преобразованных из входной яркости', из-за части с низкой яркостью входной яркости, чем в OETF по ВТ 709. В примере на фиг. 68, 10% части низкой яркости входной яркости назначают для 94% значений кода.

Как упомянуто выше, в четвертом варианте осуществления, протяженность назначаемых значений кода для части с низкой яркостью (темная часть) и протяженность назначаемых значений кода для части с высокой яркостью (яркая часть) регулируют, используя функцию коленчатого преобразования, в качестве параметра.

Кроме того, информацию по точке перелома для коленчатого преобразования, выполняемого для входной яркости, устанавливают в knee_function_info SEI по фиг. 40 и передают на сторону декодирования.

Общий обзор обработки электрооптического преобразования в четвертом варианте осуществления

На фиг. 69 показана схема, иллюстрирующая общий обзор обработки электрооптического преобразования в четвертом варианте осуществления.

Как представлено в левой части на фиг. 69, в четвертом варианте осуществления, первая обработка электрооптического преобразования, используя EOTF по ВТ 709, выполняется для значений кода декодируемого изображения, таким образом, чтобы сгенерировать яркость (выходную яркость). Затем, как представлено в центральной части на фиг. 69, заданное коленчатое преобразование выполняют для выходной яркости. В примере на фиг. 68, в результате коленчатого преобразования, 90% части с низкой яркостью выходной яркости преобразуют в 10% части с низкой яркостью выходной яркости', и 10% части с высокой яркостью выходной яркости преобразуют в 90% части с высокой яркостью выходной яркости'.

В соответствии с этим, как представлено в правой части на фиг. 69, кодовые значения, в которых больше значений назначают для части низкой яркости входной яркости, чем в EOTF, ВТ 709 могут быть преобразованы в ту же выходную яркость', что и входная яркость, соответствующая значениям кода.

Как упомянуто выше, в четвертом варианте осуществления, кодовые значения, в которых регулируют степень назначения части с низкой яркостью (темная часть), и степень назначения части с высокой яркостью (яркая часть), преобразуют в яркость, используя функцию коленчатого преобразования, в качестве параметра.

Кроме того, информация о точке перелома коленчатого преобразования, выполняемого для выходной яркости, определяется на основе информации, установленной в knee_function_info SEI и т.п., переданной со стороны кодирования.

Пример конфигурации четвертого варианта осуществления устройства кодирования

На фиг. 70 показана блок-схема, иллюстрирующая пример конфигурации четвертого варианта осуществления устройства кодирования, в котором применяется настоящее раскрытие.

Среди составляющих элементов, представленных на фиг. 70, те же составляющие элементы, что и составляющие элементы, показанные на фиг. 6 или 16, обозначены одинаковыми номерами ссылочных позиций. Повторное их описание будет исключено, соответственно.

Конфигурация устройства 150 кодирования на фиг. 70 отличается от конфигурации на фиг. 16 тем, что модуль 151 квантования, предусмотрен вместо модуля 73 преобразования. Устройство 150 кодирования выполняет обработку фотоэлектрического преобразования для снятого изображения, которое вводят из внешнего устройства для выполнения кодирования.

В частности, модуль 151 квантования устройства 150 кодирования выполняет преобразование коленчатой функции яркости снятого изображения, которое вводят из внешнего устройства. Информация о точке перелома коленчатого преобразования установлена в knee_function_info SEI модулем 71 установки. Модуль 151 квантования выполняет обработку фотоэлектрического преобразования, используя OETF по ВТ 709 для яркости, преобразованной по коленчатой функции, с тем, чтобы сгенерировать кодовое значение. Модуль 151 квантования подает сгенерированное кодовое значение в модуль 72 кодирования, как целевое изображения кодирования.

Описание обработки в устройстве кодирования

На фиг. 71 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования потока, выполняемую устройством 150 кодирования на фиг. 70.

На этапе S150, на фиг. 71, модуль 151 квантования устройства 150 кодирования выполняет преобразование по коленчатой функции яркости снятого изображения, которое вводят из внешнего устройства. На этапе S152 модуль 151 квантования выполняет обработку фотоэлектрического преобразования, используя EOTF по ВТ 709 для яркости, преобразованной по коленчатой функции, для генерирования кодового значения. Модуль 151 квантования передает сгенерированное кодовое значение в модуль 72 кодирования, как целевое изображение кодирования.

Обработка на этапах S152-S154 является такой же, как и обработка на этапах S73-S75, на фиг. 21, и, таким образом, ее описание будет исключено.

На этапе S155 модуль 71 установки устанавливает knee_function_info SEI, включающую в себя информацию о точке перелома для коленчатого преобразования, выполняемого в результате обработки на этапе S150. Модуль 71 установки передает наборы параметров, такие как набор SPS, PPS, VUI и knee_function_info SEI, в модуль 72 кодирования.

На этапе S156, модуль 72 кодирования кодирует целевое изображение кодирования, которое передают из модуля 73 преобразования в способе HEVC. Обработка на этапах S157 и S158 является такой же, как и обработка на этапах S78 и S79 на фиг. 21, и таким образом, ее описание будет здесь исключено.

Как упомянуто выше, устройство 150 кодирования выполняет коленчатое преобразование перед OETF по ВТ 709, и, таким образом, может выполнять обработку фотоэлектрического преобразования, пригодную, как для изображения SDR, так и для изображения HDR, используя OETF по ВТ 709.

Пример конфигурации четвертого варианта осуществления устройства декодирования

На фиг. 72 показана блок-схема, иллюстрирующая пример конфигурации четвертого варианта осуществления устройства декодирования, в котором применяется настоящее раскрытие, и которое декодирует кодированный поток, передаваемый из устройства 150 кодирования по фиг. 70.

Среди составляющих элементов, представленных на фиг. 72, те же составляющие элементы, как и составляющие элементы на фиг. 12 или 22, обозначены одинаковыми номерами ссылочных позиций. Повторное их описание будет здесь исключено, соответственно.

Конфигурация устройства 170 декодирования на фиг. 72 отличается от конфигурации устройства 90 декодирования по фиг. 22 тем, что модуль 171 преобразования предусмотрен вместо модуля 93 преобразования. Устройство 170 декодирования декодирует кодированный поток, и выполняет обработку электрооптического преобразования для декодированного изображения, которое получают в результате.

В частности, модуль 171 преобразования устройства 170 декодирования выполняют обработку электрооптического преобразования, используя EOTF по ВТ 709 для значений кода, как для декодированного изображения, передаваемого из модуля 92 декодирования, для генерирования яркости. Модуль 171 преобразования выполняет коленчатое преобразование для яркости на основе knee_function_info SEI из модуля 91 выделения. Модуль 171 преобразования передает яркость, которую получают, как результат коленчатого преобразования, в модуль 94 управления дисплеем, как изображение отображения.

Описание обработки в устройстве декодирования

На фиг. 73 показана блок-схема последовательности операций, иллюстрирующая обработку генерирования изображения, выполняемую устройством 170 декодирования по фиг. 72.

Обработка на этапах S171-S173 по фиг. 73 является такой же, как и обработка на этапах S91-S93 на фиг. 23, и, таким образом, ее описание будет здесь исключено.

На этапе S174, модуль 171 преобразования устройства 170 декодирования выполняет обработку электрооптического преобразования, используя EOTF по ВТ 709 для значения кода, как для декодированного изображения, передаваемого из модуля 92 декодирования, для генерирования яркости.

На этапе S175, модуль 171 преобразования выполняет коленчатое преобразование для генерируемой яркости на основе knee_function_info SEI из модуля 91 выделения. Модуль 171 преобразования передает яркость, которую получают, как результат коленчатого преобразования, в модуль 94 управления дисплеем, как изображение отображения.

На этапе S176, модуль 94 управления отображением отображает отображаемое изображение, передаваемое из модуля 93 преобразования в модуле 95 дисплея, и заканчивает обработку.

Как упомянуто выше, устройство 170 декодирования выполняет коленчатое преобразование после EOTF по ВТ 709, и, таким образом, может выполнять обработку электрооптического преобразования, пригодную как для изображения SDR, так и для изображения HDR, используя EOTF по ВТ 709.

Кроме того, максимальная яркость целевого изображения кодирования может быть включена в кодированный поток вместе с кодированными данными и может быть передана в устройство 170 декодирования из устройства 150 кодирования, и может быть определена заранее, как значение, общее для устройства 150 кодирования и устройства 170 декодирования. Кроме того, knee_function_info SEI может быть установлена для каждого элемента максимальной яркости целевого изображения кодирования.

Кроме того, в четвертом варианте осуществления может быть установлена knee_function_info SEI с первого по третий варианты осуществления. В этом случае сторона декодирования выполняет коленчатое преобразование, используя информацию преобразования DR, и, таким образом, возможно выполнять преобразование в изображение, которое пригодно для различного отображения яркости.

Кроме того, устройство 170 декодирования в четвертом варианте осуществления может быть разделено на устройство декодирования и устройство дисплея таким же образом, как и в третьем варианте осуществления.

Кроме того, в четвертом варианте осуществления, протяженность назначения кодовых значений для части с низкой яркостью и протяженность назначения кодовых значений для части с высокой яркостью регулируют, используя функцию коленчатого преобразования, как параметр, но они могут регулироваться, используя другие функции, кроме функции коленчатого преобразования, в качестве параметра.

Кроме того, в настоящем раскрытии может применяться способ AVC.

Пятый вариант осуществления

Описание компьютера, в котором применяется настоящее раскрытие

Представленная выше последовательность обработки может выполняться, используя аппаратные средства или программные средства. Когда представленная выше последовательность обработки выполняется с использованием программных средств, программы, составляющие программное обеспечение, устанавливают в компьютер. Здесь компьютер включает в себя компьютер, встроенный в специализированные аппаратные средства, или персональный компьютер общего назначения и т.п., который может исполнять различного вида функции в результате установки различного вида программ.

На фиг. 74 показана блок-схема, иллюстрирующая пример конфигурации аппаратных средств компьютера, которая выполняет описанную выше последовательность обработки, в соответствии с программой.

В компьютере центральное процессорное устройство (CPU) 201, постоянное запоминающее устройство (ROM) 202, и оперативное запоминающее устройство (RAM) 203 соединены друг с другом через шину 204.

Шина 204 также соединена с интерфейсом 205 ввода и вывода. Интерфейс 205 ввода и вывода соединен с модулем 206 ввода, модулем 207 вывода, модулем 208 накопителя, модулем 209 передачи данных и приводом 210.

Модуль 206 ввода включает в себя клавиатуру, мышь, микрофон и т.п. Модуль 207 вывода включает в себя дисплей, громкоговоритель и т.п. Модуль 208 накопителя включает в себя жесткий диск, энергонезависимое запоминающее устройство и т.п. Модуль 209 передачи данных включает в себя сетевой интерфейс и т.п. Привод 210 выполняет привод съемного носителя 211 информации, такого как магнитный диск, оптический диск, магнитооптический диск и т.п.

В компьютере, выполненном таким образом, CPU 201 выполняет описанную выше последовательность обработки, например, путем загрузки программы, сохраненной в модуле 208 сохранения, в RAM 203, через интерфейс 205 ввода и вывода и шину 204, и выполнения этой программы.

Программа, выполняемая компьютером (CPU 201), может быть записана на съемный носитель 211 информации, например, как пакетный носитель информации, и может быть предоставлена. Кроме того, программа может быть предоставлена через проводную или беспроводную среду передачи, такую как локальная вычислительная сеть, Интернет или цифровая спутниковая широковещательная передача.

В компьютере программа может быть установлена в модуле 208 накопителя через интерфейс 205 ввода и вывода, путем установки съемного носителя 211 информации в привод 210. Кроме того, программа может быть принята модулем 209 передачи данных через проводную или беспроводную среду передачи данных и может быть установлена в модуле 208 накопителя. Кроме того, программа может быть заранее установлена в ROM 202 или в модуле 208 накопителя.

Кроме того, программа, исполняемая компьютером, может представлять собой программу, которая выполняет обработку во временной последовательности, в соответствии с порядком, описанным в настоящем описании, и может представлять собой программу, которая выполняет обработку параллельно или в необходимые моменты времени, например, в момент доступа

Шестой вариант осуществления

Применение для кодирования многообзорного изображения и декодирования многообзорного изображения

Описанная выше последовательность обработки может применяться для кодирования многообзорного изображения и декодирования многообзорного изображения. На фиг. 75 показана схема, иллюстрирующая пример способа кодирования многообзорного изображения.

Как представлено на фиг. 75, многообзорные изображения включают в себя изображения, снятые из множества видов. Множество видов в многообзорных изображениях включают в себя основной вид, в котором выполняется кодирование/декодирование, используя только изображения его собственного вида, и неосновной вид, в котором кодирование/декодирование выполняют, используя изображений других видов. Для неосновного вида может использоваться изображение основного вида и могут использоваться другие изображения неосновного вида.

В случае кодирования/декодирования многообзорных изображений, как на фиг. 75, изображение каждого вида кодируют/декодируют, и описанный выше способ, в соответствии с первым вариантом осуществления, может применяться для кодирования/декодирования каждого вида. Таким образом, декодированное изображение может быть преобразовано в требуемое изображение с разным динамическим диапазоном.

Кроме того, при кодировании/декодировании каждого вида, могут совместно использоваться флаг или параметр, используемый в способе, в соответствии с первым вариантом осуществления. Более конкретно, например, элемент синтаксиса и т.п. knee_function_info SEI может совместно использоваться при кодировании/декодировании каждого вида. Конечно, другая необходимая информация, кроме этих элементов, может совместно использоваться при кодировании/декодировании каждого вида.

Таким образом, становится возможным свести к минимуму передачу избыточной информации и, таким образом, уменьшить количество передаваемой информации (скорость передачи битов) (то есть, становится возможным свести к минимуму снижение эффективности кодирования).

Устройство кодирования многообзорного изображения

На фиг. 76 показана схема, иллюстрирующая устройство кодирования многообзорного изображения, которое выполняет описанное выше кодирование многообзорного изображения. Как представлено на фиг. 76, устройство 600 кодирования многообзорного изображения включает в себя модуль 601 кодирования, модуль 602 кодирования и мультиплексор 603.

Модуль 601 кодирования кодирует изображение основного вида, таким образом, чтобы сгенерировать кодированный поток изображения основного вида. Модуль 602 кодирования кодирует изображение неосновного вида, с тем, чтобы сгенерировать кодированный поток изображения неосновного вида. Мультиплексор 603 мультиплексирует кодированный поток изображения основного вида, сгенерированный в модуле 601 кодирования, и кодированный поток изображения неосновного вида, сгенерированный в модуле 602 кодирования для генерирования кодированного потока многообзорного изображения.

Устройство 10 кодирования (фиг. 6) применимо для модуля 601 кодирования и модуля 602 кодирования устройства 600 кодирования многообзорного изображения. Другими словами, при кодировании каждого вида, изображение может быть кодировано таким образом, что декодированное изображение может быть преобразовано в требуемое изображение с разным динамическим диапазоном во время декодирования. Кроме того, модуль 601 кодирования и модуль 602 кодирования могут выполнять кодирование (то есть, флаг или параметр могут совместно использоваться) путем использования взаимно одинаковых флагов или параметров (например, элемента синтаксиса и т.п. в отношении обработки изображений), и, таким образом, возможно свести к минимуму снижение эффективности кодирования.

Устройство декодирования многообзорного изображения

На фиг. 77 показана схема, иллюстрирующая устройство декодирования многообзорного изображения, которое выполняет описанное выше декодирование многообзорного изображения. Как представлено на фиг. 77, устройство 610 декодирования многообзорного изображения включает в себя демультиплексор 611, модуль 612 декодирования и модуль 613 декодирования.

Демультиплексор 611 демультиплексирует кодированный поток многообзорного изображения, в котором мультиплексированы кодированный поток изображения основного вида и кодированный поток изображения неосновного вида, таким образом, чтобы выделить кодированный поток изображения основного вида и кодированный поток изображения неосновного вида. Модуль 612 декодирования декодирует кодированный поток изображения основного вида, выделенный демультиплексором 611 для получения изображения основного вида. Модуль 613 декодирования декодирует кодированный поток изображения неосновного вида, выделенный демультиплексором 611 для получения изображения неосновного вида.

Устройство 50 декодирования (фиг. 12) применимо для модуля 612 декодирования и модуля 613 декодирования устройства 610 декодирования многообзорного изображения. Другими словами, при декодировании каждого вида, декодированное изображение может быть преобразовано в требуемое изображение с разным динамическим диапазоном. Кроме того, модуль 612 декодирования и модуль 613 декодирования могут выполнять кодирование (то есть флаг или параметр могут совместно использоваться), используя взаимно одинаковые флаги или параметры (например, элемент синтаксиса и т.п. в отношении обработки изображений), и, таким образом, становится возможным свести к минимуму снижение эффективности кодирования.

Седьмой вариант осуществления

Применение для кодирования изображения уровня и декодирования изображения уровня

Описанную выше последовательность обработки можно применять для кодирования изображения уровня и декодирования изображения уровня. На фиг. 78 показан пример способа кодирования изображения уровня.

Кодирование изображения уровня (масштабируемое кодирование) предназначено для генерирования множества уровней изображения и для кодирования каждого уровня таким образом, что данные изображения имеют масштабируемую функцию в отношении заданного параметра. Декодирование изображения уровня (масштабируемое декодирование) представляет собой декодирование, соответствующее кодированию изображения уровня.

Как представлено на фиг. 78, при установке уровня для изображения, одно изображение разделяют на множество изображений (уровней) с заданным параметром, имеющим масштабируемую функцию, как ссылку. Другими словами, разделенные на уровни изображения (изображения уровней) включают в себя изображения множества уровней, в которых значения заданного параметра отличаются друг от друга. Множество уровней изображений уровня включает в себя основной уровень, в котором кодирование/декодирование выполняют, используя только изображения его собственного уровня, и не основной уровень (также называемый уровнем расширения), в котором кодирование/декодирование выполняют путем использования изображений других уровней. В не основном уровне может использоваться изображение основного уровня и могут использоваться другие изображения не основного уровня.

Обычно не основной уровень формируют из его собственного изображения и данных (данных разности) для изображения разности с изображениями других уровней. Например, в случае, когда одно изображение генерируют, как два уровня, включающие в себя основной уровень и не основной уровень (также называемый уровнем расширения), изображение с более низким качеством, чем у исходного изображения, получают только путем использования данных основного уровня, и, таким образом, данные основного уровня и данные не основного уровня комбинируют друг с другом для получения оригинального изображения (то есть, изображения высокого качества).

Изображение разделяют на уровни, как упомянуто выше, и, таким образом, различного качества изображения могут быть легко получены, в зависимости от обстоятельств. Например, информацию сжатия изображений только для основного уровня передают в терминал, имеющий низкие характеристики обработки, такой как мобильный телефон, таким образом, что воспроизводят движущееся изображение с низким пространственным и временным разрешением или низким качеством изображения, и информацию сжатия изображений уровня расширения так же, как для основного уровня, передают в терминал с высокими характеристиками обработки, такой как телевизионный приемник или персональный компьютер, таким образом, что воспроизводят движущееся изображение с высоким пространственным и временным разрешением или с высоким качеством изображения. Таким образом, информация сжатия изображений может быть передана из сервера, в зависимости от характеристик терминала, или из сети, без выполнения обработки транскодирования.

Изображение уровня, как в примере на фиг. 78, кодируют/декодируют, изображение каждого уровня кодируют/декодируют, описанный выше способ, в соответствии с первым вариантом осуществления, может применяться для кодирования/декодирования каждого уровня. Таким образом, декодированное изображение может быть преобразовано в требуемое изображение с разным динамическим диапазоном.

Кроме того, при кодировании/декодировании каждого уровня, могут совместно использоваться флаг или параметр, используемый в способе, в соответствии с первым вариантом осуществления. Более конкретно, например, элемент синтаксиса и т.п. knee_function_info SEI может совместно использоваться при кодировании/декодировании каждого уровня. Конечно, другая необходимая информация, кроме этих элементов, может совместно использоваться при кодировании/декодировании каждого уровня.

Таким образом, становится возможным свести к минимуму передачу избыточной информации и, таким образом, уменьшить количество передаваемой информации (скорость передачи битов) (то есть, становится возможным свести к минимуму снижение эффективности кодирования).

Масштабируемые параметры

При таком кодировании изображения уровня и декодировании изображения уровня (масштабируемое кодирование и масштабируемое декодирование), параметр, имеющий масштабируемую функцию, является произвольным. Например, пространственное разрешение, как представлено на фиг. 79, может представлять собой параметр (возможность пространственного масштабирования). В случае возможности пространственного масштабирования, разрешение изображения будет разным для каждого уровня. Другими словами, в таком случае, как представлено на фиг. 79, каждое изображение генерируют, как два уровня, включающие в себя основной уровень, с более низким пространственным разрешением, чем у исходного изображения, и уровень расширения, который позволяет получить оригинальное пространственное разрешение в результате комбинации с основным уровнем. Конечно, количество уровней представляет собой пример, и любое количество уровней может быть сгенерировано.

Кроме того, в качестве параметра, который предоставляет такую масштабируемость, может использоваться, например, временное разрешение (возможность временного масштабирования), как представлено на фиг. 80. В случае временной масштабируемости, скорость кадров отличается для каждого уровня. Другими словами, в этом случае, как представлено на фиг. 80, каждое изображение генерируют, как два уровня, включающие в себя основной уровень, в котором частота кадров ниже, чем у оригинального движущегося изображения, и уровень расширения, который позволяет получать оригинальную скорость кадров в результате комбинации с основным уровнем. Конечно, количество уровней представляет собой пример, и любое количество уровней может быть сгенерировано.

Кроме того, в качестве параметра, который предоставляет такую возможность масштабирования, можно использовать, например, отношение сигнал-шум (SNR) (возможность масштабирования по SNR). В случае возможности масштабирования по SNR, SNR является разным для каждого уровня. Другими словами, в этом случае, как представлено на фиг. 81, каждое изображение генерируют, как два уровня, включающих в себя основной уровень, SNR которого ниже, чем у исходного изображения, и уровень расширения, который позволяет получить оригинальное SNR в результате комбинации с основным уровнем. Конечно, количество уровней представляет собой пример, и любое количество уровней может быть сгенерировано.

Для параметров, которые задают масштабируемость, можно использовать другие параметры, чем в описанных выше примерах. Например, в качестве параметров, которые предоставляют возможность масштабирования, можно использовать глубину битов (возможность масштабирования глубины битов). В случае масштабируемости по глубине битов, глубина битов будет разной для каждого уровня. В этом случае, например, основной уровень формируют из 8-битного изображения, и уровень расширения добавляют к нему так, чтобы можно было получать 10-битное изображение.

Кроме того, в качестве параметра который задает возможность масштабирования, можно использовать формат цветности (возможность масштабирования по цветности). В случае масштабируемости по цветности, формат цветности отличается для каждого уровня. В этом случае, например, основной уровень формируется, как компонентное изображение с форматом 4:2:0, и уровень расширения добавляют к нему так, что может быть получено компонентное изображение с форматом 4:2:2.

Кроме того, в качестве параметра, который задает возможность масштабирования, можно использовать динамический диапазон яркости (возможность масштабирования DR). В случае масштабируемости по DR, динамический диапазон яркости отличается для каждого уровня. В этом случае, например, основной уровень формируют из изображения SDR, и уровень расширения добавляют к нему так, что может быть получено изображение HDR.

В случае применения описанной выше последовательности обработки для масштабируемости динамического диапазона, например, информация, относящаяся к разворачиванию по коленчатой функции из изображения SDR в изображение HDR установлена в кодированном потоке изображения основного уровня, как информация преобразования DR. Кроме того, информация, относящаяся к сжатию по коленчатой функции динамического диапазона яркости в изображении HDR, установлена в кодированном потоке изображения уровня расширения, как информация преобразования DR.

Кроме того, устройство декодирования, которое может декодировать только кодированный поток изображения основного уровня и включает в себя дисплей HDR, преобразует изображение SDR, которое представляет собой декодированное изображение, в изображение HDR, на основе информации преобразования DR, и устанавливает изображение HDR, как изображение дисплея. С другой стороны, устройство декодирования, которое также может декодировать кодированный поток изображение уровня расширения, и включает в себя дисплей HDR, который может отображать изображение HDR с низким динамическим диапазоном, выполняет сжатие по коленчатой функции динамического диапазона яркости изображения HDR, которое представляет собой декодированное изображение, на основе информации преобразования DR, и устанавливает его результат, как изображение отображения.

Кроме того, информация о расширении динамического диапазона яркости изображения HDR может быть установлена в кодированном потоке изображения уровня расширения, как информация DR. В этом случае устройство декодирования, которое также может декодировать кодированный поток изображения уровня расширения и включает в себя дисплей HDR, который может отображать изображение HDR с расширенным динамическим диапазоном, выполняет разворачивание по коленчатой функции динамического диапазона яркости изображения HDR, которое представляет собой декодированное изображение, на основе информации преобразования DR, и устанавливает его результат, как изображение отображения.

Как упомянуто выше, информацию преобразования DR устанавливают в кодированном потоке изображения основного уровня или изображения уровня расширения, и, таким образом, становится возможным отображать изображение, которое в большей степени соответствует характеристикам дисплея.

Устройство кодирования изображения уровня

На фиг. 82 показана схема, иллюстрирующая устройство кодирования изображения уровня, которое выполняет описанное выше кодирование изображения уровня. Как представлено на фиг. 82, устройство 620 кодирования изображения уровня включает в себя модуль 621 кодирования, модуль 622 кодирования и мультиплексор 623.

Модуль 621 кодирования кодирует изображение основного уровня таким образом, чтобы генерировать кодированный поток изображения основного уровня. Модуль 622 кодирования кодирует изображение не основного уровня, для того, чтобы генерировать кодированный поток изображения не основного уровня. Мультиплексор 623 мультиплексирует кодированный поток изображения основного уровня, сгенерированный в модуле 621 кодирования, и кодированный поток изображения не основного уровня, сгенерированный в модуле 622 кодирования для генерирования кодированного потока изображения уровня.

Устройство 10 (фиг. 6) применимо для модуля 621 кодирования и модуля 622 кодирования устройства 620 кодирования изображения уровня. Другими словами, при кодировании каждого уровня изображение может быть кодировано таким образом, что декодированное изображение может быть преобразовано в требуемое изображение, используя различный динамический диапазон во время декодирования. Кроме того, модуль 621 кодирования и модуль 622 кодирования могут выполнять управление и т.п. обработкой фильтра прогнозирования внутри кадра (то есть, флаг или параметр могут совместно использоваться), используя взаимно одинаковые флаги или параметры (например, элемент синтаксиса и т.п. в отношении обработки изображений), и, таким образом, возможно свести к минимуму снижение эффективности кодирования.

Устройство декодирования изображения уровня

На фиг. 83 показана схема, иллюстрирующая устройство декодирования изображения уровня, которое выполняет описанное выше декодирование изображения уровня. Как представлено на фиг. 83, устройство 630 декодирования изображения уровня включает в себя демультиплексор 631, модуль 632 декодирования и модуль 633 декодирования.

Демультиплексор 631 демультиплексирует кодированный поток изображения уровня, в котором мультиплексированы кодированный поток изображения основного уровня и кодированный поток изображения не основного уровня, для выделения кодированного потока изображения основного уровня и кодированного потока изображения не основного уровня. Модуль 632 декодирования декодирует кодированный поток изображения основного уровня, выделенный демультиплексором 631, для получения изображения основного уровня. Модуль 633 декодирования декодирует кодированный поток изображения не основного уровня, выделенный демультиплексором 631, для получения изображения не основного уровня.

Устройство 50 декодирования (фиг. 12) применимо для модуля 632 декодирования и модуля 633 кодирования устройства 630 декодирования изображения уровня. Другими словами, при декодировании каждого уровня, декодируемое изображение может быть преобразовано в требуемое изображение с разным динамическим диапазоном. Кроме того, модуль 612 декодирования и модуль 613 декодирования могут выполнять кодирование (то есть, флаг или параметр могут совместно использоваться), используя взаимно одни и те же флаги или параметры (например, элемент синтаксиса и т.п. в отношении обработки изображений), и, таким образом, становится возможным свести к минимуму снижение эффективности кодирования.

Восьмой вариант осуществления

Пример конфигурации телевизионного устройства

На фиг. 84 представлено телевизионное устройство, в котором применяется настоящая технология. Телевизионное устройство 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, модуль 905 обработки видеосигнала, модуль 906 дисплея, модуль 907 обработки аудиосигнала, громкоговоритель 908 и модуль 909 внешнего интерфейса. Кроме того, телевизионное устройство 900 включает в себя модуль 910 управления, интерфейс 911 пользователя и т.п.

Тюнер 902 выбирает требуемый канал из сигнала широковещательной передачи, который принимает через антенну 901, демодулирует выбранный канал, и выводит кодированный поток битов, который получают в результате демодуляции, в демультиплексор 903.

Демультиплексор 903 выделяет видео- или аудиопакет программы, которая представляет собой цель просмотра, из кодированного потока битов, и выводит данные выделенного пакета в декодер 904. Кроме того, демультиплексор 903 подает пакет данных, такой как электронная программа передач (EPG), в модуль 910 управления. Кроме того, демультиплексор и т.п. может выполнять дескремблирование, когда кодированный поток скремблирован.

Декодер 904 декодирует пакет, и выводит видеоданные и аудиоданные, сгенерированные в ходе декодирования, в модуль 905 обработки видеосигнала и модуль 907 обработки аудиосигнала, соответственно.

Модуль 905 обработки видеосигнала выполняет удаление шумов или обработку видеоданных и т.п., в соответствии с установками пользователя для видеоданных. Модуль 905 обработки видеосигнала генерирует видеоданные программы, которая отображается в модуле 906 дисплея, или данные изображения и т.п. в ходе обработки на основе приложения, которое поступает через сеть. Кроме того, модуль 905 обработки видеосигнала генерирует видеоданные для отображения экрана меню, такого как выбор пунктов, и накладывает эти видеоданные на видеоданные программы. Модуль 905 обработки видеосигнала генерирует сигнал управления на основе видеоданных, генерируемых таким образом, для генерирования модуля 906 дисплея.

Модуль 906 дисплея выполняет управление устройством дисплея (например, элементом жидкокристаллического дисплея) на основе сигнала управления из модуля 905 обработки видеосигнала для отображения видеоизображения программы и т.п.

Модуль 907 обработки аудиосигнала выполняет обработку, такую как удаление шумов в аудиоданных, и выполняет D/A преобразование или усиление обработанных аудиоданных, которые затем поступают в громкоговоритель 908, выводя, таким образом, звуки.

Модуль 909 внешнего интерфейса представляет собой интерфейс для соединения с внешним устройством или сетью, и передает и принимает данные, такие как видеоданные или аудиоданные.

Модуль 901 управления соединен с модулем 911 интерфейса пользователя. Модуль 911 интерфейса пользователя состоит из переключателя операций, части приема дистанционного сигнала управления и т.п., и подает сигнал операции, соответствующий операции пользователя, в модуль 910 управления.

Модуль 910 управления сформирован путем использования центрального процессорного устройства (CPU), запоминающие устройства и т.п. В запоминающих устройствах содержится программа, исполняемая CPU, различные данные, которые необходимы при выполнении CPU обработки, данные EPG, данные, полученные через сеть, и т.п. Программу, сохраненную в запоминающих устройствах, считывают и исполняют с помощью CPU, например, когда включают телевизионное устройство 900. CPU исполняет программу, и, таким образом, управляет каждым модулем так, что телевизионное устройство 900 выполняет операцию, в ответ на операцию пользователя.

Кроме того, в телевизионном устройстве 900 предусмотрена шина 912, которая соединяет тюнер 902, демультиплексор 903, модуль 905 обработки видеосигнала, модуль 907 обработки аудиосигнала, модуль 909 внешнего интерфейса и модуль 910 управления, друг с другом.

В телевизионном устройстве, имеющем такую конфигурацию, функция устройства декодирования (способ декодирования) в настоящей заявке предусмотрена в декодере 904. По этой причине становится возможным преобразовывать декодируемое изображение в требуемое изображение с разным динамическим диапазоном.

Девятый вариант осуществления

Пример конфигурации мобильного телефона

На фиг. 85 показан пример схематичной конфигурации мобильного телефона, в котором применяется настоящее раскрытие. Мобильный телефон 920 включает в себя модуль 922 передачи данных, аудиокодек 923, модуль 926 камеры, модуль 927 обработки изображения, мультиплексор/демультиплексор 928, модуль 929 записи/воспроизведения, модуль 930 дисплея и модуль 931 управления. Эти составляющие элементы соединены друг с другом через шину 933.

Кроме того, модуль 922 передачи данных соединен с антенной 921, и аудиокодек 923 соединен с громкоговорителем 924 и микрофоном 925. Кроме того, модуль 931 управления соединен с модулем 932 операций.

Мобильный телефон 920 выполняет различные операции, такие как передача и прием аудиосигналов, передача и прием электронной почты или данных изображения, съемка изображения и запись данных в различных режимах операций, таких как режим голосовой связи и режим передачи данных.

В режиме голосовой связи для аудиосигнала, генерируемого микрофоном 925, выполняют преобразование в аудиоданные или выполняют сжатие данных в аудиокодеке 923, и затем подают в модуль 922 передачи данных. Модуль 922 передачи данных выполняет обработку модуляции или обработку преобразования частоты для аудиоданных для того, чтобы сгенерировать сигнал передачи. Кроме того, модуль 922 передачи данных передает сигнал передачи данных в антенну 921 для передачи сигнала передачи в базовую станцию (не показана). Кроме того, модуль 922 передачи данных выполняет усиление, обработку преобразования частоты и обработку демодуляции для сигнала, который принимают через антенну 921, и подает сгенерированные аудиоданные в аудиокодек 923. Аудиокодек 923 выполняет сжатие данных для аудиоданных, или преобразует аудиоданные в аналоговый аудиосигнал, и выводит сгенерированный аудиосигнал в громкоговоритель 924.

Кроме того, в режиме передачи данных, в случае передачи почты, модуль 931 управления принимает текстовые данные, поступающие в результате использования модуля 932 операций, и отображают входной текст в модуле 930 дисплея. Кроме того, модуль 931 управления генерирует данные почты в ответ на инструкцию, полученную пользователем, используя модуль 932 операций, и подает сгенерированные данные почты в модуль 922 передачи данных. Модуль 922 передачи данных выполняет обработку модуляции или обработку преобразования частоты для данных почты, и передает сгенерированный сигнал передачи из антенны 921. Кроме того, модуль 922 передачи данных выполняет усиление, обработку преобразования частоты и обработку демодуляции для сигнала, который принимают через антенну 921, для восстановления данных почты. Данные почты подают в модуль 930 дисплея, и, таким образом, отображают содержание почты.

Кроме того, в мобильном телефоне 920 принятые данные почты могут быть сохранены на носителе записи, используя модуль 929 записи/воспроизведения. Носитель записи представляет собой любой носитель записи с возможностью перезаписи. Например, носитель записи представляет собой полупроводниковое запоминающее устройство, такое как RAM или встроенное запоминающее устройство флэш, или съемный носитель записи, такой как жесткий диск, магнитный диск, магнитооптический диск, оптический диск, запоминающее устройство универсальной последовательной шины (USB), или карта запоминающего устройства.

В случае, когда данные изображения передают в режиме передачи данных, данные изображения, генерируемые модулем 926 камеры, подают в модуль 927 обработки изображения. Модуль 927 обработки изображения выполняет обработку кодирования для данных изображения, для генерирования кодированных данных.

Кроме того, мультиплексор/демультиплексор 928 мультиплексирует поток изображения, который был сгенерирован модулем 927 обработки изображения, и аудиоданные, которые подают из аудиокодека 923, и подает эти мультиплексированные данные в модуль 922 передачи данных. Модуль 922 передачи данных выполняет обработку модуляции или обработку преобразования частоты для мультиплексированных данных и передает полученный сигнал передачи в антенну 921. Кроме того, модуль 922 передачи данных выполняет обработку усиления, обработку преобразования частоты и обработку демодуляции для сигнала, который принимают через антенну 921, для восстановления мультиплексированных данных. Мультиплексированные данные подают в мультиплексор/демультиплексор 928. Мультиплексор/демультиплексор 928 демультиплексирует мультиплексированные данные, и подает кодированные данные в модуль 927 обработки изображений и аудиоданные в аудиокодек 923. Модуль 927 обработки изображений декодирует кодированные данные для генерирования данных изображения. Данные изображения подают в модуль 930 дисплея, для отображения принятого изображения. Аудиокодек 923 преобразует аудиоданные в аналоговый аудиосигнал, который затем подают в громкоговоритель 924 для вывода принятого звука.

В устройстве мобильного телефона, имеющем описанную конфигурацию, функции устройства кодирования и устройства декодирования (способа кодирования и способа декодирования), в соответствии с настоящей заявкой, предусмотрены в модуле 927 обработки изображений. По этой причине изображение может быть кодировано так, что декодируемое изображение может быть преобразовано в требуемое изображение с другим динамическим диапазоном во время декодирования. Кроме того, возможно преобразовывать декодируемое изображение в требуемое изображение с другим динамическим диапазоном.

Десятый вариант осуществления

Пример конфигурации устройства записи/воспроизведения

На фиг. 86 представлен пример схематичной конфигурации устройства записи/воспроизведения, в котором применяется настоящая технология. Устройство 940 записи/воспроизведения записывает, например, аудиоданные и видеоданные принятой программы широковещательной передачи на носитель записи, и предоставляет записанные данные пользователю в момент времени, определяемый по инструкции от пользователя. Кроме того, устройство 940 записи/воспроизведения может получать, например, аудиоданные и данные изображения из других устройств, и может записывать данные на носителе записи. Кроме того, устройство 940 записи/воспроизведения кодирует и выводит аудиоданные или видеоданные, записанные на носителе записи, таким образом, что может быть выполнено отображение изображения или вывод звука в устройстве монитора.

Устройство 940 записи/воспроизведения включает в себя тюнер 941, модуль 942 внешнего интерфейса, кодер 943, модуль 944 привода жесткого диска (HDD), привод 945 диска, селектор 946, декодер 947, модуль 948 отображения на экране (OSD), модуль 949 управления и модуль 950 интерфейса пользователя.

Тюнер 941 выбирает требуемый канал из сигнала широковещательной передачи, который принимают через антенну (не показана). Кроме того, тюнер 941 выводит кодированный поток битов, который получают путем демодуляции принятого сигнала требуемого канала, в селектор 946.

Модуль 942 внешнего интерфейса включает в себя любой один из интерфейса IEEE1394, сетевого интерфейса, интерфейса USB, интерфейса запоминающего устройства флэш и т.п. Модуль 942 внешнего интерфейса представляет собой интерфейс, который подключают к внешнему устройству, к сети, карте запоминающего устройства и т.п., и принимает данные, такие как видеоданные или аудиоданные, предназначенные для записи.

Кодер 943 кодирует видеоданные или аудиоданные в заданном способе, в случае, когда видеоданные и аудиоданные, подаваемые из модуля 942 внешнего интерфейса, не кодированы, и выводит кодированный поток битов в селектор 946.

Модуль 944 HDD записывает данные содержания, такие как видеоданные и звук, различные программы и другие данные, на встроенный жесткий диск, и считывают эти данные с жесткого диска, когда видеоданные и звук воспроизводят.

Привод 945 диска записывает и воспроизводит данные на и с оптического диска, который устанавливают в него. Оптический диск может представлять собой, например, диск DVD (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW и т.п.), диск Blu-ray (зарегистрированный товарный знак) и т.п.

Когда видеоданные и звук записывают, селектор 946 выбирает кодированный поток битов, который вводят из тюнера 941 или из кодера 943, и выводит выбранный кодированный поток битов в модуль 944 HDD или в привод 945 диска. Кроме того, когда видеоданные и звук воспроизводят, селектор 946 выводит кодированный поток битов, который поступает из модуля 944 HDD или привода 945 диска, в декодер 947.

Декодер 947 декодирует кодированный поток битов. Кроме того, декодер 947 подает видеоданные, сгенерированные при обработке декодирования, в модуль 948 OSD. Кроме того, декодер 947 выводит аудиоданные, сгенерированные в ходе обработки декодирования.

Модуль 948 OSD генерирует видеоданные для отображения экрана меню, такого как выбор пунктов, и накладывает его и выводит видеоданные, наложенные на видеоданные, которые выводят из декодера 947.

Модуль 949 управления соединен с модулем 950 интерфейса пользователя. Модуль 950 интерфейса пользователя состоит из переключателя операций, части приема сигнала дистанционного управления, и т.п., и подает сигнал операций, соответствующий операции пользователя, в модуль 949 управления.

Модуль 949 управления сформирован путем использования центрального процессорного устройства (CPU), запоминающих устройств и т.п. В запоминающих устройствах содержатся программа, исполняемая CPU, различные данные, которые необходимы при выполнении обработки CPU, данные EPG, данные, полученные через сеть, и т.п. Программу, сохраняемую в запоминающих устройствах, считывают и исполняют с помощью CPU в заданные моменты времени, например, когда запускают устройство 940 записи/воспроизведения. CPU исполняет программу, и, таким образом, управляет каждым модулем так, что устройство 940 записи /воспроизведения выполняет операцию, соответствующую операции пользователя.

В устройстве записи/воспроизведения, имеющем такую конфигурацию, функция устройства декодирования (способа декодирования), в соответствии с настоящей заявкой, предусмотрена в декодере 947. По этой причине возможно преобразовывать декодированное изображение в требуемое изображение с другим динамическим диапазоном.

Одиннадцатый вариант осуществления

Пример конфигурации устройства формирования изображения

На фиг. 87 показан пример схематичной конфигурации устройства формирования изображения, в котором применяется настоящая технология. Устройство 960 формирования изображения снимает изображение субъекта, и отображает изображение субъекта в модуле дисплея или записывает это изображение на носителе записи, как данные изображения.

Устройство 960 формирования изображения включает в себя оптический блок 961, модуль 962 формирования изображения, модуль 963 обработки сигналов камеры, модуль 964 обработки данных изображения, модуль 965 дисплея, модуль 966 внешнего интерфейса, модуль 967 запоминающего устройства, привод 968 носителя записи, модуль 969 OSD и модуль 970 управления. Кроме того, модуль 970 управления соединен с интерфейсом 971 пользователя. Кроме того, модуль 964 обработки данных изображения, модуль 966 внешнего интерфейса, модуль 967 запоминающего устройства, привод 968 носителя записи, модуль 969 OSD, модуль 970 управления и т.п., соединены друг с другом через шину 972.

Оптический блок 961 включает в себя линзу фокусирования, механизм диафрагмы и т.п. Оптический блок 961 формирует оптическое изображение субъекта на поверхности формирования изображения модуля 962 формирования изображения. Модуль 962 формирования изображения включает в себя датчик изображения, такой как CCD или CMOS, и генерирует электрический сигнал, соответствующий оптическому изображению, в результате фотоэлектрического преобразования, и подает электрический сигнал в модуль 963 обработки сигналов камеры.

Модуль 963 обработки сигналов камеры выполняет различную обработку сигнала камеры, такую как коррекция перелома характеристики передачи уровня яркости, гамма-коррекция и коррекция цветности, для сигнала изображения, который вводят из модуля 962 формирования изображения. Модуль 963 обработки сигналов камеры подает данные изображения, которые прошли обработку сигнала камеры, в модуль 964 обработки данных изображения.

Модуль 964 обработки данных изображения кодирует данные изображения, которые подают из модуля 963 обработки сигналов камеры. Модуль 964 обработки данных изображения передает кодированные данные, сгенерированные в результате обработки кодирования, в модуль 966 внешнего интерфейса или в привод 968 носителя записи. Кроме того, модуль 964 обработки данных изображения декодирует кодированные данные, которые подают из модуля 966 внешнего интерфейса или из привода 968 носителя записи.

Кроме того, модуль 964 обработки данных изображения подает данные изображения, сгенерированные в результате обработки декодирования, в модуль 965 дисплея. Кроме того, модуль 964 обработки данных изображения передает данные изображения, которые подают из модуля 963 обработки сигналов камеры, в модуль 965 дисплея, или накладывает данные отображения, которые получают из модуля 969 OSD, на данные изображения, которые затем выводят в модуль 965 дисплея.

Модуль 969 OSD генерирует и выводит данные отображения, такие как экран меню, формируемый символами, знаками или фигурами, или пиктограммы, в модуль 964 обработки данных изображения.

Модуль 966 внешнего интерфейса сформирован, например, из разъема ввода и вывода USB, и соединен с принтером, когда печатают изображение. Кроме того, модуль 966 внешнего интерфейса соединяют с приводом, в соответствии с необходимостью. Съемный носитель информации, такой как магнитный диск или оптический диск, устанавливают в привод, соответственно, и компьютерную программу, считанную со съемного носителя записи, устанавливают в нем, в соответствии с необходимостью. Далее модуль 966 внешнего интерфейса включает в себя сетевой интерфейс, который подключается к заданной сети, такой как LAN или Интернет. Модуль 970 управления может считывать кодированные данные, например, с привода 968 носителя записи, в ответ на инструкцию из интерфейса 971 пользователя, и может подавать кодированные данные в другие устройства, которые подключены к нему через сеть, из модуля 966 внешнего интерфейса. Кроме того, модуль 970 управления может получать кодированные данные или изображение, которое подают из других устройств через сеть, через модуль 966 внешнего интерфейса, и может подавать эти данные в модуль 964 обработки данных изображения.

Носитель записи, привод которого осуществляется от привода 968 носителя записи, может представлять собой любой съемный носитель записи, выполненный с возможностью считывания с него и перезаписи на него, такой как магнитный диск, магнитооптический диск, оптический диск или полупроводниковое запоминающее устройство. Кроме того, носитель записи может представлять собой любой вид съемного носителя записи, который может представлять собой ленточное устройство, может представлять собой диск, и может представлять собой карту запоминающего устройства. Конечно, можно использовать карту с бесконтактной интегральной схемой (IC) и т.п.

Кроме того, привод носителя записи и носитель записи могут быть сформированы интегрально, так, чтобы они были составлены из несъемного модуля сохранения, такого как встроенный привод жесткого диска или твердотельный привод (SSD).

Модуль 970 управления сформирован с использованием CPU. В запоминающем устройстве 967 содержится программа, исполняемая модулем 970 управления, различные данные, которые необходимы в модуле 970 управления при выполнении обработки, и т.п. Программа, сохраненная в запоминающем устройстве 967, считывается и исполняется модулем 970 управления в заданные моменты времени, например, когда включают устройство 960 формирования изображения. Модуль управления 970 выполняет программу, и, таким образом, управляет каждым модулем, так, что устройство 960 формирования изображения выполняет операцию, в ответ на операцию пользователя.

В устройстве формирования изображения, имеющем такую конфигурацию, функции устройства кодирования и устройства декодирования (способа кодирования и способа декодирования), в соответствии с настоящей заявкой, предусмотрены в модуле 964 обработки данных изображения. По этой причине изображение может быть кодировано так, что декодируемое изображение может быть преобразовано в требуемое изображение с различным динамическим диапазоном во время декодирования. Кроме того, возможно преобразовывать декодируемое изображение в требуемое изображение с разным динамическим диапазоном.

Примеры применения масштабируемого кодирования

Первая система

Далее будет представлено описание конкретного примера использования масштабируемых кодированных данных (кодированных на уровне), которые были кодированы с возможностью масштабирования. Масштабируемое кодирование используется, например, для выбора данных, предназначенных для передачи, в качестве примера, представленного на фиг. 88.

В системе 1000 передачи данных, представленной на фиг. 88, сервер 1002 предоставления считывает масштабируемые кодированные данные, сохраненные в модуле 1001 сохранения масштабируемых кодированных данных, и предоставляет масштабируемые кодированные данные в устройства терминала, такие как персональный компьютер 1004, AV устройство 1005, планшетное устройство 1006 и мобильный телефон 1007 через сеть 1003.

В это время сервер 1002 предоставления выбирает и передает кодированные данные с соответствующим качеством на основе рабочих характеристик устройств терминала, обстоятельств передачи данных и т.п. Если сервер 1002 предоставления выполняет ненужную передачу данных высокого качества, нельзя сказать, что изображение высокого качества будет получено в устройстве терминала, и при этом возникает опасение, связанное с тем, что может возникнуть задержка или переполнение. Кроме того, существует опасение, что данные высокого качества могут напрасно занимать полосу передачи данных, и могут излишне увеличивать нагрузку на устройство терминала. И, наоборот, если сервер 1002 предоставления будет передавать ненужные данные низкого качества, возникает опасение, что изображение с достаточным качеством изображения не может быть получено в устройстве терминала. По этой причине сервер 1002 предоставления считывает и передает кодированные данные с качеством (уровнем), которые соответствуют характеристикам устройств терминала или обстоятельствам передачи данных из модуля 1001 сохранения масштабируемых кодированных данных.

Здесь предполагается, что модуль 1001 сохранения масштабируемых кодированных данных содержит масштабируемые кодированные данные (BL+EL) 1011, которые кодированы с возможностью масштабирования. Масштабируемые кодированные данные (BL+EL) 1011 представляют собой кодированные данные, включающие в себя как основной уровень, так и уровень расширения, и представляют собой данные, которые позволяют получать, как изображение основного уровня, так и изображение уровня расширения в результате декодирования.

Сервер 1002 предоставления выбирает соответствующий уровень на основе рабочей характеристики устройства терминала, в которое передают данные, или в соответствии с обстоятельствами передачи данных, и считывает данные уровня. Например, сервер 1002 предоставления считывает масштабируемые кодированные данные (BL+EL) 1011, которые имеют высокое качество, из модуля 1001 сохранения масштабируемых кодированных данных, и передает эти данные в том виде, как они есть, в персональный компьютер 1004 или в планшетный компьютер 1006, имеющий высокие характеристики обработки. В отличие от этого, например, что касается AV устройства 1005 или мобильного телефона 1007, имеющего низкие характеристики обработки, сервер 1002 предоставления выделяет данные основного уровня из масштабируемых кодированных данных (BL+EL) 1011, и передает эти данные, как масштабируемые кодированные данные (BL) 1012, которые представляют собой те же данные содержания, что и масштабируемые кодированные данные (BL+EL) 1011 в том, что касается содержания, но имеет более низкое качество, чем у масштабируемых кодированных данных (BL+EL) 1011.

Как упомянуто выше, поскольку количество данных можно легко регулировать, используя масштабируемые кодированные данные, возможно свести к минимуму возникновения задержки или переполнения или свести к минимуму ненужное увеличение нагрузки в устройстве терминала или в среде передачи данных. Кроме того, избыточность между уровнями уменьшается в масштабируемых кодированных данных (BL+EL) 1011, и, таким образом, количество данных может быть дополнительно уменьшено по сравнению со случаем, когда кодированные данные каждого уровня используются, как отдельные данные. Поэтому, область сохранения модуля 1001 сохранения масштабируемых кодированных данных можно использовать более эффективно.

Кроме того, различные устройства, такие как от персонального компьютера 1004 до мобильного телефона 1007 могут использоваться, как устройства терминала, и, таким образом, характеристики аппаратных средств устройств терминала отличаются, в зависимости от устройства. Кроме того, существуют различные приложения, которые исполняются устройствами терминала, и, таким образом, также существуют различные характеристики их программного обеспечения. Кроме того, все сети, построенные на линиях передачи данных, включающие в себя проводную сеть, беспроводную сеть или обе сети, такие как, например, Интернет или локальная вычислительная сеть (LAN), могут использоваться, как сеть 1003, которая представляет собой среду передачи данных, и существуют разные характеристики передачи данных. Кроме того, возникает опасение, что характеристики передачи данных могут изменяться, в зависимости от других обстоятельств передачи данных и т.п.

Поэтому, перед началом передачи данных, сервер 1002 предоставления может выполнять передачу данных с устройством терминала, которое представляет собой назначение передачи данных, для получения информации в отношении рабочих характеристик устройства терминала, таких как рабочие характеристики аппаратных средств устройства терминала и характеристики приложения (программных средств), исполняемого устройством терминала, и информацию, относящуюся к обстоятельствам передачи данных, такую как доступная полоса пропускания сети 1003. Кроме того, сервер 1002 предоставления может выбирать соответствующий уровень на основе информации, полученной здесь.

Кроме того, выделение уровня может быть выполнено устройством терминала. Например, персональный компьютер 1004 может декодировать передаваемые масштабируемые кодированные данные (BL+EL) 1011 для отображения изображения основного уровня и отображения изображения уровня расширения. Кроме того, например, персональный компьютер 1004 может выделять масштабируемые кодированные данные (BL) 1012 основного уровня из передаваемых масштабируемых кодированных данных (BL+EL) 1011 для сохранения этих данных, для передачи данных в другие устройства или для декодирования данных для отображения изображения основного уровня.

Конечно, количество модулей 1001 сохранения масштабируемых кодированных данных, количество серверов 1002 предоставления, количество сетей 1003 и количество устройств терминала все являются произвольными. Кроме того, в представленном выше описании, было предоставлено описание примера, в котором сервер 1002 предоставления передает данные в устройство терминала, но пример использования не ограничен этим. Система 1000 передачи данных применима в любой системе, если только эта система выбирает и передает соответствующий уровень на основе рабочих характеристик устройства терминала, обстоятельств передачи данных и т.п., когда кодированные данные, которые кодированы с возможностью масштабирования, передают в устройство терминала.

Вторая система

Масштабируемое кодирование используют, например, для передачи, используя множество сред передачи данных, как в примере, представленном на фиг. 89.

В системе 1100 передачи данных, представленной на фиг. 89, станция 1101 широковещательной передачи данных передает масштабируемые кодированные данные (BL) 1121 основного уровня, используя наземную широковещательную передачу 1111. Кроме того, станция 1101 широковещательной передачи передает (например, формирует пакеты и передает) масштабируемые кодированные данные (EL) 1122 уровня расширения через любую сеть 1112, сформированную проводной сетью, беспроводной сетью или обеими сетями.

Устройство 1102 терминала имеет функцию приема наземной широковещательной передачи 1111, которая выполняется станцией 1101 широковещательной передачи, и принимает масштабируемые кодированные данные (BL) 1121 основного уровня, которые передают через наземную широковещательную передачу 1111. Кроме того, устройство 1102 терминала дополнительно имеет функцию передачи данных, состоящую в выполнении передачи данных, используя сеть 1112, и принимает масштабируемые кодированные данные (EL) 1122 уровня расширения, которые передают через сеть 1112.

Устройство 1102 терминала может декодировать масштабируемые кодированные данные (BL) 1121 основного уровня, который получают через наземную широковещательную передачу 1111, например, в ответ на инструкцию, получаемую от пользователя, для получения изображения основного уровня, для сохранения этого изображения, и для передачи изображения в другие устройства.

Кроме того, например, в ответ на инструкцию от пользователя, устройство 1102 терминала может комбинировать масштабируемые кодированные данные (BL) 1121 основного уровня, которые получают через наземную широковещательную передачу 1111, с масштабируемыми кодированными данными (EL) 1122 не основного уровня, которые получают через сеть 1112, для получения масштабируемых кодированных данных (BL+EL), и может декодировать эти данные для получения изображения основного уровня, для сохранения этого изображения, и для передачи изображения в другие устройства.

Как упомянуто выше, масштабируемые кодированные данные могут быть переданы, например, через среду передачи данных, которая отличается для каждого уровня. В этом случае, нагрузка может быть распределена, и, таким образом, возможно свести к минимуму возникновение задержки или переполнения.

Кроме того, среда передачи данных, используемая для передачи, может быть выбрана для каждого уровня в зависимости от обстоятельств. Например, масштабируемые кодированные данные (BL) 1121 основного уровня, имеющие относительно большое количество данных, могут быть переданы через среду передачи данных, имеющую широкую полосу пропускания, и масштабируемые кодированные данные (EL) 1122 уровня расширения, имеющие относительно малое количество данных, могут быть переданы через среду передачи данных, имеющую узкую полосу пропускания. Кроме того, например, носитель передачи данных, для передачи масштабируемых кодированных данных (EL) 1122 уровня расширения может быть изменен между сетью 1112 и наземной широковещательной передачей 1111, в зависимости от доступной полосы пропускания сети 1112. Конечно, это также относится для данных на любом уровне.

Управление выполняется, как упомянуто выше, и, таким образом, становится возможным дополнительно свести к минимуму увеличение нагрузки при передаче данных.

Конечно, количество уровней является произвольным, и количество сред передачи данных, используемых для передачи, также является произвольным. Кроме того, количество устройств 1102 терминала, используемых как место назначения для передачи данных, также является произвольным. Кроме того, в представленном выше описании, было выполнено описание широковещательной передачи из станции 1101 широковещательной передачи, в качестве примера, но пример использования не ограничен этим. Система 1100 передачи данных применима для любой системы, если только эта система разделяет кодированные данные, которые кодируют с возможностью масштабирования, на множество элементов данных в модулях уровней, и передает эти элементы данных через множество линий.

Третья система

Масштабируемое кодирование используют, например, для сохранения кодированных данных, в качестве примера, представленного на фиг. 90.

В системе 1200 формирования изображений, представленной на фиг. 90, устройство 1201 формирования изображения кодирует с возможностью масштабирования данные изображения, которые получают в результате формирования изображения субъекта 1211, и передает полученные в результате данные в устройство 1202 сохранения масштабируемых кодированных данных, как масштабируемые кодированные данные (BL+EL) 1221.

Устройство 1202 сохранения масштабируемых кодированных данных сохраняет масштабируемые кодированные данные (BL+EL) 1221, которые передают из устройства 1201 формирования изображения, с качеством, основанным на обстоятельствах. Например, в случае нормального времени, устройство 1202 сохранения масштабируемых кодированных данных выделяет данные основного уровня из масштабируемых кодированных данных (BL+EL) 1221, и сохраняет эти данные с низким качеством, как масштабируемые кодированные данные (BL) 1222 основного уровня, имеющие малое количество данных. В отличие от этого, например, в случае времени повышенного внимания, устройство 1202 сохранения масштабируемых кодированных данных сохраняет масштабируемые кодированные данные (BL+EL) 1221 с высоким качеством, имеющие большое количество данных, в том виде, как они есть.

В соответствии с этим, поскольку устройство 1202 сохранения масштабируемых кодированных данных может сохранять изображение с высоким качеством, только в соответствии с необходимостью, можно свести к минимуму увеличение количества данных, при сведении к минимуму уменьшения ценности изображения из-за ухудшения качества изображения, и, таким образом, улучшить эффективность использования области сохранения.

Например, предполагается, что устройство 1201 формирования изображения, представляет собой камеру слежения. В случае (в случае нормального времени), когда цель мониторинга (например, нарушитель) не попадает в снимаемое изображение, существует высокая вероятность того, что содержание снятого изображения, может не будет важным, и, таким образом, приоритет предоставляют уменьшению количества данных, и данные изображения (масштабируемые кодированные данные) сохраняют с низким качеством. Напротив, в случае (в случае времени повышенного внимания), когда цель отслеживания попадает в снятое изображение, как субъект 1211, существует высокая вероятность того, что содержание снятого изображения может быть важным, и, таким образом, приоритет отдают качеству изображения, и данные изображения (масштабируемые кодированные данные) сохраняют с высоким качеством.

Кроме того, нормальное время и время повышенного внимания могут быть определены, например, при анализе изображения в устройстве 1202 сохранения масштабируемых кодированных данных. Кроме того, нормальное время и время повышенного внимания могут быть определены, например, устройством 1201 формирования изображения, и результат определения может быть передан в устройство 1202 сохранения масштабируемых кодированных данных.

Кроме того, критерии определения нормального времени и времени повышенного внимания являются произвольными, и содержание снятого изображения, которое используется, как критерий определения, является произвольным. Конечно, другие условия, кроме содержания снятого изображения, могут использоваться, как критерий определения. Например, нормальное время и время повышенного внимания могут изменяться на основе магнитуды, формы колебаний и т.п. записываемого звука, и могут изменяться, например, для каждого заданного интервала времени, или по внешней инструкции, такой как инструкция от пользователя.

Кроме того, в представленном выше описании был описан пример изменения двух состояний, включающих в себя нормальное время и время повышенного внимания, но количество состояний является произвольным, и, например, могут изменяться три или больше состояния, такие как нормальное время, время несколько повышенного внимания, время повышенного внимания, время существенно повышенного внимания. Здесь верхнее предельное количество состояний изменения зависит от количества уровней масштабируемых кодированных данных.

Кроме того, устройство 1201 формирования изображения может определять количество масштабируемых кодированных уровней на основе состояния. Например, в случае нормального времени, устройство 1201 формирования изображения может генерировать масштабируемые кодированные данные (BL) 1222 основного уровня, имеющие малое количество данных с низким качеством, и может подавать эти данные в устройство 1202 сохранения масштабируемых кодированных данных. Кроме того, например, в случае времени повышенного внимания, устройство 1201 формирования изображения может генерировать масштабируемые кодированные данные (BL+EL) 1221 основного уровня и не основного уровня, имеющие большое количество данных с высоким качеством, и может подавать эти данные в устройство 1202 сохранения масштабируемых кодированных данных.

В представленном выше описании описание было выполнено для камеры слежения, в качестве примера, но использование системы 1200 формирования изображений является произвольным и не ограничено камерой слежения.

Двенадцатый вариант осуществления

Другие примеры

В представленном выше описании были описаны примеры устройств или систем, в которых применяется настоящая технология, но настоящая технология не ограничена этим, и может быть реализована во всех конфигурациях, установленных в устройстве, формирующем устройство или систему, например, процессор, как система на большой интегральной схеме (LSI) и т.п., модуль, в котором используется множество процессоров, модуль, в котором используется множество модулей, набор, в котором другие функции добавлены к модулю, и т.п. (конфигурация части устройства).

Пример конфигурации видеоустройства

Со ссылкой на фиг. 91, будет представлено описание примера, в котором настоящая технология реализована с использованием устройства. На фиг. 91 иллюстрируется пример схематичной конфигурации видеоустройства, в котором применяется настоящая технология.

В последнее время электронное устройство получает все больше функций, и, таким образом, возникает много случаев, когда частичная конфигурация продается или предоставляется во время ее развития или производства, реализуется не только конфигурация, имеющая одну функцию, но также и набор, имеющий множество функций в результате комбинирования множества конфигураций, имеющих взаимосвязанные функции.

Видеоустройство 1300, представленное на фиг. 91, имеет многофункциональную конфигурацию, и одна из них представляет собой устройство, имеющее функцию, относящуюся к кодированию или декодированию (может использоваться одно или оба из кодирования или декодирования) изображения, в комбинации с устройством, имеющим другие функции, относящиеся к этой функции.

Как представлено на фиг. 91, видеоустройство 1300 включает в себя группу модуля, такую как видеомодуль 1311, внешнее запоминающее устройство 1312, модуль 1313 администрирования питанием, и модуль 1314 внешнего интерфейса, и устройства, имеющие зависимые функции, такие как модуль 1321 соединения, камера 1322 и датчик 1323.

Модуль представляет собой компонент, имеющий объединенную функцию, поученную в результате объединения нескольких взаимно связанных составляющих функций. Конкретная физическая конфигурация модуля является произвольной, и, например, множество процессоров, каждый из которых имеет функцию, элементы электронных цепей, такие как резисторы и конденсаторы, другие устройства и т.п. могут быть расположены на печатной плате и сформированы как интегральная схема. Кроме того, модуль может быть скомбинирован с другими модулями, процессорами и т.п., для формирования нового модуля.

В случае примера на фиг. 91, видеомодуль 1311 представляет собой комбинацию конфигураций, имеющих функции, относящиеся к обработке изображений, и включает в себя процессор приложения, видеопроцессор, широкополосный модем 1333 и модуль 1334 RF.

Процессор представляет собой процессор, в котором конфигурации, имеющие заданные функции, интегрированы в полупроводниковую микросхему путем использования системы на кристалле (SoC), и может использоваться процессор, который называется, например, системной большой интегральной схемой (LSI). Конфигурации, имеющие заданные функции, могут представлять собой логические схемы (аппаратная конфигурация), могут представлять собой CPU, ROM, RAM и т.п., и программы (программная конфигурация), исполняемые путем использования этих конфигураций, и могут представлять собой комбинацию обоих таких подходов. Например, процессор включает в себя логическую схему, CPU, ROM, RAM и т.п., некоторые функции могут быть реализованы логической схемой (аппаратная конфигурация), и другие функции могут быть реализованы программой (программной конфигурацией), исполняемой CPU.

Процессор 1331 приложения по фиг. 91 представляет собой процессор, который исполняет приложение, относящееся к обработке изображений. Приложение, исполняемое процессором 1331 приложения, может выполнять обработку расчета для реализации заданной функции, и также может управлять составляющими элементами внутри и снаружи видеомодуля 1311, такими как видеопроцессор 1332.

Видеопроцессор 1332 представляет собой процессор, имеющий функцию, относящуюся к кодированию/декодированию (одному или обоим из них) изображения.

Широкополосный модем 1333 представляет собой процессор (или модуль), который выполняет обработку, относящуюся к проводной или беспроводной (или обоим из них) широкополосной передаче данных, которая выполняется через широкополосную линию, такую как Интернет или общественная телефонная линия. Например, широкополосный модем 1333 выполняет цифровую модуляцию данных (цифровой сигнал), для передачи, для преобразования в аналоговый сигнал, или демодулирует принятый аналоговый сигнал для преобразования в данные (цифровой сигнал). Например, широкополосный модем 1333 может выполнять цифровую модуляцию/демодуляцию любой информации, такой как данные изображения, обработанные видеопроцессором 1332, поток, в котором кодированы данные изображения, программу приложения или установку данных.

Модуль 1334 RF представляет собой модуль, который выполняет преобразование частоты, модуляцию/демодуляцию, усиление, фильтрацию и т.п. радиочастотного сигнала (RF), который передают и принимают через антенну. Например, RF модуль 1334 выполняет преобразование частоты и т.п. для сигнала в основной полосе пропускания, сгенерированного модемом 1333 широкополосной передачи данных, для генерирования радиосигнала. Кроме того, например, RF модуль 1334 выполняет преобразование частоты и т.п. для RF сигнала, который принимают через модуль 1314 внешнего интерфейса для генерирования сигнала в основной полосе пропускания.

Кроме того, на фиг. 91, как обозначено пунктирной линией 1341, процессор 1331 приложения и видеопроцессор 1332 могут быть интегрально сформированы, так, что они составляют один процессор.

Внешнее запоминающее устройство 1312 представляет собой модуль, который предусмотрен снаружи от видеомодуля 1311 и включает в себя устройство сохранения, используемое видеомодулем 1311. Устройство сохранения внешнего запоминающего устройства 1312 может быть воплощено в любой физической конфигурацией, но обычно используется для сохранения большого объема данных, таких как данные изображения модулей кадров, и, таким образом, предпочтительно, воплощено, как полупроводниковое запоминающее устройство большой емкости, которое является относительно дешевым, такое как динамическое оперативное запоминающее устройство (DRAM).

Модуль 1313 администрирования питанием администрирует и управляет питанием, которое подают в видеомодуль 1311 (каждый составляющий элемент в видеомодуле 1311).

Модуль 1314 внешнего интерфейса представляет собой модуль, который обеспечивает функцию внешнего интерфейса (оконечная схема передачи и приема на стороне антенны) в RF модуль 1334. Как представлено на фиг. 91, модуль 1314 внешнего интерфейса включает в себя, например, антенный участок 1351, фильтр 1352 и участок 1353 усиления.

Антенный участок 1351 включает в себя антенну и периферийные элементы, которые передают и принимают беспроводный сигнал. Антенный участок 1351 передает сигнал, который подают из участка 1353 усиления, как беспроводный сигнал, и подает принятый беспроводный сигнал в фильтр 1352, как электрический сигнал (RF сигнал). Фильтр 1352 выполняет обработку фильтра для принятого RF сигнала, который принимают через антенный участок 1351, и подает обработанный RF сигнал в модуль 1334RF. Участок 1353 усиления усиливает RF сигнал, переданный из модуля 1334 RF, и подает усиленный сигнал в антенный участок 1351.

Модуль 1321 соединения представляет собой модуль, имеющий функцию, относящуюся к соединению с внешним устройством. Физическая конфигурация модуля 1321 соединения является произвольной. Например, модуль 1321 соединения включает в себя составляющий элемент, имеющий другую функцию передачи данных, чем стандарт передачи данных, поддерживаемый модемом 1333 широковещательной передачи, внешним разъемом ввода и вывода и т.п.

Например, модуль 1321 соединения может включать в себя модуль, имеющий функцию передачи данных, соответствующую стандарту беспроводной передачи данных, такому как Bluetooth (зарегистрированный товарный знак) или IEEE 802.11 (например, Wireless Fidelity (Wi-Fi, зарегистрированный товарный знак), передача данных в ближнем поле (NFC), или Ассоциация инфракрасной передачи данных (IrDA)), антенну, которая передает и принимает сигнал, соответствующий стандарту, и т.п. Кроме того, например, модуль 1321 соединения может включать в себя модуль, имеющий функцию передачи данных, соответствующую стандарту проводной передачи данных, такому как универсальная последовательная шина (USB) или мультимедийный интерфейс высокой четкости (HDMI) (зарегистрированный товарный знак), или разъем, соответствующий этому стандарту. Кроме того, например, модуль 1321 соединения может иметь другие данные функции передачи данных (сигнала) в аналоговом входном и выходном выводе и т.п.

Кроме того, модуль 1321 соединения может включать в себя устройство для передачи места назначения данных (сигнала). Например, модуль 1321 соединения может включать в себя привод (включающий в себя не только съемный привод носителя записи, но также и жесткий диск, твердотельное устройство (SSD), и подключенный по сети накопитель (NSA)), который выполняет считывание или запись данных с или на носитель записи, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство. Кроме того, модуль 1321 соединения может включать в себя устройство вывода изображения или звука (монитор, громкоговоритель и т.п.).

Камера 1322 представляет собой модуль, имеющий функцию съемки изображения субъекта, и получение данных изображения этого субъекта. Данные изображения, полученные камерой 1322, снимающей изображение субъекта, подают, например, в видеопроцессор 1332 и кодируют.

Датчик 1323 представляет собой модуль, имеющий любую функцию датчика, такую как аудиодатчика, ультразвукового датчика, оптического датчика, датчика освещения, инфракрасного датчика, датчика изображения, датчика вращения, датчика угла, датчика угловой скорости, датчика скорости, датчика ускорения, датчика наклона, датчика магнитной идентификации, датчика удара или датчика температуры. Данные, детектируемые датчиком 1323, подают, например, в процессор 1331 приложения и используются этим приложением и т.п.

В представленном выше описании конфигурация, описанная, как модуль, может быть реализована, как процессор, и, наоборот, конфигурация, описанная, как процессор, может быть реализована, как модуль.

В видеоустройстве 1300, имеющем описанную выше конфигурацию, настоящее раскрытие применимо для видеопроцессора 1332, как описано ниже. Поэтому, видеоустройство 1300 может быть воплощено, как устройство, в котором применяется настоящая технология.

Пример конфигурации видеопроцессора

На фиг. 92 иллюстрируется пример схематичной конфигурации видеопроцессора 1332 (фиг. 91), в котором применяется настоящая технология.

В случае примера на фиг. 92 видеопроцессор 1332 имеет функцию приема видеосигнала и аудиосигнала и кодирования сигналов в заданном способе, и функции декодирования кодированных видеоданных и аудиоданных, для воспроизведения видеосигнала и аудиосигнала.

Как представлено на фиг. 92, видеопроцессор 1332 включает в себя участок 1401 обработки входных видеоданных, первый участок 1402 увеличения/уменьшения изображения, второй участок 1403 увеличения/уменьшения изображения, участок 1404 обработки выходных видеоданных, запоминающее устройство 1405 кадра и участок 1406 управления запоминающим устройством. Кроме того, видеопроцессор 1332 включает в себя механизм 1407 кодирования/декодирования, буферы 1408А и 1408В элементарного потока (ES) видеоданных, и буферы 1409А и 1409В ES аудиоданных. Кроме того, видеопроцессор 1332 включает в себя аудиокодер 1410, аудиодекодер 1411, мультиплексор (MUX) 1412, демультиплексор (DMUX) 1413, и буфер 1414 потока.

Участок 1401 обработки ввода видеоданных, получает видеосигнал, который поступает, например, из модуля 1321 соединения (фиг. 91) и т.п., и преобразует видеосигнал в цифровые данные изображения. Первый участок 1402 увеличения/уменьшения изображения выполняет преобразование формата или обработку увеличения или уменьшения изображения для данных изображения. Второй участок 1403 увеличения/уменьшения изображения выполняет обработку увеличения/уменьшения изображения, в соответствии с форматом в месте назначения видеоданных, которые выводят через участок 1404 обработки вывода видеоданных, для данных изображения, или выполняет такое же преобразование формата или обработку увеличения или уменьшения изображения, как и первый участок 1402 увеличения/уменьшения изображения для данных изображения. Участок 1404 обработки вывода видеоданных выполняет преобразование формата, преобразование в аналоговый сигнал и т.п. для данных изображения, и выводит преобразованный сигнал, например, в модуль 1321 соединения (фиг. 91) и т.п., как воспроизводимый видеосигнал.

Запоминающее устройство 1405 кадра представляет собой запоминающее устройство для данных изображения, совместно используемых участком 1401 обработки ввода видеоданных, первым участком 1402 увеличения/уменьшения изображения, вторым участком 1403 увеличения/уменьшения изображения, участком 1404 обработки вывода видеоданных, и механизмом 1407 кодирования/декодирования. Запоминающее устройство 1405 кадра воплощено на основе полупроводникового запоминающего устройства такого как DRAM.

Участок 1406 управления запоминающим устройством принимает сигнал синхронизации из механизма 1407 кодирования/декодирования, и управляет доступом записи/считывания к запоминающему устройству 1405 кадра в соответствии с планом доступа к запоминающему устройству 1405 кадра, записанному в таблице 1406А администрирования доступом. Участок 1406 управления запоминающим устройством обновляет таблицу 1406А администрирования доступом, в соответствии с обработкой, выполняемой механизмом 1407 кодирования/декодирования, первым участком 1402 увеличения/уменьшения изображения, вторым участком 1403 увеличения /уменьшения изображения и т.п.

Механизм 1407 кодирования/декодирования выполняет обработку кодирования для данных изображения и обработку декодирования для потока видеоданных, который представляет собой кодированные данные для данных изображения. Например, механизм 1407 кодирования/декодирования кодирует данные изображения, считываемые из запоминающего устройства 1405 кадра, и последовательно записывает кодированные данные изображения в буфер 1408A ES видеоданных, как видеопоток. Кроме того, например, видеопотоки последовательно считывают из буфера 1408В ES видеоданных для декодирования, и последовательно записывают в запоминающее устройство 1405 кадра, как данные изображения. В механизме 1407 кодирования/декодирования используется запоминающее устройство 1405 кадра, как рабочая область при кодировании или декодировании. Кроме того, механизм 1407 кодирования/декодирования выводит сигнал синхронизации в участок 1406 управления запоминающим устройством, например, в моменты времени начала обработки в каждом макроблоке.

Буфер 1408A ES видеоданных размещает в буфере видеопоток, генерируемый механизмом 1407 кодирования/декодирования, и подает размещенный в буфере видеопоток в мультиплексор (MUX) 1412. Буфер 1408В ES видеоданных размещает в буфере видеопоток, подаваемый из демультиплексора (DMUX) 1413, и подает размещенный в буфере видеопоток в механизм 1407 кодирования/декодирования.

Буфер 1409A ES аудиоданных размещает в буфере аудиопоток, генерируемый аудиокодером 1410, и подает размещенный в буфере аудиопоток в мультиплексор (MUX) 1412. Буфер 1409В ES аудиоданных размещает в буфере аудиопоток, подаваемый из демультиплексора (DMUX) 1413, и подает размещенный в буфере аудиопоток в аудиодекодер 1411.

Аудиокодер 1410, например, выполняет цифровое преобразование аудиосигнала, который подают, например, из модуля 1321 соединения (фиг. 91) и т.п., и кодирует преобразованный аудиосигнал в соответствии с заданным способом, таким, как способ MPEG для аудиоданных, или AudioCode номер 3 (АС3). Аудиокодер 1410 последовательно записывает аудиопоток, который представляет собой кодированные данные аудиосигнала, в буфер 1409A ES аудиоданных. Аудиодекодер 1411 декодирует аудиопоток, подаваемый из буфера 1409В ES аудиоданных для выполнения преобразования в аналоговый сигнал, и т.п., и подает аналоговый сигнал, например, в блок 1321 соединения (фиг. 91) и т.п., как воспроизводимый аудиосигнал.

Мультиплексор (MUX) 1412 мультиплексирует видеопоток и аудиопоток. Способ мультиплексирования (то есть, формат потока битов, генерируемого в результате мультиплексирования), является произвольным. Кроме того, во время мультиплексирования, мультиплексор (MUX) 1412 может добавлять заданную информацию заголовка к потоку битов. Другими словами, мультиплексор (MUX) 1412 может преобразовывать формат потока в ходе мультиплексирования. Например, мультиплексор (MUX) 1412 мультиплексирует видеопоток и аудиопоток для выполнения преобразования в транспортный поток, который представляет собой поток битов в формате передачи. Кроме того, например, мультиплексор (MUX) 1412 мультиплексирует видеопоток и аудиопоток, для выполнения преобразования в данные (данные файла) с форматом файла записи.

Демультиплексор (DMUX) 1413 демультиплексирует поток битов, в котором мультиплексированы видеопоток и аудиопоток, в способе, соответствующем мультиплексированию, используя мультиплексор (MUX) 1412. Другими словами, демультиплексор (DMUX) 1413 выделяет видеопоток и аудиопоток из потока битов, который считывают из буфера 1414 потока (отделяет от него видеопоток и аудиопоток). Таким образом, демультиплексор (DMUX) 1413 может преобразовывать формат потока путем демультиплексирования (обратное преобразование для преобразования в мультиплексоре (MUX) 1412). Например, демультиплексор (DMUX) 1413 может получать транспортный поток, который подают, например, из модуля 1321 соединения или широкополосного модема 1333 (фиг. 91), через буфер 1414 потока, и демультиплексирует транспортный поток для выполнения преобразования в видеопоток и аудиопоток. Кроме того, например, демультиплексор (DMUX) 1413 может получать данные файла, которые считывают с различных носителей записи с помощью, например, модуля 1321 соединения (фиг. 91) через буфер 1414 потока, и демультиплексирует транспортный поток для выполнения преобразования в видеопоток и аудиопоток.

Буфер 1414 потока размещает в буфере поток битов. Например, буфер 1414 потока размещает в буфере транспортный поток, подаваемый из мультиплексора (MUX) 1412, и подает размещенный в буфере транспортный поток, например, в модуль 1321 соединения или в широкополосный модем 1333 (фиг. 91) в заданные моменты времени, или на основе запроса и т.п. из внешнего устройства.

Кроме того, например, буфер 1414 потока размещает в буфере данные файла, подаваемые из мультиплексора (MUX) 1412, и подает размещенные в буфере данные файла, например, в модуль 1321 соединения (фиг. 91) для записи данных файла на различных носителях записи в заданные моменты времени, или на основе запроса и т.п. из внешнего устройства.

Затем буфер 1414 потока размещает в буфере транспортный поток, который получают, например, через модуль 1321 соединения или широкополосный модем 1333 (фиг. 91), и подает размещенный в буфере транспортный поток в демультиплексор (DMUX) 1413 в заданные моменты времени или на основе запроса и т.п. из внешнего устройства.

Кроме того, буфер 1414 потока размещает в буфере данные файла, которые считывают с различных носителей записи в модуле 1321 соединения (фиг. 91) и т.п., и подает размещенный в буфере транспортный поток в демультиплексор (DMUX) 1413 в заданные моменты времени, или на основе запроса и т.п. из внешнего устройства.

Далее будет описан пример операции видеопроцессора 1332, имеющего такую конфигурацию. Например, видеосигнал, который подают в видеопроцессор 1332 из модуля 1321 соединения (фиг. 91) и т.п., преобразуют в цифровые данные изображения, в соответствии с заданной схемой, такой как схема 4:2:2 Y/Cb/Cr, используя участок 1401 обработки ввода видеоданных, и последовательно записывает в запоминающее устройство 1405 кадра. Цифровые данные изображения считывают из первого участка 1402 увеличения/уменьшения изображения или из второго участка 1403 увеличения/уменьшения изображения, и выполняют для них преобразование формата и обработку увеличения или уменьшения, в соответствии с заданной схемой, такой как схема 4:2:0 Y/Cb/Cr, для записи снова в запоминающее устройство 1405 кадра. Данные изображения кодируют с помощью механизма 1407 кодирования/декодирования и затем записывают в буфер 1408A ES видеоданных, как видеопоток.

Кроме того, аудиосигнал, который вводят в видеопроцессор 1332 из модуля 1321 соединения (фиг. 91) и т.п., кодируют с помощью аудиокодера 1410, и записывают аудиопоток в буфер 1409A ES аудиоданных.

Видеопоток из буфера ES 1408А видеоданных и аудиопоток из буфера 1409А ES аудиоданных считывают в мультиплексор (MUX) 1412 для мультиплексирования и преобразования в транспортный поток, данные файла и т.п. Транспортный поток, генерируемый мультиплексором (MUX) 1412, размещают в буфер, используя буфер 1414 потока, и затем выводят во внешнюю сеть, например, через модуль 1321 соединения или широкополосный модем 1333 (фиг. 91). Кроме того, данные файла, генерируемые мультиплексором (MUX) 1412, размещают в буфере, используя буфер 1414 потока, и затем выводят, например, в модуль 1321 соединения (фиг. 91) для записи на различные носители записи.

Кроме того, транспортный поток, который вводят в видеопроцессор 1332 из внешней сети, например, через модуль 1321 соединения или широкополосный модем 1333 (фиг. 91), размещают в буфере, используя буфер 1414 потока, и затем демультиплексируют с помощью демультиплексора (DMUX) 1413. Кроме того, например, данные файла, которые считывают с различных носителей записи, например, в модуле 1321 соединения (фиг. 91) и подают в видеопроцессор 1332, размещают в буфере, используя буфер 1414 потока, и затем демультиплексируют с помощью демультиплексора (DMUX) 1413. Другими словами, транспортный поток или данные файла, которые вводят в видеопроцессор 1332, разделяют на видеопоток и аудиопоток с помощью демультиплексора (DMUX) 1413.

Аудиопоток подают в аудиодекодер 1411 через буфер 1409В ES аудиоданных, для декодирования и воспроизведения, как аудиосигнал. Кроме того, видеопоток, который записывают в буфер 1408В ES видеоданных, затем последовательно считывают с помощью механизма 1407 кодирования/декодирования для декодирования и записи с помощью запоминающего устройства 1405 кадра. Для декодированных данных изображения выполняют обработку увеличения или уменьшения на втором участке 1403 увеличения/уменьшения изображения, для записи в запоминающее устройство 1405 кадра.

Кроме того, декодированные данные изображения считывают в участок 1404 обработки вывода видеоданных, для выполнения преобразования формата по заданной схеме, такой как схема 4:2:2 Y/Cb/Cr, и дополнительно для них выполняют преобразование в аналоговый сигнал, и, таким образом, воспроизводит видеосигнал и выводят его.

В случае, когда настоящая технология применяется для видеопроцессора 1332, имеющего описанную конфигурацию, настоящее раскрытие, относящееся к каждому варианту осуществления, описанному выше, может применяться в механизме 1407 кодирования/декодирования. Другими словами, например, механизм 1407 кодирования/декодирования может иметь функцию устройства кодирования или устройства декодирования, относящемуся к первому варианту осуществления. В соответствии с этим, видеопроцессор 1332 может достигать те же эффекты, как эффекты, описанные со ссылкой на фиг. 6-13.

Кроме того, в механизме 1407 кодирования/декодирования, настоящая технология (то есть, функция устройства кодирования изображения или устройства декодирования изображения, относящаяся к каждому варианту осуществления, описанному выше), может быть реализована с помощью аппаратных средств, таких как логическая схема, может быть реализована, используя программные средства, такие как встроенная программа, и может быть реализована, используя оба этих подхода.

Другой пример конфигурации видеопроцессора

На фиг. 93 иллюстрируется пример другой схематичной конфигурации видеопроцессора 1332 (фиг. 91), в котором применяется настоящая технология. В случае примера, показанного на фиг. 93, видеопроцессор 1332 имеет функцию кодирования и декодирования видеоданных, в соответствии с заданным способом.

Более конкретно, как представлено на фиг. 93, видеопроцессор 1332 включает в себя участок 1511 управления, интерфейс 1512 дисплея, механизм 1513 дисплея, механизм 1514 обработки изображений и внутреннее запоминающее устройство 1515. Кроме того, видеопроцессор 1332 включает в себя механизм 1516 кодека, интерфейс 1517 запоминающего устройства, мультиплексор/демультиплексор (MUX DEMUX) 1518, сетевой интерфейс 1519 и видеоинтерфейс 1520.

Участок 1511 управления управляет работой каждого участка обработки видеопроцессора 1332, таких как интерфейс 1512 дисплея, механизм 1513 дисплея, механизм 1514 обработки изображения, и механизм 1516 кодека.

Как представлено на фиг. 93, участок 1511 управления включает в себя, например, основное CPU 1531, вспомогательное CPU 1532 и системный контроллер 1533. Основное CPU 1531 выполняет программу и т.п., для управления операцией каждого участка обработки видеопроцессора 1332. Основное CPU 1531 генерирует сигнал управления в соответствии с программой и т.п., и подает сигнал управления в каждый участок обработки (то есть, управляет операцией каждого участка обработки). Вспомогательное CPU 1532 помогает основному CPU 1531. Например, вспомогательное CPU 1532 выполняет дочернюю обработку, подпрограмму и т.п. для программы, исполняемой основным CPU 1531. Системный контроллер 1533 управляет операциями основного CPU 1531 и вспомогательного CPU 1532, путем назначения программы, которая должна быть выполнена основным CPU 1531 и вспомогательным CPU 1532.

Интерфейс 1512 дисплея выводит данные изображения, например, в модуль 1321 соединения (фиг. 91) под управлением участка 1511 управления. Например, интерфейс 1512 дисплея преобразует данные цифрового изображения в аналоговый сигнал и выводит этот аналоговый сигнал в устройство монитора и т.п. или в модуль 1321 соединения (фиг. 91), или выводит данные цифрового изображения в устройство монитора, в том виде, как они есть.

Механизм 1513 двигателя выполняет различную обработку преобразования, такую как преобразование формата, преобразование размера и преобразование цветовой палитры для данных изображения, так, чтобы они соответствовали спецификации аппаратных средств устройства монитора и т.п., которое отображает изображение, под управлением участка 1511 управления.

Механизм 1514 обработки изображений выполняет заданную обработку изображения, такую как обработка фильтра, для улучшения качества изображения, для данных изображения, под управлением участка 1511 управления.

Внутреннее запоминающее устройство 1515 представляет собой запоминающее устройство, которое совместно используется механизмом 1513 дисплея, механизмом 1514 обработки изображений и механизмом 1516 кодека, и в нем предусмотрен видеопроцессор 1332. Внутреннее запоминающее устройство 1515 используется для передачи и приема данных среди, например, механизма 1513 дисплея, механизма 1514 обработки изображений и механизма 1516 кодека. Например, во внутреннем запоминающем устройстве 1515 сохраняются данные, передаваемые из 1513 дисплея, механизма 1514 обработки изображений или механизма 1516 кодека, и он подает эти данные в механизм 1513 дисплея, механизм 1514 обработки изображений или механизм 1516 кодека, в соответствии с необходимостью (например, в ответ на запрос). Внутреннее запоминающее устройство 1515 может быть реализовано на основе любого устройства сохранения, но обычно часто используется для сохранения небольшого объема данных, таких как данные изображения модуля блока или параметра, и, таким образом, предпочтительно воплощено, как полупроводниковое запоминающее устройство, которое имеет относительно (например, по сравнению с внешним запоминающим устройством 1312) малую емкость, но имеет высокую скорость отклика, такое как статическое оперативное запоминающее устройство (SRAM).

Механизм 1516 кодека выполняет обработку, относящуюся к кодированию или декодированию данных изображения. Способ кодирования или декодирования, поддерживаемый механизмом 1516 кодека, является произвольным, и их количество может быть равно одному и может использоваться несколько их. Например, механизм 1516 кодека может иметь функции кодека для множества способов кодирования/декодирования, и может выполнять кодирование данных изображения или декодирование кодированных данных в способе, выбранном среди других способов.

В примере, представленном на фиг. 93, механизм 1516 кодека включает в себя, например, MPEG 2 Video 1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (Масштабируемый) 1544, HEVC/H.265 (Многообзорный) 1545, и MPEG-DASH 1551, как функциональные блоки обработки, относящиеся к кодеку.

MPEG 2 Video 1541 представляет собой функциональный блок, который кодирует или декодирует данные изображения в способе MPEG 2. AVC/H.264 1542 представляет собой функциональный блок, который кодирует или декодирует данные изображения в способе AVC. HEVC/H.265 1543 представляет собой функциональный блок, который кодирует или декодирует данные изображения в способе HEVC. HEVC/H.265 (Масштабируемый) 1544 представляет собой функциональный блок, который вьшолняет масштабируемое кодирование или декодирование данных изображения в способе HEVC. HEVC/H.265 (Многообзорный) 1545 представляет собой функциональный блок, который выполняет "многообзорное кодирование" или "многообзорное декодирование" данных изображения в способе HEVC.

MPEG-DASH 1551 представляет собой функциональный блок, который передает и принимает данные изображения в способе MPEG - динамической адаптивной потоковой передачи - через HTTP (MPEG-DASH). MPEG-DASH представляет собой технологию выполнения потоковой передачи видеоданных, используя протокол передачи гипертекста (HTTP), имеет одну из особенностей, по которой соответствующие данные выбирают в модуле сегмента среди множества элементов кодированных данных, которые подготавливают заранее и имеют разрешающую способность и т.п., отличающуюся друг от друга, и передают.MPEG-DASH 1551 выполняет генерирование потока, соответствующего стандарту, управлению потоком для потока и т.п., и используетописанный выше MPEG 2 Video 1541 или HEVC/H.265 (Многообзорный) 1545, для кодирования/декодирования данных изображения.

Интерфейс 1517 запоминающего устройства представляет собой интерфейс, предназначенный для использования во внешнем запоминающем устройстве 1312. Данные, подаваемые из механизма 1514 обработки изображений или из механизма 1516 кодека, подают во внешнее запоминающее устройство 1312 через интерфейс 1517 запоминающего устройства. Кроме того, данные, считываемые из внешнего запоминающегося устройства 1312, подают в видеопроцессор 1332 (механизм 1514 обработки изображений или в механизм 1516 кодека) через интерфейс 1517 запоминающего устройства.

Мультиплексор/демультиплексор (MUX DEMUX) 1518 мультиплексирует или демультиплексирует различные элементы данных, относящиеся к изображению, такие как поток битов кодированных данных, данные изображения и видеосигнал. Способ мультиплексирования и демультиплексирования является произвольным. Например, во время мультиплексирования, мультиплексор/демультиплексор (MUX DEMUX) 1518 может не только собирать множество элементов данных в один элемент данных, но также может добавлять заданную информацию заголовка и т.п. к данным. Кроме того, во время демультиплексирования, мультиплексор/демультиплексор (MUX DEMUX) 1518 может не только разделять одиночный элемент данных на множество из множества элементов данных, но также может добавлять заданную информацию заголовка и т.п. к каждому разделенному элементу данных. Другими словами, мультиплексор/демультиплексор (MUX DEMUX) 1518 может преобразовывать формат данных в ходе мультиплексирования и демультиплексирования. Например, мультиплексор/демультиплексор (MUX DEMUX) 1518 мультиплексирует строку битов для выполнения преобразования в транспортный поток, который представляет собой строку битов с форматом передачи данных (данных файла) с записью формата файла. Конечно, его обратное преобразование может быть выполнено посредством демультиплексирования.

Сетевой интерфейс 1519 представляет собой интерфейс, предназначенный, например, для широкополосного модема 1333 или модуля 1321 соединения (фиг. 91). Видеоинтерфейс 1520 представляет собой интерфейс, предназначенный, например, для модуля 1321 соединения или камеры 1322 (фиг. 91).

Далее будет описан пример работы видеопроцессора 1332. Например, когда транспортный поток принимают из внешней сети, например, через модуль 1321 соединения или широкополосный модем 1333 (фиг. 91), транспортный поток подают в мультиплексор/демультиплексор (MUX DEMUX) 1518 через сетевой интерфейс 1519 для демультиплексирования, и затем декодируют с помощью механизма 1516 кодека. Данные изображения, которые получают в результате кодирования в механизме 1516 кодека, подвергают заданной обработке изображения, например, в механизме 1514 обработки изображений, для выполнения заданного преобразования, и, затем подают, например, в модуль 1321 соединения (фиг. 91) через интерфейс 1512 дисплея, и их изображение отображают на мониторе. Кроме того, например, данные изображения, получаемые в результате кодирования в механизме 1516 кодека, снова декодируют, используя механизм 1516 кодека для мультиплексирования с помощью мультиплексора/демультиплексора (MUX DEMUX) 1518 и преобразования в данные файла, и затем выводят, например, в модуль 1321 соединения (фиг. 91) через видеоинтерфейс 1520 для записи на различных носителях записи.

Кроме того, например, данные файла кодированных данных, которые представляют собой кодированные данные изображения и считывают с носителя записи (не показан) с помощью модуля 1321 соединения (фиг. 91), подают в мультиплексор/демультиплексор (MUX DEMUX) 1518 через видеоинтерфейс 1520, и затем декодируют с помощью механизма 1516 кодека. Для данных изображения, получаемых в результате декодирования в механизме 1516 кодека, выполняют заданную обработку изображения с помощью механизма 1514 обработки изображений, для выполнения заданного преобразования механизмом 1513 дисплея, и затем подают, например, в модуль 1321 соединения (фиг. 91) через интерфейс 1512 дисплея, и их изображение отображают на мониторе. Кроме того, например, данные изображения, полученные в результате декодирования в механизме 1516 кодека, кодируют снова, используя механизм 1516 кодека для мультиплексирования с использованием мультиплексора/демультиплексора (MUX DEMUX) 1518 и преобразования в транспортный поток, и затем выводят, например, в модуль 1321 соединения или широкополосный модем 1333 (фиг. 91) через сетевой интерфейс 1519 для подачи в другие устройства (не показаны).

Кроме того, выполняют передачу и прием данных изображения или других данных между соответствующими участками обработки видеопроцессора 1332, используя, например, внутреннее запоминающее устройство 1515 или внешнее запоминающее устройство 1312. Кроме того, модуль 1313 администрирования питанием управляет подачей питания, например, в участок 1511 управления.

Если настоящая технология применяется для видеопроцессора 1332, имеющего такую конфигурацию, настоящая технология, относящаяся к каждому варианту осуществления, описанному выше, может применяться для механизма 1516 кодека. Другими словами, например, механизм 1516 кодека может включать в себя функциональный блок для реализации устройства кодирования или устройства декодирования, относящихся к первому варианту осуществления. Кроме того, например, если механизм 1516 кодека включает в себя описанный выше функциональный блок, видеопроцессор 1332 может достигать тех же эффектов, как и эффекты, описанные со ссылкой на фиг. 6-13.

Кроме того, в механизме 1516 кодека, настоящая технология (то есть, функция устройства кодирования изображения или устройства декодирования изображения, относящаяся к каждому варианту осуществления, описанному выше), может быть реализована с помощью аппаратных средств, таких как логическая схема, может быть реализована с помощью программных средств, таких как встроенная программа, и может быть реализована с использованием обоих этих подходов.

Выше были описаны две примерные конфигурации видеопроцессора 1332, но видеопроцессор 1332 может иметь любую конфигурацию, и может иметь другие конфигурации, чем эти две примерные конфигурации. Кроме того, видеопроцессор 1332 может быть выполнен, как одна полупроводниковая микросхема, и может быть выполнен, как множество полупроводниковых микросхем. Например, может использоваться трехмерная большая интегральная микросхем (LSI) с уложенными друг на друга кристаллами, в которой множество полупроводников уложены друг на друга. Кроме того, видеопроцессор 1332 может быть воплощен, используя множество LSI.

Примеры применения устройства

Видеоустройство 1300 может быть встроено в различные устройства, которые обрабатывают данные изображения. Например, видеоустройство 1300 может быть встроено в телевизионное устройство 900 (фиг. 84), мобильный телефон 920 (фиг. 85), устройство 940 записи/воспроизведений (фиг. 86), устройство 960 формирования изображения (фиг. 87) и т.п. Видеоустройство 1300 встраивают в устройство, и, таким образом, устройство может достигать тех же эффектов, как и эффекты, описанные со ссылкой на фиг. 6-13.

Кроме того, видеоустройство 1300 может быть встроено, например, в устройства терминала, такие как персональный компьютер 1004, AV устройство 1005, планшетное устройство 1006, и мобильный телефон 1007 системы 1000 передачи данных по фиг. 88, станция 1101 широковещательной передачи и устройство 1102 терминала в системе 1100 передачи данных по фиг. 89, в устройстве 1201 формирования изображения и в устройстве 1202 сохранения масштабируемых кодированных данных системы 1200 формирования изображений на фиг. 90 и т.п. Видеоустройство 1300 встраивают в устройство, и, таким образом, устройство может достигать тех же эффектов, как и эффекты, описанные со ссылкой на фиг. 6-13.

Кроме того, даже если только некоторые из описанных выше конфигураций видеоустройства 1300 включают в себя видеопроцессор 1332, эти конфигурации могут быть воплощены, как конфигурации, в которых применяется настоящая технология. Например, только видеопроцессор 1332 может быть воплощен, как видеопроцессор, в котором применяется настоящая технология. Кроме того, например, как описано выше, процессор, видеомодуль 1311 и т.п., обозначенные пунктирной линией 1341, могут быть воплощены, как процессор, модуль и т.п., в которых применяется настоящая технология. Кроме того, комбинация видеомодуля 1311, внешнего запоминающего устройства 1312, модуля 1313 администрирования питанием, и модуля 1314 внешнего интерфейса может быть воплощена, как видеомодуль 1361, в котором применяется настоящая технология. Любая конфигурация может достигать тех же эффектов, как и эффекты, описанные со ссылкой на фиг. 6-13.

Другими словами, любая конфигурация, включающая в себя видеопроцессор 1332, может быть встроена в различные устройства, которые обрабатывают данные изображения таким же образом, как в видеоустройстве 1300. Например, видеопроцессор 1332, процессор, обозначенный пунктирной линией 1341, видеомодуль 1311 или видеомодуль 1361, могут быть встроены в телевизионное устройство 900 (фиг. 84), мобильный телефон 920 (фиг. 85), устройство 940 записи/воспроизведения (фиг. 86), устройство 960 формирования изображения (фиг. 87), устройство терминала, такие как персональный компьютер 1004, AV устройство 1005, планшетное устройство 1006 и мобильный телефон 1007 системы 1000 передачи данных по фиг. 88, станция 1101 широковещательной передачи и устройство 1102 терминала системы 1100 передачи данных по фиг. 89, устройство 1201 формирования изображения и устройство 1202 сохранения масштабируемых кодированных данных системы 1200 формирования изображений по фиг. 90 и т.п. Любая одна из конфигураций, к которой применяется настоящая технология, встроена в устройство, и, таким образом, устройство может достигать тех же эффектов, как и эффекты, описанные со ссылкой на фиг. 6-13 таким же образом, как и в видеоустройстве 1300.

Кроме того, в настоящем описании, было представлено описание примера, в котором различные части информации, такие как информация преобразования, информация преобразования DR и индекс приблизительной точки перелома мультиплексируют в кодированные данные, и передают со стороны кодирования на сторону декодирования. Однако способ передачи этой информации не ограничен этим примером. Например, информация может быть передана или записана, как отдельные данные, ассоциированные с кодированными данными, без мультиплексирования в кодированные данные. Здесь термин "ассоциированный" обозначает, что изображение (которое может представлять собой часть изображения, такое как срез или блок), включенное в поток битов, делают соединенным с информацией, соответствующей изображению, во время декодирования. Другими словами, информация может быть передана по пути передачи, отличному от пути передачи кодированных данных. Кроме того, информация может быть записана на носителе записи (или в другой области записи на том же носителе записи), отличном от носителя записи кодированных данных. Кроме того, информация и кодированные данные могут быть ассоциированы друг с другом в любом модуле, таком как множество кадров, один кадр или части кадра.

Кроме того, в настоящем описании, система обозначает набор из множества составляющих элементов (устройств, модулей (компонентов) и т.п.), и при этом не имеет значения, размещены или нет все составляющие элементы в одном и том же корпусе. Поэтому, множество устройств, которые содержатся в отдельных корпусах, соединены друг с другом через сеть, одно устройство, в котором множество модулей размещены в одном корпусе, все представляют собой систему.

Эффекты, раскрытые в настоящем описании, представляют собой только пример и не ограничены, и могут представлять собой другие эффекты.

Кроме того, варианты осуществления настоящего раскрытия не ограничены описанными выше вариантами осуществления, и могут иметь различные модификации в пределах объема, без выхода за пределы сущности настоящего раскрытия.

Например, настоящее раскрытие может иметь "облачную" вычислительную конфигурацию, в которой одна функция распределена по множеству устройств через сеть и обрабатывается во взаимодействии друг с другом.

Кроме того, каждый этап, описанный в представленной выше блок-схеме последовательности операций, может выполняться отельным устройством, и также может выполняться множеством устройств с распределением.

Кроме того, в случае, когда множество видов обработки включено в один этап, множество видов обработки, включенные в один этап, может выполняться одним устройством, и также может выполняться множеством устройств с распределением.

Настоящее раскрытие может иметь следующие конфигурации.

(1) Устройство декодирования, включающее в себя: схему, выполненную с возможностью приема кодированных данных и информации преобразования, кодированные данные, относящиеся к изображению, имеющему яркость в первом динамическом диапазоне, и информация преобразования, относящаяся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и декодирования принятых кодированных данных для генерирования изображения, в котором при преобразовании используется коленчатая функция.

(2) Устройство декодирования по представленному выше п. (1), в котором при преобразовании используется точка перелома.

(3) Устройство декодирования по представленным выше пп. (1) или (2), в котором при преобразовании используется коленчатая функция для отображения динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон, и коленчатая функция определена точкой перелома.

(4) Устройство декодирования по любому из представленных выше пп. (1)-(3), в котором информация преобразования включает в себя информацию предварительного преобразования, обозначающую диапазон яркости, которая представляет собой цель коленчатой функции в первом динамическом диапазоне и информацию после преобразования, обозначающую диапазон яркости во втором динамическом диапазоне, который соответствует диапазону яркости, который представляет собой цель коленчатой функции в первом динамическом диапазоне.

(5) Устройство декодирования по любому одному из представленных выше пп. (1)-(4), в котором информация перед преобразованием обозначает диапазон яркости, который преобразуют, используя коленчатую функцию с тем же соотношением преобразования, что и диапазон преобразования первого динамического диапазона.

(6) Устройство декодирования по любому из представленных выше пп. (1)-5), в котором при преобразовании используется коленчатая функция, которая определена по множеству точек перелома.

(7) Устройство декодирования по любому одному из представленных выше пп. (1)-(6), в котором информация преобразования включает в себя множество пар информации перед преобразованием и информации после преобразования.

(8) Устройство декодирования по любому из представленных выше пп. (1)-(7), в котором при преобразовании используется коленчатая функция путем отображения динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон, и множество соседних сегментов первого динамического диапазона яркости отображают на соответствующее множество соседних сегментов второго динамического диапазона яркости, на основе границ между соседними сегментами, определенными множеством точек перелома.

(9) Устройство декодирования по любому из представленных выше пп. (1)-(8), в котором при преобразовании используется коленчатая функция, путем отображения динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон при первом соотношении преобразования до точки, определенной точкой перелома, и при втором соотношении преобразования от точки, определенной точкой перелома.

(10) Устройство декодирования по любому из представленных выше пп. (1)-(9), в котором коленчатая функция установлена по сообщению SEI.

(11) Устройство декодирования по любому из представленных выше пп. (1)-(10), в котором сообщение SEI включает в себя установку knee_function_id.

(12) Способ декодирования, обеспечивающий выполнение устройством декодирования: приема кодированных данных и информации преобразования, кодированные данные, относящиеся к изображению, имеющему яркость в первом динамическом диапазоне, и информация преобразования, относящаяся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и декодирования принятых кодированных данных так, чтобы сгенерировать изображение, в котором при преобразовании используется коленчатая функция.

(13) Способ декодирования по представленному выше п. (12), в котором информация преобразования включает в себя информацию перед преобразованием, обозначающую диапазон яркости, который представляет собой цель коленчатой функции в первом динамическом диапазоне, и информацию после преобразования, обозначающую диапазон яркости во втором динамическом диапазоне, который соответствует диапазону яркости, который представляет собой цель коленчатой функции в первом динамическом диапазоне.

(14) Способ декодирования по представленным выше пп. (12) или (13), в котором информация перед преобразованием обозначает диапазон яркости, который преобразуется коленчатой функцией с тем соотношением преобразования, что и соотношение преобразования первого динамического диапазона.

(15) Способ декодирования по любому из представленных выше пп. (12)-(14), в котором информация преобразования включает в себя множество пар информации перед преобразованием и информации после преобразования.

(16) Способ декодирования по любому из представленных выше пп. (12)-(15), в котором при преобразовании используется коленчатая функция, путем отображения динамического диапазона яркости изображения из первого динамического диапазона на второй динамический диапазон с первым соотношением преобразования до точки, определенной точкой перелома, и вторым соотношением преобразования от точки, определенной точкой перелома.

(17) Устройство кодирования, включающее в себя: схему, выполненную с возможностью устанавливать информацию преобразования, относящуюся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и кодировать изображение, имеющее яркость в первом динамическом диапазоне так, чтобы генерировать кодированные данные, в котором при преобразовании используется коленчатая функция.

(18) Устройство кодирования по представленному выше п. (17), в котором информация преобразования включает в себя информацию перед преобразованием, обозначающую диапазон яркости, который представляет собой цель коленчатой функции в первом динамическом диапазоне, и информацию после преобразования, обозначающую диапазон яркости во втором динамическом диапазоне, который соответствует диапазону яркости, который представляет собой цель коленной функции в первом динамическом диапазоне.

(19) Устройство кодирования по представленным выше пп. (17) или (18), в котором информация перед преобразованием обозначает диапазон яркости, который преобразуется коленчатой функцией с тем же соотношением преобразования, как и диапазон преобразования первого динамического диапазона.

(20) Устройство кодирования по любому из представленных выше пп. (17)-(19), в котором информация преобразования включает в себя множество пар информации перед преобразованием и информации после преобразования.

(21) Устройство кодирования по любому из представленных выше пп. (17)-(20), в котором при преобразовании используется коленчатая функция, путем отображения динамического диапазона яркости изображения из первого динамического диапазона на второй динамический диапазон с первым соотношением преобразования до точки, определенной точкой перелома, и со вторым соотношением преобразования от точки, определенной точкой перелома.

(22) Энергонезависимый, считываемый компьютером носитель записи, на котором содержатся кодированные данные и информация преобразования, кодированные данные, относящиеся к изображению, имеющему яркость в первом динамическом диапазоне, и информация преобразования, относящаяся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон, в котором устройство декодирования декодирует кодированные данные, генерирует изображение на основе декодированных данных, и преобразует динамический диапазон на основе информации преобразования, включающей в себя точку перелома.

(23) Энергонезависимый, считываемый компьютером носитель записи по представленному выше п. (22), в котором информация преобразования включает в себя информацию перед преобразованием, обозначающую диапазон яркости, который представляет цель коленчатой функции в первом динамическом диапазоне, и информацию после преобразования, обозначающую диапазон яркости во втором динамическом диапазоне, который соответствует диапазону яркости, который представляет собой цель коленчатой функции в первом динамическом диапазоне.

(24) Энергонезависимый, считываемый компьютером носитель записи по представленным выше пп. (22) или (23), в котором информация перед преобразованием обозначает диапазон яркости, который преобразуется коленчатой функцией с тем же соотношением преобразования, что и диапазон преобразования первого динамического диапазона.

(25) Энергонезависимый, считываемый компьютером носитель записи по любому из представленных выше пп. (22)-(24), в котором информация преобразования включает в себя множество пар информации перед преобразованием и информации после преобразования.

(26) Энергонезависимый, считываемый компьютером носитель записи по любому из представленных выше пп. (22)-(25), в котором при преобразовании используется коленчатая функция, путем отображения динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон с первым соотношением преобразования до точки, определенной точкой перелома, и вторым соотношением преобразования от точки, определенной точкой перелома.

(27) Устройство декодирования, включающее в себя модуль выделения, который выделяет кодированные данные и информацию преобразования из кодированного потока, включающего в себя кодированные данные первого изображения, которое представляет собой изображение, имеющее яркость в первом динамическом диапазоне, и информацию преобразования, относящуюся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и модуль декодирования, который декодирует кодированные данные, выделенные модулем выделения, так, чтобы генерировать первое изображение.

(28) Устройство декодирования по представленному выше п. (27), дополнительно включающее в себя модуль преобразования, который преобразует первое изображение, которое генерируется модулем декодирования, во второе изображение, которое представляет собой изображение, имеющее яркость во втором динамическом диапазоне, на основе информации преобразования, выделенной модулем выделения.

(29) Устройство декодирования по представленным выше пп. (27) или (28), в котором преобразование выполняют, используя преобразование коленчатой функции яркости первого изображения.

(30) Устройство декодирования по любому одному из представленных выше пп. (27)-(29), в котором информация преобразования включает в себя информацию перед преобразованием, обозначающую диапазон яркости, который представляет собой цель преобразования коленчатой функции в первом динамическом диапазоне, и информацию после преобразования, обозначающую диапазон яркости во втором динамическом диапазоне, соответствующем диапазону.

(31) Устройство декодирования по любому одному из представленных выше пп. (27)-(30), в котором информация перед преобразованием обозначает диапазон яркости, который был преобразован по коленчатой функции с тем же соотношением преобразования, что и соотношение преобразования первого динамического диапазона, и в котором информация преобразования включает в себя множество пар информации перед преобразованием и информации после преобразования.

(32) Устройство декодирования по любому одному из представленных выше пп. (27)-(31), дополнительно включающее в себя модуль выбора, который выбирает заданное количество пар среди множество пар, включенных в информацию преобразования, которую выделяет модуль выделения, в порядке, в котором пары включены в информацию преобразования.

(33) Устройство декодирования по любому из представленных выше пп. (27)-(31), дополнительно включающее в себя модуль выбора, который выбирает заданное количество пар среди множества пар, включенных в информацию преобразования на основе информации приоритета, обозначающей порядок, в котором приоритет пары выше, в котором модуль выделения выделяет информацию приоритета, включенную в кодированный поток.

(34) Устройство декодирования по любому одному из представленных выше пп. (27)-(33), дополнительно включающее в себя модуль передачи, который передает заданное количество пар, выбранных модулем выбора.

(35) Устройство декодирования по любому одному из представленных выше пп. (27)-(34), в котором информация преобразования включает в себя, по меньшей мере, одно из максимального значения яркости первого изображения и максимального значения яркости второго изображения.

(36) Устройство декодирования по любому из представленных выше пп. (27)-(35), в котором информация преобразования включает в себя, по меньшей мере, одно из ожидаемого значения яркости модуля дисплея, который отображает первое изображение, и ожидаемого значения яркости модуля дисплея, который отображает второе изображение.

(37) Способ декодирования, состоящий в обеспечении исполнения устройством декодирования выделения кодированных данных и информации преобразования из кодированного потока, включающего в себя кодированные данные первого изображения, которое представляет собой изображение, имеющее яркость в первом динамическом диапазоне, и информации преобразования, которая представляет собой информацию, относящуюся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и декодировании выделенных кодированных данных, для генерирования первого изображения.

(38) Устройство кодирования, включающее в себя модуль установки, который устанавливает информацию преобразования, которая представляет собой информацию, относящуюся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; модуль кодирования, который кодирует первое изображение, которое представляет собой изображение, имеющее яркость в первом динамическом диапазоне, для генерирования кодированных данных; и модуль передачи, который передает кодированный поток, включающий в себя информацию преобразования, установленную модулем установки, и кодированные данные первого изображения, генерируемого модулем кодирования.

(39) Устройство кодирования по представленному выше п. (38), в котором преобразование выполняют путем преобразования по коленчатой функции яркости первого изображения.

(40) Устройство кодирования по любому из представленных выше пп. (38) или (39), в котором информация преобразования включает в себя информацию перед преобразованием, обозначающую диапазон яркости, который представляет собой цель преобразования коленчатой функции в первом динамическом диапазоне, и информацию после преобразования, обозначающую диапазон яркости во втором динамическом диапазоне, которая соответствует диапазону.

(41) Устройство кодирования по любому из представленных выше пп. (38)-(40), в котором информация перед преобразованием обозначает диапазон яркости, который был подвергнут преобразованию точек перелома с таким же соотношением преобразования, как и соотношение преобразования первого динамического диапазона, и в котором информация преобразования включает в себя множество пар информации перед преобразованием и информации после преобразования.

(42) Устройство кодирования по любому одному из представленных выше пп. (38)-(41), в котором информация преобразования включает в себя множество пар информации перед преобразованием и информации после преобразования в порядке, в котором приоритет является более высоким.

(43) Устройство кодирования по любому из представленных выше пп. (38)-(42), в котором модуль передачи передает информацию приоритета, обозначающую порядок, в котором приоритет пары является более высоким.

(44) Устройство кодирования по любому одному из представленных выше пп. (38)-(43), в котором информация преобразования включает в себя, по меньшей мере, одно из максимального значения яркости первого изображения и максимального значения яркости второго изображения.

(45) Устройство кодирования по любому одному из представленных выше пп. (38)-(44), в котором информация преобразования включает в себя, по меньшей мере, одно из ожидаемого значения яркости модуля дисплея, который отображает первое изображение, и ожидаемого значения яркости модуля дисплея, который отображает второе изображение.

(46) Способ кодирования, обеспечивающий выполнение устройством кодирования информации преобразования установки, которая представляет собой информацию, относящуюся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона на второй динамический диапазон; кодирование первого изображения, которое представляет собой изображение, имеющее яркость в первом динамическом диапазоне, для генерирования кодированных данных; и передачи кодированного потока, включающего в себя набор информации преобразования и генерируемые кодированные данные первого изображения.

Для специалиста в данной области техники будет понятно, что различные модификации, комбинации, подкомбинации и альтернативы могут быть выполнены в зависимости от конструктивных требований и других факторов, если только они находятся в пределах объема приложенной формулы изобретения или ее эквивалентов.

Список номеров ссылочных позиций

10 Устройство кодирования

11 Модуль установки

12 Модуль кодирования

13 Модуль передачи

14 Модуль преобразования

50 Устройство декодирования

52 Модуль выделения

53 Модуль декодирования

54 Модуль преобразования

70 Устройство кодирования

71 Модуль установки

72 Модуль кодирования

90 Устройство декодирования

91 Модуль выделения

92 Модуль декодирования

93 Модуль преобразования

110 Система декодирования

111 Устройство декодирования

112 Устройство дисплея

121 Модуль выбора

122 Модуль передачи

Изобретение относится к вычислительной технике. Технический результат заключается в снижении объема передаваемых служебных данных. Устройство декодирования содержит схему, выполненную с возможностью приема кодированных данных и информации преобразования, причем кодированные данные относятся к изображению, имеющему яркость в первом динамическом диапазоне, а информация преобразования относится к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и декодирования принятых кодированных данных для генерирования изображения, в котором при указанном преобразовании используется коленчатая функция, определяемая точкой перелома, причем информация преобразования включает в себя флаг постоянства преобразования, указывающий, применяется ли информация преобразования к множеству непрерывных изображений. 4 н. и 8 з.п. ф-лы, 93 ил.

1. Устройство декодирования, содержащее:

схему, выполненную с возможностью

приема кодированных данных и информации преобразования, причем кодированные данные относятся к изображению, имеющему яркость в первом динамическом диапазоне, а информация преобразования относится к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и

декодирования принятых кодированных данных для генерирования изображения, в котором при указанном преобразовании используется коленчатая функция, определяемая точкой перелома,

причем информация преобразования включает в себя флаг постоянства преобразования, указывающий, применяется ли информация преобразования к множеству непрерывных изображений.

2. Устройство декодирования по п. 1, в котором информация преобразования включает в себя информацию до преобразования, указывающую диапазон яркости, являющийся целью коленчатой функции в первом динамическом диапазоне, и информацию после преобразования, указывающую диапазон яркости во втором динамическом диапазоне, соответствующий диапазону яркости, являющемуся целью коленчатой функции в первом динамическом диапазоне.

3. Устройство декодирования по п. 2, в котором информация до преобразования указывает диапазон яркости, который преобразуется с использованием коленчатой функции с тем же соотношением преобразования, что и соотношение преобразования первого динамического диапазона.

4. Устройство декодирования по п. 1, в котором при преобразовании используется коленчатая функция, которая определена по множеству точек перелома.

5. Устройство декодирования по п. 4, в котором информация преобразования включает в себя множество пар информации до преобразования и информации после преобразования.

6. Устройство декодирования по п. 1, в котором при преобразовании используется коленчатая функция путем отображения динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон, и множество соседних сегментов первого динамического диапазона яркости отображается на соответствующее множество соседних сегментов второго динамического диапазона яркости на основе границ между соседними сегментами, определенными множеством точек перелома.

7. Устройство декодирования по п. 1, в котором при преобразовании используется коленчатая функция путем отображения динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон с первым соотношением преобразования к точке, определенной точкой перелома, и со вторым соотношением преобразования от точки, определенной точкой перелома.

8. Устройство декодирования по п. 1, в котором коленчатая функция задана сообщением SEI.

9. Устройство декодирования по п. 8, в котором сообщение SEI включает в себя установку knee_function_id.

10. Способ декодирования, характеризующийся тем, что обеспечивают выполнение устройством декодирования этапов, на которых:

принимают кодированные данные и информацию преобразования, причем кодированные данные относятся к изображению, имеющему яркость в первом динамическом диапазоне, а информация преобразования относится к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и

декодируют принятые кодированные данные так, чтобы сгенерировать изображение, в котором при указанном преобразовании используется коленчатая функция, определяемая точкой перелома,

причем информация преобразования включает в себя флаг постоянства преобразования, указывающий, применяется ли информация преобразования к множеству непрерывных изображений.

11. Устройство кодирования, содержащее:

схему, выполненную с возможностью

установки информации преобразования, относящейся к преобразованию динамического диапазона яркости изображения из первого динамического диапазона во второй динамический диапазон; и

кодирования изображения, имеющего яркость в первом динамическом диапазоне, с тем чтобы генерировать кодированные данные,

при этом при указанном преобразовании используется коленчатая функция, определяемая точкой перелома,

причем информация преобразования включает в себя флаг постоянства преобразования, указывающий, применяется ли информация преобразования к множеству непрерывных изображений.

12. Энергонезависимый, считываемый компьютером носитель записи, хранящий программу, которая при исполнении процессором вызывает выполнение процессором способа по п. 10.