ОБЛАСТЬ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к устройствам, способам и конечным продуктам, таким как продукты хранения или транспортировки данных, или форматированные, кодированные сигналы, для обеспечения доставки изображений или видео с высоким динамическим диапазоном. Устройства включают в себя устройства обработки видео, которые изначально предоставляют форматированный сигнал и видеопроигрыватели, которые принимают форматированный видеосигнал. Форматированный сигнал может транслироваться, передаваться по сети или на носителе данных, таком как оптический диск или карта памяти. Видеопроигрыватели включают в себя, например, проигрыватели с оптическим диском Blu-ray, ТВ-устройства или приставки, принимающие широковещательные сигналы, компьютеры или портативные устройства, принимающие данные от сервера через сеть.
УРОВЕНЬ ТЕХНИКИ
В последнее время захват, отображение и особенно кодирование изображений были усовершенствованы от так называемого воспроизведения с узким динамическим диапазоном (LDR) воспроизведения (например, используемого для хорошо известных классических стандартизированных систем, таких как PAL или MPEG2) до так называемого воспроизведения с высоким динамическим диапазоном воспроизведения(HDR). Освещенность в природе может варьироваться от 100000 лк в солнечном свете, в более типичном офисном или комнатном освещении около 500 лк, до, например, 0,05 лк при свете четверти луны. Яркость (L) в мире варьируется от 1 млрд нт на солнечном диске до десятков тысяч нт для ламп, до нескольких (десятков) тысяч нт для объектов в солнечном свете (таких как здания, края облаков или белая бумага), до сотен или десятков нт для объектов под (сильно) затянутым облаками небом или в помещении, до 0,1 нт для белой бумаги в лунном свете и т.д. Это не обязательно означает, что эти яркости должны отображаться на дисплее одинаково, точнее сказать, изображение должно выглядеть художественно хорошо, то есть, по меньшей мере, разности яркостей различных частей объектов, при отображении на экране монитора, должны быть приблизительно одинаковыми.
Дополнительное улучшение качества изображения может быть достигнуто за счет расширения цветного пространства, в сравнении с классическим стандартизированным видео, обычно называемым LDR системами. Расширенный диапазон видео, как описано в данном документе, имеет расширенный диапазон яркости, расширенное цветовое пространство или комбинацию расширенного диапазона яркости и расширенного цветового пространства, и может называться HDR видео.
Необходимо понимать, что преобразование оттенков для воспроизведения на конкретном дисплее из-за разнообразия современных дисплеев отделено от захвата и кодирования, что приводит к трем связанным представлениям. В общем, требование HDR воспроизведении для способности воспроизводить, например, яркую белую стену отличным образом от соседней яркой лампы на дисплее, заключается в том, чтобы соответствующие пиксели должны также кодироваться различными значениями яркости (Y). Датчики или камеры становятся все более мощными в том, что они действительно могут правильно захватывать большинство из этих различных яркостей и/или цветов в мире (будь то с большими глубинами, или различно экспонированными картинками и др.) и для простоты будет рассматриваться их естественное представление цвета, являющееся линейным кодированием яркости в пределах [Lмин, Lмакс] + цветовая информация. Затем можно использовать совершенно произвольно заданное определение (конечно же в соответствии с желаемыми требованиями, такими как последующая возможность обработки закодированной информации, например, локальное осветление, или проблема сжатия данных, и др.) для передающего кодека. В заключение, эта закодированная информация (Y_C1C2 или подобная) может быть снова конвертирована различными путями для представления на стороне воспроизведении, которое можно для простоты приравнять с значениями возбуждения для, например, цветов LCD- пикселей. Новые дисплеи могут иметь более воспроизводимый динамический диапазон, поэтому они могут, во-первых, визуализировать более яркие области, и во-вторых, одновременно и последовательно отобразить более темные области. Такой расширенный диапазон позволяет разложить все эти объекты с различной яркостью по воспроизводимому диапазону в сочетании с оптимальной визуализацией цвета. Доступное цветовое пространство может быть также расширено.
Blu-ray диски и проигрыватели появились на рынке в 2006 году и с того времени были проданы миллионы проигрывателей, включая игровые приставки PlayStation 3. На Blu-ray дисках (BD) в основном записаны 2D или 3D фильмы с временем проигрывания около 2-х часов и дополнительным контентом (бонусными материалами). Видеоконтент на этих дисках имел градацию цвета для относительно низких уровней яркости и цветовой матрицы, определенной в ITU-R рекомендации BT.709 «Значения параметров для систем ТСВЧ для производства программ и международного обмена ими», доступный из http://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.709-5-200204-I!!PDF-E.pdf .
В последнее время индустрия вещания и контента проявляет большой интерес к переходу от разрешения Full HD к удвоенному вертикальному и горизонтальному разрешению (3840x2160). Это учетверенное Full HD (QFHD) разрешение иногда называют 4К. Помимо увеличения разрешения, существует потребность перехода к более высокой частоте кадров (48Гц, 60Гц), более высокой глубине в битах для кодирования цветовых компонент, более высокому динамическому диапазону и более широкому цветовому диапазону. Вместе с тем, более высокое качество видео характеристик часто называют Ultra HD. Смотри стандарт ITU-R рекомендации BT.2020, доступные из http://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.2020-0-201208-I!!PDF-E.pdf. Между тем, новый кодек был разработан совместными усилиями ITU-T and MPEG и получил название HEVC (также называемый ITU-T H.265 или MPEG-H часть 2), который обычно считают примерно вдвое эффективнее AVC.
Как было сказано выше, на рынке появляются устройства отображения с более высоким уровнем яркости и/или более широким цветовым диапазоном. Нестандартизированные уровни яркости могут лежать от, скажем, 200 нт до 1000 нт и выше. Существующий Blu-ray контент стандартизован для более низких яркостей и, чтобы использовать более высокие яркости, HDR дисплеи могут применять некоторый алгоритм расширения яркости контента. Результат может быть не идеальным с эстетической точки зрения. Один из способов учесть творческий замысел при расширении к большей яркости – это включить вместе с контентом информацию, указывающую проигрывателю (или дисплею) как выполнить это расширение. Это расширение может изменяться во время воспроизведения (например, при каждой смене сцены) или может быть даже пространственно адаптировано. Также расширение может быть различным для видео и наложенной графики (например, субтитры и меню). Примеры того, как эта информация может выглядеть, описаны в патентной заявке WO2013/046095, которая описывает систему для преобразования динамического диапазона изображения. Преобразование динамического диапазона, т.е. план обработки преобразования, описано для преобразования закодированного видео между LDR видео и HDR видео для целевого HDR дисплея. Информация о целевом дисплее может быть включена в выходной сигнал изображения. Также другой документ WO2012/147022 описывает преобразование между HDR и LDR видео, это преобразование может быть определено данными заранее определенного алгоритма преобразования. Также приводятся примеры того, как использовать эту информацию, чтобы оптимизировать обработку видео или графики, или и того и другого.
Из сказанного выше следует, что генерация HDR видео и преобразование между HDR и LDR видео в соответствии с метаданными обработки видео, представляющими собой преобразование между HDR видео и LDR видео, как таковое, известно. Однако, значительной проблемой для создателей контента является то, что многие пользователи до сих пор имеют устаревшее оборудование, которое не может поддерживать расширенную яркость и/или цветовой диапазон, предоставляемые HDR материалом.
WO2012/021705 раскрывает системы и способы доставки контента, как минимум, в двух версиях. Сигнал передачи содержит первую версию контента, разностные данные, представляющие собой разность между первой версией контента и второй версией контента, и метаданные, полученные из функций преобразования, которые соотносят первую и вторую версию с главной версией.
EP 1708485 раскрывает формат передачи для видео данных между устройством отображения (ТВ-приемник) и устройством обработки (проигрыватель оптических дисков). Устройство отображения обеспечивает спецификацию приема (EDID сигнал), которая определяет сигналы, которые могут быть отображены. Устройство обработки генерирует соответствующую версию (SD или HD) контента.
[US 2012/0314773 описывает сигнал c визуальным динамическим диапазоном (VDR) и сигнал cо стандартным динамическим диапазоном (SDR). Первый (например, MPEG-2) кодер кодирует сигнал базового уровня (BL). Второй кодер кодирует сигнал расширенного уровня (EL). EL-сигнал представляет собой информацию, с которой VDR сигнал может быть реконструирован, например, используя BL и EL сигналы. Первый кодер кодирует SDR сигнал с коэффициентами обратного дискретного косинусного преобразования (IDCT) с фиксированной точностью, которые представляют собой аппроксимацию с фиксированной точкой для коэффициентов преобразования, которые могут иметь произвольные точности. BL-сигнал кодируется в потоке, который соответствует стандарту. EL-сигнал кодируется в потоке, который соответствует дополнительному стандарту. BL и EL сигналы объединяются; например, мультиплексируются и передаются вместе. Метаданные также включены в мультиплекс и используются в приемнике устройствами деквантования и предсказания.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Задачей данного изобретения является обеспечение системы распределения видео для передачи видео на устройства, поддерживающие расширенный диапазон видео, и на стандартные видеоустройства.
Для этой цели, в соответствии с первым аспектом изобретения, обеспечивается способ для передачи форматированного видеосигнала согласно стандартизированному формату передачи, причем стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи, и представляющие собой аудиовизуальный контент, подлежащий воспроизведении в выбранной комбинации элементарных потоков, причем соответствующий элементарный поток представляет собой одно из видео, аудио или графического контентов;
форматированный видеосигнал представляет собой расширенное видео, имеющее расширенный диапазон яркости и/или цвета по отношению к стандартному видео, имеющим стандартный диапазон яркости и/или цвета, причем стандартный диапазон определен в стандартизированном формате;
причем упомянутый способ содержит этапы:
- обработку входного видео, чтобы обеспечить метаданные обработки видео, представляющие собой преобразование между стандартным видео и расширенным видео, и генерацию первичного элементарного потока видео, представляющего собой стандартное видео, или
- обработку входного видео, чтобы обеспечить метаданные обработки видеоинформации, представляющие собой преобразование между расширенным видео и стандартным видео, и генерацию первичного элементарного потока видео, представляющего собой расширенное видео;
- генерацию элементарного потока обработки видео, имеющего общую структуру, но не содержащий аудиовизуальный контент, причем упомянутый элементарный поток обработки видео содержит метаданные обработки видеоинформации для преобразования при воспроизведении выбранной комбинации,
- генерирование информации расширенного потока, включающей в себя, по меньшей мере, запись, указывающую первичный элементарный поток видео и запись, указывающую элементарный поток обработки видео, и
- генерирование форматированного видеосигнала, содержащего первичный элементарный поток видео, упомянутый элементарный поток обработки видео и информацию расширенного потока, причем метаданные обработки видео в элементарном потоке обработки видео содержат информацию расширенного диапазона, содержащую множество различных дескрипторов процесса, при этом соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем типы данных содержат видео, и по меньшей мере, графику или субтитры.
Согласно дополнительному аспекту изобретения обеспечивается устройство обработки видео для предоставления форматированного видеосигнала для передачи в соответствии со стандартизированным форматом передачи, причем упомянутый стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки, и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи, и представляет собой аудиовизуальный контент, подлежащий воспроизведению посредством выбранной комбинации элементарных потоков, соответствующий элементарный поток представляет одно из видео, аудио или графического контентов;
форматированный видеосигнал представляет собой расширенное видео, имеющее расширенный диапазон яркости и/или цвета по отношению к стандартному видео контенту, имеющему стандартный диапазон, причем стандартный диапазон определен в стандартизированном формате передачи;
упомянутое устройство обработки содержит
- блок обработки для обработки входного видео, и
- блок форматирования для генерации форматированного видеосигнала;
причем упомянутый блок обработки видео и блок форматирования выполнены с возможностью
- обработки входного видео для обеспечения метаданных обработки видео, представляющих собой преобразование между стандартным видео и расширенным видео и генерирования первичного элементарного потока видео, представляющего собой стандартное видео, или
- обработки входного видео для обеспечения метаданных обработки видео, представляющих собой преобразование между расширенным видео и стандартным видео и генерирования первичного элементарного потока видео, представляющего собой расширенное видео;
и упомянутый блок форматирования дополнительно выполнен с возможностью
- генерирования элементарного потока обработки видео, имеющего общую структуру, но не содержащего аудиовизуальный контент, причем упомянутый элементарный поток обработки видео содержит метаданные обработки видео для преобразования при воспроизведении выбранной комбинации,
- генерирования информации расширенного потока, содержащей, по меньшей мере, запись, указывающую первичный элементарный поток видео и запись, указывающую элементарный поток обработки видео, и
- генерирования форматированного видеосигнала, содержащего первичный элементарный поток видео, элементарный поток обработки видео и информацию расширенного потока, причем метаданные обработки видео в элементарном потоке обработки видео содержат информацию расширенного диапазона, содержащую множество различных дескрипторов процесса, при этом соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем типы данных содержат видео и по меньшей мере графику или субтитры.
Согласно дополнительному аспекту изобретения проигрыватель обеспечивается для обработки форматированного видеосигнала в соответствии со стандартизированным форматом передачи, причем стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки, и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи и представляющие собой аудиовизуальный контент, подлежащий воспроизведении в выбранной комбинации элементарных потоков, причем соответствующий элементарный поток представляет одно из видео, аудио или графического контентов;
упомянутый форматированный видеосигнал представляет собой расширенное видео, имеющие расширенный диапазон яркости и/или цвета по отношению к стандартному видеоконтенту, имеющему стандартный диапазон, упомянутый стандартный диапазон определен в стандартизированном формате передачи;
упомянутый форматированный видеосигнал содержит
- элементарный поток обработки видео, имеющий общую структуру, но не содержащий аудиовизуальный контент, упомянутый элементарный поток обработки видео содержит метаданные обработки видео для преобразования при воспроизведении выбранной комбинации,
- первичный элементарный поток видео данных, представляющий собой стандартное видео и метаданные обработки видео, представляющие собой преобразование между стандартным видео и расширенным видео, или
- первичный элементарный поток видео данных, представляющий собой расширенное видео и метаданные обработки видео, представляющие собой преобразование между стандартным видео и расширенным видео;
и упомянутый форматированный видеосигнал также дополнительно содержит
- информацию расширенного потока, содержащую, по меньшей мере, запись, указывающую первичный элементарный поток видео и запись, указывающую элементарный поток обработки видео, и причем метаданные обработки видео в элементарном потоке обработки видео содержат информацию расширенного диапазона, содержащую множество различных дескрипторов процесса, при этом соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем типы данных содержат видео и по меньшей мере графику или субтитры,
упомянутый проигрыватель, содержащий
- входной блок для приема форматированного видеосигнала и извлечения информации расширенного потока и метаданных обработки видео,
- блок обработки для
- обработки информации расширенного потока, и, в зависимости от информации расширенного потока, записи, указывающей элементарный поток обработки видео,
- преобразования первичного видео из первичного элементарного потока видео в целевое видео, адаптированное к возможностям воспроизведении яркости и/или цвета целевого устройства отображения с помощью обработки первичных видео в соответствии с метаданными обработки видео, в то же время используя соответствующие дескрипторы процесса для преобразования соответствующих типов данных, причем типы данных содержат видео и по меньшей мере графику или субтитры.
Согласно дополнительному аспекту изобретения обеспечивается форматированный видеосигнал для передачи в соответствии со стандартизированным форматом передачи, причем стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки, и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи, и представляющие собой аудиовизуальный контент, подлежащий воспроизведении в выбранной комбинации элементарных потоков, причем соответствующий элементарный поток представляет одно из видео, аудио или графического контентов;
упомянутый форматированный видеосигнал представляет собой расширенное видео, имеющие расширенный диапазон для яркости и/или цвета по отношению к стандартному видеоконтенту, имеющему стандартный диапазон, упомянутый стандартный диапазон определен в стандартизированном формате передачи;
упомянутый форматированный видеосигнал содержит
- элементарный поток обработки видео, имеющий общую структуру, но не содержащий аудиовизуальный контент, упомянутый элементарный поток обработки видео содержит метаданные обработки видео для преобразования при воспроизведении выбранной комбинации,
- первичный элементарный поток видео, представляющий собой стандартные видео и метаданные обработки видео, представляющие собой преобразование между стандартным видео и расширенным видео, или
- первичный элементарный поток видео данных, представляющий собой расширенное видео и метаданные обработки видео, представляющие собой преобразование между расширенным видео и стандартным видео;
и упомянутый форматированный видеосигнал также дополнительно содержит
- информацию расширенного потока, содержащую, по меньшей мере, запись, указывающую первичный элементарный поток видео и запись, указывающую элементарный поток обработки видео, причем метаданные обработки видео в элементарном потоке обработки видео содержат информацию расширенного диапазона, содержащую множество различных дескрипторов процесса, при этом соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем типы данных содержат видео, и по меньшей мере, графику или субтитры.
Данные меры имеют тот эффект, что форматированный видеосигнал соответствует стандартизированному формату передачи, такому как MPEG видео, и может передаваться через существующие каналы распространения, такие как оптические диски, широковещание или/и интернет.
Стандартизированный формат передачи определяет информацию потока, которая свидетельствует о содержимом форматированного видеосигнала. Информация потока имеет записи, указывающие выбираемые элементарные потоки, например, информацию о списке воспроизведения на Blue-ray диске, или отдельный файл для загрузки, или информацию программы, включенную в мультиплексированный поток для широковещания.
Стандартизированный формат дополнительно определяет элементарные потоки, представляющие собой аудиовизуальный контент, подлежащий воспроизведении в выбранной комбинации элементарных потоков. Как таковые, элементарные потоки известны, например, из MPEG и Blu-ray дисков. Элементарный поток содержит только один тип данных, например, аудио, видео или графические данные, в то время как каждый элементарный поток имеет общую структуру в соответствии со стандартизированным форматом передачи, например, структура определяет пакет данных и заголовок, имеющий стандартизированный контент. Данные в элементарном потоке зависят от кодека и типа данных, переносимых в потоке. Элементарный поток может быть пакетированным и может включать в себя или иметь связанную с ним временную информацию, чтобы обеспечить взаимную синхронизацию множества элементарных потоков, например, данные пакетированы и заголовки пакетов содержат метки времени, связанные с началом кадра в полезных данных пакета. Элементарный поток обработки видео также имеет упомянутую общую структуру и служит для преобразования при воспроизведении выбранной комбинации, т.е. используется для определения обработки преобразования при воспроизведении с другими элементарными потоками.
Способ или устройство обработки видео, обеспечивают форматированный сигнал, упомянутый форматированный сигнал как переданный, и видеопроигрыватель, обрабатывающий форматированный сигнал для обеспечения целевого видео, вместе составляют систему распределения видео для передачи стандартного диапазона и расширенного диапазона видео. Информация расширенного потока сообщает, посредством упомянутой записи ,принимающей стороне, присутствует ли элементарный поток обработки видео. Например, запись может быть битовым флагом, указывающим упомянутое присутствие, списком потоков, содержащим идентификатор потока, который указывает элементарный поток обработки видео, форматированным полем, содержащим число доступных элементарных потоков обработки видео и прочее. Обеспечивая, в форматированном сигнале, элементарный поток обработки видео и информацию расширенного потока, видеопроигрыватель способен выборочно визуализировать стандартную версию, например LDR, или расширенную версию, например HDR, первичного видео в первичном элементарном потоке с помощью либо непосредственно первичного видео или преобразования упомянутого первичного видео с помощью метаданных обработки видео. На стороне воспроизведения, первичные видео из первичного потока видео конвертируются с помощью применения метаданных обработки видео в целевое видео, адаптированное к возможностям воспроизведения яркости и/или цвета целевого устройства отображения, которые могут быть известны, заданы или определены с помощью установления связи с дисплеем. Метаданные обработки видео в элементарном потоке обработки видео могут содержать поле информации расширенного диапазона, содержащей множество различных дескрипторов процесса, при этом соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, при этом типы данных содержат видео и по меньшей мере графику или субтитры. Предпочтительно, чтобы отдельные дескрипторы процесса предоставлялись для определения обработки соответствующих типов данных. На стороне отображения обработка может вовлекать использование соответствующих дескрипторов процесса для преобразования соответствующих типов данных, причем типы данных содержат видео и по меньшей мере графику или субтитры. Пользователю может быть разрешено установить или выбрать требуемый уровень преобразования.
Форматированный видеосигнал, представляющий собой расширенное видео, может, например, быть передан через носитель данных, например оптический диск, сигнал вещания или Интернет, на видеопроигрыватель, например, проигрыватель оптических дисков или ТВ, или телевизионную приставку. Расширенный форматированный сигнал может быть структурирован в соответствии с соответствующим известным форматом передачи таким образом, чтобы быть обратно совместимым. Кроме того, расширенный форматированный сигнал может содержать компоненты, подобные известным компонентам сигнала. Например, на оптическом диске Blu-ray обычный список воспроизведения предоставляется в файле на диске, и информация расширенного потока может быть обеспечена подобным образом. Таким образом, в этом случае информация расширенного потока содержится в файле, отдельном от транспортного потока(потоков), содержащего элементарные потоки. Однако, для широковещания существует другой тип информации потока, чтобы обозначить, какой элементарный поток содержит какую информацию. Поток информации для широковещательных форматов обычно называется программно-зависимой информацией (PSI), как дополнительно поясняется в http://en.wikipedia.org/wiki/Program-specific_information. В настоящем документе информация расширенного потока форматируется в соответствии с требованиями используемого формата передачи, как например, тип расширенного списка воспроизведения оптического диска и расширенная программно-зависимая информация. На практике, расширенная PSI включена в транспортный поток, в то время как расширенный список воспроизведения BD – это отдельный файл.
Следует отметить, что любое преобразование между первым диапазоном яркости или цвета, присутствующем в первичном видео, в любой второй диапазон яркости и цвета, который требуется для отображения, может быть выполнено на основе соответствующих метаданных обработки видео. Метаданные обработки видео могут содержать индикатор для указания типа преобразования. Например, метаданные обработки видео могут быть для преобразования первичного LDR видео в HDR видео, когда первичный поток содержит LDR видео, или для преобразования первичного HDR видео в LDR видео, когда первичный поток содержит HDR видео. Способ может содержать применение, для упомянутого преобразования, преобразования, которое является обратимым, посредством обратного отображения к видео в первичном элементарном потоке видео, и метаданные обработки видео в элементарном потоке обработки видео могут включать в себя информацию об отображении. На принимающей стороне блок обработки может быть выполнен с возможностью описанного преобразования с помощью отображения в соответствии с метаданными обработки видео. Кроме того, различные уровни преобразования могут быть внедрены в метаданные обработки видео, например, для дисплеев, имеющих средний, высокий или очень высокий уровни яркости, или для различных цветовых гамм. Следовательно, первичное видео может быть либо LDR видео, подлежащим преобразованию с повышением уровня, либо некоторым типом HDR видео, которое может быть преобразовано с понижением уровня в LDR, основываясь на метаданных обработки видео, содержащих соответствующую коррекционную схему адаптации к диапазону яркости. Первичное видео может даже содержать расширенное видео, удовлетворяющее HDR дисплеям среднего уровня, в то время как метаданные обработки видео обеспечивают инструкцию как для преобразования с понижением в LDR и, альтернативно, последующего преобразования с повышением для HDR дисплеев более высокого уровня. Наконец, следует отметить, что множество элементарных потоков может быть включено в форматированный сигнал, чтобы позволить стороне отображения выбрать подходящее преобразование первичного видео.
Данное изобретение также основано на следующем понимании. Метаданные обработки видео, предназначенные для передачи, представляют собой схему преобразования между расширенным видео и стандартным видео или наоборот, следовательно, это не аудиовизуальные данные, которые могут быть воспроизведены как таковые. Напротив, метаданные обработки видео включают в себя порядок обработки, подлежащий применению к данным видео контента, предоставляемым в другом элементарном потоке. Следует отметить, что в соответствии со стандартизированным форматом передачи, любой элементарный поток обычно переносит визуальный, аудио или графический контент, причем этот контент может быть воспроизведен в выбранной комбинации, основанной на информации потока (например, комбинации первичного видео с аудиодорожкой на другом языке или выбранным всплывающим графическим меню, основанном на списке воспроизведения BD). Авторы обнаружили, что новый тип элементарного потока может быть альтернативно использован для переноса метаданных обработки видео, поэтому элементарный поток видео не содержит аудиовизуальный контент, как традиционно определено в стандартизированном формате передачи, но, вместо этого, может содержать инструкцию по обработке.
Элементарный поток обработки видео может быть мультиплексирован с дополнительными элементарными потоками, чтобы образовать единственный универсальный сигнал для передачи на одном носителе. Благодаря сигналу, использующему дополнительный элементарный поток для передачи метаданных обработки, сигнал все еще соответствует требованиям передачи, определенным для стандартизированного формата передачи, несмотря на то, что был добавлен новый тип элементарного потока. Благодаря информации расширенного потока, например, расширенной программно-зависимой информации (PSI), новый видеопроигрыватель может выбирать элементарный поток обработки видео, чтобы получить метаданные обработки видео, в то время как в классический, устаревший проигрыватель может увидеть дополнительный элементарный поток, но не позволить выбор или воспроизведение этого потока, и, следовательно, как это предусмотрено, будет воспроизводить только первичное видео. Следует отметить, что в случаях, описанных в этом тексте, только расширенные и/или стандартные элементарные потоки видео могут быть упомянуты, но другие элементарные потоки всегда могут быть также включены в форматированный сигнал вместе с потоком обработки видео, например аудио элементарный поток, и/или текстовый или поток растровой графики.
Предпочтительно, чтобы элементарный поток обработки видео мог быть также распределен отдельно, например, через другой канал, а также с использованием стандартизированного формата передачи в этом канале. Это связано с тем, что такой формат обычно определяет автономный аудиовизуальный форматированный сигнал, основанный на, по меньшей мере, одном элементарном потоке.
Кроме того, необходимо отметить, что информация расширенного потока имеет запись, указывающую элементарный поток обработки видео. Эта запись обеспечивает указание доступности элементарного потока обработки видео, например, присутствие элементарного потока в форматированном сигнале. Например, оптический диск может быть снабжен первичным элементарным потоком видео, списком воспроизведения, содержащим информацию расширенного потока и элементарный поток обработки видео. Эта запись в этом случае указывает один доступный элементарный поток обработки видео. Альтернативно, оптический диск может содержать первичный элементарный поток видео, но не содержать элементарный поток обработки видео, упомянутая запись в информации расширенного потока в этом случае показывает, что присутствуют нуль элементарных потоков обработки видео. Впоследствии, часть форматированного сигнала может быть передана отдельно, например, с помощью загрузки с сервера, упомянутая часть содержит обновленную информацию расширенного потока и, как минимум, один элементарный поток обработки видео. В обновленной информации расширенного потока обозначается присутствие элементарного потока обработки видео. Предпочтительно обеспечивается гибкая система распределения.
В некоторых случаях, метаданные обработки видео в элементарном потоке обработки видео содержат поле, указывающее число сегментов обработки видео в элементарном потоке обработки видео. Предпочтительно, чтобы это число дополнительно определяло структуру метаданных обработки видео. Метаданные обработки видео в элементарном потоке обработки видео могут содержать сегмент обработки видео, содержащий, по меньшей мере, одно представление метки времени и дескриптор сегмента. Предпочтительно, чтобы представление метки времени обеспечивало синхронизацию метаданных обработки видео, которое дополнительно определено в дескрипторе сегмента.
В некоторых случаях, форматированный видеосигнал содержит транспортный поток, включающий в себя первичный элементарный поток видео и элементарный поток обработки видео. На носителе записи, содержащем трек из оптически считываемых меток, метки могут представлять собой информацию расширенного потока и транспортный поток, включая элементарный поток обработки видео. В видеопроигрывателе входной блок может быть выполнен с возможностью приема транспортного потока и извлечения из транспортного потока первичного элементарного потока и элементарного потока обработки видео. Это влечет то, что элементарный поток обработки видео мультиплексируется в том же транспортном потоке, что и первичный элементарный поток видео. Кроме того, в видеопроигрывателе входной блок может содержать блок оптического диска для чтения оптических носителей записей и извлечения транспортного потока. Видеопроигрыватель теперь позволяет воспроизводить, основываясь на данных элементарного потока, извлеченных из одиночного мультиплексированного транспортного потока, и стандартное видео, и расширенное видео, что соответственно необходимо для подключенного дисплея.
В некоторых случаях форматированный видеосигнал - это широковещательный сигнал, и транспортный поток содержит информацию расширенного потока в виде программно-зависимой информации. Предпочтительно, чтобы вся информация расширенного диапазона содержалась в транспортном потоке, с тем, чтобы позволить видеопроигрывателю, например, в виде ТВ-приставки или телевизора, извлекать и PSI, и элементарный поток обработки видео из одиночного транспортного потока.
В некоторых случаях, форматированный видеосигнал включает в себя первый транспортный поток, содержащий первичный элементарный поток видео, и второй транспортный поток, включающий в себя элементарный поток обработки видео. На носителе информации, содержащем трек оптически читаемых меток, метки могут представлять собой информацию расширенного потока и первый транспортный поток, содержащий первичный элементарный поток видео и второй транспортный поток, включающий в себя элементарный поток обработки видео. В видеопроигрывателе входной блок может быть скомпонован для приема первого и второго транспортного потока и извлечения, из первого транспортного потока, первичного элементарного потока видео и, из второго транспортного потока, элементарного потока обработки видео. Это приводит к тому, что элементарный поток обработки видео мультиплексируется в другом транспортном потоке, чем первичный элементарный поток видео. Оба транспортных потока могут быть включены в один носитель данных, такой как BD, в комбинации с информацией расширенного потока. Кроме того, в видеопроигрывателе, входной блок может содержать блок оптического диска для чтения носителей оптических записей и извлечения первого и второго транспортного потока. Проигрыватель теперь способен воспроизводить, на основе данных элементарного потока, извлекаемых из обоих, первого и второго, транспортного потока, или LDR, или HDR видео, как требуется для подключенного дисплея.
В некоторых случаях, первая часть форматированного сигнала может быть передана через носитель данных, например, систему широковещания или запоминающий носитель, а вторая часть может быть передана через сеть. Первая часть содержит, в первом транспортном потоке, первичный элементарный поток видео, а вторая часть содержит информацию расширенного потока, и, во втором транспортном потоке, элементарный поток обработки видео.
В некоторых случаях, обеспечивается носитель записи, содержащий трек оптически считываемых меток, где метки представляют собой
- информацию расширенного потока и транспортный поток, включающий в себя первичный элементарный поток видео и элементарный поток обработки видео, как описано выше; или
- информацию расширенного потока и первый транспортный поток, содержащий первичный элементарный поток видео, и второй транспортный поток, включающий в себя элементарный поток обработки видео, как описано выше; или
- информацию расширенного потока и первый транспортный поток, но не второй транспортный поток, как описано выше.
В некоторых случаях, запись в информации расширенного потока может указывать число элементарных потоков обработки видео, это число является целым и большим или равным нулю. Предпочтительно, чтобы информация расширенного потока теперь была доступной для использования форматированного сигнала, содержащего только первичный элементарный поток видео и не содержащего элементарные потоки обработки видео, когда описанное число равно нулю. Также, множество элементарных потоков обработки видео может быть включено в форматированный сигнал, в то время как упомянутое число обозначает упомянутое множество. Предпочтительно, чтобы такой входной информацией обеспечивалось универсальное расширение стандартных форматированных сигналов.
В некоторых случаях, в видеопроигрывателе входной блок может содержать блок оптического диска для чтения носителей оптических записей и извлечения информации расширенного потока и транспортного потока, содержащего первичный элементарный поток видео. Носитель записи может содержать информацию расширенного потока и первый транспортный поток, но не содержать второй транспортный поток.
В некоторых случаях, в видеопроигрывателе входной блок может содержать сетевой интерфейс для загрузки элементарного потока обработки видео и информации расширенного потока с сервера в локальное хранилище данных. Кроме того, блок обработки может быть выполнен с возможностью замены информации потока, принятой ранее, информацией расширенного потока. Предпочтительно, чтобы более ранняя версия информации потока, например, список воспроизведения проигрывания, доступный на носителе данных, также предоставляющая первичный элементарный поток видео, имеющих фиксированную классификацию для LDR, могла бы быть заменена информацией расширенного потока, загруженной и доступной из локального хранилища данных. Носитель данных может, например, быть BD оптическим диском, содержащим LDR версию видео. Элементарный поток обработки видео, как загружен, может быть локально сохранен в видеопроигрывателе, и может быть воспроизведен в выбранной комбинации с остальными элементарными потоками, извлекаемыми из носителя данных, для получения HDR версии видео.
В некоторых случаях, элементарный поток обработки видео содержит последовательность сегментов обработки видео, причем соответствующий сегмент связан с соответствующей последовательностью из одного или более видеокадров. Эта связь может, например, быть основанной на соответствующих метках времени сегмента обработки видео и видео кадров в первичном видео. В этом варианте сегмент обработки видео является основным элементом данных в элементарном потоке обработки видео. Он содержит метаданные обработки видео, такие как инструкции от автора или создателя контента о том, как обрабатывать видео и/или графический контент. В видеопроигрывателе блок обработки может быть дополнительно выполнен с возможностью преобразования последовательностей видеокадров первичного видео в последовательность сегментов. Сегменты обработки видео в соответствии с периодами времени в видео, например, упомянутыми последовательностями видеокадров, позволяют осуществить для кадра точную обработку, соответствующую инструкции, включенной в соответствующий сегмент обработки видео. Сегменты предназначены для независимой адаптации каждой сцены в фильме, например, чтобы подчеркнуть творческий замысел, лучше поддержать сюжетную линию для HDR дисплеев или для оптимизированных цветовых градуировок. Дополнительные примеры алгоритмов, коррекционных расписаний, цветовых адаптаций и т.д., приводятся далее.
В некоторых случаях, элементарный поток обработки видео содержит инструкции по адаптации уровня яркости и/или цветового пространства видео в зависимости от яркости или возможностей цветопередачи устройства отображения. В видеопроигрывателе блок обработки может быть дополнительно выполнен с возможностью преобразования первичного видео в целевое видео с помощью обработки первичного видео в соответствии с упомянутыми инструкциями. Кроме того, блок обработки может быть выполнен с возможностью определения яркости или возможностей воспроизведения цвета устройства отображения. Инструкции могут, например, обеспечить схему коррекции яркости, или гамма-кривую, или формулу коррекции цветового диапазона. Предпочтительно, чтобы видео могло быть адаптировано для подключенного дисплея, имеющего известные возможности воспроизведения. Дисплей может также сообщить свои возможности воспроизведения яркости или цвета видеопроигрывателю. Также дисплей и блок обработки могут быть интегрированы в единое устройство, так что возможности воспроизведения яркости или цвета являются предопределенными и известными блоку обработки.
В некоторых случаях, элементарный поток обработки видео содержит инструкции по адаптации уровня яркости и/или цветового пространства графики в зависимости возможностей воспроизведения яркости или цвета устройства отображения. В видеопроигрывателе блок обработки может быть дополнительно выполнен с возможностью преобразования графики из графического элементарного потока, или другой графики, такой как всплывающее меню, генерируемой локально в видеопроигрывателе с помощью адаптации графики в соответствии с упомянутыми инструкциями. Инструкции могут, например, обеспечить схему коррекции яркости, или гамма-кривую, или формулу коррекции цветового диапазона. Кроме того, инструкции могут применяться к сегменту первичного видео, и могут меняться для последующего сегмента. Предпочтительно, чтобы графика могла быть адаптирована для подключенного дисплей, имеющего известные возможности воспроизведения. Например, специальные инструкции графической коррекции могут корректировать яркость субтитров, когда LDR видео программа преобразуется в HDR. Коррекция позволяет избежать чрезмерной яркости субтитров и доминирования над видео.
В некоторых случаях, метаданные обработки видео, включенные в элементарный поток обработки видео, могут быть доставлены (и, где это применимо, проданы), используя различные каналы, сигналы или кодировки, хранимые на различных физических носителях и т.д.
Другие предпочтительные варианты устройств и способов, согласно изобретению, приведены в Формуле изобретения, описание которой включено сюда посредством ссылки.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты способа и устройства в соответствии с изобретением будут очевидны и объяснены со ссылками на реализации и варианты осуществления, описанные далее, и со ссылками на прилагаемые чертежи, на которых
Фигура 1 схематично изображает как кодировать HDR изображение как фактически LDR изображение, которое может использоваться на LDR дисплее, но не с достаточным визуальным качеством на HDR дисплее, если он не получает данные алгоритма отображения способа кодирования; и
Фигура 2 показывает блок-схему системы передачи HDR видео, имеющей первичное HDR видео,
Фигура 3 показывает блок-схему системы передачи HDR видео, имеющей первичное LDR видео,
Фигура 4 показывает блок-схему системы распределения HDR видео,
Фигура 5a-d показывает пример элементарного потока обработки видео, в котором
Фигура 5а показывает элементарный поток обработки видео, имеющий поле, указывающее количество сегментов обработки видео,
Фигура 5b показывает пример синтаксиса сегмента обработки видео,
Фигура 5c показывает пример синтаксиса Дескриптора Сегмента,
Фигура 5d покрывает пример синтаксиса HDR информации,
Фигура 6 показывает пример функции коррекции яркости,
Фигура 7 а-с показывает метаданные обработки видео, в котором
Фигура 7а показывает Дескриптор Обработки Видео Video_process_descriptor для коррекции яркости,
Фигура 7b показывает Меню Дескриптора Обработки Menu_process_descriptor для коррекции графики,
Фигура 7c показывает Дескриптор Обработки Субтитров Subtitle_process_descriptor для коррекции субтитров,
Фигура 8а-d показывает список воспроизведения, в котором
Фигура 8а показывает общую структуру списка воспроизведения в соответствии со стандартизированным форматом,
Фигура 8b показывает пример синтаксиса списка воспроизведения,
Фигура 8c показывает пример элемента воспроизведения в списке воспроизведения,
Фигура 8d показывает первую часть структуры данных таблицы элементарных потоков,
Фигура 9 показывает пример синтаксиса информации расширенного потока, в качестве расширения таблицы элементарных потоков,
Фигура 10а показывает записи-индикаторы Stream_entry для таблицы элементарных потоков,
Фигура 10b показывает Атрибуты Потока Stream_Attributes для таблицы элементарных потоков,
Фигура 11 показывает пример элемента синтаксиса информации расширенного потока, и
Фигура 12 показывает определение типов HDR дисплеев.
Чертежи являются сугубо схематическими и изображены не в масштабе. На чертежах элементы которые соответствуют уже описанным элементам, могут иметь одинаковые ссылочные номера. Чертежи служат лишь как неограничивающие примеры, иллюстрирующие более общую концепцию, в то время как пунктир может быть использован, чтобы показать, что компонент является необязательным, для указания, что элементы скрыты внутри объекта, или для нематериальных вещей, таких как выбор объекта/области (например, как они могут быть отображены на дисплее).
ПОДРОБНОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг.1 схематично изображает как кодировать HDR изображение, классифицированное как LDR изображение, которое может использоваться на LDR дисплее, но не с достаточным визуальным качеством на HDR дисплее, если он не получает данные алгоритма отображения способа кодирования. Фигурой 1 поясняется, в качестве примера, как данный способ может кодировать HDR изображения/видео. Создатель контента, например, киностудия Голливуд, сделала первичный HDR мастер-сигнал HDR_ORIG, который может быть кодирован, например, с помощью кодека, имеющего 20-ти битное линейное представление яркости. Это изображение является HDR, так как оно классифицируется таким, которое будет выглядеть оптимально на дисплеях, имеющих, по меньшей мере, более высокую яркость (обычно выше 1000 нт пикового белого), и, как правило, также более глубокие оттенки черного, высокую точность воспроизведения цвета и т.д. Для удобства чтения объяснение сосредоточено на компоненте яркости/освещенности пикселей изображения, но, как правило, система будет также осуществлять цветовое отображение, чтобы достичь оптимального воспроизведения цветов. HDR сигнал не прост для использования на устаревших LDR дисплеях. Во-первых, так как он закодирован неподходящим образом. В подходе согласно изобретению обычно кодируют изображения, так что HDR изображения также обратно совместимы с 10-ти битной или даже 8-ми битной яркостью. Игнорируя фактические цвета пикселей, такое изображение может быть затем сжато и передано в классическом формате передачи изображений, например, MPEG2, AVC, VP8, JPEG и др. кодирования. Но фактические цвета пикселей тоже важны, и здесь способ кодирования добавляет вторую фазу, иначе это было бы неверно. Кодируют HDR изображение таким образом, чтобы оно могло быть непосредственно отображено на устаревшем дисплее. Другими словами, оно будет обладать достаточным визуальным качеством на таком дисплее (цвета объекта изображения приемлемой аппроксимации, как они бы выглядели в оригинальной сцене или, по меньшей мере, настолько хорошо, как LDR дисплей сможет отобразить их, учитывая, однако, важное ограничение не потерять информацию эффекта HDR изображения в этом сигнале). Поэтому применяют преобразования, которые, как правило, обратимы (например, отображение HDR_ORIG в LDR_CONT может быть отменено, для получения HDR_PRED из LDR_ORIG путем применения обратного преобразования яркости/цвета), или, по меньшей мере, такие, что из полученного LDR кодирования LDR_CONT, можно отлично (или по меньшей мере с минимальной ошибкой) восстановить первичный HDR главного HDR_ORIG как оценку преобразования HDR изображения HDR_PRED. Это означает, что алгоритмы, обеспечивающие яркостное (и цветовое) отображение, должны быть такими, чтобы не разрушать HDR информацию. Чтобы подчеркнуть важность этого момента более точно: HDR информация, хотя и не идеально воспроизводима (например, можно наложить темные части изображения таким образом, что они станут больше не различимыми на LDR дисплее с низким пиком яркости в типичных окружающих условиях), но по-прежнему восстановима с помощью применения алгоритмов отображения (яркости 10, 11, 12, .. 15 могут, например, быть отображены в HDR 25, 30, 48, ..100), особенно, если не слишком много артефактов, таких как многополосность, тем не менее отображается в оценочном/восстановленном с помощью отображения HDR изображении. Таким образом, можно сказать, что LDR_CONT является LDR классификацией/изображением, это специальная классификация в том, что оно по-прежнему содержит (по меньшей мере, почти) всю HDR информацию первичного главного HDR_ORIG, так как использовали подходяще сжатое отображение, чтобы связать HDR_ORIG и LDR_CONT.
Без применения такого корректирующего отображения яркости даже 8-ми битное кодирование HDR_ORIG приведет к непригодности изображений для устаревших устройств, так как они будут выглядеть слишком колориметрически искаженным. Например, возможно иметь темный фон с яркими бликами. Поскольку HDR дисплеи с высокой пиковой яркостью могут визуализировать низкие коды яркостей пикселя с относительно высокой выходной яркостью, можно назначить низкие яркости пикселей всем этим пикселям (например, 1..10), и затем не иметь пикселей с промежуточными яркостями, и значения (250-255) для ярких светов (если мы кодировали HDR изображение в 8-ми битном представлении). Показ этого сигнала на LDR дисплеях, однако, бинаризует его. Все темные значения, как правило, видятся как одинаково черные. Таким образом, нужно применять отображение яркости F_TM1, которое предварительно осветляет темные яркости (например, 0..5 становится 10…20, с аддитивным или мультипликативным отображением), так что темная комната остается все еще видимой на LDR дисплее, когда эта HDR кодировка непосредственно воспроизводится, как будто бы это LDR изображение. Таким образом, мы кодируем HDR изображение, как будто бы это LDR изображение, или, другими словами, мы кодируем HDR и LDR изображение с одинаковым представлением об изображении. Но, это LDR_CONT изображение не может быть напрямую использовано чтобы воспроизводить корректно главный HDR_ORIG на HDR дисплее. Поскольку есть, например, осветленные темные части комнаты, то они станут различимыми на LDR дисплеях, станут выглядеть слишком яркими на HDR дисплее и потеряют все ужасающее настроение, задуманное создателем контента. Способом сделать их снова корректными является алгоритм обратного отображения яркости FL2H.
Алгоритм отображения в некоторых случаях может быть простым применением гамма-функции (например, HDR яркость Y_HDR=a*Y_LDR^g), даже для всей сцены или фильма, или он может быть более сложным, принимая во внимание также локальную оптимизацию цвета, поскольку зрительная система воспринимает появление цветов относительно. Например, стратегия грубой сегментации может определять несколько порогов перед наборами блоков в изображении. При зигзаг-сканировании перед блоком (X,Y) используют первую функцию отображения, затем перед блоком (X,Y) назначается два LDR порога яркости g_1 и g_2, которые указывают, что для регионов на позициях, начиная с (X,Y), имеющих яркости пикселей между этими порогами, должны трактоваться по-разному, например с помощью второго алгоритма/стратегии отображения яркости. Например, если LDR яркость Y_LDR, равная 128, была отображена в Y_HDR= 2099 (в некотором оговоренном представлении, например 20-ти битном; для простоты на фигуре сделали диапазон восстановленных HDR яркостей вещественным с диапазоном [0,1]) с помощью первой функции отображения яркости, то теперь она может с помощью второй функцией преобразования яркости быть, например, отображена в Y_HDR=200. Например, она может обрабатывать белизну рубашку так, чтобы она не светилась очень сильно. Позднее, на этом же самом изображении после блока (X+K, Y+L) может быть такой же диапазон Y_LDR значений в LDR представлении изображения LDR_CONT, но это может быть очень яркая лампа. Она может быть обработана иначе, чтобы достичь очень ярких Y_HDR яркостей посредством третьего алгоритма отображения.
В любом случае, вся информация алгоритмов отображения (функциональные параметры, численные параметры изображения, такие как, например, метки времени показов, информация для определения локальных фигур в локальном определении формы и т.д.) является ключевой для того, чтобы снова получить первичную мастер-версию HDR_ORIG или, по меньшей мере, HDR версию HDR_PRED, которая выглядит (очень) похоже на него. Эта версия будет выглядеть как задумано, оптимально на эталонном HDR дисплее или на любом ярком дисплее, имеющем физические характеристики, близкие к эталонному HDR дисплею, и, например, не слишком яркой в некоторых позициях, или вообще неправильного цвета.
Теперь система позволяет создателю контента указать, какие алгоритмы отображения будут использоваться, чтобы получить наилучшее изображение, а на самом деле – их главную версию. Они могут, например, задавать различные алгоритмы отображения для различных HDR дисплеев, как можно себе представить, различные отображения могут использоваться для отображения яркого солнечного экстерьера через окно на дисплее в 1000 нт по сравнению с дисплеем в 25000 нт. Следовательно, этот способ воспроизведения уже может быть адаптирован владельцем контента, и позволяет создателю указать различные виды для разных ситуаций (например, можно предусмотреть более дешевый вид, который является своего рода наполовину HDR). Но, кроме того, владение всем этим качеством отображения в этом/этих алгоритмах отображения позволяет создателю внедрить значительно большую защиту контента вдобавок к существующим мерам, и, следовательно, получить справедливый доход за свои усилия. Пользователь может получить возможность просмотра версии низкого качества, загрузив любую пиратскую LDR версию (например, LDR_CONT, извлеченную откуда-то из регулярной системы) на свой HDR дисплей. Далее, набор алгоритмов отображения и дополнительные параметры будут называться метаданными обработки видео, где метаданные определяют как осуществляется преобразование между LDR и HDR видео или наоборот. Если пользователь хочет получить оптимальное видео, ему нужно будет применить метаданные обработки видео, чтобы преобразовать LDR в HDR, или, в случае если доступен HDR, преобразовать HDR в LDR.
Система распределения HDR видео, описанная во введении, усовершенствована так, что метаданные обработки видео передаются стороне воспроизведения. Не предполагается включать метаданные обработки видео в качестве частных данных в поток видео, например, в сообщениях SEI в случае AVC или HEVC кодирования, так как изобретатели видят проблемы с включением метаданных обработки видео в частные данные элементарного потока видео. Например, проблемой является то, что такие частные данные тесно связанны с потоком видео, так как он может содержать, в дополнение к HDR параметрам видео, информацию для обработки всплывающей графики при ее выводе на дисплей. Включение данных обработки графики в поток видео может требовать активного взаимодействия различных механизмов обработки видео и графики в проигрывателе. Например: уровень яркости субтитров может быть уменьшен с определенным процентом, чтобы избежать раздражающе высокой яркости субтитров, например, как описано в WO2012/172460. Дополнительной проблемой частных данных может быть то, что метаданные обработки видео должны содержаться на диске с самого начала.
Настоящая система решает вышеупомянутые проблемы, включив метаданные обработки видео в отдельный элементарный поток видео. Такой отдельный элементарный поток позволяет как интегрированное распределение (например, HDR и LDR видео на одном Blu-ray диске), так и раздельное распределение (например, в модели загрузки), как детально разъяснено далее. Например, вначале, установленная база HDR дисплеев достаточно маленькая. Диск может быть выпущен с LDR контентом. Позднее параметры становятся доступными для HDR дисплея. Еще одной причиной раздельно поставлять метаданные может быть бизнес модель, где покупатель может купить HDR метаданные отдельно.
Элементарный поток обработки видео может содержать последовательность сегментов обработки видео, где каждый сегмент связан с некоторой последовательностью видео кадров, как пояснено ниже. Элементарный поток обработки видео может быть синхронизирован с видео, графическим и аудио элементарными потоками, например, через механизм транспортного потока MPEG2. Элементарный поток обработки видео для яркостной/цветовой адаптации содержит инструкции для устройства воспроизведения, указывающие как адаптировать уровень яркости и/или цветовое пространство видео и/или графики, в зависимости от возможностей устройства отображения. Файл информации расширенного потока может включать информацию для указания какой из видео и/или графических элементарных потоков может быть выбран для обработки с помощью устройства воспроизведения для генерации выходного видеосигнала для устройства отображения. Информация расширенного потока указывает один или несколько яркостно/цветовых адаптирующих элементарных потоков метаданных обработки видео, которые могут быть выбраны для обработки устройством воспроизведения. Отдельный элементарный поток обработки видео теперь может быть использован различными способами для передачи видео через широковещание, сеть или носитель данных, такой как оптический диск Blu-ray, например:
1. Мультиплексированные вместе с основным видео, графический и аудиопотоки в единый MPEG2 транспортный поток (TS) и сохраненные на Blu-ray диск. Это, так называемый, in-mux (внутренний мультиплексный) случай. Он включает носитель данных, содержащий по меньшей мере один мультиплексированный поток и файл списка воспроизведения, в котором мультиплексированный поток включает в себя по меньшей мере элементарный поток видео, по меньшей мере один поток метаданных яркостно/цветовой адаптации HDR и ноль или более потоков графических данных.
2. Мультиплексированные в различные MPEG2 TS, включенные в диск, который загружен предварительно перед началом воспроизведения. Это называется out-of-mux случай (внешний-мультиплексный). Он включает в себя носитель информации, содержащий по меньшей мере два мультиплексированных потока и информацию расширенного потока, в которой первый мультиплексированный поток включает в себя по меньшей мере элементарный поток видео и ноль или более потоков графических данных ,и второй мультиплексированный поток включает в себя по меньшей мере один поток метаданных яркостно/цветовой адаптации HDR. Второй мультиплексированный поток может дополнительно содержать один или более потоков графических данных, которые адаптированы для HDR отображения.
3. Мультиплексированные в отдельных MPEG2 TS, возможно, с дополнительными потоками графических (субтитры) и/или аудиоданных, которые могут быть загружены после того, как диск был куплен. Это также out-of-mux случай (внешний-мультиплексный) случай. Этот случай может включать в себя носитель информации, содержащий по меньшей мере один мультиплексированный поток, по меньшей мере один расширенный поток информации и по меньшей мере один файл данных, в котором мультиплексированный поток содержит по меньшей мере элементарный поток видео, и ноль или более потоков графических данных и ноль или более потоков поток метаданных яркостно/цветовой адаптации HDR. Файл данных позволяет проигрывателю загружать с сервера элементарный поток обработки видео для яркостной/цветовой адаптации.
Фигура 2 показывает пример блок-схемы системы передачи HDR видео, имеющей первичное HDR видео. Система передачи видео имеет устройство 21 обработки видео, имеющее вход для приема входного видео 25, например HDR видео. Входное видео соединено со входом блока 210 обработки видео для обработки входного видео, чтобы обеспечить метаданные 29 обработки видео, представляющих преобразование между HDR видео и LDR видео. Блок обработки видео может генерировать локальное выходное видео 26, например LDR видео, которое, на этой Фигуре, дополнительно не соединено, но может быть использовано для локального дисплея для отслеживания процесса преобразования. Преобразование содержит отображение яркости пикселей и/или цвета, но не содержит пространственное масштабирование и прочее. Примеры метаданных обработки, которые определяют преобразование, описаны выше в описании Фигуры 1, в то время как подробные примеры приведены ниже. Блок преобразования может быть связан с интерактивным блоком 211 для управления процессом преобразования.
Входное видео может быть также связано со входом блока 212 видео кодирования для генерации первичного потока видео, связанного с блоком 213 форматирования. Первичный поток видео теперь содержит кодированную версию входного видео, имеющего первый диапазон яркости или цвета для первого типа дисплеев, например, HDR дисплея, в то время как локальное выходное видео имеет второй диапазон яркости или цвета, как это требуется для отображения на втором типе дисплея, например на стандартизированном LDR дисплее. Преобразование с понижением HDR видео в LDR видео генерирует соответствующие метаданные обработки видео. HDR метаданные могут содержать индикатор для указания типа преобразования. Также метаданные обработки видео могут быть для преобразования с повышением LDR видео в HDR видео. Также, различные уровни преобразования могут быть включены в метаданные обработки видео, например, для дисплеев, имеющих средний, высокий или очень высокий уровни яркости, или для различных цветовых гамм. Следовательно, первичное видео может быть либо LDR видео для преобразования с повышением, или некоторым типом HDR видео, которое может быть преобразовано с понижением до LDR видео или некоторого другого уровня HDR видео, на основании метаданных обработки видео, содержащих соответствующую коррекционную схему адаптации диапазона яркости или цветового диапазона. Например, первичное видео может содержать средний уровень HDR видео, в то время как метаданные обработки видео обеспечивают инструкцию для преобразования с понижением в LDR видео и, альтернативно, дополнительное преобразование с повышением в более высокий уровень HDR дисплея. Кроме того, множество элементарных потоков обработки видео могут быть включены в форматированный сигнал, чтобы позволить стороне отображения выбрать подходящее преобразование для первичного видео.
Блок 213 форматирования также получает метаданные 29 обработки видео . Блок 213 форматирования выполнен с возможностью генерирования форматированного видео сигнала 20, с помощью выполнения следующих функций. Как таковое, форматирование сигнала в соответствии с требуемым форматом передачи, таким как BD или MPEG, хорошо известно. Блок форматирования выполнен с возможностью для дополнительного включения в себя элементарного потока обработки видео и информации расширенного потока. Первичный элементарный поток генерируется так, что представляет первичное видео, например HDR видео. Элементарный поток обработки видео генерируется таким, что не содержит аудиовизуальный контент, но содержит метаданные обработки видео. Также, информация расширенного потока генерируется, содержащая запись, указывающую элементарный поток обработки видео. В этом примере форматированный сигнал 20 содержит первичный элементарный поток, представляющий расширенное видео, и элементарный поток обработки видео, не содержащий аудиовизуальный контент, но содержащий метаданные обработки видео, представляющие собой преобразование между расширенным видео и стандартным видео. Подробные примеры будут представлены позднее. В заключение, форматированный видеосигнал генерируется с помощью включения в себя первичного элементарного потока видео, элементарного потока обработки видео и информации расширенного потока.
Система передачи видео дополнительно имеет видеопроигрыватель 22, например ТВ приставку, планшетный компьютер или BD проигрыватель. Видео проигрыватель имеет входной блок 225 для приема форматированного видеосигнала и извлечения информации расширенного потока и метаданных 29 обработки видео. Информация расширенного потока и метаданные обработки видео хранятся и обрабатываются в HDR в блоке 221, который соединен с блоком 223 обработки. Проигрыватель дополнительно имеет видео декодер 222, который принимает первичное видео из входного блока 225 и генерирует декодированное первичное видео 27. Например, когда первичное видео – это HDR видео, декодированное первичное HDR видео связано с интерфейсом HDR дисплея блока 224, который может предоставлять HDR видеосигнал на HDR дисплей 23.
Кроме того, видеопроигрыватель может предоставлять преобразованный видеосигнал, называемый целевым видео 28, на устаревший LDR дисплей 24. К тому же блок обработки изначально обрабатывает информацию расширенного потока, чтобы восстановить запись информации расширенного потока, указывающую выбранный элементарный поток обработки видео. Если запись указывает на присутствие по меньшей мере одного элементарного потока, то выбирается соответствующий элементарный поток обработки видео. Выбор может быть основан на типе целевого дисплея, например LDR дисплея 24. Впоследствии, блок обработки преобразует первичное видео из первичного элементарного потока видео в целевое видео 28, адаптированное к возможностям воспроизведения яркости и/или цвета целевого дисплея с помощью обработки первичного видео в соответствии метаданными обработки видео. В этом примере первичное HDR видео преобразуется с понижением в LDR видео на основе метаданных обработки видео.
Фигура 3 показывает пример блок-схемы системы передачи HDR видео, имеющей первичное LDR видео. Система передачи видео имеет устройство 31 обработки видео, имеющее вход для приема входного видео 35, например HDR видео. Входное видео связано со входом блока 310 обработки видео для обработки входного видео, чтобы обеспечить метаданные 39 обработки видео, представляющие преобразование между HDR видео и LDR видео. Блок обработки видео генерирует выходное видео 36, например, LDR видео, которое является, на этой Фигуре, связанным с блоком 312 кодирования и может быть также использовано для локального дисплея для контроля процесса преобразования, как описано выше в описании Фигуры 2. Блок 310 преобразования может быть полуавтоматическим и может быть связан с интерактивным блоком 311 для обеспечения художественного руководства и дальнейшего контроля процесса преобразования.
Блок 312 кодирования видео получает локальное выходное видео 36 и генерирует первичный поток видео, связанный с блоком 313 форматирования. Первичный поток видео теперь содержит кодированную версию преобразованного входного видео, имеющего первый диапазон яркости или цвета для второго типа дисплея, например LDR дисплея, в то время как входное видео имеет второй диапазон яркости или цвета, как это требуется для отображения на дисплее второго типа, например, HDR дисплее. Преобразование с понижением HDR видео в LDR видео генерирует соответствующие метаданные обработки видео, которые теперь определяют преобразование, обратное примененному преобразованию в блоке 310 преобразования, например, для преобразования с повышением LDR видео в HDR целевое видео. Различные другие виды преобразования описаны выше в описании к Фигуре 2, и система может быть выполнена с возможностью быть сконфигурированной, как показано на Фигуре 2 или Фигуре 3 как это требуется, например, установкой параметров программного обеспечения. Это обеспечивает прием входного LDR или HDR видео, и передачу LDR или HDR первичного видео, в то время как преобразование первичного видео, требуемого на стороне воспроизведения, может быть как преобразованием с понижением, так и с преобразованием с повышением, в зависимости от типа дисплея. Блок 313 форматирования также принимает метаданные 39 обработки видео и выполнен с возможностью генерирования форматированного видеосигнала 30, подобно форматированному сигналу 20, как описано в описании к Фигуре 2, но теперь содержащего стандартное, LDR первичное видео или метаданные обработки видео, представляющие собой преобразование из стандартного видео в расширенное видео.
Система передачи видео дополнительно имеет видеопроигрыватель 32, например ТВ приставку, планшетный компьютер или BD проигрыватель. Видео проигрыватель имеет входной блок 325 для приема форматированного видео сигнала и извлечения информации расширенного потока и метаданных 39 обработки видео. Информация расширенного потока и метаданные обработки видео хранятся и обрабатываются в HDR блоке 321, который соединен с блоком обработки 323. Проигрыватель дополнительно имеет видео декодер 322, который принимает первичное видео из входного блока 325 и генерирует декодированное первичное видео 37. Например, когда первичное видео – это LDR видео, декодированное первичное LDR видео может быть связано с устаревшим LDR дисплеем 34.
Следует отметить, что устаревший видеопроигрыватель может иметь подобный входной блок, который игнорирует запись в информации расширенного потока и элементарный поток обработки видео, в то время как декодер 322 видео, генерирующий LDR выходное видео, представляет собой устаревшую систему декодирования видео 326. Следовательно, достигается обратная совместимость.
В видеопроигрывателе 32 кодированное первичное видео 37 связано с блоком 323 обработки видео, который генерирует целевое видео 38, чтобы быть соединенным с HDR дисплеем 33 через блок 324 интерфейса. Следовательно, первичное LDR видео преобразуется с повышением в целевой HDR видеосигнал для HDR дисплея 33. Кроме того, блок обработки изначально обрабатывает информацию расширенного потока, чтобы извлечь запись информации расширенного потока и выбрать подходящий элементарный поток обработки видео. Возможности 329 воспроизведения яркости и/или цвета отображения целевого дисплея 33 могут быть определены с помощью связи через интерфейс 324 дисплея. Затем, блок обработки преобразует первичное видео из первичного элементарного потока видео в целевое видео 38, адаптированное по яркости и/или цвету к возможностям воспроизведения целевого дисплея с помощью обработки первичного видео в соответствии с метаданными обработки видео. В примере на Фигуре 3, первичное LDR видео преобразуется с повышением в HDR видео на основе метаданных обработки видео.
Фигура 4 изображает блок-схему систему распределения HDR видео. Форматированный видеосигнал реализуется с помощью носителя 40 оптической записи, например BD, и/или загруженными данными 41. Носитель записи содержит первый транспортный поток 401, маркированный TS-1, и загруженные данные могут содержать второй транспортный поток 402, маркированный TS-2. Первый транспортный поток содержит по меньшей мере один первичный элементарный поток 411, по меньшей мере один графический элементарный поток 412 и ноль или более потоков 413 обработки видео. Второй транспортный поток содержит ноль или более элементарных графических потоков 415 и по меньшей мере один элементарный поток 416 обработки видео. Носитель информации дополнительно содержит первичный список воспроизведения, который заменяется при загрузке информацией расширенного потока, включенной в загруженные данные, для образования фактического списка проигрывания 414. Следует отметить, что первичный список воспроизведения на носителе записи может быть информацией расширенного потока, указывающей, что ноль или более элементарных потоков обработки видео представлены на диске в TS-1. Комбинация аудиовизуальных данных и метаданных обработки видео может быть названа виртуальным пакетом, как выделено пунктирным прямоугольником 410.
Выбирающий блок 42 обрабатывает данные виртуального потока, обеспечивая при этом пользовательский интерфейс 424, такой как меню для обеспечения выбора элементарных потоков, подлежащих отображению в комбинации. Например, пользователь выбирает специфический элементарный поток 421 видео, аудио и/ или графики 422 и поток 423 обработки видео, подлежащие применению. Выбор потока обработки видео может быть также основан на предварительных установках пользователя, или может быть автоматическим, основанным на типе дисплея и/или окружающих условий, определенных видеопроигрывателем. Выбранные элементарные потоки направляются в визуализатор 43, где визуализатор содержит блок обработки видео для преобразования первичного видео из первичного элементарного потока видео в целевое видео с помощью обработки первичного видео в соответствии с метаданными обработки видео из выбранного элементарного потока видео.
Следует обратить внимание, что для упрощения многие аспекты текущей BD системы не указаны на блок-схеме Фигуры 4. Например, она не показывает аудиопотоки, второстепенные видео-потоки, различные графические потоки или потоки для звуков и/или шрифтов. Кроме того, система не показывает графику, генерируемую в режиме BDJ. Такие известные элементы могут быть добавлены в случае необходимости. Справочная информация на диске формата Blue-ray может быть найдена в Белой книге, опубликованной в Ассоциации Blue-ray Disk: http://www.blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdf
Диск содержит, по меньшей мере, один список воспроизведения и по меньшей мере один Транспортный поток (TS-1) с по меньшей мере одним потоком видео и в некоторых случаях с графическими потоками и в некоторых случаях с потоками HDR метаданных. Диск может содержать второй Транспортный поток (TS-2) с графическими потоками и/или потоками HDR метаданных. Альтернативно, второй транспортный поток и списки воспроизведения (наряду с другими) могут быть загружены из интернета и сохранены на видеопроигрыватель. В любом случае все данные с диска и загруженные данные собираются в так называемом «Виртуальном пакете». Во время воспроизведения пользователь выбирает один из списков воспроизведения в «Виртуальном пакете». Этот список воспроизведения содержит указатели на потоки Видео, Графики, и HDR метаданных, которые требуются для проигрывания содержимого списка воспроизведения. Основываясь на этой информации, селектор 42 посылает соответствующие потоки визуализатору 43, который трансформирует Видео и Графические данные в подходящие сигналы для дисплея. Обработка Видео и Графики визуализатором управляется информацией в HDR метаданных. Больше подробностей по выбору правильных потоков и структур данных на диске, которые требуются для этого выбора, представлено далее в данном документе в разделе «Загрузка и выбор потока».
В качестве примера, возможное определение элементарного потока обработки видео описывается здесь. Базовые элементы синтаксиса элементарного потока обработки видео называются «сегментами обработки видео». Элементарный поток обработки видео может иметь последовательность сегментов обработки видео, соответствующий сегмент будет связан с соответствующей последовательностью видео кадров. В видеопроигрывателе блок обработки может быть дополнительно выполнен с возможностью для преобразования соответствующей последовательности видеокадров первичного видео в целевое видео с помощью обработки кадров в соответствии с HDR метаданными из соответствующего сегмента. Сегменты обработки видео соответствуют периоду времени видео, т.е. упомянутой последовательности видеокадров, чей период должен быть обработан с помощью набора инструкций обработки, как определено в соответствующем сегменте обработки видео.
Сегменты обработки видео, составляющие элементарный поток обработки видео, могут содержаться в последовательности PES пакетов. Пакетированный элементарный поток (PES) является спецификацией в MPEG-2 Части 1 (Системы) (ISO/IEC 13818-1) и ITU-T H.222.0, которая определяет перенос элементарных потоков (обычно выход аудио или видеокодера, но здесь – порядок обработки, соответствующий HDR метаданным) в пакетах MPEG программного потока и MPEG транспортного потока. Элементарный поток пакетирован с помощью инкапсуляции байтов данных последовательности из элементарного потока внутрь заголовка PES пакета. Типичный способ передачи данных элементарного потока из видео или аудиокодера – это сначала создать PES пакеты из данных элементарного потока и затем инкапсулировать эти PES пакеты в пакеты Транспортного Потока (TS) или пакеты Программного потока (PS). TS пакеты могут затем быть мультиплексированы и переданы, используя техники широковещания, такие как те, что используются в ATSC и DVB. PES пакеты элементарного потока обработки видео последовательно переносятся транспортными пакетами в транспортном потоке HDMV MPEG-2. Каждый PES пакет в HDR пакетированном элементарном потока переносит один сегмент обработки видео. Все транспортные потоки, несущие конкретные потоки обработки видео, должны иметь одинаковые PID. Синтаксис потока обработки видео может быть таким, как показано на Фигуре 5а-d.
Фигуры 5а-d показывают пример обработки элементарного потока. Метаданные обработки видео в элементарном потоке обработки видео могут иметь поле, указывающее число сегментов обработки видео в элементарном потоке обработки видео. Метаданные обработки видео в элементарном потоке обработки видео могут иметь сегмент обработки видео, содержащий, по меньшей мере, одну метку времени показа и дескриптор сегмента. Метаданные обработки видео в элементарном потоке обработки видео могут иметь поле информации расширенного диапазона, содержащей множество различных дескрипторов процесса, причем соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, при этом типы данных включают видео и, по меньшей мере, графику или субтитры.
Фигура 5а показывает элементарный поток обработки видео, имеющий поле, указывающее число сегментов обработки видео в элементарном потоке обработки видео. Поле number_of_HDR_Segments 51 показывает число сегментов структуры обработки видео в элементарном потоке обработки видео. Элементарный поток может также иметь дополнительное поле, указывающее тип преобразования, например LDR в HDR, или HDR в LDR.
Фигура 5b показывает пример синтаксиса сегмента обработки видео. Фигура показывает сегмент 52 обработки видео. Сегмент содержит дескриптор сегмента, как дополнительно показано на Фигуре 5с, и метки времени показа HDR_start_PTS и HDR_end_PTS для синхронизации сегментов с первичным видео, и поле HDR_info для указания метаданных обработки видео.
HDR_start_PTS: Это 33-х битное поле указывает время начала показа HDR_segment(), оно должно указывать точку во времени в системе времени HDR потока, измеряемом в единицах времени часов с тактовой частотой 90кГц. Значение HDR_start_PTS должно быть в сетке видеокадра.
HDR_end_PTS: Это 33-х битное поле указывает время конца показа HDR_segment(), оно должно указывать точку во времени в системе времени HDR потока, измеряемом в единицах времени часов с тактовой частотой 90кГц . Значение HDR_end_PTS должно быть в сетке видеокадра.
Фигура 5c показывает пример синтаксиса Дескриптора Сегмента. Фигура показывает дескриптор 53 сегмента. Дескриптор сегмента имеет следующие поля.
segment_type: Это поле показывает тип данных, содержащихся в структуре segment_data(). Это будет фиксированное число, которое будет определено в стандарте.
segment_length: Это поле должно определять количество байтов, содержащихся в сегменте сразу после структуры segment_data().
Фигура 5d показывает пример синтаксиса HDR информации. Фигура показывает информационное поле 54 расширенного диапазона, элемент HDR информации. Поле информации расширенного диапазона имеет множество различных дескрипторов процесса. Соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных. Типы данных могут, например, быть видео, графикой или субтитрами. HDR элемент может иметь следующие поля:
Video_process_descriptor
Menu_process_descriptor
Subtitle_process_descriptor
Поля дополнительно поясняются со ссылками на Фигуре 6.
Примеры данных в элементе HDR_info следующие. В контексте данного документа Отображение Яркости определяется как: нелинейное отображение значений яркости входных пикселей в значения яркости выходных пикселей, чтобы согласовать характеристики дисплея, условия просмотра и предпочтения пользователя. В случае локального Отображения Яркости, обработки меняется в зависимости от позиции пикселя в изображении. В случае глобального Отображения Оттенков, та же обработка применяется для всех пикселей.
В отношении Отображения Яркости в настоящее время ситуация с BD системами заключается в следующем:
Отображение Яркости Видео (глобальное и/или локальное) выполняется в студиях с использованием студийных дисплеев.
Отображение Яркости Графики (обычно отличается от Отображения Яркости Видео) выполняется в студиях с использованием студийных дисплеев.
Глобальное Отображение Яркости выполняется на дисплеях в смешанном видео & графическом сигнале. Эта обработка частично управляется значениями яркости и цвета, установленными целевым пользователем. Эксперименты и теоретические исследования показывают, что оптимальное качество изображения достигается, когда:
1. Отображение Яркости Видео оптимизировано для дисплея целевого пользователя.
2. Отображение Яркости Графики оптимизировано для дисплея целевого пользователя.
3. Система позволяет осуществлять Отображение Яркости Графики, отличное от Отображения Яркости Видео
4. Система позволяет осуществлять Отображение Яркости Графики для различных Графических компонент
5. Система позволяет осуществлять Отображения Яркости Видео и Графики в зависимости от характеристик Видео.
Для того, чтобы достичь оптимального качества изображения в BD системе, предлагается расширить BD спецификацию добавлением описанного элементарного потока обработки видео, содержащего HDR метаданные (например, структуру HDR_info), чтобы обеспечить передачу метаданных адаптации Яркости/Цвета. Используя эти данные, BD проигрыватель выполняет дополнительное Отображение Яркости Видео, зависящее от характеристик дисплея целевого пользователя. Кроме того, BD проигрыватель может выполнять дополнительное Отображение Яркости Графики, зависящее от характеристик дисплея целевого пользователя, которое обычно отличаются от Отображения Яркости Видео. Дополнительные этапы обработки, определенные в HDR_info, могут быть обязательными или необязательными (рекомендованными), или могут быть определены в новой версии BD стандарта.
На практике, характеристики дисплея целевого пользователя могут, например, быть известны проигрывателю посредством пользовательских настроек или информационного канала от дисплея к проигрывателю. Проигрыватель может выполнять следующую обработку:
- Видео адаптируется на основе характеристик Дисплея целевого пользователя, например путем Электро-Оптической Передаточной Функции.
- Прозрачность графики адаптируется для улучшения читаемости, например, меню. Например, смотри WO2013/046095, как обсуждалось во введении.
- Яркость субтитров и меню адаптирована для уменьшения раздражающего эффекта излишне ярких субтитров, для уменьшения эффекта ореола и/или уменьшения бликов.
Приведенный выше список дает несколько примеров обработки Видео или обработки Графики, но не является исчерпывающим.
Примеры того, как использовать поле Video_process_descriptor () следующие. Video_process_descriptor () может быть использован для указания относящегося к HDR процесса обработки видео. В этом примере Video_process_descriptor () определяет дополнительную обработку видео в случае, когда дисплей целевого пользователя является HDR дисплеем. Электро-Оптическая Передаточная Функция (ЭОПФ) дисплея описывает отношения между значением входной яркости (Y') и выходной яркости (Y). В этом случае ЭОПФ преобразуется путем применения яркостной корректирующей функции Y’new = Corr(Y’old).
Фигура 6 показывает пример яркостной корректирующей функции. Фигура показывает кривую 61 входной яркости по горизонтальной оси от выходной яркости по вертикальной оси. Кривая иллюстрирует описанное преобразование ЭОПФ.
Фигуры 7а-c показывают метаданные обработки видео. Фигура показывает различные примеры метаданных обработки виде в синтаксисе таблиц на Фигурах 7а, 7b, 7c.
Фигура 7а показывает дескриптор обработки видео Video_process_descriptor для яркостной коррекции. Структура 62 процесса корректировки, как показано, может быть применена, чтобы определить коррекционную функцию, как показано на Фигуре 6.
В другом варианте, дескриптор обработки видео Video_process_descriptor может содержать процедуры, которые должны выполняться проигрывателем, например, определенными в скриптовых языках, таких как JAVA. Выполнением этой процедуры проигрыватель определяет как обрабатывать Первичное Видео.
Фигура 7b показывает дескриптор обработки меню Menu_process_descriptor для коррекции графики. Дескриптор 63 обработки меню Menu_process_descriptor используется, чтобы указать на относящийся к HDR процесс обработки меню и другой графики, локально генерируемой в видеопроигрывателе. В этом примере дескриптор обработки меню Menu_process_descriptor определяет дополнительную обработку всплывающих меню в случае, когда дисплей целевого пользователя является HDR дисплеем. Более конкретно, в этом случае уровень прозрачности регулируется таким образом, что он всегда больше, чем минимальный уровень прозрачности Min_transparency_level. В результате, меню «не ослепляет» яркостью, накладываясь в эпизодах на (HDR) видео.
В другом варианте дескриптор обработки меню Menu_process_descriptor может содержать процедуры, которые должны выполняться проигрывателем, например, определенными в скриптовых языках, таких как JAVA. Выполнением этой процедуры проигрыватель определяет как обрабатывать меню.
Фигура 7с показывает дескриптор обработки субтитров Subtitle_process_descriptor для коррекции субтитров. Дескриптор 64 обработки субтитров Subtitle_process_descriptor используется, чтобы определить относящийся к HDR процесс обработки субтитров. В этом примере дескриптор обработки субтитров Subtitle_process_descriptor определяет дополнительную обработку субтитров в случае, когда дисплей целевого пользователя является HDR дисплеем. Более точно, в данном примере яркость субтитров уменьшается с помощью Y’new = ROUND(4*Y’old / Subtitle_Luma_factor). В результате субтитры становятся не слишком яркими и, следовательно, не вызывают раздражения, эффекта ореола или бликов.
В другом варианте дескриптор обработки субтитров Subtitle_process_descriptor может содержать процедуру, которая должна выполняться проигрывателем, например, определенную в скриптовых языках, таких как JAVA. Выполнением этой процедуры проигрыватель определяет как обрабатывать субтитры.
Фигуры 8а-d показывают пример списка воспроизведения. Фигура 8а показывает общую структуру списка воспроизведения в соответствии со стандартизированным форматом. Фигура показывает список 70 воспроизведения в соответствии с известной BD системой. Список воспроизведения описывает структуру проигрывания, имеющую главный путь, содержащий последовательность элементов воспроизведения, и различные под-пути, содержащие соответствующие под-элементы воспроизведения. Список воспроизведения адаптирован к расширенному списку воспроизведения, т.е. информации расширенного потока, чтобы облегчить выбор элементарного потока обработки видео и/или загрузить элементарный поток обработки видео.
В данном примере видеопроигрыватель адаптирует обработку видео и графики, на основании обработки информации метаданных яркостно/цветовой адаптации HDR. Чтобы получить подходящие метаданные обработки видео, проигрывателю необходимо загрузить новый элементарный поток яркостно/цветовой адаптации видео и проигрывателю необходимо знать, какие потоки должны быть комбинированы при воспроизведении конкретных частей контента BD диска. Как это может быть реализовано, описано в этой секции с использованием, в качестве примера, структур данных на BD дисках, существующих в настоящий момент, и способов, которые используются в настоящее время в BD проигрывателях в BD-J режимах. BD имеет различные режимы работы и различные пути использования проигрывателя, т.е. приводящих к выбору элементарных потоков для комбинирования при воспроизведении.
Выбор потоков объясняется использованием типичного пользовательского сценария. Когда BD диск вставляется в BD проигрыватель, проигрыватель считывает файл “INDEX.bdmv” с диска. Информация в этом файле отсылает проигрыватель к файлу ”FirstPlayback_bdjo_file”. ”FirstPlayback_bdjo_file” является JAVA программой, которая выполняется проигрывателем. Обычно выполнение этой JAVA программы приводит к отображению «Меню Диска». Пользователь может теперь выбрать «Заголовок» диска, который инструктирует проигрывателю выполнить другую JAVA программу из “Title_bdjo_file”, соответствующую «Заголовку».
JAVA программа в “Title_bdjo_file” может включать в себя инструкции для проигрывателя о необходимости соединиться с сервером, владельцем конента, чтобы проверить существует ли дополнительный контент, связанный с этим «Заголовком» и доступен ли на сервере. Если это так, этот дополнительный контент загружается и сохраняется в «Локальном хранилище» в проигрывателе. Далее контент в «Локальном хранилище» и контенты на диске комбинируются в «Виртуальный пакет». На этом этапе все данные, которые требуются для воспроизведения «Заголовка», доступны на проигрывателе. Обычно JAVA программа в “Title_bdjo_file” инструктирует проигрыватель начать список воспроизведения, как это проиллюстрировано на Фигуре 8. Фигура показывает общую структуру списка воспроизведения. Список воспроизведения содержит один «Главный путь» и ноль или более «Под-путей». Обычно, «Главный путь» содержит Видео, Аудио, Графику и Субтитры, в то время как «Под-пути» могут содержать дополнительную Графику, Субтитры. В этом примере метаданные яркостно/цветовой адаптации HDR могут содержаться либо в «Главном пути» (внутреннее мультиплексирование) или в одном из «Под-путей» (внешнее мультиплексирование). Проигрыватель отображает «Главный путь» и дополнительные «Под-пути» одновременно.
Фигура 8b показывает пример синтаксиса списка воспроизведения. Фигура показывает пример списка 71 воспроизведения в таблице синтаксиса. Структура данных списка воспроизведения соответствует BD спецификации. Список воспроизведения содержит число «Элементов воспроизведения» 72 и число «Под-путей» 73, которые должны быть использованы проигрывателем при воспроизведении списка воспроизведения.
Фигура 8c показывает пример синтаксиса элементов воспроизведения в списке воспроизведения. Фигура показывает пример элемента воспроизведения в таблице синтаксиса. Структура данных элемента воспроизведения соответствует BD спецификации. В контексте данного описания наиболее подходящими элементами из элементов воспроизведения являются «Clip_information_file_name» 74 и “STN_Table” 75.
Clip_information_file_name: «Clip_information_file_name» является ссылкой на файл «Clipinfo» в «Виртуальном пакете». Данные из этого файла будут использоваться для определения ссылок к расположению элементарных потоков (смотри ниже).
STN_Table: “STN_Table” определяет список элементарных потоков, в котором проигрыватель может выбрать во время воспроизведения «Элемент воспроизведения» и соответствующий ему «Под-путь».
Фигура 8d показывает первую часть структуры данных из таблицы элементарных потоков. Таблица элементарных потоков называется STN_Table в соответствии с BD спецификацией. В данном примере, для создания информации расширенного потока, STN_Table расширена элементами для элементарных потоков обработки видео, как отмечено на Фигуре 9.
Фигура 9 показывает пример синтаксиса информации расширенного потока с помощью расширения таблицы элементарных потоков. Фигура показывает расширенную часть таблицы элементарных потоков STN_Table, имеющую запись 91, указывающую элементарный поток обработки видео. В частности, запись в информации расширенного потока показывает число элементарных потоков обработки видео, число является целым и большим или равным нулю.
В таблице STN_Table соответствующие элементарные потоки определены с помощью записи потока “Stream_entry” 92 как далее показано на Фигуре 10а и атрибутов потока “Stream_Attributes”, показанных на Фигуре 10b.
Фигура 10а показывает запись потока Stream_entry для таблицы элементарных потоков. В зависимости от типа элементарного потока, запись потока “Stream_entry” или содержит ссылки 94, 96 к идентификатору потока PID в «главном пути» или ссылку 95 к PID в «Под-пути» Используя данные из файла “ClipInfo” эта ссылка будет определена таким образом, что проигрыватель знает, где найти элементарный поток. Следовательно, проигрыватель знает в каком транспортном потоке, «Главном пути» или «Под-пути» элементарный поток доступен и проигрыватель знает идентификатор потока (PID) элементарного потока в этом транспортном потоке.
Фигура 10b показывает атрибуты потока Stream_Attributes для таблицы элементарных потоков. Атрибуты потока Stream_Attributes содержат данные, относящиеся к соответствующему элементарному потоку, например код 97 языка для потока субтитров. Структура данных атрибутов потока Stream_Attributes соответствует BD спецификации.
Фигура 11 показывает пример элемента синтаксиса информации расширенного потока. Фигура показывает расширенную часть синтаксиса атрибутов потока Stream_Attributes в таблице элементарных потоков STN_Table информации расширенного потока. Расширенные атрибуты потока Stream_Attributes определяют, для элементарного потока обработки видео, поле 98 данных, указывающее тип оптимального дисплея для соответствующего первичного видео, например, особый тип HDR дисплея, или LDR дисплея. В данном примере атрибуты потока «Stream_Attributes» дополняются одним или более элементами данных для соответствующего элементарного потока обработки видео.
Фигура 12 показывает определение типов HDR дисплея. Таблица показывает эталонный список идентификаторов 99 типов дисплеев. Optimum_Display_type – это число, определяющее дисплей с предопределенными HDR/цветовыми относительными характеристиками. Для каждого типа дисплеев определены соответствующие максимальные яркости и цветовые гаммы. В этом примере метаданных обработки видео, Optimum_Display_type определяет тип дисплея, для которого был оптимизирован элементарный поток обработки видео.
Следует отметить, что элементарные потоки обработки видео могут быть включены в транспортные потоки MPEG2, обеспечивающие механизм синхронизации посредством меток времени показа (PTS), которые связаны с наборами основанных на кадрах HDR параметров. BD может содержать упомянутые параметры, так как элементарный поток обработки видео может быть включен в TS с основным видео или аудио. Также, упомянутые HDR параметры могут быть добавлены позднее с помощью загрузки MPEG2 TS как под-поток в основной TS, например, с помощью применения механизма BD под-потока. Под-поток может быть загружен с помощью прогрессивного механизма загрузки, т.е. просмотр может начаться пока еще продолжается загрузка. Под-поток может также содержать альтернативное представление графического потока (например субтитров) или дополнительные параметры для этой графики для лучшего соответствия выходному HDR видео.
В приведенных выше примерах было описано использование HDR видео как примера расширенного видео, имеющего расширенный диапазон яркости и/или цвета, и LDR видео, как примера стандартного видео, имеющего стандартный диапазон для яркости и/или цвета. В этих примерах, метаданные обработки видео могут быть названы метаданными обработки HDR, или элементарный поток обработки видео может быть назван элементарным потоком обработки HDR. Следует отметить, что система распределения может быть применена для передачи, с помощью форматированного видео сигнала, любого типа видео, имеющего первый диапазон яркости и/или цвета в комбинации со второй версией того же видео, имеющего второй диапазон яркости и/или цвета.
Должно быть ясно, что технически понимается под отображением яркости из первого во второе цветовое представление. Яркость это технический код (например Y=[0,255]), который имеет связь, через кривую определения яркости, с целевой яркостью, рассматривается ли, например, как камера захвата или дисплей воспроизведения. Могут существовать различные альтернативные технические реализации, например, в линейном представлении эта третья цветовая координата может быть самой яркостью, но достаточно технически опытный читатель должен прекрасно понимать, что это есть (для простоты диапазон яркости полагается вещественным числом (за исключением LDR_CONT, которые мы предполагаем классическими 8 битами с гамма, равной 2.2, и т.д.), но, конечно, он также может быть, например, отображен из 10-битного в некоторое 15-ти битное представление яркости).
Компоненты алгоритма, описанные в данном тексте, могут (полностью или частично) быть реализованными на практике в качестве аппаратных средств (например, части применения конкретной IC) или как программное обеспечение, запущенное в специальном цифровом сигнальном процессоре, или универсальном процессоре, и т.д. Они могут быть полуавтоматическими в том смысле, что по меньшей мере некоторые входные данные от пользователя могут присутствовать/присутствовали (например, на фабрике, или во время использования потребителем, или при другом человеческом участии).
Из данного описания специалисту в данной области должно быть понятно, какие компоненты могут быть дополнительно улучшены и реализованы в комбинации с другими компонентами, и как (дополнительно) этапы способов относятся к соответствующим аппаратным средствам, и наоборот. Тот факт, что некоторые компоненты раскрыты в некоторой связи (например, на одном рисунке в некоторой конфигурации) не означает, что другие конфигурации невозможны как варианты той же самой изобретательской идеи, описанной в данном документе. Кроме того, тот факт, что по прагматическим причинам только ограниченный спектр примеров был описан, не означает, что другие варианты не могут попадать в рамки формулы изобретения. Фактически, компоненты могут быть воплощены в различных вариантах в любой последовательности использования, например все варианты стороны исполнения, как, например, кодер, могут быть подобны или соответствовать соответствующим устройствам на стороне потребления системы декомпозиции, например декодеру, и наоборот. Некоторые компоненты вариантов реализации могут быть закодированы в виде данных специального сигнала в сигнале для передачи, или дополнительно использовать это как координацию, в любой технологии передачи между кодером и декодером и т.д. Слово «устройство» в данном документе используется в самом широком смысле, а именно как группа средств, позволяющих реализацию конкретной цели, и, следовательно, может быть, например, (небольшой частью) IC, или как выделенное устройство (например, устройство с дисплеем), или как часть сетевой системы, и т.д. Слова «Конфигурация» или «Система» также предназначены для использования в самом широком смысле, следовательно, он может содержать, в частности, один физический смысл приобретаемого устройства, части устройства, набора (набора частей) взаимодействующих устройств.
Различные функции обработки и форматирования могут быть также внедрены в программное обеспечение, которое может быть предоставлено на устройстве, читаемом компьютером. Обозначение компьютерного программного продукта следует понимать как выполнение любой физической реализации набора команд, доступных универсальному или специального назначения процессору, после серии этапов загрузки (которые могут включать в себя промежуточные шаги преобразования, такие как перевод на вспомогательный язык, и в окончательный язык процессора), команд в процессор, для выполнения любых характерных функций. В частности, компьютерный программный продукт может быть реализован как данные на носителе информации, таком как диск или лента, данные, присутствующие в памяти, данные, передаваемые через сетевое соединение, проводное или беспроводное, или программный код на бумаге. Помимо программного кода, характерные данные, необходимые для программы, могут быть также реализованы в виде компьютерного программного продукта. Такие данные могут быть (частично) предоставляться любым путем.
Представленные варианты могут быть также реализованы в виде сигналов на носителях данных, которые могут быть съемными, как оптические диски, флэш-память, съемные жесткие диски, портативные устройства, записываемые беспроводным образом, и т.д.
Некоторые из этапов, необходимых для работы любого предложенного способа, могут уже присутствовать в функционале процессора или аппаратной реализации вместо описанного в компьютерном программном продукте или блоке, устройстве или способе, описанном здесь, такие как этапы ввода и вывода данных, обычно хорошо известные включенные этапы обработки, такие как стандартное управление дисплеем, и т.д. Также испрашивается защита для полученных продуктов и подобных результатов, как, например, специальные новые сигналы, включенные в любой этап способов или в под-часть устройств, а также любые новые использования таких сигналов, или любые подобные способы.
Следует отметить, что вышеупомянутые варианты реализации иллюстрируют и не ограничивают изобретение. Там, где специалист может легко понять соответствие представленных примеров другим областям заявки, мы, для краткости, не описывали все эти варианты подробно. Помимо комбинаций элементов изобретения, объединенных в формуле изобретения, возможны другие комбинации элементов. Любые комбинации элементов могут быть реализованы в одном выделенном элементе.
Любые ссылки в скобках в пункте формулы изобретения не огранивают пункт формулы изобретения, также как и любые символы на рисунках. Слово «содержит» не исключает присутствие элементов или аспектов не представленных в пунктах формулы изобретения. Использование единственного числа не исключает присутствия множества данных элементов в пункте формулы изобретения.
Изобретение относится к области обработки видеоданных. Технический результат заключается в обеспечении системы распределения видео для передачи видео на устройства, поддерживающие расширенный диапазон видео, и на стандартные видеоустройства. Предложена система распределения видео, которая передает форматированный видеосигнал (20), имеющий элементарные потоки, представляющие собой аудиовизуальный контент, подлежащий воспроизведению в выбранной комбинации, и информацию потока, указывающую выбранные элементарные потоки. Форматированный видеосигнал представляет собой расширенное видео, имеющее расширенный диапазон (HDR) яркости и/или цвета. Видеоустройство (21) обрабатывает входное видео, где форматированный видеосигнал содержит первичный элементарный поток видео, представляющий собой стандартное или расширенное видео, элементарный поток обработки видео, не содержащий аудиовизуальный контент, но содержащий метаданные обработки видео, представляющие собой преобразование между стандартным и расширенным видео или наоборот, и информацию расширенного потока, содержащую запись, указывающую элементарный поток обработки видео. Видеопроигрыватель (22) позволяет визуализировать и расширенное, и стандартное видео, основанные на информации расширенного потока и элементарном потоке обработки видео. 4 н. и 8 з.п. ф-лы, 12 ил.
1. Способ обеспечения форматированного видеосигнала (20, 30) для передачи в соответствии со стандартизированным форматом передачи, причем стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки и элементарные потоки, имеющие общую структуру в соответствии с упомянутым стандартизированным форматом передачи, и представляет собой аудиовизуальный контент, подлежащий воспроизведению в выбранной комбинации элементарных потоков, при этом соответствующий элементарный поток представляет собой один из видеоконтента, аудиоконтента, графического контента;
упомянутый форматированный видеосигнал представляет собой расширенное видео, имеющее расширенный диапазон яркости и/или цвета по отношению к стандартному видео, имеющему стандартный диапазон яркости и/или цвета, причем упомянутый стандартный диапазон определен в стандартизированном формате передачи;
упомянутый способ содержит:
- обработку входного видео, чтобы обеспечить метаданные обработки видео, представляющие собой преобразование между стандартным видео и расширенным видео, и генерирование первичного элементарного потока видео, представляющего собой стандартное видео, или
- обработку входного видео, чтобы обеспечить метаданные обработки видео, представляющие собой преобразование между расширенным видео и стандартным видео, и генерирование первичного элементарного потока видео, представляющего собой расширенное видео;
упомянутый способ дополнительно содержит
- генерирование элементарного потока обработки видео, имеющего общую структуру, но не содержащего аудиовизуальный контент, причем упомянутый элементарный поток обработки видео содержит метаданные обработки видео для преобразования в воспроизведении выбранной комбинации,
- генерирование информации расширенного потока, содержащей по меньшей мере запись, указывающую первичный элементарный поток видео, и запись, указывающую элементарный поток обработки видео, и
- генерирование форматированного видеосигнала, содержащего первичный элементарный поток видео, элементарный поток обработки видео и информацию расширенного потока,
при этом метаданные обработки видео в элементарном потоке обработки видео содержат поле (54) информации расширенного диапазона, содержащее множественные различные дескрипторы процесса, причем соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем упомянутые типы данных содержат видео и по меньшей мере одно из графики и субтитров.
2. Способ согласно п. 1, в котором способ содержит применение, для упомянутого преобразования, преобразования, которое является обратимым посредством применения обратного отображения в видео в первичном элементарном потоке видео, и
метаданные обработки видео в элементарном потоке обработки видео содержат информацию об отображении.
3. Способ согласно п. 1 или 2, в котором форматированный видеосигнал (20) имеет первый транспортный поток и второй транспортный поток, и способ содержит:
- включение в первый транспортный поток первичного элементарного потока видео,
- включение во второй транспортный поток элементарного потока обработки видео.
4. Способ согласно п. 3, в котором способ содержит:
- передачу первого транспортного потока посредством носителя и
- передачу второго транспортного потока и информации расширенного потока через сеть.
5. Устройство (21, 31) обработки видео для обеспечения форматированного видеосигнала (20, 30) для передачи в соответствии со стандартизированным форматом передачи, причем стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки, и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи, и представляет собой аудиовизуальный контент, подлежащий воспроизведению в выбранной комбинации элементарных потоков, причем соответствующий элементарный поток представляет собой один из видеоконтента, аудиоконтента, графического контента;
упомянутый форматированный видеосигнал представляет собой расширенное видео, имеющее расширенный диапазон для яркости и/или цвета по отношению к стандартному видеоконтенту, имеющему стандартный диапазон, при этом стандартный диапазон определен в стандартизированном формате передачи;
упомянутое устройство обработки содержит
- блок (210, 310) обработки видео для обработки входного видео и
- блок (213, 313) форматирования для генерирования форматированного видеосигнала;
упомянутый блок обработки видео и блок форматирования выполнены с возможностью для
- обработки входного видео для обеспечения метаданных обработки видео, представляющих собой преобразование между стандартным видео и расширенным видео и генерирования первичного элементарного потока видео, представляющего собой стандартное видео, или
- обработки входного видео для обеспечения метаданных обработки видео, представляющих собой преобразование между расширенным видео и стандартным видео и генерирования первичного элементарного потока видео, представляющего собой расширенное видео;
и блок форматирования дополнительно выполнен с возможностью для
- генерирования элементарного потока обработки видео, имеющего общую структуру, но не содержащего аудиовизуальный контент, упомянутый элементарный поток обработки видео содержит метаданные обработки видео для преобразования при воспроизведении выбранной комбинации,
- генерирования информации расширенного потока, содержащей по меньшей мере запись, указывающую первичный элементарный поток видео, и запись, указывающую элементарный поток обработки видео, и
- генерирования форматированного видеосигнала, содержащего первичный элементарный поток видео, элементарный поток обработки видео и информацию расширенного потока,
при этом метаданные обработки видео в элементарном потоке обработки видео содержат поле (54) информации расширенного диапазона, содержащее множественные различные дескрипторы процесса, причем соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем упомянутые типы данных содержат видео и по меньшей мере одно из графики и субтитров.
6. Видеопроигрыватель (22, 32) для обработки форматированного видеосигнала (20, 30) в соответствии со стандартизированным форматом передачи, причем стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки, и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи, и представляет собой аудиовизуальный контент, подлежащий воспроизведению в выбранной комбинации элементарных потоков, при этом соответствующий элементарный поток представляет собой один из видеоконтента, аудиоконтента, графического контента;
упомянутый форматированный видеосигнал представляет собой расширенное видео, имеющее расширенный диапазон для яркости и/или цвета по отношению к стандартному видеоконтенту, имеющему стандартный диапазон, при этом стандартный диапазон определен в стандартизированном формате передачи;
упомянутый форматированный видеосигнал содержит
- элементарный поток обработки видео, имеющий общую структуру, но не содержащий аудиовизуальный контент, при этом элементарный поток обработки видео содержит метаданные обработки видео для преобразования при воспроизведении выбранной комбинации,
- первичный элементарный поток видео, представляющий собой стандартное видео, и метаданные обработки видео, представляющие собой преобразование между стандартным видео и расширенным видео, или
- первичный элементарный поток видео, представляющий собой расширенное видео, и метаданные обработки видео, представляющие собой преобразование между расширенным видео и стандартным видео;
и форматированный видеосигнал также дополнительно содержит
- информацию расширенного потока, содержащую по меньшей мере запись, указывающую первичный элементарный поток видео, и запись, указывающую элементарный поток обработки видео, и
при этом метаданные обработки видео в элементарном потоке обработки видео содержат поле (54) информации расширенного диапазона, содержащее множественные различные дескрипторы процесса, причем соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем упомянутые типы данных содержат видео и по меньшей мере одно из графики и субтитров;
при этом проигрыватель содержит
- входной блок (225, 325) для приема форматированного видеосигнала и извлечения информации расширенного потока и метаданных обработки видео и
- блок (223, 323) обработки для
- обработки информации расширенного потока и, в зависимости от информации расширенного потока, записи, указывающей элементарный поток обработки видео,
- преобразования первичного видео из первичного элементарного потока видео в целевое видео, адаптированное к возможностям воспроизведения яркости и/или цвета целевого устройства отображения посредством обработки первичного видео в соответствии с метаданными обработки видео, в то же время используя соответствующие дескрипторы процесса для преобразования соответствующих типов данных, причем типы данных содержат видео и по меньшей мере одно из графики и субтитров.
7. Видеопроигрыватель по п. 6, в котором
упомянутое преобразование является преобразованием, которое является обратимым посредством применения обратного отображения в видео в первичном элементарном потоке видео, и метаданные обработки видео в элементарном потоке обработки видео содержат информацию об отображении, и
блок обработки выполнен с возможностью для упомянутого преобразования посредством применения отображения в соответствии с метаданными обработки видео.
8. Видеопроигрыватель по п. 6 или 7, в котором
форматированный видеосигнал (20, 30) содержит транспортный поток, включающий в себя первичный элементарный поток видео и элементарный поток обработки видео, и
входной блок (225, 325) выполнен с возможностью для приема транспортного потока и извлечения из транспортного потока первичного элементарного потока обработки видео и элементарного потока обработки видео или
форматированный видеосигнал (20) содержит первый транспортный поток, включающий в себя первичный элементарный поток видео, и второй транспортный поток, включающий в себя элементарный поток обработки видео, и
входной блок (225, 325) выполнен с возможностью для приема первого и второго транспортного потока и извлечения
- из первого транспортного потока первичного элементарного потока видео и
- из второго транспортного потока элементарного потока обработки видео.
9. Видеопроигрыватель по п. 8, в котором
входной блок (225, 325) содержит блок оптического диска для считывания оптического носителя записи и извлечения
- транспортного потока; или
- первого транспортного потока, или
- первого транспортного потока и второго транспортного потока.
10. Видеопроигрыватель по п.6, в котором
входной блок (225, 325) содержит сетевой интерфейс для загрузки элементарного потока обработки видео и информации расширенного потока из сервера в локальное хранилище и
блок (223, 323) обработки выполнен с возможностью для замены информации потока принятой ранее расширенной информацией потока.
11. Носитель (40) записи, содержащий трек из считываемых меток, причем метки представляют собой форматированный видеосигнал (20, 30) для передачи в соответствии со стандартизированным форматом передачи, причем стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки, и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи, и представляет собой аудиовизуальный контент, подлежащий воспроизведению в выбранной комбинации элементарных потоков, причем соответствующий элементарный поток представляет собой один из видеоконтента, аудиоконтента, графического контента;
упомянутый форматированный видеосигнал представляет собой расширенное видео, имеющее расширенный диапазон для яркости и/или цвета по отношению к стандартному видеоконтенту, имеющему стандартный диапазон, при этом стандартный диапазон определен в стандартизированном формате передачи;
упомянутый форматированный видеосигнал содержит
- элементарный поток обработки видео, имеющий общую структуру, но не содержащий аудиовизуальный контент, причем элементарный поток обработки видео содержит метаданные обработки видео для преобразования при воспроизведении выбранной комбинации,
- первичный элементарный поток видео, представляющий собой стандартное видео, и метаданные обработки видео, которые представляют собой преобразование между стандартным видео и расширенным видео, или
- первичный элементарный поток видео, представляющий собой расширенное видео, и метаданные обработки видео, представляющие собой преобразование между расширенным видео и стандартным видео;
и упомянутый форматированный видеосигнал дополнительно содержит
- информацию расширенного потока, содержащую по меньшей мере запись, указывающую первичный элементарный поток видео, и запись, указывающую элементарный поток обработки видео,
и при этом метаданные обработки видео в элементарном потоке обработки видео содержат поле (54) информации расширенного диапазона, содержащее множественные различные дескрипторы процесса, причем соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем упомянутые типы данных содержат видео и по меньшей мере одно из графики и субтитров.
12. Носитель записи по п. 11, в котором элементарный поток обработки видео содержит
- последовательность сегментов обработки видео, причем соответствующий сегмент связан с соответствующей последовательностью видео кадров, и/или
- инструкции для адаптации уровня яркости и/или цветового пространства видео в зависимости от возможностей воспроизведения яркости или цвета устройства отображения, и/или
- инструкции для адаптации уровня яркости и/или цветового пространства графики в зависимости от возможностей воспроизведения яркости или цвета устройства отображения.
| US 2012314773 A1, 2012-12-13 | |||
| WO 2012172460 A1, 2012-12-20 | |||
| Способ холодной штамповки заготовок шестигранных гаек | 1989 |
|
SU1708485A1 |
| WO 2010021705 A1, 2010-02-25 | |||
| WO 2006050305 A1, 2006-05-11 | |||
| СИСТЕМА И СПОСОБ ДЛЯ ГЕНЕРАЦИИ ИЗОБРАЖЕНИЯ С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ ИЗ МНОЖЕСТВА ЭКСПОЗИЦИЙ ДВИЖУЩЕЙСЯ СЦЕНЫ | 2004 |
|
RU2335017C2 |
