Область техники, к которой относится изобретение
Настоящая технология относится к устройству передачи, способу передачи, устройству приема и способу приема. Более конкретно, настоящая технология относится к устройству передачи, которое выполняет масштабируемое кодирование данных изображения для изображений, конфигурирующих данные движущегося изображения, и передает кодированные данные изображения.
Уровень техники
Когда предоставляют услуги сжатого движущегося изображения, используя широковещательную передачу или передачу по сети, верхний предел воспроизводимой частоты кадров ограничен в соответствии с возможностями декодирования приемников. Таким образом, на стороне предоставления услуги необходимо ограничить предоставляемую услугу до услуг с низкой частотой кадров или предоставлять услуги с множеством высоких и низких частот кадров одновременно, с учетом возможностей воспроизведения приемников, которые находятся в широком использовании.
Поддержка услуг с высокой частотой кадров увеличивает стоимость приемников, и это представляет собой сдерживающий фактор на стадии раннего распространения. На ранних этапах широкое распространение получают дешевые приемники, предназначенные для услуг с низкой частотой кадров, и если сторона предоставления услуг в будущем начнет передавать услуги с высокой частотой кадров, становится затруднительным предоставлять их без нового приемника, и это представляет собой сдерживающий фактор при распределении новых услуг.
Например, было предложено временное масштабирование, выполняемое с помощью масштабируемого кодирования данных изображения для изображений, конфигурирующих данные движущегося изображения в стандарте Н.265/ High Efficiency Video Coding (HEVC), (см. Непатентный документ 1). Сторона приема может идентифицировать уровень каждого изображения на основе временного ID (temporal_id), вставленного в заголовок модуля уровня сетевой абстракции (NAL), и выполнять избирательное декодирование вплоть до уровня, соответствующего возможностям декодирования.
Список литературы
Патентный документ
Непатентный документ 1: Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard," IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012
Сущность изобретения
Задачи, решаемые изобретением
Цель настоящей технологии состоит в том, чтобы обеспечить для стороны приема возможность выполнения отличного воспроизведения, независимо от того, поддерживает или нет сторона приема высокую частоту кадров (HFR).
Решения задачи
Концепция в соответствии с настоящей технологией направлена на устройство передачи, включающее в себя:
модуль кодирования изображения, который классифицирует данные изображения для изображений, конфигурирующих данные движущегося изображения, на множество уровней, кодирует классифицированные данные изображения для изображений каждого из уровней, и генерирует видеопоток, включающий в себя кодированные данные изображения, для изображений каждого из уровней;
модуль передачи, который передает контейнер заданного формата, включающий в себя видеопоток; и
модуль вставки информации коррекции, который вставляет информацию коррекции времени для соответствия временным характеристикам декодирования в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждым из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень.
В настоящей технологии модуль кодирования изображения кодирует данные изображения для изображений, конфигурирующих данные движущегося изображения, и генерирует видеопоток. В этом случае данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют по множеству уровней и кодируют. Модуль передачи передает контейнер заданного формата, включающий в себя видеопоток, генерируемый, как описано выше. Например, контейнер может представлять собой транспортный поток (MPEG 2 TS), используемый в стандарте цифровой широковещательной передачи. Кроме того, например, контейнер может представлять собой контейнер, в котором использовали MP4 при предоставлении по Интернет, или любой другой формат.
Модуль вставки информации коррекции вставляет информацию коррекции времени, для коррекции временной характеристики декодирования, в кодированные данные изображения и/или в пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень. Например, контейнер может представлять собой транспортный поток, и модуль вставки информации коррекции может вставлять информацию коррекции времени в поле расширения пакета PES.
Например, модуль кодирования изображения может выполнять кодирование таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и информация коррекции времени может представлять собой информацию для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы.
Кроме того, например, модуль кодирования изображения может выполнять кодирование таким образом, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, являются такими же временными характеристиками декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и информация коррекции времени может представлять собой информацию для коррекции временных характеристик декодирования таким образом, что временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как и временные характеристики декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы.
Как описано выше, в настоящей технологии, информация коррекции времени, соответствующая временным характеристикам декодирования, может быть вставлена в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, и может быть передана. Таким образом, на стороне приема можно корректировать временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени, в соответствии с тем, декодируются ли только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или декодируются кодированные данные изображения для изображений всех уровней. Таким образом, можно выполнять отличное воспроизведение, независимо от того, поддерживает или нет сторона приема высокую частоту кадров.
Кроме того, в настоящей технологии, например, когда частота кадров для изображений, конфигурирующих данные движущегося изображения, представляет собой первую частоту кадров, и частота кадров для изображений заданного уровня или уровня ниже, чем заданный уровень, представляет собой вторую частоту кадров, вторая частота кадров может составлять 1/2 первой частоты кадров. В этом случае, например, когда первая частота кадров составляет 120 Гц, вторая частота кадров составляет 60 Гц.
Кроме того, в настоящей технологии, например, модуль кодирования изображения может разделять множество уровней на заданное количество (2 или больше) из наборов уровней и генерировать заданное количество видеопотоков, включающих в себя разделенные кодированные данные изображения, для изображений каждого из наборов уровней, и заданный уровень или уровень ниже, чем заданный уровень, и уровень выше, чем заданный уровень, могут принадлежать разным наборам уровня. В этом случае на стороне приема можно выделять кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, путем фильтрации видеопотока.
Кроме того, настоящая технология может быть сконфигурирована таким образом, что, например, тип информации, идентифицирующий, представляет ли собой информация коррекции времени первый тип или второй тип, добавляют к информации коррекции времени, первый тип обозначает, что видеопоток кодирован таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временной характеристики декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и второй тип обозначает, что видеопоток кодирован таким образом, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, представляют собой такие же временные характеристики декодирования, когда интервалы декодирования для кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как и временные характеристики декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы.
Как описано выше, поскольку информацию типа добавляют к информации коррекции времени, сторона приема может точно детектировать, является ли тип информации коррекции времени первым типом или вторым типом, и может соответствующим образом корректировать временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень.
Например, в случае первого типа, на стороне приема, когда декодируют только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, корректируют, используя информацию коррекции времени. В соответствии с этим, интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, становятся равными интервалами.
Кроме того, в случае второго типа, на стороне приема, когда декодируют кодированные данные изображения для изображений всех уровней, временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, корректируют, используя информацию коррекции времени. В соответствии с этим, интервалы декодирования кодированных данных изображения для изображений всех уровней становятся равными интервалами.
Кроме того, в настоящей технологии может дополнительно быть предусмотрен, например, модуль вставки информации идентификации, который вставляет информацию идентификации, идентифицирующую, что информация коррекции времени вставлена в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, на уровне контейнера. Например, контейнер может представлять собой транспортный поток, и модуль вставки информации идентификации может вставлять информацию идентификации в контур элементарного видеопотока, расположенный в ассоциации с видеопотоком под таблицей карты программы, в качестве дескриптора. В этом случае на стороне приема, можно идентифицировать, что информация коррекции времени вставлена на основе информации идентификации, без обработки кодированных данных изображения или пакета, содержащего кодированные данные изображения.
Кроме того, другой аспект настоящей технологии направлен на устройство приема, включающее в себя: модуль приема, который принимает видеопоток, включающий в себя кодированные данные изображения для изображений каждого из уровней, полученных таким образом, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней и кодируют; и модуль обработки, который обрабатывает видеопоток, в котором информацию коррекции времени для коррекции временных характеристик декодирования, вставляют в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, среди кодированных данных изображения для изображений уровней, включенных в видеопоток.
В настоящей технологии модуль приема принимает видеопоток. Видеопоток включает в себя видеопоток, включающий в себя кодированные данные изображения для изображений, полученных таким образом, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней и кодируют. Информацию коррекции времени для коррекции временных характеристик декодирования вставляют в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, среди кодированных данных изображения для изображений уровней, включенных в видеопоток. Модуль обработки обрабатывает видеопоток.
Например, видеопоток может быть кодирован таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и информация коррекции времени может представлять собой информацию для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы.
Кроме того, например, видеопоток может быть кодирован таким образом, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, представляют собой такие же временные характеристики декодирования, когда интервалы декодирования для кодированных данных изображения, для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и информация коррекции времени может представлять собой информацию для коррекции временных характеристик декодирования таким образом, что временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как и временные характеристики декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы.
Кроме того, другая концепция настоящей технологии направлена на устройство приема, включающее в себя: модуль приема, который принимает контейнер заданного формата, включающий в себя видеопоток, включающий в себя кодированные данные изображения для изображений каждого из уровней, полученных таким образом, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней и кодируют; и модуль обработки декодирования изображения, который получает данные изображения путем избирательного размещения кодированных данных изображения для изображений уровня, в соответствии с возможностями декодирования, в буфере из видеопотока и декодирования кодированных данных изображения видеоизображений, отобранных в буфере, в котором информация коррекции времени, для коррекции временных характеристик декодирования, вставлена в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень среди кодированных данных изображения для изображений уровней, включенных в видеопоток, и модуль обработки декодирования изображения корректирует временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени, в соответствии с тем, декодируют ли только данные кодированного изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или декодируют кодированные данные изображения для изображений всех уровней.
В настоящей технологии модуль приема принимает контейнер заданного формата. Контейнер включает в себя видеопоток, включающий в себя кодированные данные изображения для изображений, полученных таким образом, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней и кодируют. Модуль обработки декодирования изображения получает данные изображения путем избирательного размещения кодированных данных изображения для изображений уровня, в соответствии с возможностями декодирования, в буфере из видеопотока и декодирования кодированных данных изображения для изображений, отобранных в буфере.
Например, когда кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или всех уровней, отобранных в буфере, включены во множество видеопотоков, модуль обработки декодирования изображения может комбинировать кодированные данные изображения для изображений в один поток в порядке временных характеристик декодирования, на основе информации о временной характеристике декодирования, и может помещать один поток в буфер.
Информацию коррекции времени для коррекции временных характеристик декодирования вставляют в кодированные данные изображения и/или в пакет, содержащий кодированные данные изображения, в ассоциации с каждым из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, среди кодированных данных изображения для изображений уровней, включенных в видеопоток. Модуль обработки декодирования изображения корректирует временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени в соответствии с тем, декодируют ли только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или декодируют кодированные данные изображения для изображений всех уровней.
Например, видеопоток может быть кодирован таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, являются равными интервалами, информация коррекции времени может представлять собой информацию для коррекции временной характеристики декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и модуль обработки декодирования изображения может корректировать временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени, когда декодируют только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень.
Кроме того, например, видеопоток может быть кодирован таким образом, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, представляют собой такие же временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, информация коррекции времени может представлять собой информацию для коррекции временной характеристики декодирования таким образом, что временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как временные характеристики декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и модуль обработки декодирования изображения может корректировать временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени, когда декодируют кодированные данные изображения для изображений всех уровней.
Как описано выше, в настоящей технологии, временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, корректируют, используя информацию коррекции времени, вставленную в кодированные данные изображения и/или пакет, содержащий кодированные данных изображения в соответствии с тем, декодируют ли только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или декодируют кодированные данные изображения для изображений всех уровней. Таким образом, можно выполнять отличное воспроизведение, независимо от того, поддерживается или нет высокая частота кадров.
Настоящая технология может быть выполнена таким образом, что информацию типа, идентифицирующую, является ли информация коррекции времени первым типом или вторым типом, добавляют к информации коррекции времени, первый тип обозначает, что видеопоток кодируют таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, второй тип обозначает, что видеопоток кодируют таким образом, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, являются такими же временными характеристиками декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как и временные характеристики декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и модуль обработки декодирования изображения выполняет переключение между коррекцией временных характеристик декодирования, выполняемой, используя информацию коррекции времени, когда декодируют только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, и коррекцией временных характеристик декодирования, выполняемой, используя информацию коррекции времени, когда декодируют кодированные данные изображения для изображений всех уровней на основе информации типа, добавленной к информации коррекции времени.
Эффекты изобретения
В соответствии с настоящей технологией, сторона приема может выполнять отличное воспроизведение, независимо от того, поддерживает ли сторона приема высокую частоту кадров. Эффект, описанный здесь, не обязательно ограничен и может включать в себя любой эффект, описанный в настоящем раскрытии.
Краткое описание чертежей
На фиг. 1 показана блок-схема, поясняющая примерную конфигурацию приемопередающей системы в соответствии с вариантом осуществления.
На фиг. 2 показана блок-схема, поясняющая примерную конфигурацию устройства передачи.
На фиг. 3 представлена схема, иллюстрирующая пример масштабируемого кодирования, выполняемого кодером.
На фиг. 4(а) и 4(b) показаны схемы, поясняющие примерную структуру заголовка модуля NAL и содержание основных параметров в примерной структуре.
На фиг. 5 представлена схема для описания конфигурации кодированных данных изображения каждого изображения HEVC.
На фиг. 6 представлена схема, иллюстрирующая пример временной характеристики декодирования каждого изображения, когда генерируют два потока видеоданных, то есть основной поток (Stream_0) и поток расширения (Stream_1).
На фиг. 7 представлена схема, иллюстрирующая пример временной характеристики декодирования каждого изображения, когда генерируют один поток видеоданных, то есть основной поток (Stream_0).
На фиг. 8 представлена схема, иллюстрирующая первый тип информации S(i) коррекции, вставленной в ассоциации с кодированными данными изображения каждого изображения заданного уровня или уровня (нижний уровень) ниже, чем заданный уровень, когда выполняют "первое кодирование".
На фиг. 9 представлена схема, иллюстрирующая пример временной характеристики декодирования каждого изображения, когда генерируют два потока видеоданных, то есть основной поток (Stream_0) и поток расширения (Stream_1).
На фиг. 10 представлена схема, иллюстрирующая второй тип информации S(i) коррекции, вставленной в ассоциации с кодированными данными изображения каждого изображения заданного уровня или уровня (нижний уровень) ниже, чем заданный уровень, когда выполняют "второе кодирование".
На фиг. 11(a) и 11(b) показаны схемы, поясняющие примерную структуру интерфейса для вставки SEI регулирования временной характеристики и примерную структуру информации регулирования временных характеристик.
На фиг. 12 представлена схема, иллюстрирующая содержание основной информации в примерной структуре информации регулирования временных характеристик.
На фиг. 13 показана блок-схема, поясняющая примерную конфигурацию кодера.
На фиг. 14 представлена схема, иллюстрирующая пример потока обработки кодера.
На фиг. 15 представлена схема, иллюстрирующая примерную структуру данных поля расширения PES.
На фиг. 16 представлена схема, иллюстрирующая содержание основной информации в примерной структуре данных поля расширения PES.
На фиг. 17 представлена схема, иллюстрирующая примерную структуру дескриптора временного расширения.
На фиг. 18 представлена схема, иллюстрирующая содержание основной информации в примерной структуре дескриптора временного расширения.
На фиг. 19 представлена схема, иллюстрирующая примерную структуру дескриптора HEVC.
На фиг. 20 показана блок-схема, поясняющая примерную конфигурацию мультиплексора.
На фиг. 21 представлена схема, иллюстрирующая пример потока обработки мультиплексора.
На фиг. 22 представлена схема, иллюстрирующая примерную конфигурацию транспортного потока TS при доставке двумя потоками.
На фиг. 23 представлена схема, иллюстрирующая примерную конфигурацию транспортного потока TS при доставке одним потоком.
На фиг. 24 показана блок-схема, поясняющая примерную конфигурацию устройства приема.
На фиг. 25 представлена схема, иллюстрирующая пример функциональной конфигурации демультиплексора (модуль системного анализа), когда выполняют "первое кодирование" потока видеоданных.
На фиг. 26 представлена схема, иллюстрирующая пример функциональной конфигурации демультиплексора (модуль системного анализа), когда выполняют "второе кодирование" потока видеоданных.
На фиг. 27 представлена схема, иллюстрирующая пример потока обработки демультиплексора.
На фиг. 28 показана блок-схема, поясняющая примерную конфигурацию декодера.
На фиг. 29 представлена схема, иллюстрирующая примерную конфигурацию модуля последующей обработки.
На фиг. 30 представлена схема, иллюстрирующая пример потока обработки декодера и модуля последующей обработки.
На фиг. 31 представлена схема, иллюстрирующая другой пример масштабируемого кодирования выполняемого кодером.
На фиг. 32 представлена схема, иллюстрирующая первый тип информации S(i) коррекции, вставленной в ассоциации с данными кодированного изображения каждого изображения заданного уровня или уровня (нижний уровень) ниже, чем заданный уровень, когда выполняют "первое кодирование".
На фиг. 33 представлена схема, иллюстрирующая второй тип информации S(i) коррекции, вставленной в ассоциации с данными кодированного изображения каждого изображения уровня (нижний уровень) ниже заданного уровня, когда выполняют "второе кодирование".
Подробное описание изобретения
Ниже будут описаны режимы (ниже называются "вариантами осуществления") выполнения изобретения. Описание будет представлено в следующем порядке.
1. Варианты осуществления
2. Модифицированные примеры
1. Варианты осуществления
Приемопередающая система
На фиг. 1 иллюстрируется пример конфигурации приемопередающей системы 10 в соответствии с вариантом осуществления. Приемопередающая система 10 включает в себя устройство 100 передачи и устройство 200 приема.
Устройство 100 передачи передает транспортный поток TS, используемый в качестве контейнера, на волне широковещательной передачи. Транспортный поток TS включает в себя видеопоток, включающий в себя кодированные данные изображения для каждого изображения, полученного таким образом, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней и кодируют. В этом случае, например, кодирование выполняют в соответствии с H.264/AVC, H.265/HEVC и т.п. таким образом, что эталонное изображение принадлежит его собственному уровню и/или уровню ниже, чем его собственный уровень.
Здесь транспортный поток TS включает в себя один или больше видеопотоков. Когда включено множество видеопотоков, множество уровней разделены на заданное количество (два или больше) наборов уровней, и генерируют заданное количество видеопотоков, включающих в себя кодированные данные изображения для изображений каждого разделенного набора уровней. В этом случае, например, когда множество уровней разделяют на заданное количество наборов уровня, множество уровней включено в самый нижний набор уровня, и один уровень включен в набор уровня, расположенный так, чтобы он был выше, чем самый нижний набор уровня. В результате такого разделения, например, когда сторона приема имеет возможность декодирования, позволяющую обрабатывать кодированные данные изображения для изображений множества уровней, включенных в набор самого нижнего уровня, сторона приема может выбирать только видеопоток, имеющий кодированные данные изображения для изображений набора самого нижнего уровня, помещать выбранный видеопоток в буфер, и выполнять обработку декодирования.
Информацию идентификации уровня, идентифицирующую ассоциированный уровень, добавляют к кодированным данным изображения для изображений каждого уровня, для каждого изображения. В этом варианте осуществления информация идентификации уровня ("nuh_temporal_id_plus1", обозначающая temporal_id) размещена на участке заголовка модуля NAL (nal_unit) каждого изображения. Поскольку информация идентификации уровня добавлена, как описано выше, сторона приема может идентифицировать уровень каждого изображения в уровне модуля NAL и может избирательно выделять кодированные данные изображения заданного уровня или уровня ниже, чем заданный уровень, и выполнять обработку декодирования.
В этом варианте осуществления информацию коррекции времени, для коррекции временной характеристики декодирования вставляют в кодированные данные изображения и пакет PES, содержащий кодированные данные изображения, в ассоциации с каждыми кодированными данными изображения для изображений заданного уровня или уровня ниже, чем заданный уровень. На основе информации коррекции времени, сторона приема может корректировать временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, и может выполнять отличное воспроизведение, независимо от того, поддерживает ли или нет сторона приема высокую частоту кадров. Информация коррекции времени рассматривается, как информация, вставленная только в кодированные данные изображения или пакет PES.
В качестве информации коррекции времени используется первый тип и второй тип. Первый тип информации коррекции времени применяют, когда кодирование выполняют таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы. В этом случае кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, и кодированные данные изображения для изображений уровня выше, чем заданный уровень, могут быть включены в разные видеопотоки или могут быть включены в один и тот же видеопоток. Другими словами, в этом случае возможна не только конфигурация множества видеопотоков, но также и конфигурация из одного видеопотока. Первый тип информации коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы.
Второй тип информации коррекции времени применяется, когда кодирование выполняют таким образом, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, представляют собой те же временные характеристики декодирования, как и в случае, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы. В этом случае необходимо включать кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, и кодированные данные изображения для изображений уровня выше, чем заданный уровень, в другие видеопотоки. Другими словами, в этом случае возможна конфигурация только из множества видеопотоков. Первый тип информации коррекции времени представляет собой информацию для коррекции временной характеристики декодирования таким образом, что временные характеристики декодирования для кодированных данных изображения, для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как и временные характеристики декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы.
В этом варианте осуществления информацию идентификации типа, идентифицирующую, является ли информация коррекции времени информацией первого типа или второго типа, добавляют к информации коррекции времени. На основе информации идентификации сторона приема может точно детектировать, является информация коррекции времени информацией первого типа или второго типа, и может соответствующим образом корректировать временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень. Информация идентификации типа не обязательно должна быть добавлена, когда тип информации коррекции времени задан с помощью любого другого средства.
Кроме того, в данном варианте осуществления, информацию идентификации, идентифицирующую, была или нет вставлена информация коррекции времени в кодированные данные изображения или пакет PES, вставляют в уровень транспортного потока TS. Такую информацию конфигурации вставляют в контуры элементарных видеопотоков, размещенных в ассоциации с видеопотоком, например, под таблицей карты программы, как дескриптор. На основе такой информации идентификации сторона приема может легко идентифицировать, была или нет добавлена информация коррекции времени в кодированные данные изображения или пакет PES, без выполнения обработки декодирования для данных кодированного изображения.
Устройство 200 приема принимает транспортный поток TS, передаваемый из устройства 100 передачи через волну широковещательной передачи. Устройство 200 приема избирательно декодирует кодированные данные изображения, состоящие из изображений заданного уровня или уровня ниже, чем заданный уровень, выбранный в соответствии с возможностями декодирования из видеопотока, включенного в транспортный поток TS, и помещает данные изображения каждого изображения, полученного в результате декодирования, в буфер (буфер несжатых данных). Затем устройство 200 приема считывает данные изображения каждого изображения из буфера, выводит считанные данные изображения, и выполняет воспроизведение изображения.
Как описано выше, информацию о коррекции времени, для коррекции временных характеристику декодирования, вставляют в кодированные данные изображения и пакет PES, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень. На основе информации коррекции времени, временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, корректируют, используя информацию о коррекции времени, в соответствии с тем, декодируют ли только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или декодируют кодированные данные изображения для изображений всех уровней. Таким образом, становится возможным выполнить отличное воспроизведение, независимо от того, поддерживает ли сторона приема высокую частоту кадров.
Как описано выше, информацию типа добавляют к информации коррекции времени. Таким образом, точно детектируют, является ли тип информации коррекции времени первым типом или вторым типом, и временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, соответствующим образом корректируют. Другими словами, когда тип информации коррекции времени представляет собой первый тип, и декодируют только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, корректируют, используя информацию коррекции времени, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, становятся равными интервалами. Кроме того, например, когда тип информации коррекции времени представляет собой второй тип, и декодируют кодированные данные изображения для изображений всех уровней, временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, корректируют, используя информацию коррекции времени, и интервалы декодирования кодированных данных изображения для изображений всех уровней становятся равными интервалами.
Конфигурация устройства передачи
На фиг. 2 иллюстрируется пример конфигурации устройства 100 передачи. Устройство 100 передачи включает в себя центральное процессорное устройство (CPU) 101, кодер 102, буфер сжатых данных (буфер кодированного изображения (cpb)) 103, мультиплексор 104 и модуль 105 передачи. CPU 101 представляет собой модуль управления и управляет операцией каждого модуля в устройстве 100 передачи.
Кодер 102 принимает несжатые данные движущегося изображения и выполняет масштабируемое кодирование. Кодер 102 классифицирует данные изображения для изображений, конфигурирующих данные движущегося изображения, по множеству уровней. Затем кодер 102 кодирует классифицированные данные изображения для изображений каждого уровня, и генерирует видеопоток, включающий в себя кодированные данные изображения, для изображений каждого уровня. Кодер 102 выполняет, например, кодирование в соответствии с H.264/AVC, H.265/HEVC и т.п. В это время кодер 102 выполняет кодирование таким образом, что изображение (эталонное изображение), на которое делается ссылка, принадлежит его собственному уровню и/или уровню ниже, чем его собственный уровень.
На фиг. 3 иллюстрируется пример масштабируемого кодирования, выполняемого кодером 102. В этом примере данные изображения классифицируют на четыре уровня от 0 до 3, и данные изображения для изображений каждого уровня кодируют. По вертикальной оси обозначен уровень. От 0 до 3 установлены, как temporal_id (информация идентификации уровня), размещенного в участке заголовка модуля NAL (nal_unit), конфигурирующего кодированные данные изображения для изображений уровней от 0 до 3. В то же время по горизонтальной оси обозначен порядок отображения (порядок изображения в композиции (РОС)), и левая сторона обозначает "перед" с точки зрения времени отображения, и правая сторона обозначает "после" с точки зрения времени отображения.
На фиг. 4(а) иллюстрируется примерная структура (синтаксис) заголовка модуля NAL, и на фиг. 4(b) иллюстрируется содержание (семантика) основного параметра в примерной структуре. 1-битное поле "Forbidden_zero_bit" обязательно равно 0. 6-битное поле "Nal_unit_type" обозначает тип модуля NAL. 6-битное поле "Nuh_layer_id", в данном описании, предполагается, равно 0. 3-битное поле "Nuh_temporal_id_plus1" обозначает temporal_id и имеет значение (1-7), получаемое путем добавления 1.
Снова возвращаясь к фиг. 3, каждая из прямоугольных рамок обозначает изображение, цифра обозначает порядок кодированного изображения, то есть порядок кодирования (порядок декодирования на стороне приема). В примере на фиг. 3, подгруппа изображений сконфигурирована из 8 изображений от "2" до "9", и "2" представляет собой первое изображение подгруппы изображений. "1" представляет собой изображение предыдущей подгруппы изображений. Группа изображений (GOP) сконфигурирована из нескольких подгрупп изображений.
Как представлено на фиг. 5, кодированные данные изображения первого изображения GOP сконфигурированы с модулями NAL AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI и EOS. С другой стороны, другое изображение, чем первое изображение GOP, сконфигурировано с модулями NAL из AUD, PPS, PSEI, SLICE, SSEI и EOS. VPS может быть передано один раз на последовательность (GOP) вместе с SPS, и PPS может быть передано для каждого изображения.
Снова возвращаясь к фиг. 3, сплошные стрелки обозначают отношение соответствия изображений при кодировании. Например, изображение "2" представляет собой изображение P и кодировано со ссылкой на изображение "1". Кроме того, изображение "3" представляет собой изображение B и кодировано со ссылкой на изображения "1" и "2". Аналогично, другие изображения кодированы со ссылкой на изображение, которое близко по порядку отображения. На изображение самого верхнего уровня не ссылаются другие изображения.
Кодер 102 генерирует один или больше видеопотоков. Когда генерируют один видеопоток, кодер 102 включает кодированные данные изображения для изображений всех уровней в одиночный видеопоток. С другой стороны, когда генерируют множество видеопотоков, кодер 102 разделяет множество уровней на заданное количество (2 или больше) из наборов уровня, и генерирует заданное количество видеопотоков, каждый из которых имеет кодированные данные изображения для изображений каждого набора уровней.
Например, в примере масштабируемого кодирования на фиг. 3, кодер 102 разделяет множество уровней на два набора уровней таким образом, что уровни от 0 до 2 принадлежат самому нижнему набору уровней, и уровень 3 принадлежит набору уровней, расположенному так, чтобы он был выше, чем самый нижний набор уровней, как ограничено пунктирной линией. В этом случае кодер 102 генерирует два видеопотока (кодированный поток), каждый из которых включает в себя кодированные данные изображения для изображений каждого набора уровней. Например, в примере масштабируемого кодирования на фиг. 3, частота кадров, соответствующих изображениям всех уровней, то есть уровней от 0 до 3, составляет 120 Гц, и частота кадров для изображений уровней от 0 до 2 составляет 60 Гц.
В этом случае видеопоток, имеющий кодированные данные изображения для изображений самого нижнего набора уровней, представляет собой основной поток, и его тип потока представляет собой "0×24". Видеопоток, включающий в себя кодированные данные изображения из изображений набора уровней, расположенный так, чтобы он был выше, чем самый нижний набор уровней, представляет собой поток расширения, и его тип потока представляет собой "0×25", который был вновь определен.
Кроме того, когда существует множество потоков расширения, тип потока также рассматривается, как вновь определенный таким образом, что каждый из потоков расширения может быть идентифицирован вместо установки типов потока всех потоков расширения до "0×25". Например, когда существуют два потока расширения, тип потока первого потока расширения установлен, как "0×25", и тип потока второго потока расширения установлен, как "0×26".
Тип потока конфигурирует информацию идентификации, идентифицирующую, является ли каждый из заданного количества видеопотоков основным потоком или потоком расширения. Тип потока вставляют в основной уровень транспортного потока TS. Другими словами, тип потока вставляют в контур элементарного видеопотока (контур Видео ES), размещенный в ассоциации с каждым из заданного количества видеопотоками, в соответствии с таблицей карты программы (PMT).
Кодер 102 выполняет "первое кодирование" или "второе кодирование" в отношении временных характеристик декодирования кодированных данных изображения каждого изображения. Каждое кодирование будет описано ниже.
Первое кодирование
При "первом кодировании" кодер 102 выполняет кодирование таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней, представляют собой равные интервалы. Затем, в этом случае кодер 102 вставляет информацию коррекции времени, для соответствующих временных характеристик декодирования, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, который может быть воспроизведен приемником предшествующего уровня техники, который не поддерживает HFR.
Информация коррекции времени представляет собой первый тип информации коррекции времени для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, становятся равными интервалами. "Первое кодирование" применимо не только, когда кодер 102 генерирует одиночный видеопоток, но также и когда кодер 102 генерирует множество видеопотоков.
На фиг. 6 иллюстрируется пример временных характеристик декодирования для каждого изображения, когда два видеопотока, то есть основной поток (Stream_0) и поток расширения (Stream_1) генерируют в примере масштабируемого кодирования по фиг. 3. Здесь основной поток (Stream_0) включает в себя кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, то есть в данном случае для уровней от 0 до 2. Поток расширения (Stream_1) включает в себя кодированные данных изображения для изображений уровня выше, чем заданный уровень, то есть здесь для уровня 3.
В данном случае кодирование выполняют таким образом, что интервалы декодирования кодированных данных изображения для изображений всех уровней представляют собой равные интервалы, как представлено на фиг. 6. Кроме того, информацию S(i) коррекции времени, для коррекции временных характеристик декодирования, вставляют в ассоциации с каждым из кодированных данных изображения для изображений уровней от 0 до 2, включенных в основной поток (Stream_0). Здесь "i" обозначает величину коррекции временных характеристик декодирования в единицах 1/120 секунды. Информацию S(i) коррекции времени вставляют, например, в регулировку временных характеристик SEI (Timing_adjustment SEI), которая была вновь определена.
В этом случае на стороне приема, например, когда выполняют отображение с HFR, не поддерживаемой декодером 60P (включая в себя случай режима 60Р в декодере 120Р с поддержкой HFR), кодированные данные изображения для изображений уровней от 0 до 2, включенных в основный поток (Stream_0), избирательно отбирают в буфере, и декодирование последовательно выполняют через интервалы декодирования (см. модуль доступа (AU) в виде рамок из пунктирных линий), скорректированные так, чтобы они представляли собой равные интервалы (1/60 секунды), на основе информации S(i) коррекции времени.
В этом случае на стороне приема, например, когда отображение выполняют с помощью декодера 120Р, с поддержкой HFR, изображения уровней от 0 до 2, включенные в основный поток (Stream_0) и изображения уровня 3, включенные в поток расширения (Stream_1), комбинируют в один поток в порядке декодирования, отбирают в буфер, и последовательно декодируют через интервалы декодирования с равным интервалом (1/120 секунды).
На фиг. 7 иллюстрируется пример временных характеристик декодирования каждого изображения, когда один видеопоток основного потока (Stream_0) генерируют в примере масштабируемого кодирования по фиг. 3. Здесь основный поток (Stream_0) включает в себя кодированные данные изображения для изображений всех уровней, то есть здесь для уровней от 0 до 3.
В этом случае кодирование выполняют таким образом, что интервалы декодирования кодированных данных изображения для изображений всех уровней представляют собой равные интервалы, как представлено на фиг. 7. Аналогично примеру на фиг. 6, информацию S(i) коррекции времени, для коррекции временных характеристик декодирования, вставляют в ассоциации с каждыми из кодированными данными изображения для изображений уровней от 0 до 2, включенных в основный поток (Stream_0).
В этом случае на стороне приема, например, когда отображение выполняют с помощью декодера 60Р без поддержки HFR (включая в себя случай режима 60Р декодера 120P с поддержкой HFR), кодированные данные изображения изображений для уровней от 0 до 2 среди уровней от 0 до 3, включенных в основный поток (Stream_0), избирательно отбирают в буфер, и последовательно декодируют через интервалы декодирования (см. модули доступа (AU), представленные в виде рамки из пунктирной линии), скорректированные так, чтобы они представляли собой равные интервалы (1/60 секунды), на основе информации S(i) коррекции времени.
В этом случае на стороне приема, например, когда отображение выполняют с помощью декодера 120Р с поддержкой HFR, изображения для уровней от 0 до 3, включенные в основный поток (Stream_0), отбирают в буфер и последовательно декодируют в интервалах декодирования, представляющих собой равные интервалы (1/120 секунды).
На фиг. 8 иллюстрируется информация коррекции S(i), вставленная в ассоциации с каждыми из данных кодированного изображения в виде изображений заданного уровня или уровня (нижнего уровня), который ниже, чем заданный уровень, когда выполняют "первое кодирование" в примере масштабируемого кодирования на фиг. 3.
Информацию S(i) коррекции времени вставляют в ассоциации с каждыми из кодированных данных изображения для изображений уровней от 0 до 2, используемых как участок с разрешением 1/2 по времени, для декодирования 60р среди уровней от 0 до 3 по полному времени. В этом случае величину коррекции i для модуля доступа (изображения), такого как "2", устанавливают равным "0", величину коррекции i для модуля доступа (изображения), равного "3", устанавливают равным "1", величину коррекции i для модуля доступа (изображения), равного "4", устанавливают равным "2", и величину коррекции i для модуля доступа (изображения), равного "7", устанавливают равным "1". В каждой из последующих подгрупп изображений (GOP) повторяется то же самое.
На стороне приема, когда выполняют отображение, используя декодер 60 p, кодированные данные изображения для изображений уровней от 0 до 2, используемых, как участок разрешения 
времени, отбирают в буфер и декодируют. В это время, как обозначено модулями доступа (AU), представленными рамкой с пунктирными линиями, временные характеристики декодирования кодированных данных изображения для изображений корректируют так, чтобы они составляли равные интервалы (1/60 секунды), на основе информация S(i) коррекции времени. Кроме того, на стороне приема, когда выполняют отображение с помощью декодера 120 p, кодированные данные изображения для изображений от 0 до 3 для разрешения полного времени отбирают в буфер и декодируют через равные интервалы (1/120 секунды), в соответствии с исходными временными характеристиками декодирования.
Второе кодирование
При "втором кодировании" кодер 102 выполняет кодирование таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, которые могут быть воспроизведены приемником предшествующего уровня техники, который не поддерживает HFR, представляют собой равные интервалы. При "втором кодировании" кодер 102 выполняет кодирование таким образом, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, являются такими же временными характеристиками, как и в случае, когда кодирование выполняют так, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней, представляют собой равные интервалы.
Кроме того, в этом случае аналогично "первому кодированию", кодер 102 вставляет информацию коррекции времени для коррекции временных характеристик декодирования, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, который может быть воспроизведен приемником предшествующего уровня техники, который не поддерживает HFR. Информация о коррекции времени представляет собой второй тип информации коррекции времени, для коррекции временных характеристик декодирования таким образом, что временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как и временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней, представляют собой равные интервалы. "Второе кодирование" применимо, когда кодер 102 генерирует множество видеопотоков.
На фиг. 9 иллюстрируется пример временных характеристик декодирования каждого изображения, когда два видеопотока, то есть основной поток (Stream_0) и поток расширения (Stream_1) генерируют в примере масштабируемого кодирования по фиг. 3. Здесь основной поток (Stream_0) включает в себя кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, то есть здесь для уровней от 0 до 2. Поток расширения (Stream_1) включает в себя кодированные данные изображения для изображений уровня выше, чем заданный уровень, то есть здесь для уровня 3.
В этом случае кодирование выполняют таким образом, что интервалы декодирования кодированных данных изображения для изображений уровней от 0 до 2, включенных в основной поток (Stream_0), представляют собой равные интервалы, как представлено на фиг. 9. С другой стороны, временные характеристики декодирования кодированных данных изображения каждого изображения уровня 3, включенных в поток расширения (Stream_1), кодируют таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней, представляют собой равные интервалы.
Информацию S(i) коррекции времени для коррекции временных характеристик декодирования, вставляют в ассоциации с каждыми из кодированных данных изображения для изображений уровней от 0 до 2, включенных в основной поток (Stream_0). Здесь "i" обозначает величину коррекции (количество корректируемых кадров) временных характеристик декодирования для второго модуля 1/120. Информацию S(i) коррекции времени вставляют, например, в регулировку SEI временных характеристик (Timing_adjustment SEI), которая была вновь определена.
В этом случае на стороне приема, например, когда выполняют отображение, используя декодер 60Р без поддержки HFR (включая в себя случай режима 60Р в декодере 120Р с поддержкой HFR), кодированные данные изображения для изображений уровней от 0 до 2, включенные в основной поток (Stream_0), избирательно отбирают в буфер и последовательно декодируют через интервалы декодирования, представляющие собой равные интервалы (1/60 секунды).
В этом случае на стороне приема, например, когда отображение выполняют, используя декодер 120Р с поддержкой HFR, кодированные данные изображения для изображений уровня 3, включенные в поток расширения (Stream_1), и кодированные данные изображения для изображений уровней от 0 до 2, включенные в основной поток (Stream_0) (см. модули доступа (AU), представленные рамкой из пунктирной линии), скорректированные так, чтобы они представляли одинаковые временные характеристики, как и в случае, когда кодирование выполняют так, чтобы интервалы декодирования кодированных данных изображения для изображений всех уровней представляли собой равные интервалы, на основе информации S(i) коррекции времени, комбинируют в один поток, в порядке декодирования, отбираемый в буфер, и последовательно декодируют через интервалы декодирования, представляющие собой равные интервалы (1/120 секунды).
На фиг. 10 иллюстрируется информация коррекции S(i), вставляемая в ассоциации с каждыми из кодированных данных изображения, для изображений заданного уровня или уровня (более низкого уровня) ниже, чем заданный уровень, когда выполняют "второе кодирование" в примере масштабируемого кодирования на фиг. 3.
Информацию S(i) коррекции времени вставляют в ассоциации с каждыми из данными кодированного изображения для изображений уровней от 0 до 2, используемых как участки с разрешением 1/2 по времени среди уровней от 0 до 3 разрешения по времени. В этом случае величину коррекции i для модуля доступа (изображения) "2" устанавливают в "0", величину i коррекции для модуля доступа (изображения) "3" устанавливают в "-1", величину i коррекции для модуля доступа (изображения) "4" устанавливают в "-2", и величину i коррекции для модуля доступа (изображения) "7" устанавливают в -"1". В каждой из последующих подгрупп изображений (GOP) повторяют то же самое.
На стороне приема, когда выполняют отображение, используя декодер 60Р, кодированные данные изображения для изображений уровней от 0 до 2, используемых как участок с разрешением по времени, отбирают в буфер и декодируют через равные интервалы (1/60 секунды), в соответствии с исходными временными характеристиками декодирования. На стороне приема, когда выполняют отображение с помощью декодера 120Р, кодированные данные изображения для изображений от 0 до 3 с разрешением полного времени отбирают в буфер и декодируют. В это время, как обозначено модулями доступа (AU) в виде рамки из пунктирной линии, временные характеристики декодирования кодированных данных изображения для изображений уровней от 0 до 2 корректируют так, чтобы они представляли собой такие же временные характеристики, как и в случае, когда кодирование выполняют таким образом, что интервалы декодирования кодированных данных изображения для изображений всех уровней представляют собой равные интервалы (1/120 секунды).
Кодер 102 вставляет SEI регулировки временных характеристик (Timing_adjustment SEI), включающую в себя информацию коррекции времени, которая была вновь определена, как описано выше, как одна из SEI префикса (Prefix_SEI).
На фиг. 11(а) иллюстрируется примерная структура (синтаксис) интерфейса (I/F) для вставки регулировки временных характеристик SEI. Поле "uuid_iso_iec_11578" имеет значение UUID, описанное в ISO/IEC 11578:1996 Annex А." "Информацию Timing_adjustment ()" вставляют в поле "user_data_payload_byte".
На фиг. 11(b) иллюстрируется примерная структура (синтаксис) "информации о Timing_adjustment ()". На фиг. 12 иллюстрируется содержание (семантика) основной информации в примерной структуре. ID заданных данных пользователя добавляют к 16-битному полю "userdata_id". 8-битное поле "Timing_adjustment information_length" обозначает количество байтов (величину подсчета от присутствующего элемента до следующего элемента) "информации Timing_adjustment".
2-битное поле "adjustment_type" обозначает тип информации коррекции времени и, таким образом, тип коррекции временных характеристик декодирования. "01" обозначает первый тип. В этом случае, например, это обозначает, что кодирование выполняют в единицах по 120 p, и коррекция на стороне приема представляет собой коррекцию на временные интервалы низкой частоты 60р с высокой частоты 120р. "10" обозначает второй тип. В этом случае, например, это обозначает, что кодирование выполняют в единицах 60р, и коррекция на стороне приема представляет собой коррекцию на временные интервалы высокой частоты 120р с низкой частоты 60р.
24-битное поле "au_cpb_removal_delay_offset" обозначает информацию коррекции времени. Информация коррекции времени обозначает значение разности (точность 90 кГц) с "cpb_removal_delay" целевого модуля доступа (AU). Основание тактовой частоты, обозначающее период отображения по времени соответствующего среза или изображения обозначено num_units_in_tick, например, предполагается, что интервал кадра должен составлять 120 Гц на основе значения масштабирования информации времени, обозначенной "time_scale", и количество скорректированных кадров (с кодом) времени декодирования этого модуля выражено точностью 90 кГц.
На фиг. 13 иллюстрируется пример конфигурации кодера 102. Кодер 102 включает в себя модуль 121 генерирования временного id, модуль 122 управления задержкой буфера, модуль 123 декодера гипотетической ссылки (HRD), модуль 124 кодирования набора параметра/SEI, модуль 125 кодирования среза и модуль 126 формирования пакета NAL.
Информацию о количестве уровней подают из CPU 101 в модуль 121 генерирования временного ID. Модуль 121 генерирования временного ID генерирует "temporal_id", в соответствии с количеством уровней, на основе информации о количестве уровней. Например, в примере масштабируемого кодирования на фиг. 3, генерируется "temporal_id" = от 0 до 3.
В модуль 122 управления задержкой буфера подают информацию о минимальных возможностях декодирования (целевых минимальных возможностях декодера) из CPU 101, и подают temporal_id, сгенерированный модулем 121 генерирования временного id. Модуль 122 управления задержкой буфера рассчитывает "initial_cpb_removal_delay", используемый, как исходное значение буферизации cpb (буферизация) и "cpb_removal_delay", и "dpb_output_delay" каждого изображения для каждого видеопотока.
Модуль 122 управления задержкой буфера управляет "cpb_removal_delay" в буфере cpb каждого подпотока. Модуль 122 управления задержкой буфера выполняет управление таким образом, что отказ буфера не происходит в буфере dpb между временными характеристиками декодирования и временными характеристиками отображения декодера.
В этом случае при "первом кодировании" "cpb_removal_delay" управляют таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней, представляют собой равные интервалы. Кроме того, при "втором кодировании", "cpb_removal_delay" управляют таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, который может быть воспроизведен приемником предшествующего уровня техники, который не поддерживает HFR, представляют собой равные интервалы, и временные характеристики декодирования кодированных данных изображения для изображений уровня более высокого, чем заданный уровень, являются теми же временными характеристиками, как и в случае, когда кодирование выполняют так, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней представляют собой равные интервалы.
В модуль 123 установки HRD подают "cpb_removal_delay" и "dpb_output_delay" изображения каждого видеопотока, рассчитанные модулем 122 управления задержкой буфера, и подают информацию о количестве потоков из CPU 101. Модуль 123 установки HRD выполняет установку HRD на основе информации.
В модуль 124 кодирования набора параметров/SEI подают информацию установки HRD. Модуль 124 кодирования набора параметров/SEI генерирует наборы параметров изображений каждого уровня, таких как VPS, SPS и PPS, и различные виды SEI, в соответствии с количеством потоков, предназначенных для кодирования.
Например, генерируют регулировку временных характеристик SEI (Timing_adjustment SEI). Кроме того, например, генерируют временные характеристики изображения SEI, включающие в себя "cpb_removal_delay" и "dpb_output_delay". Кроме того, например, генерируют период буферизации SEI, включающий в себя "initial_cpb_removal_time". Период буферизации SEI генерируют в ассоциации с первым изображением (модулем доступа) GOP.
"Исходное время удаления cpb" обозначает время (исходное время), при котором кодированные данные изображения первого изображения GOP выделяют из буфера сжатых данных (cpb), когда кодированные данные изображения первого изображения GOP декодируют."cpb_removal_delay" представляет собой время, когда кодированные данные изображения каждого изображения выделяют из буфера сжатых данных (cpb), и это время определяют в соответствии с "initial_cpb_removal_time". Кроме того, "dpb_output_delay" обозначает время, когда ее выделяют после декодирования и вводят в буфер несжатых данных (dpb).
Модуль 125 кодирования среза кодирует данные изображения для изображений каждого уровня, и получает данные среза (заголовок сегмента среза и данные сегмента среза). Модуль 125 кодирования среза вставляет "ref_idx_10_active (ref_idx_11_active)", обозначающий индекс изображения назначения прогнозирования для "модуля прогнозирования" в "заголовке сегмента среза", как информацию, обозначающую состояние прогнозирования в направлении времени через буфер кадра. В результате, во время декодирования, эталонное изображение определяют вместе с уровнем для уровня, обозначенного temporal_id. Кроме того, модуль 125 кодирования среза вставляет "short_term_ ref_pic_set_idx" или "it_idx_sps" в "заголовок сегмента среза", как индекс текущего среза.
Модуль 126 формирования пакетов NAL генерирует кодированные данные изображения изображений каждого уровня на основе набора параметров и SEI, сгенерированных модулем 124 кодирования набора параметров/SEI, и данных среза, генерируемых модулем 125 кодирования среза, и выводит видеопотоки (кодированный поток), количество которых соответствует количеству потоков.
В это время "temporal_id", обозначающий уровень, добавляют к заголовку модуля NAL для каждого изображения (см. фиг. 4). Кроме того, изображения, принадлежащие уровню, обозначенному "temporal_id", группируют, как подуровень (sub_layer), и значение обозначения уровня "Level_idc" скорости передачи битов каждого подуровня обозначено "sublayer_level_idc" и вставлено в VPS или SPS.
На фиг. 14 представлен пример потока обработки кодера 102. На этапе ST1 кодер 102 начинает обработку и затем переходит к обработке на этапе ST2. На этапе ST2 кодер 102 проверяет частоту кадров FR последовательности движущихся изображений (данные движущегося изображения), предназначенных для кодирования.
Затем, на этапе ST3, кодер 102 определяет, выполняется или нет кодирование, совместимое с декодером (приемник без поддержки HFR) с низкой частоты LF (LF<LR). Другими словами, определяют, выполняют или нет "второе кодирование". Когда такое кодирование выполняют, кодер 102 переходит к обработке на этапе ST4.
На этапе ST4, кодер 102 иерархически кодирует последовательность движущегося изображения с частотой FR кадров, и выполняет кодирование таким образом, что "cpb_removal_delay" изображений более низкого уровня, соответствующего низкой частоте LF, представляет собой постоянный временной интервал.
Затем, на этапе ST5, кодер 102 кодирует период разности времени "au_cpb_removal_delay_offset" с "cpb_removal_delay", когда кодирование выполняют во временные интервалы с частотой FR кадров в SEI, как информацию коррекции времени, вместе с типом коррекции "adjustment_type". После обработки на этапе ST5, на этапе ST6 кодер 102 заканчивает обработку.
Когда кодирование, совместимое с декодером низкой частоты LF не выполняют на этапе ST3, кодер 102 переходит к обработке на этапе ST7. На этапе ST7, кодер 102 определяет, кодируют или нет информацию коррекции времени, которая должна быть скорректирована декодером (приемником без поддержки HFR) для низкой частоты LF (LF<LR). Другими словами, определяют, выполняется ли "первое кодирование".
Когда кодируют информацию коррекции времени, кодер 102 переходит к обработке на этапе ST8. На этапе ST8 кодер 102 иерархически кодирует последовательность движущегося изображения с частотой FR кадров, определяет "cpb_removal_delay" через временные интервалы с частотой кадров FR, и выполняет кодирование.
Затем, на этапе ST9, кодер 102 кодирует период разности времени "au_cpb_removal_delay_offset" с "cpb_removal_delay", когда кодирование выполняют во время интервала низкой частоты LF, в SEI, как информацию коррекции времени, вместе с типом коррекции "adjustment_type". После обработки на этапе ST9, на этапе ST6, кодер 102 заканчивает обработку.
Кроме того, когда информация коррекции времени, которая была скорректирована декодером LF низкой частоты, не кодируется на этапе ST7, кодер 102 переходит к обработке на этапе ST10. На этапе ST10 кодер 102 иерархически кодирует последовательность движущихся изображений для частоты FR кадров, определяет "cpb_removal_delay" во временной интервал частоты FR кадров, и выполняет кодирование. После обработки на этапе ST10, на этапе ST6 кодер 102 заканчивает обработку.
Снова, как показано на фиг. 2, буфер 103 сжатых данных (cpb) временно накапливает видеопоток, включающий в себя кодированные данные изображений каждого уровня, который генерируют с помощью кодера 102. Мультиплексор 104 получает транспортный поток TS, используемый, как мультиплексированный поток, путем считывания видеопотока, накопленного в буфере 103 сжатых данных, генерируя пакеты PES, генерируя транспортные пакеты и выполняя мультиплексирование. Транспортный поток TS включает в себя один или больше видеопотоков, как описано выше.
Мультиплексор 104 вставляет информацию коррекции времени для коррекции временных характеристик декодирования в пакет, содержащий кодированные данные изображения, для изображений заданного уровня или уровня ниже, чем заданный уровень, например, пакет PES, в который вставлена SEI регулировки временных характеристик (Timing_adjustment SEI). Информация коррекции времени является такой же, как и информация коррекции времени, вставленная в кодированные данные изображения кодером 102, как описано выше. В данном варианте осуществления информацию коррекции времени вставляют в поле расширения PES пакета PES.
На фиг. 15 иллюстрируется примерная структура (синтаксис) данных поля расширения PES (pes_extension_field_data). На фиг. 16 иллюстрируется содержание (семантика) основной информации в примерной структуре. Предполагается, что "длину поля PES_extension" задают за пределами структуры синтаксиса. 8-битное поле "start_sync_byte" обозначает значение кода, обозначающее начало поля расширения. 8-битное поле "extension_field_type" обозначает тип поля расширения. "0×03" обозначает, что была подана информация коррекции, относящаяся к временным характеристикам декодирования.
2-битное поле "adjustment_type" обозначает тип информации коррекции времени, таким образом, тип коррекции временных характеристик декодирования. "01" обозначает первый тип. В этом случае, например, это обозначает, что кодирование выполняют в модулях по 120р, и коррекция на стороне приема представляет собой коррекцию до временных интервалов с низкой частотой 60р с высокой частоты 120р. "10" обозначает второй тип. В этом случае, например, это обозначает, что кодирование выполняют в единицах по 60р, и коррекция на стороне приема представляет собой коррекцию до временных интервалов высокой частоты 120р с низкой частоты 60р.
24-битное поле "offset_to_DTS" обозначает значение разности смещения (с единичным кодом 90 кГц) из временной метки декодирования (DTS), прикрепленной к заголовку PES или временной метки презентации (PTS) в случае модуля доступа (AU), не имеющего DTS.
Мультиплексор 104 вставляет информацию идентификации, обозначающую, что информация коррекции времени была вставлена в кодированные данные изображения или расширение PES на уровне транспортного потока TS. Такую информацию идентификации вставляют в контур элементарного видеопотока, размещенный в ассоциации с каждым видеопотоком, в соответствии с таблицей карты программы, как дескриптор.
Мультиплексор 104 вставляет дескриптор временного расширения (Temporal_extension_descriptor), который был вновь определен вместе с дескриптором HEVC (HEVC_descriptor). На фиг. 17 иллюстрируется примерная структура (синтаксис) дескриптора временного управления. На фиг. 18 иллюстрируется содержание (семантика) основной информации в примерной структуре.
8-битное поле "Temporal_extension_descriptor_tag" обозначает тип дескриптора. Здесь это обозначает дескриптор временного расширения. 8-битное поле "Temporal_extension_descriptor_length" обозначает длину (размер) дескриптора, и длина дескриптора обозначена номером последующего байта. Здесь это обозначает, что длина дескриптора составляет один байт.
1-битное поле "Temporal_extension_existed" обозначает, была или нет вставлена информация коррекции времени в кодированные данные изображения или в расширение PES. "1" обозначает, что "offset_to_DTS" прикреплен к расширению PES, и существует SEI регулирования временных характеристик (Timing_adjustment SEI) в кодированных данных изображения (видеопоток). "0" обозначает, что "offset_to_DTS" не обязательно прикреплено к расширению PES, и нет гарантии, что присутствует SEI регулирования временных характеристик (Timing_adjustment SEI) в кодированных данных изображения (видеопоток).
2-битное поле "adjustment_type" обозначает тип информации коррекции времени и, таким образом, тип коррекции временных характеристик декодирования. "01" обозначает первый тип. В этом случае, например, это обозначает, что кодирование выполняют в единицах 120р, и коррекция на стороне приема представляет собой коррекцию до временных интервалов низкой скорости 60р с высокой скорости 120р. "10" обозначает второй тип. В этом случае, например, это обозначает, что кодирование выполняют в единицах 60р, и коррекция на стороне приема представляет собой коррекцию до временных интервалов высокой скорости 120р с низкой скорости 60р.
На фиг. 19 иллюстрируется примерная структура (синтаксис) дескриптора HEVC (HEVC_descriptor). 8-битное поле "descriptor_tag" обозначает тип дескриптора, и обозначает здесь дескриптор HEVC. 8-битное поле "descriptor_length" обозначает длину (размер) дескриптора, и длина дескриптора обозначена последующим номером байта.
8-битное поле "level_idc" обозначает уровень значения обозначения частоты битов. Кроме того, когда "temporal_layer_subset_flag равен 1", существует 5-битное поле "temporal_id_min" и 5-битное поле "temporal_id_max". "temporal_id_min" обозначает значение temporal_id самого нижнего уровня масштабируемых кодированных данных, включенных в соответствующий видеопоток. "temporal_id_max" обозначает значение temporal_id самого высокого уровня масштабируемых кодированных данных, включенных в соответствующий видеопоток.
На фиг. 20 иллюстрируется примерная конфигурация мультиплексора 104. Мультиплексор 104 включает в себя модуль 142 кодирования секции, модули 143-1-143-N формирования пакетов PES, модуль 144 переключателя и модуль 145 формирования транспортных пакетов.
Модули 143-1-143-N формирования пакетов PES считывают видеопотоки (элементарные потоки) от 1 до N, накопленные в буфере 103 сжатых данных, и генерируют пакеты PES. Здесь, по меньшей мере, один основной поток включен в каждый из видеопотоков от 1 до N. Когда N равно 2 или больше, включены один основной поток и один или больше потоков расширения.
В это время модули 143-1-143-N формирования пакетов PES добавляют временные метки, такие как метка времени декодирования (DTS) и метка времени презентации (PTS), к заголовку PES на основе информация HRD видеопотоков от 1 до N.
В этом случае DTS и PTS генерируют и точно синхронизируют с системным временем (STC), со ссылкой на "cpu_removal_delay" и "dpb_output_delay" каждого изображения, и размещают в заданном положении заголовка PES.
Среди модулей 143-1-143-N формирования пакетов PES, модуль формирования пакетов PES, который обрабатывает видеопоток, включающий в себя кодированные данные изображения, в которых присутствует SEI регулирования временных характеристик, (Timing_adjustment SEI) получает "au_cpb_removal_delay_offset", используемый, как информация коррекции времени, и "adjustment_type", используемый, как информация типа из SEI регулирования временных характеристик. Затем модуль формирования пакетов PES прикрепляет "offset_to_DTS", используемый, как информация коррекции времени, и "adjustment_type", используемый как информация типа, к расширению PES заголовка PES.
Модуль 144 переключателя избирательно выделяет пакеты PES, генерируемые модулями 143-1-143-N формирования пакетов PES, на основе идентификатора пакета (PID) и передает выделенный пакет PES в модуль 145 формирования транспортных пакетов. Модуль 145 формирования транспортных пакетов генерирует пакет TS, в который включен пакет PES в полезную нагрузку, и получает транспортный поток TS.
Модуль 142 кодирования секции генерирует различного рода данные секции, которые должны быть вставлены в транспортный поток TS. Информацию, такую как количество уровней и количество потоков, подают из CPU 101 в модуль 142 кодирования секции. Модуль кодирования 142 секции генерирует дескриптор HEVC (HEVC_descriptor) на основе этой информации.
Кроме того, информацию присутствия SEI регулирования временных характеристик (Timing_adjustment SEI), информацию вставки "offset_to_DTS" для расширения PES и т.п. для каждого из пакетов PES, генерируемых модулями 143-1-143-N формирования пакетов PES, подают из CPU 101 в модуль 142 кодирования секции. Модуль 142 кодирования секции генерирует дескриптор временного расширения (Temporal_extension_descriptor) на основе этой информации.
Модуль 142 кодирования секции передает различного рода данные секции в модуль 145 формирования транспортных пакетов. Модуль 145 формирования транспортных пакетов генерирует пакет TS, включающий в себя данные секции, и вставляет сгенерированный пакет TS в транспортный поток TS. В это время тип потока также вставляют в контур элементарного видеопотока (контур Видео ES), размещенный в ассоциации с каждым видеопотоком. В этом случае тип потока основного потока установлен в "0×24", и тип потока для потока расширения установлен, например, в "0×25", который вновь определен.
На фиг. 21 иллюстрируется поток обработки мультиплексора 104. На этапе ST11, мультиплексор 104 начинает обработку и затем переходит к обработке на этапе ST12. На этапе ST12 мультиплексор 104 рассчитывает временную метку на основе SEI временных характеристик изображения, SEI периода буферизации, SEI регулирования временных характеристик или информации HRD видеопотока (элементарного потока).
Затем, на этапе ST13, мультиплексор 104 размещает DTS и PTS в заголовке PES и размещает "offset_to_DTS", используемый, как информация коррекции времени, и "adjustment_type", используемый, как информация типа в расширении PES, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень. Затем, на этапе ST14, мультиплексор 104 вставляет видеопоток (элементарный поток) в полезную нагрузку PES.
Затем, на этапе ST15, мультиплексор 104 кодирует дескриптор временного расширения (Temporal_extension_descriptor) в области секции. Затем, на этапе ST16, мультиплексор 104 преобразует его в пакет TS, и выводит пакет TS. На этапе ST17, мультиплексор 104 заканчивает обработку после окончания обработки на этапе ST16.
На фиг. 22 иллюстрируется примерная конфигурация транспортного потока TS, когда определенная услуга HFR предоставляется через два потока. Два видеопотока, то есть основной поток и поток расширения включены в транспортный поток TS. Другими словами, в данной примерной конфигурации, существует пакет PES "видео PES1" основного потока, и существует пакет PES "видео PES2" потока расширения.
"offset_to_DTS", используемое как информация коррекции времени и "adjustment_type", используемое как информация типа, размещаются в поле расширения PES заголовка PES в пакете PES "видео PES1", содержащем кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень. DTS и PTS также размещаются в заголовке PES. SEI периода буферизации, SEI временных характеристик изображения и т.п. вставляют в кодированные данные изображения каждого изображения. SEI регулировки временных характеристик вставляют в кодированные данные изображения каждого изображения, содержащегося в пакете PES "видео PES1".
Таблица карты программы (РМТ) включена в транспортный поток TS, как одна из информации, специфичной для программы (PCI). PCI представляет собой информацию, обозначающую программу, которой принадлежит каждый элементарный поток, включенный в транспортный поток.
В РМТ имеется контур программы, в котором описана информация, ассоциированная со всей программой. Кроме того, в РМТ существует контур элементарного потока, включающий в себя информацию, ассоциированную с каждым видеопотоком. В этой примерной конфигурации существует контур элементарного видеопотока "контур видео ES1", соответствующий основному потоку, и существует контур элементарного видеопотока "контур видео ES2", соответствующий потоку расширения.
Информация, такая как тип потока и идентификатор пакета (PID), размещена в "контуре видео ES1", в ассоциации с основным потоком (видео PES1), и дескриптор, описывающий информацию, ассоциированную с видеопотоком, также размещен в "контуре видео ES1". Тип потока установлен, как "0×24", обозначающий основной поток. Дескриптор HEVC или дескриптор временного расширения вставлен, как один из дескрипторов.
Информация, такая как тип потока и идентификатор пакета (PID), размещена в "контуре видео ES2", в ассоциации с потоком расширения (видео PES2), и дескриптор, описывающий информацию, ассоциированную с видеопотоком, размещены в "контуре видео ES2". Тип потока установлен, например, как "0×25", что обозначает поток расширения, и вновь определен. Дескриптор HEVC вставлен, как один из дескрипторов.
На фиг. 23 иллюстрируется примерная конфигурация транспортного потока TS, когда определенную услугу HFR предоставляют через один поток. Такой транспортный поток TS включает только основной поток. Другими словами, в этой примерной конфигурации существует пакет PES "видео PES1" основного потока.
"offset_to_DTS", используемая, как информация коррекции времени, и "adjustment_type", используемая, как информация типа, размещены в поле расширения PES заголовка PES в пакете PES, содержащем кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, среди пакетов PES "видео PES1". DTS и PTS также размещены в заголовке PES. SEI периода буферизации, SEI временных характеристик изображения и т.п. вставлены в данные кодированного изображения для каждого изображения. SEI регулирования временных характеристик вставлена в данные кодированного изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, среди данных кодированного изображения каждого изображения, содержащегося в пакете PES "видео PES1".
РМТ включен в транспортный поток TS, как одна из PSI. PSI представляет собой информацию, обозначающую программу, которой принадлежит каждый элементарный поток, включенный в транспортный поток.
В РМТ существует контур программы, описывающий информацию, ассоциированную со всей программой. Кроме того, в РМТ существует контур элементарного потока, включающий в себя информацию, ассоциированную с каждым видеопотоком. В этой примерной конфигурации существует контур элементарного потока видеоданных "контур видео ES1", соответствующий основному потоку.
"Информация, такая как тип потока и идентификатор пакета (PID) размещена в "контуре видео ES1", в ассоциации с основным потоком (видео PES1), и информация, описывающая дескриптор, ассоциированная с видеопотоком, также размещена в "контуре видео ES1". Тип потока установлен в "0×24", обозначающий основной поток. Дескриптор HEVC или дескриптор временного расширения вставлен, как один из дескрипторов.
Возвращаясь снова к фиг. 2, модуль 105 передачи модулирует транспортный поток TS, например, в соответствии со схемой модуляции, пригодной для широковещательной передачи, такой как QPSK/OFDM и т.п., и передает сигнал модуляции RF через передающую антенну.
Операция устройства 100 передачи, представленная на фиг. 2, будет кратко описана ниже. Данные несжатого движущегося изображения подают в кодер 102. Кодер 102 выполняет масштабируемое кодирование для данных движущегося изображения. Другими словами, кодер 102 классифицирует данные изображения для изображений, конфигурирующих данные движущегося изображения, на множество уровней, кодирует множество уровней и генерирует видеопотоки, включающие в себя данные кодированного изображения, для изображений соответствующих уровней. В это время кодирование выполняют таким образом, что изображение, на которое должна быть сделана ссылка, принадлежит его собственному уровню и/или уровню ниже, чем его собственный уровень.
Кодер 102 генерирует один или больше видеопотоков. Когда генерируют одиночный видеопоток, видеопоток включает в себя кодированные данные изображения из изображений всех уровней. С другой стороны, когда генерируют множество видеопотоков, кодер 102 разделяет множество уровней на заданное количество (2 или больше) из наборов уровней и генерирует заданное количество видеопотоков, каждый из которых имеет кодированные данные изображения из изображений каждого набора уровней.
Кодер 102 выполняет "первое кодирование" или "второе кодирование" в отношении временных характеристик декодирования кодированных данных изображения для каждого изображения. "Первое кодирование" применимо не только, когда генерируют одиночный видеопоток, но также и когда генерируют множество видеопотоков. С другой стороны, "второе кодирование" применимо только, когда генерируется множество видеопотоков.
В "первом кодировании" кодирование выполняют таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней, представляют равные интервалы. Во "втором кодировании" кодирование выполняют таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, который может быть воспроизведен приемником предшествующего уровня техники, который не поддерживает HFR, представляют собой равные интервалы. Кроме того, при "втором кодировании" кодирование выполняют так, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, являются такими же временными характеристиками, как и в случае, когда кодирование выполняют так, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней представляют равные интервалы.
В обоих вариантах кодирования кодер 102 вставляет информацию коррекции времени для коррекции временных характеристик декодирования, в ассоциации с каждыми из кодированных данных изображения, для изображений заданного уровня или уровня ниже, чем заданный уровень, который может быть воспроизведен приемником предшествующего уровня техники, который не поддерживает HFR. Тип информации, идентифицирующий, является ли тип информации коррекции времени первым типом информации коррекции времени, соответствующим "первому кодированию" или второму типу информации коррекции времени, соответствующему "второму кодированию", добавляют к информации коррекции времени.
Первый тип информации коррекции времени представляет собой информацию для коррекции временной характеристики декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы. С другой стороны, второй тип информации коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как и временные характеристики декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображений всех уровней имеют равные интервалы.
В частности, кодер 102 вставляет SEI регулирования временных характеристик (Timing_adjustment SEI), которая вновь определена, в кодированные данные изображения, для изображений заданного уровня или уровня ниже, чем заданный уровень. Такая SEI включает в себя "au_cpb_removal_delay_offset", используемую как информация коррекции времени, и "adjustment_type", используемую как информация типа (см. фиг. 11(b)).
Видеопотоки, генерируемые кодером 102, подают в и временно накапливают в буфере 103 сжатых данных (cpb). Мультиплексор 104 получает транспортный поток TS, используемый как мультиплексированный поток, путем считывания видеопотоков, накопленных в буфере 103 сжатых данных, генерируя пакеты PES, генерируя транспортные пакеты и выполняя мультиплексирование.
Мультиплексор 104 вставляет информацию коррекции времени для коррекции временных характеристик декодирования в пакет, содержащий кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, на котором вставлена SEI регулирования временных характеристик (Timing_adjustment SEI), например, пакет PES. Информация коррекции времени является такой же, как и информация коррекции времени, вставленная в кодированные данные изображения кодером 102, как описано выше, и включает в себя информацию типа, также добавленную к нему. В частности, мультиплексор 104 добавляет "offset_to_DTS", используемую, как информация коррекции времени, и "adjustment_type", используемую, как информация типа в поле расширения PES пакета PES (см. фиг. 15).
Мультиплексор 104 вставляет информацию идентификации, обозначающую, что информация коррекции времени вставлена в кодированные данные изображения или расширение PES в уровне транспортного потока TS. В частности, мультиплексор 104 вставляет вновь определенный дескриптор временного расширения (Temporal_extension_descriptor) в контур элементарного видеопотока, размещенный в ассоциации с видеопотоком, в соответствии с таблицей карты программы (см. фиг. 17).
Транспортный поток TS, генерируемый мультиплексором 104, передают в модуль 105 передачи. Модуль 105 передачи модулирует транспортный поток TS, например, в соответствии со схемой модуляции, пригодной для широковещательной передачи, такой как QPSK/OFDM и т.п., и передает сигнал модуляции RF через передающую антенну.
Конфигурация устройства приема
На фиг. 24 представлена примерная конфигурация устройства 200 приема. Устройство 200 приема включает в себя CPU 201, модуль 202 приема, демультиплексор 203 и буфер 204 сжатых данных (cpb). Устройство 200 приема дополнительно включает в себя декодер 205, буфер 206 несжатых данных (dpb) и модуль 207 последующей обработки.
CPU 201 конфигурирует модуль управления, и управляет операциями соответствующих модулей устройства 200 приема. CPU 201 оборудовано процессором управления временными характеристиками (TCP) и управляет временными характеристиками декодирования и временными характеристиками дисплея в единицах модулей доступа (изображения).
Модуль 202 приема демодулирует RF сигнал модуляции, принимаемый через приемную антенну, и получает транспортный поток TS. Демультиплексор 203 избирательно выделяет кодированные данные изображения для изображений уровня из транспортного потока TS, в соответствии с возможностями декодирования (временными возможностями уровня декодера), и передает выделенные кодированные данные изображения в буфер 204 сжатых данных (cpb).
Демультиплексор 203 выполняет обработку в соответствии с "первым кодированием" или "вторым кодированием", которое было выполнено для видеопотока, включенного в транспортный поток TS. Демультиплексор 203 определяет, является ли кодирование "первым кодированием" или "вторым кодированием" на основе типа информации коррекции времени, включенной, например, в дескриптор временного расширения. Другими словами, демультиплексор 203 определяет кодирование, как "первое кодирование", когда информация коррекции времени представляет собой первый тип, и определяет кодирование, как "второе кодирование", когда информация коррекции времени является информацией второго типа.
На фиг. 25 иллюстрируется пример функциональной конфигурации демультиплексора (модуля системного анализа) 203, когда выполняется "первое кодирование" для видеопотока. Демультиплексор 203 включает в себя модуль 231 фильтра PID, анализатор 232 секции, анализатор 233 пакета PES, модуль 234 обработки преобразования DTS и процессоры 235 и 236 модуля доступа.
Модуль 231 фильтра PID выполняет фильтрацию на основе идентификатора пакета (PID), в соответствии с возможностью декодирования, и выделяет необходимый видеопоток. Например, в примере масштабируемого кодирования на фиг. 3, считается, что существуют два видеопотока, то есть основной поток (Stream_0) и поток расширения (Stream_1) (см. фиг. 9). В этом случае, когда предусмотрен декодер 60р без поддержки HFR, выделяют только основной поток (Stream_0), включающий в себя кодированные данные изображения для изображений уровней от 0 до 2, которые могут быть обработаны декодером 60р. Кроме того, например, когда предусмотрен декодер 120р с поддержкой HFR, в дополнение к основному потоку (Stream_0), выделяют поток расширения (Stream_1), включающий в себя кодированные данные изображения для изображений уровня 3.
Кроме того, например, в примере масштабируемого кодирования на фиг. 3, предусматривается, что существует только видеопоток, такой как основной поток (Stream_0) (см. фиг. 7). В этом случае, когда предусмотрен декодер 60p без поддержки HFR, выделяют основной поток (Stream_0), хотя предусмотрен декодер 120р с поддержкой HFR.
Анализатор 232 секции анализирует данные секции видеопотока (целевого видеопотока), выделяемые модулем 231 фильтра PID. Затем анализатор 232 секции получает информацию присутствия для SEI регулирования временных характеристик на основе, например, дескриптора временного расширения, передает информацию присутствия SEI регулирования временных характеристик в CPU 201 и передает информацию типа "adjustment_type" для информации коррекции времени в CPU 201.
Анализатор 233 пакета PES анализирует пакет PES. Анализатор 233 пакета PES получает PTS и DTS, вставленные в заголовок PES, и информацию коррекции времени "offset_to_DTS", вставленную в расширение PES, и передает PTS, DTS и информацию коррекции времени "offset_to_DTS" в CPU 201.
Модуль 234 обработки преобразования DTS выполняет обработку преобразования DTS, когда декодер 205 представляет собой декодер 60р, и видеопоток, включающий в себя кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, который может быть обработан декодером 60р, передают в декодер 205. Модуль 234 обработки преобразования DTS заменяет DTS, вставленный в заголовок пакета PES, содержащий кодированные данные изображения, для изображений заданного уровня или уровня ниже, чем заданный уровень, среди кодированных данных изображения, для изображений, включенных в основной поток (Stream_0) на скорректированный DTS (= новый DTS), скорректированный используя информацию коррекции времени "offset_to_DTS".
Модуль 234 обработки преобразования DTS может самостоятельно рассчитывать скорректированный DTS (= новый DTS) и использовать скорректированный DTS, но может использовать скорректированный DTS (= новый DTS), рассчитанный CPU 201, как представлено на чертежах.
Когда декодер 205 представляет собой декодер 60р, процессор 235 модуля доступа передает видеопоток, включающий в себя кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, который может быть обработан декодером 60р, в декодер 205 через буфер 204 сжатых данных (cpb).
Здесь, когда основной поток (Stream_0) включает в себя только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, процессор 235 модуля доступа без изменения передает выход модуля 234 обработки преобразования DTS, который предназначен для накопления в буфере 204 сжатых данных (cpb). С другой стороны, когда основной поток (Stream_0) включает в себя кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображений всех уровней, процессор 235 модуля доступа выделяет только участок, соответствующий кодированным данным изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, из выхода модуля 234 обработки преобразования DTS со ссылкой, например, на присутствие расширения PES, и передает выделенный участок, предназначенный для накопления, в буфере 204 сжатых данных (cpb).
Когда декодер 205 представляет собой декодер 120р, процессор 236 модуля доступа передает видеопоток, включающий в себя кодированные данные изображения, для изображений всех уровней в декодер 205 через буфер 204 сжатых данных (cpb).
Здесь, когда основной поток (Stream_0) включает в себя кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображений всех уровней, процессор 236 модуля доступа переносит основной поток (Stream_0), предназначенный для накопления в буфере 204 сжатых данных (cpb) без изменения. С другой стороны, когда основной поток (Stream_0) включает в себя кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, и поток расширения (Stream_1) включает в себя кодированные данные изображения для изображений уровня выше, чем заданный уровень, процессор 236 модуля доступа генерирует один видеопоток путем комбинирования кодированных данных изображения двух потоков в порядке DTS и передает сгенерированный видеопоток, предназначенный для накопления, в буфер 204 сжатых данных (cpb).
На фиг. 26 иллюстрируется пример функциональной конфигурации демультиплексора (модуля анализа системы) 203, когда выполняется "второе кодирование" для видеопотока. Демультиплексор 203 включает в себя модуль 241 фильтра PID, анализатор 242 секции, анализатор 243 пакета PES, модуль 244 обработки преобразования DTS и процессор 245 модуля доступа.
Модуль 241 фильтра PID выполняет фильтрацию на основе идентификатора пакета (PID), в соответствии с возможностями декодирования, и выделяет необходимый видеопоток. Например, в примере масштабируемого кодирования на фиг. 3, предусматривается присутствие двух видеопотоков, то есть основного потока (Stream_0) и потока расширения (Stream_1) (см. фиг. 6). В этом случае, когда предусмотрен декодер 60р без поддержки HFR, выделяют только основной поток (Stream_0), включающий в себя кодированные данные изображения для изображений уровней от 0 до 2, которые могут быть обработаны декодером 60р. Кроме того, например, когда предусмотрен декодер 120р с поддержкой HFR, в дополнение к основному потоку (Stream_0), выделяют поток расширения (Stream_1), включающий в себя кодированные данные изображения для изображений уровня 3.
Анализатор 242 секции анализирует данные секции для видеопотока (целевого видеопотока), выделяемого модулем 241 фильтра PID. Затем анализатор 242 секции получает информацию присутствия в SEI регулирования временных характеристик на основе, например, дескриптора временного расширения, передает информацию о присутствии SEI регулирования временных характеристик в CPU 201, и передает информацию типа в "adjustment_type" информации коррекции времени в CPU 201.
Анализатор 243 пакета PES анализирует пакет PES. Анализатор 243 пакета PES получает PTS и DTS, вставленные в заголовок PES, и информацию коррекции времени "offset_to_DTS", вставленную в расширение PES, и передает PTS, DTS и информацию коррекции времени "offset_to_DTS" в CPU 201.
Модуль 244 обработки преобразования DTS выполняет обработку преобразования DTS, когда декодер 205 представляет собой декодер 120р. Модуль 234 обработки преобразования DTS заменяет DTS, вставленный в заголовок пакета PES, содержащий кодированные данные изображения для изображений, включенных в основной поток (Stream_0) со скорректированным DTS (= новый DTS), скорректированным используя информацию коррекции времени "offset_to_DTS". Модуль 244 обработки преобразования DTS может рассчитывать скорректированное значение DTS (= новый DTS) самостоятельно и использовать скорректированный DTS, но может использовать скорректированный DTS (= новый DTS), рассчитанный CPU 201, как представлено на чертежах.
Когда декодер 205 представляет собой декодер 120р, процессор 245 модуля доступа передает видеопоток, включающий в себя кодированные данные изображения, для изображений всех уровней в декодер 205 через буфер 204 сжатых данных (cpb). В этом случае процессор 245 модуля доступа генерирует один видеопоток путем комбинирования выхода модуля 244 обработки преобразования DTS и кодированных данных изображения двух потоков потока расширения (Stream_1), выделенных модулем 241 фильтра PID, в порядке DTS, и передает сгенерированный видеопоток для накопления в буфере 204 сжатых данных (cpb).
Кроме того, когда декодер 205 представляет собой декодер 60р, демультиплексор 203 передает основной поток (Stream_0), выделенный модулем 241 фильтра PID, для накопления в буфере 204 сжатых данных (cpb) без изменения.
На фиг. 27 иллюстрируется пример потока обработки демультиплексора 203. На этапе ST31 демультиплексор 203 начинает обработку, и затем, на этапе ST32, демультиплексор 203 проверяет тип коррекции "adjustment_type" дескриптора временного расширения (Temporal_extension_descriptor).
Затем, на этапе ST33, демультиплексор 203 определяет, равен или нет тип коррекции "01", то есть тип информации коррекции времени представляет собой первый тип. Когда тип коррекции равен "01", на этапе ST34, демультиплексор 203 определяет, декодированы ли все уровни. Например, когда декодер 205 представляет собой декодер 120р с поддержкой HFR, определяется, что все уровни декодированы, и когда декодер 205 представляет собой декодер 60р без поддержки HFR, определяют, что некоторые уровни являются декодированными.
Когда все уровни декодированы, демультиплексор 203 переходит к обработке на этапе ST35. На этапе ST35 демультиплексор 203 подает видеопоток (кодированный поток), используемый как цель PID, в буфер 204 сжатых данных (cpb). Когда существует множество видеопотоков, имеющих цель PID, видеопотоки комбинируют в порядке DTS и передают в буфер 204 сжатых данных (cpb). После обработки на этапе ST35, на этапе ST36, демультиплексор 203 заканчивает обработку.
Когда определяют, что некоторые уровни должны быть декодированы на этапе ST34, демультиплексор 203 переходит к обработке на этапе ST37. На этапе ST37 демультиплексор 203 получает скорректированную DTS (новая DTS) путем добавления информации коррекции времени "offset_to_DTS", включенной в расширение PES к DTS, включенному в заголовок пакета PES, в который подают поток нижнего уровня (заданного уровня или уровня ниже, чем заданный уровень), который может быть обработан декодером 60р.
При этом обеспечивается возможность обработки CPU 201 для получения скорректированной DTS. В этом случае демультиплексор 203 уведомляет CPU 201 об информации временной метки, и принимает скорректированную DTS (новая DTS) из CPU 201.
Затем, на этапе ST38, демультиплексор 203 подает поток нижнего уровня (заданного уровня или уровня ниже, чем заданный уровень), в буфер 204 сжатых данных (cpb), в соответствии со скорректированным значением DTS. После обработки на этапе ST38, на этапе ST36, демультиплексор 203 заканчивает обработку.
Кроме того, когда тип коррекции не равен "01" на этапе ST33, то есть когда тип коррекции равен "10", на этапе ST39, демультиплексор 203 определяет, декодируются ли все уровни. Например, декодер 205 определяет все уровни, которые должны быть декодированы, когда декодер 205 представляет собой декодер 120р с поддержкой HFR, и определяет, что некоторые уровни декодированы, когда декодер 205 представляет собой декодер 60р без поддержки HFR.
Когда все уровни декодированы, демультиплексор 203 переходит к обработке на этапе ST37. На этапе ST37 демультиплексор 203 получает скорректированную DTS (новую DTS) путем добавления информации коррекции времени "offset_to_DTS", включенную в расширение PES для DTS, включенной в заголовок пакета PES, в который подают поток нижнего уровня (заданный уровень или уровень ниже, чем заданный уровень), который может быть обработан декодером 60р.
Затем, на этапе ST40, демультиплексор 203 комбинирует множество потоков в порядке скорректированной DTS, и подает полученный в результате поток в буфер 204 сжатых данных (cpb). После обработки на этапе ST40, на этапе ST36, демультиплексор 203 заканчивает обработку.
Кроме того, когда определяют, что некоторые уровни декодированы на этапе ST39, демультиплексор 203 переходит к обработке на этапе ST41. На этапе ST41 демультиплексор 203 подает поток нижнего уровня (заданного уровня или уровня ниже, чем заданный уровень), который может быть обработан декодером 60р, в буфер 204 сжатых данных (cpb), в соответствии с исходным значением DTS. После обработки на этапе ST41, на этапе ST36, демультиплексор 203 заканчивает обработку.
Снова обращаясь к фиг. 24, буфер 204 сжатых данных (cpb) временно накапливает видеопоток (кодированный поток), выделенный демультиплексором 203. Декодер 205 выделяет кодированные данные изображения для изображений уровня, обозначенного, как уровень, предназначенный для декодирования, из видеопотоков, накопленных в буфере 204 сжатых данных. Затем декодер 205 декодирует выделенные кодированные данные изображения каждого изображения во временные характеристики декодирования изображения, и передает декодированные данные изображения в буфер 206 несжатых данных (dpb).
Здесь, в декодере 205, уровень, предназначенный для декодирования, обозначен по temporal_id из CPU 201. Обозначенный уровень представляет все уровни, включенные в видеопоток (кодированный поток), выделенный демультиплексором 203, или некоторые уровни на стороне более низкого уровня и устанавливаются автоматически CPU 201 или в соответствии с операцией пользователя. Кроме того, временные характеристики декодирования выделяют декодер 205 из CPU 201 на основе DTS. В случае декодирования кодированных данных изображения каждого изображения, декодер 205 считывает данные изображения для эталонного изображения из буфера 206 несжатых данных, в соответствии с необходимостью, и использует эти данные изображения.
На фиг. 28 иллюстрируется примерная конфигурация декодера 205. Декодер 205 включает в себя модуль 251 анализа временного ID, модуль 252 выбора целевого уровня и модуль 254 декодирования. Модуль 251 анализа временного ID считывает видеопоток (кодированный поток), накопленный в буфере 204 сжатых данных, и анализирует temporal_id, вставленный в заголовок модуля NAL кодированных данных изображения для каждого изображения.
Модуль 252 выбора целевого уровня выделяет кодированные данные изображения для изображений уровня, обозначенного, как уровень, предназначенный для декодирования, из видеопотока, считанного из буфера 204 сжатых данных, на основе результата анализа модуля 251 анализа временного ID. Кодируемые данные изображения для каждого изображения, выделенного модулем 252 выбора целевого уровня, передают в модуль 254 декодирования. Модуль 254 декодирования последовательно декодирует кодированные данные изображения для каждого изображения во временные характеристики декодирования и передает декодированные данные изображения в буфер 206 несжатых данных (dpb).
В этом случае модуль 254 декодирования анализирует VPS и SPS, детектирует, например, значение, обозначающее уровень "sublayer_level_idc", для скорости передачи битов каждого подуровня и проверяет, может ли быть выполнено или нет декодирование в пределах возможности декодирования. В этом случае модуль 254 декодирования дополнительно анализирует SEI, детектирует, например, "initial_cpb_removal_time" и "cpb_removal_delay", получает информацию коррекции, относящуюся к временным характеристикам декодирования, из SEI регулирования временной характеристики, и проверяет временные характеристики декодирования, переданные из CPU 201, соответственно.
Кроме того, когда декодируют срез, модуль 254 декодирования получает "ref_idx_10_active (ref_idx_11_active)", как информацию, обозначающую место назначения прогнозирования в направлении времени от заголовка среза, и выполняет прогнозирование в направлении времени. Декодируемое изображение обрабатывают, как ссылку со стороны других изображений, используя "short_term_ref_pic_set_idx" или "it_idx_sps", полученные из заголовка среза, как индекс.
Снова обращаясь к фиг. 24, буфер 206 несжатых данных (dpb) временно накапливает данные изображения для каждого изображения, декодируемого декодером 205. Модуль 207 последующей обработки выполняет обработку, состоящую в регулировании частоты передачи кадров данных изображения для изображений, последовательно считываемых из буфера 206 несжатых данных (dpb) в моменты времени отображения, в соответствии с возможностями дисплея. В этом случае моменты времени отображения задают из CPU 201 на основе PTS.
Например, когда частота кадров данных изображения для декодируемых изображений составляет 120 кадров/с, и возможности дисплея составляют 120 кадров/с, модуль 207 последующей обработки передает данные изображения декодированных изображений в дисплей без изменения. Кроме того, например, когда частота кадров данных изображения декодированных изображений составляет 120 кадров/с, и возможности дисплея составляют 60 кадров/с, модуль 207 последующей обработки выполняет обработку подвыборки таким образом, что разрешение в направлении времени для данных изображения декодированных изображений составляет 1/2, и передает данные изображения с частотой 60 кадров/с в дисплей.
Кроме того, например, когда частота кадров данных изображения декодированных изображений составляет 60 кадров/с, и возможности дисплея составляют 120 кадров/с, модуль 207 последующей обработки выполняет обработку интерполяции таким образом, что разрешение в направлении времени для данных изображения декодированных изображений удваивается, и передает данные изображения с частотой 120 кадров/с в дисплей. Кроме того, например, когда частота кадров данных изображения декодируемых изображений составляет 60 кадров/с, и возможности дисплея составляют 60 кадров/с, модуль 207 последующей обработки передает данные изображения для декодированных изображений в дисплей без изменения.
На фиг. 29 иллюстрируется примерная конфигурация модуля 207 последующей обработки. Этот пример представляет собой пример, в котором становится возможным выполнять обработку в случае, когда частота кадров данных изображения для декодируемых изображений составляет 120 кадров/с или 60 кадров/с, и возможности дисплея составляют 120 кадров/с или 60 кадров/с, как описано выше.
Модуль 207 последующей обработки включает в себя модуль 271 интерполяции, модуль 272 подвыборки и модуль 273 переключателя. Данные изображения декодируемых изображений из буфера 206 несжатых данных подают прямо в модуль 273 переключателя после удвоения частоты кадров в модуле 271 интерполяции или после того, как частота кадров станет равной 1/2 после модуля 272 подвыборки.
Информацию выбора подают из CPU 201 в модуль 273 переключателя. CPU 201 автоматически генерирует информацию выбора в соответствии с возможностями дисплея или операцией пользователя. Модуль 273 переключателя избирательно выводит любой один из входов на основе информации выбора. В результате, частоту кадров данных изображения для изображений, последовательно считываемых из буфера 206 несжатых данных (dpb) в моменты времени отображения, регулируют в соответствии с возможностями дисплея.
На фиг. 30 иллюстрируется пример потока обработки декодера 205 и модуля 207 последующей обработки. На этапе ST51, декодер 205 и модуль 207 последующей обработки начинают обработку, и затем переходят к обработке на этапе ST52. На этапе ST52, декодер 205 считывает видеопоток цели декодирования, накопленной в буфере 204 сжатых данных (cpb), и выбирает изображение для уровня, обозначенного, как цель декодирования, из CPU 201 на основе temporal_id.
Затем, на этапе ST53, декодер 205 последовательно декодирует кодированные данные изображения для выбранных изображений в заданные моменты времени декодирования, передает данных изображения декодированных изображений для временного накопления в буфере 206 несжатых данных (dpb). Затем, на этапе ST54, модуль 207 последующей обработки считывает данные изображения для изображений из буфера 206 несжатых данных (dpb) в моменты времени отображения.
Затем модуль 207 последующей обработки определяет, соответствует ли частота кадров данных считываемого изображения возможностям дисплея. Когда частота кадров не соответствует возможностям дисплея, на этапе ST56, модуль 207 последующей обработки регулирует частоту кадров в соответствии с возможностями дисплея и передает отрегулированную частоту кадров в дисплей, и после этого, на этапе ST57, обработка заканчивается. С другой стороны, когда частота кадров соответствует возможностям дисплея, на этапе ST58, модуль 207 последующей обработки передает частоту кадров в дисплей без изменения, и затем, на этапе ST57, обработка заканчивается.
Операция в устройстве 200 приема на фиг. 24 будет кратко описана ниже. Модуль 202 приема демодулирует сигнал модуляции RF, принятый через приемную антенну, и получает транспортный поток TS. Транспортный поток TS передают в демультиплексор 203. Демультиплексор 203 выделяет кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней, или кодированные данные изображения для изображений заданного уровня или уровня (нижнего уровня) ниже, чем заданный уровень, из транспортного потока TS, в соответствии с возможностями декодирования (временными возможностями уровня декодера).
Демультиплексор 203 корректирует DTS, вставленную в заголовок PES, на основе информации коррекции времени, вставленной в расширение PES, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня (нижний уровень), ниже, чем заданный уровень. В этом случае обработка, соответствующая "первому кодированию" или "второму кодированию", выполняется для видеопотока, включенного в транспортный поток TS.
В случае "первого кодирования" кодирование выполняют таким образом, что интервалы декодирования в данных кодированного изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображений всех уровней, представляют собой равные интервалы. В случае "второго кодирования" кодирование выполняют так, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, которые могут быть воспроизведены приемником предшествующего уровня техники, который не поддерживает HFR, представляют собой равные интервалы. Кроме того, в случае "второго кодирования", кодирование выполняют так, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, являются такими же временными характеристиками, как и в случае, когда кодирование выполняют так, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней, представляют собой равные интервалы.
В случае "первого кодирования", информация коррекции времени представляет собой первый тип и используется для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы. В случае "второго кодирования", информация коррекции времени представляет собой второй тип и используется для коррекции временных характеристик декодирования таким образом, что временные характеристики декодирования для кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как и временные характеристики декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображения всех уровней, имеют равные интервалы.
Таким образом, когда выполняется "первое кодирование", демультиплексор 203 корректирует временные характеристики декодирования (DTS) кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, на основе информации коррекции времени, когда выводят поток только кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень. В результате, интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, становятся равными интервалами.
Кроме того, когда выполняют "второе кодирование", демультиплексор 203 корректирует временные характеристики декодирования (DTS) кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, на основе информации коррекции времени, когда выводят поток кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, то есть изображений всех уровней. В результате интервалы декодирования кодированных данных изображения для изображений всех уровней становятся равными интервалами.
Затем видеопотоки (кодированные потоки), выделенные демультиплексором 203, передают из демультиплексора 203 для временного накопления в буфере 204 сжатых данных (cpb). Декодер 205 выделяет кодированные данные изображения для изображений уровня, обозначенного, как уровень, предназначенный для декодирования, из видеопотоков, накопленных в буфере 204 сжатых данных. Затем декодер 205 декодирует выделенные кодированные данные изображения для соответствующего изображения во временные характеристики декодирования соответствующего изображения, передает выделенные кодированные данные изображения, предназначенные для временного накопления, в буфер 206 несжатых данных (dpb). В этом случае, когда декодируют кодированные данные изображения для изображений, данные изображения для эталонного изображения считывают из буфера 206 несжатых данных и используют, в соответствии с необходимостью.
Данные изображения для изображений, последовательно считываемых из буфера 206 несжатых данных (dpb) во время отображения, передают в модуль 207 последующей обработки. Модуль 207 последующей обработки выполняет интерполяцию или подвыборку для регулирования частоты кадров данных изображения для изображений, для возможности отображения в отношении данных изображения для изображений. Данные изображения для изображений, обработанные модулем 207 последующей обработки, подают в дисплей, и отображается движущееся изображение, сконфигурированное из данных изображения для изображений.
Как описано выше, в приемопередающей системе 10, представленной на фиг. 1, на стороне передачи, информацию коррекции времени, для коррекции временных характеристик декодирования, вставляют в кодированные данные изображения или расширение PES, в ассоциации с каждыми из кодированных данных изображения, для изображений заданного уровня или уровня ниже, чем заданный уровень, которые могут быть обработаны приемником без поддержки HFR и затем переданы. Таким образом, например, на стороне приема можно скорректировать моменты времени декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени, в соответствии с тем, были ли декодированы только кодированные данные изображения изображений заданного уровня или уровня ниже, чем заданный уровень, или были декодированы кодированные данные изображения изображений всех уровней. Таким образом, можно выполнить отличное воспроизведение, независимо от того, поддерживает или нет сторона приема высокую частоту кадров.
Кроме того, в приемопередающей системе 10, представленной на фиг. 1, на стороне приема временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, корректируют, используя информацию коррекции времени, вставляемую в кодированные данные изображения или расширение PES, в соответствии с тем, были ли декодированы только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, которые были обработаны приемником без поддержки HFR, или декодируют кодированные данные изображения для изображений всех уровней. Таким образом, можно выполнить отличное воспроизведение, например, независимо от того, поддерживается или нет высокая частота кадров.
2. Модифицированные примеры
Представленный выше вариант осуществления был описан в связи с примером масштабируемого кодирования на четырех уровнях и примером, в котором количество потоков равно 2, когда присутствует множество видеопотоков. Однако, само собой разумеется, применение настоящей технологии не ограничено этим примером.
Например, на фиг. 31 иллюстрируется пример масштабируемого кодирования на пяти уровнях. В этом примере данные изображения классифицируют на пять уровней от 0 до 4, и кодирование выполняют для данных изображения, для изображений каждого уровня. На вертикальной оси обозначен уровень. От 0 до 4 установлены, как temporal_id (информация идентификации уровня), размещенный на участке заголовка модуля NAL (nal_unit), конфигурирующего кодированные данные изображения для изображений уровней от 0 до 4. В то же время, на горизонтальной оси обозначен порядок отображения (порядок изображения композиции (POC)), и левая сторона представляет положение "перед" относительно момента отображения, и правая сторона представляет положение "после" относительно момента отображения.
Каждая из прямоугольных рамок обозначает изображение, число обозначает порядок кодированного изображения, то есть порядок кодирования (порядок декодирования на стороне приема). В этом примере подгруппа изображений сконфигурирована из 16 изображений от "2" до "17", и "2" представляет собой первое изображение подгруппы изображений. "1" представляет собой изображение предыдущей подгруппы изображений. Группа изображений (GOP) сконфигурирована из нескольких подгрупп изображений.
Сплошные стрелки обозначают взаимосвязь ссылки изображений при кодировании. Например, изображение "2" представляет собой изображение P и кодировано со ссылкой на изображение "1". Кроме того, изображение "3" представляет собой изображение B и кодировано со ссылкой на изображения "1" и "2". Аналогично, другие изображения кодированы со ссылкой на изображение, которое расположено близко к ним в порядке отображения. На изображение наивысшего уровня не делается ссылка со стороны других изображений.
В примере масштабируемого кодирования на фиг. 31, когда генерируют множество видеопотоков, например, генерируют три видеопотока. В этом случае, например, как определено штрихпунктирной линией и штрихпунктирной линией с двумя точками, четыре уровня разделены на три набора уровней таким образом, что уровни от 0 до 2 принадлежат набору самого нижнего уровня, уровень 3 принадлежит набору уровня выше, чем набор самого нижнего уровня, и уровень 4 принадлежит набору уровней, расположенному выше, чем этот набор уровня. Кроме того, генерируют три видеопотока (кодированные потоки), каждый из которых включает в себя кодированные данные изображения, из изображений каждого набора уровней.
В этом случае видеопоток, включающий в себя кодированные данные изображения из изображений набора самого нижнего уровня, представляет собой основной поток, и его тип потока представляет собой "0×24". Видеопоток, включающий в себя кодированные данные изображения для изображений набора уровней, расположенного выше, чем набор самого нижнего уровня, представляет собой поток расширения, и его тип потока представляет собой "0×25", как вновь определено.
На фиг. 32 иллюстрируется информация S(i) коррекции, вставляемая в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня (нижнего уровня), который ниже, чем заданный уровень, когда выполняют "первое кодирование", в примере масштабируемого кодирования на фиг. 31. Например, в примере масштабируемого кодирования на фиг. 31 частота кадров для изображений всех уровней, то есть уровней от 0 до 4 составляет 120 Гц, и частота кадров для изображений уровней от 0 до 3 составляет 60 Гц.
Информацию S(i) коррекции времени вставляют в ассоциации с каждыми из кодированных данных изображения для изображений уровней от 0 до 3, используемых как участок 1/2 разрешения для декодирования 60 p среди уровней от 0 до 4 для разрешения полного времени. В этом случае величина i коррекции для модуля доступа (изображения) "2" установлена в "0", величина коррекции i для модуля доступа (изображения) "3" установлена в "3", величина коррекции i для модуля доступа (изображения) "4" установлена в "6", и величина коррекции i для модуля доступа (изображения) "11" установлена в "3". Кроме того, величина коррекции i для модуля доступа (изображения) "5" установлена в "-1", величина коррекции i для модуля доступа (изображения) "8" установлена в "0", величина коррекции i для модуля доступа (изображения) "12" установлена в "0", и величина коррекции i для модуля доступа (изображения) "15" установлена в "1". В каждой из последующих подгруппы изображений (GOP) повторяется то же самое.
На стороне приема, когда выполняется отображение, используя декодер 60р, кодированные данные изображения для изображений уровней от 0 до 3, используемых, как участок с разрешением 1/2, отбирают в буфере и декодируют. В это время, как обозначено модулями доступа (AU), представленными рамками из пунктирных линий, временные характеристики декодирования кодированных данных изображения для изображений корректируют так, чтобы они составляли равные интервалы (1/60 секунды) на основе информации S(i) коррекции времени. Кроме того, на стороне приема, когда выполняют отображение, используя декодер 120р, кодированные данные изображения для изображений от 0 до 4 разрешения полного времени отбирают в буфере и декодируют через равные интервалы (1/120 секунд) в соответствии с исходными временными характеристиками декодирования.
На фиг. 33 иллюстрируется информация S(i) коррекции, вставленная в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня (более низкого уровня) ниже, чем заданный уровень, когда выполняется "второе кодирование" в примере масштабируемого кодирования на фиг. 31.
Информацию S(i) коррекции времени вставляют в ассоциации с каждыми из кодированных данных изображения для изображений уровней от 0 до 3, используемых, как участок с разрешением 1/2 среди уровней от 0 до 4 временного разрешения. В этом случае величина i коррекции для модуля доступа (изображения) "2" установлена в "0", величина i коррекции для модуля доступа (изображения) "3" установлена в "-3", величина i коррекции для модуля доступа (изображения) "4" установлена в "-6", и величина i коррекции для модуля доступа (изображения) "11" установлена в "-3". Кроме того, величина i коррекции для модуля доступа (изображения) "5" установлена в "1", величина i коррекции для модуля доступа (изображения) "8" установлена в "0", величина i коррекции для модуля доступа (изображения) "12" установлена в "0", и величина i коррекции для модуля доступа (изображения) "15" установлена в "-1". В каждой из последующих подгрупп изображений (GOP) повторяется то же самое.
На стороне приема, когда выполняется отображение с помощью декодера 60р, кодированные данные изображения для изображений уровней от 0 до 3, используемых, как участок с временным разрешением 1/2, отбирают в буфер и декодируют через равные интервалы (1/60 секунды), в соответствии с исходными временными характеристиками декодирования. На стороне приема, когда выполняют отображение с помощью декодера 120р, кодированные данные изображения для изображений от 0 до 4 с разрешением полного времени отбирают в буфер и декодируют. В это время, как обозначено устройствами доступа (AU) в рамке из пунктирной линии, временные характеристики декодирования кодированных данных изображения для изображений уровней от 0 до 3 корректируют так, чтобы они были такими же временными характеристиками, как и в случае, когда кодирование выполняют так, чтобы интервалы декодирования кодированных данных изображения для изображений всех уровней представляли собой равные интервалы (1/120 секунд).
Представленный выше вариант осуществления был описан в связи с примером комбинации 60р (60 Гц) и 120р (120 Гц), но комбинации частот кадров не ограничены этим. Например, то же применимо к комбинации 50р (50 Гц) и 100р (100 Гц).
Кроме того, в представленном выше варианте осуществления приемопередающая система 10 включает в себя устройство 100 передачи и устройство 200 приема, но конфигурация приемопередающей системы, в которой применяется настоящая технология, не ограничена этим. Например, участок устройства 200 приема может иметь телевизионную приставку и монитор, которые соединены через цифровой интерфейс, такой как мультимедийный интерфейс высокой четкости (HDMI). Здесь "HDMI" представляет собой зарегистрированный товарный знак.
Кроме того, представленный выше вариант осуществления был описан в связи с контейнером, представляющим собой транспортный поток (MPEG 2 TS). Однако, настоящая технология аналогично также может применяться в системе, имеющей конфигурацию, доставляемую в терминал приема, используя сеть, такую как Интернет. При доставке по Интернет доставку часто выполняют через контейнер, имеющий формат МР4 или любой другой формат. Другими словами, контейнеры, имеющие различные форматы, такие как транспортный поток (MPEG 2 TS), используемый в стандарте цифровой широковещательной передачи, или МР4, используемой при доставке по Интернет, используются в качестве контейнера.
Кроме того, настоящая технология может иметь следующие конфигурации.
(1) Устройство передачи, включающее в себя:
модуль кодирования изображения, который классифицирует данные изображения для изображений, конфигурирующих данные движущегося изображения, на множество уровней, кодирует классифицированные данные изображения для изображений каждого из уровней, и генерирует видеопоток, включающий в себя кодированные данные изображения, для изображений каждого из уровней;
модуль передачи, который передает контейнер заданного формата, включающий в себя видеопоток; и
модуль вставки информации коррекции, который вставляет информацию коррекции времени для соответствия временным характеристикам декодирования в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждым из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень.
(2) Устройство передачи по (1),
в котором модуль кодирования изображения выполняет кодирование так, чтобы интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляли собой равные интервалы, и
информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования так, чтобы интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня, ниже, чем заданный уровень, представляли собой равные интервалы.
(3) Устройство передачи по (1),
в котором модуль кодирования изображения выполняет кодирование так, чтобы временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, были теми же временными характеристиками декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и
информация о коррекции времени представляет собой информацию для коррекции временной характеристики декодирования так, чтобы временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, были теми же временными характеристиками декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы.
(4) Устройство передачи по любому из (1)-(3),
в котором информация типа, идентифицирующая, была ли информация коррекции времени первого типа или второго типа добавлена к информации коррекции времени,
первый тип обозначает, что поток видеоданных кодирован так, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования так, чтобы интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляли собой равные интервалы, и
второй тип обозначает, что поток видеоданных кодирован так, чтобы временные характеристики декодирования кодируемых данных изображения для изображений уровня выше, чем заданный уровень, представляли собой те же самые временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования так, чтобы временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, были теми же временными характеристиками декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы.
(5) Устройство передачи по любому из (1)-(4),
в котором, когда частота кадров изображений, конфигурирующих данные движущегося изображения, представляет собой первую частоту кадров, и частота кадров изображений заданного уровня или уровня ниже, чем заданный уровень, представляет собой вторую частоту кадров, вторая частота кадров составляет 1/2 первой частоты кадров.
(6) Устройство передачи по любому из (1)-(5),
в котором модуль кодирования изображения делит множество уровней на заданное количество (2 или больше) наборов уровня, и генерирует заданное количество потоков видеоданных, включающих в себя разделенные кодированные данные изображения для изображений каждого из наборов уровня, и
заданный уровень или уровень ниже, чем заданный уровень, и уровень выше, чем заданный уровень, принадлежат различным наборам уровня.
(7) Устройство передачи по любому из (1)-(6),
в котором контейнер представляет собой транспортный поток, и
модуль вставки информации коррекции, вставляет информацию коррекции времени в поле расширения пакета PES.
(8) Устройство передачи по любому из (1)-(7), дополнительно включающее в себя,
модуль вставки информации идентификации, который вставляет информацию идентификации, идентифицирующую, что информация коррекции времени вставлена в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, на уровне контейнера.
(9) Способ передачи, включающий в себя:
этап классификации данных изображения изображений, конфигурирующих данные движущегося изображения на множество уровней, кодирования классифицированных данных изображения для изображений каждого из уровней, и генерирования потока видеоданных, включающих в себя кодированные данные изображения для изображений каждого из уровней;
этап передачи модулем передачи контейнера заданного формата, включающего в себя сгенерированный поток видеоданных; и
этап вставки информации коррекции времени для коррекции временных характеристик декодирования в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень.
(10) Устройство приема, включающее в себя:
модуль приема, который принимает видеопоток, включающий в себя кодированные данные изображения для изображений каждого из уровней, полученных таким образом, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней и кодируют; и
модуль обработки, который обрабатывает видеопоток,
в котором информацию коррекции времени для коррекции временных характеристик декодирования, вставляют в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, среди кодированных данных изображения для изображений уровней, включенных в видеопоток.
(11) Устройство приема по (10),
в котором поток видеоданных кодирован так, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и
информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования так, чтобы интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляли собой равные интервалы.
(12) Устройство приема по (10),
в котором поток видеоданных кодирован так, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, представляют собой те же временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и
информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования так, чтобы временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, были теми же временными характеристиками декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы.
(13) Устройство приема, включающее в себя:
модуль приема, который принимает контейнер заданного формата, включающий в себя видеопоток, включающий в себя кодированные данные изображения для изображений каждого из уровней, полученных таким образом, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней и кодируют; и
модуль обработки декодирования изображения, который получает данные изображения путем избирательного размещения кодированных данных изображения для изображений уровня, в соответствии с возможностями декодирования, в буфере из видеопотока и декодирования кодированных данных изображения видеоизображений, отобранных в буфере,
в котором информация коррекции времени, для коррекции временных характеристик декодирования, вставлена в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, среди кодированных данных изображения для изображений уровней, включенных в видеопоток, и
модуль обработки декодирования изображения корректирует временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени, в соответствии с тем, декодируют ли только данные кодированного изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или декодируют кодированные данные изображения для изображений всех уровней.
(14) Устройство приема по (13),
в котором информацию типа, идентифицирующую, является ли информация коррекции времени первым типом или вторым типом, добавляют к информации коррекции времени,
первый тип обозначает, что видеопоток кодируют таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы,
второй тип обозначает, что видеопоток кодируют таким образом, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, являются такими же временными характеристиками декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как и временные характеристики декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и
модуль обработки декодирования изображения выполняет переключение между коррекцией временных характеристик декодирования, выполняемой, используя информацию коррекции времени, когда декодируют только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, и коррекцией временных характеристик декодирования, выполняемой, используя информацию коррекции времени, когда декодируют кодированные данные изображения для изображений всех уровней на основе информации типа, добавленной к информации коррекции времени.
(15) Устройство приема по (13) или (14),
в котором видеопоток кодируют таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы,
информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и
модуль обработки декодирования изображения корректирует временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени, в соответствии с тем, декодируют ли только данные кодированного изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или декодируют кодированные данные изображения для изображений всех уровней.
(16) Устройство приема по (13) или (14),
в котором видеопоток кодируют таким образом, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, представляют собой такие же временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы,
информация коррекции времени представляет собой информацию для коррекции временной характеристики декодирования таким образом, что временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как временные характеристики декодирования, когда кодированные данные изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и
модуль обработки декодирования изображения может корректировать временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени, когда декодируют кодированные данные изображения для изображений всех уровней.
(17) Устройство приема по любому из (13)-(16),
в котором, когда кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или всех уровней, отобранных в буфере, включены во множество видеопотоков, модуль обработки декодирования изображения комбинирует кодированные данные изображения для изображений в один поток в порядке временных характеристик декодирования, на основе информации о временной характеристике декодирования, и может помещать один поток в буфер.
(18) Способ приема, включающий в себя:
этап приема, состоящий в приеме модулем приема контейнера заданного формата, включающего в себя видеопоток, включающий в себя кодированные данные изображения для изображений каждого из уровней, полученных таким образом, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней и кодируют; и
этап обработки декодирования изображения, состоящий в получении данных изображения путем избирательного размещения кодированных данных изображения для изображений уровня, в соответствии с возможностями декодирования, в буфере из видеопотока и декодирования кодированных данных изображения видеоизображений, отобранных в буфере,
в котором информация коррекции времени, для коррекции временных характеристик декодирования, вставлена в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, среди кодированных данных изображения для изображений уровней, включенных в видеопоток, и
этап обработки декодирования изображения, временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, корректируют, используя информацию коррекции времени, в соответствии с тем, декодируют ли только данные кодированного изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или декодируют кодированные данные изображения для изображений всех уровней.
Одно из основных свойств настоящей технологии состоит в том, что информацию коррекции времени для коррекции временных характеристик декодирования вставляют в кодированные данные изображения или расширение PES в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня (более низкого уровня) ниже, чем заданный уровень, который может быть обработан приемником без поддержки HFR и передают, и, таким образом, становится возможным выполнять отличное воспроизведение независимо от того, поддерживает сторона приема или нет высокую частоту кадров (см. фиг. 8 и 10).
Список номеров ссылочных позиций
10 приемопередающая система
100 устройство передачи
101 CPU
102 Кодер
103 Буфер сжатых данных (cpb)
104 Мультиплексор
105 Модуль передачи
121 Модуль генерирования временного ID
122 Буфер модуля управления задержкой
123 Модуль установки HRD
124 Модуль кодирования набора параметра/SEI
125 Модуль кодирования среза
126 Модуль пакетирования NAL
142 Модуль кодирования секции
143-1-143-N Модуль пакетирования PES
144 Модуль переключателя
145 Модуль формирования транспортных пакетов
200 Устройство приема
201 CPU
202 Модуль приема
203 Демультиплексор
204 Буфер сжатых данных (cpb)
205 Декодер
206 Буфер несжатых данных (dpb)
207 Модуль последующей обработки
231, 241 Модуль фильтра PID
232,242 Анализатор секции
233, 243 Анализатор пакета PES
234, 244 Модуль обработки преобразования DTS
235, 236,245 Процессор модуля доступа
251 Модуль анализа временного ID
252 Модуль выбора целевого уровня
254 Модуль декодирования
271 Модуль интерполяции
272 Модуль подвыборки
273 Модуль переключателя
Изобретение относится к устройству передачи, которое выполняет масштабируемое кодирование данных изображения и передает кодированные данные изображения в стандарте Н.265/ High Efficiency Video Coding (HEVC). Технический результат заключается в обеспечении отличного воспроизведения независимо от того, поддерживает ли сторона приема высокую частоту кадров (HFR). Указанный технический результат достигается тем, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней, классифицированные данные изображения изображений каждого из уровней кодируют и генерируют видеопоток, включающий в себя кодированные данные изображения для изображений каждого из уровней. Передают контейнер заданного формата, включающий в себя сгенерированный видеопоток. Информацию коррекции времени для коррекции временных характеристик декодирования вставляют в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень. 4 н. и 6 з.п. ф-лы, 33 ил.
1. Устройство передачи, содержащее:
модуль кодирования изображения, выполненный с возможностью классифицирования данных изображения для изображений, конфигурирующих данные движущегося изображения, на множество уровней, кодирования классифицированных данных изображения для изображений каждого из уровней и генерирования видеопотока, включающего в себя кодированные данные изображения, для изображений каждого из уровней;
модуль передачи, выполненный с возможностью передачи контейнера заданного формата, включающего в себя видеопоток; и
модуль вставки информации коррекции, выполненный с возможностью вставки информации коррекции времени для соответствия временным характеристикам декодирования в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждым из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, отличающееся тем, что
модуль кодирования изображения дополнительно выполнен с возможностью выполнения кодирования так, чтобы временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, были теми же временными характеристиками декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и
информация о коррекции времени представляет собой информацию для коррекции временной характеристики декодирования так, чтобы временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, были такими же как и временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы.
2. Устройство передачи по п. 1,
в котором информация типа, идентифицирующая, была ли информация коррекции времени первого типа или второго типа добавлена к информации коррекции времени,
первый тип обозначает, что поток видеоданных кодирован так, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования так, чтобы интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляли собой равные интервалы, и
второй тип обозначает, что поток видеоданных кодирован так, чтобы временные характеристики декодирования кодируемых данных изображения для изображений уровня выше, чем заданный уровень, представляли собой те же самые временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования так, чтобы временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, были теми же временными характеристиками декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы.
3. Устройство передачи по п. 1,
в котором, когда частота кадров изображений, конфигурирующих данные движущегося изображения, представляет собой первую частоту кадров, и частота кадров изображений заданного уровня или уровня ниже, чем заданный уровень, представляет собой вторую частоту кадров, вторая частота кадров составляет 1/2 первой частоты кадров.
4. Устройство передачи по п. 1,
в котором модуль кодирования изображения выполнен с возможностью делить множество уровней на заданное количество (2 или больше) наборов уровня и генерирует заданное количество потоков видеоданных, включающих в себя разделенные кодированные данные изображения для изображений каждого из наборов уровня, и
заданный уровень или уровень ниже, чем заданный уровень, и уровень выше, чем заданный уровень, принадлежат различным наборам уровня.
5. Устройство передачи по п. 1,
в котором контейнер представляет собой транспортный поток, и
модуль вставки информации коррекции выполнен с возможностью вставки информации коррекции времени в поле расширения пакета PES (пакетированный элементарный поток).
6. Устройство передачи по п. 1, дополнительно содержащее
модуль вставки информации идентификации, выполненный с возможностью вставки информации идентификации, идентифицирующей, что информация коррекции времени вставлена в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, на уровне контейнера.
7. Способ передачи, содержащий:
этап классификации данных изображения изображений, конфигурирующих данные движущегося изображения на множество уровней, кодирования классифицированных данных изображения для изображений каждого из уровней и генерирования потока видеоданных, включающих в себя кодированные данные изображения, для изображений каждого из уровней;
этап передачи модулем передачи контейнера заданного формата, включающего в себя сгенерированный поток видеоданных; и
этап вставки информации коррекции времени для коррекции временных характеристик декодирования в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, отличающийся тем, что
кодирование выполняется так, чтобы временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, были теми же временными характеристиками декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и
информация о коррекции времени представляет собой информацию для коррекции временной характеристики декодирования так, чтобы временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, были такими же, как и временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы.
8. Устройство приема, содержащее:
модуль приема, выполненный с возможностью приема контейнера заданного формата, включающего в себя видеопоток, включающий в себя кодированные данные изображения для изображений каждого из уровней, полученных таким образом, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней и кодируют; и
модуль обработки декодирования изображения, выполненный с возможностью получения данных изображения путем избирательного размещения кодированных данных изображения для изображений уровня, в соответствии с возможностями декодирования, в буфере из видеопотока и декодирования кодированных данных изображения видеоизображений, отобранных в буфере,
в котором информация коррекции времени, для коррекции временных характеристик декодирования, вставлена в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень среди кодированных данных изображения для изображений уровней, включенных в видеопоток, и
модуль обработки декодирования изображения выполнен с возможностью корректировки временных характеристик декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени, в соответствии с тем, декодируют ли только данные кодированного изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или декодируют кодированные данные изображения для изображений всех уровней, отличающееся тем, что
видеопоток кодируют так, чтобы временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, были теми же временными характеристиками декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы,
информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, были такими же, как и временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и
модуль обработки декодирования изображения дополнительно выполнен с возможностью корректировки временных характеристик декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, используя информацию коррекции времени, когда декодируют кодированные данные изображения для изображений всех уровней.
9. Устройство приема по п. 8,
в котором информацию типа, идентифицирующую, является ли информация коррекции времени первым типом или вторым типом, добавляют к информации коррекции времени,
первый тип обозначает, что видеопоток кодируют таким образом, что интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы,
второй тип обозначает, что видеопоток кодируют таким образом, что временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, являются такими же временными характеристиками декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы, и информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, являются такими же, как и временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и
модуль обработки декодирования изображения выполнен с возможностью выполнения переключения между коррекцией временных характеристик декодирования, выполняемой, используя информацию коррекции времени, когда декодируют только кодированные данные изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, и коррекцией временных характеристик декодирования, выполняемой, используя информацию коррекции времени, когда декодируют кодированные данные изображения для изображений всех уровней на основе информации типа, добавленной к информации коррекции времени.
10. Способ приема, содержащий:
этап приема, состоящий в приеме модулем приема контейнера заданного формата, включающего в себя видеопоток, включающий в себя кодированные данные изображения для изображений каждого из уровней, полученных таким образом, что данные изображения для изображений, конфигурирующих данные движущегося изображения, классифицируют на множество уровней и кодируют; и
этап обработки декодирования изображения, состоящий в получении данных изображения путем избирательного размещения кодированных данных изображения для изображений уровня, в соответствии с возможностями декодирования, в буфере из видеопотока и декодирования кодированных данных изображения видеоизображений, отобранных в буфере,
в котором информация коррекции времени, для коррекции временных характеристик декодирования, вставлена в кодированные данные изображения и/или пакет, содержащий кодированные данные изображения, в ассоциации с каждыми из кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень среди кодированных данных изображения для изображений уровней, включенных в видеопоток, и
этап обработки декодирования изображения, временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, корректируют, используя информацию коррекции времени, в соответствии с тем, декодируют ли только данные кодированного изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, или декодируют кодированные данные изображения для изображений всех уровней, отличающийся тем, что
видеопоток кодируют так, чтобы временные характеристики декодирования кодированных данных изображения для изображений уровня выше, чем заданный уровень, были теми же временными характеристиками декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, представляют собой равные интервалы,
информация коррекции времени представляет собой информацию для коррекции временных характеристик декодирования таким образом, что интервалы декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, были такими же, как и временные характеристики декодирования, когда интервалы декодирования кодированных данных изображения для изображений, конфигурирующих данные движущегося изображения, представляют собой равные интервалы, и
временные характеристики декодирования кодированных данных изображения для изображений заданного уровня или уровня ниже, чем заданный уровень, корректируют, используя информацию коррекции времени, когда декодируют кодированные данные изображения для изображений всех уровней.
| US 2011110436 A1, 2011-05-12 | |||
| РЕКЛАМНЫЙ СТЕНД | 2015 |
|
RU2658267C1 |
| US 2013114735 A1, 2013-05-09 | |||
| RU 2009129945 A, 2011-02-10 | |||
| RU 2011145299 A, 2013-05-20 | |||
| Thomas Schierl et al | |||
| Аппарат для очищения воды при помощи химических реактивов | 1917 |
|
SU2A1 |
