УСТРОЙСТВО ПЕРЕДАЧИ, СПОСОБ ПЕРЕДАЧИ, УСТРОЙСТВО ПРИЁМА И СПОСОБ ПРИЁМА Российский патент 2018 года по МПК H04N21/2662 H04N19/59 

Область техники, к которой относится изобретение

Настоящая технология относится к устройству передачи, способу передачи, устройству приема и способу приема, в частности к устройству передачи и т.п., которое передает данные пространственного или временного изображения со сверхвысоким разрешением.

Уровень техники

Например, в дополнение к услуге для HD изображения, имеющего 1920×1080 действительных пикселей, была предложена услуга для пространственного изображения со сверхвысоким разрешением, таким как изображения 4 K и 8 K, соответственно имеющие в два раза и в четыре раза больше действительных пикселей в горизонтальном и вертикальном направлениях (см., например, Патентный документ 1). Кроме того, например, в дополнение к услуге для получения изображения, имеющего частоту кадров 30 Гц, была предложена услуга для изображения, имеющего временное сверхвысокое разрешение с частотой кадров 60 Гц и 120 Гц. Следует отметить, что эти услуги для получения изображений со сверхвысоким разрешением будут соответствующим образом называться услугой сверхвысокой четкости.

Список литературы

Патентный документ

Патентный документ 1: Выложенная заявка на японский патент №2011-057069

Раскрытие изобретения

Задачи, решаемые изобретением

В случае, когда масштабируемое кодирование применяют к данным изображения, описанной выше услуги сверхвысокой четкости, данные изображения, имеющие разрешение, соответствующее характеристикам собственного дисплея, могут быть легко получены даже в приемнике, который не поддерживает услугу сверхвысокой четкости. Однако, в случае, когда масштабируемое кодирование не применяется к данным изображения услуги сверхвысокой четкости, трудно получить данные изображения, имеющие разрешение, соответствующее характеристикам собственного дисплея, в приемнике, который не поддерживает услугу сверхвысокой четкости.

Цель настоящей технологии состоит в том, чтобы способствовать получению данных изображения, имеющих разрешение, соответствующее характеристикам собственного дисплея в приемнике, который не поддерживает услугу сверхвысокой четкости, в случае, когда данные изображения услуги сверхвысокой четкости передают без масштабируемого кодирования.

Решения задачи

В соответствии с аспектом настоящей технологии, устройство передачи включает в себя: модуль передачи, выполненный с возможностью передачи контейнера в заданном формате, имеющего видеопоток, включающий в себя данные кодированного изображения; и модуль вставки вспомогательной информации, выполненный с возможностью вставки в видеопоток вспомогательной информации для уменьшения пространственного и/или временного разрешения данных изображения.

В соответствии с настоящей технологией контейнер в заданном формате, имеющий видеопоток, включающий в себя данные кодированного изображения, передают с помощью модуля передачи. Кодированные данные изображения представляют собой, например, данные изображения, применяемые при кодировании, таком как MPEG4-AVC (MVC), MPEG2 video или HEVC. Контейнер может представлять собой, например, поток транспортирования (MPEG-2 TS), принятый в цифровом стандарте широковещательной передачи. Кроме того, контейнер может представлять собой, например, контейнер в формате МР4, используемом при доставке по Интернет, или в других форматах.

Вспомогательную информацию для уменьшения пространственного и/или временного разрешения данных изображения вставляют в видеопоток с помощью модуля вставки вспомогательной информации. Например, вспомогательная информация может обозначать предел точности для вектора движения, включенного в данные кодированного изображения. Кроме того, например, вспомогательная информация может идентифицировать изображение, выбираемое во время уменьшения временного разрешения в заданном соотношении.

Таким образом, в соответствии с настоящей технологией, вспомогательную информацию для уменьшения пространственного и/или временного разрешения данных изображения вставляют в видеопоток. Поэтому, в случае, когда данные изображения услуги сверхвысокой четкости передают без масштабируемого кодирования, данные изображения, имеющие разрешение, соответствующее возможностям собственного дисплея, могут быть легко получены в приемнике, который не поддерживает услугу сверхвысокой четкости.

В то же время, в соответствии с настоящей технологией, например, модуль вставки информации идентификации, выполненный с возможностью вставки, на уровне контейнера, информации идентификации, обозначающей, что вспомогательная информация вставлена в видеопоток, может быть дополнительно предусмотрен. В этом случае, приемник может быстро определять, что вспомогательная информация вставлена в видеопоток даже без декодирования видеопотока и вспомогательная информация может быть выделена соответственно.

Например, к информации идентификации может быть добавлена информация уменьшения разрешения, обозначающая допустимое отношение при уменьшении пространственного и/или временного разрешения. Кроме того, к информации идентификации может быть добавлена информация пространственного и/или временного разрешения для данных изображения, включенных в видеопоток. Кроме того, контейнер представляет собой, например, поток транспортирования, и модуль вставки информации идентификации может быть выполнен с возможностью вставки информации идентификации в дескриптор, в элементарный цикл обработки видеоданных таблицы карты программы, включенной в поток транспортирования.

Кроме того, в соответствии с настоящей технологией может быть дополнительно предусмотрен, например, модуль вставки информации разрешения, выполненный с возможностью вставки, на уровень контейнера, информации пространственного и/или временного разрешения данных изображения, включенных в видеопоток. В этом случае, содержание обработки по уменьшению разрешающей способности может быть определено на основе информации разрешения в приемнике, не поддерживающей услугу сверхвысокого разрешения в случае, когда данные изображения услуги сверхвысокого разрешения передают без масштабируемого кодирования.

Например, к информации разрешения может быть добавлена информация идентификации, идентифицирующая, предусмотрен ли видеопоток с поддержкой для декодера с низкими характеристиками, который не поддерживает пространственное и/или временное разрешение данных изображения. Кроме того, контейнер представляет собой, например, поток транспортирования, и модуль вставки информации разрешения может быть выполнен с возможностью вставки информации разрешения в дескриптор ниже таблицы информации события, включенной в поток транспортирования.

Кроме того, в соответствии с еще одним другим аспектом настоящей технологии, устройство передачи включает в себя: модуль передачи, выполненный с возможностью передавать контейнер в заданном формате, имеющем видеопоток, включающий в себя кодированные данные изображения; и модуль вставки информации идентификации, выполненный с возможностью вставки на уровне контейнера информации идентификации, такой, как услуга сверхвысокого разрешения, с использованием видеопотока, может быть идентифицирован, по меньшей мере, на основе каждой программы.

В соответствии с настоящей технологией, контейнер в заданном формате, имеющий видеопоток, включающий в себя данные изображения, передают с помощью модуля передачи. Контейнер может, например, представлять собой поток транспортирования (MPEG-2 TS), принятый в стандарте цифровой широковещательной передачи. Кроме того, контейнер может представлять собой, например, контейнер в формате МР4, используемом при доставке данных в Интернет или в других форматах.

Информацию идентификации вставляют на уровне контейнера с помощью модуля вставки информации идентификации таким образом, что услуга сверхвысокого разрешения, предоставляемая этим видеопотоком, может быть идентифицирована, по меньшей мере, для каждой программы. Например, к информации идентификации может быть добавлена информация пространственного и/или временного разрешения данных изображения. Контейнер представляет собой, например, транспортный поток, и модуль вставки информации идентификации может быть выполнен с возможностью вставки информации идентификации в дескриптор под таблицей информации события, включенной в поток транспортирования.

Таким образом, в соответствии с настоящей технологией, информацию идентификации вставляют на уровне контейнера таким образом, что услуга сверхвысокого разрешения по видеопотоку может быть идентифицирована, по меньшей мере, для каждой программы. Поэтому, приемник может легко идентифицировать услугу сверхвысокого разрешения и правильно и мгновенно определять, требуется ли выполнять обработку уменьшения пространственного и/или временного разрешения и также его отношение, путем выполнения сравнения с возможностями собственного дисплея.

В то же время, в соответствии с настоящей технологией, к информации идентификации может быть добавлена, например, информация поддержки, обозначающая, предусмотрена ли в видеопотоке поддержка декодера с низкими характеристиками, которая не поддерживает пространственное и/или временное разрешение данных изображения. В этом случае приемник может легко определять, предусмотрена ли в видеопотоке поддержка для декодера с низкими характеристиками, более конкретно, определять, была ли вставлена или нет вспомогательная информация для уменьшения пространственного и/или временного разрешения и т.п.

Кроме того, в соответствии с еще одним, другим аспектом настоящей технологии, устройство приема включает в себя: модуль приема, выполненный с возможностью приема видеопотока, включающего в себя данные кодированного изображения; и модуль обработки, выполненный с возможностью применять обработку уменьшения пространственного и/или временного разрешения для кодированных данных изображения на основе вспомогательной информации, для уменьшения пространственного и/или временного разрешения данных изображения, и получать данные отображаемого изображения, имеющего требуемое разрешение, в котором вспомогательную информацию вставляют в видеопоток.

В соответствии с настоящей технологией, видеопоток, включающий в себя кодированные данные изображения, принимают с помощью модуля приема. Вспомогательную информацию для уменьшения пространственного и/или временного разрешения данных изображения вставляют в видеопоток. Кроме того, применяют обработку уменьшения пространственного и/или временного разрешения для кодированных данных изображения с использованием модуля обработки на основе вспомогательной информации, и могут быть получены данные отображаемого изображения, имеющие требуемое разрешение.

Таким образом, в соответствии с настоящей технологией, применяют обработку уменьшения пространственного и/или временного разрешения для данных кодированного изображения на основе вспомогательной информации, вставленной в видеопоток, и могут быть получены данные изображения дисплея, имеющие требуемое разрешение. Поэтому, может быть уменьшена нагрузка, связанная с обработкой по уменьшению разрешения.

В то же время, в соответствии с настоящей технологией, например, модуль приема может принимать контейнер в заданном формате, включающем в себя видеопоток, информация уменьшения разрешения, обозначающая доступное отношение при уменьшении пространственного и/или временного разрешения может быть вставлена на уровне контейнера, и модуль обработки может управлять обработкой уменьшения разрешения, для получения данных изображения дисплея на основе информации уменьшения разрешения.

Кроме того, в соответствии с настоящей технологией, например, модуль приема может принимать контейнер в заданном формате, включающем в себя видеопоток, информация о пространственном и/или временном разрешении данных изображения, включенных в видеопоток, может быть вставлена на уровне контейнера, и модуль обработки может управлять обработкой по уменьшению разрешения для получения данных изображения дисплея на основе информации разрешения.

Результаты изобретения

В соответствии с настоящей технологией, в случае, когда данные изображения услуги сверхвысокой четкости передают без кодирования масштабирования, данные изображения, имеющие соответствующее разрешение для возможностей собственного дисплея, могут быть легко получены в приемнике, который не поддерживает услугу сверхвысокой четкости.

Краткое описание чертежей

На фиг. 1 показана блок-схема, иллюстрирующая примерную конфигурацию системы передачи и приема изображения, как вариант осуществления.

На фиг. 2(а)-2(с) показаны пояснительные схемы для обработки уменьшения пространственного разрешения.

На фиг. 3 показана блок-схема, иллюстрирующая примерную конфигурацию декодера приемника.

На фиг. 4(а)-4(d) показаны пояснительные схемы для обработки уменьшения пространственного разрешения.

На фиг. 5 показана пояснительная схема для случая, когда нет предела для точности вектора MV движения, например в случае, когда точность вектора MV1 движения составляет 1/4-пикселя (четверть пикселя).

На фиг. 6 показана пояснительная схема для случая, когда существует предел, предусмотренный для точности вектора MV движения, например в случае, когда точность вектора MV2 движения составляет 1/2-пикселя (половину пикселя).

На фиг. 7(а)-7(с) показаны пояснительные схемы для обработки уменьшения временного разрешения.

На фиг. 8 показана блок-схема, иллюстрирующая примерную конфигурацию модуля генерирования данных передачи, выполненного с возможностью генерировать транспортный поток TS.

На фиг. 9(a)-9(b) показаны схемы, иллюстрирующие головной модуль доступа GOP, в который вставлено сообщение SEI как вспомогательная информация, и другое устройство доступа, кроме головного модуля доступа.

На фиг. 10(а) и 10(b) показаны схемы, иллюстрирующие примерные структуры (синтаксис) сообщения SEI (сообщение SEI downscaling spatial), каждое включающее в себя информацию, обозначающую предел точности для вектора MV движения как вспомогательную информацию.

На фиг. 11 представлена схема, иллюстрирующая содержание основной информации в примерной структуре сообщения SEI (сообщение SEI downscaling_spatial).

На фиг. 12(а) и 12(b) показаны схемы, иллюстрирующие примерные структуры (синтаксис) сообщения SEI (picture temporal_pickup SEI), каждое включающее в себя информацию, обозначающую изображение, которое должно быть выбрано во время уменьшения временного разрешения в заданном отношении, как вспомогательную информацию.

На фиг. 13 представлена схема, иллюстрирующая содержание основной информации в примерной структуре сообщения SEI (сообщение SEI picture_temporal_pickup).

На фиг. 14 представлена схема, иллюстрирующая примерную структуру (синтаксис) дескриптора уменьшения (downscaling_descriptor).

На фиг. 15 представлена схема, иллюстрирующая модифицированный пример структуры (синтаксис) дескриптора уменьшения (downscaling_descriptor).

На фиг. 16 представлена схема, иллюстрирующая содержание основной информации в примерной структуре дескриптора уменьшения (downscaling_descriptor).

На фиг. 17 представлена схема, иллюстрирующая примерную структуру (синтаксис) дескриптора сверхвысокого разрешения.

На фиг. 18 представлена схема, иллюстрирующая содержание основной информации в примерной структуре дескриптора сверхвысокого разрешения.

На фиг. 19 представлена схема, иллюстрирующая примерную конфигурацию транспортного потока TS.

На фиг. 20 показана блок-схема, иллюстрирующая примерную конфигурацию приемника.

Осуществление изобретения

Далее будет описан режим выполнения изобретения (ниже называется "вариантом осуществления"). Следует отметить, что описание будет представлено в следующем порядке:

1. Вариант осуществления.

2. Модифицированный пример.

1. Вариант осуществления

Система передачи и приема изображения

На фиг. 1 показана схема, иллюстрирующая примерную конфигурацию системы 10 передачи и приема изображения, в соответствии с вариантом осуществления. Система 10 передачи и приема изображения включает в себя станцию 100 широковещательной передачи и приемник 200. Станция 100 широковещательной передачи передает поток TS транспортирования, как контейнер, через волну широковещательной передачи.

Поток TS транспортирования имеет видеопоток, включающий в себя кодированные данные изображения. Данные изображения передачи включают в себя данные, соответствующие разным видам услуг формирования изображения. Примеры услуг формирования изображений могут включать в себя, в дополнение к услуге для изображения высокой четкости (HD), имеющего 1920×1080 действительных пикселей, услуги для пространственного изображения сверхвысокой четкости, в виде изображений 4 K и 8 K, соответственно имеющих в два раза и в четыре раза больше действительных пикселей в горизонтальном и вертикальном направлениях (услуга сверхвысокой четкости). Кроме того, примеры, включающие в себя услуги формирования изображения, могут включать в себя, в дополнение к услуге формирования изображений для изображения, имеющего частоту кадров 30 Гц, услугу для изображения с временным сверхвысоким разрешением, имеющим частоту кадров, такую как 60 Гц и 120 Гц (услуга сверхвысокой четкости).

Что касается данных изображения услуги сверхвысокой четкости, возникают случаи, когда: применяют данные изображения, переданные после масштабируемого кодирования; и данные изображения передают без масштабируемого кодирования. Обратная совместимость гарантируется путем применения масштабируемого кодирования для данных изображения, и данных изображения, имеющих соответствующее разрешение, так, чтобы собственные возможности дисплея могли быть легко получены, даже если приемник не поддерживает услугу сверхвысокой четкости.

В случае передачи данных изображения услуги сверхвысокой четкости вспомогательную информацию для уменьшения пространственного и/или временного разрешения данных изображения вставляют в видеопоток. Вспомогательную информацию вставляют, например, в область данных пользователя для заголовка изображения или заголовка последовательности видеопотока.

Например, вспомогательная информация для уменьшения пространственного разрешения обозначает предел точности для вектора движения, включенного в кодированные данные изображения. Например, когда предел точности нормального вектора движения составляет 1/4 точности пикселей, предел точности для вектора движения меняется, например, на точность 1/2 пикселя или точность 1 пиксель для уменьшения нагрузки на обработку, для снижения пространственного разрешения на стороне приемника.

Кроме того, вспомогательная информация для уменьшения временного разрешения идентифицирует изображение, которое должно быть выбрано во время уменьшения временного разрешения при заданном отношении. Например, изображение, которое должно быть выбрано во время уменьшения разрешения с отношением ½, соответствует каждому второму изображению (кадру), обозначено этой информацией. Кроме того, например, изображение, которое должно быть выбрано во время уменьшения разрешения с отношением ¼, соответствует каждому четвертому изображению (кадру), обозначено этой информацией.

В результате вставки вспомогательной информации, как описано выше, данные изображения, имеющие разрешение, соответствующее способности собственного дисплея, могут быть легко получены в приемнике, который не поддерживает услугу сверхвысокой четкости, в случае, когда данные изображения услуги сверхвысокой четкости передают без масштабируемого кодирования. Детали вспомогательной информации будут описаны ниже.

Кроме того, идентифицирующую информацию, обозначающую, что вспомогательная информация вставлена в видеопоток, вставляют на уровне потока TS транспортирования. Например, идентифицирующую информацию вставляют ниже элементарного контура видеоизображения (контур Video ES) таблицы программной карты (РМТ: таблица программной карты), включенной в поток TS транспортирования. Такая идентифицирующая информация обеспечивает для стороны приема возможность определять, что вспомогательная информация была вставлена в видеопоток, хотя и без декодирования видеопотока, и вспомогательная информация может быть соответствующим образом выделена.

Возможен случай, когда к описанной выше информации уменьшения добавляют информацию пространственного и/или временного разрешения данных изображения, включенных в видеопоток. В этом случае сторона приема может определять пространственное и/или временное разрешение данных изображения, без декодирования видеопотока. Детали информации уменьшения разрешения будут описаны ниже.

Кроме того, информацию идентификации вставляют на уровне потока TS транспортирования таким образом, что услуга сверхвысокой четкости видеопотока может быть идентифицирована, по меньшей мере, на уровне программы. Например, в соответствии с настоящим вариантом осуществления, информацию пространственного и/или временного разрешения данных изображения, включенных в видеопоток, вставляют на уровне потока TS транспортирования. Например, информацию разрешения вставляют под таблицей информации события (EIT: Таблица информации события), включенной в поток TS транспортирования. Благодаря информации разрешения (идентифицирующей информации), можно определять данные изображения пространственного и/или временного разрешения, без декодирования видеопотока.

К информации разрешения добавляют идентифицирующую информацию, которая идентифицирует, предусмотрена ли в видеопотоке поддержка для декодера с низкими характеристиками, не поддерживающего пространственное и/или временное разрешение данных изображения. В этом случае сторона приема может легко определять, предусмотрена ли в видеопотоке поддержка декодера с низкими характеристиками, более конкретно, вставлена или нет вспомогательная информация для уменьшения пространственного и/или временного разрешения и т.п. Детали информации разрешающей способности будут описаны ниже.

Приемник 200 принимает поток TS транспортирования, переданный из станции 100 широковещательной передачи через волну широковещательной передачи. Поток TS транспортирования имеет поток видеоданных, включающий в себя данные кодированного изображения. Приемник 200 выполняет обработку декодирования для видеопотока и получает данные изображения дисплея.

В случае, когда данные изображения услуги сверхвысокой четкости передают без масштабируемого кодирования, и собственные возможности дисплея не поддерживает услугу сверхвысокой четкости, приемник 200 применяет обработку уменьшения пространственного и/или временного разрешения для кодированных данных изображения на основе вспомогательной информации, и получает данные изображения дисплея, имеющие требуемое разрешение. В этом случае обработкой уменьшения разрешения управляют по разрешению принятых данных изображения и доступному отношению для уменьшения разрешения.

Например, возможен случай, когда данные изображения дисплея, имеющие требуемое разрешение, не могут быть получены, в зависимости от разрешения принятых данных изображения и доступного отношения по уменьшению разрешения, но в таком случае, обработка по уменьшению разрешения не выполняется. Кроме того, в случае, когда существует множество доступных отношений для уменьшения разрешения, данные изображения дисплея, имеющие требуемое разрешение, получают путем выбора отношения уменьшения разрешения, в соответствии с разрешением принятых данных изображения.

Обработка уменьшения разрешения

Обработка уменьшения разрешения, выполняемая в приемнике 200, будет описана ниже. Вначале будет описана обработка уменьшения пространственного разрешения.

Например, представлен случай, в котором данные принятого изображения представляют собой данные изображения 8 K, как представлено на фиг. 2(а). Более конкретно, обработка по уменьшению разрешения, для уменьшения пространственного разрешения до 1/2 в горизонтальном и вертикальном направлениях применяется в приемнике 200, который обладает возможностями отображения 4 K изображения, и данные изображения для 4 K изображения могут быть получены, как представлено на фиг. 2(b). Кроме того, например, обработка по уменьшению разрешения для уменьшения пространственного разрешения до 1/4 в горизонтальном и вертикальном направлениях применяется в приемнике 200, который обладает возможностью отображения для HD изображения, и данные изображения для HD изображения могут быть получены, как представлено на фиг. 2(с).

На фиг. 3 представлена схема, иллюстрирующая примерную конфигурацию декодера приемника 200. Обработка энтропийного декодирования применяется для принятых данным Ve кодированного изображения в модуле 353а энтропийного декодирования, и обработка обратного квантования применяется в модуле 353b обратного квантования. Кроме того, применяется обработка обратного преобразования пространство - частота, в модуле 353 с обратного преобразования пространство - частота к данным, к которым применялась обработка обратного квантования, и получают данные D(n).

В этом случае обработку обратного преобразования пространство-частота применяют только для компонента частоты в области, соответствующей отношению уменьшения разрешения для кодированного блока N*N (см. заштрихованную область на фиг. 4(а), и данные изображения с уменьшенным разрешением получают, как данные D(n). Следует отметить, что пример, показанный на фиг. 4, представляет собой случай, когда отношение уменьшения разрешения составляет 1/2.

Данные пикселя в области, соответствующей вектору MV движения, считывают из данных изображения в предыдущем кадре, записанном в буфере 353d кадра для кодированного блока (см. фиг. 4(b), и подают в фильтр 353е интерполяции, и выполняют операцию арифметической интерполяции для генерирования прогнозируемого блока после интерполяции (см. фиг. 4(с)). Далее, в сумматоре 353f, прогнозируемый блок после интерполяции, генерируемый в фильтре 353е интерполяции, добавляют к данным D(n) (см. фиг. 4(d)), и могут быть получены данные Vd (n) изображения после уменьшения разрешения в текущем кадре.

Здесь точность пикселя для вектора MV движения, добавленного к кодированным данным Ve изображения, определяется, как Р. Например, в случае выполнения декодирования по уменьшению до 1/2 в модуле 353 с обратного преобразования пространство-частота, точность пикселя становится более грубой, а именно 1/2, по сравнению с оригинальной точностью Р. Для выполнения компенсации движения с точностью Р пикселя для оригинального вектора MV движения, данные изображения в буфере 353d фрейма должны быть интерполированы таким образом, чтобы они соответствовали точности Р пикселя.

Например, в случае, когда оригинальный вектор MV движения кодируют с точностью 1/4 пикселя, точность во время применения компенсации движения для данных изображения, которые применяли при декодировании уменьшения и сохранили в буфере 353d кадра, уменьшают до точности 1/2 пикселя данных изображения. Поэтому, данные изображения в буфере 353d кадра должны быть интерполированы до 1/(1/4*1/2), для того, чтобы выполнить компенсацию движения с точностью оригинального вектора MV движения.

Поэтому, в случае, когда отсутствует предел, предусмотренный для точности вектора MV движения, диапазон прогнозируемого пикселя, который представляет собой цель арифметической операции фильтра интерполяции, становится большим, и количество отводов фильтра интерполяции увеличивается. В результате, нагрузка арифметической операции увеличивается. В отличие от этого, в случае, когда существует предел, предусмотренный для точности вектора MV движения, диапазон прогнозируемого пикселя, который должен представлять собой цель арифметической операции фильтра интерполяции, становится малым, и количество отводов фильтра интерполяции уменьшается. В результате, нагрузка арифметической операции уменьшается.

На фиг. 5 представлена схема, иллюстрирующая случай, когда отсутствует предел, предусмотренный для точности вектора MV движения, более конкретно, случай, когда точность вектора MV1 движения представляет собой точность % пикселя (четверть пикселя). В этом случае должна быть выполнена арифметическая операция фильтра, соответствующая количеству фаз, достаточных для охвата точности MV1, для получения пикселя интерполяции среди соседних прогнозируемых пикселей. В случае выполнения арифметической операции интерполяции, используя фильтр низкой частоты, количество выводов фильтра для фильтра интерполяции увеличивается и, соответственно, количество прогнозируемых пикселей, которые должны представлять собой цели, увеличивается для обеспечения большей полосы пропускания, чем определенный уровень, и для того, чтобы сделать область непосредственной близости к частоте среза более крутой.

На фиг. 6 показана схема, иллюстрирующая случай, когда существует предел, предусмотренный для точности вектора MV движения, более конкретно, случай, когда точность вектора MV2 движения представляет собой точность ½ пикселя (половина пикселя). В этом случае арифметическая операция фильтра, соответствующая количеству фаз, достаточна для охвата точности MV2, требуется для исполнения, для получения пикселя интерполяции среди соседних прогнозируемых пикселей. Поскольку точность MV2 является более грубой, чем точность MV1, количество фаз становится меньшим. В этом случае, по сравнению с представленным выше случаем, когда предусмотрен не предел, меньшее количество отводов фильтра интерполяции и меньшее количество прогнозируемых пикселей, которые должны представлять собой цели, требуется для обеспечения эквивалентного пропускания.

Исходя из этого, в соответствии с настоящим вариантом осуществления, кодирование выполняют путем соответствующего предоставления предела точности для вектора MV движения на стороне передачи, так же, как и для описанного выше вектора MV2 движения. В этом случае, в соответствии с настоящим вариантом осуществления, информацию, относящуюся к пределу точности для вектора MV движения, вставляют в видеопоток, как вспомогательную информацию. Приемник 200 распознает предел точности вектора MV движения из вспомогательной информации во время выполнения обработки уменьшения пространственного разрешения, и может выполнять обработку интерполяции, соответствующую пределу точности. В результате, может быть уменьшена нагрузка на обработку.

Далее будет описана обработка уменьшения временного разрешения. Например, будет рассмотрен случай, в котором данные принятого изображения представляют собой данные изображения 120 кадров/с, как представлено на фиг. 7(а). Флаг половины частоты кадров и флаг четверти частоты кадров вставляют в видеопоток, как вспомогательную информацию.

Флаг половины частоты кадров равен "1" для каждого второго изображении (кадра). Другими словами, изображение, которое выбирают, может быть идентифицировано, как флаг половины частоты кадров во время уменьшения временного разрешения до 1/2. Кроме того, флаг четверти частоты кадров устанавливают в "1" для каждых трех изображений (кадров). Другими словами, изображение, которое должно быть выбрано, может быть идентифицировано по флагу четверти частоты изображения во время уменьшения временного разрешения до 1/4.

Например, в приемнике 200, имеющем способность отображения для изображения 60 кадров/с, только каждое второе изображение выбирают и декодируют для получения данных изображения для изображения с частотой 60 кадров/с на основе флага половины частоты изображения, как представлено на фиг. 7(b). Кроме того, например, в приемнике 200, имеющем возможности дисплея для изображения 30 кадров/с, каждые четыре изображения выбирают и декодируют для получения данных изображения для изображения 30 кадров/с на основе флага четверти частоты кадров, как представлено на фиг. 7(с).

Примерная конфигурация модуля генерирования данных передачи

На фиг. 8 показана примерная конфигурация модуля 110 генерирования данных передачи, выполненного с возможностью генерировать описанный выше поток TS транспортирования в станции 100 широковещательной передачи. Модуль 110 генерирования данных передачи включает в себя модуль 111 вывода данных изображения, видеокодер 112, модуль 115 вывода аудиоданных, аудиокодер 116 и мультиплексор 117.

Модуль 111 вывода данных изображения выводит данные изображения, соответствующие различным видам услуг формирования изображения. Примеры услуг формирования изображения могут включать в себя, в дополнение к услуге изображения высокой четкости (HD), имеющего 1920×1080 действительных пикселей, услугу для изображения со сверхвысоким пространственным разрешением, такого как изображения 4 K и 8 K, соответственно имеющие в два раза и в четыре раза больше действительных пикселей в горизонтальном и вертикальном направлениях (услуга сверхвысокой четкости). Кроме того, примеры услуг формирования изображения могут включать в себя, в дополнение к услуге формирования изображений для изображения, имеющего частоту кадров 30 Гц, услугу для изображения со сверхвысоким временным разрешением, имеющего частоту кадров, такую как 60 Гц и 120 Гц (услуга сверхвысокой четкости). Модуль 111 вывода данных изображения сформирован, например, из камеры, выполненной с возможностью съемки изображения объекта и вывода данных его изображения, или модуля считывания данных изображения, выполненного с возможностью считывания данных изображения из модуля сохранения и вывода его данных изображения.

Видеокодер 112 применяет кодирование, такое как MPEG4-AVC (MVC), MPEG2 video или HEVC к данным изображения, выводимым из модуля 111 вывода данных изображения, и получает кодированные данные изображения. Далее, видеокодер 112 генерирует видеопоток (элементарный видеопоток), включающий в себя данные кодированного изображения, используя форматировщик потока (не показан), расположенный в следующем каскаде.

В этом случае, например, возможен случай, когда к данным изображения услуги сверхвысокой четкости применяют масштабируемое кодирование для гарантирования обратной совместимости, в то время как также возможен случай, когда к данным изображения не применяют масштабируемое кодирование. В случае, когда к данным изображения не применяют масштабируемое кодирование, видеокодер 112 вставляет в видеопоток вспомогательную информацию для уменьшения пространственного и/или временного разрешения для удобства приемника, который не поддерживает услугу сверхвысокой четкости.

Модуль 115 вывода аудиоданных выводит аудиоданные, соответствующие данным изображения. Модуль 115 вывода аудиоданных сформирован, например, из микрофона или модуля считывания аудиоданных, выполненного с возможностью считывания аудиоданных с носителя информации, и выводит аудиоданные. Аудиокодер 116 применяет кодирование, такое как кодирование аудиоданных MPEG-2 и ААС, к аудиоданным, выводимым из модуля 115 вывода аудиоданных, и генерирует поток аудиоданных (элементарный поток аудиоданных).

Мультиплексор 117 пакетирует и мультиплексирует каждый из элементарных потоков, генерируемых в видеокодере 112, графическом кодере 114 и аудиокодере 116, и генерирует поток TS транспортирования. В этом случае PTS (временной штамп представления) вставляют в заголовок каждого PES (пакетированного элементарного потока) для синхронного воспроизведения на стороне приема.

Мультиплексор 117 вставляет, на уровень потока TS транспортирования, информацию уменьшения, обозначающую уменьшение пространственного и/или временного разрешения при доступном отношении в случае, когда данные изображения услуги сверхвысокой четкости передают без масштабируемого кодирования. Более конкретно, информацию уменьшения вставляют под элементарным видеоконтуром (контур Video ES) таблицы карты программы (РМТ: таблица карты программы), включенной в поток TS транспортирования.

Кроме того, мультиплексор 117 вставляет информацию идентификации на уровне потока TS транспортирования такую, что услуга сверхвысокой четкости видеопотока может быть идентифицирована, по меньшей мере, для каждой программы. Например, в соответствии с настоящим вариантом осуществления, мультиплексор 117 вставляет на уровень потока TS транспортирования информацию пространственного и/или временного разрешении данных изображения, включенных в видеопоток. Более конкретно, информацию разрешения вставляют под таблицей информации события (EIT: таблица информации события), включенной в поток TS транспортирования.

Далее будет кратко описана операция модуля 110 генерирования данных передачи, представленная на фиг. 8. Данные изображения, соответствующие различного вида услугам изображения, выводимого из модуля 111 вывода данных изображения, поступают в видеокодер 112. В видеокодере 112, кодирование, такое как MPEG4-AVC (MVC), видео MPEG2 или HEVC применяют к данным изображения, и генерируют видеопоток (элементарный видеопоток), включающий в себя кодированные видеоданные изображения. Видеопоток подают в мультиплексор 117.

В этом случае, например, возможен случай, когда к данным изображения услуги сверхвысокой четкости применяют масштабируемое кодирование для гарантирования обратной совместимости, в то время как также возможен случай, когда к данным изображения не применяют масштабируемое кодирование. В видеокодере 112, в случае, когда масштабируемое кодирование не применяют, вспомогательную информацию для уменьшения пространственного и/или временного разрешения вставляют в видеопоток для удобства приемника, который не поддерживает услугу сверхвысокой четкости.

Аудиоданные, соответствующие данным изображения и выводимые из модуля 115 вывода аудиоданных, подают в аудиокодер 116. В аудиокодере 116, кодирование, такое как MPEG-2 Audio и ААС, применяют к аудиоданным, и генерируют поток аудиоданных (элементарный поток аудиоданных).Этот поток аудиоданных подают в мультиплексор 117.

В мультиплексоре 117, элементарный поток, подаваемый из каждого кодера, пакетируют и мультиплексируют, и генерируют транспортный поток TS. В этом случае PTS вставляют в заголовок каждого PES для синхронного воспроизведения на стороне приема. Кроме того, в мультиплексоре 117, информацию уменьшения разрешения, обозначающую пространственное и/или временное уменьшение при доступном отношении, вставляют в элементарный видео контур (контур Video ES) РМТ. Кроме того, в мультиплексоре 117, информацию пространственного и/или временного разрешения данных изображения, включенных в видеопоток, вставляют в соответствии с разрешением EIT.

Конфигурации вспомогательной информации, информации идентификации и информации разрешения и структура TS

Как описано выше, вспомогательную информацию для уменьшения пространственного и/или временного разрешения данных изображения вставляют в видеопоток. Например, в случае, когда способ кодирования представляет собой MPEG4-AVC, или в случае способа кодирования, в котором структура кодирования пакета NAL и т.п. аналогична, такая как HEVC, вспомогательную информацию вставляют на участке "SEI" модуля доступа (AU), как сообщение SEI.

В этом случае информацию, как вспомогательную информацию, обозначающую предел точности для вектора движения, вставляют, как сообщение SEI (сообщение SEI downscaling_spatial). Кроме того, информацию, как вспомогательную информацию, обозначающую изображение, которое будет выбрано во время уменьшения временного разрешения с заданным отношением, вставляют, как сообщение SEI (сообщение SEI picture_temporal_pickup). На фиг. 9(а) показана схема, иллюстрирующая головной модуль доступа GOP (группа изображений), и на фиг. 9(b) показана схема, иллюстрирующая другой модуль доступа, чем головной модуль доступа GOP. Сообщение SEI кодируют в более раннем положении по потоку битов, чем срезы, где были кодированы данные пикселя, и, поэтому, приемник идентифицирует содержание SEI, обеспечивая, таким образом, определение последующей обработки декодирования.

На фиг. 10(а) показана схема, иллюстрирующая примерную структуру (синтаксис) "сообщение SEI downscaling_spatial". "uuid_iso_iec_11578" имеет значение UUID, установленное в "ISO/IEC 11578:1996 Annex А". В поле "user_data_payload_byte", вставлено "userdata_for_downscaling_spatial ()". На фиг. 10(b) представлена схема, иллюстрирующая примерную структуру (синтаксис) "userdata_for_downscaling_spatial ()". Флаг "constrained_to_half_pixel_MV_flag" и флаг "constrained_to_integer_pixel_MV_flag" включены в эту структуру. "userdata_id" представляет собой идентификатор, представленный 16 битами без знака.

Когда флаг "constrained_to_half_pixel_MV_flag" равен "1", как представлено на фиг. 11, это обозначает, что точность вектора MV движения ограничена точностью 1/2 пикселя. Кроме того, когда "constrained_to_integer_pixel_MV_flag" равен "1", как показано на фиг. 11, это обозначает, что точность вектора MV движения ограничена точностью целочисленного пикселя.

На фиг. 12(а) показана примерная структура (синтаксис) "сообщения SEI picture_temporal_pickup". "uuid_iso_iec_11578" включает в себя значение UUID, установленное в "ISO/IEC 11578:1996 Annex А". В поле "user_data_payload_byte", вставлено "userdata_for_picture_temporal ()". На фиг. 12(b) показана примерная структура (синтаксис) "userdata_for_picture_temporal ()". Флаг "флаг половины скорости передачи кадров" и флаг "флаг четверти скорости передачи кадров" включены в эту структуру, "userdata_id" представляет собой идентификатор, представляющий 16 битов без знака.

Когда флаг "флаг половины скорости передачи кадров" равен "1", как представлено на фиг. 13, это обозначает, что изображение должно быть отобрано и декодировано декодером, имеющим возможности дисплея для 1/2 временного разрешения. Кроме того, когда флаг "флаг четверти скорости передачи кадров" равен "1", как представлено на фиг. 13, это обозначает, что изображение должно быть получено и декодировано декодером, имеющим возможность отображения для временного разрешения 1/4.

Кроме того, как описано выше, например, идентификационную информацию, обозначающую, что вспомогательную информацию для уменьшения описанного выше пространственного и/или временного разрешения данных изображения, вставляют в видеопоток под элементарным видео контуром (контур Video ES) таблицы (РМТ) карты программы в поток TS транспортирования.

На фиг. 14 представлена схема, иллюстрирующая примерную структуру (синтаксис) дескриптора уменьшения (downscaling_descriptor), в качестве идентифицирующей информации. Кроме того, на фиг. 15 показана схема, иллюстрирующая модифицированный пример структуры (синтаксис) дескриптора уменьшения (downscaling_descriptor). На фиг. 16 представлена схема, иллюстрирующая содержание основной информации (Semantics) в этих примерных структурах.

8-битное поле "downscaling_descriptor_tag" обозначает тип дескриптора, и здесь обозначает дескриптор уменьшения разрешения. 8-битное поле "downscaling_descriptor_length" обозначает длину (размер) дескриптора и обозначает количество последовательных байтов, как длину дескриптора.

2-битное поле "downscaling_type" обозначает тип уменьшения разрешения. Например, "01" обозначает уменьшение временного разрешения, "10" обозначает уменьшение пространственного разрешения, и "11" обозначает уменьшение временного и пространственного разрешения.

Когда "downscaling_type" равен "01" и "11", 2-битное поле "temporal_downscaling_factor" становится эффективным. Это 2-битное поле обозначает доступное отношение (уменьшение) при уменьшении временного разрешения. Например, "00" обозначает, что уменьшение разрешения не может быть выполнено. Кроме того, "01" обозначает, что уменьшение может быть выполнено с отношением 1/2. "10" обозначает, что может быть выполнено уменьшение с отношением 1/4, и также обозначает, что также может быть выполнено уменьшение с отношением 1/2. Кроме того, когда "temporal_downscaling_factor" равен "01" и "10", это также обозначает, что вспомогательная информация для уменьшения временного разрешения вставлена в видеопоток.

Кроме того, когда "downscaling_type" равен "10" и "11", 2-битное поле "spatial_downscaling_factor" становится эффективным. Это 2-битное поле обозначает доступное отношение (уменьшение) при уменьшении пространственного разрешения. Например, "00" обозначает, что уменьшение разрешения не может быть выполнено. Кроме того, "01" обозначает, что уменьшение разрешения может быть выполнено по горизонтали и вертикали с отношением 1/2. "10" обозначает, что уменьшение разрешения может быть выполнено по горизонтали и вертикали, с отношением 1/4 также обозначает, что может быть выполнено уменьшение разрешения с отношением 1/2. Кроме того, когда "spatial downscaling factor" равен "01" и "10", это обозначает, что вспомогательная информация для уменьшения пространственного разрешения вставлена в видеопоток.

3-битное поле "spatial resolution class type" обозначает тип класса пространственного разрешения данных изображения передачи. Например, "001" обозначает 1920×1080, а именно разрешение HD. Кроме того, например, "010" обозначает 3840×2160, а именно разрешение 4 K. Кроме того, например, "011" обозначает 7680×4320, а именно разрешение 8 K.

3-битное поле "тип класса временного разрешения" обозначает тип класса временного разрешения данных изображения передачи. Например, "001" обозначает 24 Гц, 25 Гц, 29,97 Гц, 30 Гц и т.д., "010" обозначает 50 Гц, 59,94 Гц, 60 Гц и т.д., "011" обозначает 100 Гц, 120 Гц и т.д., и "100" обозначает 200 Гц, 240 Гц и т.д.

Кроме того, как описано выше, например, информация о пространственном и/или временном разрешении данных изображения, включенных в видеопоток, вставлена под таблицей информации события (EIT) потока TS транспортирования. На фиг. 17 показана примерная структура (синтаксис) дескриптора сверхвысокого разрешения, в качестве информации разрешения. Кроме того, на фиг. 18 представлена схема, иллюстрирующая содержание основной информации (семантика) в примерной структуре.

3-битное поле "Тип класса пространственного разрешения" обозначает тип класса пространственного разрешения данных изображения передачи. Например, "001" обозначает 1920×1080, а именно разрешение HD. Кроме того, например, "010" обозначает 3840×2160, а именно разрешение 4 K. Кроме того, например, "011" обозначает 7680×4320, а именно разрешение 8 K.

3-битное поле "Тип класса временного разрешения" обозначает тип класса временного разрешения данных изображения передачи. Например, "001" обозначает 24 Гц, 25 Гц, 29,97 Гц, 30 Гц и т.д., "010" обозначает 50 Гц, 59,94 Гц, 60 Гц и т.д., "011" обозначает 100 Гц, 120 Гц и т.д., и "100" обозначает 200 Гц, 240 Гц и т.д.

2-битное поле "Backward_compatible_type" обозначает, гарантируется ли обратная совместимость в отношении данных изображения передачи. Например, "00" обозначает, что обратная совместимость не гарантируется. "01" обозначает, что обратная совместимость гарантируется в отношении пространственного разрешения. В этом случае к данным изображения передачи применяют масштабируемое кодирование в отношении пространственного разрешения, например. "10" обозначает, что обратная совместимость гарантируется в отношении временного разрешения. В этом случае к данным изображения передачи применяют масштабируемое кодирование, например, в отношении временного разрешения.

Информация флага "lower_capable_decoder_support_flag" обозначает, предусмотрена ли поддержка для декодера с низкой характеристикой, не поддерживающая пространственное и/или временное разрешение данных изображения передачи. Например, "0" обозначает, что поддержка не предусмотрена. "1" обозначает, что поддержка предусмотрена. Например, как описано выше, в случае, когда вспомогательную информацию для уменьшения пространственного и/или временного разрешения данных изображения вставляют в видеопоток, информация флага становится равной "1".

На фиг. 19 показана схема, иллюстрирующая примерную конфигурацию потока TS транспортирования. Поток TS транспортирования включает в себя пакет PES "PID1: video PES1" элементарный видеопоток и пакет PES "PID2: Audio PES1" элементарного потока аудиоданных. Вспомогательную информацию для уменьшения пространственного и/или временного разрешения данных изображения вставляют в элементарный видеопоток, как сообщение SEI.

В этом случае, информацию, как вспомогательную информацию, обозначающую предел точности для вектора MV движения, вставляют, как сообщение SEI (сообщение SEI downscaling_spatial) (см. фиг. 10). Кроме того, информацию, как вспомогательную информацию, обозначающую изображение, которое должно быть выбрано во время уменьшения временного разрешения с заданным отношением вставляют, как сообщение SEI (сообщение SEI picture_temporal_pickup) (см. фиг. 12).

Кроме того, поток TS транспортирования включает в себя РМТ (Таблицу карты программы), как PCI (информацию, специфичную для программы). PCI обозначает, какой программе принадлежит каждый элементарный поток, включенный в поток транспортирования. Кроме того, транспортный поток TS включает в себя EIT (таблицу информации события), как SI (обслуживаемую информацию) для выполнения управления на основе для каждого события (программы).

Элементарный контур, имеющий информацию, относящуюся к каждому элементарному потоку, существует в РМТ. В примерной структуре существует элементарный видео контур (контур Video ES). В элементарном видео контуре информация, такая как тип потока и идентификатор пакета (PID) расположена, в соответствии с одним элементарным видеопотоком, описанным выше, и также расположен дескриптор, описывающий информацию, относящуюся к его элементарному видеопотоку.

Дескриптор уменьшения разрешения (downscaling_descriptor) вставлен в элементарный видео контур (контур Video ES) в РМТ (см. фиг. 14). Дескриптор обозначает, как описано выше, что вспомогательная информация для уменьшения пространственного и/или временного разрешения данных изображения вставлена в видеопоток.

Далее будет описан дескриптор сверхвысокого разрешения в соответствии с EIT (см. фиг. 17). Этот дескриптор формирует информацию идентификации, идентифицирующую услугу определения сверхвысокой четкости для видеопотока, по меньшей мере, на основе программы, как описано выше. Более конкретно, этот дескриптор включает в себя информацию пространственного и/или временного разрешения данных передачи изображения. Примерная конфигурация приемника

На фиг. 20 показана схема, иллюстрирующая примерную конфигурацию приемника 200. Приемник 200 включает в себя CPU 201, ROM 202 типа флэш, DRAM 203, внутреннюю шину 204, модуль 205 приема дистанционного управления (модуль приема RC), и передатчик 206 дистанционного управления (передатчик RC).

Кроме того, приемник 200 включает в себя антенный разъем 211, цифровой тюнер 212, буфер 213 потока транспортирования (буфер TS) и демультиплексор 214. Кроме того, приемник 200 включает в себя кодированный буфер 215, видеодекодер 216, декодированный буфер 217, видео RAM 218, кодированный буфер 241, аудио декодер 242, и модуль 243 смешивания канала.

CPU 201 управляет операцией соответствующих модулей в приемнике 200. ROM 202 типа флэш содержит программное обеспечение управления, и поддерживает данные. DRAM 203 составляет рабочую область CPU 201. CPU 201 разрабатывает в DRAM 203, программное обеспечение и данные, считанные из ROM 202 типа флэш, и запускает программное обеспечение для управления соответствующими модулями в приемнике 200. Передатчик 205 RC принимает сигнал дистанционного управления (код дистанционного управления), переданный из передатчика 206 RC, и подает его в CPU 201. CPU 201 управляет соответствующими модулями в приемнике 200 на основе кода дистанционного управления. CPU 201, ROM 202 типа флэш и DRAM 203 взаимно соединены через внутреннюю шину 204.

Антенный разъем 211 представляет собой разъем для вывода телевизионного сигнала, принятого приемной антенной (не представлена). Цифровой тюнер 212 обрабатывает сигнал телевизионной широковещательной передачи, принятый через антенный разъем 211, и выводит заданный поток TS транспортирования, соответствующий каналу, выбранному пользователем. Буфер 213 потока транспортирования (буфер TS) временно содержит поток TS транспортирования, выводимый из цифрового тюнера 212. Поток TS транспортирования включает в себя элементарный видеопоток и элементарный аудиопоток.

Демультиплексор 214 выделяет каждый один из видео и аудио потоков (элементарный поток) из TS транспортирования, временно сохраненного в буфере 213 TS. Кроме того, демультиплексор 214 выделяет описанный выше дескриптор уменьшения разрешения (downscaling_descriptor) и дескриптор сверхвысокого разрешения из потока TS транспортирования и передает эти дескрипторы в CPU 201.

CPU 201 может определять, из дескриптора сверхвысокого разрешения, информацию о пространственном и временном разрешении принятых данных изображения, а также информацию, относящуюся к тому, обладают ли принятые данные изображения обратной совместимостью, и информацию, относящуюся к тому, предусмотрены ли в принятых данных изображения поддержка для декодера с низкими характеристиками. Кроме того, CPU 201 может определять, из дескриптора уменьшения разрешения, информацию, относящуюся к тому, вставлена ли вспомогательная информация для обработки с уменьшением пространственного и/или временного разрешения в видеопоток и также информацию, относящуюся к доступному отношению при уменьшении пространственного и/или временного разрешения.

CPU 201 управляет обработкой, такой как декодирование, в приемнике 200 на основе этой полученной информации. Например, в случае, когда данные изображения для услуги сверхвысокой четкости, не поддерживаемой возможностями собственного дисплея, будут приняты, и масштабируемое кодирование не применяется в данных изображения, CPU 201 выполняет обработку уменьшения пространственного и/или временного разрешения на основе вспомогательной информации, вставленной в видеопоток, и выполняет такое управление, что могут быть получены данные изображения дисплея, имеющие требуемое разрешение.

Буфер 215 кодированных данных временно содержит элементарный видеопоток, выделенный в демультиплексоре 214. Видеодекодер 216 применяет обработку декодирования к видеопотоку, сохраненному в буфере 215 кодированных данных, под управлением CPU 201 и получает данные изображения дисплея. Следует отметить, что возможен случай, когда обработка по уменьшению разрешения пространственного и/или временного разрешения не может быть выполнена, и данные изображения дисплея, имеющие разрешение, соответствующее возможностям собственного дисплея, не могут быть получены, в зависимости от содержания принятых данных изображения.

Кроме того, видеодекодер 216 выделяет сообщение SEI, вставленное в видеопоток, и передает их же в CPU 201. Сообщение SEI также включает в себя "сообщение SEI downscaling_spatial" и "сообщение SEI picture_temporal_pickup". В случае, когда обработка по уменьшению пространственного и/или временного разрешения выполняется в видеодекодере 216, CPU 201 обеспечивает исполнение обработки по уменьшению разрешения на основе вспомогательной информации, включенной в сообщение SEI.

Более конкретно, в случае исполнения обработки уменьшения пространственного разрешения, обработку уменьшения разрешения выполняют на основе информации, относящейся к пределу точности для вектора MV движения, включенного в сообщение SEI "сообщение SEI downscaling_spatial", уменьшая, таким образом, нагрузку при обработке. С другой стороны, в случае исполнения обработки по уменьшению временного разрешения, обработку по уменьшению разрешения выполняют на основе информации, относящейся к выбранному изображению, в соответствии с отношением, включенным в сообщение SEI "сообщение SEI picture_temporal_pickup", уменьшая, таким образом, нагрузку при обработке.

Буфер 217 декодированных данных временно содержит данные изображения дисплея, полученные в видеодекодере 216. Видео RAM 218 импортирует данные изображения дисплея, сохраненные в буфере 217 декодированных данных, и выводит эти данные изображения на дисплей в соответствующие моменты времени.

Буфер 241 кодированных данных временно содержит аудиопоток, выделенный в демультиплексоре 214. Аудиодекодер 242 применяет обработку декодирования к аудиопотоку, сохраненному в буфере 241 кодированных данных, и получает декодированные аудиоданные. В отношении аудиоданных, полученных в аудиодекодере 242, модуль 243 смешивания канала получает аудиоданные для каждого канала, для воплощения, например, звука по 5,1 каналам, и затем подает эти аудиоданные в громкоговоритель.

Далее будет описана операция приемника 200. Сигнал телевизионной широковещательной передачи, принимаемый через антенный разъем 211, поступает в цифровой тюнер 212. В цифровом тюнере 212, сигнал телевизионной широковещательной передачи обрабатывают, и выводят заданный поток TS транспортирования, соответствующий каналу, выбранному пользователем. Поток TS транспортирования временно содержат в буфере 213 TS. Поток TS транспортирования включает в себя элементарный видеопоток и элементарный аудио поток.

В демультиплексоре 214 каждый из потоков видео и аудиоданных (элементарный поток) выделяют из потока TS транспортирования, временно сохраненного в буфере 214 TS. Кроме того, в демультиплексоре 214, дескриптор уменьшения разрешения (downscaling_descriptor) и дескриптор сверхвысокого разрешения выделяют из потока TS транспортирования, и передают в CPU 201. CPU 201 управляет обработкой, такой как декодирование, выполняемой в приемнике 200, на основе информации, включенной в эти дескрипторы.

Видеопоток, выделенный в демультиплексоре 214, подают в буфер 215 кодированных данных и временно сохраняют. В видеодекодере 216 обработку декодирования применяют к видеопотоку, сохраненному в буфере 215 кодированных данных под управлением CPU 201, и могут быть получены данные изображения дисплея, соответствующие возможностям собственного дисплея.

В этом случае, в видеодекодере 216, сообщение SEI, включающее в себя "сообщение SEI downscaling_spatial", "сообщение SEI picture_temporal_pickup" и т.д., вставленное в основной видеопоток, выделяют и передают в CPU 201. В CPU 201, в случае, когда выполняют обработку уменьшения пространственного и/или временного разрешения в видеодекодере 216, выполняют обработку по уменьшению разрешения на основе вспомогательной информации, включенной в сообщение SEI.

Данные изображения дисплея, полученные в видеодекодере 216, временно сохраняют в буфере 217 декодера. После этого, в видео RAM 218, данные изображения дисплея, сохраненные в буфере 217 декодированных данных, импортируют и затем выводят на дисплей в соответствующие моменты времени. Таким образом, изображение отображают на дисплее.

Кроме того, аудиопоток, выделенный в демультиплексоре 214, подают в буфер 241 кодированных данных, и временно сохраняют. В декодере 242 аудиоданных, применяют обработку декодирования к аудиопотоку, сохраненному в буфере 241 кодированных данных, и получают декодированные аудиоданные. Аудиоданные подают в модуль 243 смешивания каналов. В модуле 243 смешивания каналов, например, аудиоданные для каждого канала, для получения звука по 5.1 каналам, генерируют в отношении аудиоданных. Эти аудиоданные подают, например, в громкоговоритель, и выводят звук, в соответствии с отображением изображения.

Как описано выше, в соответствии с системой 10 передачи и приема изображения, показанной на фиг. 1, передачу выполняют после вставки вспомогательной информации для уменьшения пространственного и/или временного разрешения данных изображения в видеопотоке. Поэтому, в случае, когда данные изображения услуги сверхвысокой четкости передают без масштабируемого кодирования, данные изображения, имеющие разрешение, соответствующее возможностям собственного дисплея, могут быть легко получены, когда приемник 200 не поддерживает услугу сверхвысокой четкости.

2. Модифицированный пример

Следует отметить, что, в описанном выше варианте осуществления был описан пример, в котором контейнер представляет собой поток транспортирования (MPEG-2 TS). Однако, настоящая технология применима к системе, имеющей конфигурацию, в которой доставку выполняют до приемного разъема, используя сеть, такую как Интернет. В случае доставки по Интернет, доставка, в основном осуществляется, используя контейнер в формате МР4 или в других форматах. Другими словами, контейнеры в разных видах форматов, такие как поток транспортирования (MPEG-2 TS), принятый в стандарте цифровой широковещательной передачи, и в формате МР4, используемом при доставке по интернет, применимы, как контейнер.

Кроме того, настоящая технология может иметь следующие конфигурации.

(1) Устройство передачи, включающее в себя: модуль передачи, выполненный с возможностью передачи контейнера в заданном формате, имеющего видеопоток, включающий в себя данные кодированного изображения; и модуль вставки вспомогательной информации, выполненный с возможностью вставки в видеопоток вспомогательной информации для уменьшения пространственного и/или временного разрешения данных изображения.

(2) Устройство передачи по представленному выше (1), в котором вспомогательная информация обозначает предел точности для вектора движения, включенного в кодированные данные изображения.

(3) Устройство передачи по представленным выше (1) или (2), в котором вспомогательная информация, идентифицирует изображение, предназначенное для выбора во время уменьшения временного разрешения с заданным соотношением.

(4) Устройство передачи по любому из представленных выше (1)-(3), дополнительно включающее в себя модуль вставки информации идентификации, выполненный с возможностью вставки, на уровне контейнера, информации идентификации, обозначающей, что вспомогательная информация вставлена в видеопоток.

(5) Устройство передачи по описанному выше (4), в котором информация по уменьшению разрешения, обозначающая доступное отношение при уменьшении пространственного и/или временного разрешения, добавлена к информации идентификации.

(6) Устройство передачи по представленным выше (4) или (5), в котором информация пространственного и/или временного разрешения данных изображения, включенная в видеопоток, добавлена к информации идентификации.

(7) Устройство передачи по любому из представленных выше (4)-(6), в котором контейнер представляет собой поток транспортирования, и модуль вставки информации идентификации вставляет информацию идентификации в дескриптор под элементарным видео контуром таблицы карты программы, включенной в поток транспортирования.

(8) Устройство передачи по любому из представленных выше (1)-(7), дополнительно включающее в себя модуль вставки информации разрешения, сконфигурированный для вставки на уровне контейнера, информации о пространственном и/или временном разрешении данных изображения, включенных в видеопоток.

(9) Устройство передачи по представленному выше (8), в котором информация идентификации, идентифицирующая, предусмотрена ли в видеопотоке поддержка декодера с низкими характеристиками, не поддерживающего пространственное и/или временное разрешение данных изображения, добавлена к информации разрешения.

(10) Устройство передачи по представленным выше (8) или (9), в котором контейнер представляет собой поток транспортирования, и модуль вставки информации разрешения вставляет информацию разрешения в дескриптор под таблицей информации события, включенной в поток транспортирования.

(11) Способ передачи, включающий в себя следующие этапы: передают контейнер в заданном формате, имеющий видеопоток, включающий в себя кодированные данные изображения; и вставляют, в видеопоток вспомогательную информацию для уменьшения пространственного и/или временного разрешения данных изображения.

(12) Устройство передачи, включающее в себя: модуль передачи, выполненный с возможностью передавать контейнер в заданном формате, имеющем видеопоток, включающий в себя кодированные данные изображения; и модуль вставки информации идентификации, выполненный с возможностью вставки на уровне контейнера информации идентификации, такой, как услуга сверхвысокого разрешения, с использованием видеопотока, может быть идентифицирован, по меньшей мере, на основе каждой программы.

(13) Устройство передачи по представленному выше (12), в котором информация идентификации включает в себя информацию пространственного и/или временного разрешения данных изображения.

(14) Устройство передачи по представленным выше (12) или (13), в котором информация поддержки, обозначающая, предусмотрена ли в видеопотоке поддержка декодера с низкими характеристиками, не поддерживающего пространственное и/или временное разрешение данных изображения, добавлена в информацию идентификации.

(15) Устройство передачи по любому из представленных выше (12)-(14), в котором контейнер представляет собой поток транспортирования, и модуль вставки информации идентификации вставляет информацию идентификации в дескриптор под таблицей информации события, включенной в поток транспортирования.

(16) Способ передачи, включающий в себя следующие этапы: передают контейнер в заданном формате, имеющем видеопоток, включающий в себя данные изображения; и вставляют, на уровень контейнера, информацию идентификации такую, что услуга сверхвысокой четкости, предоставляемая видеопотоком, может быть идентифицирована, по меньшей мере, на основе программы.

(17) Устройство приема, включающее в себя: модуль приема, выполненный с возможностью приема видеопотока, включающего в себя данные кодированного изображения; и модуль обработки, выполненный с возможностью применять обработку уменьшения пространственного и/или временного разрешения для кодированных данных изображения на основе вспомогательной информации, для уменьшения пространственного и/или временного разрешения данных изображения, и получать данные отображаемого изображения, имеющего требуемое разрешение, в котором вспомогательную информацию вставляют в видеопоток.

(18) Устройство приема, в соответствии с представленным выше (17), в котором модуль приема принимает контейнер в заданном формате, включающий в себя видеопоток, информация уменьшения разрешения, обозначающая доступное отношение при уменьшении пространственного и/или временного разрешения, вставлена на уровне контейнера, и модуль обработки управляет обработкой уменьшения, для того, чтобы получить данные изображения дисплея на основе информации уменьшения разрешения.

(19) Устройство приема по представленным выше (17) или (18), в котором модуль приема принимает контейнер в заданном формате, включающем в себя видеопоток, информация пространственного и/или временного разрешения данных изображения, включенных в видеопоток, вставлена на уровне контейнера, и модуль обработки управляет обработкой уменьшения разрешения для получения данных изображения дисплея на основе информации разрешения.

(20) Способ приема, включающий в себя следующие этапы: принимают видеопоток, включающий в себя кодированные данные изображения, в который вставлена вспомогательная информация для уменьшения пространственного и/или временного разрешения данных изображения; и применяют обработку уменьшения пространственного и/или временного разрешения к данным кодированного изображения на основе вспомогательной информации и получают данные изображения дисплея, имеющие требуемое разрешение.

Основная характеристика настоящей технологии состоит в том, что нагрузка при обработке уменьшения на стороне приема может быть уменьшена, благодаря тому, что передачу выполняют путем вставки в видеопоток вспомогательной информации (сообщение SEI) для уменьшения пространственного и/или временного разрешения данных изображения (см. фиг. 19). Кроме того, основная характеристика настоящей технологии состоит в том, что услуга сверхвысокой четкости может быть идентифицирована на стороне приема, без декодирования видеопотока, путем вставки, на уровень контейнера (транспортного потока), информации идентификации такой, что услуга сверхвысокой четкости видеопотока может быть идентифицирована, по меньшей мере, на основе каждой программы (см. фиг. 19).

Список номеров ссылочных позиций

10 Система передачи и приема изображения

100 Система широковещательной передачи

110 Модуль генерирования данных передачи

111 Модуль вывода данных изображения

112 Видеокодер

115 Модуль вывода аудиоданных

116 Аудиокодер

117 Мультиплексор

200 Приемник

201 CPU

212 Цифровой тюнер

213 Буфер потока транспортирования (буфер TS)

214 Демультиплексор

215 Буфер кодированных данных

216 Видеодекодер

217 Буфер декодированных данных

218 Видео RAM

241 Буфер кодированных данных

242 Аудиодекодер

243 Модуль смешивания каналов

Изобретение относится к области вещания, в частности к передаче данных пространственного или временного изображения со сверхвысоким разрешением. Технический результат заключается в получении данных изображения, имеющих разрешение, соответствующее характеристикам собственного дисплея в приемнике, который не поддерживает услугу сверхвысокой четкости, в случае, когда данные изображения услуги сверхвысокой четкости передают без масштабируемого кодирования. Предложено в случае, когда данные изображения услуги сверхвысокой четкости передают без масштабируемого кодирования, могут быть легко получены данные изображения, соответствующие характеристикам собственного дисплея в приемнике, не поддерживающем услугу сверхвысокой четкости. Передают контейнер в заданном формате, имеющий видеопоток, включающий в себя кодированные данные изображения, при этом вставляют в видеопоток вспомогательную информацию для уменьшения пространственного и/или временного разрешения данных изображения. Вспомогательная информация указывает предел точности для вектора движения, включенного в кодированные данные изображения, или идентифицирует изображение, подлежащее выбору при уменьшении временного разрешения в заданном отношении. 4 н. и 7 з.п. ф-лы, 20 ил.

1. Устройство передачи, содержащее:

модуль передачи, выполненный с возможностью передачи контейнера в заданном формате, имеющего видеопоток, включающий в себя кодированные данные изображения; и

модуль вставки вспомогательной информации, выполненный с возможностью вставки в видеопоток вспомогательной информации для уменьшения пространственного разрешения данных изображения,

при этом вспомогательная информация указывает предел точности для вектора движения в кодированных данных изображения, причем предел точности представляет собой точность в 1/2 пикселя или 1/4 пикселя.

2. Устройство передачи по п. 1, в котором модуль вставки вспомогательной информации выполнен с возможностью вставки в видеопоток вспомогательной информации для уменьшения временного разрешения данных изображения.

3. Устройство передачи по п. 2, в котором вспомогательная информация идентифицирует кадр, подлежащий выбору при уменьшении временного разрешения данных изображения в заданном соотношении.

4. Устройство передачи по п. 1, дополнительно включающее в себя модуль вставки информации идентификации, выполненный с возможностью вставки, на уровень контейнера, информации идентификации, указывающей, что вспомогательная информация вставлена в видеопоток.

5. Устройство передачи по п. 4, в котором к информации идентификации добавлена информация для уменьшения разрешения, указывающая доступное отношение при уменьшении временного разрешения данных изображения.

6. Устройство передачи по п. 4, в котором к информации идентификации добавлена информация пространственного и/или временного разрешения данных изображения, включенных в видеопоток.

7. Устройство передачи по п. 4, в котором контейнер представляет собой транспортный поток, при этом модуль вставки информации идентификации выполнен с возможностью вставки информации идентификации в дескриптор под элементарным видеоконтуром таблицы карты программы, включенной в транспортный поток.

8. Способ передачи, содержащий этапы, на которых:

передают контейнер в заданном формате, имеющий видеопоток, включающий в себя кодированные данные изображения; и

вставляют в видеопоток вспомогательную информацию для уменьшения пространственного разрешения данных изображения,

при этом вспомогательная информация указывает предел точности для вектора движения в кодированных данных изображения, причем предел точности представляет собой точность в 1/2 пикселя или 1/4 пикселя.

9. Устройство приема, содержащее:

модуль приема, выполненный с возможностью приема видеопотока, включающего в себя кодированные данные изображения и вспомогательную информацию для уменьшения пространственного разрешения данных изображения; и

модуль обработки, выполненный с возможностью применять обработку уменьшения пространственного разрешения для кодированных данных изображения на основе вспомогательной информации для уменьшения пространственного разрешения данных изображения и получать данные изображения для отображения, имеющие требуемое разрешение, причем вспомогательная информация указывает предел точности для вектора движения в кодированных данных изображения, причем предел точности представляет собой точность в 1/2 пикселя или 1/4 пикселя.

10. Устройство приема по п. 9, в котором модуль приема выполнен с возможностью приема контейнера в заданном формате, включающего в себя видеопоток, при этом информация уменьшения разрешения, указывающая доступное отношение при уменьшении пространственного разрешения данных изображения, вставлена на уровень контейнера, а модуль обработки выполнен с возможностью управления обработкой уменьшения разрешения, с тем чтобы получить данные изображения для отображения на основе информации уменьшения разрешения.

11. Способ приема, содержащий этапы, на которых:

принимают видеопоток, включающий в себя кодированные данные изображения, в который вставлена вспомогательная информация для уменьшения пространственного разрешения данных изображения; и

применяют обработку уменьшения пространственного разрешения к данным кодированного изображения на основе вспомогательной информации и получают данные изображения для отображения, имеющие требуемое разрешение, при этом вспомогательная информация указывает предел точности для вектора движения в кодированных данных изображения, причем предел точности представляет собой точность в 1/2 пикселя или 1/4 пикселя.