Область техники, к которой относится изобретение
Настоящее изобретение относится к передающему устройству, способу передачи, приемному устройству и способу приема, а также относится к передающему устройству и т.п. для непрерывной передачи видеопотоков множества услуг.
Уровень техники
При широковещательной передаче предполагается передача в виде совокупности множества услуг, имеющих различные форматы изображения, например, различные частоты кадров. Например, спортивные программы обеспечиваются службой 120Р, другие программы обеспечиваются службой 60Р и т.д.
Традиционно, в отношении HEVC (High Efficiency Video Coding, видео кодирование высокой эффективности), например, была предложена временная масштабируемость, при которой выполняется иерархическое кодирование данных изображения каждой из картинок, составляющих данные движущегося изображения (смотрите непатентный документ 1). Приемная сторона может идентифицировать иерархию каждой картинки, основываясь на информации временного идентификатора ID (temporal_id), которая вставляется в заголовок блока NAL (Network Abstraction Layer, сетевой уровень абстракции), и выборочное декодирование может выполняться для иерархий, соответствующих их характеристикам декодирования.
Перечень литературы
Непатентный документ
Непатентный документ 1: Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, выпуск 22, №12, стр. 1649-1668, декабрь 2012 г.
Сущность изобретения
Проблемы, решаемые изобретением
Задача настоящего изобретения состоит в том, чтобы с легкостью предотвращать возникновение пропадания изображения при переключении услуги.
Решения проблем
Концепция настоящей технологии заключается в
передающем устройстве, содержащем:
блок кодирования изображения, выполненный с возможностью кодирования данных изображения каждой из картинок, образующих данные движущегося изображения, и формирования видеопотока; и
передающий блок, выполненный с возможностью передачи контейнера в заданном формате, который непрерывно содержит в себе первый видеопоток и второй видеопоток, формируемые блоком кодирования изображения, в котором
первый видеопоток и второй видеопоток состоят из первого-М-ого потоков из числа первого-N-ого потоков (М≤N), и
передающий блок применяет фиксированный идентификатор к первому-N-ому потокам, соответственно.
В соответствии с настоящей технологией, блок кодирования изображения формирует видеопоток, кодируя данные изображения каждой из картинок, составляющих данные движущегося изображения. Передающий блок передает контейнер в заданном формате, который непрерывно содержит в себе первый видеопоток и второй видеопоток, формируемые блоком кодирования изображения. Например, первый видеопоток и второй видеопоток могут содержать, по меньшей мере, базовый поток из числа базового потока и улучшенного потока.
Первый видеопоток и второй видеопоток образованы первым-М-ым потоками из числа первого-N-ого потоков (М≤N). Затем передающий блок применяет фиксированный идентификатор к соответствующим первому-N-ому потокам.
Таким образом, в соответствии с настоящей технологией, фиксированный идентификатор применяется к каждому потоку. Затем, на приемной стороне, даже когда услуга переключается, нет необходимости изменять настройку фильтра, чтобы извлечь каждый поток, и, таким образом, можно предотвратить возникновение пропадания изображения и может быть реализовано бесшовное отображение.
Здесь, в настоящей технологии, например, передающий блок может во время периода передачи первого видеодеопотока непрерывно вставлять информацию идентификатора каждого из потоков, составляющих первый видеопоток, на уровень контейнера и передавать и может вставлять в момент времени непосредственно перед началом периода передачи второго видеопотока информацию идентификатора каждого из потоков, составляющих второй видеопоток, на уровень контейнера и передавать. В этом случае сторона приема может легко распознать идентификатор каждого из потоков, составляющих принимаемый в данный момент видеопоток, и дополнительно это помогает перед тем, как выполнено переключение, легко распознавать идентификатор каждого из потоков, составляющих видеопоток, который должен приниматься после переключения.
Дополнительно, в настоящей технологии, например, передающий блок может вставлять во время периода передачи каждого видеопотока информацию идентификатора соответствующих первого-N-ого потоков на уровень контейнера и передавать. В этом случае приемная сторона всегда может распознать информацию идентификатора первого-N-ого потоков.
Дополнительно, в настоящей технологии, например, передающий блок может вставлять во время периода передачи каждого видеопотока информацию о переключении на уровне контейнера и передавать такой видеопоток. В этом случае, например, информация о переключении может содержать информацию о частоте кадров и/или информацию о структуре потока данных кодированного изображения, содержащихся во втором видеопотоке. В этом случае приемная сторона до выполнения переключения может легко распознать информацию о переключении, такую как частота кадров видеопотока, который должен приниматься после переключения.
Дополнительно, в настоящей технологии, например, первый видеопоток и второй видеопоток могут быть образованы, по меньшей мере, базовым потоком и улучшенным потоком. Дополнительно, в настоящей технологии, например, первый видеопоток и второй видеопоток могут быть образованы, по меньшей мере, базовым потоком из числа базового потока и улучшенного потока. В этом случае, например, видеопоток, образованный базовым потоком, может содержать кодированные данные изображения с первой частотой кадров, а видеопоток, образованный базовым потоком и улучшенным потоком, может содержать кодированные данные изображения со второй частотой кадров, которая в два раза выше, чем первая частота кадров.
Дополнительно, в настоящей технологии, например, блок кодирования изображения может классифицировать данные изображения каждой из картинок, составляющих данные движущегося изображения, на множество иерархий, кодировать данные изображения в каждой классифицированной иерархии, разделить множество иерархий на М иерархических групп и сформировать первый-М-ый потоки каждого видеопотока, который, соответственно, имеет кодированные данные изображения картинок каждой из поделенных иерархических групп, и иерархическое кодирование может выполняться так, что иерархии картинок, которые, соответственно, вводятся в соответствующие первый-М-ый потоки, становятся входящими в пределы заранее выделенных диапазонов, независимых друг от друга. При таком иерархическом кодировании становится возможным избежать рассогласования между системным уровнем и видеоуровнем, в котором содержится заранее определенная иерархия потока.
Дополнительно, в настоящей технологии, например, передающий блок может непрерывно вставлять во время периода передачи первого видеодеопотока информацию об иерархическом диапазоне картинки каждого из потоков, образующих первый видеопоток, на уровне контейнера и передавать такой видеопоток, и может вставлять непосредственно в момент времени перед началом периода передачи второго видеопотока информацию об иерархическом диапазоне картинки каждого из потоков, образующих второй видеопоток, на уровень контейнера и передавать такой видеопоток. В этом случае приемная сторона может легко распознать иерархический диапазон каждого видеопотока, образующего принимаемый в данный момент видеопоток, и, дополнительно, до того, как выполнено переключение, может легко распознавать иерархический диапазон каждого потока, образующего видеопоток, который должен приниматься после переключения.
Дополнительно, в настоящей технологии, например, первый видеопоток и второй видеопоток могут содержать, по меньшей мере, базовый поток из числа базового потока и улучшенного потока, и блок кодирования изображения может вести кодирование так, что количество иерархий картинок, содержащихся в улучшенном потоке, становится равным единице. В этом случае, например, во время периода передачи каждого видеопотока, когда в видеопотоке содержится только базовый поток, передающий блок может вставлять информацию об иерархическом диапазоне картинки базового потока и информацию об иерархическом диапазоне картинки улучшенного потока на уровень контейнера и передавать такой поток.
Дополнительно, другая концепция настоящей технологии содержится в
приемном устройстве, содержащем:
приемный блок, выполненный с возможностью приема контейнера в заданном формате, который непрерывно содержит в себе первый видеопоток и второй видеопоток, которые содержат кодированные данные изображения, в котором
первый видеопоток и второй видеопоток состоят из первого-М-ого потоков из числа первого-N-ого потоков (М≤N), и
фиксированный идентификатор применяется к первому-N-ому потокам, соответственно,
приемное устройство, дополнительно содержащее:
процессор, выполненный с возможностью обработки каждого потока, содержащегося в первом видеопотоке и во втором видеопотоке, путем фильтрации, основанной на соответственно применяемых идентификаторах.
В соответствии с настоящей технологией, приемный блок принимает контейнер в заданном формате, который непрерывно содержит первый видеопоток и второй видеопоток, содержащие кодированные данные изображения. Здесь первый видеопоток и второй видеопоток состоят из первого-М-ого потоков из числа первого-N-ого потоков (М≤N), и фиксированный идентификатор применяется к соответствующим первому-N-ому потокам. Затем, процессор обрабатывает каждый поток, содержащийся в первом видеопотоке и во втором видеопотоке, путем фильтрации, основываясь на примененных идентификаторах.
Таким образом, в соответствии с настоящей технологией, фиксированный идентификатор применяется к каждому из потоков. Таким образом, даже когда услуга переключается, нет необходимости изменять настройку фильтра, чтобы извлекать каждый поток, и, таким образом, можно предотвратить возникновение пропадания изображения и может быть реализовано бесшовное отображение.
Здесь, в настоящей технологии, например, в первом-М-ом потоках каждого видеопотока данные изображения каждой картинки, которые составляют данные движущегося изображения, могут быть классифицированы на множество иерархий, данные изображения картинок в каждой из классифицированных иерархий могут кодироваться, множество иерархий могут быть разделены на М иерархических групп и кодированные данные изображения картинок каждой из поделенных иерархических групп могут соответственно, вводиться и иерархическое кодирование может выполняться так, что иерархии картинок, введенные в каждый из первого-М-ого потоков, становятся присутствующими внутри заранее выделенных диапазонов, независимых друг от друга. При таком иерархическом кодировании можно избежать рассогласования между системным уровнем и видеоуровнем, на который вводится поток с заданной иерархией.
Дополнительно, другая концепция настоящей технологии заключается в:
передающем устройстве, содержащем:
блок кодирования изображения, выполненный с возможностью формирования видеопотока, имеющего кодированные данные изображения, и
передающий блок, выполненный с возможностью передачи контейнера в заданном формате, который непрерывно содержит первый видеопоток и второй видеопоток, сформированные блоком кодирования изображения, в котором
первый видеопоток и второй видеопоток образуются из первого-М-ого потоков из числа первого-N-ого потоков (М≤N),
блок кодирования изображения классифицирует данные изображения каждой картинки на множество иерархий, кодирует данные изображения картинок в каждой классифицированной иерархии, делит множество иерархий на М иерархических групп и формирует первый-М-ый потоки каждого из видеопотоков, соответственно, содержащих кодированные данные изображения картинок из каждой из поделенных иерархических групп, и
иерархическое кодирование выполняется так, что иерархии картинок, содержащихся в первом-М-ом потоках становятся присутствующими внутри заранее назначенных диапазонов, независимых друг от друга.
В настоящей технологии блок кодирования изображения формирует видеопоток, кодируя данные изображения каждой из картинок, составляющих данные движущегося изображения. Передающий блок передает в заданном формате контейнер, непрерывно содержащий первый видеопоток и второй видеопоток, формируемые блоком кодирования изображения. Первый видеопоток и второй видеопоток состоят из первого-N-ого потоков из числа первого-N-ого потоков (М≤N).
Блок кодирования изображения классифицирует данные каждой из картинок, составляющих данные движущегося изображения, на множество иерархий, кодирует данные изображения картинок в каждой классифицированной иерархии, делит множество иерархий на М иерархических групп, формирует первый-М-ый потоки каждого видеопотока, который кодировал данные изображения картинок в каждой поделенной иерархической группе, и выполняет иерархическое кодирование, так что иерархии картинок, содержащихся в соответствующих первом-М-ом потоках становятся находящимися в заранее выделенных диапазонах, независимых друг от друга.
Таким способом, в соответствии с настоящей технологией, иерархическое кодирование выполняется так, что иерархии картинок, содержащихся в соответствующих первом-М-ом потоках, становятся находящимися в пределах заранее выделенных диапазонов, независимых друг от друга. Таким образом, возможно избежать рассогласования между системным уровнем и видеоуровнем, в потоке которого содержится заданная иерархия.
Здесь, в настоящей технологии, например, передающий блок может непрерывно вставлять во время периода передачи первого видеодеопотока информацию об иерархическом диапазоне картинок каждого потока, содержащегося в видеопотоке, на уровень контейнера и передавать такой видеопоток и может вставлять в момент времени, непосредственно предшествующий началу периода передачи второго видеопотока, информацию о иерархической диапазоне картинок каждого из потоков, содержащихся во втором видеопотоке, на уровень контейнера и передавать такой поток. В этом случае, приемная сторона может легко распознавать иерархический диапазон каждого из потоков, составляющих принимаемый в данный момент видеопоток, и, дополнительно, до того, как выполняется переключение может легко распознавать иерархический диапазон каждого из потоков, составляющих видеопоток, который должен приниматься после переключения.
Дополнительно, в настоящей технологии например, первый видеопоток и второй видеопоток могут содержать, по меньшей мере, базовый поток из числа базового потока и улучшенного потока, и количество иерархий картинок, составляющих улучшенный поток, может быть принято равным одной. В этом случае, например, во время периода передачи каждого видеопотока, когда в видеопотоке содержится только базовый поток, передающий блок может вставлять информацию об иерархическом диапазоне картинок базового потока и информацию об иерархическом диапазоне картинок улучшенного потока на уровень контейнера и передавать.
Преимущества применения изобретения
В соответствии с настоящей технологией можно легко предотвращать возникновение пропадания отображения при переключении услуг.
Заметим, что описанные здесь эффекты не обязательно ограничиваются и любой из эффектов, описанных в раскрытии, может быть достигнут.
Краткое описание чертежей
Фиг. 1 - блок-схема примерной структуры пприемо-передающей системы в качестве варианта осуществления.
Фиг. 2(a)-2(f) - примерные случаи переключения услуг.
Фиг. 3(а)-3(е) - примеры иерархического кодирования.
Фиг. 4(a) и 4(b) - примерные структуры заголовка блока NAL и содержания основного параметра в примерной структуре.
Фиг. 5 - блок-схема примерной структуры передающего устройства.
Фиг. 6 - примерная структура дескриптора HEVC.
Фиг. 7 - примерная структура дескриптора бесшовного переключения.
Фиг. 8 - содержание основной информации в примерной структуре дескриптора бесшовного переключения.
Фиг. 9 - примерная структура дескриптора управления видео декодированием.
Фиг. 10 - содержание основной информации в примерной структуре дескриптора управления видеодекодированием.
Фиг. 11 - структура мультиплексора.
Фиг. 12 - примерная структура транспортного потока TS в случае передачи видеопотока в службе 60Р (содержащей только базовый поток).
Фиг. 13 - примерная структура транспортного потока TS в случае транспортирования видеопотока в службе 120Р (содержащей базовый поток и улучшенный поток).
Фиг. 14 - блок схема примерной структуры приемного устройства.
Фиг. 15 - примерная структура демультиплексора.
Фиг. 16 - примерные действия на передающей стороне (передающее устройство).
Фиг. 17 - примерные действия на приемной стороне (приемное устройство).
Фиг. 18 - другие примерные действия на передающей стороне (передающее устройство).
Фиг. 19 - другие примерные действия на приемной стороне (приемное устройство).
Фиг. 20 - примерное изменение структуры иерархического кодирования в соответствии с операцией переключения услуг.
Фиг. 21 - другое примерное изменение структуры иерархического кодирования в соответствии с операцией переключения услуг.
Фиг. 22 - другое примерное изменение структуры иерархического кодирования в соответствии с операцией переключения услуг.
Способ осуществления изобретения
Способ выполнения изобретения (в дальнейшем упоминаемый как "вариант осуществления") будет описан ниже. Объяснение будет делаться в следующем порядке:
1. Вариант осуществления
2. Модифицированный вариант осуществления
1. Вариант осуществления
Приемо-передающая система
На фиг. 1 показана структура приемо-передающей системы 10 в качестве варианта осуществления. Приемо-передающая система 10 имеет конфигурацию, содержащую передающее устройство 100 и приемное устройство 200.
Передающее устройство 100 передает транспортный поток TS в формате контейнера, используя в сети широковещательную волну или пакет. В транспортный поток TS непрерывно вводятся видеопотоки различных услуг. В этом случае каждый видеопоток формируется из первого-М-ого потоков из числа первого-N-ого потоков (М≤N). В этом случае фиксированный PID (пакетный идентификатор) соответственно применяется к первому-N-ому потокам.
Дополнительно, в первом-М-ом потоках, образующих каждый видеопоток, данные изображения соответствующих картинок, которые составляют данные движущегося изображения, классифицируются на множество иерархий, данные изображений классифицированных картинок в каждой иерархии кодируются, множество иерархий делятся на М иерархических групп, и кодированные данные изображения изображений соответственно содержатся в каждой поделенной иерархической группе. В этом случае иерархическое кодирование выполняется так, что иерархии картинок, содержащиеся в соответствующих первом-М-ом потоках, становятся находящимися в пределах заранее выделенных диапазонов, независимых друг от друга.
На фиг. 2(a)-2(f) показаны примерные случаи переключения услуг. Фиг. 2(a) показывает переключение с услуги в видеоформате 2160/60/р на услугу в видеоформате 2160/120/р. При этом происходит переключение с одного потока на два потока. Фиг. 2(b) показывает переключение с услуги в видеоформате 1080/60/р на видеоформат 2160/60/р. При этом происходит переключение одного потока на один поток.
Фиг. 2(c) показывает переключение с услуги в видеоформате 1080/60/р на услугу в видеоформате 2160/120/р. При этом переключение происходит с одного потока на два потока. Фиг. 2(d) показывает переключение с услуги в видеоформате 2160/120/р на услугу в видеоформате 1080/60/р. При этом два потока переключаются на один поток.
Фиг. 2(e) показывает переключение с услуги в видеоформате 1080/60/р на услугу в видеоформате 1080/60/i. При этом переключение происходит с одного потока на один поток. Фиг. 2(f) показывает переключение с трехпрограммной услуги в видеоформате 2160/60/р на услугу в видеоформате 4320/60/р. При этом происходит переключение с трех потоков на один поток.
На фиг. 3(а)-3(е) показаны примерные иерархические кодирования и каждый прямоугольник представляет картинку. На фиг. 3(a) приведен пример, в котором наивысшая иерархия равна 3 и все иерархии от 0 до 3 находятся в иерархическом диапазоне базового потока. В этом примере картинки присутствуют во всех иерархиях от 0 до 3. На фиг. 3(b) приведен пример, в котором наивысшая иерархия равна 3 и все иерархии от 0 до 3 находятся в иерархическом диапазоне базового потока. В этом примере отсутствует картинка в иерархии 3 и это вызывает разрыв иерархии. На фиг. 3(c) показан пример, в котором наивысшая иерархия равна 3, и все иерархии от 0 до 3 находятся в иерархическом диапазоне базового потока. В этом примере отсутствует картинка в иерархии 2 и это вызывает разрыв иерархии.
На фиг. 3(d) показан пример, в котором наивысшая иерархия равна 4 и все иерархии от 0 до 3 находятся в иерархическом диапазоне базового потока, а иерархия 4 находится в иерархическом диапазоне улучшенного потока. В этом примере отсутствует картинка в иерархии 3 и это вызывает разрыв иерархии. На фиг. 3(e) показан пример, в котором наивысшая иерархия равна 3, иерархии от 0 до 2 находятся в иерархическом диапазоне базового потока, а иерархия 3 находится в иерархическом диапазоне улучшенного потока. В этом примере картинки присутствуют во всех иерархиях от 0 до 3.
При иерархическом кодировании, например, такое кодирование, как H.264/AVC и H.265/HEVC, выполняется таким образом, чтобы опорная картинка кодировалась так, чтобы принадлежать к своей иерархии и/или к иерархии ниже своей иерархии. К кодированным данным картинок в каждой иерархии применяется иерархическая идентификационная информация (temporal_id) для идентификации своей иерархии для каждой картинки. В части заголовка блока NAL (nal_unit) каждой картинки обеспечивается "nuh_temporal_id_plus1", который указывает иерархическую идентификационную информацию (temporal_id). Таким образом, когда применяется иерархическая идентификационная информация, иерархию каждой картинки можно обнаружить на приемной стороне.
На фиг. 4(a) показана примерная структура заголовка блока NAL (Синтаксис) и на фиг. 4(b) показано содержание (Семантика) основного параметра в примерной структуре. В 1-битовом поле "Forbidden_zero_bit" 0 является обязательным. 6-битное поле "Nal_unit_type" указывает тип блока NAL. В 6-битном поле "Nuh_layer_id" предполагается 0. 3-битное поле "Nuh_temporal_id_plus1" указывает temporal_id и принимает значение (1-7), к которому добавляется 1.
Во время периода передачи видеопотоков каждой услуги информация PID (пакетный идентификатор) вставляется на уровень контейнера. В этом случае, например, информация вставляется со следующим способом вставки первой или второй информации PID. Информация PID вставляется, например, согласно таблице карты программы (РМТ).
Первый способ вставки информации PID
В первом способе вставки информации PID во время периода передачи видеопотока одной услуги информация PID каждого из потоков, составляющих видеопоток, вставляется непрерывно и в момент времени непосредственно перед началом периода передачи видеопотока следующей услуги вставляется информация PID каждого из потоков, составляющих видеопоток.
Второй способ вставки информации PID
Во втором способе вставки информации PID во время периода передачи видеопотока каждой из услуг вставляется информация PID соответствующего первого-N-ого потоков.
Дополнительно, во время периода передачи видеопотока информация об иерархическом диапазоне вставляется на уровень контейнера. Информация об иерархическом диапазоне вставляется, например, под таблицей карты программы (РМТ). В этом случае, во время периода передачи видеопотока одной услуги непрерывно вставляется информация об иерархическом диапазоне картинок каждого из потоков, составляющих видеопоток, а в момент времени, непосредственно предшествующий началу периода передачи видеопотока следующей услуги, вставляется информация об иерархическом диапазоне картинок каждого из потоков, составляющих видеопоток.
Дополнительно, во время периода передачи видеопотока каждой услуги на уровень контейнера вставляется информация о переключении. Информация о переключении содержит, например, информацию о частоте кадров, информацию о структуре потока и т.п. кодированных данных изображения, содержащихся в видеопотоке следующей услуги. Информация о переключении вставляется, например, под таблицей карты программы (РМТ).
Приемное устройство 200 принимает описанный выше транспортный поток TS, передаваемый от передающего устройства 100 посредством широковещательной волны или пакета в сети. В транспортном потоке TS непрерывно содержатся видеопотоки множества услуг. Каждый видеопоток состоит из первого-М-ого потоков из числа первого-N-ого потоков (М≤N). Здесь, фиксированный PID (пакетный идентификатор) соответственно применяется к первому-N-ому потокам.
Приемное устройство 200 распознает PID соответствующих потоков, образующих видеопотоки, введенные в транспортный поток TS, основываясь на информации о PID (пакетный идентификатор), вставленной на уровень контейнера. Приемное устройство 200 обрабатывает соответствующие потоки, составляющие видеопотоки, посредством фильтрации, основываясь на применяемых к ним PID. Приемное устройство 200 последовательно отображает изображения видеопотоков каждой услуги, которые непрерывно вводятся в транспортный поток TS.
В этом случае, поскольку фиксированный PID (пакетный идентификатор) соответственно применяется к первому-N-ому потокам даже когда услуги переключаются, не требуется изменять настройки фильтра, чтобы извлечь каждый поток. Это препятствует возникновению пропадания отображения и реализует бесшовное отображение.
Основываясь на информации об иерархическом диапазоне, вставленной на уровень контейнера, приемное устройство 200 распознает иерархические диапазоны картинок соответствующих потоков, составляющих видеопотоки, содержащиеся в транспортном потоке TS. В этом случае, поскольку иерархическое кодирование выполняется так, чтобы иерархии картинок, содержащихся, соответственно, в первом-М-ом потоках, находились в пределах заранее выделенных диапазонов, независимых друг от друга, можно избежать рассогласования между системным уровнем и видеоуровнем, в поток которого вводится заданная иерархия.
Дополнительно, основываясь на информации о переключении, вставленной на уровень контейнера, приемное устройство 200 распознает информацию о частоте кадров и т.п. кодированных данных изображения в видеопотоке следующей услуги, прежде чем услуга переключается.
В соответствии с настоящим вариантом осуществления, принимается, что N=2, каждый видеопоток образуется только из базового потока или образуется из базового потока и улучшенного потока. Здесь, в случае услуги 60Р, видеопоток образуется только из базового потока, а в случае услуги 120Р видеопоток образуется из базового потока и улучшенного потока.
В соответствии с настоящим вариантом осуществления, кодирование выполняется таким образом, что количество иерархий картинок, которые должны вводиться в улучшенный поток, становится равным единице. Дополнительно, в период передачи видеопотока, образуемого только базовым потоком, используется следующие первый или второй способ. В первом способе вставляется только информация базового потока об иерархическом диапазоне. Во втором способе, в дополнение к вставке информации базового потока об иерархическом диапазоне, вставляется информация об иерархических диапазонах, которые могут использоваться в улучшенном потоке.
В этом случае, например, минимальное значение (mix) и максимальное значение (max) устанавливаются как разные значения и даже предполагается, что любые улучшенные потоки реально существуют. Другими словами, в соответствии с настоящим вариантом осуществления, кодирование выполняется так, чтобы количество иерархий картинок, которые должны содержаться в улучшенном потоке, стало равным единице, и когда улучшенный поток существует, минимальное значение (mix) и максимальное значение (max) становятся одним и тем же значением.
Структура передающего устройства
На фиг. 5 показана примерная структура передающего устройства 100. Передающее устройство 100 содержит CPU (центральный процессор) 101, кодеры 102А и 102В, буферы 103A и 103В сжатых данных (cpb), мультиплексор 104 и передающий блок 105. CPU 101 является блоком управления и управляет работой каждого блока передающего устройства 100.
Кодер 102А вводит несжатые данные VDA движущегося изображения с частотой кадров 60 Гц и выполняет, например, такое кодирование, как H.264/AVC и H.265/HEVC. В этом случае, кодер 102А классифицирует данные изображения каждой картинки, составляющей данные VDA движущегося изображения, на множество иерархий, кодирует данные изображения картинок, классифицированных в каждую иерархию, и формирует видеопоток, связанный с услугой 60Р, имеющий кодированные данные изображения картинок каждой иерархии. Буфер (cpb) 103А сжатых данных временно хранит видеопоток.
В этом видеопотоке содержится только базовый поток. Другими словами, кодер 102А формирует базовый поток, содержащий кодированные данные изображения картинок во всех иерархиях, которые получаются посредством иерархического кодирования. Здесь иерархическое кодирование выполняется так, что иерархические диапазоны картинок, которые должны вводиться в базовый поток, становятся находящимися в пределах заранее выделенного диапазона. Например, когда иерархические диапазоны картинок, содержащихся в базовом потоке, являются иерархиями от 0 до 3, иерархическое кодирование выполняется, например, так, что наивысшая иерархия становится равной или меньшей, чем 3, как показано на фиг. 3(a)-3(c).
Кодер 102В вводит несжатые данные VDB движущегося изображения с частотой кадров 120 Гц и, например, выполняет кодирование, такое как H.264/AVC и H.265/HEVC. В этом случае кодер 102В классифицирует данные изображения для каждой из картинок, составляющих данные VDB движущегося изображения, на множество иерархий, кодирует данные изображения картинок, классифицированных в каждой иерархии, и формирует видеопоток, связанный с услугой 120Р, имеющей кодированные данные изображения для картинок каждой иерархии. Буфер (cpb) 103В сжатых данных временно хранит видеопоток.
В этом видеопотоке содержатся базовый поток и улучшенный поток. Другими словами, кодер 102В делит множество иерархии на две и формирует базовый поток, имеющий кодированные данные изображения картинок в более низких иерархиях, и улучшенный поток, кодировавший данные изображения картинок в более высоких иерархиях.
Здесь, иерархическое кодирование выполняется так, чтобы иерархические диапазоны картинок, содержащиеся в базовом потоке и улучшенном потоке, стали находящимися в пределах заранее выделенного диапазона, и кодирование выполняется так, что количество иерархий картинок, содержащихся в улучшенном потоке, становится равным единице. Например, когда иерархические диапазоны картинок, содержащихся в базовом потоке являются иерархиями от 0 до 3 и иерархический диапазон картинок, содержащихся в улучшенном потоке, является иерархиями 4-5, например, как показано на фиг. 3(d), иерархии картинок, которые должны содержаться в базовом потоке, устанавливаются как 3 или ниже и иерархия картинок, которые должны содержаться в улучшенном потоке, устанавливается, как равная 4.
При выполнении услуги 60Р мультиплексор 104 считывает видеопоток, хранящийся в буфере 103А сжатых данных, и получает транспортный поток TS в виде мультиплексированного потока посредством пакетирования данных в пакетированный элементарный поток (РЕ) и мультиплексирования данных в транспортные пакеты. В этом транспортном потоке TS содержится только базовый поток, как описано выше. Мультиплексор 104 применяет фиксированный PID (=PID_1) к этому базовому потоку.
Дополнительно, при выполнении услуги 120Р, мультиплексор 104 считывает видеопоток, хранящийся в буфере 103В сжатых данных, и получает транспортный поток TS как мультиплексированный поток, пакетируя данные в пакетированный элементарный поток (PES) и мультиплексируя его в транспортные пакеты. В этот транспортный поток TS базовый поток и улучшенный поток вводятся, как описано выше. Мультиплексор 104 применяет фиксированный PID (=PID_1) к базовому потоку и фиксированный PID (=PID_2) к улучшенному потоку.
Передающий блок 105 передает транспортный поток TS, полученный мультиплексором 104, приемному устройству 200 посредством широковещательной волны или пакета в сети. В этом случае, например, передается транспортный поток TS услуги 60Р и затем передается транспортный поток TS услуги 120Р. Альтернативно, передается транспортный поток TS услуги 120Р и затем передается транспортный поток услуги 60Р.
Во время периода передачи видеопотока каждой услуги мультиплексор 140 вставляет информацию PID под таблицей карты программы (РМТ). В данном случае, мультиплексор 140 вставляет информацию PID следующим первым способом вставки информации PID или вторым способом вставки информации PID.
Другими словами, в первом способе вставки информации PID по время периода передачи видеопотока одной услуги информация PID каждого потока, которые образуют видеопоток, непрерывно вставляется и информация PID каждого потока, которые образуют видеопоток, вставляется в момент времени, непосредственно предшествующий началу следующего периода передачи видеопотока. Дополнительно, во втором способе вставки информации PID информация PID обоих потоков, базового потока и улучшенного потока, вставляется во время периода передачи видеопотока каждой услуги.
Дополнительно, во время периода передачи видеопотока каждой услуги мультиплексор 104 вставляет информацию об иерархическом диапазоне под таблицей карты программы (РМТ). В этом случае во время периода передачи видеопотока одной услуги, информация об иерархическом диапазоне картинки каждого из потоков, составляющих видеопоток, непрерывно вставляется и в момент времени непосредственно перед началом периода передачи видеопотока следующей услуги, вставляется информация об иерархическом диапазоне картинок каждого из потоков, образующих видеопоток.
Здесь, во время периода передачи видеопотока, состоящего только из базового потока, мультиплексор 104 вставляет информацию об иерерхическом диапазоне следующим первым способом или вторым способом. Другими словами, в первым способе вставляется только информация об иерархическом диапазоне базового потока. Дополнительно, во втором способе, в дополнение к информации об иерархическом диапазоне базового потока, вставляется информация об иерархическом диапазоне, которая может быть получена улучшенным потоком.
Как описано выше, предполагается, что количество иерархий картинок, которые должны вводиться в улучшенный поток, равно единице, и информация об иерархическом диапазоне, которая может быть получена улучшенным потоком, содержит, например, множество иерархий. При таком способе диапазон иерархии, который может быть получен улучшенным потоком, буквально указывает иерархический диапазон, который может получить улучшенный поток, и это предполагает, что улучшенный поток фактически не существует.
Для этой вставки информации об иерархическом диапазоне используются поля "temporal_id_min" и "temporal_id_max" стандартного дескриптора HEVC. На фиг. 6 показан пример структуры (Синтаксис) дескриптора HEVC_descriptor. 8-битное поле "descriptor_tag" представляет тип дескриптора и представляет дескриптор HEVC в этом примере. 8-битное поле "descriptor_length" представляет длину (размер) дескриптора и представляет количество последующих байтов в качестве длины дескриптора.
8-битное поле "level_idc" представляет значение спецификации на уровне битовой скорости. Дополнительно, когда "temporal_layer_subset_flag = 1", существуют 5-битное поле "temporal_id_min" и 5-битное поле "temporal_id_max". "temporal_id_min" представляет значение temporal_id наинизшей иерархии данных иерархического кодирования, содержащееся в соответствующем видеопотоке. "temporal_id_max" представляет значение temporal_id наивысшей иерархии данных иерархического кодирования, содержащееся в соответствующем видеопотоке.
Дополнительно, во время периода передачи каждого потока, по меньшей мере в момент, непосредственно предшествующий началу периода передачи видеопотока следующей услуги, мультиплексор 140 вставляет информацию о переключении под таблицей карты программы (РМТ). Для этой вставки информации о переключении используется вновь определенный дескриптор бесшовного переключения (дескриптор Seamless_switch) или существующий дескриптор управления видеодекодированием (дескриптор Video_decode_control).
На фиг. 7 показана примерная структура (синтаксис) дескриптора переключателя без шва. Дополнительно, на фиг. 8 показано содержание основной информации (семантика) примерной структуры. 8-битное поле "descriptor_tag" представляет тип дескриптора. Здесь оно указывает, что это дескриптор бесшовного переключения. 8-битное поле "descriptor_length" представляет длину (размер) дескриптора и представляет количество последующих байтов в качестве длины дескриптора.
1-битное поле "EOS_flag" является флагом, указывающим, что "end_of_seq" кодируется в конце потока. "1" указывает, что он кодирован. "0" указывает, что он не был кодирован. 3-битное поле "number_of_streams" представляет количество потоков услуги после переключения. 4-битное поле "frame_rate" представляет частоту кадров потоков услуги после переключения. Например, "1001" представляет 60 Гц, и "1100" представляет 120 Гц.
4-битное поле "spatial_resolution" представляет поверхностное отображение потока услуги после переключения. Например, "0001" представляет 720(h)*480(v), "0010" представляет 1280(h)*720(v), "0011" представляет 1920(h)*1080(v), "0100" представляет 3840(h)*2160(v), и "0101" представляет 7680(h)*4320(v). 1-битное поле "scanning_format" представляет структуру кадра. "1" представляет прогрессивную развертку, и "0" указывает чересстрочную развертку.
На фиг. 9 показан пример структуры (Синтаксис) дескриптора управления видео декодированием. Дополнительно, на фиг. 10 показано содержание основной информации (Семантика) примера структуры. 8-битное поле "descriptor_tag" указывает тип дескриптора. Здесь он представляет дескриптор управления видео декодированием. 8-битное поле "descriptor_length" указывает длину (размер) дескриптора и представляет количество последующих байтов в качестве длины дескриптора.
1-битное поле "sequence_end_code_flag" является флагом, указывающий, что "end_of_seq" кодируется в конце потока. "1" представляет, что конец последовательности кодируется. "0" представляет что он не кодируется. 4-битное поле "video_encode_format" представляет формат потока услуги после переключения. Например, "0000" представляет 1080р(2K), "0111" представляет 2160р(4K) и "1000" представляет 4320р(8K).
1-битное поле "frame_rate_type" является полем, которое должно определяться вновь и представляет тип частоты кадров потока после переключения. "1" указывает, что формируется стандартная частота кадров 60 Гц или ниже и "0" указывает, что формируется частота кадров 120 Гц или выше. 1-битное поле "stream_not_extended_flag" является полем, которое должно определяться вновь, и указывает, что после переключения в потоке нет никакого улучшенного потока. "1" указывает, что нет никакого улучшенного потока с другим PID, и "0" указывает, что улучшенный поток с другим PID мультиплексируется и 120р компонуется вместе с ним.
На фиг. 11 схематично показана структура мультиплексора 104. Мультиплексор 104 содержит блок 141 формирования информации о разделе (содержащей дескриптор), блок 142 формирования нулевого пакета, переключатель 143, блок 144 назначения PID блок 145 мультиплексирование TS. Переключатель 143 вводит извне видеопоток (базовый поток) услуги 60Р, видеопоток (базовый поток и улучшенный поток) услуги 120Р, потоки других услуг, секционную информацию, сформированную блоком 141 формирования секционной информации, и нулевой пакет, сформированный блоком 142 формирования нулевого пакета, и выборочно извлекает оттуда некоторые данные.
Блок 144 назначения PID назначает PID каждому сигналу, который выборочно извлекается переключателем 143, который является видеопотоком, секционной информацией, нулевым пакетом и т.п.Блок 145 мультиплексирования TS мультиплексирует каждый сигнал и получает транспортный поток TS.
Структура транспортного потока TS
На фиг. 12 показана примерная структура транспортного потока TS в случае передачи видеопотока (содержащего только базовый поток) услуги 60Р. В этой примерной структуре имеется пакет PES "video PES1" базового потока, который идентифицируется посредством PID1. Здесь, PID1 является PID, прикрепленным к основному потоку.
В кодированных данных изображения каждой картинки существует блок NAL, такой как VPS, SP, PPS, SLICE, SEI и т.п. Как описано выше, в заголовке блока NAL обеспечивается информация об иерархической идентификации ("nuh_temporal_id_plus1", что означает temporal_id) картинки. В SPS вставляется "general_level_idc", который является значением спецификации уровня битового потока.
Дополнительно, в транспортный поток TS вводится РМТ (Program Map Table, таблица карты программы) как PSI (Program Specific Information, информация о конкретной программе). PSI является информацией, указывающей, к какой программе принадлежит каждый элементарный поток, содержащийся в транспортном потоке. В РМТ существует программный цикл, который описывает информацию, связанную со всей программой. Дополнительно, в РМТ имеется элементарный цикл, имеющий информацию, связанную с каждым элементарным потоком. В этой примерной структуре имеет элементарный видеоцикл (видеоцикл ES1), который может применяться к основному потоку.
В этом элементарном видеоцикле (видеоцикл ES1) обеспечивается такая информация, как тип потока, PID (пакетный идентификатор) и т.п., соответствующая базовому потоку (видео PES1), а также обеспечивается дескриптор, описывающий информацию, связанную с видеопотоком. Предполагается, что значение "Stream_type" базового потока устанавливается как "0 x 24," а информация о PID указывает PID1, который применяется к пакету PES "video PES1" базового потока как описано выше.
Дополнительно, в качестве дескриптора, обеспечиваемого в элементарном видеоцикле (видеоцикл ES1), вставляется описанный выше дескриптор HEVC или дескриптор бесшовного переключения (дескриптор Seamless_switch). Здесь, в случае использования дескриптора управления видеодекодированием (дескриптор Video_decode_control), в котором вновь определяется поле "framerate", вставка дескриптора бесшовного переключения не требуется.
В показанном примере "level_idc" устанавливается в дескрипторе HEVC как "level5.1". Дополнительно, он устанавливается как "temporal_id_min = 0" и "temporal_id_max = 3", так чтобы он определял, что иерархический диапазон базового потока является иерархиями от 0 до 3.
Здесь, в первом способе имеется только элементарный видеоцикл (видеоцикл ES1), соответствующий базовому потоку по РМТ; однако, во втором способе также имеется элементарный видеоцикл (видеоцикл ES2), который показывается пунктирными линиями, соответствующими улучшенному потоку.
В этом элементарном видеоцикле (видеоцикл ES2), соответствующем улучшенному потоку (видео PES2), который не существует в действительности, обеспечивается такая информация, как тип потока, PID (пакетный идентификатор) и т.п., а также обеспечивается и дескриптор, описывающий информацию, связанную с видеопотоком. Предполагается, что значение "Stream_type" улучшенного потока устанавливается как "0 x 25" и информация PID указывает PID2, назначенный пакетному "video PES2" улучшенного потока.
Дополнительно, в качестве дескриптора, обеспечиваемого в элементарном видеоцикле, вставляется описанный выше дескриптор HEVC или дескриптор бесшовного переключения (дескриптор Seamless_switch). Здесь, в случае использования дескриптора управления видеодекодированием (дескриптор Video_decode_control), в котором вновь определено поле "frame_rate", вставка дескриптора бесшовного переключения не требуется.
В показанном примере в дескрипторе HEVC "level_idc" устанавливается как "level5.2". Дополнительно, он устанавливается как "temporal_id_min = 5" и "temporal_id_max = 6," и это означает, что иерархический диапазон, который может получить улучшенный поток, является иерархиями 5 и 6, и что улучшенный поток фактически не существует.
Здесь, РМТ, содержащийся в транспортном потоке TS в случае передачи видеопотока (содержащего только базовый поток) услуги 60Р, обычно предполагается имеющим показанное содержание и в момент, непосредственно следующий перед началом передачи видеопотока следующей услуги, он обновляется до нового РМТ, имеющее содержание, соответствующее видеопотоку.
На фиг. 13 показана примерная структура транспортного потока TS в случае передачи видеопотока (содержащего базовый поток и улучшенный поток) услуги 120Р. В этой примерной структуре существуют пакет PES "video PES1" базового потока, который идентифицируется посредством PID1, и пакет PES "video PES2" улучшенного потока, который идентифицируется посредством PID2. Здесь, "stream_id" представляет ту же самую услугу (широковещательный канал), PID1 является PID, прикрепленным к базовому потоку, и PID2 является PID, прикрепленным к улучшенному потоку.
В кодированных данных изображения каждой картинки базового потока имеется блок NAL, такой как VPS, SP, PPS, SLICE, SEI и т.п. В заголовке блока NAL обеспечивается информация иерархической идентификации ("nuh_temporal_id_plus1", которая означает temporal_id) картинки. В SPS вставляется "general_level_idc", который является значением спецификации уровня битовой скорости. Дополнительно, в SPS картинки, принадлежащие каждой иерархии, указанной "temporal_id", собираются как подуровень (sub_layer) и когда "sublayer_level_presented_flag" устанавливается как "1", вставляется "sublayer_level_idc", который является значением спецификации уровня битовой скорости каждого подуровня.
С другой стороны, в кодированных данных изображения каждой картинки улучшенного потока существует блок NAL, такой как PPS, SLICE и т.п. В заголовке блока NAL обеспечивается информация об иерархической идентификации картинки ("nuh_temporal_id_plus1", что означает temporal_id).
Дополнительно, в транспортном потоке TS в качестве PSI (Program Specific Information, специальная информация о программе) содержится РМТ (Program Map Table, таблица карты программы). PSI является информацией, описывающей, какой программе принадлежит каждый элементарный поток, содержащийся в транспортном потоке.
В РМТ есть программный цикл, описывающий информацию, связанную со всей программой. Дополнительно, в РМТ существует элементарный цикл, имеющий информацию, связанную с каждым элементарным потоком. В этой примерной структуре имеются два элементарных видеоцикла (видеоцикл ES1 и видеоцикл ES2).
В каждом элементарном видеоцикле, соответствующим видеопотокам (видео PES 1 и видео PES2), обеспечивается такая информация, как типы потоков, идентификаторы пакетов (PID) и т.п., а также обеспечиваются дескрипторы, описывающие информацию, связанную с видеопотоками. Подробное описание элементарного видеоцикла (видеоцикла ES1) пропускается, но он имеет ту же самую структуру, что и структура TS на фиг. 12.
В элементарном видеоцикле (видеоцикл ES2), соответствующем улучшенному циклу (видео PES2), обеспечивается такая информация, как тип потока, PID (идентификатор пакета) т.п., а также обеспечивается дескриптор, описывающий информацию, связанную с видеопотоком. Предполагается, что значение "Stream_type" улучшенного потока устанавливается как "0 x 25" и информация PID указывает PID2, назначенный пакету PES "video PES2" улучшенного потока.
Дополнительно, в качестве дескриптора, обеспечиваемого в элементарный видеоцикл вставляется описанный выше дескриптор HEVC или дескриптор бесшовного переключения (дескриптор Seamless_switch). Здесь, когда используется дескриптор управления видеодекодированием (дескриптор Video_decode_control), в котором используется вновь определяется поле "frame_rate", вставка дескриптора бесшовного переключения не требуется. В показанном примере, в дескрипторе HEVC "level_idc" устанавливается как "level5.2". Дополнительно, указывается, что он устанавливается как "temporal_id_min = 5" и "temporal_id_max = 5," и что картинки, содержащиеся в улучшенном потоке, находятся в иерархии 5.
Здесь, РМТ, введенный в транспортный поток TS в случае передачи видеопотока (вводится только базовый поток) услуги 120Р, обычно предполагается имеющим показанное содержание и он обновляется на новый РМТ, имеющий содержание, соответствующее видеопотоку, в момент, непосредственно предшествующий началу передачи видеопотока следующей услуги.
Далее будет кратко объяснено действие передающего устройства 100, показанного на фиг. 5. В кодер 102А вводятся несжатые данные VDA движущегося изображения, имеющие частоту кадров 60 Гц. В кодере 102А на этих данных VDA движущегося изображения выполняется, например, такое кодирование, как H.264/AVC, H.265/HEVC и т.п. В данном случае, в кодере 102А данные изображения каждой картинки, которые образуют данные VDA движущегося изображения, классифицируются по множеству иерархий, данные изображения картинок, классифицированных в каждой иерархии, кодируются и формируется видеопоток, связанный с услугой 60Р, имеющий кодированные данные изображения картинок в каждой иерархии.
В этот видеопоток вводится только базовый поток. Другими словами, кодер 102А формирует базовый поток, имеющий кодированные данные изображения картинок во всех иерархиях, полученных при иерархическом кодировании. Здесь, иерархическое кодирование выполняется так, чтобы иерархический диапазон картинок, содержащихся в базовом потоке, находился в пределах ранее выделенного диапазона. Видеопоток (базовый поток), сформированный в кодере 102А и содержащий кодированные данные картинок в каждой иерархии, подается в буфер 103А сжатых данных (cpb) и временно сохраняется.
Дополнительно, в кодер 102В вводятся несжатые данные VDB движущегося изображения, имеющие частоту кадров 120 Гц. В кодере 102В, например, выполняется такое кодирование, как H.264/AVC, H.265/HEVC и т.п. выполняется. В этом случае, в кодере 102В данные изображения каждой картинки, формирующей данные VDB движущегося изображения, классифицируются во множество иерархий, данные изображения картинок, классифицированных в каждой иерархии, кодируются, и формируется видеопоток, связанный с услугой 120Р, имеющий кодированные данные изображения картинок в каждой иерархии.
В этом видеопотоке содержатся базовый поток и улучшенный поток. Другими словами, в кодере 102В множество иерархий делятся на две и формируются базовый поток, имеющий кодированные данные изображения картинок в более низких иерархиях, и улучшенный поток, имеющий кодированные данные изображения картинок в более высоких иерархиях. Здесь, иерархическое кодирование выполняется так, чтобы иерархический диапазон картинок, содержащихся в базовом потоке и улучшенном потоке, находился в пределах заранее выделенных диапазонов, и количество иерархий картинок, которые должны быть введены в улучшенный поток, стало равным единице. Видеопоток (базовый поток и улучшенный поток), сформированный в кодере 102В и содержащий кодированные данные картинок каждой иерархии, подается в буферу 103В сжатых данных (cpb) и временно сохраняется.
В мультиплексоре 104 при выполнении услуги 60Р видеопоток, хранящийся в буфере 103А сжатых данных, считывается, пакетируется в пакетированный элементарный поток (PES), пакетируется в транспортный пакет и мультиплексируется, чтобы получить транспортный поток TS в качестве мультиплексированного потока. Этот транспортный поток TS содержит только базовый поток. В мультиплексоре 104 фиксированный PID (=PID_1) применяется к базовому потоку.
Дополнительно, в мультиплексоре 104 при выполнении услуги 120Р видеопоток, хранящийся в буфере 103В сжатых данных, считывается, пакетируется в пакетированный элементарный поток (РЕ), пакетируется в транспортный пакет и мультиплексируется, чтобы получить транспортный поток TS в качестве мультиплексированного потока. Этот транспортный поток TS содержит базовый поток и улучшенный поток. В мультиплексоре 104 фиксированный PID (=PID_1) применяется к основному потоку, а фиксированный PID (=PID_2) применяется к улучшенному потоку.
Дополнительно, в мультиплексоре 104 во время периода передачи видеопотока каждой услуги, информация PID вставляется под таблицей карты программы (РМТ). Здесь, в соответствии с первым способом вставки информации PID, во время периода передачи видеопотока одной услуги непрерывно вставляется информация PID каждого из потоков, составляющих видеопоток, и в момент, непосредственно предшествующий началу периода передачи видеопотока следующей услуги, вставляется информация PID каждого из потоков, составляющих видеопоток. Дополнительно, в соответствии со вторым способом вставки информации PID, во время периода передачи видеопотока каждой услуги вставляется информация PID обоих потоков, базового потока и улучшенного потока.
Дополнительно, в мультиплексоре 104 во время периода передачи видеопотока каждой услуги информация об иерархическом диапазоне вставляется под таблицей карты программы (РМТ). В этом случае, во время периода передачи видеопотока одной услуги непрерывно вставляется информация об иерархическом диапазоне картинок каждого из потоков, составляющих видеопоток и в момент, непосредственно предшествующий началу периода передачи видеопотока следующей услуги, вставляется информация об иерархическом диапазоне картинок каждого из потоков, составляющих видеопоток.
Здесь, в мультиплексоре 104 во время периода передачи видеопотока, сформированного с базовым потоком, в соответствии с первым способом вставляется только информация об иерархическом диапазоне базового потока и, в дополнение к информации об иерархическом диапазоне базового потока, в соответствии со вторым способом вставляется информация об иерархическом диапазоне, которую может получать улучшенный поток. Количество иерархий картинок, которые должна вставляться в улучшенный поток, как предполагается, равно единице, но информация об иерархическом диапазоне, которую может получать улучшенный поток, как предполагается, содержит, например, множество иерархий.
Дополнительно, в мультиплексоре 140 во время периода передачи видеопотока каждой услуги, по меньшей мере, в момент, непосредственно предшествующий началу периода передачи видеопотока следующей услуги, вставляется информация о переключении под таблицей карты программы (РМТ). При вставке этой информации о переключении используется вновь определенный дескриптор бесшовного переключения (дескриптор Seamless_switch) или стандартный дескриптор управления видео декодированием (дескриптор Video_decode_control).
В передающем блоке 105 транспортный поток TS, полученный в мультиплексоре 104, передается приемному устройству 200 посредством широковещательной волны или пакета в сети. В этом случае, например, передается транспортный поток TS услуги 60Р и в дальнейшем передается транспортный поток TS услуги 120Р. Альтернативно, передается транспортный поток TS услуги 120Р и затем передается транспортный поток TS услуги 60Р.
Здесь было описано, как кодер 102А формирует видеопоток (базовый поток) услуги 60Р, кодер 102В формирует видеопоток (базовый поток и улучшенный поток) услуги 120Р и мультиплексор 104 их переключает. Однако, тот же самый эффект может осуществляться кодером 102В. В этом случае, кодер 102В имеет функцию ввода несжатых данных VDB движущегося изображения с частотой кадров 120 Гц и вывода при переключении выходного видеопотока (базового потока) услуги 60Р и вывода видеопотока (базового потока и улучшенного потока) услуги 120Р.
Структура приемного устройства
На фиг. 14 показана примерная структура приемного устройства 200. Приемное устройство 200 содержит CPU (центральный процессор) 201, приемный блок 202, демультиплексор 203 и буфер 204 сжатых данных (cpb). Дополнительно, приемное устройство 200 содержит декодер 205, буфер 206 распакованных данных (dpb), блок 207 постпроцессора и дисплей 208. CPU 201 содержит блок управления и управляет работой каждого блока приемного устройства 200.
Приемный блок 202 принимает от передающего устройства 100 транспортный поток TS, передаваемый посредством широковещательной волны или пакета в сети. Демультиплексор 203 извлекает каждый из потоков, образующих видеопоток, из транспортного потока TS посредством фильтрации фильтром PID и передает данные в буфер 204 сжатых данных (cpb).
В этом случае, фиксированный PID соответственно применяется к базовому потоку и к улучшенному потоку. Таким образом, например, даже когда выполняется переключение с услуги 60р на услугу 120р или переключение на противоположное направление, не требуется изменять настройки фильтра для извлечения каждого потока и, таким образом, можно предотвратить пропадание изображения и реализуется бесшовное отображение.
На фиг. 15 показана примерная структура демультиплексора 203. Демультиплексор 203 содержит фильтр PID 231, буферы 232_0-232_n, 232_null и 232_с демультиплексирования, секционный фильтр 233 и блок 234 анализа РМТ.
На основе PID фильтр 231 PID пропускает секционные данные и нулевой пакет, содержащиеся в транспортном потоке TS. В показанном примере значение PID секционных данных устанавливается как PID_с и PID нулевого пакета устанавливается как PID_null. Нулевой пакет может передаваться так, чтобы вставляться в поток PID видеопотока, не имеющего собственного значения PID. Таким образом, буфер мультиплексирования приемника может обнаруживать нулевой пакет и использовать это обнаружение для определения, что может произойти переключение. Дополнительно, фильтр 231 PID пропускает пакет TS в соответствии с номером программы согласно каналу радиовещания, который содержится в транспортном потоке TS, основываясь на значении PID, которое должно быть установлено. В показанном примере значения PID пакетов TS, которые могут устанавливаться, устанавливаются как PID_0-PID_n.
Буферы 232_0-232_n, 232_null и 232_с мультиплексирования временно хранят пакеты TS, секционные данные, нулевой пакет, которые прошли через фильтр 231 PID. Другими словами, в демультиплексоре 203 буферы мультиплексирования управляются, основываясь на значениях PID. Секционный фильтр 233 извлекает таблицу карты программы (РМТ) из секционных данных, хранящихся в буфере 232_с мультиплексирования, основываясь на значении PID.
Блок 234 анализа РМТ анализирует РМТ, извлеченный секционным фильтром 233, и на основе результата анализа, устанавливает для фильтра 231 PID значение PID пакетов TS, которые должны пропускаться. Например, когда транспортный поток TS является услугой 60Р, то, например, значение "101", которое является фиксированным значением PID, применяемым к базовому потоку, устанавливается как PID_0. Дополнительно, когда транспортный поток TS является услугой 120Р, например, значение "101", которое является фиксированным значением PID, применяемым к базовому потоку, устанавливается как PID_0, и значение "102", которое является фиксированным значением PID, применяемым к улучшенному потоку, устанавливается как PID_1.
В зависимости от характеристик декодирования декодера 205, демультиплексор 203 передает пакеты TS, хранящиеся в буферах 232_0-232_n мультиплексирования, основываясь на значениях PID, в буфер 204 сжатых данных. Например, когда декодер 205 является декодером 60р, демультиплексор 203 передает пакеты TS базового потока, хранящиеся в буфере 232_0 мультиплексирования, в буфер 204 сжатых данных. Дополнительно, например, когда декодер 205 является декодером 120р, демультиплексор 203 передает пакет TS базового потока, хранящегося в буфере 232_0 мультиплексирования и пакет TS улучшенного потока, хранящегося в буфере 232_1 мультиплексирования, в буфер 204 сжатых данных.
Заметим, здесь был описан случай, когда транспортный поток TS является услугой 120Р, и тогда, например, фильтр PID 231 пропускает пакет TS PID_0, PID_1; однако, когда декодер 205 является декодером 60р, может использоваться фильтр 231 PID, который пропускает только пакеты TS PID_0.
Возвращаясь обратно к фиг. 14, буфер (cpb) 204 сжатых данных временно сохраняет пакеты TS, переданные от демультиплексора 203, которые являются кодированными данными изображения каждой картинки. Декодер 205 считывает и декодирует кодированные данные изображения каждой картинки, хранящейся в буфере
204 сжатых данных, соответственно, в момент декодирования, заданный DTS (Decoding Time stamp, отметка времени декодирования) картинки, и передает их в буфер (dpb) 206 распакованных данных.
Буфер (dpb) 206 распакованных данных временно хранит данные изображения каждой картинки, декодированной в декодере 205. Блок 207 постпроцессора обрабатывает частота кадров данных изображения каждой картинки, которая последовательно считывается в моменты отображения, заданные PTS (Presentation Time stamp, отметка времени представления), из буфера (dpb) 206 распакованных данных, чтобы регулировать возможности отображения.
Например, в случае, когда частота кадров данных изображения каждой картинки после декодирования составляет 60 кадров/с, а возможность отображения составляет 120 кадров/с, блок 207 постпроцессора выполняет процесс интерполяции данных изображения каждой картинки после декодирования, чтобы иметь удвоение для разрешающей способности во временном направлении, и передает данные как данные изображения 120 кадров/с на блок 208 дисплея.
Блоком 208 дисплея является, например, жидкокристаллический дисплей LCD (Liquid Crystal Display), органическая EL (Organic Electro-Luminescence, органическая электролюминесцентная) панель и т.п. Здесь, блок 208 дисплея может быть внешним устройством, которое должно подключаться к приемному устройству 200.
Здесь будет кратко описана работа приемного устройства 200, показанного на фиг. 14. В приемном блоке 202 принимается транспортный поток TS, переданный от передающего устройства 100 через широковещательную волну или пакет в сети. Этот транспортный поток TS передается к демультиплексору 203. В демультиплексоре 203, основываясь на информации PID, содержащейся в РМТ, пакет TS, соответствующий услуге, извлекается из транспортного потока TS. Этот пакет TS передается в буфер (cpb) 204 сжатых данных и временно в нем сохраняется.
Например, когда транспортный поток TS является услугой 60р, пакет TS базового потока извлекается и передается буферу 204 сжатых данных. Дополнительно, например, для транспортного потока TS услуги 120р, когда декодер 205 является декодером 60р, пакет TS базового потока извлекается и передается буферу 204 сжатых данных, а когда декодер 205 является декодером 120р, пакет TS обоих потоков, базового потока и улучшенного потока, извлекается и передается буферу 204 сжатых данных.
В декодере 205 кодированные данные изображения каждой картинки, хранящейся в буфере 204 сжатых данных, соответственно декодируются в моменты декодирования картинок, передаются буферу 206 распакованных данных (dpb) и временно сохраняются. Затем данные изображения каждой картинки, которые последовательно считываются из буфера 206 распакованных данных (dpb) в моменты отображения, передаются блоку 207 постпроцессора. В блоке 207 постпроцессора выполняется интерполяция или подвыборка данных изображения каждой картинки, чтобы регулировать их частоты кадров под возможности дисплея. Данные изображения каждой картинки, обработанные в блоке 2-7 постпроцессора, подаются на блок 208 дисплея и движущееся изображение отображается.
Далее будет объяснена работа переключения с программы 4K 60р на программу 4K 120р в приемо-передающей системе 10, показанной на фиг. 1. На фиг. 16 показан пример работы отправителя, то есть, передающего устройства 100. Во время периода передачи услуги 60р кодер 102А формирует видеопоток услуги 60р. В этом видеопотоке содержится только базовый поток, в который вводится, например, "101", применяемое в качестве значения PID.
Затем, во время периода передачи услуги 60р в мультиплексоре 104 этот базовый поток пакетируется как пакетированный элементарный поток (PES), затем формируется как транспортный пакет и мультиплексируется, чтобы получить транспортный поток TS в качестве мультиплексированного потока, который служит в качестве потока передачи программы 4K 60р.
Во время этого периода передачи услуги 60р, РМТ, который показан как "предыдущий РМТ", непрерывно вставляется на уровень контейнера и передается. Этот РМТ содержит информацию "Service_id" и "Version number" и информацию "Elementary_PID" и "Stream_type", соответствующего базовому потоку.
Дополнительно, во время этого периода передачи услуги 60р, в момент, непосредственно предшествующий началу периода передачи услуги 120р, который является, например, моментом, на секунду предшествующим окончанию периода передачи услуги 60р, РМТ, который показан как "new РМТ" (новый РМТ), вставляется на уровень контейнера и передается. Аналогично "previous РМТ" (предыдущему РМТ), этот РМТ содержит информацию "Service_id" и "Version number". "Version number" изменяется с "V0" на "V0+1", чтобы указать изменение на "new РМТ" (новый РМТ).
Дополнительно, этот РМТ содержит информацию "Elementary_PID" и "Stream_type", соответствующую базовому потоку и также информации "Elementary_PID" и "Stream_type", соответствующего улучшенному потоку. Дополнительно, в это РМТ вводится дескриптор бесшовного переключателя (дескриптор Seamless_switch), в который записана информации о переключении.
Здесь он устанавливается как "EOS_flag = 1" и это означает, что "end_of_seq" кодируется. Дополнительно, он устанавливается как "number_of_streams = 2" и это указывает, что количество потоков услуг после переключения равно двум. Дополнительно, он устанавливается как "frame_rate = 1100 (120 Гц)" и это указывает, что частота кадров потока услуги после переключения составляет 120 Гц.
Когда период передачи услуги 60р заканчивается, происходит переключение на период передачи услуги 120р. Во время периода передачи услуги 120р кодер 102В формирует видеопоток услуги 120р. В этом видео потоке базовый поток, к которому применяется, например, "101" в качестве значения PID, и улучшенный поток, к которому применяется, например, "102" в качестве значения PID.
Затем, во время этого периода передачи услуги 120р в мультиплексоре 104 базовый поток и улучшенный поток формируются как пакеты PES, затем формируются как транспортные пакеты и мультиплексируются, чтобы получить транспортный поток TS в качестве мультиплексированного потока, который служит в качестве потока передачи программы 4K 120р. Здесь, между потоком передачи программы 4K 60р и потоком передачи программы 4K 120р существует период промежутка, во время которого передается нулевой пакет.
На фиг. 17 показан пример работы приемной стороны, то есть, приемного устройства 200. Во время периода передачи услуги 60р, демультиплексор 203 выводит видеопоток программы 4K 60. Затем, декодер 205 выводит данные изображения программы 4K 60 в обоих случаях, декодера 60р и декодера 120р.
Во время этого периода передачи услуги 60р, с уровня контейнера непрерывно получают РМТ, показанный как "previous РМТ" (предыдущий РМТ), и в момент, непосредственно предшествующий началу периода передачи услуги 120р, получают "new РМТ" (новый РМТ). Когда значение PID улучшенного потока, содержащееся в "новом РМТ", устанавливается в фильтр PID, демультиплексор 203 устанавливается в состояние, позволяющее выводить видеопоток программы 4K 120.
Когда период передачи услуги 60р закончен, он переключается на период передачи услуги 120р. В этом случае, выход демультиплексора 203 переключается с видеопотока программы 4K 60р (только базовый поток) на видеопоток программы 4K 120р (базовый поток и улучшенный поток) после периода промежутка, в котором содержится нулевой пакет. Затем от декодера 205в случае декодера 60р выводятся данные изображения программы 4K 60, и данные изображения программы 4K 120р выводятся в случае декодера 120р.
Работа демультиплексора 203 при переключении с периода передачи услуги 60р на период передачи услуги 120р будет объяснена дополнительно. Во время периода передачи услуги 60р только поток PID_0 (101) (базовый поток) проходит через фильтр 231 PID и сохраняется в буфере 232_0 мультиплексирования.
В момент времени, на секунду предшествующий окончанию периода передачи услуги 60р, секционный фильтр 233 извлекает "new РМТ" (новый РМТ). Этот "новый РМТ" анализируется блоком 234 анализа РМТ и значение PID потока, прошедшего через фильтр 231 PID, "Stream_type" и "Descriptor" обнаруживаются и значение PID устанавливается в фильтр 231 PID. Таким образом, в периоде передачи следующей услуги 120р, фильтр 231 PID может пропустить поток PID_1 (102) (улучшенный поток), а также поток PID_0 (101) (базовый поток).
После переключения на период передачи услуги 120р поток PID_0(101) (базовый поток) проходит через фильтр 231 PID и сохраняется в буфере 232_0 мультиплексирования и поток PID_0 (102) (улучшенный поток) также проходит через фильтр 231 PID и сохраняется в буфере 232_1 мультиплексирования. Здесь, когда флаг "EOS_flag" дескриптора бесшовного переключателя в "new РМТ" (новом РМТ) равен "1", определяется, что переключение произойдет при количестве видеоформатов и потоков услуг, существующем в момент времени обнаружения EOS видеопотока.
Здесь, упомянутые выше примеры работы, представленные на фиг. 16 и 17, показывают, что значение PID улучшенного потока сообщается с "new РМТ" (новьм РМТ), вставленным на уровень контейнера в момент времени, непосредственно предшествующий началу периода передачи услуги 120р, то есть, например, в момент времени за одну секунду до окончания периода передачи услуги 60р (первый способ вставки PID). Однако, можно зарезервировать значение PID улучшенного потока, вводя значение PID улучшенного потока в "previous РМТ" (предыдущий РМТ), который непрерывно вставляется на уровень контейнера во время периода передачи услуги 60р (второй способ вставки PID). На фиг. 18 и 19 показаны примеры операций на стороне передачи и на стороне приема.
Далее будет объяснено изменение структуры иерархического кодирования, соответствующее операциям переключения услуги в приемо-передающей системе 10, показанной на фиг. 1. На фиг. 20 представлен пример изменения структуры иерархического кодирования, соответствующего операции переключения услуги. В этом примере иерархии от 0 до 3 назначаются базовым потокам и иерархии 4 и 5 назначаются улучшенным потокам.
В этом примере в видеопотоке услуги 60р содержатся кодированные данные изображения каждой картинки, для которой выполняется иерархическое кодирование. В этом случае, картинки существуют в иерархиях 0-3. В видеопотоке услуги 60р содержится только базовый поток. В этом базовом потоке содержатся изображения во всех иерархиях 0-3. В этом случае, в SPS базового потока "general_level_idc" устанавливается как "level5.1" и устанавливается как "sps_max_sublayer_minus1 = 3."
Дополнительно, в этом примере в видеопотоке услуги 120р содержатся кодированные данные изображения каждой картинки, для которой выполняется иерархическое кодирование. В этом случае, картинки существуют в иерархиях 0-4. В видеопотоке услуги 120р содержатся базовый поток и улучшенный поток. Картинки в иерархиях 0-3 содержатся в базовом потоке и картинки в иерархии 4 содержатся в улучшенном потоке. В этом случае, в SPS (Sequence Parameter Set (набор параметров последовательности) базового потока "general_level_idc" устанавливается как "level5.2" и устанавливается как "sps_max_sublayer_minus1 = 4."
В момент времени, непосредственно предшествующий началу периода передачи услуги 60р, РМТ, имеющий информацию видеопотока услуги 60р, вставляется на уровне контейнера. В дескрипторе HEVC, содержащемся в РМТ, "level_idc" устанавливается как "level5.1" и устанавливается как "temporal_id_min = 0" и "temporal_id_max = 3."
Аналогично, во время периода передачи услуги 60р в момент времени, непосредственно предшествующий началу услуги 120р, РМТ, имеющий информацию видеопотока услуги 120р, вставляется на уровень контейнера. В дескрипторе HEVC базового потока, содержащемся в РМТ, "level_idc" устанавливается как "level5.1" и, дополнительно, устанавливается как "temporal_id_min = 0" и "temporal_id_max = 3." Дополнительно, в дескрипторе HEVC улучшенного потока, содержащемся в РМТ, "level_idc" устанавливается как "level5.2" и, дополнительно, устанавливается как "temporal_id_min = 4" и "temporal_id_max = 4."
В этом случае, в периоде Т, начинающемся с момента вставки РМТ, имеющего информацию видеопотока услуги 120р, до окончания периода передачи услуги 60р, информация видеоуровня является информацией видеопотока услуги 60р, тогда как информация системного уровня является информацией видеопотока услуги 120р. Однако, в этом случае, диапазоны значения "temporal_id" видео и значения "temporal_id" дескриптора HEVC согласуются. Причина состоит в том, что иерархическое кодирование выполняется для видеопотока каждой услуги, так чтобы иерархии картинок, соответственно, содержащихся в базовом потоке и улучшенном потоке, попадали в пределы заранее выделенных диапазонов, независимых друг от друга.
На фиг. 21 показан другой пример изменения структуры иерархического кодирования в соответствии с операцией переключения услуги. В этом примере иерархии 0-3 назначаются основному потоку и иерархии 5 и 6 назначаются улучшенному потоку.
В этом примере в видеопотоке услуги 60р содержатся кодированные данные изображения каждой картинки, для которой выполняется иерархическое кодирование. В этом случае картинки находятся в иерархиях 0-3. В видеопотоке услуги 60р содержится только базовый поток. В этом базовом потоке содержатся картинки во всех иерархиях от 0 до 3. В этом случае в SPS базового потока "general_level_idc" устанавливается как "level5.1" и устанавливается как "sps_max_sublayer_minus1 = 3."
Дополнительно, в этом примере в видеопотоке услуги 120р содержатся кодированные данные изображения каждой картинки, для которой выполняется иерархическое кодирование. В этом случае картинки существуют в иерархиях от 0 до 2 и 5. В видеопотоке услуги 120р содержатся базовый поток и улучшенный поток. Базовый поток содержит картинки иерархии 0-2, а улучшенный поток содержит картинки иерархии 5. В этом случае в SPS (Sequence Parameter Set, набор параметра последовательности) базового потока "general_level_idc" устанавливается как "level5.2" и устанавливается как "sps_max_sublayer_minus1 = 5."
В момент времени, непосредственно предшествующий началу периода передачи услуги 60р, РМТ, имеющий информацию видеопотока услуги 60р, вставляется на уровень контейнера. В этом РМТ присутствует информация базового потока и улучшенного потока. В дескрипторе HEVC базового потока "level_idc" устанавливается как "level5.1" и, дополнительно, устанавливается как "temporal_id_min = 0" и "temporaMd_max = 3."
Дополнительно, в дескрипторе HEVC улучшенного потока "level_idc" устанавливается как "level5.2" и, дополнительно, устанавливается как "temporal_id_min = 5" и "temporal_id_max = 6." Для этих установок указывается, что диапазон иерархий, который может занимать улучшенный поток, является иерархиями 5 и 6, и указывается, что улучшенный поток фактически не существует. Здесь, аналогично фиг. 20, информация улучшенного потока в РМТ может не существовать.
Дополнительно, во время периода передачи услуги 60р в момент времени, непосредственно предшествующий началу услуги 120р, РМТ, имеющий информацию о видеопотоке услуги 120р, вставляется на уровень контейнера. В дескрипторе HEVC базового потока, содержащемся в РМТ, "level_idc" устанавливается как "level5.1" и, дополнительно, устанавливается как "temporal_id_min = 0" и "temporal_id_max = 3." Дополнительно, в дескрипторе HEVC улучшенного потока, содержащемся в РМТ, "level_idc" устанавливается как "level5.2" и, дополнительно, устанавливается как "temporal_id_min = 5" и "temporal_id_max = 5."
В этом случае, в периоде Т, начинающемся со вставки РМТ, имеющего информацию видеопотока услуги 120р, до окончания периода передачи услуги 60р, информация видеоуровня является информацией видеопотока услуги 60р, в то время как информация системного уровня является информацией видеопотока услуги 120р. Однако, в этом примере диапазон значений "temporal_id" видео и диапазон значений "temporal_id" дескриптора HEVC являются совпадающими. Это происходит потому, что иерархическое кодирование выполняется для видеопотока каждой услуги так, чтобы иерархии картинок, соответственно содержащихся в базовом потоке и улучшенном потоке, попадали в пределы заранее выделенных диапазонов, независимых друг от друга.
На фиг. 22 показано примерное изменение структуры иерархического кодирования, соответствующее операции переключения услуги. Это пример того, как иерархии картинок, соответственно содержащихся в базовом потоке и в улучшенном потоке, не назначаются заранее.
В этом примере, в видеопотоке услуги 60р содержатся кодированные данные изображения каждой картинки, для которой выполняется иерархическое кодирование. В этом случае существуют картинки в иерархиях 0-3. В видеопотоке услуги 60р содержится только базовый поток. В этом базовом потоке содержатся картинки во всех иерархиях от 0 до 3. В этом случае, в SPS базового потока "general_level_idc" устанавливается как "level5.1" и устанавливается как "sps_max_sublayer_minus1 = 3."
Дополнительно, в этом примере в видеопотоке услуги 120р содержатся кодированные данные изображения каждой картинки, для которой выполняется иерархическое кодирование. В этом случае существуют картинки в иерархиях от 0 до 3. В видеопотоке услуги 120р содержатся базовый поток и улучшенный поток. Базовый поток содержит картинки в иерархиях 0-2, а улучшенный поток содержит картинки в иерархии 3. В этом случае в SPS (Sequence Parameter Set, набор параметра последовательности) базового потока, "general_level_idc" устанавливается как "level5.2" и устанавливается как "sps_max_sublayer_minus1 = 3".
В момент времени, непосредственно предшествующий началу периода передачи услуги 60р, РМТ, имеющий информацию видеопотока услуги 60р, вставляется на уровень контейнера. В дескрипторе HEVC, содержащемся в РМТ, "level_idc" устанавливается как "level5.1" и, дополнительно, устанавливается как "temporal_id_min = 0" и "temporal_id_max = 3."
Аналогично, во время периода передачи услуги 60р, в момент, непосредственно предшествующий началу услуги 120р, РМТ, имеющий информацию видеопотока услуги 120р, вставляется на уровень контейнера. В дескрипторе HEVC базового потока, содержащемся в РМТ, "level_idc" устанавливается как "level5.1" и, дополнительно, устанавливается как "temporal_id_min = 0", "temporal_id_max = 2." Дополнительно, в дескрипторе HEVC улучшенного потока, содержащемся в РМТ, "level_idc" устанавливается как "level5.2", и это устанавливается как "temporal_id_min = 3" и "temporal_id_max = 3."
В этом случае, в период Т, начинающийся со вставки РМТ, имеющего информацию видеопотока услуги 120р, и до конца периода передачи услуги 60р, информация видеоуровня является информацией видеопотока услуги 60р, в то время как информация уровня системы является информацией видеопотока услуги 120р. Затем, в этом примере диапазон значения "temporal_id" видео и значения "temporal_id" дескриптора HEVC не совпадают. Это связано с тем, что иерархическое кодирование не выполняется для видеопотока каждой услуги так, чтобы иерархии картинок, соответственно содержащихся в базовом потоке и в улучшенном потоке, попадали в пределы заранее назначенных диапазонов, независимых друг от друга, и уровень temporal_ID = 3 может меняться, чтобы существовать в основном потоке или существовать в улучшенном потоке.
Как описано выше, в приемо-передающей системе 10, показанной на фиг. 1, в передающем устройстве 100, фиксированный идентификатор (PID) применяется к базовому потоку и к улучшенному потоку. Таким образом, на передающей стороне, даже при переключении с услуги 60р на услугу 120р или с услуги 120р на услугу 60р, в демультиплексоре 203 не обязательно менять настройки фильтра, чтобы извлечь каждый поток. Таким образом, можно предотвратить пропадание изображения и реализовать бесшовное отображение.
Дополнительно, в приемо-передающей системе 10, показанной на фиг. 1, по этой причине иерархическое кодирование видеопотока каждой услуги выполняется так, чтобы в видеопотоке каждой услуги иерархии картинок, соответственно содержащихся в базовом потоке и в улучшенном потоке, попадали в пределы ранее назначенных диапазонов, независимых друг от друга. Таким образом, можно предотвратить рассогласование между диапазоном значения "temporal_id" видео и диапазоном значения "temporal_id" дескриптора HEVC. 2.
Модификация
Здесь, согласно описанному выше варианту осуществления, была показана приемопередающая система 10, состоящая из передающего устройства 100 и приемного устройства 200; однако, структура приемо-передающей системы, к которой может применяться настоящая технология, не ограничивается этой структурой. Например, секция приемного устройства 200 может быть, например, структурой телеприставки и монитора, которые соединяются через цифровой интерфейс, такой как HDMI (High-Definition Multimedia Interface, мультимедийный интерфейс высокой четкости). Заметим, что "HDMI" является зарегистрированной торговой маркой.
Дополнительно, описанный выше вариант осуществления представил пример, в котором контейнер является транспортным потоком (MPEG-2 TS). Однако, настоящая технология может также быть применяться к системе структуры, в которой данные доставляются к приемному терминалу, используя сеть, такую как Интернет. Для передачи через Интернет данные часто передаются в контейнере МР4 или в других форматах. Другими словами, как контейнер, контейнеры различного формата, такие как транспортный поток (MPEG-2 TS), используемые в качестве цифровых широковещательных стандартов, и МР4, используются для передачи через Интернет.
Дополнительно, настоящая технология может также использовать следующие структуры.
(1) Передающее устройство, содержащее:
блок кодирования изображения, выполненный с возможностью кодирования данных изображения каждой из картинок, составляющих данные движущегося изображения, и формирования видеопотока; и
передающий блок, выполненный с возможностью передачи контейнера в заданном формате, в который непрерывно вводится первый видеопоток и второй видеопоток, формируемые блоком кодирования изображения, в котором
первый видеопоток и второй видеопоток состоят из первого-М-ого потоков из числа первого-N-ого потоков (М≤N), и
передающий блок применяет фиксированный идентификатор к первому-N-ому потокам, соответственно.
(2) Передающее устройство по п. (1), в котором:
передающий блок
во время периода передачи первого видеопотока непрерывно вставляет информацию идентификатора каждого из потоков, образующих первый видеопоток, на уровень контейнера и передает, и
в момент времени, непосредственно предшествующий началу периода передачи второго видеопотока, непрерывно вставляет информацию идентификатора каждого из потоков, образующих второй видеопоток, на уровень контейнера и передает.
(3) Передающее устройство по п. (1), в котором:
передающий блок
вставляет во время периода передачи первого видеопотока информацию идентификатора соответствующих первого-N-ого потоков на уровень контейнера и передает.
(4) Передающее устройство по любому из п.п. (1)-(3), в котором:
передающий блок
вставляет во время периода передачи каждого видеопотока информацию о переключении на уровень контейнера и передает.
(5) Передающее устройство по п. (4), в котором:
информация о переключении содержит информацию о частоте кадров и информацию о структуре потока кодированных данных изображения, содержащихся во втором видеопотоке.
(6) Передающее устройство по любому из п.п. (1)-(5), в котором:
первый видеопоток и второй видеопоток содержат, по меньшей мере, базовый поток из числа базового потока и улучшенного потока.
(7) Передающее устройство по п. (6), в котором:
видеопоток, состоящий из базового потока, содержит кодированные данные изображения на первой частоте кадров, и
видеопоток, состоящий из базового потока и улучшенного потока, содержит кодированные данные изображения на второй частоте кадров, которая в два раза выше, чем первая частота кадров.
(8) Передающее устройство по любому из п.п. (1)-(7), в котором:
блок кодирования изображения классифицирует данные изображения каждой из картинок, образующих данные движущегося изображения, на множество иерархий, кодирует данные изображения картинок в каждой классифицированной иерархии, делит множество иерархий на М иерархических групп и формирует первый-М-ый потоки каждого видеопотока, который соответственно, имеет кодированные данные изображения картинок каждой из поделенных иерархических групп, и
иерархическое кодирование выполняется так, что иерархии картинок, которые, соответственно, вводятся в первый-М-ый потоки, попадают в пределы заранее назначенных диапазонов, независимых друг от друга.
(9) Передающее устройство по п.(8), в котором:
передающий блок
непрерывно вставляет во время периода передачи первого видеопотока информацию об иерархическом диапазоне картинки каждого из потоков, образующих первый видеопоток, на уровень контейнера и передает, и
вставляет в момент времени, непосредственно предшествующий началу периода передачи второго видеопотока, информацию об иерархическом диапазоне каждого из потоков, образующих второй видеопоток, на уровень контейнера и передает.
(10) Передающее устройство по п. (8) или (9), в котором:
первый видеопоток и второй видеопоток содержат, по меньшей мере, базовый поток из числа базового потока и улучшенного потока,
блок кодирования изображения
кодирует, так что количество иерархий картинок, содержащихся в улучшенном потоке, становится равным единице.
(11) Передающее устройство по п. (10), в котором:
во время периода передачи каждого видеопотока,
когда видеопоток содержит только базовый поток,
передающий блок вставляет информацию об иерархическом диапазоне картинки базового потока и информацию об иерархическом диапазоне картинки улучшенного потока на уровень контейнера и передает.
(12) Способ передачи, содержащий этапы, на которых:
кодируют изображение посредством кодирования данных изображения каждой из картинок, образующих данные движущегося изображения, и формируют видеопоток; и
передают посредством передачи контейнера в заданном формате, который постоянно содержит первый видеопоток и второй видеопоток, формируемые на этапе кодирования изображения, в котором
первый видеопоток и второй видеопоток состоят из первого-М-ого потоков из числа первого-N-ого потоков (М≤N), и
на этапе передачи применяют фиксированный идентификатор к первому-N-ому потокам, соответственно.
(13) Приемное устройство, содержащее:
приемный блок, выполненный с возможностью приема контейнера в заданном формате, который непрерывно содержит первый видеопоток и второй видеопоток, содержащие кодированные данные изображения, в котором
первый видеопоток и второй видеопоток состоят из первого-М-ого потоков из числа первого-N-ого потоков (М≤N), и
применяют фиксированный идентификатор к первому-N-ому потокам, соответственно.
приемное устройство дополнительно содержит:
процессорный блок, выполненный с возможностью обработки каждого из потоков, содержащихся в первом видеопотоке и втором видеопотоке, посредством фильтрации, основываясь на соответственно примененных идентификаторах.
(14) Приемное устройство по п. (13), в котором:
в первом-М-ом потоках каждого видеопотока,
данные изображения каждой из картинок, которые составляют данные движущегося изображения, классифицируются на множество иерархий, данные изображения картинок в каждой из классифицированных иерархий кодируются, множество иерархий делятся на М иерархических групп и кодированные данные изображения картинок каждой из поделенных иерархических групп соответственно вводятся, и
иерархическое кодирование выполняется так, что иерархии картинок, содержащихся в каждом из первого-М-ого потоков, попадают в пределы заранее назначенных диапазонов, независимых друг от друга.
(15) Способ приема, содержащий этапы, на которых:
принимают контейнер в заданном формате, который непрерывно содержит первый видеопоток и второй видеопоток, содержащие кодированные данные изображения, в котором
первый видеопоток и второй видеопоток состоят из первого-М-ого потоков из числа первого-N-ого потоков (М≤N), и
применяют фиксированный идентификатор к первому-N-ому потокам, соответственно,
способ приема, дополнительно содержащий этап, на котором:
обрабатывают каждый поток, содержащийся в первом видеопотоке и втором видеопотоке, посредством фильтрации, основываясь на соответственно примененных идентификаторах.
(16) Передающее устройство, содержащее:
блок кодирования изображения, выполненный с возможностью формирования видеопотока, имеющего кодированные данные изображения, и
передающий блок, выполненный с возможностью передачи контейнера в заданном формате, в который непрерывно вводится первый видеопоток и второй видеопоток, формируемые блоком кодирования изображения, в котором
первый видеопоток и второй видеопоток состоят из первого-М-ого потоков из числа первого-N-ого потоков (М≤N),
блок кодирования изображения классифицирует данные изображения каждой картинки, образующие данные движущегося изображения, на множество иерархий, кодирует данные изображения картинок в каждой классифицированной иерархии, делит множество иерархий на М иерархических групп и формирует первый-М-ый потоки каждого из видеопотоков, которые, соответственно, имеют кодированные данные изображения картинок каждой из поделенных иерархических групп, и
иерархическое кодирование выполняется так, что иерархии картинок, содержащихся в каждом из первого-М-ого потоков, попадают в пределы заранее назначенных диапазонов, независимых друг от друга.
(17) Передающее устройство по п. (16), в котором:
передающий блок
непрерывно вставляет во время периода передачи первого видеопотока информацию об иерархическом диапазоне картинки каждого из потоков, содержащихся в первом видеопотоке, на уровень контейнера и передает, и
вставляет в момент времени, непосредственно предшествующий началу периода передачи второго видеопотока, информацию об иерархическом диапазоне каждого из потоков, образующих второй видеопоток, на уровень контейнера и передает.
(18) Передающее устройство по п. (16) или (17), в котором:
первый видеопоток и второй видеопоток содержат, по меньшей мере, базовый поток из числа базового потока и улучшенного потока.
количество иерархий картинок, содержащихся в улучшенном потоке, принимается равным единице.
(19) Передающее устройство по п. (18), в котором:
во время периода передачи каждого видеопотока,
когда видеопоток содержит только базовый поток,
передающий блок
вставляет информацию об иерархическом диапазоне картинок базового потока и информацию об иерархическом диапазоне картинок улучшенного потока на уровень контейнера и передает.
Основные характеристики настоящей технологии заключаются в применении фиксированного идентификатора к базовому потоку и к улучшенному потоку, приемной стороне нет необходимости изменять настройки фильтра, чтобы извлечь каждый поток посредством демультиплексора, даже услуги переключаются, и это предотвращает возникновение пропадания изображения и реализует бесшовное отображение (смотрите фиг. 16). Дополнительно, основные характеристики настоящей технологии состоят в том, что иерархическое кодирование выполняется для видеопотока каждой услуги, так что иерархии картинок, соответственно введенных в базовый поток и улучшенный поток, попадают в пределы заранее назначенных диапазонов, независимых друг от друга, и это предотвращает возникновение рассогласования между значениями "temporal_id" видео и дескриптором HEVC (смотрите фиг. 20).
Перечень ссылочных позиций
10 Приемо-передающая система
100 Передающее устройство
101 Центральный процессор, CPU
102А, 102В Кодер
103А, 103В Буфер (cpb) сжатых данных
104 Мультиплексор
105 Передающий блок
141 Блок формирования секционной информации
142 Блок формирования нулевого пакета
143 Переключатель
144 Блок назначения PID
145 Блок мультиплексирования TS
200 Приемное устройство
201 Центральный процессор, CPU
202 Приемный блок
203 Демультиплексор
204 Буфер (cpb) сжатых данных
205 Декодер
206 Буфер (dpb) распакованных данных
207 Блок постпроцессора
208 Блок дисплея
231 Фильтр PID232_0-232_n, 232_null, 232_с Буфер мультиплексирования
233 Секционный фильтр
234 Блок анализа РМТ
Изобретение относится к передающему устройству для непрерывной передачи видеопотоков множества услуг, в особенности неподвижных изображений стандарта высокоэффективного кодирования видеоизображений (HEVC). Техническим результатом является предотвращение пропадания изображения в случае переключения услуг. Указанный технический результат достигается тем, что блок кодирования изображения формирует видеопоток, кодируя данные изображения каждой из картинок, образующих данные движущегося изображения. Передающий блок передает контейнер в заданном формате, в который непрерывно вводятся первый видеопоток и второй видеопоток, формируемые блоком кодирования изображения. Первый видеопоток и второй видеопоток состоят из первого-М-го потоков из числа первого-N-го потоков (М≤N). Передающий блок применяет фиксированный идентификатор к соответствующим первому-N-му потокам. 4 н. и 4 з.п. ф-лы, 22 ил. 
1. Передающее устройство, содержащее:
блок кодирования изображения, выполненный с возможностью иерархического кодирования данных изображения каждой из картинок, составляющих данные движущегося изображения, и формирования базового потока, имеющего кодированные данные изображения картинки в более низкой иерархии, и улучшенного потока, имеющего кодированные данные изображения картинки в более высокой иерархии, в котором
блок кодирования изображения выполнен с возможностью установки иерархии картинки, содержащейся в улучшенном потоке, в качестве фиксированной иерархии, которая является более высокой иерархией, чем наивысшая иерархия, которую может иметь любая картинка базового потока, в котором иерархии картинок, включенных в базовый поток, и иерархии картинок, включенных в улучшенный поток, находятся в пределах ранее назначенных соответствующих диапазонов, независимых друг от друга и неперекрывающихся; и
передающее устройство, дополнительно содержащее:
передающий блок, выполненный с возможностью передачи контейнера в заданном формате, который содержит базовый поток и улучшенный поток, формируемые блоком кодирования изображения.
2. Передающее устройство по п. 1, дополнительно содержащее:
блок вставки информации, выполненный с возможностью вставки в контейнер значения спецификации уровня битовой скорости базового потока и улучшенного потока.
3. Передающее устройство по п. 1, дополнительно содержащее:
блок вставки информации, выполненный с возможностью вставки в контейнер информации об иерархическом диапазоне картинки базового потока и улучшенного потока.
4. Передающее устройство по п. 1, в котором
базовый поток содержит улучшенные данные изображения с частотой 60 Гц и базовый поток и улучшенный поток содержат кодированные данные изображения с частотой 120 Гц.
5. Передающее устройство по п. 1, в котором
количество иерархий картинок, содержащихся в улучшенном потоке, равно единице.
6. Способ передачи, содержащий этапы, на которых:
выполняют кодирование изображения посредством блока кодирования изображения с помощью иерархического кодирования данных изображения каждой из картинок, составляющих данные движущегося изображения, и формируют базовый поток, содержащий кодированные данные изображения картинки в более низкой иерархии, и улучшенный поток, содержащий кодированные данные изображения картинки в более высокой иерархии, в котором
кодирование изображения выполнено с возможностью установки иерархии картинки, содержащейся в улучшенном потоке, в качестве фиксированной иерархии, которая является более высокой иерархией, чем наивысшая иерархия, которую может иметь любая картинка базового потока, в котором иерархии картинок, включенных в базовый поток, и иерархии картинок, включенных в улучшенный поток, находятся в пределах ранее назначенных соответствующих диапазонов, независимых друг от друга и неперекрывающихся; и
передают посредством передающего блока контейнер в заданном формате, который содержит базовый поток и улучшенный поток, сформированные на этапе кодирования изображения.
7. Приемное устройство, содержащее:
приемный блок, выполненный с возможностью приема контейнера в заданном формате, содержащего базовый поток, имеющий кодированные данные изображения картинки в более низкой иерархии, и улучшенный поток, имеющий кодированные данные изображения в более высокой иерархии, которые формируются посредством выполнения иерархического кодирования данных изображения каждой из картинок, составляющих данные движущегося изображения, в котором
иерархия картинки, содержащейся в улучшенном потоке, устанавливается в качестве фиксированной иерархии, которая является более высокой иерархией, чем наивысшая иерархия, которую может иметь любая картинка базового потока, в котором иерархии картинок, включенных в базовый поток, и иерархии картинок, включенных в улучшенный поток, находятся в пределах ранее назначенных соответствующих диапазонов, независимых друг от друга и неперекрывающихся; и
процессорный блок, выполненный с возможностью извлечения только кодированных данных изображения картинки каждой иерархии, содержащейся в базовом потоке, в соответствии с характеристиками декодирования или извлечения вместе кодированных данных изображения картинки в каждой иерархии, содержащейся в базовом потоке, и кодированных данных изображения картинки в фиксированной иерархии, содержащейся в улучшенном потоке, и получения данных изображения каждой картинки, составляющих данные движущегося изображения, выполняя процесс декодирования кодированных данных изображения каждой извлеченной картинки.
8. Способ приема, содержащий этапы, на которых:
принимают контейнер в заданном формате, который содержит базовый поток, имеющий кодированные данные картинки в более низкой иерархии, и улучшенный поток, имеющий кодированные данные изображения картинки в более высокой иерархии, формируемые посредством выполнения иерархического кодирования данных изображения каждой из картинок, которые составляют данные движущегося изображения, в котором
иерархия картинки, содержащейся в улучшенном потоке, устанавливается в качестве фиксированной иерархии, которая является более высокой иерархией, чем наивысшая иерархия, которую может иметь любая картинки базового потока, в котором иерархии картинок, включенных в базовый поток, и иерархии картинок, включенных в улучшенный поток, находятся в пределах ранее назначенных соответствующих диапазонов, независимых друг от друга и неперекрывающихся; и
обрабатывают посредством извлечения с помощью процессорного блока только кодированные данные изображения картинки каждой иерархии, содержащейся в базовом потоке, или извлечения вместе кодированных данных изображения картинки каждой иерархии, содержащейся в базовом потоке, и кодированных данных изображения картинки фиксированной иерархии, содержащейся в улучшенном потоке, в соответствии с характеристиками декодирования, и получения данных изображения каждой из картинок, составляющих данные движущегося изображения, выполняя процесс декодирования кодированных данных изображения каждой извлеченной картинки.
| US 2009187960 A1, 2009-07-23 | |||
| US 2013070859 A1, 2013-03-21 | |||
| WO 2014034463 A1, 2014-03-06 | |||
| WO 2013161442 А1, 2013-10-31 | |||
| US 8391356 B1, 2013-03-05 | |||
| АГРЕГАЦИЯ ИЗОБРАЖЕНИЙ С ОБРАТНОЙ СОВМЕСТИМОСТЬЮ ПРИ МАСШТАБИРУЕМОМ ВИДЕОКОДИРОВАНИИ | 2007 |
|
RU2409910C2 |
