УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ Российский патент 2018 года по МПК H04N19/597 H04N19/55 H04N19/436 

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу обработки изображений и, более конкретно, к устройству и способу обработки изображений, выполненным с возможностью параллельной обработки многопроекционных изображений.

Уровень техники

В последнее время широкое распространение получили устройства для сжатия и кодирования изображения, используя схему кодирования, состоящую в цифровой обработке информации изображения и выполнении сжатия путем ортогонального преобразования, такого как дискретное косинусное преобразование, и компенсации движения, используя избыточность, специфичную для информации изображения, с целью передачи информации и накопления с высокой эффективностью, когда информацию изображении обрабатывают в цифровом виде. Группа экспертов в области движущегося изображения (MPEG), H.264, MPEG 4 Часть 10 (усовершенствованное кодирование видеоданных) (ниже называется H.264/AVC) и т.п. представляют собой примеры таких схем кодирования.

Поэтому, с целью улучшения эффективности кодирования по сравнению с H.264/AVC, в настоящее время выполняется стандартизация схемы кодирования, относящейся к кодированию видеоданных высокой эффективности (HEVC), выполняемого Объединенной группой по сотрудничеству при кодировании видеоданных (JCTVC), которая представляет собой объединенную организацию по стандартизации Международного союза связи, Сектор стандартизации телекоммуникаций (ITU-T) и Международной организации по стандартизации (ISO)/Международной электротехнической комиссии (IEC) (например, см. непатентную литературу 1).

В проекте HEVC в настоящее время зависимый срез принят, как один параллельный инструмент обработки. При этом становится возможным параллельное декодирование элементов изображения каждого вида, используя зависимый срез.

Список литературы

Непатентная литература

Непатентная литература 1: 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, “High efficiency video coding (HEVC) text specification draft 8,” JCTVC-J1003_d7, 2012.7.28

Раскрытие изобретения

Техническая задача

Однако даже когда используется зависимый срез, трудно декодировать многопроекционное изображение параллельно, поскольку существует зависимость компенсации движения между проекциями.

Настоящее раскрытие было представлено с учетом описанных выше обстоятельств, и обеспечивает возможность параллельной обработки многопроекционных изображений.

Решение задачи

Устройство обработки изображений, в соответствии с первым аспектом настоящего раскрытия, включает в себя секцию приема, выполненную с возможностью приема набора инструкций кодированного потока в синтаксисе кодированного потока, в котором информация ограничения диапазона вектора движения (MV) кодирована в модулях, в которых данные изображения имеют иерархическую структуру и информацию ограничения диапазона MV, информация ограничения диапазона MV представляет собой информацию о пределе значения вертикального направления MV, для ссылки на проекцию, отличающуюся от проекции текущего блока в MV между проекциями, соответствующего текущему блоку, и секцию декодирования, выполненную с возможностью декодирования потока кодированного потока, принимаемого секцией приема, используя информацию предела диапазона MV, принятую секцией приема.

Информация предела диапазона MV может представлять собой флаг, указывающий, что существует предел в вертикальном направлении в диапазоне MV между проекциями.

Информация предела диапазона MV может представлять собой значение, указывающее предел в положительном вертикальном направлении диапазона MV между проекциями.

Значение предела вертикального положительного направления диапазона MV между проекциями может быть задано и может представлять собой (размер наибольшего модуля кодирования (LCU) - 8).

Значение предела вертикального положительного направления диапазона MV между проекциями может быть задано и может представлять собой (размер LCU - 4), когда фильтр контура выключен.

Значение предела вертикального положительного направления диапазона MV между проекциями может быть определено в соответствии с вертикальным разрешением формата изображения.

Значение предела вертикального положительного направления диапазона MV между проекциями может быть определено в соответствии с уровнем.

Информация ограничения диапазона MV может быть установлена в наборе параметра последовательности (SPS).

Информация ограничения диапазона MV может быть установлена в наборе видеопараметра (VPS).

Информация ограничения диапазона MV может быть установлена в информации возможности использования видеоизображения (VUI).

Секция декодирования может декодировать информацию предела диапазона MV, принятую секцией приема, и может декодировать кодированный поток, принятый секцией приема, используя декодированную информацию предела диапазона MV.

Первый способ обработки изображения в настоящем раскрытии включает в себя этапы, на которых: принимают с помощью устройства обработки изображений набор инструкций кодированного потока в синтаксисе кодированного потока, при этом информация предела диапазона MV кодирована в модулях, в которых данные изображения имеют иерархическую структуру, и информации предела диапазона MV, при этом информация ограничения диапазона MV представляет собой информацию предела вертикального направления MV, для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, который соответствует текущему блоку, и декодируют, с помощью устройства обработки изображений, принимаемого кодированного потока, используя принятую информацию предела диапазона MV.

Второе устройство обработки изображений, в соответствии с настоящим раскрытием, включает в себя секцию установки, выполненную с возможностью установки информации предела диапазона MV, представляющей собой информацию предела значения вертикального направления MV, для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующему текущему блоку, в синтаксисе кодированного потока, секцию кодирования, выполненную с возможностью генерирования кодированного потока с помощью данных кодирования изображения в модулях, имеющих иерархическую структуру, используя информацию предела диапазона MV, установленную секцией установки, и секцию передачи, выполненную с возможностью передачи кодированного потока, генерируемого блоком кодирования, и информацию предела диапазона MV, установленную секцией установки.

Секция установки может устанавливать флаг, указывающий, что существует предел в вертикальном направлении в диапазоне MV между проекциями, в качестве информации предела диапазона MV.

Секция установки может устанавливать значение, указывающее предел в вертикальном положительном направлении в диапазоне MV между проекциями, в качестве информации предела диапазона MV.

Значение предела в вертикальном положительном направлении диапазона MV между проекциями может быть задано и может представлять собой (размер LCU - 8).

Значение предела вертикального положительного направления диапазона MV между проекциями может быть задано и может представлять собой (размер LCU - 4), когда фильтр контура выключен.

Значение предела вертикального положительного направления в диапазоне MV между проекциями может быть определено в соответствии с вертикальным разрешением формата изображения.

Значение предела вертикального положительного направления диапазона MV между проекциями может быть определено в соответствии с уровнем.

Секция установки может устанавливать информацию предела диапазона MV в SPS.

Секция установки может устанавливать информацию предела диапазона MV в VPS.

Секция установки может устанавливать информацию предела диапазона MV в VUI.

Секция кодирования может генерировать кодированный поток посредством кодирования информации предела диапазона MV, установленной блоком установки, и кодирования данных изображения, используя кодированную информацию предела диапазона MV.

Способ обработки изображений в соответствии со вторым аспектом настоящего раскрытия включает в себя этапы, на которых: устанавливают с помощью устройства обработки изображения информацию предела диапазона MV, которая представляет собой информацию об ограничении значения вертикального направления MV, для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующего текущему блоку в синтаксисе кодированного потока, генерируют, с помощью устройства обработки изображений, кодированный поток, путем кодирования данных изображения в модулях, имеющих иерархическую структуру, используя набор информации предела диапазона MV, и передают, с помощью устройства обработки изображений, сгенерированный кодированный поток и установленную информацию предела диапазона MV.

Устройство обработки изображений по третьему аспекту настоящего раскрытия включает в себя секцию приема, выполненную с возможностью приема набора инструкций кодированного потока посредством множества линий модуля дерева кодирования (CTU) в синтаксисе кодированного потока, в котором информация предела диапазона MV кодирована в модулях, в которых данные изображения имеют иерархическую структуру, и информации предела диапазона MV, информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV, для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующий текущему блоку, и секцию декодирования, выполненную с возможностью декодирования кодированного потока, принятого секцией приема, используя информацию предела диапазона MV, принятую секцией приема.

Информация предела диапазона MV может быть установлена по количеству линий CTU в вертикальном направлении, задержанных из разных проекций.

Количество линий CTU в вертикальном направлении может составлять

[Уравнение 3]

.

Информация предела диапазона MV может быть установлена в SPS.

Способ обработки изображений по третьему аспекту настоящего раскрытия, включает в себя этапы, на которых: принимают, с использованием устройства обработки изображений, кодированный поток, установленный по количеству линий CTU, в синтаксисе кодированного потока, при этом информацию предела диапазона MV кодируют в модулях, в которых данное изображение имеет иерархическую структуру, и информацию предела диапазона MV, при этом информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующего текущему блоку, и декодируют, с помощью устройства обработки изображений, принятый кодированный поток, с использованием принятой информации предела диапазона MV.

Устройство обработки изображений по четвертому аспекту настоящего раскрытия включает в себя секцию установки, выполненную с возможностью установки информации предела диапазона MV по множеству линий CTU, информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующего текущему блоку в синтаксисе кодированного потока, секцию кодирования, выполненную с возможностью генерирования кодированного потока, путем кодирования данных изображения в модулях, имеющих иерархическую структуру, используя информацию предела диапазона MV, установленную блоком установки, и секцию передачи, выполненную с возможностью передачи кодированного потока, генерируемого блоком кодирования, и информации предела диапазона MV, установленной блоком установки.

Блок установки может устанавливать информацию предела диапазона MV по количеству линий CTU в вертикальном направлении, задержанных из разных видов.

Количество линий CTU в вертикальном направлении может составлять

[Уравнение 3]

.

Блок установки может устанавливать информацию предела диапазона MV в SPS.

Способ обработки изображений по четвертому аспекту настоящего раскрытия включает в себя этапы, на которых: устанавливают, с помощью устройства обработки изображений, информации предел диапазона MV по количеству линий CTU, информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующей текущему блоку в синтаксисе кодированного потока, генерируют, с помощью устройства обработки изображений, кодированный поток по кодированным данным изображения в модулях, имеющих иерархическую структуру, используя установку информации предела диапазона MV, и передают, с помощью устройства обработки изображений, сгенерированный кодированный поток и установленную информацию предела диапазона MV.

В первом аспекте настоящего раскрытия принимают кодированный поток, установленный в синтаксисе кодированного потока, в котором информация ограничения диапазона вектора движения (MV) кодирована в модулях, в которых данные изображения имеют иерархическую структуру, и информацию предела диапазона MV, при этом информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующего текущему блоку. Принятый кодированный поток декодируют, используя принятую информацию предела диапазона MV.

Во втором аспекте настоящего раскрытия устанавливают информацию предела диапазона MV, которая представляет собой информацию об ограничении значения вертикального направления MV для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующей текущему блоку в синтаксисе кодированного потока, кодированный поток генерируют путем кодирования данных изображения в модулях, имеющих иерархическую структуру, используя набор информации предела диапазона MV, и передают сгенерированный кодированный поток и установленную информацию предела диапазона MV.

В третьем аспекте настоящего раскрытия принимают кодированный поток, установленный по количеству линий модулей кодирования дерева (CTU) в синтаксисе кодированного потока, в котором информация предела диапазона MV кодирована в модулях, в котором данные изображения имеют иерархическую структуру, и информацию предела диапазона MV, информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV для обращения к проекции, отличному от проекции текущего блока в MV между проекциями, соответствующими текущему блоку, и принятый кодированный поток декодируют, используя принятую информацию предела диапазона MV.

В четвертом аспекте настоящего раскрытия информацию предела диапазона MV устанавливают по количеству линий CTU, информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV, для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующему текущему блоку в синтаксисе кодированного потока, и кодированный поток генерируют по данным изображения кодирования в модулях, имеющих иерархическую структуру, используя установленную информацию предела диапазона MV. Передают сгенерированный кодированный поток и установленную информацию предела диапазона MV.

Кроме того, описанное выше устройство обработки изображений может представлять собой независимое устройство или внутренний блок, составляющий одно устройство кодирования изображения или устройство декодирования изображения.

Предпочтительные эффекты изобретения

В соответствии с первым и третьим аспектами настоящего раскрытия, возможно декодировать изображение. В частности, возможно параллельно обрабатывать многопроекционные изображения.

В соответствии со вторым и четвертым аспектами настоящего раскрытия, возможно кодировать изображение. В частности, возможно параллельно обрабатывать многопроекционные изображения.

Краткое описание чертежей

На фиг. 1 представлена схема, иллюстрирующая пример устройства кодирования многопроекционного изображения, в котором применяется настоящая технология.

На фиг. 2 показана блок-схема, иллюстрирующая основную конфигурацию устройства кодирования многопроекционного изображения.

На фиг. 3 показана блок-схема, иллюстрирующая пример конфигурации блока кодирования проекции.

На фиг. 4 представлена схема, иллюстрирующая ограничение диапазона поиска вектора движения между проекциями.

На фиг. 5 представлена схема, иллюстрирующая ограничение диапазона поиска вектора движения между проекциями.

На фиг. 6 представлена схема, иллюстрирующая пример эффекта настоящей технологии.

На фиг. 7 показана блок-схема последовательности операций, иллюстрирующая обработку кодирования многопроекционного изображения.

На фиг. 8 показана блок-схема последовательности операций, иллюстрирующая обработку кодирования.

На фиг. 9 показана блок-схема последовательности операций, иллюстрирующая обработку кодирования изображения зависимой проекции.

На фиг. 10 представлена схема, иллюстрирующая пример устройства декодирования множества проекций, в котором применяется настоящая технология.

На фиг. 11 показана блок-схема, иллюстрирующая основной пример конфигурации устройства декодирования многопроекционного изображения.

На фиг. 12 показана блок-схема, иллюстрирующая пример конфигурации блока декодирования проекции.

На фиг. 13 показана блок-схема последовательности операций, иллюстрирующая обработку декодирования многопроекционного изображения.

На фиг. 14 показана блок-схема последовательности операций, иллюстрирующая обработку декодирования.

На фиг. 15 представлена схема, иллюстрирующая пример синтаксиса.

На фиг. 16 показана блок-схема последовательности операций, иллюстрирующая пример обработки кодирования синтаксиса.

На фиг. 17 показана блок-схема последовательности операций, иллюстрирующая обработку кодирования изображения зависимой проекции.

На фиг. 18 представлена схема, иллюстрирующая пример синтаксиса.

На фиг. 19 представлена схема, иллюстрирующая пример синтаксиса.

На фиг. 20 представлена схема, иллюстрирующая пример предельного значения для общего формата изображения.

На фиг. 21 представлена схема, иллюстрирующая пример синтаксиса.

На фиг. 22 представлена схема, иллюстрирующая пример синтаксиса.

На фиг. 23 представлена схема, иллюстрирующая необходимое ограничение в случае приложения масштабируемого HEVC (SHVC).

На фиг. 24 представлена схема, иллюстрирующая ограничение вектора прогнозирования между уровнями = 0.

На фиг. 25 представлена схема, иллюстрирующая ограничение, в котором вектор прогнозирования между уровнями составляет один пиксель или меньше.

На фиг. 26 представлена схема, иллюстрирующая ограничение, в котором вектор прогнозирования между уровнями составляет X пикселей или меньше.

На фиг. 27 представлена схема, иллюстрирующая другой пример синтаксиса (набор видеопараметра (VPS) _extension (EXT)).

На фиг. 28 представлена схема, иллюстрирующая ограничение профиля стереоизображения.

На фиг. 29 представлена схема, иллюстрирующая пример синтаксиса.

На фиг. 30 представлена схема, иллюстрирующая техническое отличие от установки параметра последовательности (SPS) _EXT.

На фиг. 31 представлена схема, иллюстрирующая техническое отличие от технологии ссылочной литературы.

На фиг. 32 представлена схема, иллюстрирующая еще один другой пример синтаксиса (информация применимости видеоданных (VUI) _EXT).

На фиг. 33 представлена схема, иллюстрирующая пример синтаксиса в технологии другой ссылочной литературы.

На фиг. 34 представлена схема, иллюстрирующая технологию другой ссылочной литературы.

На фиг. 35 представлена схема, иллюстрирующая ограничения в профиле стереоизображения.

На фиг. 36 представлена схема, иллюстрирующая техническое отличие от технологии другой ссылочной литературы.

На фиг. 37 представлена схема, иллюстрирующая пример схемы кодирования многопроекционного изображения.

На фиг. 38 представлена схема, иллюстрирующая основной пример конфигурации устройства кодирования многопроекционного изображения, в котором применяется настоящее раскрытие.

На фиг. 39 представлена схема, иллюстрирующая основной пример конфигурации устройства декодирования многопроекционного изображения, в котором применяется настоящее раскрытие.

На фиг. 40 представлена схема, иллюстрирующая пример иерархической схемы кодирования изображения.

На фиг. 41 представлена схема, иллюстрирующая основной пример конфигурации иерархического устройства кодирования изображения, в котором применяется настоящее раскрытие.

На фиг. 42 представлена схема, иллюстрирующая основной пример конфигурации иерархического устройства декодирования изображения, в котором применяется настоящее раскрытие.

На фиг. 43 показана блок-схема, иллюстрирующая основной пример конфигурации компьютера.

На фиг. 44 показана блок-схема, иллюстрирующая пример схематической конфигурации телевизионного устройства.

На фиг. 45 показана блок-схема, иллюстрирующая пример схематической конфигурации мобильного телефона.

На фиг. 46 показана блок-схема, иллюстрирующая пример схематической конфигурации устройства записи/воспроизведения.

На фиг. 47 показана блок-схема, иллюстрирующая пример схематической конфигурации устройства съемки изображения.

На фиг. 48 показана блок-схема, иллюстрирующая пример использования масштабируемого кодирования видеоданных.

На фиг. 49 показана блок-схема, иллюстрирующая другой пример использования масштабируемого кодирования видеоданных.

На фиг. 50 показана блок-схема, иллюстрирующая еще один другой пример использования масштабируемого кодирования видеоданных.

На фиг. 51 показана блок-схема, иллюстрирующая пример схематической конфигурации видеосистемы.

На фиг. 52 показана блок-схема, иллюстрирующая пример схематической конфигурации обработки видеоданных.

На фиг. 53 показана блок-схема, иллюстрирующая другой пример схематической конфигурации обработки видеоданных.

На фиг. 54 показана пояснительная схема, иллюстрирующая конфигурацию системы воспроизведения содержания.

На фиг. 55 показана пояснительная схема, иллюстрирующая поток данных в системе воспроизведения содержания.

На фиг. 56 показана пояснительная схема, иллюстрирующая конкретный пример описания представления мультимедийных данных (MPD).

На фиг. 57 показана схема функционального блока, иллюстрирующая конфигурацию сервера содержания системы воспроизведения содержания.

На фиг. 58 показана схема функционального блока, иллюстрирующая конфигурацию устройства воспроизведения содержания системы воспроизведения содержания.

На фиг. 59 показана схема функционального блока, иллюстрирующая конфигурацию сервера содержания системы воспроизведения содержания.

На фиг. 60 показана схема последовательности отработки, иллюстрирующая пример обработки передачи данных каждым устройством системы беспроводной связи.

На фиг. 61 показана схема последовательности отработки, иллюстрирующая пример обработки передачи данных каждым устройством системы беспроводной связи.

На фиг. 62 показана схема, иллюстрирующая пример конфигурации формата кадра, который передают и принимают при обработке связи каждым устройством системы беспроводной связи.

На фиг. 63 показана схема последовательности отработки, иллюстрирующая пример обработки связи каждым устройством системы беспроводной связи.

Осуществление изобретения

Ниже будут описаны режимы (далее называются вариантами осуществления) для выполнения настоящего раскрытия. Кроме того, описание будет представлено в следующем порядке.

1. Первый вариант осуществления (устройство кодирования многопроекционного изображения)

2. Второй вариант осуществления (устройство декодирования многопроекционного изображения)

3. Третий вариант осуществления (пример синтаксиса)

4. Четвертый вариант осуществления (другой пример значения ограничения)

5. Пятый вариант осуществления (способ ограничения в случае масштабируемого HEVC)

6. Шестой вариант осуществления (другой пример синтаксиса)

7. Седьмой вариант осуществления (способ ограничения путем кодирования линии модуля дерева кодирования (CTU))

8. Восьмой вариант осуществления (устройство кодирования многопроекционного изображения, устройство декодирования многопроекционного изображения)

9. Девятый вариант осуществления (устройство кодирования иерархического изображения, устройство декодирования иерархического изображения)

10. Десятый вариант осуществления (компьютер)

11. Пример применения

12. Пример применения масштабируемого кодирования видеоданных.

13. Одиннадцатый вариант осуществления (набор/блок/модуль/процессор)

14. Пример применения системы воспроизведения содержания MPEG - динамической адаптивной потоковой передачи по протоколу передачи гипертекста (HTTP) (DASH)

15. Пример применения системы беспроводной связи стандарта (Wi-Fi)

Первый вариант осуществления

Пример конфигурации устройства кодирования многопроекционного изображения

На фиг. 1 иллюстрируется конфигурация варианта осуществления устройства кодирования многопроекционного изображения, в котором используется устройство обработки изображений, в котором применяется настоящее раскрытие.

Устройство 11 кодирования многопроекционного изображения фиг. 1 кодируют снятое изображение, такое как снятое многопроекционное изображение в схеме HEVC, и генерирует кодированный поток. Генерируемый кодированный поток передают в устройство 211 декодирования многопроекционного изображения, которое будет описано ниже и т.п.

На фиг. 2 показана блок-схема, иллюстрирующая пример конфигурации устройства кодирования многопроекционного изображения по фиг. 1. Кроме того, в примере на фиг. 2 показан пример, в котором кодируется изображение двух проекций, включающее в себя основную проекцию (вид) и зависимую проекцию (вид). Далее изображение основной проекции называется изображением основного вида, и изображение зависимой проекции называется изображением зависимого вида.

В примере на фиг. 2 устройство 11 кодирования многопроекционного изображения включает в себя секцию 21 кодирования синтаксиса, секцию 22 управления синхронизацией, секцию 23 кодирования основного вида, секцию 24 кодирования зависимого вида, буфер 25 декодированного изображения (DPB) и секцию 26 передачи.

Секция 21 кодирования синтаксиса последовательно устанавливает синтаксис кодированного потока, такого, как SPS, установленный параметр изображения (PPS), вспомогательную информацию расширения (SEI) и заголовок среза, и кодирует установленный синтаксис. Секция 21 кодирования синтаксиса подает кодированный синтаксис в секцию 26 передачи.

В частности, секция 21 кодирования синтаксиса устанавливает interview_vector_v_range_restrict_flag, который представляет собой информацию об ограничении вертикального (V) направления в диапазоне поиска MV между проекциями, в качестве одного из элементов синтаксиса. MV между проекциями представляет собой MV, который находят между проекциями. interview_vector_v_range_restrict_flag представляет собой флаг, обозначающий, что ограничение в направлении V диапазона поиска MV между проекциями присутствует при кодировании (декодировании) зависимой проекции. interview_vector_v_range_restrict_flag, например, установлен в SPS. Кроме того, информация о пределе в направлении V диапазона поиска MV между проекциями не ограничена флагом.

Секция 21 кодирования синтаксиса подает установленный interview_vector_v_range_restrict_flag в секцию 22 управления синхронизацией и секцию 24 кодирования зависимой проекции.

В соответствии с interview_vector_v_range_restrict_flag, подаваемым секцией 21 кодирования синтаксиса, секция 22 управления синхронизацией обращается к информации хода выполнения обработки кодирования из секции 23 кодирования основной проекции и подает сигнал управления для управления синхронизацией изображения при обработке кодирования основной проекции и при обработке кодирования зависимого изображения.

Таким образом, секция 22 управления синхронизацией начинает обработку кодирования секции 23 кодирования основной проекции. Затем секция 22 управления синхронизацией обеспечивает параллельное выполнение обработки секцией 23 кодирования основной проекции и секцией 24 кодирования зависимой проекции, если обработка кодирования секции 23 кодирования основной проекции достигает заданной линии LCU, когда interview_vector_v_range_restrict_flag, подаваемый из секции 21 кодирования синтаксиса, установлен в 1 (ВКЛЮЧЕН).

С другой стороны, секция 22 управления синхронизацией ожидает окончания обработки кодирования секции 23 кодирования основной проекции, когда interview_vector_v_range_restrict_flag, подаваемый секцией 21 кодирования синтаксиса, установлен в 0 (ВЫКЛЮЧЕН) и обеспечивает активацию обработки кодирования секции 24 кодирования зависимой проекции.

Изображение основной проекции вводят в секцию 23 кодирования основной проекции. Секция 23 кодирования основной проекции кодирует введенное изображение основной проекции, как внешнюю цель кодирования, и подает кодированные данные изображения основной проекции, полученные в результате его обработки, в секцию 26 передачи. Кроме того, секция 23 кодирования основного вида выбирает опорное изображение, к которому требуется обращаться, когда кодируют изображение, предназначенное для кодирования, из декодированного изображения основного вида, сохраненного в DPB 25, и кодирует это изображение, используя выбранное опорное изображение. В это время декодированное изображение локального результата декодирования временно содержится в DPB 25.

Изображение зависимого вида вводят в секцию 24 кодирования зависимой проекции. Секция 24 кодирования зависимого вида кодирует изображение зависимого вида, введенное как внешняя цель кодирования, и подает кодированные данные изображения зависимого вида, полученные в результате его обработки, в секцию 26 передачи. Кроме того, секция 24 кодирования зависимого вида выбирает опорное изображение, к которому требуется обращаться, когда изображение, которое требуется кодировать, кодируют из декодированного изображения основного вида или зависимого вида, сохраненного в DPB 25, и кодирует изображение, используя выбранное опорное изображение. В это время декодированное изображение результата локального декодирования временно сохраняют в DPB 25.

В частности, когда interview_vector_v_range_restrict_flag, подаваемый секцией 21 кодирования синтаксиса, включен, секция 24 кодирования зависимого вида находит MV между проекциями текущего блока изображения зависимого вида, ограничивая вертикальное положительное направление диапазона поиска в декодированном изображении основного вида до заданного значения.

DPB 25 временно сохраняет локально декодированное изображение (декодированное изображение), полученное путем кодирования изображения, которое должно быть кодировано в каждой секции 23 декодирования основного вида 23 и секции 24 кодирования зависимого вида, и локально декодирует кодированное изображение, как опорное изображение (его кандидат), к которому требуется обращаться при генерировании прогнозируемого изображения.

Поскольку DPB 25 совместно используется секцией 23 кодирования основного вида и секцией 24 кодирования зависимого вида, каждая секция 23 кодирования основного вида и секция 24 кодирования зависимого вида может обращаться, в дополнение к декодированному изображению, полученному локально, к декодируемому изображению, полученному блоком кодирования другого вида. Следует отметить, что секция 23 кодирования основного вида, которая кодирует изображение из точки основного вида, обращается только к изображению, снятому из той же точки основного вида (основной вид).

Секция 26 передачи генерирует кодированный поток путем мультиплексирования синтаксиса секции 21 кодирования синтаксиса, для кодированных данных основного вида секции 23 кодирования основного вида, и для кодированных данных зависимого вида секции 24 кодирования зависимого вида.

Пример конфигурации секции кодирования вида

На фиг. 3 показана блок-схема, иллюстрирующая конфигурацию секции 23 кодирования основного вида. Кроме того, секция 24 кодирования зависимого вида также имеет конфигурацию, в принципе, аналогичную секции 23 кодирования основного вида.

На фиг. 3 секция 23 кодирования основного вида имеет секцию 111 аналогово-цифрового (A/D) преобразования, буфер 112 изменения порядка изображения, секцию 113 вычисления, секцию 114 ортогонального преобразования, секцию 115 квантования, секцию 116 кодирования переменной длины, буфер 117 накопления, секцию 118 обратного квантования, секцию 119 обратного ортогонального преобразования, секцию 120 вычисления, фильтр 121 в контуре, секцию 122 прогнозирования внутри изображения, секцию 123 прогнозирования между изображениями и секцию 124 выбора прогнозируемого изображения.

Изображение основного вида, которое представляет собой изображение (движущееся изображение), предназначенное для кодирования, последовательно подают в секцию 111 A/D преобразования в порядке отображения.

Когда изображение, подаваемое в секцию 111 A/D преобразования, представляет собой аналоговый сигнал, секция 111 A/D преобразования преобразует этот аналоговый сигнал в соответствии с A/D преобразованием, и подает преобразованный аналоговый сигнал в буфер 112 изменения порядка изображения.

Буфер 112 изменения порядка изображения временно сохраняет изображение из секции 111 A/D преобразования, и считывает изображение в соответствии со структурой заданной группы изображений (GOP), таким образом, что выполняется обработка изменения порядка последовательности изображений из порядка отображения на порядок кодирования (порядок декодирования).

Изображение, считываемое из буфера 112 изменения порядка изображения подают в секцию 113 вычисления, секцию 122 прогнозирования внутри изображения и в секцию 123 прогнозирования между изображениями.

В дополнение к подаче изображения из буфера 112 изменения порядка изображения, прогнозируемое изображение, генерируемое секцией 122 прогнозирования внутри изображения или секцией 123 прогнозирования между изображениями из секции 124 выбора прогнозируемого изображения, подают в секцию 113 вычисления.

Секция 113 вычисления обозначает изображение, считываемое из буфера 112 изменения порядка изображения, как целевое изображение, которое представляет собой изображение, предназначенное для кодирования, и последовательно обозначает макро-блок (наибольший модуль кодирования (LCU)), составляющий целевое изображение, как целевой блок, предназначенный для кодирования.

Затем секция 113 вычисления выполняет кодирование с прогнозированием после вычисления вычитаемого значения, путем вычитания значения пикселя прогнозируемого изображения, подаваемого из секции 124 выбора прогнозируемого изображения из значения пикселя целевого блока, в случае необходимости, и подает результат кодирования с прогнозированием в секцию 114 ортогонального преобразования.

Секция 114 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва для (остатка, полученного путем вычитания прогнозируемого изображения или значения пикселя) целевого блока из секции 113 вычисления, и подает коэффициент преобразования, полученный, как результат его обработки, в секцию 115 квантования.

Секция 115 квантования квантует коэффициент преобразования, полученный из секции 114 ортогонального преобразования, и подает значение квантования, полученное как результат его обработки, в секцию 116 кодирования с переменной длиной.

Секция 116 кодирования с переменной длиной выполняет кодирование без потерь, такое как кодирование с переменной длиной (например, контекстно-адаптивное кодирование с переменной длиной (CAVLC) и т.п.) или арифметическое кодирование (например, контекстно-адаптивное двоичное арифметическое кодирование (CABAC) и т.п.) для значения квантования из секции 115 квантования, и подает кодированные данные, полученные в результат его обработки, в буфер 117 накопления.

Кроме того, в дополнение к подаче значения квантования из секции 115 квантования, информацию заголовка, включенную в заголовок кодированных данных из секции 122 прогнозирования внутри изображения или секции 123 прогнозирования между изображениями, подают в секцию 116 кодирования с переменной длиной.

Секция 116 кодирования с переменной длиной кодирует информацию заголовка из секции 122 прогнозирования внутри изображения или секции 123 прогнозирования между изображениями и включает кодированную информацию заголовка в заголовок кодированных данных.

Буфер 117 накопления временно сохраняет кодированные данные из секции 116 кодирования с переменной длиной и выводит сохраненные кодированные данные с заданной скоростью передачи данных.

Кодированные данные, выводимые из буфера 117 накопления, подают в секцию 26 передачи на фиг. 1.

Значение квантования, полученное секцией 115 квантования, подают в секцию 118 обратного квантования так же, как и в секцию 116 кодирования с переменной длиной, и локально декодируют в секции 118 обратного квантования, в секции 119 обратного ортогонального преобразование и в секции 120 вычисления.

Таким образом, секция 118 обратного квантования выполняет обратное квантование значения квантования из секции 115 квантования в коэффициент преобразования и подает коэффициент преобразования в секцию 119 обратного ортогонального преобразования.

Секция 119 обратного ортогонального преобразования выполняет обратное ортогональное преобразование для коэффициента преобразования из секции 118 обратного квантования и подает преобразованный коэффициент преобразования в секцию 120 вычисления.

Секция 120 вычисления получает декодированное изображение, в котором декодируют целевой блок (декодируют локально) путем суммирования значения пикселя прогнозируемого изображения, подаваемого из секции 124 выбора прогнозируемого изображения, с данными, подаваемыми из секции 119 обратного ортогонального преобразования, в случае необходимости, и подает полученное декодированное изображение в фильтр 121 в контуре.

Фильтр 121 в контуре, например, состоит из фильтра удаления блочности. Кроме того, например, когда применяется схема HEVC, фильтр 121 в контуре состоит из фильтра удаления блочности и фильтра адаптивного смещения (пример адаптивного смещения выборки (САО)). Фильтр 121 в контуре удаляет (уменьшает) искажение блочности, возникающее в декодируемом изображении, путем фильтрации декодируемого изображения от секции 120 вычисления, и подает декодированное изображение после удаления (уменьшения) искажений в DPB 25.

Здесь DPB 25 сохраняет декодированное изображение из фильтра 121 в контуре, то есть, изображение основного вида, кодированное в секции 23 кодирования основного вида, и локально декодированное в качестве (кандидата) опорного изображения, к которому обращаются, когда генерируют прогнозируемое изображение, используемое при кодировании с прогнозированием (кодирование, в котором выполняется вычитание прогнозируемого изображения в секции 113 вычисления) для выполнения в последующем.

Поскольку DPB 25 совместно используется секцией 23 кодирования основного вида и секцией 24 кодирования зависимого вида, как описано выше со ссылкой на фиг. 2, DPB 25 также сохраняет изображение зависимого вида, кодированное в секции 24 кодирования зависимого вида и локально декодированного в дополнение к изображению основного вида, кодированному в секции 23 кодирования основного вида.

Кроме того, локальное декодирование, выполняемое секцией 118 обратного квантования, секцией 119 обратного ортогонального преобразования и секцией 120 вычисления, например, выполняют путем позиционирования для I-, P- и BS -изображений, которые представляют собой опорные изображения, которые можно использовать в качестве опорных изображений. Декодируемые изображения I-, P- и BS сохраняются В DPB 25.

Секция 122 прогнозирования внутри изображения и секция 123 прогнозирования между изображениями выполняют прогнозирование движения в модулях PU.

Когда целевой блок представляет собой I-изображение, P-изображение, или B-изображение (включая в себя BS изображения), полученные в результате прогнозирования внутри изображения (прогнозирование внутри изображения), секция 122 прогнозирования внутри изображения считывает уже декодированный участок (декодированное изображение) из целевого блока, из DPB 25. Затем секция 122 прогнозирования внутри изображения обозначает часть декодированного изображения целевого изображения, считанного из DPB 25, в качестве прогнозируемого изображения целевого блока для целевого изображения, подаваемого из буфера 112 изменения порядка изображения.

Далее, секция 122 прогнозирования внутри изображения получает стоимость кодирования, требуемую для кодирования целевого блока, используя прогнозируемое изображение, то есть, стоимость кодирования, требуемую для кодирования остатка и т.п. для прогнозируемого изображения в целевом блоке, и подает полученную стоимость кодирования в секцию 124 выбора прогнозируемого изображения вместе с прогнозируемым изображением.

Секция 123 прогнозирования между кадрами, которая считывает одно или больше изображений, кодированных перед целевым изображением и локально декодированных в качестве изображения - кандидата (кандидата опорного изображения) из DPB 25, когда целевое изображение представляет собой P-изображение или B- изображение (включая в себя изображение BS), полученное при прогнозировании между изображениями.

Секция 123 прогнозирования между изображениями обнаруживает MV между изображениями, представляющий движения, используемые, как сдвиг между целевым блоком и соответствующим блоком (блоком, имеющим наименьшую сумму абсолютных разностей (SAD) из целевого блока) изображения - кандидата, соответствующего целевому блоку, путем оценки движения (ME) (обнаружение движения), используя целевой блок целевого изображения из буфера 112 изменения порядка и изображения - кандидата. Кроме того, при кодировании изображения зависимого вида, MV между изображениями включает в себя MV между проекциями, обозначающий сдвиг между проекциями, а так же MV, обозначающий временной сдвиг. Кроме того, когда interview_vector_v_range_restrict_flag, подаваемый из секции 21 кодирования синтаксиса на фиг. 2 включен, диапазон поиска вертикального направления MV между проекциями ограничен.

Секция 123 прогнозирования между кадрами генерирует прогнозируемое изображение путем выполнения компенсации движения для компенсации сдвига величины движения изображения кандидата из DPB 25 в соответствии с MV между изображениями целевого блока.

Таким образом, секция 123 прогнозирования между кадрами получает соответствующий блок, который представляет собой блок (область) перемещенного (сдвинутого) положения в соответствии с MV целевого блока из положения целевого блока в изображении - кандидате, в качестве прогнозируемого изображения.

Кроме того, секция 123 прогнозирования между кадрами получает стоимость кодирования, требуемую для кодирования целевого блока, используя прогнозируемое изображение для каждого изображения кандидата, для использования при генерировании прогнозируемого изображения или каждого режима прогнозирования между кадрами, имеющего переменный тип макроблока.

Затем секция 123 прогнозирования между кадрами подает прогнозируемое изображение и стоимость кодирования, полученные в оптимальном режиме прогнозировании между изображениями в секцию 124 выбора прогнозируемого изображения, путем обозначения режима прогнозирования между изображениями или режима прогнозирования между проекциями, имеющими наименьшую стоимость кодирования, в качестве режима прогнозирования между изображениями, который представляет собой оптимальный режим прогнозирования между изображениями. Кроме того, при кодировании изображения зависимого вида, режим прогнозирования между проекциями также включен в режим прогнозирования между изображениями.

Секция 124 выбора прогнозируемого изображения выбирает изображение, имеющее меньшую стоимость кодирования, из прогнозируемых изображений, из секции 122 прогнозирования внутри изображения и секции 123 прогнозирования между изображениями, и подает выбранное прогнозируемое изображение в секции 113 и 120 вычисления.

Здесь секция 122 прогнозирования внутри изображения подает информацию о прогнозировании внутри изображения, как информацию заголовка, в секцию 116 кодирования с переменной длиной. Секция 123 прогнозирования между изображениями подает информацию о прогнозировании между изображениями (информацию об MV и т.п.), как информацию заголовка, в секцию 116 кодирования с переменной длиной.

Секция 116 кодирования с переменной длиной выбирает информацию заголовка, которая генерирует прогнозируемое изображение, имеющее меньшую стоимость кодирования, среди информации заголовка, из секции 122 прогнозирования внутри изображения и секции 123 прогнозирования между изображениями, и включает в себя выбранную информацию заголовка в заголовок кодируемых данных.

Общий обзор настоящей технологии

Далее, со ссылкой на фиг. 4, будет описано ограничение диапазона поиска MV между проекциями, в соответствии с настоящей технологией.

В HEVC зависимый срез применяют как один инструмент параллельной обработки. Возможно параллельное декодирование модулей изображения каждого вида, используя зависимый срез.

Однако, даже когда используется зависимый срез, трудно декодировать изображения среди множества видов параллельно, поскольку существует зависимость компенсации движения между проекциями.

Кроме того, например, когда рассматривают стереоизображение, горизонтальная линия сдвигается в изображении основного вида и в изображении зависимого вида, но сдвиг в вертикальном направлении представляет собой сдвиг на модуль приблизительно несколько пикселей и, таким образом, не является существенным сдвигом.

Поэтому, в настоящей технологии, обработка параллельного декодирования множества видов обеспечивается путем установки зависимости компенсации движения между проекциями, то есть, предела вертикального направления (в частности, вертикального положительного направления) диапазона поиска MV между проекциями.

В примере на фиг. 4 горизонтальная линия, такая, как сплошная линия представляет линию LCU основного вида, и обозначен размер LCU между линиями LCU. Кроме того, блоки PU1 и PU2 на второй линии LCU сверху обозначены пунктирной линией, так, что они представляют собой PU зависимого вида.

Необходимо декодировать, по меньшей мере, одну и ту же линию LCU в основном виде, для того чтобы декодировать линию LCU PU1 зависимого вида, и необходимо применить фильтр контура к четырем линиям, которые находятся на границе LCU нижней стороны, для декодирования той же линии LCU. Среди четырех линий, которые представляют собой границу LCU нижней стороны, три линии представляют собой линии для фильтра удаления блоков, и одна линия представляет собой линию для фильтра адаптивного контура (САО).

Таким образом, для применения фильтра контура к четырем линиям, которые представляют собой границу LCU с нижней стороны, также необходимо декодировать четыре линии границы LCU с верхней стороны линии LCU ниже нижней стороны.

Поэтому, если кодирование зависимого вида будет задержано на две линии для кодирования основного вида, ссылка из зависимого вида будет включена, поскольку декодирование вплоть до положения в вертикальном направлении блока LCU, обозначенном задержкой на две линии LCU, будет закончено (то есть, от размера LUK линии LCU после линии LCU, которой принадлежит текущий PU, до размера (размер LCU - 4) линии, исключая четыре нижние линии).

В отличие от этого, поскольку необходимо ожидать, когда будет предоставлен фильтр контура четырех нижних линий перед тем, как будет сделана ссылка на положения в вертикальном направлении LCU, в котором представлена задержка на три линии LCU (то есть, вплоть до линии LCU после линии LCU, которой принадлежит текущий PU) из зависимого вида, необходимо выполнять задержку кодирования двухуровневого кодирования зависимого вида на три линии LCU для кодирования основного вида.

Кроме того, в то время как необходимо ожидать четыре нижних линии в LCU для фильтра контура, как описано выше со ссылкой на фиг. 4, четыре линии выше этих четырех линий ожидания фильтра контура фактически представляют собой линии, необходимые для фильтра интерполяции компенсации движения, как представлено на фиг. 5.

Поэтому, когда кодирование зависимого вида задерживается на две линии относительно кодирования основного вида, обращение из зависимого вида фактически разрешено со стороны LCU для LCU после текущей линии LCU до размера (размер LCU - 8) линии, исключая восемь нижних линий. Таким образом, в этом случае, максимальное значение положительного направления компонента Vy MV между проекциями становится рваным (размеру LCU - 8).

Кроме того, когда фильтр контура установлен для его выключения в многопроекционном устройстве 11 кодирования изображения, диапазон ссылки MV между проекциями ограничен до линий, исключая четыре линии для фильтра интерполяции компенсации движения среди линий LCU после текущей линии LCU, поскольку нет необходимости ожидать четыре линий ожидания фильтра контура, описанные выше со ссылкой на фиг. 4.

Как описано выше, возможно начать декодирование изображения зависимого вида в положении, в котором две линии LCU декодирования изображения основного вида заканчиваются в настоящей технологии, как представлено на фиг. 6, путем ограничения диапазона ссылки вертикального направления MV между проекциями.

Таким образом, в то время как декодирование изображения зависимого вида не начинается, если декодирование изображения основного вида не заканчивается в обычной технологии (HEVC), возможно выполнить параллельную обработку декодирования изображения основного вида и декодирования изображения зависимого вида от второй линии LCU изображения основного вида в настоящей технологии.

Кроме того, хотя пример декодирования был описан в примере на фиг. 6, то же относится даже для случая кодирования. Кроме того, поскольку диапазон ссылки ограничен при кодировании, обработка поиска MV между проекциями становится простой.

Операции устройства кодирования многопроекционного изображения

Далее, со ссылкой на блок-схему последовательности операций на фиг. 7, будет описана обработка кодирования многопроекционного изображения, как операция многопроекционного устройства 11 кодирования изображения по фиг. 1. В примере на фиг. 7 задержка обработки кодирования и обработки декодирования составляет две линии LCU и заранее установлена с ограничением (размер LCU - 8) или меньше, чем когда существует предел в положительном направлении компонента Vy MV между проекциями. Кроме того, количество линий задержки во время обработки вида и значения предела в положительном направлении V компонентов MV между проекциями являются примерами, и настоящее раскрытие не ограничено описанными выше значениями.

На этапе S11 секция 21 кодирования синтаксиса устанавливает и кодирует синтаксис основного вида и зависимого вида. Кроме того, в это время, модуль 21 кодирования синтаксиса устанавливает interview_vector_v_range_restrict_flag, который представляет собой информацию об ограничении в направлении V диапазона поиска MV между проекциями, в качестве одного из синтаксиса.

Секция 21 кодирования синтаксиса подает interview_vector_v_range_restrict_flag в секцию 22 управления синхронизацией и в секцию 24 кодирования зависимого вида. Кроме того, кодированный синтаксис подают в секцию 26 передачи.

На этапе S12, секция 23 кодирования основного вида кодирует изображение основного вида под управлением секции 22 управления синхронизацией. Кроме того, обработка кодирования будет подробно описана со ссылкой на фиг. 8. При обработке на этапе S12 кодированные данные изображения основного вида подают в секцию 26 передачи. В это время секция 23 кодирования основного вида подает информацию хода выполнения при обработке кодирования изображения основного вида в секцию 22 управления синхронизацией.

На этапе S13, секция 22 управления синхронизацией определяет, кодировала ли секция 23 кодирования основного вида заданные линии LCU (например, две линии LCU), обращаясь к информации хода выполнения из секции 23 кодирования основного вида. Количество заданных линий LCU отличается в каждом примере.

Когда определяют, что секция 23 кодирования основного вида еще не кодировала заданные линии LCU на этапе S13, обработка возвращается на этап S12. Выполняют итерацию последующей обработки. С другой стороны, когда определяют, что секция 23 кодирования основного вида кодировал заданные линии LCU на этапе S13, обработка переходит к этапу S14.

На этапе S14, секция 22 управления синхронизацией определяет, установлен ли interview_vector_v_range_restrict_flag (флаг ограничения диапазона поиска в направлении V), подаваемый из секции 21 кодирования синтаксиса, в 1. Когда определяют, что interview_vector_v_range_restrict_flag, подаваемый из секции 21 кодирования синтаксиса, установлен в 0 на этапе S14, обработка переходит на этап S15.

Секция 22 управления синхронизацией обеспечивает кодирование секцией 23 кодирования основного вида оставшихся линий LCU в изображении основного вида на этапе S15. Затем секция 22 управления синхронизацией обеспечивает исполнение секцией 24 кодирования зависимого вида обработки кодирования изображения зависимого вида на этапе S16 после того, как кодирование изображения основного вида будет закончено на этапе S15.

Таким образом, на этапе S15, секция 23 кодирования основного вида кодирует оставшиеся линии LCU изображения основного вида. Затем, на этапе S16, секция 24 кодирования зависимого вида кодирует зависимое изображение. Кроме того, обработка кодирования на этапах S15 и S16 также в принципе аналогична обработке кодирования, которая будет описана ниже со ссылкой на фиг. 8. При обработке на этапе S15 кодированные данные основного вида подают в секцию 26 передачи. При обработке этапа S16 кодированные данные изображения зависимого вида подают в секцию 26 передачи.

С другой стороны, когда определяют, что interview_vector_v_range_restrict_flag, подаваемый из секции 21 кодирования синтаксиса, установлен в 1 на этапе S14, обработка переходит на этап S17.

Секция 22 управления синхронизацией обеспечивает выполнение секцией 24 кодирования зависимого вида обработки кодирования изображения зависимого вида на этапе S17. Параллельно с этим, секция 22 управления синхронизацией обеспечивает кодирование секцией 23 основного вида оставшихся линий LCU изображения основного вида, на этапе S18.

Таким образом, на этапе S17, секция 24 кодирования зависимого вида кодирует зависимое изображение. Кроме того, обработка кодирования изображения зависимого вида будет описана ниже со ссылкой на фиг. 9. При такой обработке кодирования диапазон поиска в направлении V MV между проекциями ограничен в соответствии с interview_vector_v_range_restrict_flag, подаваемым из секции 21 кодирования синтаксиса, и выполняется обработка кодирования. Кодированные данные изображения зависимого вида подают в секцию 26 передачи.

Кроме того, параллельно с обработкой на этапе S17, секция 23 кодирования основного вида кодирует оставшиеся линии LCU изображения основного вида на этапе S18. Кроме того, обработка кодирования на этапе S18 также аналогична обработке кодирования, которая будет описана ниже со ссылкой на фиг. 8. При обработке на этапе S18 кодированные данные изображения основного вида подают в секцию 26 передачи.

На этапе S19 секция 26 передачи генерирует кодированный поток путем мультиплексирования синтаксиса из секции 21 кодирования синтаксиса, кодированных данных основного вида из секции 23 кодирования основного вида и кодированных данных зависимого вида из секции 24 кодирования зависимого вида.

Пример обработки кодирования

Далее, со ссылкой на блок-схему последовательности операций на фиг. 8, будет описана обработка кодирования на этапе S12 на фиг. 7. Кроме того, обработка кодирования на этапах S15, S16 и S18 по фиг. 7 выполняется, как обработка, представленная на фиг. 8.

Изображение основного вида, которое представляет собой изображение (движущееся изображение), которое предназначено для кодирования, последовательно подают в секцию 111 A/D преобразования в порядке отображения. На этапе S31, секция 111 A/D преобразования преобразует аналоговый сигнал в соответствии с A/D преобразованием, когда подаваемое изображение представляет собой аналоговый сигнал, и подает преобразованный аналоговый сигнал в буфер 112 изменения порядка изображения.

На этапе S32 буфер 112 изменения порядка изображения временно сохраняет изображение из секции 111 A/D преобразования, и считывает изображение в соответствии со структурой заданного GOP, таким образом, что исполняется обработка изменения порядка следования изображений из порядка отображения на порядок кодирования. Изображения, считываемые из буфера 112 изменения порядка изображения, подают в секцию 113 вычисления, секцию 122 прогнозирования внутри изображения и секцию 123 прогнозирования между изображениями.

На этапе S33, секция 122 прогнозирования внутри изображения выполняет прогнозирование внутри изображения (прогнозирование внутри изображения), для генерирования прогнозируемого изображения. В это время секция 122 прогнозирования внутри изображения получает стоимость кодирования, требуемую для кодирования целевого блока, используя прогнозируемое изображение, то есть, стоимость кодирования, требуемую для кодирования остатка и т.п. для прогнозируемого изображения целевого блока, и подает полученную стоимость кодирования в секцию 124 выбора прогнозируемого изображения, вместе с прогнозируемым изображением.

На этапе S34, секция 123 прогнозирования между изображениями выполняет обработку прогнозирования/компенсации движения для генерирования прогнозируемого изображения. Таким образом, секция 123 прогнозирования между кадрами выполняет обнаружение движения, используя целевой блок целевого изображения из буфера 112 изменения порядка изображения и изображения кандидата, считываемого из DPB 25, и обнаруживает MV между изображениями (которое также включает в себя MV между проекциями). Секция 123 прогнозирования между изображениями генерирует прогнозируемое изображение путем выполнения компенсации движения для компенсации сдвига величины перемещения изображения кандидата из DPB 25, в соответствии с MV между изображениями целевого блока.

На этапе S35 секция 124 выбора прогнозируемого изображения выбирает одно изображение, имеющее меньшую стоимость кодирования, из прогнозируемых изображений из секции 122 прогнозирования изображения внутри изображения и секции 123 прогнозирования между изображениями, и подает выбранное прогнозируемое изображение в секции 113 и 120 вычисления.

Здесь секция 122 прогнозирования внутри изображения подает информацию о прогнозировании внутри изображения, как информацию заголовка, в секцию 116 кодирования переменной длины. Секция 123 прогнозирования между изображениями подает информацию о прогнозировании между изображениями (информацию MV и т.п.), как информацию заголовка, в секцию 116 кодирования переменной длины.

На этапе S36 секция 113 вычисления вычисляет разность между оригинальным изображением буфера 112 изменения порядка изображения и прогнозируемым изображением, подаваемым секцией 124 выбора прогнозируемого изображения, и подает вычисленную разность в секцию 114 ортогонального преобразования.

На этапе S37, секция 114 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва для (остатка, полученного в результате вычитания прогнозируемого изображения или значения пикселя) целевого блока из секции 113 вычисления, и подает коэффициент преобразования, полученный, как его результат, в секцию 115 квантования.

На этапе S38, секция 115 квантования квантует коэффициент преобразования, переданный из секции 114 ортогонального преобразования, и подает значение квантования, полученное, как его результат, в секцию 118 обратного квантования.

На этапе S39, секция 118 обратного квантования выполняет обратное квантование значения квантования из секции 115 квантования 115 в коэффициент преобразования и подает коэффициент преобразования в секцию 119 обратного ортогонального преобразования.

На этапе S40, секция 119 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента преобразования из секции 118 обратного квантования 118 и подает преобразованный коэффициент преобразования в секцию 120 вычисления.

На этапе S41 секция 120 вычисления получает декодированное изображение, в котором целевой блок декодируют (локально декодируют) путем добавления значения пикселя прогнозируемого изображения, переданного из секции 124 выбора прогнозируемого изображения, к данным, подаваемым из секции 119 обратного ортогонального преобразования, в случае необходимости, и подает полученное декодированное изображение в контурный фильтр 121.

На этапе S42 контурный фильтр 121 выполняет обработку фильтрации в контуре. Например, когда фильтр 121 в контуре состоит из фильтра 121 удаления блочности, контурный фильтр 121 удаляет (уменьшает) искажение блоков, возникающее в декодируемом изображении, путем фильтрации декодируемого изображения из секции 120 вычисления, и подает декодируемое изображение после удаления (уменьшения) искажений в DPB 25.

На этапе S43, DPB 25 сохраняет декодируемое изображение из контурного фильтра 121.

Значение квантования, квантуемое на описанном выше этапе S38, подают в секцию 116 кодирования переменной длины, а также в секцию 118 обратного квантования.

На этапе S44 секция 116 кодирования переменной длины выполняет кодирование без потерь для значения квантования из секции 115 квантования и подает кодированные данные, полученные, как его результат, в буфер 117 накопления.

На этапе S45 буфер 117 накопления временно сохраняет кодированные данные из секции 116 кодирования переменной длины и выводит сохраненные кодированные данные с заданной скоростью данных. Кодированные данные, выводимые из буфера 117 накопления, подают в секцию 26 передачи по фиг. 1.

Пример обработки кодирования

Далее, со ссылкой на блок-схему последовательности операций по фиг. 9, будет описана обработка кодирования изображения зависимого вида на этапе S17 по фиг. 7.

В случае ДА на этапе S14, на фиг. 7, блок 24 кодирования зависимого вида принимает сигнал управления, обозначающий начало обработки кодирования, из секции 22 управления синхронизацией. В соответствии с этим, на этапе S61, секция 24 кодирования зависимого вида определяет, установлен ли в 1 interview_vector_v_range_restrict_flag (флаг ограничения поиска в направлении V), подаваемый из секции 21 кодирования синтаксиса.

На этапе S61, когда определяют, что interview_vector_v_range_restrict_flag, подаваемый из секции 21кодирования синтаксиса установлен 1 на этапе S14, обработка переходит на этап S62.

На этапе S62 секция 24 кодирования зависимого вида ограничивает диапазон поиска в направлении V MV между проекциями, например, до диапазона (размер LCU - 8) линии. Таким образом, V компонент положительного направления MV между проекциями ограничен до (размера LCU - 8) или меньше. Кроме того, V компонент в отрицательном направлении MV между проекциями также может быть ограничен.

Когда определяют, что interview_vector_v_range_restrict_flag, подаваемый из секции 21 кодирования синтаксиса установлен 0 на этапе S61, обработку на этапе S62 пропускают. Обработка переходит на этап S63.

На этапе S63 секция 24 кодирования зависимого вида кодирует изображение зависимого вида. Такая обработка кодирования, в принципе, аналогична описанной выше обработке кодирования со ссылкой на фиг. 8, за исключением того, что диапазон поиска в направлении V MV между проекциями ограничен при обработке прогнозирования/компенсации движения на этапе S34 на фиг. 8. Поэтому, ее описание здесь не представлено для исключения повторения.

При обработке на этапе S15 генерируют кодированные данные изображения зависимого вида, и кодированные данные изображения зависимого вида подают в секцию 26 передачи.

Когда interview_vector_v_range_restrict_flag равен 1, таким образом, диапазон поиска в направлении V MV между проекциями ограничен диапазоном вплоть до заданного значения, когда обработка прогнозирования/компенсации движения выполняется в изображении зависимого вида.

Таким образом, поскольку изображение за пределами ограниченного диапазона поиска не используется, возможно выполнить параллельную обработку изображения основного вида и зависимого изображения на стороне кодирования или стороне декодирования.

2. Второй вариант осуществления

Пример конфигурации устройства декодирования многопроекционного изображения

На фиг. 10 представлена конфигурация варианта осуществления устройства декодирования многопроекционного изображения, используемого, в качестве устройства обработки изображения, в котором применяется настоящее раскрытие.

Устройство 211 декодирования многопроекционного изображения на фиг. 10 декодирует кодированный поток, кодируемый многопроекционным устройством 11 кодирования изображения на фиг. 1. Таким образом, в синтаксисе кодированного потока установлена информация предела диапазона MV между проекциями, которая представляет собой информацию об ограничении диапазона ссылки вертикального направления MV между проекциями.

На фиг. 11 показана блок-схема, иллюстрирующая пример конфигурации многопроекционного устройства 211 декодирования изображения по фиг. 10. Кроме того, в примере на фиг. 11 показан пример, в котором кодируют изображение двух видов, включающее в себя основной вид (проекцию) и зависимый вид (проекцию), в ассоциации с примером на фиг. 2.

В примере на фиг. 11 устройство 211 декодирования многопроекционного изображения выполнено так, что оно включает в себя секцию 221 приема, секцию 222 декодирования синтаксиса, секцию 223 управления синхронизацией, секцию 224 декодирования основного вида, секцию 225 декодирования зависимого вида и DPB 226. Таким образом, устройство 211 декодирования многопроекционного изображения принимает кодированный поток, передаваемый из многопроекционного устройства 11 кодирования изображения, и декодирует кодированные данные изображения основного вида и кодированные данные изображения зависимого вида.

Секция 221 приема принимает кодированный поток, передаваемый из многопроекционного устройства 11 кодирования изображения по фиг. 1. Секция 221 приема отделяет кодированные данные изображения основного вида, кодированные данные изображения зависимого вида и т.п. от принятого потока битов.

Затем секция 221 приема подает кодированные данные изображения основного вида в секцию 224 декодирования основного вида. Секция 221 приема подает кодированные данные изображения зависимого вида в секцию 225 декодирования зависимого вида. Кроме того, секция 221 приема подает кодированные данные изображения основного вида и кодированные данные изображения зависимого вида в секцию 222 декодирования синтаксиса.

Секция 222 декодирования синтаксиса выделяет и последовательно декодирует SPS, PPS, SEI и заголовок среза из кодированных данных изображения основного вида, и кодированных данных изображения зависимого вида. Затем секция 222 декодирования синтаксиса, например, декодирует interview_vector_v_range_restrict_flag, установленный в SPS, и подает декодированный interview_vector_v_range_restrict_flag в секцию 223 управления синхронизацией.

В соответствии с interview_vector_v_range_restrict_flag, переданным из секции 222 декодирования синтаксиса, секция 223 управления синхронизацией обращается к информации хода выполнения при обработке декодирования из секции 224 декодирования основного вида и подает сигнал управления, для управления синхронизацией обработки декодирования изображения основного вида и обработки декодирования зависимого изображения.

Таким образом, секция 223 управления синхронизацией начинает обработку декодирования секции 224 декодирования основного вида. Затем секция 223 управления синхронизацией обеспечивает параллельную работу секции 224 декодирования основного вида и секции 225 декодирования зависимого вида, если обработка секции 224 декодирования основного вида достигает заданной линии LCU, когда interview_vector_v_range_restrict_flag, подаваемый из секции 222 декодирования синтаксиса, установлен в 1 (включен).

С другой стороны, секция 223 управления синхронизацией начинает обработку декодирования секции 225 декодирования зависимого вида, когда обработка декодирования секции 224 декодирования основного вида заканчивается, если interview_vector_v_range_restrict_flag, подаваемый из секции 222 декодирования синтаксиса, установлен в 0 (выключен).

Секция 224 декодирования основного вида декодирует кодированные данные основного вида, подаваемые из секции 221 приема, и генерирует изображение основного вида. Кроме того, секция 224 декодирования основного вида выбирает опорное изображение, на которое ссылаются при декодировании целевого изображения декодирования из декодируемого изображения основного вида, сохраненного в DPB 226, и декодирует это изображение, используя выбранное опорное изображение. В это время декодируемое изображение результата декодирования временно сохраняют в DPB 226.

Секция 225 декодирования зависимого вида декодирует кодированные данные зависимого вида, передаваемые из секции 221 приема, и генерирует изображение зависимого вида. Кроме того, секция 225 декодирования зависимой секции 225 выбирает опорное изображение, на которое ссылаются при декодировании целевого изображения декодирования из декодируемого изображения зависимого вида, сохраненного в DPB 226, и декодирует это изображение, используя выбранное опорное изображение. В это время декодируемое изображение - результат декодирования временно сохраняют в DPB 226.

Кроме того, когда interview_vector_v_range_restrict_flag включен, секция 225 декодирования зависимого вида декодирует кодированные данные зависимого вида, кодированные в результате ограничения вертикального направления диапазона поиска в декодируемом изображении основного вида. Поэтому, вертикальный (V) компонент полученного MV включается в себя ограниченный диапазон поиска.

В DPB 226 временно содержится изображение (декодированное изображение) после декодирования полученного в результате декодирования изображения цели декодирования в каждом из секции 224 декодирования основного вида и секции 225 декодирования зависимого вида, в качестве (кандидата) опорного изображения, к которому обращаются, когда генерируют прогнозируемое изображение.

Поскольку DPB 226 совместно используется секцией 224 декодирования основного вида 224 и секцией 225 декодирования зависимого вида, каждый из секции 224 декодирования основного вида и секцией 225 декодирования зависимого вида может обращаться, в дополнение к декодированному изображению, полученному локально, к декодируемому изображению, полученному блоком кодирования другого вида. Следует отметить, что секция 23 кодирования основного вида, который кодирует изображение из основной точки обзора, относится только к изображению той же точки обзора (основной вид).

Пример конфигурации секции декодирования вида

На фиг. 12 показана блок-схема, иллюстрирующая пример конфигурации секции 224 декодирования основного вида. Кроме того, секция 225 декодирования зависимого вида также выполнена, в основном, аналогично секции 224 декодирования основного вида.

В примере, показанном на фиг. 12, секция 224 декодирования основного вида включает в себя буфер 311 накопления, секцию 312 декодирования переменной длины, секцию 313 обратного квантования, секцию 314 обратного ортогонального преобразования, секцию 315 вычисления, контурный фильтр 316, буфер 317 изменения порядка изображений, секцию 318 цифро-аналогового (D/A) преобразования, секцию 319 прогнозирования внутри изображения, секцию 320 прогнозирования между изображениями, секцию 321 выбора прогнозируемого изображения и кэш 322.

Кодированные данные изображения основного вида из секции 221 приема (фиг. 11) поступают в буфер 311 накопления.

В буфере 311 накопления временно содержатся кодированные данные, предназначенные для передачи в него, и эти кодированные данные поступают из него в секцию 312 декодирования переменной длины.

Секция 312 декодирования переменной длины восстанавливает значение квантования или информацию заголовка, выполняя декодирование переменной длины для кодированных данных из буфера 311 накопления. Затем секция 312 декодирования переменной длины подает значение квантования в секцию 313 обратного квантования и подает информацию заголовка в секцию 319 прогнозирования внутри изображения и в секцию 320 прогнозирования между изображениями.

Секция 313 обратного квантования выполняет обратное квантование значения квантования из секции 312 декодирования переменной длины в коэффициент преобразования и передает этот коэффициент преобразования в секцию 314 обратного ортогонального преобразования.

Секция 314 обратного ортогонального преобразования выполняет обратное преобразование коэффициента преобразования из секции 313 обратного квантования и передает коэффициент преобразования после обратного преобразования в секцию 315 вычисления в модулях макроблоков (LCU).

Секция 315 вычисления выполняет декодирование путем суммирования прогнозируемого изображения, подаваемого из секции 321 выбора прогнозируемого изображения в целевой блок, в случае необходимости используя макро-блок, подаваемый из секции 314 обратного ортогонального преобразования, как целевой блок цели декодирования. Секция 315 вычисления подает декодированное изображение, полученное, в результате его обработки, в контурный фильтр 316.

Контурный фильтр 316, например, состоит из фильтра удаления блочности. Кроме того, например, когда принята схема HEVC, контурный фильтр 316 состоит из фильтра удаления блочности и фильтра адаптивного смещения. Контурный фильтр 316, например, выполняет фильтрацию, аналогичную контурному фильтру 121 по фиг. 3 для декодированного изображения из секции 315 вычисления и подает декодированное изображение после фильтрации в буфер 317 изменения порядка изображения.

Буфер 317 изменения порядка изображения изменяет порядок последовательности изображения на оригинальную последовательность (порядок отображения) путем временного хранения изображения для декодируемого изображения из контурного фильтра 316 и подает результат с измененным порядком в секцию 318 D/A преобразования.

Когда необходимо вывести изображение из буфера от 317 изменения порядка изображения в виде аналогового сигнала, секция 318 D/A преобразования выполняет D/A преобразование изображения и выводит результат D/A преобразования.

Кроме того, контурный фильтр 316 подает в DPB 226 декодированное изображение внутри (I) изображения, P-изображение, и BS-изображение, которые представляют собой изображения для ссылки среди фильтрованных декодированных изображений.

Здесь в DPB 226 содержится декодированное изображение из контурного фильтра 316, то есть, такое изображение, как изображение основного вида, в качестве кандидата (изображения - кандидата) опорного изображения, на которое будет сделана ссылка, к которому обращаются, когда генерируют прогнозируемое изображение, используемое при декодировании, которое будет выполнено в более позднее время.

Поскольку DPB 226 совместно используется секцией 224 декодирования основного вида и секцией 225 декодирования зависимого вида, как описано со ссылкой на фиг. 11, в нем содержится изображение зависимого вида, декодированное в секции 225 декодирования зависимого вида и т.п., а также изображение основного вида, декодированное в секции 224 декодирования основного вида.

Секция 319 прогнозирования внутри изображения распознает, был ли кодирован целевой блок, используя прогнозируемое изображение, сгенерированное при прогнозировании внутри изображения (прогнозирование между изображениями) на основе информации заголовка из секции 312 декодирования переменной длины.

Когда целевой блок кодируют, используя прогнозируемое изображение, сгенерированное при прогнозировании внутри изображения, секция 319 прогнозирования внутри изображения считывает уже декодированную часть (декодированное изображение) из изображения (целевого изображения), включающего в себя целевой блок, из DPB 226, в качестве секции 33 прогнозирования внутри изображения на фиг. 3. Затем секция 319 прогнозирования внутри изображения подает часть декодируемого изображения целевого изображения, считанного из DPB 226, как прогнозируемое изображение целевого блока в секцию 321 выбора прогнозируемого изображения.

Кэш 322 считывает пиксели диапазона, доступного в секции 320 прогнозирования между изображениями среди изображений DPB 226 и временно накапливает считанные пиксели.

Секция 320 прогнозирования между изображениями распознает, был целевой блок кодирован, используя прогнозируемое изображение, генерируемое при прогнозировании внутри изображений, на основе информации заголовка из секции 312 декодирования переменной длины.

Когда целевой блок кодируют, используя прогнозируемое изображение, сгенерированное при прогнозировании между изображениями, секция 320 прогнозирования между изображениями распознает оптимальный режим прогнозирования между изображениями (включая в себя режим прогнозирования между проекциями) целевого блока на основе информации заголовка из секции 312 декодирования переменной длины, и считывает изображение - кандидат, соответствующее оптимальному режиму прогнозирования между изображениями, в качестве опорного изображения из изображений - кандидатов, сохраненных в кэш 322.

Кроме того, секция 320 прогнозирования между изображениями генерирует прогнозируемое изображение, распознавая MV между изображениями, представляющий движения, используемые при генерировании прогнозируемого изображения целевого блока на основе информации заголовка из секции 312 декодирования переменной длины и выполняя компенсацию движения опорного изображения в соответствии с MV между изображениями, в качестве секции 123 прогнозирования между изображениями по фиг. 3. Кроме того, в зависимом виде MV между изображениями включает в себя MV между проекциями, представляющий сдвиг между проекциями, а также MV, представляющий временной сдвиг.

Таким образом, секция 320 прогнозирования между изображениями получает блок (соответствующий блок) положения, перемещенного (сдвинутого) в соответствии с MV между изображениями целевого блока из положения целевого блока в изображении - кандидата, в качестве прогнозируемого изображения.

Затем секция 320 прогнозирования между изображениями подает прогнозируемое изображение в секцию 321 выбора прогнозируемого изображения.

Когда прогнозируемое изображение подают из секции 319 прогнозирования внутри изображения, секция 321 выбора прогнозируемого изображения выбирает прогнозируемое изображение и подает выбранное прогнозируемое изображение в секцию 315 вычисления. Когда прогнозируемое изображение подают из секции 320 прогнозирования между изображениями, секция 321 выбора прогнозируемого изображения выбирает прогнозируемое изображение и подает выбранное прогнозируемое изображение в секцию 315 вычисления.

Операция устройства декодирования многопроекционного изображения

Далее, со ссылкой на блок-схему последовательности операций на фиг. 13, будет описана обработка декодирования многопроекционного изображения, в качестве операции устройства 211 декодирования многопроекционного изображения по фиг. 10. Кроме того, как описано выше со ссылкой на фиг. 7, в примере на фиг. 13, задержки при обработке кодирования и декодирования основного вида и зависимого вида составляют две линии LCU, и компонент Vy заранее установлен с ограничением (размер LCU - 8) или меньше, когда компонент Vy положительного направления MV между проекциями ограничен. Таким образом, диапазон поиска в вертикальном (V) положительном направлении MV между проекциями установлен как (размер LCU - 8) линий.

На этапе S111, секция 221 приема принимает кодированный поток, переданный из устройства 11 кодирования многопроекционного изображения по фиг. 1. Секция 221 приема отделяет кодированные данные изображения основного вида, кодированные данные изображения зависимого вида и т.п. из принятого потока битов.

Затем секция 221 приема передает кодированные данные изображения основного вида в секцию 224 декодирования основного вида. Секция 221 приема подает кодированные данные изображения зависимого вида в секцию 225 декодирования зависимого вида. Кроме того, секция 221 приема подает кодированные данные изображения основного вида и кодированные данные изображения зависимого вида в секцию 222 декодирования синтаксиса.

Секция 222 декодирования синтаксиса декодирует синтаксис на этапе S112. Таким образом, секция 222 декодирования синтаксиса выделяет и последовательно декодирует SPS, PPS, SEI и заголовок среза из кодированных данных изображения основного вида и кодированных данных изображения зависимого вида. Затем секция 222 декодирования синтаксиса, например, декодирует interview_vector_v_range_restrict_flag, установленный в SPS, и подает декодированный interview_vector_v_range_restrict_flag в секцию 223 управления синхронизацией.

На этапе S113, секция 224 декодирования основного вида декодирует кодированные данные изображения основного вида под управлением секции 223 управления синхронизацией. Кроме того, эта обработка декодирования будет описана ниже со ссылкой на фиг. 14. При обработке на этапе S113 декодируют кодированные данные, и генерируют изображение основного вида для каждого LCU. В это время секция 224 декодирования основного вида подает информацию хода выполнения обработки кодирования изображения основного вида в секцию 223 управления синхронизацией.

На этапе S114, секция 223 управления синхронизацией определяет, декодировала ли секция 224 декодирования основного вида заданные линии LCU (например, две линии LCU), обращаясь к информации хода выполнения из секции 224 декодирования основного вида. Количество линий LCU отличается для каждого примера.

Когда определяют, что секция 224 декодирования основного вида еще не кодировала заданные линии LCU на этапе S114, обработка возвращается на этап S113. Выполняют итерацию последующей обработки. С другой стороны, когда определяют, что секция 224 декодирования основного вида декодировала заданные линии LCU на этапе S114, обработка переходит на этап S115.

На этапе S115, секция 223 управления синхронизацией определяет, установлен ли в 1 interview_vector_v_range_restrict_flag (флаг ограничения диапазона поиска в направлении V), подаваемый из секции 222 декодирования синтаксиса. Когда определяют, что interview_vector_v_range_restrict_flag, переданный из секции 222 декодирования синтаксиса, установлен 0 на этапе S115, обработка переходит на этап S116.

Секция 223 управления синхронизацией обеспечивает декодирование секцией 224 декодирования основного вида остальных линий LCU изображения основного вида на этапе S116. Затем секция 223 управления синхронизацией обеспечивает исполнение блоком 225 декодирования зависимого вида обработки декодирования изображения независимого вида на этапе S117 после декодирования изображения основного вида, завершенного на этапе S116.

Таким образом, на этапе S116, секция 224 декодирования основного вида декодирует оставшиеся линии LCU изображения основного вида. Затем, на этапе S117, секция 225 декодирования зависимого вида декодирует зависимое изображение. Кроме того, обработка декодирования на этапах S116 и S117 также, в основном, аналогична обработке декодирования, которая будет описана ниже со ссылкой на фиг. 14. При обработке на этапе S116 генерируют основной вид. При обработке на этапе S117 генерируется изображение зависимого вида.

С другой стороны, когда определяют, что interview_vector_v_range_restrict_flag, переданный из секции 222 декодирования синтаксиса, установлен в 1 на этапе S115, обработка переходит на этап S118.

Секция 223 управления синхронизацией обеспечивает исполнение секцией 225 декодирования зависимого вида обработки декодирования изображения зависимого вида на этапе S118. Параллельно с этим, секция 223 управления синхронизацией обеспечивает декодирование секцией 224 декодирования основного вида оставшихся линий LCU изображения основного вида на этапе S119.

Таким образом, на этапе S118, секция 225 декодирования зависимого вида декодирует зависимое изображение. Обработка декодирования на S118 также, в основном, аналогична обработке декодирования, которая будет описана ниже со ссылкой на фиг. 14. Таким образом, единственное отличие состоит в том, что декодируют кодированные данные, для которых выполняется обработка кодирования, путем ограничения диапазона поиска в направлении V MV между проекциями, и обработка декодирования изображения зависимого вида, в основном, является такой же, как и обработка декодирования на этапе S117. При обработке этапа S118 генерируется изображение зависимого вида.

Кроме того, параллельно обработке, выполняемой на этапе S118, на этапе S119 секция 224 декодирования основного вида кодирует оставшиеся линии LCU изображения основного вида. Кроме того, обработка кодирования на этапе S119 также, в основном, аналогична обработке декодирования, которая будет описана ниже со ссылкой на фиг. 14. При обработке на этапе S119 генерируется изображение основного вида.

Пример обработки декодирования

Далее, со ссылкой на блок-схему последовательности операций на фиг. 14, будет описана обработка декодирования этапа S113 по фиг. 13. Кроме того, обработка декодирования на этапах S116 - S119 по фиг. 13 также, в основном, аналогична обработке, представленной на фиг. 14.

Кодированные данные изображения основного вида подают из секции 221 приема (фиг. 11) в буфер 311 накопления. На этапе S131, в буфере 311 накопления временно содержатся переданные кодированные данные, и он подает эти сохраненные кодированные данные в секцию 312 декодирования переменной длины.

На этапе S132, секция 312 декодирования переменной длины восстанавливает значение квантования или информацию заголовка, выполняя декодирование переменной длины для кодированных данных из буфера 311 накопления. Затем секция 312 декодирования переменной длины подает значение квантования в секцию 313 обратного квантования и подает информацию заголовка в секцию 319 прогнозирования внутри изображения и в секцию 320 прогнозирования между изображениями.

На этапе S133, кэш 322 считывает пиксели диапазона, доступного в секции 320 прогнозирования между изображениями среди изображений DPB 226, и временно накапливает считанные пиксели.

Таким образом, при обработке декодирования на этапах S113, S116, S117 и S119 на фиг. 13, например, диапазон пикселей, в которых может быть найден MV, считывают в кэш 322. С другой стороны, при обработке декодирования на этапе S118 по фиг. 13, декодируют кодированные данные, для которых выполняется обработка кодирования, путем ограничения диапазона поиска в направлении V MV между проекциями. Таким образом, диапазон поиска V направлений между проекциями MV ограничивается. Поэтому, поскольку необходимо считывать только пиксели диапазона поиска, ограниченного во время кодирования, когда опорное изображение между проекциями считывают в кэш 322 при декодировании изображения зависимого вида, кэш 322 не обязательно должен быть большой емкости.

На этапе S134, секция 319 прогнозирования внутри изображения или секция 320 прогнозирования между изображениями генерирует прогнозируемое изображение в соответствии с режимом прогнозирования информации заголовка из секции 312 декодирования переменной длины. Кроме того, в это время, секция 319 прогнозирования внутри изображений считывает уже декодированную часть (декодируемое изображение) из изображений, включая в себя целевой блок, и подает часть декодируемого изображения целевого изображения, считанного из DPB 226, как прогнозируемое изображение целевого блока, в секцию 321 выбора прогнозируемого изображения.

С другой стороны, секция 320 прогнозирования между изображениями распознает оптимальный режим прогнозирования между изображениями целевого блока на основе информации заголовка из секции 312 декодирования переменной длины, и считывает изображение - кандидат, соответствующее оптимальному режиму прогнозирования между изображениями, как опорное изображение, из изображений кандидатов, сохраненных в кэш 322. Кроме того, секция 320 прогнозирования между изображениями распознает движение, представляющее MV между изображениями, используемое при генерировании прогнозируемого изображения целевого блока, на основе информации заголовка из секции 312 декодирования переменной длины, и генерирует прогнозируемое изображение путем выполнения компенсации движения для опорного изображения, в соответствии с MV между проекциями, как в секции 123 прогнозирования между изображениями на фиг. 3. Генерируемое прогнозируемое изображение подают в секцию 321 выбора прогнозируемого изображения.

На этапе S135, когда прогнозируемое изображение подают из секции 319 прогнозирования внутри изображения, секция 321 выбора прогнозируемого изображения выбирает прогнозируемое изображение и подает выбранное прогнозируемое изображение в секцию 315 вычисления. Когда прогнозируемое изображение подают из секции 320 прогнозирования между изображениями, секция 321 выбора прогнозируемого изображения выбирает прогнозируемое изображение и подает выбранное прогнозируемое изображение в секцию 315 вычисления.

На этапе S136, секция 313 обратного квантования выполняет обратное квантование значения квантования из секции 312 декодирования переменной длины в коэффициент преобразования и подает коэффициент преобразования в секцию 314 обратного ортогонального преобразования.

На этапе S137, секция 314 обратного ортогонального преобразования выполняет обратное преобразование коэффициента преобразования из секции 313 обратного квантования и подает коэффициент преобразования после обратного преобразования в секцию 315 вычисления в модулях макро-блоков (LCU).

На этапе S138, секция 315 вычисления выполняет декодирование путем суммирования прогнозируемого изображения, подаваемого из секции 321 выбора прогнозируемого изображения, в целевой блок, в случае необходимости, используя макро-блок, подаваемый из секции 314 обратного ортогонального преобразования, как целевой блок цели декодирования. Таким образом, полученное декодируемое изображение подают в контурный фильтр 316.

На этапе S139 контурный фильтр 316, например, выполняет фильтрацию, аналогичную контурному фильтру 121 на фиг. 3, для декодируемого изображения из секции 315 вычисления и подает декодируемое изображение после фильтрация в DPB 226 и в буфер 317 изменения порядка изображения.

На этапе S140 DPB 226 содержит изображение декодируемого изображения из контурного фильтра 316, то есть, изображение для изображения основного вида, в качестве кандидата (изображения кандидата) опорного изображения, к которому обращаются, когда генерируют прогнозируемое изображение, используемое при декодировании, выполняемом в более позднее время.

На этапе S141, буфер 317 изменения порядка изображений изменяет последовательность изображений на оригинальную последовательность (порядок отображения), путем временного хранения изображения декодируемого изображения из контурного фильтра 316 и подает измененный порядок результата в секцию 318 D/A преобразования.

На этапе S142, когда необходимо вывести изображение из буфера 317 изменения порядка изображения, в виде аналогового сигнала, секция 318 D/A преобразования выполняет D/A преобразование изображения и выводит результат D/A преобразования.

Как описано выше, когда interview_vector_v_range_restrict_flag установлен 1 и выполняют обработку прогнозирования/компенсации движения для изображения зависимого вида, диапазон поиска в направлении V MV между проекциями ограничивают до заданного значения. Поэтому, поскольку изображение из ограниченного диапазона поиска не используется, возможно выполнять параллельную обработку изображения основного вида и зависимого изображения на стороне кодирования или стороне декодирования.

Кроме того, поскольку нет необходимости считывать изображение из диапазона поиска, возможно уменьшить емкость кэш 322.

3. Третий вариант осуществления

Пример синтаксиса

На фиг. 15 представлена схема, иллюстрирующая примеры синтаксиса SPS и семантику в отношении SPS. Кроме того, например, на фиг. 15 используется пример, в котором заранее установлен (размер LCU - 8), как значение предела диапазона в направлении V.

В случае примера на фиг. 15, как показано в синтаксисе, например, когда профиль представляет собой “профиль поддерживающий множество видов”, который представляет собой профиль для поддержки множества видов в SPS, установлен interview_vector_v_range_restrict_flag, который представляет собой информацию об ограничении направления V диапазона поиска MV между проекциями.

Кроме того, семантика определена следующим образом.

Когда interview_vector_v_range_restrict_flag установлен в 1, вертикальный компонент MV между проекциями, используемого в изображении зависимого вида, представлен с (размером LCU - 8) или меньше в модулях пикселей яркости. Если этот флаг отсутствует, его значение рассматривается, как равное 0. Если профиль равен “профилю стереоизображения”, его значение установлено в 1.

Другой пример обработки кодирования синтаксиса

Далее, со ссылкой на блок-схему последовательности операций на фиг. 16, будет описан синтаксис (SPS, в случае фиг. 15) обработки кодирования, выполняемой на этапе S11 на фиг. 7, для случая синтаксиса на фиг. 15.

На этапе S201, секция 21 кодирования синтаксиса определяет, поддерживает ли профиль множество видов. Таким образом, определяют, является ли профиль “профилем, поддерживающим множество видов ”.

Когда на этапе S201 определяют, что профиль поддерживает множество видов, обработка переходит на этап S202. На этапе S202 секция 21 кодирования синтаксиса устанавливает interview_vector_v_range_restrict_flag в 1 и передает SPS на сторону декодирования.

С другой стороны, когда определяют, что профиль не поддерживает множество видов на этапе S201, обработка переходит на этап S203. На этапе S203 секция 21 кодирования синтаксиса не передает interview_vector_v_range_restrict_flag на сторону декодирования. Таким образом, когда на стороне декодирования interview_vector_v_range_restrict_flag рассматривают, как равный 0, секция 21 кодирования синтаксиса не устанавливает interview_vector_v_range_restrict_flag в SPS на этапе S202.

Другой пример обработки кодирования изображения зависимого вида

Далее, со ссылкой на блок-схему последовательности операций на фиг. 17, будет описан пример обработки кодирования изображения зависимого вида, предназначенный для выполнения на этапе S17 по фиг. 7, в случае использования синтаксиса по фиг. 15. Кроме того, этот этап обработки представляет собой другой пример обработки кодирования изображения зависимого вида по фиг. 9.

Кроме того, в случае этого примера, profile_idc подают из секции 21 кодирования синтаксиса в секцию 22 управления синхронизацией и секцию 24 кодирования зависимого вида. interview_vector_v_range_restrict_flag подают только, когда profile_idc поддерживает множество видов.

Секция 24 кодирования зависимого вида принимает сигнал управления, обозначающий начало обработки кодирования, из секции 22 управления синхронизацией в случае ДА на этапе S14 по фиг. 7. В ответ, на этапе S221, секция 24 кодирования зависимого вида обращается к profile_idc, подаваемому из секции 21 кодирования синтаксиса, и определяет, поддерживает ли profile_idc множество видов.

Когда определяют, что profile_idc поддерживает множество видов на этапе S221, обработка переходит на этап S222. На этапе S222, секция 24 кодирования зависимого вида определяет, установлен ли в 1 interview_vector_v_range_restrict_flag (флаг ограничения диапазона поиска в направлении V), который поступает из секции 21 кодирования синтаксиса.

Когда определяют, что interview_vector_v_range_restrict_flag, переданный из секции 21 кодирования синтаксиса, установлен в 1, на этапе S222, обработка переходит на этап S223.

На этапе S223 секция 24 кодирования зависимого вида ограничивает вертикальный (V) компонент MV между проекциями до x (например, (размер LCU - 8), который установлен заранее)) в зависимом виде.

С другой стороны, когда определяют, что profile_idc не поддерживает множество видов на этапе S221 или когда определяют, что interview_vector_v_range_restrict_flag установлен в 0, на этапе S222, обработка переходит на этап S224.

На этапе S224, секция 24 кодирования зависимого вида не ограничивает компонент V MV между проекциями в зависимом виде, как в прошлом.

После обработки на этапе S223 или S224, обработка переходит на этап S225. На этапе S225 секция 24 кодирования зависимого вида кодирует изображение зависимого вида. Эта обработка кодирования, в основном, аналогична описанной выше обработке кодирования по фиг. 8, за исключением того, что значение компонента V (то есть, диапазона поиска в направлении V) MV между проекциями ограничено при обработке прогнозирования/компенсации движения на этапе S34 по фиг. 8. Поэтому, ее описание здесь исключено для исключения повторения.

При обработке на этапе S15 генерируют кодированные данные изображения зависимого вида, и кодированные данные изображения зависимого вида подают в секцию 26 передачи.

Когда выполняют обработку прогнозирования/компенсации движения в изображении зависимого вида, если profile_idc поддерживает множество видов и interview_vector_v_range_restrict_flag установлен в 1, как описано выше, (положительное направление) компонента V MV между проекциями ограничивают до заданного значения.

Поэтому, поскольку изображение за пределами ограниченного диапазона поиска не используется, возможно выполнить параллельную обработку изображения основного вида и изображения зависимого вида на стороне кодирования или на стороне декодирования.

Другой пример синтаксиса

На фиг. 18 представлена схема, иллюстрирующая примеры синтаксиса SPS и семантики об SPS. Кроме того, пример на фиг. 18 представляет собой пример, в котором значение предела диапазона в направлении V записывают, как синтаксис.

Как показано, синтаксис в примере на фиг. 18, например, когда профиль представляет собой “профиль поддержки множества видов”, который представляет собой профиль для поддержки множества видов в SPS, interview_vector_v_range_restrict_flag, который представляет собой информацию об ограничении в направлении V диапазона поиска между MV проекциями, установлен в дополнение, когда interview_vector _v_range_restrict_flag установлен в 1, значение ограничение диапазона в направлении V установлено, как interview_vector_v_range.

Семантика определена следующим образом.

Когда interview_vector_v_range_restrict_flag равен 1, вертикальный компонент MV между проекциями, используемый в изображении зависимого вида, представлен, как меньший чем или равный значению, установленному в interview_vector_v_range, в модулях пикселей яркости. Если этот флаг отсутствует, его значение рассматривают, как равное 0. Если профиль равен “профилю стереоизображения”, его значение устанавливается в 1.

Такой interview_vector_v_range представляет максимальное значение вертикального компонента MV между проекциями в модулях пикселей яркости. Если такая установка отсутствует, ее значение рассматривают, как равное 0.

Еще один пример синтаксиса

На фиг. 19 представлена схема, иллюстрирующая примеры синтаксиса SPS и семантики об SPS. Кроме того, пример на фиг. 19 представляет собой пример, в котором Значение предела диапазона в направлении V и в направлении H записывают, как синтаксис.

Как представлено в синтаксисе примера на фиг. 19, например, когда профиль представляет собой “профиль, поддерживающий множество видов”, который представляет собой профиль для поддержки множества видов в SPS, установлен interview_vector_v_range_restrict_flag, который представляет собой информацию об ограничении в направлении V диапазона поиска MV между проекциями. Кроме того, когда interview_vector_v_range_restrict_flag установлен в 1, значение предела диапазона в направлении V и значение предела диапазона в направлении H установлены, как interview_vector_v_range.

Семантика определена следующим образом.

Когда interview_vector_v_range_restrict_flag установлен в 1, вертикальный компонент MV между проекциями, используемый в изображении зависимого вида, представлен, как меньший чем или равный значению, установленному в interview_vector_v_range в модулях пикселей яркости. Если этот флаг отсутствует, его значение рассматривается, как равное 0. Если профиль равен “профилю стереоизображения”, его значение установлено в 1.

Данный interview_vector_v_range представляет максимальное значение вертикального компонента MV между проекциями в модулях пикселей яркости. Если такая установка отсутствует, его значение считается равным 0.

Кроме того, interview_vector_h_range представляет максимальное значение горизонтального компонента MV между проекциями в модулях пикселей яркости. Если его установка отсутствует, его значение считается равным 0. Если значение равно 255, это представляет то, что предел для горизонтального компонента не существует.

Таким образом, горизонтальный компонент (то есть, диапазон поиска в горизонтальном (H) направлении) MV между проекциями также может быть установлен с ограничением. В этом случае, поскольку диапазон пикселей, которые должны быть считаны в кэш 322 на фиг. 12, дополнительно сужают, по сравнению со случаем использования только направления V на стороне декодирования, при этом возможно дополнительно уменьшить емкость кэш 322. Таким образом, становится возможным удешевить конфигурацию устройства.

Кроме того, диапазон горизонтального направления также может быть оценен по минимальному значению и максимальному значению глубины (или несоответствию), такому как SEI. Минимальное и максимальное значение, которое может быть оценено из SEI, становятся Dmin и Dmax, в случае несоответствия, и становятся Znear и Zfar, в случае глубины.

Несоответствие может быть получено путем вычисления минимального значения и максимального значения для значения Ivx предела компонента H MV между проекциями из Dmax. Аналогично, глубина может быть получена, как IVx = fL/Zmax (f: фокусное расстояние и L: расстояние между камерами), путем вычисления минимального значения и максимального значения для предельного значения Ivx компонента H MV между проекциями из Znear.

В этом случае, поскольку диапазон пикселей, которые должны быть считаны в кэш 322 по фиг. 12, дополнительно сужается, по сравнению со случаем, использования только направления V на стороне декодирования, как при ограничении горизонтального компонента, путем выполнения декодирования, используя значение IVx, становится возможным дополнительно уменьшить емкость кэш 322. Таким образом, становится возможным получить более дешевую конфигурацию устройства.

Как описано выше, в соответствии с настоящей технологией, диапазон (длина) MV результата декодирования не превышает предел. Поэтому, информацию о том, присутствует ли его предел, передают со стороны кодирования, и диапазон MV ограничивают, когда переданная информация является достоверной.

Кроме того, хотя случай, в котором предельное значение диапазона MV представляет собой фиксированное значение, был описан выше, его ограничение может быть строгим при увеличении размера изображения, когда значение предела представляет собой фиксированное значение. Затем, далее будет описан случай, в котором значение предела не является фиксированным значением. Кроме того, ниже значение предела будет описано, как значение ограничения.

4. Четвертый вариант осуществления

Значение ограничения в соответствии с вертикальным разрешением изображения

Вначале будет описан способ получения значения ограничения в соответствии с вертикальным разрешением изображения. Например, Значение ограничения представлено по следующей формуле (1), которая представляет собой формулу вычисления по отношению вертикального разрешения изображения.

ограничение
[Уравнение 1]

Здесь pic_height_in_luma_samples предписывает вертикальное разрешение изображения (формат изображения) в SPS. α обозначает разрешенную величину сдвига изображения вверх/вниз между проекциями. Например, хотя α = 0,05, α не ограничено 0,05, если она имеет значение приблизительно от 0,01 до 0,3. Кроме того, значение α может быть передано, как переменная, на сторону декодирования.

Кроме того, 2 в формуле (1) представляет собой основание логарифма, и Log2LCUsize = 4, 5 или 6 (размер LCU составляет 16, 32 или 64). Например, когда Log2LCUsize = 6, >> 6 и <<6 в формуле (1) представляет, что значения ограничения увеличивается в модуле максимального размера блока дерева кодирования (CTB), то есть, размера LCU 64. Это связано с тем, что такой блок представляет собой модуль обработки в наихудшем случае, когда рассматривается обработка параллельного декодирования.

Затем выполняют конечное вычитание 8, поскольку имеются 4 пикселя для фильтра в контуре и 4 пикселя для фильтра компенсации движения.

На фиг. 20 показана схема, иллюстрирующая пример значения ограничения для общего формата изображения. Эти значения ограничения рассчитываются как α = 0,05 и Log2LCUsize = 6 в формуле (1).

В примере на фиг. 20 слева представлены мнемоническое название, горизонтальное разрешение, вертикальное разрешение и значение предела формата изображения. Значение предела для случая вертикального разрешения, вплоть до размера приблизительно 1200, составляет 56. Значение предела для случая вертикального разрешения, вплоть до размера 1536 или больше, или приблизительно 2304, составляет 120. Значение предела для случая вертикального разрешения приблизительно 4096 составляет 248.

Пример синтаксиса

На фиг. 21 представлена схема, иллюстрирующая пример синтаксиса SPS, семантики об SPS и профиля. Пример на фиг. 21 представляет собой пример, в котором формула (1), в которой используются значения ограничения, в соответствии с разрешением, то есть, α = 0,05 и Log2LCUsize = 6, установлены, как значение ограничения диапазона (значение ограничения) в направлении V.

В случае примера на фиг. 21, как показано в синтаксисе, disparity_vector_constraint_flag установлен в расширение SPS.

Семантика для этого определена следующим образом. disparity_vector_constraint_flag = 1 определяет, что вектор несоответствия ограничен в кодированной видеопоследовательности (CVS).

Когда disparity_vector_constraint_flag установлен в 1, вертикальный компонент вектора несоответствия равен или меньше, чем значение ограничения (dv_constraint_value) в пикселе. Различные значения ограничения определяются в формуле (1), в которой α = 0,05 и Log2LCUsize = 6.

Когда disparity_vector_constraint_flag установлен в 0, длина вектора несоответствия не ограничена. Затем, когда флаг отсутствует, предпочтительно, чтобы его значение было равно 0.

Кроме того, профиль стереоизображения определяется следующим образом. Потоки битов, соответствующие профилю стереоизображения, подчиняются следующим ограничениям. Расширение SPS в неосновном виде имеет только disparity_vector_constraint_flag, равный 1.

Значение ограничения в соответствии с уровнем

Далее будет описан способ получения значения ограничения, в соответствии с уровнем. Хотя само значение ограничения является таким же, как и в случае описанного выше вертикального разрешения, способ представления в письменном стандарте отличается. Кроме того, когда малый кадр изображения кодируют с высоким уровнем, ограничение уменьшается. Таким образом, например, когда изображение высокой четкости (HD) кодируют на уровне 5, значение ограничения составляет только 56, в случае вертикального разрешения, но значение ограничения становится равным 120, в случае такого уровня, что становится возможным дополнительно уменьшить ограничение в случае вертикального разрешения.

На фиг. 22 представлена схема, иллюстрирующая пример семантики. Кроме того, в примере на фиг. 22 показан пример, в котором значение ограничения, в соответствии с уровнем, используется, как предельное значение диапазона (значение ограничения) в направлении V. Уровень представляет, какое количество пикселей включено, и диапазон определенной величины может быть установлен на стороне кодирования.

disparity_vector_constraint_flag = 1 определяет, что вектор несоответствия ограничен в CVS.

Когда disparity_vector_constraint_flag = 1, вертикальный компонент вектора несоответствия равен или меньше, чем значение ограничения (dv_constraint_value) в пикселе. Различные значения ограничения установлены в таблице А (справа на фиг. 22).

В таблице A, показаны уровень, максимальная высота и значение ограничения (dv_constraint_value). Кроме того, значение после десятичной точки в уровне представляет разницу частоты кадров в направлении времени. Значение ограничения составляет 56, когда целочисленное значение уровня составляет вплоть до 4. Значение ограничения равно 120, когда целочисленное значение уровня равно 5. Значение ограничения равно 248, когда целочисленное значение уровня равно 6.

Кроме того, когда disparity_vector_constraint_flag равен 0, длина вектора несоответствия не ограничена. Затем, когда флаг отсутствует, предпочтительно, чтобы его значение было равно 0.

Как описано выше, возможно уменьшить строгое ограничение при увеличении размера изображения, используя значение ограничения, в соответствии с вертикальным разрешением изображения или уровнем. Таким образом, даже когда размер изображения увеличивается, возможно обрабатывать многопроекционные изображения параллельно.

Кроме того, хотя пример двух видов основного вида и зависимого вида был описан выше, настоящая технология не ограничена двумя проекциями. Настоящая технология также применима для кодирования и декодирования изображений множества видов, в дополнение к двум видам.

Кроме того, хотя настоящая технология также применима к SHVC, который представляет стандарт для масштабируемого кодирования видеоданных (иерархического кодирования), которое будет описано ниже, необходимость следующих ограничений также рассматривается в дополнение к описанному выше примеру, когда настоящая технология применяется для SHVC.

5. Пятый вариант осуществления

Ограничения, когда настоящая технология применяется для SHVC

Далее, со ссылкой на фиг. 23, будут описаны необходимые ограничения, когда настоящая технология применяется в SHVC.

В примере на фиг. 23 показаны основной уровень и уровень расширения. В текущем изображении Curr. уровня расширения MV находят для опорного изображения ref, как краткосрочный прогнозируемый вектор. Кроме того, в текущем изображении Curr. уровня расширения MV_IL (между уровнями) находят для изображения rSpic., как долгосрочный прогнозируемый вектор. Такое изображение rSpic. представляет собой изображение, получаемое в результате выполнения повышающей дискретизации опорного изображения rlpic низкого разрешения основного уровня в пределах DPB, например, DPB 25 по фиг. 2 (DPB 226 на фиг. 11), в соответствии с обработкой повторной выборки.

В этом случае, необходимость следующих трех типов ограничений учитывается для MV_IL, который представляет собой прогнозируемый вектор между уровнями (прогнозируемый вектор между уровнями).

● MV_IL обязательно должен быть равным 0.

● MV_IL должен быть равным одному пикселю или меньше.

● MV_IL должен составлять X пикселей или меньше.

Что касается ограничения MV_IL = 0

Вначале, со ссылкой на фиг. 24, будет описано ограничение MV_IL = 0. В примере на фиг. 24, в текущем изображении Curr. уровня расширения находят прогнозируемый вектор между уровнями MV_IL для изображения rSpic. Как описано выше со ссылкой на фиг. 23, изображение rSpic представляет собой изображение, получаемое в результате повышающей дискретизации опорного изображения rlpic с низким разрешением основного уровня в пределах DPB 25 (DPB 226), в соответствии с обработкой повторной выборки.

Здесь, когда присутствует ограничение MV_IL = 0, масштабируемый видеопрофиль определен следующим образом. Потоки битов, соответствующие масштабируемому видеопрофилю, подчиняются следующим ограничениям. Прогнозируемые вектора между уровнями, как горизонтального компонента, так и вертикального компонента, равны 0.

Поскольку ограничение MV_IL = 0 относится только к пикселям в одном положении, как описано выше, воплощение становится самым простым.

Что касается ограничения (MV_IL равно один пиксель или меньше)

Вначале, со ссылкой на фиг. 25, будет описано ограничение, когда MV_IL равно одному пикселю или меньше. В примере на фиг. 25, в текущем изображении Curr. уровня расширения находят прогнозируемый вектор MV_IL между уровнями для изображения rSpic. Как описано выше со ссылкой на фиг. 23, изображение rSpic представляет собой изображение, получаемое в результате повышающей дискретизации опорного изображения rlpic с низким разрешением основного уровня в пределах DPB 25 (DPB 226), в соответствии с обработкой повторной выборки.

Здесь фильтры во время понижающей дискретизации при формировании изображения низкого разрешения из оригинального изображения на основном уровне и во время повышающей дискретизации DPB 25 (DPB 226) являются разными, таким образом, что может происходить сдвиг по фазе.

Например, оригинальное изображение на входе уровня расширения конфигурируют так, что оно включает в себя с первого по четвертый пиксели слева. Затем, даже когда присутствует уменьшенное изображение А, полученное после понижающей дискретизации в момент времени второго пикселя и в момент времени четвертого пикселя слева оригинального изображения, и уменьшенное изображение B, полученное в результате понижающей дискретизации в момент времени между первым и вторым пикселями, и в момент времени между третьим, и четвертым пикселями слева оригинального изображения, только сторона кодирования знает способ формирования уменьшенного изображения.

Таким образом, поскольку сторона декодирования не знает способ формирования уменьшенного изображения, увеличенное изображение, полученное в результате повышающей дискретизации на стороне декодирования, получает сдвиг по сравнению с оригинальным изображением, когда выполняют повышающую дискретизацию во втором - пятом пикселях слева во время выполнения повышающей дискретизации в DPB 25 (DPB 226).

Поэтому, в соответствии с ограничением таким, что MV_IL составляет один пиксель или меньше, становится возможно поглощать фазовый сдвиг в MV_IL, даже когда фазовый сдвиг будет вызван разностью фильтра между временем понижающей дискретизации во время формирования изображения с низким разрешением оригинального изображения на основном уровне и временем повышающей дискретизации в DPB 25 (DPB 226).

Здесь, когда присутствует такое ограничение, что MV_IL составляет один пиксель или меньше, масштабируемый видеопрофиль определен следующим образом. Потоки битов, соответствующие масштабируемому видеопрофилю, подчиняются следующим ограничениям. Прогнозируемые векторы между уровнями, как горизонтального компонента, так и вертикального компонента равны 0 или меньше, чем 1 в пикселе.

Что касается ограничения (MV_IL составляет X пикселей или меньше)

Вначале, со ссылкой на фиг. 26, будет описано ограничение, состоящее в том, что MV_IL составляет X пикселей или меньше. В примере на фиг. 26, в текущем изображении Curr. уровня расширения находят прогнозируемый вектор MV_IL между уровнями для изображения rSpic. Как описано выше со ссылкой на фиг. 23, изображение rSpic представляет собой изображение, получаемое в результате повышающей дискретизации опорного изображения rlpic с низким разрешением основного уровня в DPB 25 (DPB 226) в соответствии с обработкой повторной выборки.

Здесь, например, когда выполняют съемку изображения в разных системах, таким образом, что для изображения с низким разрешением и изображения с высоким разрешением используют разные объективы, или когда формируют изображение с низким разрешением путем сегментации из изображения с высоким разрешением в центре области, представляющей интерес (ROI), эффективно, когда отсутствует предел в MV_IL.

Однако, даже в этом случае, предпочтительно, чтобы присутствовало ограничение, учитывающее параллельное декодирование. Например, если присутствует MV_IL в пределах ограничения, обозначенного следующей формулой (2), возможно параллельно декодировать основной уровень и уровень расширения.

[Уравнение 2]

ограничение

Здесь scale_factor обозначает отношение увеличения. BL_CTBsize и EL_CTBsize обозначают размер CTB основного уровня и размер CTB уровня расширения, соответственно.

Как представлено в правой части на фиг. 26, в частности, когда размер CTB основного уровня равен 64, и отношение увеличения равно 2, декодирование может начаться, если один CTB основного уровня будет декодирован, и MV первого CTB уровня расширения составляет 56 пикселей или меньше.

Здесь, когда присутствует ограничение, представляющее в то, что MV_IL составляет X пикселей или меньше, масштабируемый видеопрофиль определен следующим образом. Потоки битов, соответствующие масштабируемому видеопрофилю, подчиняются следующим ограничениям. Прогнозируемые векторы между уровнями, как горизонтального компонента, так и вертикального компонента, равны 0 или меньше 1 в пикселе. Различные значения ограничения между уровнями установлены в описанной выше формуле (2). Например, значение ограничения между уровнями становится (2x64-64)-8 = 56 [пикселей].

Как описано выше, в случае SHVC (то есть, масштабируемое видеокодирование), возможно обрабатывать изображения множества уровней (видов) параллельно, даже когда применяется ограничение диапазона MV, как описано выше.

Кроме того, хотя выше были описаны три примера, в которых предел MV определен в профиле, например, флаг может быть передан со стороны кодирования на сторону декодирования путем установки включения/выключения, присутствия/отсутствия предела, в качестве флага.

Кроме того, хотя выше был описал пример, в котором флаг, относящийся к предельному значению диапазона MV, записан в SPS, или был описан SPS_EXT, флаг также может быть передан на сторону декодирования, путем установки флага в VPS_EXT, VUI_EXT и т.п., как будет описано ниже. Кроме того, ниже inter_view_mv_vert_constraint_flag представляет флаг, относящийся к предельному значению диапазона MV.

6. Шестой вариант осуществления

Другой пример (VPS_EXT) синтаксиса

На фиг. 27 представлена схема, иллюстрирующая пример синтаксиса VPS_EXT и семантику об VPS_EXT.

Как показано в синтаксисе, в примере на фиг. 27, inter_view_mv_vert_constraint_flag установлен для каждого одного (максимальное количество уровней - 1) уровней (то есть, для каждого уровня). Кроме того, поскольку в этом нет необходимости в основном виде, количество уровней больше 0.

Семантика определена следующим образом.

inter_view_mv_vert_constraint_flag[i] устанавливают в значение inter_view_mv_vert_constraint_flag, который представляет собой элемент синтаксиса в модулях уровня абстракции сети (NAL) для уровня кодирования видеоданных (VCL) i-ого уровня. Поскольку i в диапазоне от 1 до vps_max_layers_minus1, включительно, когда отсутствует флаг, предполагается, что inter_view_mv_vert_constraint_flag [i] равен 0.

inter_view_mv_vert_constraint_flag, равный 1, определяет, что вертикальный компонент MV, используемый для прогнозирования между уровнями, ограничен в CVS. Когда inter_view_mv_vert_constraint_flag равен 1, компонент V, используемый для прогнозирования между уровнями, должен быть равным или меньше чем 56 в модулях пикселей яркости.

Когда inter_view_mv_vert_constraint_flag равен 0, отсутствует ограничение для компонента V в MV, используемом для прогнозирования между уровнями, обозначенного этим флагом.

Ограничение в профиле стереоизображения

На фиг. 28 иллюстрируется пример ограничения в профиле стереоизображения для каждого случая (ниже называется случаем SPS_EXT), в котором флаг, относящийся к предельному значению диапазона MV, записан в синтаксисе SPS_EXT, и случай (ниже называется случаем VPS_EXT), в котором флаг, относящийся к предельному значению диапазона MV, записан в синтаксис VPS_EXT. В профиле стереоизображения для случая записи в синтаксисе SPS_EXT изменяется только часть, окруженная кадром, если флаг записан в синтаксисе VPS_EXT.

Таким образом, когда флаг записан в SPS_EXT, записано “Когда viewID [i] больше 0, inter_view_mv_vert_constraint_flag равен 1 в структуре SPS_EXT для SPS активного уровня в кодированном изображении, в котором ID уровень равен i”.

С другой стороны, когда флаг записан в синтаксис VPS_EXT, производят изменение для "Когда viewID [i] больше 0, inter_view_mv_vert_constraint_flag viewId [i] равен 1 в структуре SPS_EXT для SPS активного уровня в кодированном изображении, с ID уровня, равным i”.

Разница между случаем SPS_EXT и случаем VSP_EXT

На фиг. 29 представлена схема, иллюстрирующая техническую разницу между случаем SPS_EXT и случаем VSP_EXT.

Поскольку кодирование для каждого вида возможно в случае VSP_EXT, как для той же точки, что и в случае SPS_EXT, задают возможность транскодирования уровня потока битов.

С другой стороны, в качестве первой точки среди разных точек для случая VSP_EXT из случая SPS_EXT, VSP устанавливают в верхней части последовательности, и включают синтаксис более верхнего уровня, чем SPS, и объединенную информацию для каждого SPS (вида). Поэтому, когда выполняют запись в VSP_EXT, и вид представляет собой многопроекционный вид, ограничение потока битов известно для каждого вида ранее, чем будет обработан каждый SPS. Таким образом, распределение нагрузки декодера обеспечивается более просто.

В частности, как представлено на фиг. 30, предпочтительно установить в 0 флаг, относящийся к предельному значению диапазона MV, поскольку эффективность кодирования является плохой во взаимосвязи ссылки вертикального направления на фиг. 30, например, в случае девяти видов. С другой стороны, при взаимосвязи ссылки горизонтального направления на фиг. 30, ограничение можно применять путем установки флага, относящегося к предельному значению диапазона MV в 1.

Поскольку информация этого ограничения известна раньше в случае VSP_EXT, два вида, которые расположены горизонтально, например, на фиг. 30, известны раньше, как основанные на профиле стереоизображения, в котором установлено ограничение диапазона MV, и два вида могут быть выделены, как стереоизображение. Таким образом, это способствует распределению нагрузки.

Кроме того, возвращаясь к фиг. 29, в качестве второй другой точки для случая VSP_EXT из случая SPS_EXT, когда синтаксис, обозначающий, что флаг передают только в случае 3-D профиля, установлен, как модифицированный пример, это способствует распределению.

Кроме того, в публикации Ying Chen, Ye-Kui Wang, “AHG7: Comments on parameter sets for MV-HEVC,” JCT3V-D0196, 2013.4.13 (ниже называется ссылочной литературой 1), предложена обработка, в которой inter_view_mv_vert_constraint_flag установлен в VPS_EXT.

Однако, как представлено на фиг. 31, только 1 бит установлен для флага в синтаксисе. Таким образом, в предложении, представленном в ссылочной литературе 1, трудно записать информацию для каждого вида, когда количество видов равно двум или больше.

Поэтому, даже на фиг. 31, флаг, относящийся к предельному значению диапазона MV, установлен в 0, поскольку эффективность кодирования является плохой во взаимосвязи ссылки вертикального направления, как в случае на фиг. 30, например, в случае девяти видов. Однако, в случае, предложенном в ссылочной литературе 1, в отличие от случая настоящей технологии, трудно индивидуально применять ограничение диапазона MV в ссылочной литературе для горизонтального направления на фиг. 31.

Другой пример (VUI_EXT) синтаксиса

На фиг. 32 представлена схема, иллюстрирующая пример синтаксиса VUI_EXT.

Как представлено в синтаксисе по примеру на фиг. 32, inter_view_mv_vert_constraint_flag включен в bitstream_restriction_flag, в VUI_EXT. Ограничение потока битов записано в bitstream_restriction_flag.

Кроме того, поскольку VUI_EXT представляет собой один из SPS_EXT и включен в часть второй половины SPS, как представлено в синтаксисе примера на фиг. 32, семантика или ограничение профиля стереоизображения, по существу, является такой же, как и в случае SPS_EXT.

Кроме того, в том, что касается технической разности, случай VUI_EXT, по существу, является таким же, как и случай SPS_EXT. Однако, в случае VUI_EXT, в отличие от случая SPS_EXT, присутствует преимущество, состоящее в том, что результат декодирования (= декодируемому изображению) очевидно будет идентичным, независимо от значения флага и легко известным, поскольку VUI представляет собой место, в котором записана информация, которая не влияет на результат декодирования. Кроме того, поскольку этот флаг представляет собой флаг ограничения кодирования, было бы соответствующим, чтобы флаг представлял собой ограничение потока битов.

Кроме того, поскольку отличается только место установки флага, и, в основном, представлена аналогичная обработка по сравнению со случаем, в котором флаг установлен в SPS(_EXT), даже когда флаг, относящийся к предельному значению диапазона MV, описанному выше, установлен в VPS_EXT или VUI_EXT, повторное его описание здесь не представлено.

Таким образом, каждая обработка, относящаяся к флагу, который должен быть установлен в VPS_EXT или VUI_EXT, представляет собой обработку, выполняемую многообзорным устройством кодирования изображения по фиг. 1, и многообзорным устройством 211 декодирования изображения по фиг. 10, описанным выше. В соответствии с этим, многопроекционное устройство кодирования изображения по фиг. 1 и устройство 211 декодирования многопроекционного изображения по фиг. 10, описанные выше, выполняют обработку, в основном, аналогичную такой как (многопроекционная обработка кодирования изображения на фиг. 7, обработка кодирования изображения зависимого вида на фиг. 9, многопроекционная обработка декодирования изображения по фиг. 13, обработка кодирования синтаксиса по фиг. 16, обработка кодирования изображения зависимого вида по фиг. 17, и т.п.) для случая SPS.

Как описано выше, даже когда флаг, относящийся к предельному значению диапазона MV, описанному выше, установлен в VPS_EXT, VUI_EXT и т.п., возможно обрабатывать многопроекционные изображения параллельно, как и в случае, когда флаг установлен в SPS_EXT.

Кроме того, выше был описан пример, в котором флаг, относящийся к предельному значению, передают, как способ установления предела (ограничения) диапазона MV. Здесь обработка, в которой информацию задержки декодирования между уровнями записывают в VUI_EXT, предложена в публикации Robert Skupin, Karsten Suhring, Yago Sanchez de la Fuente, Thomas Schierl, A. K. Ramasubramonian, Y. Chen, Y.-K. Wang, V. Seregin, L. Zhang, T. Ikai, and Y. Yamamoto, “Inter-layer delay indication in VUI (combining aspects of JCTVC-M0200, JCT3V-D0064 and JCT3V-D0199),” JCTVC-M0463, 2013.5.24 (ниже называется ссылочной литературой 2).

Как описано далее, в качестве другого способа, кроме описанного выше для флага, для диапазона MV также может быть установлен предел (он может быть ограничен) в способе (то есть, путем установки линии CTU), раскрытом в предложении ссылочной литературы 2.

Кроме того, здесь, в настоящем описании, CTU установлен, как модуль, включающий в себя параметр, когда обработку выполняют в блоке дерева кодирования (CTB) LCU и в его размере (уровне) LCU. Кроме того, модуль кодирования (CU), составляющий CTU, установлен, как модуль, включающий в себя параметр, когда обработку выполняют в блоке кодирования (CB) и в его основании (уровне) CU.

7. Седьмой вариант осуществления

Другой пример ограничения диапазона MV

На фиг. 33 показана схема, иллюстрирующая пример синтаксиса в предложении ссылочной литературы 2.

Как представлено на фиг. 33, в предложении ссылочной литературы 2, информация задержки декодирования между уровнями (информация задержки декодирования) записана в bitstream_restriction_flag, в VUI_EXT, в SPS_EXT.

Синтаксис на фиг. 33 будет описан в порядке, начиная сверху. В информации задержки декодирования между уровнями 0 или количество опорных уровней записано в num_delay_ref_layers. Если num_delay_ref_layers равно 0, это означает, что отсутствует ограничение в диапазоне MV. Следующий цикл выполняет здесь итерацию по записанному количеству опорных уровней.

Количество линий CTU в вертикальном направлении, которое должно быть задержано от опорного уровня, записывается в min_spatial_segment_delay [i]. Такой размер CTU зависит от размера CTU, к которому обращаются. Информацию задержки (присутствие/отсутствие задержки) направления X записывают в ctu_based_delay_enabled_flag [i]. Количество CTU (в направлении X), которое должно быть задержано из CTB того же положения, что и опорный уровень, записывают в min_delay_ctb_horizontal [i].

Кроме того, поскольку информация задержки декодирования между уровнями присутствует в VUI (SPS_EXT), эта информация может быть записана для каждого уровня. Например, как представлено на фиг. 33, к этой информации можно не обращаться в случае уровня 2, и при этом возможно записывать информацию задержки, как для уровня 0, так и для уровня 1, или только одного из них.

Пример установки синтаксиса

Далее, со ссылкой на фиг. 34, будет описан пример установки синтаксиса по фиг. 33. В примере на фиг. 34 представлены уровень 0 (основной уровень) и уровень 1.

Показан текущий CU уровня 1. На уровне 0, расположенный в том же месте CU (ниже называется Col CU), который представляет собой CU, соответствующий текущему CU (ниже называется Curr CU), представлен в том же положении, что и текущий CU уровня 1.

Здесь, например, если декодирование вплоть до заштрихованного CU, будет выполнено на уровне 0, SPS_EXT_VUI уровня 1 установлен следующим образом, когда Curr CU уровня 1 может быть декодирован.

num_delay_ref_layers = 1

min_spatial_segment_delay [0] = 2

ctu_based_delay_enabled_flag [0] = 1

min_delay_ctb_horizontal [0] = 3

Таким образом, количество опорных уровней равно 1, и количество линий CTU, которые должны быть задержаны из опорного уровня, равно 2. Задержка направления X присутствует, и значение задержки установлено равным 3 CTU из Col CU.

Здесь ограничение диапазона MV, в соответствии с настоящей технологией, представляет собой MV_V ≤ 56 пикселей. Это соответствует задержке на одну линию, когда CTUsize = 64, соответствует задержке на две линии, когда CTUsize = 32, и соответствует задержке на четыре линии, когда CTUsize = 16.

Таким образом, это соответствует задержке линии, обозначенной следующей формулой (3). Кроме того, основание логарифма в формуле (3) равно 2.

[Уравнение 3]

Поэтому, тот же способ записи, как и в случае флага, как и для информации задержки, возможен путем установки значения задержки вертикального направления по формуле (3) при установке линии CTU.

Ограничение профиля стереоизображения

На фиг. 35 иллюстрируется пример ограничения профиля стереоизображения для каждого случая, в котором флаг, относящийся к предельному значению диапазона MV, записан в синтаксис SPS_EXT, и случая, в котором флаг установлен в линии CTU в VUI. Кроме того, в профиле стереоизображения для случая, в котором флаг записан в синтаксис SPS_EXT, изменяется только часть, окруженная кадром, если флаг записан в линии CTU в VUI.

Таким образом, когда флаг записывают в SPS_EXT, записывают “Когда viewID [i] больше 0, inter_view_mv_vert_constraint_flag равен 1 в структуре SPS_EXT SPS активного уровня в кодированном изображении, в котором уровень ID равен i”.

С другой стороны, когда флаг установлен линией CTU, выполняют изменение для записи "Когда ViewID [i] больше 0, num_delay_ref_layers равно 1, и min_spatial_segment_delay [0] равна 1 <<(6-refLog2CtbSizeY) в структуре SPS_EXT для SPS активного уровня в кодированном изображении с уровнем ID равным i”.

Таким образом, случай флага в SPS_EXT, означает, что вектор ограничен его диапазоном, случай установки по линии CTU означает, что декодирование может начаться, если оно ожидает в такой степени, и оба они являются синонимами для стороны декодирования.

Разница между случаем SPS_EXT и случаем ограничения, наложенным линией CTU

На фиг. 36 показана схема, иллюстрирующая техническую разницу между случаем SPS_EXT (то есть, случаем флага) и ограничением по линии CTU.

В качестве информации задержки стороны декодирования, ограничение, устанавливаемое линией CTU, является, по существу, таким же, как и для случая SPS_EXT, как описано выше.

С другой стороны, в том, что касается ограничения, представленного линией CTU, отличие от случая SPS_EXT состоит в том, что ограничение MV_V ≤ 56 пикселей может быть изменено в соответствии с ВКЛЮЧЕНИЕМ/ВЫКЛЮЧЕНИЕМ фильтра контура в опорной плоскости для стороны декодирования, или имеет ли вектор несоответствия направления Y целочисленную точность.

В частности, когда фильтр контура выключен, возможно расширить диапазон MV для MV_V ≤ 60 (= 64 - 4, что представляет собой смещение фильтра компенсации движения (MC)), пикселей. Кроме того, поскольку фильтр MC является ненужным, когда длина MV представляет собой целое число, возможно расширить диапазон MV до MV_V ≤ 60 (= 64 - 4, что представляет собой смещение фильтра контура) пикселей. Кроме того, когда фильтр контура выключен, и длина MV представляет собой целое число, становится возможным расширить диапазон MV до M _V ≤ 64 пикселя.

Таким образом, возможно уменьшить ограничение на стороне кодирования. Кроме того, наоборот, трудно выполнить точную установку 56 пикселей в ограничении по линии CTU.

Кроме того, в случае ограничения по линии CTU и в случае установки флага, единственная разница информации установки состоит в том, установлен ли флаг или установлено значение задержки в вертикальном направлении в ограничении линии CTU в описанной выше формуле (3). Таким образом, поскольку существует единственное различие в установке информации, и различие, определено ли ответвление при обработке флагом или значением задержки в вертикальном направлении при установке линии CTU, и остальное (например, обработка содержания, время обработки и т.п.), в основном, аналогично обработке, повторное ее описание здесь не представлено.

Таким образом, каждая обработка, относящаяся к установке CTU, также выполняется многообзорным устройством 11 кодирования изображения по фиг. 1 и многообзорным устройством 211 декодирования изображения по фиг. 10, описанными выше. За исключением разницы в определения ответвления информации установки, выполняется обработка, в основном, аналогичная обработке (обработке кодирования многопроекционного изображения по фиг. 7, обработке кодирования изображения зависимого вида на фиг. 9, обработке декодирования многопроекционного изображения по фиг. 13, обработке кодирования синтаксиса по фиг. 16, обработке кодирования многопроекционного изображения зависимого вида по фиг. 17, и т.п.) в случае SPS с помощью устройства 11 кодирования многопроекционного изображения по фиг. 1 и устройства 211 декодирования многопроекционного изображения по фиг. 10, описанных выше.

Как описано выше, даже при установке линии CTU, возможно параллельно обрабатывать многопроекционные изображения, как при флаге ограничения MV.

Как описано выше, схема HEVC выполнена с возможностью ее использования в качестве схемы кодирования в основании. Однако, настоящее раскрытие не ограничено этим. Можно применять другие схемы кодирования/декодирования.

Кроме того, настоящее раскрытие, например, применимо в устройстве кодирования изображения и в устройстве декодирования изображения, которые используются, когда информацию изображения (поток битов), сжатую в результате ортогонального преобразования, такого как дискретное косинусное преобразование, и компенсация движения, как в схеме HEVC и т.п., принимают через сетевую среду, такую как спутниковая передача данных, кабельное телевидение, Интернет и мобильный телефон. Кроме того, настоящее раскрытие применимо к устройству кодирования изображения и к устройству декодирования изображения, предназначенным для использования, когда обработка выполняется на носителях записи, таких как оптический диск, магнитный диск и запоминающее устройство флэш.

8. Восьмой вариант осуществления

Применение многопроекционного кодирования и декодирования изображения

Представленная выше последовательность обработки может применяться при многопроекционном кодировании и декодировании изображения. На фиг. 37 иллюстрируется пример многопроекционной схемы кодирования изображения.

Как показано на фиг. 37, многопроекционное изображение включает в себя изображения множества видов, и изображение одного заданного вида среди множества видов назначено, как изображение основного вида. Изображение каждого вида, другого, чем изображение основного вида, рассматривается, как изображение неосновного вида.

Когда выполняют многопроекционное кодирование изображения, как на фиг. 37, информация предела диапазона MV между проекциями, которая представляет собой информацию, относящуюся к пределу в направлении V диапазона поиска MV между проекциями, может быть установлена в каждом виде (в том же виде). Кроме того, в каждом виде (в разных видах), может совместно использоваться информация ограничения диапазона поиска MV между проекциями, установленная в другом виде.

В этом случае информация ограничения диапазона поиска MV между проекциями, установленная в основном виде, используется, по меньшей мере, в одном неосновном виде. В качестве альтернативы, например, информация ограничения диапазона поиска MV между проекциями, установленная в неосновном виде (view_id = 1), используется, по меньшей мере, в одном из основного вида и неосновного вида (view_id = j).

Таким образом, становится возможным ограничить направление V диапазона поиска MV между проекциями. Поэтому, становится возможным обрабатывать многопроекционные изображения параллельно.

Многопроекционное устройство кодирования изображения

На фиг. 38 представлена схема, иллюстрирующая многопроекционное устройство кодирования изображения, которое выполняет описанное выше кодирование многопроекционного изображения. Как представлено на фиг. 38, устройство 600 кодирования многопроекционного изображения имеет секцию 601 кодирования, секцию 602 кодирования и секцию 603 мультиплексирования.

Секция 601 кодирования кодирует изображение основного вида и генерирует кодированный поток изображения основного вида. Секция 602 кодирования кодирует изображение неосновного вида и генерирует кодированный поток изображения неосновного вида. Секция 603 мультиплексирования мультиплексирует кодированный поток изображения основного вида, генерируемый в секции 601 кодирования, и кодированный поток изображения неосновного вида, генерируемый в секции 602 кодирования, и генерирует кодированный поток многопроекционного изображения.

Устройство 11 кодирования многопроекционного изображения (фиг. 1) может применяться в секции 601 кодирования и в секции 602 кодирования устройства 600 кодирования многопроекционного изображения. В этом случае устройство 600 кодирования многопроекционного изображения устанавливает и передает информацию ограничения диапазона поиска MV между проекциями, установленную секцией 601 кодирования, и информацию ограничения диапазона поиска MV между проекциями, установленную секцией 602 кодирования.

Кроме того, информация ограничения диапазона поиска MV между проекциями, установленная секцией 601 кодирования, как описано выше, может быть сконфигурирована с возможностью ее установки и передачи таким образом, что информация ограничения диапазона поиска будет совместно использоваться и будет использоваться секциями 601 и 602 кодирования. В отличие от этого, информация ограничения диапазона поиска MV между проекциями, совместно установленная секцией 602 кодирования, может быть установлена и передана так, что информация ограничения диапазона поиска будет совместно использоваться и будет использоваться секциями 601 и 602 кодирования.

Устройство декодирования многопроекционного изображения

На фиг. 39 показана схема, иллюстрирующая устройство декодирования многопроекционное изображения для выполнения описанного выше декодирования многопроекционного изображения. Как представлено на фиг. 39, устройство 610 декодирования многопроекционного изображения имеет секцию 611 обратного мультиплексирования, секцию 612 декодирования и секцию 613 декодирования.

Секция 611 обратного мультиплексирования выполняет обратное мультиплексирование кодированного потока многопроекционного изображения, в котором мультиплексированы кодированный поток изображения основного вида и кодированный поток изображения неосновного вида, и выделяют кодированный поток изображения основного вида и кодированный поток изображения неосновного вида. Секция 612 декодирования декодирует кодированный поток изображения основного вида, выделенный секцией 611 обратного мультиплексирования, и получает изображение основного вида. Секция 613 декодирования декодирует кодированный поток изображения неосновного вида, выделенный секцией 611 обратного мультиплексирования, и получает изображение неосновного вида.

Возможно применять устройство 211 декодирования многопроекционного изображения (фиг. 10) для секции 612 декодирования и секции 613 декодирования устройства 610 декодирования многопроекционного изображения. В этом случае устройство 610 декодирования многопроекционного изображения выполняет обработку, используя информацию ограничения диапазона поиска MV между проекциями, установленную секцией 601 кодирования, и декодируемую секцией 612 декодирования, и информацию ограничения диапазона поиска MV между проекциями, установленную секцией 602 кодирования и декодируемую секцией 613 декодирования.

Кроме того, информация ограничения диапазона поиска MV между проекциями, установленная секцией 601 кодирования (или секцией 602 кодирования), как описано выше, может быть установлена и может быть преобразована для совместного использования и может использоваться секциями 601 и 602 кодирования. В этом случае, в устройстве 610 декодирования многопроекционного изображения, выполняется обработка, используя информацию ограничения диапазона поиска MV между проекциями, установленную секцией 601 кодирования (или секцией 602 кодирования), и декодируется секцией 612 декодирования (или секцией 613 декодирования).

9. Девятый вариант осуществления

Применение иерархического кодирования и декодирования изображения

Описанная выше последовательность обработки может применяться для иерархического кодирования и декодирования изображения. На фиг. 40 иллюстрируется пример схемы многопроекционного кодирования изображения.

Как показано на фиг. 40, иерархическое изображение включает в себя изображения множества уровней (разрешений), и изображение уровня одного из множества разрешений назначают в основном уровне или изображении. Изображение каждого уровня, кроме изображения основного уровня, обрабатывают, как изображение неосновного уровня.

Когда выполняют иерархическое кодирование изображения (пространственную масштабируемость), как на фиг. 40, возможно установить информацию ограничения диапазона поиска MV между проекциями на каждом уровне (на одном уровне). Кроме того, в случае иерархического изображения, показан MV между проекциями, такой же, как и MV между уровнями. Кроме того, возможно совместно использовать информацию ограничения диапазона поиска MV между проекциями, установленную другим уровнем на каждом уровне (на разном уровне).

В этом случае информация ограничения диапазона поиска MV между проекциями, установленная на основном уровне, используется, по меньшей мере, на одном неосновном уровне. В качестве альтернативы, например, информация ограничения диапазона поиска MV между проекциями, установленная на не основном уровне (layer_id = 1), используется, по меньшей мере, на одном из основного уровня и неосновного уровня (layer_id = j).

Таким образом, возможно ограничить направление V диапазона поиска MV между проекциями. Поэтому, становится возможным обрабатывать многопроекционные изображения параллельно.

Устройство кодирования иерархического изображения

На фиг. 41 показана схема, иллюстрирующая устройство кодирования иерархического изображения для выполнения описанного выше кодирования иерархического изображения. Как представлено на фиг. 41, устройство 620 кодирования иерархического изображения имеет секцию 621 кодирования, секцию 622 кодирования и секцию 623 мультиплексирования.

Секция 621 кодирования кодирует изображение основного уровня и генерирует кодированный поток изображения основного уровня. Секция 622 кодирования кодирует изображение неосновного уровня и генерирует кодированный поток изображения неосновного уровня. Секция 623 мультиплексирования мультиплексирует кодированный поток изображения основного уровня, генерируемый в секции 621 кодирования, и кодированный поток изображения неосновного уровня, генерируемый в секции 622 кодирования, и, генерирует кодированный поток иерархического изображения.

Устройство 11 кодирования многопроекционного изображения (фиг. 1) может применяться для секции 621 кодирования и секции 622 кодирования в устройстве 620 кодирования иерархического изображения. В этом случае, устройство 620 кодирования иерархического изображения устанавливает и передает информацию ограничения диапазона поиска MV между проекциями, установленную секцией 621 кодирования, и информацию ограничения диапазона поиска MV между проекциями, установленную секцией 602 кодирования.

Кроме того, информация ограничения диапазона поиска MV между проекциями, установленная секцией 621 кодирования, как описано выше, может быть выполнена с возможностью ее установки и передачи таким образом, что информация ограничения диапазона поиска будет совместно использоваться, и используется секциями 621 и 622 кодирования. В отличие от этого, информация ограничения диапазона поиска MV между проекциями, установленная секцией 622 кодирования, может быть установлена и передана так, что информация ограничения диапазона поиска будет совместно использоваться и используется секциями 621 и 622 кодирования.

Устройство декодирования иерархического изображения

На фиг. 42 показана схема, иллюстрирующая устройство декодирования иерархического изображения, предназначенное для выполнения описанного выше декодирования иерархического изображения. Как представлено на фиг. 42, устройство 630 декодирования иерархического изображения имеет секцию 631 обратного мультиплексирования, секцию 632 декодирования и секцию 633 декодирования.

Секция 631 обратного мультиплексирования выполняет обратное мультиплексирование кодированного потока иерархического изображения, в котором кодированный поток изображения основного уровня и кодированный поток изображения не основного уровня мультиплексируют, и выделяют кодированный поток изображения основного уровня и кодированный поток изображения не основного уровня. Секция 632 декодирования декодирует кодированный поток изображения основного уровня, выделенный секцией 631 обратного мультиплексирования, и получает изображение основного уровня. Секция 633 декодирования декодирует кодированный поток изображения не основного уровня, выделенный секцией 631 обратного мультиплексирования, и получает изображение не основного уровня.

Возможно применять устройство 211 декодирования многопроекционного изображения (фиг. 10) для секции 632 декодирования и секции 633 декодирования устройства 630 декодирования иерархического изображения. В этом случае устройство 630 декодирования иерархического изображения выполняет обработку, используя информацию ограничения диапазона поиска MV между проекциями, установленную секцией 621 кодирования и декодируемую секцией 632 декодирования, и информацию ограничения диапазона поиска MV между проекциями, установленную секцией 622 кодирования и декодируемую секцией 633 декодирования.

Кроме того, информация ограничения диапазона поиска MV между проекциями, установленная секцией 621 кодирования (или секцией 622 кодирования), как описано выше, может быть установлена и передана для совместного использования и используется секциями 621 и 622 кодирования. В этом случае, в устройстве 630 декодирования иерархического изображения выполняется обработка, используя информацию ограничения диапазона поиска MV между проекциями, установленную секцией 621 кодирования (или секцией 622 кодирования), и декодируемую секцией 632 декодирования (или секцией 633 декодирования).

10. Десятый вариант осуществления

Пример конфигурации компьютера

Описанная выше последовательность обработки может быть выполнена с помощью аппаратных средств или может быть выполнена с помощью программных средств. Когда последовательность обработки должна быть выполнена с помощью программных средств, программы, формирующие программное обеспечение, устанавливают в компьютер. Здесь компьютер включает в себя компьютер, который встроен в специализированные аппаратные средства или персональный компьютер (PC) общего назначения, который может выполнять различные функции, в результате установки различных программ, например, в компьютер.

На фиг. 43 показана блок-схема, иллюстрирующая пример конфигурации аппаратных средств компьютера для исполнения описанной выше последовательности обработки, используя программу.

В компьютере 800 центральное процессорное устройство (CPU) 801, постоянное запоминающее устройство (ROM) 802 и оперативное запоминающее устройство (RAM) 803 соединены друг с другом через шину 804.

Интерфейс 810 ввода и вывода (I/F), кроме того, соединен с шиной 804. Секция 811 ввода, секция 812 вывода, секция 813 хранения, секция 814 передачи данных и привод 815 соединены с I/F 810 ввода и вывода.

Секция 811 ввода сформирована с клавиатурой, мышью, микрофоном и т.п. Секция 812 вывода сформирована с дисплеем, громкоговорителем и т.п. Секция 813 хранения сформирована жестким диском, энергонезависимым запоминающим устройством и т.п. Секция 814 связи сформирована с сетевым интерфейсом и т.п. Устройство 815 осуществляет привод съемного носителя 821 записи, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, выполненном, как описано выше, CPU 801 загружает программы, сохраненные в секции 813 хранения, в RAM 803 через I/F 810 ввода и вывода и шину 804, и исполняет программы таким образом, что выполняются описанные выше последовательности обработки.

Программа, исполняемая компьютером 800 (CPU 801), может быть предоставлена путем ее записи на съемном носителе 821 записи, как на пакетном носителе записи и т.п. Программа также может быть предоставлена через проводную или беспроводную среду передачи данных, такую как локальная вычислительная сеть, Интернет или цифровая спутниковая широковещательная передача.

В компьютере, путем загрузки съемного носителя 821 записи в привод 815, программа может быть установлена в секцию 813 хранения через I/F 810 ввода и вывода. Также возможно принять программу через проводную или беспроводную среду связи, используя секцию 814 связи и установить эту программу в секцию 813 хранения. В качестве другой альтернативы, программа может быть установлена заранее в ROM 802 или в секцию 813 хранения.

Следует отметить, что программа, исполняемая компьютером, может представлять собой программу, которая обрабатывается во временной последовательности, в соответствии с последовательностью, описанной в этом описании, или программу, которая обрабатывается параллельно или в необходимые моменты времени, такие как при вызове.

В настоящем раскрытии этапы описания программы, предназначенные для записи на носителе записи, могут включать в себя обработку, исполняемую во временной последовательности, в соответствии с порядком описания, и обработку, не исполняемую во временной последовательности, но выполняемую параллельно или индивидуально.

В описании система относится ко всему устройству, включающему в себя множество устройств (устройств).

Кроме того, элемент, описанный выше, как одно устройство (или модуль обработки), может быть разделено и выполнено, как множество устройств (или модулей обработки). И, наоборот, элементы, описанные выше, как множество устройств (или модулей обработки), могут быть выполнены совместно, как одно устройство (или модуль обработки). Кроме того, любой элемент, кроме описанных выше, может быть добавлен к каждому устройству (или модулю обработки). Кроме того, часть элемента заданного устройства (или модуля обработки) может быть включена в элемент другого устройства (или другого модуля обработки), если только конфигурации или операции системы в целом, по существу, является одинаковыми. Другими словами, вариант осуществления раскрытия не ограничен описанными выше вариантами осуществления, и различные изменения, и модификации могут быть выполнены без выхода за пределы объема раскрытия.

Устройство кодирования изображения и устройство декодирования изображения, в соответствии с вариантом осуществления, могут применяться в различных электронных устройствах, таких как передатчики и приемники для спутниковой широковещательной передачи, кабельной широковещательной передачи, такой как кабельное телевидение, распределение по Интернет, распределение в терминалы через сотовую передачу данных и т.п., устройства записи, которые записывают изображения на носителях, таких как оптические диски, магнитные диски и запоминающее устройство флэш, и устройства воспроизведения, которые воспроизводят изображения с такого носителя записи.

Ниже будут описаны четыре варианта применения.

11. Варианты применения

Первый вариант применения: телевизионные приемники

На фиг. 44 иллюстрируется пример схематичной конфигурации телевизионного устройства, в котором применяется вариант осуществления. Телевизионное устройство 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, секцию 905 обработки видеосигнала, секцию 906 отображения, секцию 907 обработки аудиосигнала, громкоговоритель 908, внешний I/F 909, секцию 910 управления, I/F 911 пользователя и шину 912.

Тюнер 902 выделяет сигнал требуемого канала из сигналов широковещательной передачи, принятых через антенну 901, и демодулирует выделенный сигнал. Тюнер 902 затем выводит кодированный поток битов, полученный в результате демодуляции, в демультиплексор 903. Таким образом, тюнер 902 используется, как средство передачи телевизионного устройства 900 приема кодированного потока, в котором кодировано изображение.

Демультиплексор 903 демультиплексирует кодированный поток битов для получения видеопотока и аудиопотока программы, предназначенной для просмотра, и выводит каждый поток, полученный в результате демультиплексирования, в декодер 904. Демультиплексор 903 также выделяет вспомогательные данные, такие как электронная программа передач (EPG), из кодированного потока битов и подает выделенные данные в секцию 910 управления. Кроме того, демультиплексор 903 может выполнять дескремблирование, когда кодированный поток битов был скремблирован.

Декодер 904 декодирует видеопоток и аудиопоток, вводимые из демультиплексора 903. Декодер 904 затем выводит видеоданные, генерируемые при обработке декодирования, в секцию 905 обработки видеосигнала. Декодер 904 также выводит аудиоданные, генерируемые при обработке декодирования, в секцию 907 обработки аудиосигнала.

Секция 905 обработки видеосигнала воспроизводит видеоданные, введенные из декодера 904, и обеспечивает отображение видеоизображения секцией 906 отображения. Секция 905 обработки видеосигнала также может обеспечить отображение секцией 906 отображения экрана приложения, передаваемого через сеть. Затем секция 905 обработки видеосигнала может выполнять дополнительную обработку, такую как удаление (подавление) шумов, например, для видеоданных, в соответствии с установкой. Кроме того, блок 905 обработки видеосигнала может генерировать изображение графического I/F пользователя (GUI), такое как меню, кнопка и курсор, и накладывать сгенерированное изображение на выходное изображение.

Секция 906 отображения управляется сигналом управления, передаваемым из секции 905 обработки видеосигнала, и отображает видео изображение или изображение на видеоэкране устройства отображения (например, жидкокристаллический дисплей, плазменный дисплей, органический электролюминесцентный дисплей (OLED) и т.д.).

Секция 907 обработки аудиосигнала выполняет обработку воспроизведения, такую как D/A преобразование и усиление для аудиоданных, вводимых из декодера 904, и выводит звук из громкоговорителя 908. Секция 907 обработки аудиосигнала также может выполнять дополнительную обработку, такую как удаление (подавление) шумов для аудиоданных.

Внешний I/F 909 представляет собой I/F для соединения телевизионного устройства 900 с внешним устройством или сетью. Например, видеопоток или аудиопоток, принимаемый через внешний I/F 909, может быть декодирован декодером 904. Таким образом, внешний I/F 909 также используется, как средство передачи телевизионного устройства 900 для приема кодированного потока, в котором кодировано изображение.

Секция 910 управления включает в себя процессор, такой как центральное процессорное устройство (CPU) и запоминающее устройство, такое как оперативное запоминающее устройство (RAM) и постоянное запоминающее устройство (ROM). В запоминающем устройстве содержится программа, исполняемая в CPU, данные программы, данные EPG, данные, получаемые через сеть, и т.п. Программу, содержащуюся в запоминающем устройстве, считывают и исполняют с помощью CPU, например, во время активации телевизионного устройства 900. CPU управляет работой телевизионного устройства 900, например, в соответствии с сигналом операции, вводимым из I/F 911 пользователя, путем исполнения программы.

I/F 911 пользователя соединен с блоком 910 управления. I/F 911 пользователя включает в себя, например, кнопку и переключатель, используемые пользователем для выполнения операций с телевизионным устройством 900, и блоком приема сигнала дистанционного управления. I/F 911 пользователя обнаруживает операцию пользователя через эти структурные элементы, генерирует сигнал операции и выводит сгенерированный сигнал операции в секцию 910 управления.

Шина 912 соединяет друг с другом тюнер 902, демультиплексор 903, декодер 904, секцию 905 обработки видеосигнала, секцию 907 обработки аудиосигнала, внешний I/F 909 и секцию 910 управления.

Декодер 904 имеет функцию устройства 60 декодирования изображения, в соответствии с вариантом осуществления, в телевизионном устройстве 900, выполненном таким образом. При этом возможно обрабатывать многопроекционные изображения параллельно во время декодирования видеоданных изображения в телевизионном устройстве 900.

Второй вариант применения: мобильные телефоны

На фиг. 45 иллюстрируется пример схематичной конфигурации мобильного телефона, в котором применяется этот вариант осуществления. Мобильный телефон 920 включает в себя антенну 921, секцию 922 связи, аудиокодек 923, громкоговоритель 924, микрофон 925, блок 926 камеры, секцию 927 обработки изображений, секцию 928 демультиплексирования, секцию 929 записи/воспроизведения, секцию 930 отображения, секцию 931 управления, секцию 932 операции и шину 933.

Антенна 921 соединена с секцией 922 связи. Громкоговоритель 924 и микрофон 925 соединены с аудиокодеком 923. Секция 932 операции соединен с секцией 931 управления. Шина 933 соединяет друг с другом секцию 922 связи, аудиокодек 923, секцию 926 камеры, секцию 927 обработки изображений, секцию 928 демультиплексирования, секцию 929 записи/воспроизведения, секцию 930 отображения и секцию 931 управления.

Мобильный телефон 920 выполняет операцию, такую как передача и прием аудиосигнала, передача и прием данных электронной почты или изображения, съемку изображения и запись данных в различных режимах работы, включая в себя режим звукового вызова, режим передачи данных, режим съемки изображения и режим видеотелефона.

Аналоговый аудиосигнал, генерируемый микрофоном 925, подают в аудиокодек 923 в режиме звукового вызова. Аудиокодек 923 преобразует аналоговый аудиосигнал в аудиоданные, обеспечивает преобразованные аудиоданных после A/D преобразования, и сжимает преобразованные данные. Аудиокодек 923 затем выводит сжатые аудиоданные в секцию 922 связи. Секция 922 связи кодирует и модулирует аудиоданные, и генерирует сигнал передачи. Секция 922 связи затем передает сгенерированный сигнал передачи в базовую станцию (не показана) через антенну 921. Секция 922 связи также усиливает беспроводный сигнал, принятый через антенну 921, и преобразует частоту беспроводного сигнала, для получения принятого сигнала. Секция 922 связи затем демодулирует и декодирует принятый сигнал, генерирует аудиоданные, и выводит сгенерированные аудиоданные в аудиокодек 923. Аудиокодек 923 расширяет аудиоданные, подвергает аудиоданные D/A преобразованию, и генерирует аналоговый аудиосигнал. Аудиокодек 923 затем подает сгенерированный аудиосигнал в громкоговоритель 924 для вывода звука.

Секция 931 управления также генерирует данные текста в соответствии с операцией, выполняемой пользователем, через секцию 932 операции, данные текста, например, составляющие электронную почту. Кроме того, секция 931 управления обеспечивает отображение текста секцией 930 отображения. Кроме того, секция 931 управления генерирует данные электронной почты, в соответствии с инструкцией передачи от пользователя через секцию 932 операции, и выводит сгенерированные данные электронной почты в секцию 922 связи. Секция 922 связи кодирует и модулирует данные электронной почты, и генерирует сигнал передачи. Секция 922 связи затем передает сгенерированный сигнал передачи в базовую станцию (не показана) через антенну 921. Секция 922 связи также усиливает беспроводный сигнал, принятый через антенну 921, и преобразует частоту беспроводного сигнала для получения принятого сигнала. Секция 922 связи затем демодулирует и декодирует принятый сигнал для восстановления данных электронной почты, и выводит восстановленные данные электронной почты в секцию 931 управления. Секция 931 управления обеспечивает отображение секцией 930 отображения содержания электронной почты, и также обеспечивает сохранение на носителе хранения секции 929 записи/воспроизведения данных электронной почты.

Секция 929 записи/воспроизведения включает в себя носитель хранения, выполненный с возможностью считывания и перезаписи. Например, носитель хранения может представлять собой встроенный носитель хранения, такой как оперативное запоминающее устройство и запоминающее устройство флэш, или установленный внешний носитель хранения, такой как жесткие диски, магнитные диски, магнитооптические диски, оптические диски, запоминающее устройство на универсальной последовательной шине (USB) и карты памяти.

Кроме того, секция 926 камеры, например, снимает изображение субъекта для генерирования данных изображения и выводит сгенерированные данные изображения в секцию 927 обработки изображений в режиме съемки изображения. Секция 927 обработки изображений кодирует данные изображения, вводимые из секции 926 камеры, и обеспечивает сохранение кодированного потока на носителе хранения секции 929 записи/воспроизведения.

Кроме того, секция 928 демультиплексирования, например, мультиплексирует видеопоток, кодированный секцией 927 обработки изображений и аудиопоток, вводимый из аудиокодека 923, и выводит мультиплексированный поток в секцию 922 связи в режиме видеотелефона. Секция 922 связи кодирует и модулирует поток, и генерирует сигнал передачи. Секция 922 связи затем передает сгенерированный сигнал передачи в базовую станцию (не показана) через антенну 921. Секция 922 связи также усиливает беспроводный сигнал, принятый через антенну 921, и преобразует частоту беспроводного сигнала для получения принятого сигнала. Эти сигнал передачи и принятый сигнал могут включать в себя кодированный поток битов. Секция 922 связи затем демодулирует и декодирует принятый сигнал для восстановления потока и выводит восстановленный поток в секцию 928 демультиплексирования. Секция 928 демультиплексирования демультиплексирует входной поток для получения видеопотока и аудиопотока, и выводит видеопоток в секцию 927 обработки изображений и аудиопоток в аудиокодек 923. Секция 927 обработки изображений декодирует видеопоток, и генерирует видеоданные. Видеоданные подают в секцию 930 отображения, и последовательность изображений отображают с помощью секции 930 отображения. Аудиокодек 923 расширяет аудиопоток, подвергает аудиопоток D/A преобразованию и генерирует аналоговый аудиосигнал. Аудиокодек 923 затем подает сгенерированный аудиосигнал в громкоговоритель 924 и обеспечивает вывод звука.

Секция 927 обработки изображений имеет функцию устройства кодирования изображения и устройства декодирования изображения, в соответствии с вариантом осуществления, в мобильном телефоне 920, выполненном таким образом. При этом возможно обрабатывать многопроекционные изображения параллельно во время масштабируемого кодирования видеоданных и декодирования изображения в мобильном телефоне 920.

Третий вариант применения: устройство записи/воспроизведения

На фиг. 46 иллюстрируется пример схематической конфигурации устройства записи/воспроизведения, в котором применяется вариант осуществления. Устройство 940 записи/воспроизведения, например, кодирует аудиоданные и видеоданные принимаемой программы широковещательной передачи и записывает кодированные аудиоданные и кодированные видеоданные на носителе записи. Например, устройство 940 записи/воспроизведения также может кодировать аудиоданные и видеоданные, полученные из другого устройства, и записывать кодированные аудиоданные и кодированные видеоданные на носителе записи. Кроме того, устройство 940 записи/воспроизведения, например, использует монитор или громкоговоритель, для воспроизведения данных, записанных на носителе записи, в соответствии с инструкцией пользователя. В это время устройство 940 записи/воспроизведения декодирует аудиоданные и видеоданные.

Устройство 940 записи/воспроизведения включает в себя тюнер 941, внешний I/F 942, кодер 943, привод 944 жесткого диска (HDD), привод 945 диска, селектор 946, декодер 947, устройство 948 отображения на экране (OSD), секцию 949 управления и I/F 950 пользователя.

Тюнер 941 выделяет сигнал требуемого канала из сигналов широковещательной передачи, принимаемых через антенну (не показана), и демодулирует выделенный сигнал. Тюнер 941 затем выводит кодированный поток битов, полученный в результате демодуляции, в селектор 946. Таким образом, тюнер 941 используется, как средство передачи устройства 940 записи/воспроизведения.

Внешний I/F 942 представляет собой I/F для соединения устройства 940 записи/воспроизведения с внешним устройством или сетью. Например, внешний I/F 942 может представлять собой I/F 1394 Института инженеров по электротехнике и радиоэлектронике (IEEE), сетевой I/F или I/F USB, I/F запоминающее устройство флэш и т.п. Например, видеоданные и аудиоданные, принимаемые через внешний I/F 942, вводят в кодер 943. Таким образом, внешний I/F 942 используется, как средство передачи устройства 940 записи/воспроизведения.

Когда видеоданные и аудиоданные, вводимые из внешнего I/F 942, еще не кодированы, кодер 943 кодирует видеоданные и аудиоданные. Кодер 943 затем выводит кодированный поток битов в селектор 946.

HDD 944 записывает на внутренний жесткий диск кодированный поток битов, в котором видео- и аудиоданные содержания сжаты, различные программы и другие части данных. HDD 944 также считывает эти части данных с жесткого диска во время воспроизведения видео- или аудиоданных.

Привод 945 диска записывает данные на установленный носитель записи и считывает их с него. Носитель записи, который установлен на привод 945 диска, может представлять собой, например, диск DVD (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW и т.д.), диск Blu-ray (зарегистрированный товарный знак) и т.п.

Селектор 946 выбирает, во время записи видео- или аудиоданных, кодированный поток битов, вводимый из тюнера 941 или кодера 943, и выводит выбранный кодированный поток битов в HDD 944 или в привод 945 диска. Селектор 946 также выводит, во время воспроизведения видео- или аудиоданных, кодированный поток битов, поступающий из HDD 944 или с привода 945 диска, в декодер 947.

Декодер 947 декодирует кодированный поток битов и генерирует видеоданные и аудиоданные. Декодер 947 затем выводит сгенерированные видеоданные в OSD 948. Декодер 904 также выводит сгенерированные аудиоданные во внешний громкоговоритель.

OSD 948 воспроизводит видеоданные, вводимые из декодера 947, и отображает видеоизображение. OSD 948 также может накладывать изображение GUI, такое как меню, кнопка и курсор на отображаемое видеоизображение.

Секция 949 управления включает в себя процессор, такой как CPU, и запоминающее устройство, такое как RAM и ROM. В запоминающем устройстве содержится программа, предназначенная для исполнения в CPU, данные программы и т.п. Например, программу, содержащуюся в запоминающем устройстве, считывают и исполняют с помощью CPU во время активации устройства 940 записи/воспроизведения. CPU управляет работой устройства 940 записи/воспроизведения, например, в соответствии с сигналом операции, подаваемым из I/F 950 пользователя, в результате исполнения программы.

I/F 950 пользователя соединен с секцией 949 управления. I/F 950 пользователя включает в себя, например, кнопку и переключатель, используемые для управления пользователем устройством 940 записи/воспроизведения, и блок приема для сигнала дистанционного управления. I/F 950 пользователя детектирует операцию, выполняемую пользователем через эти конструктивные элементы, генерирует сигнал операции, и выводит сгенерированный сигнал операции в секцию 949 управления.

Кодер 943 имеет функцию устройства кодирования изображения, в соответствии с вариантом осуществления, в устройстве 940 записи/воспроизведения, выполненном таким образом. Декодер 947 также имеет функцию устройства декодирования изображения, в соответствии с вариантом осуществления. Возможно обрабатывать многопроекционные изображения параллельно во время кодирования видеоданных и декодирования изображения в устройстве 940 записи/воспроизведения.

Четвертый вариант применения: устройство съемки изображения

На фиг. 47 иллюстрируется пример схематичной конфигурации устройства съемки изображения, в котором применяется вариант осуществления. Устройство 960 съемки изображения снимает изображение субъекта для генерирования изображения, кодирует данные изображения и записывает данные изображения на носителе записи.

Устройство 960 съемки изображения включает в себя оптический блок 961, секцию 962 съемки изображения, секцию 963 обработки сигналов, секцию 964 обработки изображений, секцию 965 отображения, внешний I/F 966, запоминающее устройство 967, привод 968 носителя информации, OSD 969, секцию 970 управления, I/F 971 пользователя и шину 972.

Оптический блок 961 соединен с секцией 962 съемки изображения. Секция 962 съемки изображения соединена с секцией 963 обработки сигналов. Секция 965 отображения соединена с секцией 964 обработки изображений. I/F 971 пользователя соединен с секцией 970 управления. Шина 972 соединяет друг с другом секцию 964 обработки изображений, внешний I/F 966, запоминающее устройство 967, привод 968 носителя информации, OSD 969 и секцию 970 управления.

Оптический блок 961 включает в себя линзу фокусирования, механизм упора диафрагмы и т.п. Оптический блок 961 формирует оптическое изображение субъекта на поверхности съемки изображения секции 962 съемки изображения. Секция 962 съемки изображения включает в себя датчик изображения такой, как прибор с зарядовой связью (CCD) и комплементарный метало-оксидный полупроводник (CMOS), и преобразует оптическое изображение, сформированное на поверхности съемки изображения, в сигнал изображения, который представляет собой электрический сигнал, в результате фотоэлектрического преобразования. Секция 962 съемки изображения затем выводит сигнал изображения в секцию 963 обработки сигналов.

Секция 963 обработки сигналов выполняет различную обработку сигнала камеры, такую как коррекция изгиба характеристики, передача уровня яркости, гамма-коррекция и коррекция цветов в сигнале изображения, вводимом из секции 962 съемки изображения. Секция 963 обработки сигналов выводит данные изображения после обработки сигнала камеры, в секцию 964 обработки изображений.

Секция 964 обработки изображений кодирует данные изображения, подаваемые из секции 963 обработки сигналов, и генерирует кодированные данные. Секция 964 обработки изображений затем выводит генерируемые кодированные данные во внешний I/F 966 или привод 968 носителя информации. Секция 964 обработки изображений также декодирует кодированные данные, вводимые из внешнего I/F 966, или из привода 968 носителя записи, и генерирует данные изображения. Секция 964 обработки изображений затем выводит сгенерированные данные изображения в секцию 965 отображения. Секция 964 обработки изображений может также выводит данные изображения, вводимые из секции 963 обработки сигналов, в секцию 965 отображения, и обеспечивает отображение изображения. Кроме того, секция 964 обработки изображений может накладывать данные для отображения, полученные из OSD 969, на изображения, выводимые в секцию 965 отображения.

OSD 969 генерирует изображение GUI, такое как меню, кнопка и курсор, и выводит сгенерированное изображение в секцию 964 обработки изображений.

Внешний I/F 966 выполнен, например, как разъем ввода и вывода USB. Внешний I/F 966 соединяет устройство 960 съемки изображения и принтер, например, во время печати изображения. При этом требуется привод, дополнительно соединенный с внешним I/F 966. Съемный носитель записи, такой как магнитные диски и оптические диски, установлен в приводе, и программа, считываемая со съемного носителя записи, может быть установлена в устройстве 960 съемки изображения. Кроме того, внешний I/F 966 может быть выполнен, как сетевой I/F, который соединяют с сетью, такой как LAN и Интернет. Таким образом, внешний I/F 966 используется, как средство передачи устройства 960 съемки изображения.

Носитель записи, устанавливаемый на привод 968 носителя записи, может быть съемным носителем записи с возможностью считывания и перезаписи, такой как магнитные диски, магнитооптические диски, оптические диски и полупроводниковое запоминающее устройство. Носитель записи также может быть постоянно установлен в приводе 968 носителя записи, образуя стационарный блок хранения, такой как встроенные приводы жесткого диска или твердотельные приводы (SSD).

Секция 970 управления включает в себя процессор, такой как CPU, и запоминающее устройство, такое как RAM и ROM. Запоминающее устройство содержит программу, исполняемую CPU, данные программы и т.п. Программу, сохраняемую в запоминающем устройстве, считывают и исполняют с помощью CPU, например, во время активации устройства 960 съемки изображения. CPU управляет операцией устройства 960 съемки изображения, например, в соответствии с сигналом операции, вводимым из I/F 971 пользователя, в результате исполнения программы.

I/F 971 пользователя соединен с секцией 970 управления. I/F 971 пользователя включает в себя, например, кнопку, переключатель и т.п., используемые для управления пользователем устройством 960 съемки изображения. I/F 971 пользователя обнаруживает операцию, выполняемую пользователем через эти конструктивные элементы, генерирует сигнал операции, и выводит сгенерированный сигнал операции в секцию 970 управления.

Секция 964 обработки изображений имеет функцию устройства кодирования изображения и устройства декодирования изображения, в соответствии с вариантом осуществления, в устройстве 960 съемки изображения, выполненном таким образом. Возможно обрабатывать многопроекционные изображения параллельно во время кодирования видеоданных и декодирования изображения в устройстве 960 съемки изображения.

12. Пример применения масштабируемого кодирования видеоданных

Первая система

Далее будет описан конкретный пример использования данных масштабируемого кодирования, в которых выполняется масштабируемое кодирование видеоданных (иерархическое кодирование). Масштабируемое кодирование видеоданных, например, используется для выбора данных, предназначенных для передачи, в качестве примеров, представленных на фиг. 48.

В системе 1000 связи, показанной на фиг. 48, сервер 1002 распределения считывает масштабируемые кодированные данные, сохраненные в секции 1001 хранения масштабируемых кодированных данных, и распределяет масштабируемые кодированные данные в устройство терминала, такое как PC 1004, AV устройство 1005, планшетное устройство 1006 или мобильный телефон 1007, через сеть 1003.

В это время сервер 1002 распределения выбирает и передает кодированные данные, имеющие соответствующее качество, в соответствии с возможностями устройства терминала, средой передачи данных и т.п. Даже когда сервер 1002 распределения передает ненужные данные высокого качества, изображение высокого качества не обязательно будет доступно в устройстве терминала, и оно может стать причиной возникновения задержки или переполнения. Кроме того, полоса передачи данных может быть чрезмерно занята, или нагрузка на устройство терминала может быть чрезмерно увеличена. В отличие от этого, даже когда сервер 1002 распределения передает ненужные данные низкого качества, изображение с достаточным качеством не будет получено. Таким образом, сервер 1002 распределения, соответствующим образом, считывает и передает масштабируемые кодированные данные, сохраненные в секции 1001 хранения масштабируемых кодированных данных, как кодированные данные, имеющие соответствующее качество, в соответствии с возможностями устройства терминала, средой связи и т.п.

Например, секция 1001 хранения масштабируемых кодированных данных выполнена с возможностью хранения масштабируемых кодированных данных (BL+EL) 1011, в котором выполняется масштабируемое кодирование видеоданных. Масштабируемые кодированные данные (BL+EL) 1011 представляют собой кодированные данные, включающие в себя, как основной уровень, так и уровень расширения, и представляют собой данные, из которых изображение основного уровня и изображение уровня расширения могут быть получены в результате выполнения декодирования.

Сервер 1002 распределения выбирает соответствующий уровень, в соответствии с возможностью устройства терминала, для передачи данных средой передачи данных и т.п., и считывает данные выбранного уровня. Например, в том, что касается PC 1004 или планшетного устройства 1006, имеющего высокую мощность обработки, сервер 1002 распределения считывает масштабируемые кодированные данные (BL+EL) 1011 из секции 1001 хранения масштабируемых кодированных данных, и передает масштабируемые кодированные данные (BL+EL) 1011 без изменения. С другой стороны, например, в том, что касается AV устройства 1005 или мобильного телефона 1007, обладающего низкой способностью обработки, сервер 1002 распределения выделяет данные основного уровня из масштабируемых кодированных данных (BL+EL) 1011 и передает выделенные данные основного уровня, как масштабируемые кодированные данные (BL) 1012 низкого качества, то есть, данные, имеющие такое же содержание, что и масштабируемые кодированные данные (BL+EL) 1011, но имеющие более низкое качество, чем масштабируемые кодированные данные (BL+EL) 1011.

Поскольку количество данных можно легко регулировать путем использования масштабируемых кодированных данных, возникновение задержки или переполнение можно исключить, или ненужное увеличение нагрузки устройства терминала или среды передачи данных можно предотвратить. Кроме того, поскольку избыточность между уровнями уменьшается в масштабируемых кодированных данных (BL+EL) 1011, возможно дополнительно уменьшить количество данных по сравнению со случаем, когда кодированные данные каждого уровня обрабатывают, как отдельные данные. Поэтому, возможно более эффективно использовать область хранения секции 1001 хранения масштабируемых кодированных данных.

Поскольку различные устройства, такие как от PC 1004 до мобильного телефона 1007, применимы в качестве устройства терминала, рабочие характеристики аппаратных средств устройств терминала отличаются, в соответствии с устройством. Кроме того, поскольку существуют различные приложения, которые исполняются устройством терминала, характеристики его программного обеспечения также изменяются. Кроме того, поскольку все сети передачи данных, включающие в себя проводные, беспроводные или оба таких вида сетей, такие как Интернет и локальная вычислительная сеть (LAN), применимы в качестве сети 1003, используемой, в качестве среды передачи данных, их характеристики по передаче данных также меняется. Кроме того, характеристика передачи данных может изменяться при разных передачах данных и т.п.

Поэтому, сервер 1002 распределения может выполнять обмен данными с устройством терминала, которое представляет собой место назначения передачи данных, перед началом передачи данных, и затем получать информацию, относящуюся к характеристикам устройства терминала, такую как характеристика аппаратных средств устройства терминала, или характеристика приложения (программное обеспечение), которая исполняется устройством терминала, и информацию, относящуюся к среде передачи данных, такую как доступная полоса пропускания сети 1003. Затем сервер 1002 распределения может выбрать соответствующий уровень на основе полученной информации.

Кроме того, выделение уровня может выполняться в устройстве терминала. Например, PC 1004 может декодировать переданные масштабируемые кодированные данные (BL+EL) 1011 и отображать изображение основного уровня или отображать изображения уровня расширения. Кроме того, например, PC 1004 может быть выполнен с возможностью выделения масштабируемых кодированных данных (BL) 1012 основного уровня из переданных масштабируемых кодированных данных (BL+EL) 1011, сохранять выделенные масштабируемые кодированные данные (BL) 1012 основного уровня, передавать в другое устройство или декодировать и отображать изображение основного уровня.

Конечно, количество секций 1001 хранения масштабируемых кодированных данных серверов 1002 распределения, сети 1003, и устройств терминалов является произвольным. Кроме того, хотя выше был описан пример сервера 1002 распределения, передающего данные в устройство терминала, пример использования его не ограничен этим. Система 1000 связи применима для любой системы, которая выбирает и передает соответствующий уровень, в соответствии с возможностью устройства терминала, средой передачи данных и т.п., когда масштабируемые кодированные данные передают в устройство терминала.

Даже в системе 1000 связи, как на фиг. 48, возможно получить эффекты, аналогичные описанным выше со ссылкой на фиг. 1 - 36, применяя настоящую технологию, аналогичную приложениям, для устройства кодирования изображения с множеством видов и устройства декодирования множества видов, описанных выше со ссылкой на фиг. 1 - 36.

Вторая система

Кроме того, масштабируемое кодирование видеоданных, например, используется для передачи через множество носителей связи, как в примере, представленном на фиг. 49.

В системе 1100 связи, показанной на фиг. 49, станция 1101 широковещательной передачи передает масштабируемые кодированные данные (BL) 1121 основного уровня используя наземную широковещательную передачу 1111. Кроме того, станция 1101 широковещательной передачи передает масштабируемые кодированные данные (EL) 1122 уровня расширения через любую произвольную сеть 1112, выполненную из сети связи, которая является проводной, беспроводной или в которой используются оба таких подхода (например, из данных формируют пакеты и передают).

Устройство 1102 терминала имеет функцию приема наземной широковещательной передачи 1111, которая представляет собой широковещательную передачу станцией 1101 широковещательной передачи, и принимает масштабируемые кодированные данные (BL) 1121 основного уровня, переданные через наземную широковещательную передачу 1111. Кроме того, устройство 1102 терминала дополнительно имеет функцию передачи данных, с помощью которой выполняется передача данных через сеть 1112, и принимает масштабируемые кодированные данные (EL) 1122 уровня расширения, переданные через сеть 1112.

Например, в соответствии с инструкцией пользователя и т.п., устройство 1102 терминала декодирует масштабируемые кодированные данные (BL) 1121 основного уровня, полученные через наземную широковещательную передачу 1111, получая, таким образом, или сохраняя изображение основного уровня или передавая изображение основного уровня в другие устройства.

Кроме того, например, в соответствии с инструкцией пользователя, устройство 1102 терминала комбинирует масштабируемые кодированные данные (BL) 1121 основного уровня, полученные через наземную широковещательную передачу 1111, и масштабируемые кодированные данные (EL) 1122 уровня расширения, полученные через сеть 1112, получая, таким образом, масштабируемые кодированные данные (BL+EL), получая или сохраняя изображение уровня расширения, путем декодирования масштабируемых кодированных данных (BL+EL), или передавая изображение уровня расширения в другие устройства.

Как описано выше, масштабируемые кодированные данные, например, могут быть переданы через разные среды передачи данных для каждого уровня. Поэтому, возможно распределить нагрузку и предотвратить возникновение задержки или переполнения.

Кроме того, в соответствии с ситуацией, среда передачи данных, используемая для передачи, для каждого уровня, может быть выполнена с возможностью ее выбора. Например, масштабируемые кодированные данные (BL) 1121 основного уровня, в которых количество данных сравнительно велико, могут быть переданы через среду передачи данных, имеющую широкую полосу пропускания, и масштабируемые кодированные данные (EL) 1122 уровня расширения, в которых количество данных сравнительно мало, могут быть переданы через среды передачи данных, имеющие узкую полосу пропускания. Кроме того, например, можно переключать передачу по носителю передачи данных, по которому передают масштабируемые кодированные данные (EL) 1122 уровня расширения между сетью 1112 или наземной широковещательной передачей 1111, в соответствии с доступной полосой пропускания сети 1112. Конечно, то же относится к данным произвольного уровня.

В результате управления, выполняемого таким образом, возможно дополнительно предотвратить увеличение нагрузки при передаче данных.

Конечно, количество уровней является произвольным и количество сред связи, используемых при передаче, также является произвольным. Кроме того, количество устройств 1102 терминала, которые представляют собой место назначения при распределении данных, также является произвольным. Кроме того, хотя пример широковещательной передачи из станции 1101 широковещательной передачи был описан выше, пример использования не ограничен этим. Система 1100 связи может применяться в любой системе, которая разделяет масштабируемые кодированные данные, используя уровень, как модуль, и передает масштабируемые кодированные данные через множество соединений.

Даже в системе 1100 связи, такой как на фиг. 49, возможно получить эффекты, аналогичные описанным выше со ссылкой на фиг. 1 - 36, применяя настоящую технологию, аналогичную вариантам применения для устройства кодирования многопроекционного изображения и устройства многопроекционного декодирования, описанных выше со ссылкой на фиг. 1 - 36.

Третья система

Кроме того, масштабируемое кодирование видеоданных используется при сохранении кодированных данных, в качестве примера, представленного на фиг. 50.

В системе 1200 съемки изображения, показанной на фиг. 50, устройство 1201 съемки изображения выполняет масштабируемое видеокодирование для данных изображения, полученных при съемке изображение субъекта 1211, и подает результат получения масштабируемых видеоизображений, в качестве масштабируемых кодированных данных (BL+EL) 1221 в устройство 1202 хранения масштабируемых кодированных данных.

Устройство 1202 хранения масштабируемых кодированных данных сохраняет масштабируемые кодированные данные (BL+EL) 1221, подаваемые из устройства 1201 съемки изображения, с качеством, в соответствии с ситуацией. Например, в случае нормальных обстоятельств, устройство 1202 хранения масштабируемых кодированных данных выделяет данные основного уровня из масштабируемых кодированных данных (BL+EL) 1221, и сохраняет выделенные данные, как масштабируемые кодированные данные (BL) 1222 основного уровня, имеющего малое количество данных с низким качеством. С другой стороны, например, в случае существенных обстоятельств, устройство 1202 хранения масштабируемых кодированных данных сохраняет масштабируемые кодированные данные (BL+EL) 1221, имеющие большое количество данных и высокое качество, без изменения.

Таким образом, поскольку устройство 1202 хранения масштабируемых кодированных данных может сохранять изображение с высоким качеством только в необходимом случае, возможно подавлять уменьшение значения изображения из-за ухудшения качества изображения и подавлять увеличение количества данных, и при этом возможно улучшить эффективность использования области хранения.

Например, предполагается, что устройство 1201 съемки изображения представляет собой камеру мониторинга. Поскольку маловероятно, что содержание снятого изображения будет важно, когда отслеживаемый субъект (например, взломщик) не представлен на снятом изображении (в случае нормальных обстоятельств), приоритет состоит в уменьшении количества данных, и данные изображения (масштабируемые кодированные данные) сохраняют с низким качеством. С другой стороны, поскольку содержание снятого изображения, вероятно, будет важным, когда отслеживаемая цель будет представлена, как субъект 1211 на снятом изображении (в случае особых обстоятельств), приоритет будет направлен на качество изображения, и данные изображения (масштабируемые кодированные данные) сохраняются с высоким качеством.

Например, можно ли определять, является ли этот случай случаем нормальных обстоятельств, или чрезвычайных обстоятельств, с помощью устройства 1202 хранения масштабируемых кодированных данных, путем анализа изображения. Кроме того, устройство 1201 съемки изображения может быть выполнено с возможностью определения и передачи результата определения в устройство 1202 хранения масштабируемых кодированных данных.

Критерий определения, является ли случай случаем нормальных обстоятельств или чрезвычайных обстоятельств, является дополнительным, и содержание изображения, которое представляет собой критерий определения, является дополнительным. Конечно, другое условие, кроме содержания изображения, может быть разработано, как критерий определения. Например, переключение может быть выполнено в соответствии с магнитудой или формой колебаний записанного звука, через определенный интервал времени или по внешней инструкции, такой как инструкция пользователя.

Кроме того, хотя два состояния нормальных обстоятельств и чрезвычайных обстоятельств были описаны выше, количество состояний является дополнительным, и, например, переключение может быть выполнено между тремя или больше состояниями, такими как нормальные обстоятельства, заслуживающими некоторого внимания обстоятельства, обстоятельства заслуживающие внимания, и обстоятельства, заслуживающие чрезвычайного внимания. Однако, верхнее предельное количество состояний переключения зависит от количества уровней масштабируемых кодированных данных.

Кроме того, устройство 1201 съемки изображения может определять количество уровней масштабируемого кодирования видеоданных в соответствии с состоянием. Например, в случае нормальных обстоятельств, устройство 1201 съемки изображения может генерировать масштабируемые кодированные данные (BL) 1222 основного уровня, имеющего малое количество данных с низким качеством, и может подавать эти данные в устройство 1202 хранения масштабируемых кодированных данных. Кроме того, например, в случае заслуживающих внимания обстоятельств, устройство 1201 съемки изображения может генерировать масштабируемые кодированные данные (BL+EL) 1221 основного уровня, имеющие большое количество данных с высоким качеством, и может подавать эти данные в устройство 1202 хранения масштабируемых кодированных данных.

Хотя камера мониторинга была описана выше, в качестве примера, использование системы 1200 съемки изображения является необязательным и не ограничено камерой мониторинга.

Даже в системе 1200 съемки изображения, такой как показана на фиг. 50, возможно получить эффекты, аналогичные описанным выше со ссылкой на фиг. 1 - 36, применяя настоящую технологию, аналогичную применению устройства кодирования многопроекционного изображения и устройства декодирования многопроекционного изображения, описанных выше со ссылкой на фиг. 1 - 36.

13. Одиннадцатый вариант осуществления

Другие примеры воплощения

Хотя примеры устройств и систем, в которых применяется настоящая технология, были описаны выше, настоящая технология не ограничена этим. Например, настоящая технология может также быть воплощена, как процессор, используемый в качестве системы большой интегральной схемы (LSI) и т.п., модуль, использующий множество процессоров и т.п., модуль, в котором используется множество модулей и т.п., набор, в которой дополнительно добавлены другие функции к модулю, и т.п. (то есть, конфигурация части устройства).

Видеонабор

Пример, в котором настоящая технология воплощена, как набор, будет описан со ссылкой на фиг. 51. На фиг. 51 иллюстрируется пример схематичной конфигурации видеонабора, в котором применяется настоящая технология.

В последнее время были усовершенствованы множество функций электронных устройств, и могут быть рассмотрены случай, в котором один набор, имеющий множество функций, воплощен путем комбинирования множества конфигураций, имеющих ассоциированные функции, а также случай, в котором воплощена частичная конфигурация множества функций с его развитием и производством, и случай, в котором воплощена конфигурация, имеющая одну функцию.

Видеонабор 1300, представленный на фиг. 51, представляет собой многофункциональную конфигурацию и используется, как видеонабор, полученный в результате комбинирования устройства, имеющего функцию, относящегося к кодированию и декодированию изображения (могут быть заданы одна или обе из них) с устройством, имеющим другие функции, ассоциированные с этой функцией.

Как представлено на фиг. 51, видеонабор 1300 имеет группу модулей из видеомодуля 1311, внешнего запоминающего устройства 1312, модуля 1313 управления питанием, входного модуля 1314 и т.п., и устройства, имеющего соответствующие функции модуля 1321 соединения, камеры 1322, датчика 1323 и т.п.

Модуль используется, как компонент с определенной интегрированной функцией, путем интегрирования некоторых составляющих функций, ассоциированных друг с другом. Хотя конкретная физическая конфигурация является произвольной, например, возможна конфигурация, интегрированная путем размещения множества процессоров, имеющих функции, элементы электронной схемы, такие как резистор и конденсатор, другие устройства и т.п. на печатной плате. Кроме того, также возможен новый модуль, в котором этот модуль скомбинирован с другими модулями или процессорами.

В случае примера на фиг. 51, видеомодуль 1311 представляет собой модуль, в котором конфигурация, имеющая функции, относящиеся к обработке изображений, скомбинированы, и имеет процессор приложения, видеопроцессор, широкополосный модем 1333, и радиочастотный (RF) модуль 1334.

Процессор представляет собой обработку, в которой конфигурация, имеющая заданную функцию, интегрирована на полупроводниковой микросхеме, используя конструкции типа системы на кристалле (SoC), и также называется, например, системной большой интегральной схемой (LSI) и т.п. Конфигурация, имеющая заданную функцию, может представлять собой логическую схему (аппаратная конфигурация) или CPU, ROM, RAM и т.п., и программу (программная конфигурация), которая применяется, используя CPU, ROM, RAM и т.п. Например, процессор может иметь логическую схему, CPU, ROM, RAM и т.п., часть функции может быть воплощена с помощью логической схемы (аппаратная конфигурация), и другие функции могут быть воплощены с использованием программы (программная конфигурация), исполняемой в CPU.

Процессор 1331 приложения на фиг. 51 представляет собой процессор для выполнения приложения, относящегося к обработке изображений. Приложение, которое должно быть выполнено в процессоре 1331 приложения, может выполнять не только обработку вычисления для воплощения заданной функции, но также и управление конфигурацией внутри и снаружи видеомодуля 1311, например, такого как видеопроцессор 1332, если это необходимо.

Видеопроцессор 1332 представляет собой процессор, имеющий функцию, относящуюся к (одному или обоим из) кодирования и декодирования изображения.

Широкополосный модем 1333 представляет собой процессор (или модуль), для выполнения обработки, относящейся к беспроводной или проводной (или проводной и беспроводной), широковещательной передачи данных, которая выполняется через соединение широкой полосы пропускания, такой как Интернет, общедоступная телефонная сеть и т.п. Например, широкополосный модем 1333 преобразует данные (цифровой сигнал), которые будут переданы, в аналоговый сигнал, путем выполнения цифровой модуляции и т.п. или преобразует принятый аналоговый сигнал в данные (цифровой сигнал, путем демодуляции принятого аналогового сигнала. Например, широкополосный модем 1333 может выполнять цифровую модуляцию/демодуляцию по произвольной информации, такой как данные изображения, предназначенные для обработки видеопроцессором 1332, или кодированный поток данных изображения, программа приложения, данные установки и т.п.

RF модуль 1334 представляет собой модуль для выполнения преобразования частоты, модуляции/демодуляции, усиления и обработки фильтрации, и т.п. для RF сигнала, предназначенного для передачи и приема через антенну. Например, RF модуль 1334 генерирует радиосигнал путем выполнения преобразования частоты и т.п. для сигнала в основной полосе пропускания, генерируемого широкополосным модемом 1333. Кроме того, например, RF модуль 1334 генерирует сигнал в основной полосе пропускания путем выполнения преобразования частоты и т.п. для RF сигнала, принятого через входной модуль 1314.

Кроме того, как обозначено пунктирной линией 1341 на фиг. 51, один процессор может быть выполнен путем интегрирования процессора 1331 приложения и видеопроцессора 1332.

Внешнее запоминающее устройство 1312 представляет собой модуль, предусмотренный снаружи относительно видеомодуля 1311, и имеющее устройство хранения, предназначенное для использования видеомодулем 1311. Хотя устройство хранения внешнего запоминающего устройства 1312 может быть выполнено в любой физической конфигурации, желательно, например, воплотить устройство хранения, используя относительно дешевую полупроводниковую память большой емкости, например, такую как динамическое оперативное запоминающее устройство (DRAM), поскольку обычно устройство хранения во многих случаях используется для хранения большого объема данных, таких как данные изображения модулей кадра.

Модуль 1313 управления питанием управляет и администрирует подачей питания в видеомодуль 1311 (каждая конфигурация внутри видео модуля 1311).

Входной модуль 1314 представляет собой модуль, который предусматривает функцию входного модуля (конечную схему передачи/приема на стороне антенны) в RF модуль 1334. Как представлено на фиг. 51, входной модуль 1314, например, имеет секцию 1351 антенны, фильтр 1352 и блок 1353 усиления.

Секция 1351 антенны имеет антенну для передачи и приема радиосигнала и свою периферийную конфигурацию. Секция 1351 антенны передает сигнал, подаваемый из секции 1353 усиления, как радиосигнал, и подает принятый радиосигнал, как электрический сигнал (RF сигнал), в фильтр 1352. Фильтр 1352 выполняет обработку фильтрации и т.п. для RF сигнала, принятого через секцию 1351 антенны, и подает обработанный RF сигнал в RF модуль 1334. Секция 1353 усиления усиливает RF сигнал, переданный из RF модуля 1334, и подает усиленный RF сигнал в секцию 1351 антенны.

Модуль 1321 соединения представляет собой модуль, имеющий функцию, относящуюся к соединению с внешней стороной. Физическая конфигурация модуля 1321 соединения является произвольной. Например, модуль 1321 соединения имеет конфигурацию, имеющую другую функцию передачи данных, чем стандарт передачи данных, соответствующий широкополосному модему 1333, внешнему порту ввода и вывода, и т.п.

Например, модуль 1321 соединения может быть выполнен с модулем, который имеет функцию связи на основе беспроводного стандарта связи, такого как Bluetooth (зарегистрированный товарный знак), IEEE 802.11 (например, Wi-Fi (зарегистрированный товарный знак)), передача данных в ближнем поле (NFC), или ассоциация инфракрасных данных (IrDA), антенна для передачи и приема сигнала на основе стандарта. Кроме того, модуль 1321 соединения может быть выполнен с возможностью иметь модуль с функцией передачи данных на основе стандарта проводной передачи данных, такого как универсальная последовательная шина (USB) или мультимедийный I/F высокой четкости (HDMI) (зарегистрированный товарный знак) и порт на основе стандарта. Кроме того, например, модуль 1321 соединения может быть выполнен с возможностью иметь другие данные функции передачи (сигнала) антенных портов ввода и вывода, и т.п.

Кроме того, модуль 1321 соединения может быть выполнен с возможностью включать в себя устройство, представляющее собой место назначения передачи данных (сигналов). Например, модуль 1321 соединения может быть выполнен с возможностью иметь привод (включающий в себя жесткий диск, твердотельный привод (SSD), накопитель данных, подключенный через сеть (NAS), и т.п., а также привод съемного носителя записи) для считывания и записи данных с и для записи на носитель, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство. Кроме того, модуль 1321 соединения может быть выполнен с возможностью иметь устройство вывода изображения и звука (монитор, громкоговоритель и т.п.).

Камера 1322 представляет собой модуль, имеющий функцию съемки изображения субъекта и получения данных изображения субъекта. Данные изображения, полученные в результате съемки изображения камерой 1322, например, подают в видеопроцессор 1332 и кодируют.

Датчик 1323, например, представляет собой модуль, имеющий функцию произвольного датчика, такого как датчик звука, датчик ультразвука, оптический датчик, датчик освещенности, инфракрасный датчик, датчик изображения, датчик вращения, датчик угла, датчик угловой скорости, датчик скорости, датчик ускорения, датчик наклона, датчик магнитной идентификации, датчик удара или датчик температуры. Данные, детектируемые датчиком 1323, например, подают в процессор 1331 приложения, и используется приложением и т.п.

Конфигурация, описанная выше, как модуль, может быть воплощена, как процессор, и, наоборот, конфигурация, описанная, как процессор, может быть воплощена, как модуль.

В видеонаборе 1300, имеющем описанную выше конфигурацию, возможно применять настоящую технологию в видеопроцессоре 1332, как будет описано ниже. Поэтому, видеонабор 1300 может быть выполнен, как набор, в котором применяется настоящая технология.

Пример конфигурации видеопроцессора

На фиг. 52 иллюстрируется пример схематичной конфигурации видеопроцессора 1332 (фиг. 51), в которой применяется настоящая технология.

В случае примера на фиг. 52, видеопроцессор 1332 имеет функцию приема входных видеосигнала и аудиосигнала и кодирования входных видеосигнала и аудиосигнала в заданной схеме, и функцию декодирования кодированных аудио- и видеоданных, и воспроизведения, и вывода видеосигнала и аудиосигнала.

Как представлено на фиг. 52, видеопроцессор 1332 имеет секцию 1401 обработки входного видеосигнала, первую секцию 1402 увеличения/уменьшения изображения, вторую секцию 1403 увеличения/уменьшения второго изображения, секцию 1404 обработки вывода видеоданных, запоминающее устройство 1405 кадра и секцию 1406 управления запоминающим устройством. Кроме того, видеопроцессор 1332 имеет механизм 1407 кодирования и декодирования, буферы 1408A и 1408B элементарного видеопотока (ES), и буферы 1409A и 1409B элементарного аудиопотока (ES). Кроме того, видеопроцессор 1332 имеет аудиокодер 1410, аудиодекодер 1411, мультиплексор (MUX) 1412, блок 1413 обратного мультиплексирования (демультиплексор (DMUX)), и буфер 1414 потока.

Секция 1401 обработки входного видеосигнала, например, получает видеосигнал, подаваемый из модуля 1321 соединения (фиг. 51), и преобразует видеосигнал в данные цифрового изображения. Первая секция 1402 увеличения/уменьшения изображения выполняет обработку преобразования формата, обработку увеличения/уменьшения изображения и т.п. для данных изображения. Вторая секция 1403 увеличения/уменьшения изображения выполняет обработку увеличения /уменьшения изображения для данных изображения, в соответствии с форматом в месте назначения, в котором данные изображения выводят через секцию 1404 обработки выходных видеоданных, или выполняет преобразование формата, обработку увеличения/уменьшения изображения и т.п., и т.п. как и первая секция 1420 увеличения/уменьшения изображения. Секция 1404 обработки выходных видеоданных выполняет преобразование формата, преобразование в аналоговый сигнал и т.п. для данных изображения и выводит результат преобразования, как воспроизводимый видеосигнал, например, в секцию 1321 соединения (фиг. 51) и т.п.

Запоминающее устройство 1405 кадра представляет собой запоминающее устройство данных изображения, которые должны совместно использоваться секцией 1401 входного видеосигнала, секцией 1402 увеличения/уменьшения первого изображения, секцией 1403 увеличения/уменьшения второго изображения, секцией 1404 обработки выходных видеоданных и механизмом 1407 кодирования и декодирования. Запоминающее устройство 1405 кадра, например, воплощено, как полупроводниковое запоминающее устройство, такое как DRAM.

Секция 1406 управления запоминающим устройством принимает сигнал синхронизации из механизма 1407 кодирования и декодирования и управляет доступом записи/считывания в/из запоминающего устройства 1405 кадра, в соответствии с графиком доступа для запоминающего устройства кадра, записанным таблице 1406A управления доступом. Таблица 1406A управления доступом обновляется с помощью секции 1406 управления запоминающим устройством, в соответствии с обработкой, которая исполняется механизмом 1407 кодирования и декодирования, первой секцией 1402 увеличения/уменьшения изображения, второй секцией 1403 увеличения/уменьшения изображения и т.п.

Механизм 1407 кодирования и декодирования выполняет обработку кодирования данных изображения и обработку декодирования видеопотока, который представляет собой данные, в которых кодированы данные изображения. Например, механизм 1407 кодирования и декодирования кодирует данные изображения, считываемые из запоминающего устройства 1405 кадра, и последовательно записывает кодированные данные изображения, как видеопоток, в буфер 1408 ES видеоданных. Кроме того, например, видеопоток из буфера 1408B ES видеоданных последовательно считывают и декодируют, и декодированный видеопоток последовательно записывают, как данные изображения запоминающего устройства 1405 кадра. В механизме 1407 кодирования и декодирования используют запоминающее устройство 1405 кадра, как рабочую область при кодировании или декодировании данных изображения. Кроме того, механизм 1407 кодирования и декодирования, например, выводит сигнал синхронизации в секцию 1406 управления запоминающим устройством в момент времени, в который начинается обработка для каждого макро-блока.

В буфере 1408A ES видеоданных размещается видеопоток, генерируемый механизмом 1407 кодирования и декодирования, и он подает этот видеопоток в секцию 1412 мультиплексирования (MUX). В буфере 1408B ES видеоданных размещается видеопоток, подаваемый из секции 1413 обратного мультиплексирования (DMUX), и он передает этот видеопоток в механизм 1407 кодирования и декодирования.

В буфере 1409A ES аудиоданных размещается аудиопоток, генерируемый аудиокодером 1410, и он подает этот аудиопоток в секцию 1412 мультиплексирования (MUX). В буфере 1409B ES аудиоданных содержится аудиопоток, переданный из секции 1413 обратного мультиплексирования (DMUX), и он передает этот аудиопоток в аудиодекодер 1411.

Аудиокодер 1410, например, выполняет цифровое преобразование аудиосигнала, поступающего из модуля 1321 соединения (фиг. 51) и т.п., и, например, кодирует в преобразованный в цифровую форму аудиосигнал, по заданной схеме, такой как аудиосхема MPEG или схема аудиокода номер 3 (AC3). Аудиокодер 1410 последовательно записывает данные аудиопотока, которые представляют собой данные, в которых аудиосигнал кодируют в буфер 1409A ES аудиоданных. Декодер 1411 аудиоданных декодирует аудиопоток, подаваемый из буфера 1409B ES аудиоданных, и подает декодированный аудиопоток, как аудиосигнал воспроизведения, например, в модуль 1321 соединения (фиг. 51) и т.п., например, путем выполнения преобразования в аналоговый сигнал и т.п.

Секция 1412 мультиплексирования (MUX) мультиплексирует видеопоток и аудиопоток. Такой способ мультиплексирования (то есть, формат потока битов, генерируемый путем мультиплексирования, является необязательным. Кроме того, во время мультиплексирования, секция 1412 мультиплексирования (MUX) может добавить заданную информацию заголовка и т.п. к потоку битов. Таким образом, секция 1412 мультиплексирования (MUX) может преобразовывать формат потока путем мультиплексирования. Например, секция 1412 мультиплексирования (MUX) выполняет преобразование в транспортный поток, который представляет собой поток битов в формате передачи, путем мультиплексирования видеопотока и аудиопотока. Кроме того, секция 1412 мультиплексирования (MUX) выполняет преобразование в данные (файл данных) в формате файла записи путем мультиплексирования видеопотока и аудиопотока.

Секция 1413 обратного мультиплексирования (DMUX) демультиплексирует поток битов, в котором мультиплексируют видеопоток и аудиопоток в способе, соответствующем мультиплексированию, выполняемому секцией 1412 мультиплексирования (MUX). Таким образом, секция 1413 обратного мультиплексирования (DMUX) выделяет видеопоток и аудиопоток из потока битов, считанного из буфера 1414 потока (демультиплексирует видеопоток и аудиопоток). Таким образом, секция 1413 обратного мультиплексирования (DMUX) может преобразовывать формат обратно мультиплексированного потока (обратное преобразование для преобразования секцией 1412 мультиплексирования (MUX)). Например, секция 1413 обратного мультиплексирования (DMUX), например, получает транспортный поток, подаваемый из модуля 1321 соединения, широкополосного модема 1333 и т.п. (все показаны на фиг. 51) через буфер 1414 формирования потока, и демультиплексирует полученный транспортный поток, преобразуя, таким образом, транспортный поток в видеопоток и аудиопоток. Кроме того, например, секция 1413 обратного мультиплексирования (DMUX) может получать данные файла, считанные с различных типов носителей записи, например, с помощью модуля 1321 соединения (фиг. 51) через буфер 1414 потока и обратно мультиплексировать полученные данные файла, для выполнения преобразования в видеопоток и аудиопоток.

Буфер 1414 потока размещает поток битов в буфере. Например, буфер 1414 потока размещает в буфере транспортный поток, передаваемый из секции 1412 мультиплексирования (MUX), и подает этот транспортный поток, например, в модуль 1321 соединения, широкополосный модем 1333 и т.п. (все показаны на фиг. 51) в заданные моменты времени или на основе внешнего запроса и т.п.

Кроме того, например, буфер 1414 потока битов размещает в буфере данные файла, переданные из секции 1412 мультиплексирования (MUX), и передает размещенные в буфере данные файла, например, с модуль 1321 соединения (фиг. 51) и т.п., в заданные моменты времени или на основе внешнего запроса и т.п., для обеспечения различных типов носителей записи с возможностью записи данных файла.

Далее, буфер 1414 потока, например, помещает в буфер транспортный поток, полученный через модуль 1321 соединения, широкополосный модем 1333 и т.п. (все показаны на фиг. 51), и подает транспортный поток в секцию 1413 обратного мультиплексирования (DMUX) в заданные моменты времени или на основе внешнего запроса и т.п.

Кроме того, буфер 1414 потока, например, помещает в буфер данные файла, считываемые из различных типов носителей записи, в модуле 1321 соединения (фиг. 51) и т.п., и подает данные файла в секцию 1413 обратного мультиплексирования (DMUX) в заданные моменты времени или на основе внешнего запроса и т.п.

Затем будет описан пример работы видеопроцессора 1332 в этой конфигурации. Например, видеосигнал, подаваемый в видеопроцессор 1332 из модуля 1321 соединения по (фиг. 51) и т.п., преобразуют в данные цифрового изображения по заданной схеме, такой как схема 4:2:2Y/Cb/Cr в секции 1401 обработки входного видеосигнала, и данные цифрового изображения последовательно записывают в запоминающее устройство 1405 кадра. Такие данные цифрового изображения считывают в первой секции 1402 увеличения/уменьшения изображения или во второй секции 1403 увеличения/уменьшения изображения, преобразуют формат в заданную схему, такую как схема 4:2:0Y/Cb/Cr и выполняют обработку увеличения/уменьшения, и данные изображения снова записывают в запоминающее устройство 1405 кадра. Данные изображения кодируют с помощью механизма 1407 кодирования и декодирования, и кодированные данные изображения записывают, как видеопоток, в буфер 1408A ES видеоданных.

Кроме того, аудиосигнал, поступающий из секции 1321 соединения (фиг. 51) и т.п. в видеопроцессор 1332, кодируют аудиокодером 1410, и кодированный аудиосигнал, записывают как аудиопоток, в буфер 1409A ES аудиоданных.

Видеопоток буфера 1408A ES видеоданных и аудиопоток буфера 1409A ES аудиоданных считывают в секцию 1412 мультиплексирования (MUX) и мультиплексируют для преобразования в транспортный поток, данные файла и т.п. После того, как транспортный поток, сгенерированный секцией 1412 мультиплексирования (MUX), будет помещен в буфер, в буфер 1414 потока, транспортный поток, например, выводят во внешнюю сеть через (любой из на (фиг. 51)) модуля 1321 соединения, широкополосного модема 1333, и т.п. Кроме того, после того, как данные файла, сгенерированные секцией 1412 мультиплексирования (MUX), будут помещены в буфер 1414 потока, например, данные файла выводят в модуль 1321 соединения (фиг. 51) и т.п. и записывают на различные типы носителей записи.

Кроме того, например, после того, как транспортный поток, введенный из внешней сети в видеопроцессор 1332, через (любой из на (фиг. 51)) модуля 1321 соединения, широкополосный модем 1333 и т.п., будет помещен в буфер в буфере 1414 потока, этот транспортный поток обратно мультиплексируют с помощью секции 1413 обратного мультиплексирования (DMUX). Кроме того, например, после того, как данные файла, считанные с различных типов носителей записи в модуле 1321 соединения (фиг. 51) и т.п. и введенные в видеопроцессор 1332, будут помещены в буфер 1414 потока, данные файла обратно мультиплексируют с помощью блока 1413 обратного мультиплексирования (DMUX). Таким образом, транспортный поток или данные файла, введенные в видеопроцессор 1332, будут демультиплексированы в видеопоток и аудиопоток секцией 1413 обратного мультиплексирования (DMUX).

Аудиосигнал воспроизводят путем подачи аудиопотока в аудиодекодер 1411 через буфер 1409B ES аудиоданных и декодируют в аудиопоток. Кроме того, после того, как видеопоток будет записан в буфер 1408B ES видеоданных, видеопоток последовательно считывают и декодируют с помощью механизма 1407 кодирования и декодирования, и записывают в запоминающее устройство 1405 кадра. Вторая секция 1403 увеличения/уменьшения изображения выполняет обработку увеличения/уменьшения для декодируемых данных изображения, и обработанные данные записывают в запоминающее устройство 1405 кадра. Затем видеосигнал воспроизводят и выводят путем считывания декодированных данных изображения в секцию 1404 обработки выходного видеосигнала, преобразуют формат декодированных данных изображения по заданной схеме, такой как схема 4:2:2Y/Cb/Cr, и дополнительно преобразуют декодированные данные изображения в аналоговый сигнал.

Когда настоящую технологию применяют к видеопроцессору 1332, выполненному, как описано выше, необходимо только применять настоящую технологию в соответствии с каждым вариантом осуществления, описанным выше, для механизма 1407 кодирования и декодирования. Таким образом, например, необходимо только сконфигурировать механизм 1407 кодирования и декодирования, имеющий функции устройства 11 кодирования многопроекционного изображения (фиг. 1), в соответствии с первым вариантом осуществления, и устройства 211 декодирования многопроекционного изображения (фиг. 10), в соответствии со вторым вариантом осуществления. Как описано выше, видеопроцессор 1332 позволяет получать эффекты, аналогичные описанным выше, со ссылкой на фиг. 1 - 36.

Кроме того, в механизме 1407 кодировании и декодирования, настоящая технология (то есть, функции устройства кодирования изображения и устройства декодирования изображения, в соответствии с вариантами осуществления, описанными выше), может быть воплощена с помощью аппаратных средств, таких как логическая схема, воплощенная в программном обеспечении, таком как встроенная программа, или может быть воплощена с использованием обоих этих подходов.

Пример другой конфигурации видеопроцессора

На фиг. 53 иллюстрируется другой пример схематичной конфигурации видеопроцессора 1332 (фиг. 51), в котором применяется настоящая технология. В случае примера, показанного на фиг. 53, видеопроцессор 1332 имеет функцию кодирования и декодирования видеоданных в заданной схеме.

Более конкретно, как представлено на фиг. 53, видеопроцессор 1332 имеет секцию 1511 управления, I/F 1512 отображения, механизм 1513 отображения, механизм 1514 обработки изображений и внутреннее запоминающее устройство 1515. Кроме того, видеопроцессор 1332 имеет механизм 1516 кодека, I/F 1517 запоминающего устройства, секцию 1518 мультиплексирования/обратного мультиплексирования (MUX/DMUX), сетевой I/F 1519 и I/F 1520 видеоданных.

Секция 1511 управления управляет операциями секций обработки в пределах видеопроцессора 1332, такого как I/F 1512 отображения, механизм 1513 отображения, механизм 1514 обработки изображений, механизм 1516 кодека и т.п.

Как показано на фиг. 53, секция 1511 управления, например, имеет основное CPU 1531, вспомогательное CPU 1532 и системный контроллер 1533. Основное CPU 1531 исполняет программу, для управления операциями блоков обработки в видеопроцессоре 1332. Основное CPU 1531 генерирует сигнал управления, в соответствии с программой и т.п. и подает сигнал управления в каждый из секции обработки (то есть, управляет работой каждого блока обработки). Вспомогательное CPU 1532 играет вспомогательную роль относительно основного CPU 1531. Например, вспомогательное CPU 1532 выполняет дочернюю обработку, подпрограмму и т.п. в программе и т.п., исполняемых основным CPU 1531. Системный контроллер 1533 управляет операциями основного CPU 1531 и вспомогательного CPU 1532, такими как обозначения программ, которые должны быть выполнены основным CPU 1531 и вспомогательным CPU 1532.

I/F 1512 отображения выводит данные изображения, например, в модуль 1321 соединения (фиг. 51) и т.п., под управлением секции 1511 управления. Например, I/F 1512 отображения преобразует данные изображения цифровых данных в аналоговый сигнал и выводит аналоговый сигнал, как воспроизведенный видеосигнал, или данные изображения цифровых данных без изменения, в устройство монитора и т.п. модуля 1321 соединения (фиг. 51).

Механизм 1513 отображения выполняет различные типы обработки преобразования, такие как преобразование формата, преобразование размера и преобразование цветовой гаммы таким образом, чтобы данные изображения соответствовали аппаратным техническим требованиям устройства монитора и т.п., для отображения его изображения под управлением секции 1511 управления.

Механизм 1514 обработки изображений выполняет заданную обработку изображений, например, такую как обработка фильтрации, для улучшения качества изображения, для данных изображения под управлением секции 1511 управления.

Внутреннее запоминающее устройство 1515 совместно используется механизмом 1513 отображения, механизмом 1514 обработки изображений и механизмом 1516 кодека и представляет собой запоминающее устройство, предусмотренное внутри видеопроцессора 1332. Внутреннее запоминающее устройство 1515, например, используется для обмена данными, который выполняют между механизмом 1513 отображения, механизмом 1514 обработки изображений механизмом 1516 кодека. Например, внутреннее запоминающее устройство 1515 сохраняет данные, которые подают изнутри механизма 1513 отображения, механизма 1514 обработки изображений или механизма 1516 кодека, и подает эти данные в механизм 1513 отображения, механизм 1514 обработки изображений или механизм 1516 кодека, если необходимо (например, в соответствии с запросом). Хотя внутреннее запоминающее устройство 1515 может быть воплощено в виде любого устройства хранения, желательно воплотить внутреннее запоминающее устройство 1515 на основе полупроводникового запоминающего устройства, имеющего относительно малую емкость и высокую скорость отклика (по сравнению с внешним запоминающим устройством 1312), например, такого как статическое оперативное запоминающее устройство (SRAM), поскольку обычно во многих случаях используются данные малого объема, такие как данные изображения модуля блока или параметров.

Механизм 1516 кодека выполняет обработку, относящуюся к кодированию и декодированию данных изображения. Схемы кодирования и декодирования, соответствующие этому механизму 1516 кодека, являются необязательными, и количество схем кодирования и декодирования может быть равно одной или больше. Например, механизм 1516 кодека может иметь функцию кодека, состоящую из множества схем кодирования и декодирования, и кодирование данных изображения или декодирование кодированных данных может быть выполнено в одной выбранной среди многих схем кодирования и декодирования.

В примере, показанном на фиг. 53, механизм 1516 кодека, например, имеет MPEG.2.1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (масштабируемый) 1544, HEVC/H.265 (многопроекционный) 1545 и MPEG-DASH 1551, в качестве функциональных блоков для обработки, относящейся к кодеку.

Блок 1541 обработки видеоданных MPEG 2 представляет собой функциональный блок, предназначенный для кодирования или декодирования данных изображения в схеме MPEG 2. AVC/H.264 1542 представляет собой функциональный блок для кодирования или декодирования данных изображения в схеме AVC. HEVC/H.265 1543 представляет собой функциональный блок для кодирования или декодирования данных изображения в схеме HEVC. HEVC/H.265 (масштабируемый) 1544 представляет собой функциональный блок, для выполнения масштабируемого кодирования видеоданных или масштабируемого декодирования видеоданных для данных изображения в схеме HEVC. HEVC/H.265 (многопроекционный) 1545 представляет собой функциональный блок для выполнения многопроекционного кодирования или многопроекционного декодирования данных изображения в схеме HEVC.

MPEG-DASH 1551 представляет собой функциональный блок для передачи и приема данных изображения в схеме MPEG –DASH. MPEG–DASH представляет собой технологию для выполнения потоковой передачи видеоданных, используя HTTP, и имеет одно свойство, состоящее в том, что соответствующим образом кодированные данные выбирают из множества частей кодированных данных, в которых подготовленные значения разрешающей способности и т.п. отличаются друг от друга в модулях сегментов, и передает выбранные кодированные данные. MPEG–DASH 1551 выполняет генерирование потоков на основе стандарта, управления передачей потока и т.п., и использует блок 1541 обработки видеоданных MPEG 2 - HEVC/H.265 (многопроекционный) 1545, описанный выше, для кодирования и декодирования данных изображения.

I/F 1517 запоминающего устройства представляет собой I/F для внешнего запоминающего устройства 1312. Данные, подаваемые из механизма 1514 обработки или механизма 1516 кодека, подают во внешнее запоминающее устройство 1312 через I/F 1517 запоминающего устройства. Кроме того, данные, считываемые из внешнего запоминающего устройства 1312, подают в видеопроцессор 1332 (механизм 1514 обработки изображений или механизм 1516 кодека) через I/F 1517 запоминающего устройства.

Секция 1518 мультиплексирования/обратного мультиплексирования (MUX/DMUX) выполняет мультиплексирование или демультиплексирование различных типов данных, относящихся к изображению, таких как поток битов кодированных данных, данные изображения и видеосигнал. Способ такого мультиплексирования/демультиплексирования является необязательным. Например, во время мультиплексирования, секция 1518 мультиплексирования/обратного мультиплексирования (MUX/DMUX) может не только интегрировать множество частей данных в одну часть, но также может добавлять дополнительную информацию заголовка и т.п. к данным. Кроме того, во время обратного мультиплексирования, секция 1518 мультиплексирования/обратного мультиплексирования (MUX/DMUX) может не только делить одну часть данных на множество частей данных, но также и добавлять заданную информацию заголовка и т.п. к каждым разделенным данным. Таким образом, секция 1518 мультиплексирования/обратного мультиплексирования (MUX/DMUX) может преобразовывать формат данных с помощью мультиплексирования/демультиплексирования. Секция 1518 мультиплексирования/обратного мультиплексирования (MUX/DMUX) может выполнять преобразование в транспортный поток, который представляет собой поток битов формата передачи, или данные (файл данных) формата файла записи путем мультиплексирования поток битов. Конечно, его обратное преобразование с помощью демультиплексирования также возможно.

Сетевой I/F 1519, например, представляет собой I/F для широкополосного модема 1333 или для модуля 1321 соединения (оба показаны на фиг. 51) и т.п. I/F 1520 видеоданных, например, представляет собой I/F для модуля 1321 соединения или камеры 1322 (оба показаны на фиг. 51) и т.п.

Далее будет описан пример работы такого видеопроцессора 1332. Например, когда транспортный поток принимают из внешней сети через модуль 1321 соединения или широкополосный модем 1333 (оба показаны на фиг. 51) и т.п., этот транспортный поток подают в секцию 1518 мультиплексирования/обратного мультиплексирования (MUX/DMUX) через сетевой I/F 1519 и обратно мультиплексируют, и транспортный поток декодируют с помощью механизма 1516 кодека. Например, механизм 1514 обработки изображений выполняет заданную обработку изображений для данных изображения, полученных путем декодирования механизмом 1516 кодека, механизм 1513 отображения выполняет заданное преобразование для обработанных данных изображения, преобразованные данные изображения, например, подают в модуль 1321 соединения (фиг. 51) и т.п. через I/F 1512 дисплея, и их изображение отображают на мониторе. Кроме того, например, механизм 1516 кодека повторно кодирует данные изображения, полученные в результате декодирования механизмом 1516 кодека, секция 1518 мультиплексирования/обратного мультиплексирования (MUX/DMUX) мультиплексирует повторно кодированные данные изображения для выполнения преобразования в файл данных, этот файл данных выводят, например, в модуль 1321 соединения (фиг. 51) и т.п., через I/F 1520 видеоданных, и выводимый файл данных записывают на носители записи разных типов.

Кроме того, например, данные файла кодированных данных, данные изображения которых были кодированы, считанные с помощью модуля 1321 соединения (фиг. 51) и т.п. с носителя записи (не показан), подают в секцию 1518 мультиплексирования/обратного мультиплексирования (MUX/DMUX) через I/F 1520 видеоданных и обратно мультиплексируют и декодируют с помощью механизма 1516 кодека. Механизм 1514 обработки изображений выполняет заданную обработку изображения для данных изображения, полученных путем декодирования механизмом 1516 кодека, механизм 1513 отображения выполняет заданное преобразование для обработанных данных изображения, преобразованные данные изображения, например, подают в модуль 1321 соединения (фиг. 51) и т.п. через I/F 1512 дисплея, и их изображение отображают на мониторе. Кроме того, например, механизм 1516 кодека повторно кодирует данные изображения, полученные путем декодирования механизмом 1516 кодека, секция 1518 мультиплексирования/ обратного мультиплексирования (MUX/DMUX) мультиплексирует повторно кодированные данные изображения для выполнения преобразования в транспортный поток, транспортный поток подают, например, в модуль 1321 соединения или в широкополосный модем 1333 (оба показаны на фиг. 51) и т.п., через сетевой I/F 1519, и передают в другое устройство (не показано).

Кроме того, обмен данными изображения между блоками обработки в видеопроцессора 1332 или другими данными, например, выполняют, используя внутреннее запоминающее устройство 1515 или внешнее запоминающее устройство 1312. Кроме того, модуль 1313 управления питанием, например, управляет подачей питания в секцию 1511 управления.

Когда настоящую технологию применяют для видеопроцессора 1332, выполненную, как описано выше, необходимо только применять настоящую технологию в соответствии с каждым вариантом осуществления, описанным выше, в механизме 1516 кодека. Таким образом, например, необходимо только сконфигурировать механизм 1516 кодека, имеющего функциональные блоки, из которых составлено устройство 11 кодирования многопроекционного изображения (фиг. 1) в соответствии с первым вариантом осуществления и устройство 211 декодирования многопроекционного изображения (фиг. 10), в соответствии со вторым вариантом осуществления. Как описано выше, видеопроцессор 1332 может получать эффекты, аналогичные описанным выше, со ссылкой на фиг. 1 - 36.

Кроме того, в механизме 1516 кодека настоящая технология (то есть, функции устройства кодирования изображения и устройства декодирования изображения, в соответствии с описанными выше вариантами осуществления) может быть воплощена с помощью аппаратных средств, таких как логическая схема, воплощена в виде программных средств, таких как встроенная программа, или воплощена с использованием обоих этих подходов.

Хотя два примера конфигурации видеопроцессора 1332 были представлены выше, конфигурация видеопроцессора 1332 является необязательной и может отличаться от описанных выше двух примеров. Кроме того, хотя видеопроцессор 1332 выполнен, как одна полупроводниковая микросхема, видеопроцессор 1332 может быть выполнен, как множество полупроводниковых микросхем. Например, видеопроцессор 1332 может быть выполнен, как трехмерная многоуровневая LSI, в которой могут быть уложены друг на друга множество полупроводниковых слоев. Кроме того, видеопроцессор 1332 может быть выполнен с использованием множества частей LSI.

Пример применения для устройства

Видеонабор 1300 может быть встроен в различные типы устройств для обработки данных изображения. Например, видеонабор 1300 может быть встроен в телевизионное устройство 900 (фиг. 44), в мобильный телефон 920 (фиг. 45), в устройство 940 записи/воспроизведения (фиг. 46), устройство 960 съемки изображения (фиг. 47) и т.п. Путем внедрения видеонабора 1300, в устройстве могут быть получены эффекты, аналогичные описанным выше со ссылкой на фиг. 1 - 36.

Кроме того, видеонабор 1300, например, также может быть внедрен в устройство терминала, такое как PC 1004, устройство 1005 AV, планшетное устройство 1006 или мобильный телефон 1007, в системе 1000 передачи данных на фиг. 48, станция 1101 широковещательной передачи и устройство 1102 терминала в системе 1100 передачи данных по фиг. 49, устройство 1201 съемки изображения и в устройстве 1202 хранения масштабируемых кодированных данных, в системе 1200 съемки изображения по фиг. 50 и т.п. В результате внедрения видеонабора 1300, в устройстве могут быть получены эффекты, аналогичные описанным выше, со ссылкой на фиг. 1 - 36. Кроме того, видеонабор 1300 может быть внедрен в каждое устройство системы воспроизведения содержания по фиг. 54 или в системе беспроводной передачи данных по фиг. 60.

Кроме того, если часть каждой конфигурации описанного выше видеонабора 1300 включает в себя видеопроцессор 1332, эта часть может быть выполнена, как конфигурация, в которой применяется настоящая технология. Например, только видеопроцессор 1332 может быть выполнен, как видеопроцессор, в котором применяется настоящая технология. Кроме того, например, процессор, обозначенный пунктирной линией 1341, как описано выше, видеомодуль 1311 и т.п. могут быть выполнены, как процессор, модуль и т.п., в котором применяется настоящая технология. Далее, например, видеомодуль 1311, внешнее запоминающее устройство 1312, модуль 1313 управления питанием и входной модуль 1314 могут быть скомбинированы и выполнены, как видеомодуль 1361, в котором применяется настоящая технология. В любой конфигурации могут быть получены эффекты, аналогичные описанным выше, со ссылкой на фиг. 1 - 36.

Таким образом, любая конфигурация, включающая в себя видеопроцессор 1332, может быть внедрена в различные типы устройств, для обработки данных изображения, как в видеонаборе 1300. Например, видеопроцессор 1332, процессор, обозначенный пунктирной линией 1341, видеомодуль 1311, или видеомодуль 1361, могут быть встроены в телевизионное устройство 900 (фиг. 44), мобильный телефон 920 (фиг. 45), устройство 940 записи/воспроизведения (фиг. 46), устройство 960 съемки изображения (фиг. 47), устройство терминала, такое как PC 1004, устройство 1005 AV, планшетное устройство 1006 или мобильный телефон 1007 в системе 1000 передачи данных по фиг. 48, в широковещательную станцию 1101 и в устройство 1102 терминала, в системе 1100 связи по фиг. 49, в устройство 1201 съемки изображения, и в устройство 1202 хранения масштабируемых кодированных данных, в системе 1200 съемки изображения по фиг. 50, и т.п. Далее, видеопроцессор 1332 может быть внедрен в каждое устройство системы воспроизведения содержания по фиг. 54 или системы беспроводной передачи данных по фиг. 60. Благодаря внедрению любой конфигурации, в которой применяется настоящая технология, ее устройство может получать эффекты, аналогичные описанным выше, со ссылкой на фиг. 1 – 36, как в случае видеонабора 1300.

Кроме того, настоящая технология применима, например, в системе воспроизведения содержания при потоковой передаче данных HTTP или в системе беспроводной передачи данных, в соответствии со стандартом Wi-Fi, таким как MPEG-DASH, который будет описан ниже, для выбора и использования соответствующих кодированных данных из множества частей кодированных данных, в которых подготовленная разрешающая способность и т.п. отличаются друг от друга в модулях сегментов.

14. Пример применения MPEG-DASH

Общий обзор системы воспроизведения содержания

Вначале, со ссылкой на фиг. 54 - 56, будет схематично описана система воспроизведения содержания, в которой применяется настоящая технология.

Далее, вначале, общая конфигурация, которая является общей для этих вариантов осуществления, будет описана со ссылкой на фиг. 54 и 55.

На фиг. 54 показана пояснительная схема, иллюстрирующая конфигурацию системы воспроизведения содержания. Как представлено на фиг. 54, система воспроизведения содержания включает в себя серверы 1610 и 1611 содержания, сеть 1612 и устройство 1620 воспроизведения содержания (устройство - клиент).

Серверы 1610 и 1611 содержания и устройство 1620 воспроизведения содержания соединены через сеть 1612. Сеть 1612 представляет собой проводной или беспроводной канал передачи информации, которая должна быть передана из устройства, подключенного к сети 1612.

Например, сеть 1612 может включать в себя сети общедоступных линий связи, такие как Интернет, сеть телефонных линий и сеть спутниковой связи, или различные типы локальных вычислительных сетей (LAN), глобальных вычислительных сетей (WAN) и т.п., включая в себя Ethernet (зарегистрированный товарный знак). Кроме того, сеть 1612 может включать в себя сети специализированных линий, такие как виртуальная частная сеть, работающая в протоколе Интернет (IP-VPN).

Сервер 1610 содержания кодирует данные содержания и генерирует, и сохраняет файл данных, включающий в себя кодированные данные и метаинформацию кодированных данных. Кроме того, когда сервер 1610 содержания генерирует файл данных в формате MP4, кодированные данные соответствуют “mdat”, и метаинформация соответствует "moov".

Кроме того, данные содержания могут представлять собой музыкальные данные, такие как музыка, лекции и радиопередачи, видеоданные, такие как кинофильмы, телевизионные программы, видеопрограммы, фотографии, документы, картины и графики, игры, программное обеспечение и т.п.

Здесь, по запросу на воспроизведение содержания из устройства 1620 воспроизведения содержания, сервер 1610 содержания генерирует множество файлов данных с разными скоростями передачи битов для одного и того же содержания. Кроме того, по запросу на воспроизведение содержания из устройства 1620 воспроизведения содержания, сервер 1611 содержания передает информацию унифицированного указателя ресурса (URL) в сервер 1610 содержания, в устройство 1620 воспроизведения содержания путем включения информации о параметре, добавленной к URL в устройстве 1620 воспроизведения содержания, в информации URL сервера 1610 содержания. Далее соответствующие элементы будут конкретно описаны со ссылкой на фиг. 55.

На фиг. 55 показана пояснительная схема, иллюстрирующая поток данных в системе воспроизведения содержания на фиг. 54. Сервер 1610 содержания кодирует одни и те же данные содержания с различными скоростями передачи битов и генерирует, например, файл А со скоростью 2 Мбит/с, файл B 1,5 Мбит/с и файл C 1 Мбит/с, как представлено на фиг. 55. Соответственно, файл A имеет высокую скорость передачи битов, файл B имеет стандартную скорость передачи битов, и файл C имеет низкую скорость передачи битов.

Кроме того, как представлено на фиг. 55, кодированные данные каждого файла разделяют на множество сегментов. Например, кодированные данные файла A разделяют на сегменты "A1", "A2", "A3", …, "An", кодированные данные файла B разделяют на сегменты "B1", "B2", "B3", … "Bn", и кодированные данные файла C разделяют на сегменты "C1", "C2", "C3", … "Cn".

Кроме того, каждый сегмент может включать в себя пример конфигурации из одной или больше частей, независимо воспроизводимых кодированных видеоданных и кодированных аудиоданных, которые начинаются с выборки синхронизации MP4 (например, обновления изображения мгновенного декодера (IDR) при кодировании видеоданных AVC/H.264). Например, когда видеоданные, состоящие из 30 кадров в секунду, кодируют в GOP фиксированной длины по 15 кадров, каждый сегмент может представлять собой кодированные видео- и аудиоданные длительностью 2 секунды соответствующие 4 GOP или кодированные видео- и аудиоданные длительностью 10 секунд, соответствующие 20 GOP.

Кроме того, диапазоны воспроизведения (диапазоны в положениях времени от начала содержания) по сегментам, имеющим одинаковый порядок размещения в каждом файле, являются одинаковыми. Например, при воспроизведении диапазонов сегмент "A2", сегмент "B2" и сегмент “C2” являются одинаковыми, и каждый сегмент представляет собой кодированные данные длительностью 2 секунды, все диапазоны воспроизведения сегмента "A2", сегмента "B2" и сегмента “C2” составляют содержание длительностью 2 - 4 секунд.

Когда генерируют файлы А - C, сконфигурированные из описанного выше множества сегментов, сервер 1610 содержания сохраняет файлы А - C. Затем, как представлено на фиг. 55, сервер 1610 содержания последовательно передает сегменты, составляющие разные файлы, в устройство 1620 воспроизведения содержания, и в устройство 1620 воспроизведения содержания, воспроизводит принятые сегменты, в соответствии с потоковым воспроизведением.

Здесь сервер 1610 содержания, в соответствии с данным вариантом осуществления передает файл списка воспроизведения (ниже называется MPD), включающий в себя информацию потока битов и информацию доступа кодированных данных в устройство 1620 воспроизведения содержания, и устройство 1620 воспроизведения содержания выбирает любую одну скорость передачи битов из множества скоростей передачи битов на основе MPD, и запрашивает сервер 1610 содержания передать сегменты, соответствующие выбранной скорости битов.

Хотя только один сервер 161 содержания представлен на фиг. 54, само собой разумеется, что настоящее раскрытие не ограничено соответствующим примером.

На фиг. 56 показана пояснительная схема, иллюстрирующая конкретный пример MPD. Как представлено на фиг. 56, MPD включает в себя информацию доступа, относящуюся к множеству частей кодированных данных, имеющих разные скорости передачи битов (значения ширины полосы пропускания). Например, MPD, представленный на фиг. 56, обозначает, что существуют кодированные данные 256 Кбит/с, 1,024 Мбит/с, 1,384 Мбит/с, 1,536 Мбит/с и 2,048 Мбит/с, и включает в себя информацию доступа, относящуюся к кодированным данным. Устройство 1620 воспроизведения содержания может динамически изменять скорость передачи битов кодированных данных, предназначенных для воспроизведения, в соответствии с потоковым воспроизведением на основе этого MPD.

Кроме того, хотя портативный терминал представлен, как пример устройства 1620 воспроизведения содержания на фиг. 54, устройство 1620 воспроизведения содержания не ограничено этим примером. Например, устройство 1620 воспроизведения содержания может представлять собой устройство обработки информации, такое как PC, домашнее устройство обработки видеоданных (устройство записи на цифровом универсальном диске (DVD), устройство записи на видеокассету и т.п.), персональные карманные компьютеры (PDA), домашнее игровое устройство или домашнее бытовое устройство. Кроме того, устройство 1620 воспроизведения содержания может представлять собой устройство обработки информации, такое как мобильный телефон, персональная система Handy-Phone (PHS), портативное устройство воспроизведения музыки, портативное устройство обработки видеоданных или портативное игровое устройство.

Конфигурация сервера содержания

Со ссылкой на фиг. 54 - 56, будет представлен общий обзор системы воспроизведения содержания. Затем, со ссылкой на фиг. 57, будет описана конфигурация сервера 1610 содержания.

На фиг. 57 показана функциональная блок-схема, иллюстрирующая конфигурацию сервера 1610 содержания. Как представлено на фиг. 57, сервер 1610 содержания включает в себя секцию 1631 генерирования файла, секцию 1632 накопителя и секцию 1633 связи.

Секция 1631 генерирования файла включает в себя кодер 1641, предназначенный для кодирования данных содержания, и генерирует множество частей кодированных данных, имеющих разные скорости передачи битов с одним и тем же содержанием и описанным выше MPD. Например, секция 1631 генерирования файла генерирует MPD, как представлено на фиг. 56, когда генерируют кодированные данные со скоростью 256 Кбит/с, 1,024 Мбит/с, 1,384 Мбит/с, 1,536 Мбит/с и 2,048 Мбит/с.

Секция 1632 накопителя содержит множество частей кодированных данных, имеющих разные скорости передачи битов, и MPD, генерируемый секцией 1631 генерирования файла. Секция 1632 накопителя может представлять собой накопитель информации, такой как энергонезависимое запоминающее устройство, магнитный диск, оптический диск, магнитооптический (MO) диск и т.п. В качестве энергонезависимого запоминающего устройства, например, можно упомянуть электрически стираемое программируемое постоянное запоминающее устройство (EEPROM) и стираемое программируемое ROM (EPROM). Кроме того, в качестве магнитного диска можно упомянуть жесткий диск, дисковидный магнитный диск и т.п. Кроме того, в качестве оптического диска, можно упомянуть компакт-диск (CD), DVD с возможностью записи (DVD-R), диск Blu-ray (BD) (зарегистрированный товарный знак)) и т.п.

Секция 1633 связи представляет собой I/F с устройством 1620 воспроизведения содержания, и который сообщается с устройством 1620 воспроизведения содержания через сеть 1612. Более подробно, секция 1633 связи имеет функцию использования в качестве сервера HTTP, который сообщается с устройством 1620 воспроизведения содержания, в соответствии с HTTP. Например, секция 1633 связи передает MPD в устройство 1620 воспроизведения содержания, выделяет кодированные данные, запрашиваемые на основе MPD из устройства 1620 воспроизведения содержания, в соответствии с HTTP, и передает эти кодированные данные в устройство 1620 воспроизведения содержания, как ответ HTTP.

Конфигурация устройства воспроизведения содержания

Конфигурация сервера 1610 содержания, в соответствии с данным вариантом осуществления, была описана выше. Далее, со ссылкой на фиг. 58, будет описана конфигурация устройства 1620 воспроизведения содержания.

На фиг. 58 показана функциональная схема, иллюстрирующая конфигурацию устройства 1620 воспроизведения содержания. Как представлено на фиг. 58, устройство 1620 воспроизведения содержания включает в себя секцию 1651 связи, секцию 1652 хранения, секцию 1653 воспроизведения, секцию 1654 выбора и секцию 1656 получения текущего местоположения.

Секция 1651 связи представляет собой I/F с сервером 1610 содержания, запрашивает сервер 1610 содержания предоставить данные, и получает данные из сервера 1610 содержания. Более подробно, секция 1651 связи имеет функцию обслуживания в качестве клиента HTTP, для обмена данными с устройством 1620 воспроизведения содержания, в соответствии с HTTP. Например, секция 1651 связи может избирательно получать MPD или сегменты кодированных данных из сервера 1610 содержания, используя диапазон HTTP.

В секции 1652 накопителя содержатся различные типы информации, относящиеся к воспроизведению содержания. Например, секция 1652 накопителя последовательно размещает в буфере сегменты, полученные секцией 1651 связи, из сервера 1610 содержания. Сегменты кодированных данных, размещенные в буфере, в секции 1652 накопителя, последовательно поступают в секцию 1653 воспроизведения в порядке: первым введен - первым выведен (FIFO).

Кроме того, секция 1652 накопителя сохраняет определение для доступа к URL, к которому секция 1651 связи добавляет параметр на основе инструкции добавления параметра для URL содержания, описанного в MPD, запрошенном из сервера 1611 содержания, который будет описан ниже.

Секция 1653 воспроизведения последовательно воспроизводит сегменты, подаваемые из секции 1652 накопителя. В частности, секция 1653 воспроизведения выполняет декодирование, D/A преобразование и представление сегментов.

Секция 1654 выбора последовательно выбирает, следует ли избирательно получать сегменты кодированных данных, соответствующие скорости передачи битов, включенной в MPD, которые должны быть получены в пределах того же содержания. Например, когда секция 1654 выбора последовательно выбирает сегменты "A1", "B2" и “A3”, в соответствии с полосой пропускания сети 1612, секция 1651 связи последовательно получает сегменты "A1", "B2" и “A3” из сервера 1610 содержания, как представлено на фиг. 55.

Секция 1656 получения текущего местоположения может представлять собой блок для получения текущего местоположения устройства 1620 воспроизведения содержания, и, например, может состоять из модуля для получения текущего местоположения приемника системы глобальной навигации (GPS) и т.п. Кроме того, секция 1656 получения текущего местоположения может представлять собой секцию для получения текущего местоположения устройства 1620 воспроизведения содержания, используя беспроводную сеть.

Конфигурация сервера содержания

На фиг. 59 показана пояснительная схема, иллюстрирующая пример конфигурации сервера 1611 содержания. Как представлено на фиг. 59, сервер 1611 содержания включает в себя секцию 1671 накопителя и секцию 1672 связи.

Секция 1671 накопителя содержит информацию об URL для MPD. Информацию об URL для MPD передают из сервера 1611 содержания в устройство 1620 воспроизведения содержания, в соответствии с запросом из устройства 1620 воспроизведения содержания для запроса воспроизведения содержания. Кроме того, когда предоставляют информацию об URL MPD для устройства 1620 воспроизведения содержания, секция 1671 накопителя сохраняет информацию определения, когда устройство 1620 воспроизведения содержания добавляет параметр к URL, записанному в MPD.

Секция 1672 связи представляет собой I/F с устройством 1620 воспроизведения содержания, и выполняет обмен данными с устройством 1620 воспроизведения содержания через сеть 1612. Таким образом, секция 1672 связи принимает запрос об информации URL MPD из устройства 1620 воспроизведения содержания для запроса воспроизведения содержания и передает информацию об URL MPD в устройство 1620 воспроизведения содержания. URL MPD, предназначенный для передачи секцией 1672 связи, включает в себя информацию, для добавления параметра в устройстве 1620 воспроизведения содержания.

Что касается параметра, который должен быть добавлен к URL для MPD в устройстве 1620 воспроизведения содержания, возможно установить различные параметры в информации определения, которая совместно используется сервером 1611 содержания и устройством 1620 воспроизведения содержания. Например, информация о текущем местоположении устройства 1620 воспроизведения содержания, ID пользователя для пользователя, использующего устройство 1620 воспроизведения содержания, размер памяти устройства 1620 воспроизведения содержания, емкость хранения устройства 1620 воспроизведения содержания и т.п. могут быть добавлены в URL MPD, в устройстве 1620 воспроизведения содержания.

В системе воспроизведения содержания, с описанной выше конфигурацией, возможно получить эффекты, аналогичные описанным выше, со ссылкой на фиг. 1 - 36, путем применения настоящей технологии, как описано выше, со ссылкой на фиг. 1 - 36.

Таким образом, кодер 1641 сервера 1610 содержания имеет функцию устройства 11 кодирования изображения (фиг. 1), в соответствии с описанным выше вариантом осуществления. Кроме того, секция 1653 воспроизведения устройства 1620 воспроизведения содержания имеет функцию устройства 211 декодирования изображения (фиг. 10), в соответствии с описанным выше вариантом осуществления. Таким образом, становится возможным выполнить параллельную обработку изображения основного вида и изображения зависимого вида на стороне кодирования или на стороне декодирования.

Кроме того, поскольку возможно ограничить направление V MV между проекциями, путем передачи и приема кодированных данных, в соответствии с настоящей технологией в системе воспроизведения содержания, возможно выполнить параллельную обработку изображения основного вида и изображения зависимого вида на стороне кодирования или стороне декодирования.

15. Пример применения системы беспроводной связи, в соответствии со стандартом Wi-Fi

Пример основной операции устройства беспроводной связи

Пример основной операции устройства беспроводной связи, в системе беспроводной связи, в которой применима настоящая технология, будет описан ниже.

Вначале выполняется передача и прием радио-пакета до тех пор, пока не заработает определенное приложение, в результате установки пирингового (P2P) соединения.

Затем, перед тем, как будет выполнено соединение на втором уровне, выполняется передача и прием радиопакета, до тех пор, пока не будет установлено P2P соединение, и определенное приложение не заработает после того, как будет назначено это определенное приложение. Затем, после того, как будет активировано соединение на втором уровне, выполняется передача и прием радиопакета, при активации определенного приложения.

Пример связи при запуске операции определенного приложения

На фиг. 60 и 61 показаны примеры передачи и приема радиопакета до тех пор, пока не заработает определенное приложение, путем установки описанного выше P2P соединения, и график последовательности, иллюстрирующий пример обработки передачи данных каждым устройством, на основе беспроводной передачи данных. В частности, показан пример процедуры установки прямого соединения, приводящего к соединению стандартного прямого Wi-Fi (также называемого Wi-Fi P2P), стандартизированного в альянсе Wi-Fi.

Здесь, в Wi-Fi direct, множество устройств беспроводной передачи данных детектируют присутствие друг друга (поиск устройства и поиск услуги). Затем прямое соединение устанавливается путем выполнения аутентификации устройства при установке защищенного Wi-Fi (WPS) с выбранным устройством, когда выполняют выбор устройства соединения. Кроме того, в Wi-Fi direct, группу передачи данных формируют путем определения роли каждого из множества устройств беспроводной передачи данных, в качестве головного устройства (владельца группы) или дочернего устройства (клиента).

Однако, в этом примере обработки передачи данных, некоторая передача и прием пакетов исключены. Например, во время исходного соединения, как описано выше, необходим обмен пакетами для использования WPS, и обмен пакетами является обязательным даже при обмене запросом/ответом на аутентификацию и т.п. Однако, на фиг. 60 и 61, иллюстрация этого обмена пакетами исключена, и представлено только соединение, начиная со второго раза.

Кроме того, хотя пример обработки передачи данных между первым устройством 1701 беспроводной передачи данных и вторым устройством 1702 беспроводной передачи данных представлен на фиг. 60 и 61, то же относится к обработке обмена данными с другими устройствами беспроводной передачи данных.

Вначале выполняется поиск устройства между первым устройством 1701 беспроводной передачи данных и вторым 1702 устройством беспроводной передачи данных (1711). Например, первое устройство 1701 беспроводной передачи данных передает пробный запрос (сигнал запроса отклика) и принимает пробный отклик (сигнал отклика) на пробный запрос из второго устройства 1702 беспроводной передачи данных. Таким образом, первое устройство 1701 беспроводной передачи данных и второе устройство 1702 беспроводной передачи данных могут определить местоположение друг друга. Кроме того, возможно получить наименование или тип устройства (TV, PC, смартфон и т.п.) партнера путем поиска устройства.

Затем выполняют поиск услуги между первым устройством 1701 беспроводной связи и вторым устройством 1702 беспроводной связи (1712). Например, первое устройство 1701 беспроводной связи передает запрос на поиск услуги, для запроса услуги, соответствующей второму устройству 1702 беспроводной связи, определенному при определении устройства. Затем первое устройство 1701 беспроводной связи запрашивает услугу, соответствующую второму 1702 устройству беспроводной связи путем приема отклика на обнаружение услуги из второго устройства 1702 беспроводной передачи данных. Таким образом, становится возможным получить выполняемую партнером услугу и т.п., используя обнаружение услуги. Выполняемая партнером услуга, например, представляет собой услугу, протокол (альянс цифровых сетей для дома (DLNA)), цифровой медиарендер (DMR) и т.п.

Затем пользователь выполняет операцию (операцию выбора партнера по соединению), состоящую в выборе партнера по соединению (1713). Такая операция выбора партнера по соединению происходит только у одного из первого устройства 1701 беспроводной связи и второго устройства 1702 беспроводной связи. Например, изображение выбора партнера по соединению отображается на экране дисплея первого устройства 1701 беспроводной связи, и второе устройство 1702 беспроводной связи выбирают, как партнера по соединению в изображении выбора партнера по соединению, в соответствии с операцией пользователя.

Когда пользователь выполняет операцию (1713) выбора партнера по соединению, производят согласование с владельцем группы между первым устройством 1701 беспроводной связи и вторым устройством 1702 беспроводной связи (1714). На фиг. 60 и 61 представлен пример, в котором первое устройство 1701 беспроводной связи становится владельцем 1715 группы, а второе устройство 1702 беспроводной связи становится клиентом 1716, в соответствии с результатом согласования с владельцем группы.

Затем выполняют обработку 1717 - 1720 между первым устройством 1701 беспроводной связи и вторым устройством 1702 беспроводной связи, таким образом, что устанавливается прямое соединение. Таким образом, последовательно выполняют ассоциацию (установление соединения L2 (второй уровень)) 1717 и установку 1718 защищенного соединения. Кроме того, последовательно выполняют назначение 1719 IP-адреса и установку 1720 L4 по L3, используя простой протокол обнаружения услуги (SSD) и т.п. Кроме того, L2 (уровень 2) относится ко второму уровню (уровню соединения данных), L3 (уровень 3) относится к третьему уровню (уровню сети), и L4 (уровень 4) относится к четвертому уровню (уровень транспортирования).

Затем пользователь выполняет операцию назначения или активации для определенного приложения и операцию активации (операцию назначения/активации приложения) (1721). Такая операция назначения/активации приложения происходит только в одном из первого устройства 1701 беспроводной связи и второго устройства 1702 беспроводной связи. Например, изображение назначения/активации приложения отображается в секции отображения первого устройства 1701 беспроводной связи, и определенное приложение выбирают по операции пользователя с этим изображением операции назначения/активации приложения.

Когда пользователь выполняет операцию (1721) назначения/активации приложения, определенное приложение, соответствующее данной операции назначения/активации приложения, выполняется между первым устройством 1701 беспроводной связи и вторым устройством 1702 беспроводной связи (1722).

Здесь предполагается случай, в котором соединение между точкой доступа (AP) и станцией (STA) установлено в пределах диапазона технических условий (технических условий, стандартизированных в IEEE 802.11) перед стандартом Wi-Fi direct. В этом случае, прежде, чем соединение будет выполнено во втором уровне (перед ассоциацией в терминологии IEEE 802.11), трудно заранее знать, что устройство подключено.

С другой стороны, как представлено на фиг. 60 и 61, в Wi-Fi direct возможно получить информацию партнера по соединению, когда партнер - кандидат на соединение будет найден при обнаружении устройства или обнаружении услуги (необязательно). Информация о партнере по соединению, например, представляет собой основной тип устройства, соответствующего определенному приложению, и т.п. Затем возможно разрешить пользователю выбрать партнера по соединению на основе полученной информации о партнере по соединению.

Путем расширения этого механизма, также может быть воплощена система беспроводной передачи данных для обозначения конкретного приложения перед соединением, перед установкой соединения на втором уровне выбирают партнера по соединению, и автоматически активируют определенное приложение после выбора. Пример последовательности, приводящей к соединению в этом случае, представлен на фиг. 63. Кроме того, пример конфигурации формата кадра, который должен быть передан и принят при такой обработке передачи данных, представлен на фиг. 62.

Пример конфигурации формата кадра

На фиг. 62 показана схема, схематично иллюстрирующая пример конфигурации формата кадра, который должен быть передан и принят при обработке связи каждого устройства, используемого в качестве основы настоящей технологии. Таким образом, на фиг. 62, представлен пример конфигурации кадра управления средой доступа (MAC), предназначенного для установки соединения на втором уровне. В частности, он представляет собой пример формата кадра запроса/ответа 1787 ассоциации для воплощения последовательности на фиг. 63.

Кроме того, поля от управления 1751 кадром до управления 1756 последовательностью представляют собой заголовок MAC. Кроме того, когда передают запрос ассоциации, B3B2 = “0b00” и B7B6B5B4 = “0b0000” установлены в управление 1751 кадром. Кроме того, когда отклик на ассоциацию инкапсулирован, B3B2 = “0b00” и B7B6B5B4 = “0b0001” установлены в управление 1751 кадром. Кроме того, “0b00” представляет “00” в двоичном обозначении, “0b0000” представляет “0000” в двоичном обозначении, и “0b0001” представляет “0001” в двоичном обозначении.

Здесь фрейм MAC, представленный на фиг. 62, в основном, представляет собой формат фрейма запроса/отклика ассоциации, записанный в разделах 7.2.3.4 и 7.2.3.5 документа спецификации IEEE 802.11-2007. Однако, этот формат отличается тем, что включены независимо расширяемые IE, а также информационный элемент (ниже сокращенно обозначено IE).

Кроме того, для обозначения, что присутствует специфичный для поставщика IE, 1760, 127 установлено в десятичной форме в типе 1761 IE. В этом случае, в соответствии с разделом 7.3.2.26 документа спецификации IEEE 802.11-2007, поле 1762 длины и поле 1763 организационно уникального идентификатора (OUI) продолжаются, и затем располагается содержание 1764, специфичное для поставщика.

В качестве содержания для содержания 1764, специфичного для поставщика, поле (1765 типа IE), обозначающее тип, специфичного для поставщика IE будет предусмотрено первым. Затем будет сконфигурировано множество подэлементов 1766, предназначенных для хранения.

В качестве содержания подэлемента 1766, рассматривается возможность включения наименования 1767 определенного приложения, предназначенного для использования, или роль 1768 устройства, когда работает определенное приложение. Кроме того, определенное приложение, информация (информация для установки L4) 1769, такая как номер порта, предназначенный для использования для управления, и информация (информация о возможностях), относящаяся к возможностям, рассматривается, как включение. Здесь, например, когда назначенное определенное приложение представляет собой DLNA, информация о возможностях представляет собой информацию для установления соответствия для передачи/воспроизведения звука, соответствия передачи/воспроизведения видео и т.п.

В системе беспроводной связи, в описанной выше конфигурации, возможно получать эффекты, аналогичные описанным выше со ссылкой на фиг. 1 - 36, путем применения настоящей технологии, как описано выше со ссылкой на фиг. 1 - 36. Таким образом, возможно выполнять параллельную обработку изображения основного вида и изображения зависимого вида для стороны кодирования или стороны декодирования. Кроме того, поскольку возможно ограничить направление V MV между проекциями, путем передачи и приема кодированных данных в соответствии с настоящей технологией, в описанной выше системе беспроводной связи, возможно выполнять параллельную обработку изображения основного вида и изображения зависимого вида на стороне кодирования или стороне декодирования.

Кроме того, в настоящем описании был описан пример, в котором различные типы информации, такой как информация ограничения диапазона поиска MV между проекциями, которая представляет собой информацию, относящуюся к пределу направления V диапазона поиска MV между проекциями, мультиплексируют в кодированном потоке и передают со стороны кодирования на сторону декодирования. Однако технология передачи информации не ограничена этим примером. Например, информация может быть передана или записана, как индивидуальные данные, ассоциированные с кодированным потоком битов, без мультиплексирования в кодированном потоке. Здесь термин "ассоциировать" относится к тому, что изображение, включенное в поток битов (который может представлять собой часть изображения, такого срез или блок), и информация, соответствующая изображению, сконфигурированы так, чтобы их можно было соединять во время декодирования. Таким образом, информация может быть передана по отдельному пути связи из изображения (или потока битов). Кроме того, информация может быть записана на отдельном носителе записи (или в отдельной области записи того же носителя записи) из изображения (или потока битов). Кроме того, информация и изображение (или поток битов), например, могут быть ассоциированы друг с другом в произвольных модулях, таких как множество кадров, один кадр или часть внутри кадра.

Кроме того, хотя выше был описан случай, в котором выполняется обработка кодирования после установки информации установленного ограничения диапазона поиска, любая из них может быть выполнена первой по порядку. Кроме того, при кодировании данных изображения, может использоваться кодированная информация ограничения диапазона поиска или информация ограничения диапазона поиска перед кодированием.

Предпочтительные варианты осуществления настоящего раскрытия были описаны выше со ссылкой на приложенные чертежи, в то время, как настоящее изобретение, конечно, не ограничено описанными выше примерами. Специалист в данной области техники может найти различные изменения и модификации в пределах объема приложенных чертежей, и следует понимать, что они, естественно, попадают в технический объем настоящего раскрытия.

Кроме того, настоящая технология также может быть выполнена так, как представлено ниже.

(1) Устройство обработки изображения, включающее в себя:

секцию приема, выполненную с возможностью приема набора инструкций кодированного потока, в синтаксисе кодированного потока, в котором информация ограничения диапазона вектора движения (MV) кодирована в модулях, в которых данные изображения имеют иерархическую структуру и информацию ограничения диапазона MV, при этом информация ограничения диапазона MV представляет собой информацию предела значения вертикального направления MV, для ссылки на проекцию, отличающуюся от проекции текущего блока в MV между проекциями, соответствующими текущему блоку; и

секцию декодирования, выполненный с возможностью декодирования потока кодированного потока, принимаемого секцией приема, с использованием информации предела диапазона MV, принятой секцией приема.

(2) Устройство обработки изображения по (1), в котором информация предела диапазона MV представляет собой флаг, указывающий, что существует предел в вертикальном направлении в диапазоне MV между проекциями.

(3) Устройство обработки изображения по (1) или (2), в котором информация предела диапазона MV представляет собой значение, указывающее предел в положительном вертикальном направлении диапазона MV между проекциями.

(4) Устройство обработки изображения по (1) или (2), в котором значение предела вертикального положительного направления диапазона MV между проекциями задано и представляет собой (размер наибольшего модуля кодирования (LCU) - 8).

(5) Устройство обработки изображения по (1) или (2), в котором значение предела вертикального положительного направления диапазона MV между проекциями задано и представляет собой (размер LCU - 4), когда контурный фильтр отключен.

(6) Устройство обработки изображения по (1) или (2), в котором значение предела вертикального положительного направления диапазона MV между проекциями определено в соответствии с вертикальным разрешением формата изображения.

(7) Устройство обработки изображения по (1) или (2), в котором значение предела вертикального положительного направления диапазона MV между проекциями может быть определено в соответствии с уровнем.

(8) Устройство обработки изображения по любому из (1) - (7), в котором секция установки выполнена с возможностью установки информации предела диапазона поиска в SPS.

(9) Устройство обработки изображения по любому из (1) - (7), в котором информацию предела диапазона MV устанавливают в наборе видеопараметра (VPS).

(10) Устройство обработки изображения по любому из (1) - (7), в котором информацию предела диапазона MV устанавливают в информации возможности использования видеоизображения (VUI).

(11) Устройство обработки изображения по любому из (1) - (10), в котором секция декодирования выполнена с возможностью декодирования информации предела диапазона MV, принятой секцией приема, и декодирования кодированного потока, принятого блоком приема, с использованием декодированной информации предела диапазона MV.

(12) Способ обработки изображения, включающий в себя этапы, на которых:

принимают с помощью устройства обработки изображения набор инструкций кодированного потока, установленного в синтаксисе кодированного потока, в котором информация предела диапазона MV кодирована в модулях, в которых данные изображения имеют иерархическую структуру, и информации предела диапазона MV, при этом информация ограничения диапазона MV представляет собой информацию предела вертикального направления MV, для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, который соответствует текущему блоку; и

декодируют, с помощью устройства обработки изображения, принимаемый кодированный поток, с использованием принятой информации предела диапазона MV.

(13) Устройство обработки изображения, включающее в себя:

секцию установки выполненную с возможностью установки информации предела диапазона MV, представляющей собой информацию предела значения вертикального направления MV, для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующими текущему блоку, в синтаксисе кодированного потока;

секцию кодирования, выполненную с возможностью генерирования кодированного потока с помощью данных кодирования изображения в модулях, имеющих иерархическую структуру, с использованием информации предела диапазона MV, установленной секцией установки; и

секцию передачи, выполненную с возможностью передачи кодированного потока, генерируемого секцией кодирования, и информации предела диапазона MV, установленной секцией установки.

(14) Устройство обработки изображения по (13), в котором секция установки выполнена с возможностью установки флага, указывающего, что существует предел в вертикальном направлении в диапазоне MV между проекциями, в качестве информации предела диапазона MV.

(15) Устройство обработки изображения по (13) или (14), в котором секция установки выполнена с возможностью установки значения, указывающего предел в вертикальном положительном направлении в диапазоне MV между проекциями, в качестве информации предела диапазона MV.

(16) Устройство обработки изображения по (13) или (14), в котором значение предела в вертикальном положительном направлении диапазона MV между проекциями задано и представляет собой (размер LCU - 8).

(17) Устройство обработки изображения по (13) или (14), в котором значение предела вертикального положительного направления диапазона MV между проекциями задано и представляет собой (размер LCU - 4), когда контурный фильтр отключен.

(18) Устройство обработки изображения по (13) или (14), в котором значение предела вертикального положительного направления в диапазоне MV между проекциями определено в соответствии с вертикальным разрешением формата изображения.

(19) Устройство обработки изображения по (13) или (14), в котором значение предела вертикального положительного направления диапазона MV между проекциями может быть определено в соответствии с уровнем.

(20) Устройство обработки изображения по (13) или (14), в котором секция установки выполнена с возможностью установки информации предела диапазона MV в SPS.

(21) Устройство обработки изображения по (13) или (14), в котором секция установки выполнена с возможностью установки информации предела диапазона MV в VPS.

(22) Устройство обработки изображения по (13) или (14), в котором секция установки выполнена с возможностью установки информации предела диапазона MV в VUI.

(23) Устройство обработки изображения по любому из (13) к (22), в котором секция кодирования выполнена с возможностью генерирования кодированного потока посредством кодирования информации предела диапазона MV, установленной секцией установки, и кодирования данных изображения, с использованием кодированной информации предела диапазона MV.

(24) Способ обработки изображения, включающий в себя этапы, на которых:

устанавливают с помощью устройства обработки изображения информацию предела диапазона MV, представляющую собой информацию об ограничении значения вертикального направления MV, для обращения к проекции, отличающейся от проекции текущего блока в MV между проекциями, соответствующими текущему блоку в синтаксисе кодированного потока;

генерируют, с помощью устройства обработки изображения, кодированный поток, посредством кодирования данных изображения в модулях, имеющих иерархическую структуру, с использованием набора информации предела диапазона MV; и

передают, с помощью устройства обработки изображения, сгенерированный кодированный поток и установленную информацию предела диапазона MV.

(25) Устройство обработки изображения, включающее в себя:

секцию приема, выполненную с возможностью приема набора инструкций кодированного потока, посредством множества линий модуля дерева кодирования (CTU) в синтаксисе кодированного потока, при этом информация предела диапазона MV кодирована в модулях, в которых данные изображения имеют иерархическую структуру, и информации предела диапазона MV, причем информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV, для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующими текущему блоку; и

секцию декодирования, выполненную с возможностью декодирования кодированного потока, принятого секцией приема, с использованием информации предела диапазона MV, принятой секцией приема.

(26) Устройство обработки изображения по (25), в котором информация предела диапазона MV установлена по количеству линий CTU в вертикальном направлении, задержанных из разных проекций.

(27) Устройство обработки изображения по (25) или (26), в котором количество линий CTU в вертикальном направлении составляет

[Уравнение 3]

.

(28) Устройство обработки изображения по любому из (25) - (27), в котором информация предела диапазона MV установлена в SPS.

(29) Способ обработки изображения, включающий в себя этапы, на которых:

принимают, с помощью устройства обработки изображения, при этом кодированный поток, установленный по количеству линий CTU, в синтаксисе кодированного потока, в котором информация предела диапазона MV кодирована в модулях, в которых указанное изображение имеет иерархическую структуру, и информацию предела диапазона MV, причем информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующими текущему блоку; и

декодируют, с помощью устройства обработки изображения, принятый кодированный поток, с использованием принятой информации предела диапазона MV.

(30) Устройство обработки изображения, включающее в себя:

секцию установки, выполненную с возможностью установки информации предела диапазона MV по множеству линий CTU, при этом информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующими текущему блоку в синтаксисе кодированного потока;

секцию кодирования, выполненную с возможностью генерирования кодированного потока, посредством кодирования данных изображения в модулях, имеющих иерархическую структуру, с использованием информации предела диапазона MV, установленной секцией установки; и

секцию передачи, выполненную с возможностью передачи кодированного потока, генерируемого секцией кодирования, и информации предела диапазона MV, установленной секцией установки.

(31) Устройство обработки изображения по (30), в котором секция установки выполнена с возможностью установки информации предела диапазона MV по количеству линий CTU в вертикальном направлении, задержанных из разных видов.

(32) Устройство обработки изображения по (30) или (31), в котором количество линий CTU в вертикальном направлении составляет

[Уравнение 3]

.

(33) Устройство обработки изображения по любому из (30) - (32), в котором секция установки выполнена с возможностью установки информации предела диапазона MV в SPS.

(34) Способ обработки изображения, включающий в себя этапы, на которых:

устанавливают, с помощью устройства обработки изображения, информации предел диапазона MV по количеству линий CTU, при этом информация предела диапазона MV представляет собой информацию об ограничении значения вертикального направления MV для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующими текущему блоку в синтаксисе кодированного потока;

генерируют, с помощью устройства обработки изображения, кодированный поток по кодированным данным изображения в модулях, имеющих иерархическую структуру, с использованием установок информации предела диапазона MV; и

передают, с помощью устройства обработки изображения, сгенерированный кодированный поток и установленную информацию предела диапазона MV.

(35) Устройство обработки изображения, включающее в себя:

секцию кодирования, выполненную с возможностью генерирования кодированного потока с помощью данных кодирования изображения в модулях, имеющих иерархическую структуру, с использованием информации предела диапазона MV, представляющей собой информацию предела значения направления V для MV, для обращения к проекции, отличной от проекции текущего блока в MV между проекциями, соответствующими текущему блоку; и

секцию передачи, выполненную с возможностью передачи кодированного потока, генерируемого секцией кодирования.

(36) Устройство обработки изображения по (35), в котором информация предела диапазона MV представляет собой информацию, указывающую предел, в котором MV между проекциями составляет 0 пикселей.

(37) Устройство обработки изображения по (35), в котором информация предела диапазона MV представляет собой информацию, указывающую предел, в котором MV между проекциями составляет один пиксель или меньше.

(38) Устройство обработки изображения по (35), в котором информация предела диапазона MV представляет собой информацию, указывающую предел, в котором MV между проекциями составляет X пикселей или меньше.

Список номеров ссылочных позиций

11 устройство кодирования многопроекционного изображения

21 секция кодирования синтаксиса

22 секция управления синхронизацией

23 секция кодирования основного вида

24 секция кодирования зависимого вида

25 DPB

26 секция передачи

123 секция прогнозирования между изображениями

211 устройство декодирования многопроекционного изображения

221 секция приема

222 секция декодирования синтаксиса

223 секция управления синхронизацией

224 секция декодирования основной проекции

225 секция декодирования зависимой проекции

226 DPB

320 секция прогнозирования между изображениями

322 кэш

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности параллельной обработки многопроекционных изображений. Устройство обработки изображения содержит секцию кодирования для генерирования кодированного потока, содержащего синтаксис, в котором информация предела диапазона вектора движения (MV) включает в себя флаг, указывающий, имеет ли MV между проекциями, соответствующий текущему блоку для ссылки на проекцию, отличающуюся от проекции текущего блока, предел диапазона в вертикальном направлении, определяемый данными кодированного изображения. 2 н. и 20 з.п. ф-лы, 63 ил.

1. Устройство обработки изображения, содержащее:

секцию кодирования для генерирования кодированного потока, содержащего синтаксис, в котором информация предела диапазона вектора движения (MV) включает в себя флаг, указывающий, имеет ли MV между проекциями, соответствующий текущему блоку для ссылки на проекцию, отличающуюся от проекции текущего блока, предел диапазона в вертикальном направлении, определяемый данными кодированного изображения.

2. Устройство обработки изображения по п. 1, в котором информация предела диапазона MV дополнительно содержит значение, указывающее предел диапазона в положительном вертикальном направлении для указанного MV между проекциями.

3. Устройство обработки изображения по п. 2, в котором значение, указывающее предел диапазона в вертикальном положительном направлении для MV между проекциями, задано и определено посредством вычитания 8 линий из размера наибольшего модуля кодирования (LCU) кодированного потока.

4. Устройство обработки изображения по п. 2, в котором значение, указывающее предел диапазона в вертикальном положительном направлении для MV между проекциями, задано и определено посредством вычитания 4 линий из размера LCU кодированного потока, когда контурный фильтр отключен.

5. Устройство обработки изображения по п. 2, в котором значение, указывающее предел диапазона вертикального положительного направления для MV между проекциями, определено в соответствии с вертикальным разрешением формата изображения.

6. Устройство обработки изображения по п. 2, в котором значение, указывающее предел диапазона в вертикальном положительном направлении для MV между проекциями, определено в соответствии с уровнем.

7. Устройство обработки изображения по п. 1, дополнительно содержащее:

секцию установки, выполненную с возможностью установки информации предела диапазона MV, а секция кодирования выполнена с возможностью генерирования кодированного потока, содержащего синтаксис, в котором информация предела диапазона MV установлена секцией установки.

8. Устройство обработки изображения по п. 7, в котором секция установки выполнена с возможностью установки информации предела диапазона MV в наборе инструкций параметра последовательности (SPS).

9. Устройство обработки изображения по п. 7, в котором секция установки выполнена с возможностью установки информации предела диапазона MV в наборе инструкций видеопараметра (VPS).

10. Устройство обработки изображения по п. 7, в котором секция установки выполнена с возможностью установки информации предела диапазона MV в информации возможности использования видеоизображения (VUI).

11. Устройство обработки изображения по п. 1, дополнительно содержащее:

секцию передачи, выполненную с возможностью передачи кодированного потока сгенерированного секцией кодирования.

12. Способ обработки изображения, содержащий этап, на котором:

генерируют кодированный поток, содержащий синтаксис, в котором информация предела диапазона вектора движения (MV) включает в себя флаг, указывающий, имеет ли MV между проекциями, соответствующий текущему блоку для ссылки на проекцию, отличающуюся от проекции текущего блока, предел диапазона в вертикальном направлении, определяемый данными кодированного изображения.

13. Способ обработки изображения по п. 12, в котором информация предела диапазона MV дополнительно содержит значение, указывающее предел диапазона в положительном вертикальном направлении для указанного MV между проекциями.

14. Способ обработки изображения по п. 13, в котором значение, указывающее предел диапазона в вертикальном положительном направлении для MV между проекциями, задано и определено посредством вычитания 8 линий из размера наибольшего модуля кодирования (LCU) кодированного потока.

15. Способ обработки изображения по п. 13, в котором значение, указывающее предел диапазона в вертикальном положительном направлении для MV между проекциями, задано и определено посредством вычитания 4 линий из размера LCU кодированного потока, когда контурный фильтр отключен.

16. Способ обработки изображения по п. 13, в котором значение, указывающее предел диапазона вертикального положительного направления для MV между проекциями, определено в соответствии с вертикальным разрешением формата изображения.

17. Способ обработки изображения по п. 13, в котором значение, указывающее предел диапазона в вертикальном положительном направлении для MV между проекциями, определено в соответствии с уровнем.

18. Способ обработки изображения по п. 12, дополнительно содержащий этап, на котором:

устанавливают информацию предела диапазона MV, а этап генерирования содержит генерирование кодированного потока, содержащего синтаксис, в котором информация предела диапазона MV установлена секцией установки.

19. Способ обработки изображения по п. 18, в котором этап установки содержит установку информации предела диапазона MV в наборе инструкций параметра последовательности (SPS).

20. Способ обработки изображения по п. 18, в котором этап установки содержит установку информации предела диапазона MV в наборе инструкций видеопараметра (VPS).

21. Способ обработки изображения по п. 18, в котором этап установки содержит установку информации предела диапазона MV в информации возможности использования видеоизображения (VUI).

22. Способ обработки изображения по п. 12, дополнительно содержащий этап, на котором:

передают кодированный поток, сгенерированный на этапе генерирования.