УСТРОЙСТВО И СПОСОБ КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ И УСТРОЙСТВО И СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ Российский патент 2019 года по МПК H04N19/39 H04N19/70 H04N19/46 

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу кодирования изображения и к устройству и способу декодирования изображения и, более конкретно, к устройству и способу кодирования изображения и к устройству и способу декодирования изображения для улучшения отображения по умолчанию между улучшенным уровнем и информацией о разрешающей способности.

Уровень техники

В последние годы получило широкое распространение устройство, обращающееся с информацией изображения как с цифровой информацией, и в таком случае, кодируют изображение со сжатием для достижения высокоэффективной передачи и хранения информации, используя избыточность, специфическую для информации изображения, и применяя схему кодирования, выполняющую сжатие посредством ортогонального преобразования, такого как дискретное косинусное преобразование, и компенсацию движения Примерами схемы кодирования являются, например, MPEG (Moving Picture Experts Group) или H.264, MPEG-4 Часть 10 (Advanced Video Coding (перспективное видеокодирование), здесь далее упоминаемая как AVC) и т.п.

Таким образом, в настоящее время, чтобы дополнительно повысить эффективность кодирования по сравнению с H.264/AVC, проводится процесс стандартизации схемы кодирования под названием HEVC (High Efficiency Video Coding, видеокодирование с высокой эффективностью), предпринимаемый группой совместного сотрудничества по видеокодированию, JCTVC (Joint Collaboration Team-Video Coding), являющейся органом стандартизации, работающим в сотрудничестве с организаций ITU-T (Международный союз электросвязи - сектор телекоммуникаций) и ISO/IEC (Международная организация по стандартизации/Международная электротехническая комиссия).

При этом, схема кодирования изображения, такая как MPEG-2 или AVC, обладает функцией масштабируемости, в которой изображение иерархически делится на многочисленные уровни и многоуровневое изображение кодируется.

При масштабируемом расширении (SHVC) или MV-HEVC, связанном с таким HEVC, поскольку общее представление о битовом потоке может стать понятным только в VPS, обеспечивается структура, в которой информация о разрешающей способности (rep_format) по каждому улучшенному уровню описывается с помощью VPS_EXT.

Например, два типа способа отображения улучшенного уровня и информации о разрешающей способности друг на друге являются следующими. То есть, первый тип является способом указания значения для каждого уровня с помощью VPS_EXT. Второй тип является способом указания на информацию окончания передачи rep_format в SPS улучшенного уровня и переписывания информации VPS с помощью VPS_EXT. Непатентная литература NPL 1 описывает уровень техники настоящего раскрытия.

Список литературы

Непатентная литература (NPL)

NPL 1

J. Chen, J. Воусе, Y. Ye, М.М. Hannuksela, G.J. Sullivan, Y.-K. Wang (editors), "High efficiency video coding (HEVC) scalable extension Draft 5", JCTVC-P1008_v4, January 2014.

Раскрытие сущности изобретения

Техническая проблема

Для информации по отображению по умолчанию между улучшенным уровнем и информацией о разрешающей способности, которая описывается выше, используется флаг rep_format_idx_present_flag, соотношение между количеством фрагментов информации о разрешающей способности и количеством уровней и т.п., однако, поскольку этого недостаточно, существует возможность для совершенствования.

Желательно улучшить отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности.

Решение проблемы

В соответствии с вариантом настоящего раскрытия, обеспечивается устройство кодирования изображения, содержащее схему, выполненную с возможностью установки соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и кодирования изображения и формирования битового потока, содержащего информацию, относящуюся к установленному соотношению соответствия.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается способ кодирования изображения, содержащий этапы, на которых устанавливают соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; кодируют изображение и формируют битовый поток, содержащий информацию, относящуюся к установленному соотношению соответствия.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается устройство декодирования изображения, содержащее схему, выполненную с возможностью извлечения из битового потока, сформированного посредством кодирования изображения, информации, относящейся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, в которой информация соответствия устанавливается в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и декодирования битового потока, используя извлеченную информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается способ декодирования изображения, содержащий этапы, на которых: извлекают из битового потока, сформированного посредством кодирования изображения, информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, в которой информация соответствия устанавливается в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и декодируют битовый поток, используя извлеченную информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается непереносной считываемый компьютером носитель, на котором содержится программа, которая, когда исполняется компьютером, заставляет компьютер выполнять способ кодирования изображения, содержащий этапы, на которых: устанавливают соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; кодируют изображение и формируют битовый поток, содержащий информацию, относящуюся к установленному соотношению соответствия.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается непереносной считываемый компьютером носитель, на котором содержится программа, которая, когда исполняется компьютером, заставляет компьютер выполнять способ декодирования изображения, содержащий этапы, на которых: извлекают из битового потока, сформированного посредством кодирования изображения, информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, в которой информация соответствия устанавливается в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и декодируют битовый поток, используя извлеченную информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается устройство кодирования изображения, содержащее: блок установки, выполненный с возможностью установки соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и блок кодирования, выполненный с возможностью кодирования изображения и формирования битового потока, содержащего информацию, относящуюся к соотношению соответствия, установленному блоком установки.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается устройство кодирования изображения, содержащее схему, выполненную с возможностью установки соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; автоматического отображения уровней и многочисленных кандидатов друг на друге; и кодирования изображения и формирования битового потока, содержащего информацию, относящуюся к установленному соотношению соответствия.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается устройство кодирования изображения, содержащее схему, выполненную с возможностью установки соотношения соответствия между Rep_formats на уровне изображения и улучшенным уровнем в случае, когда количество Rep_formats меньше, чем количество уровней; и кодирования изображения и формирования битового потока, содержащего информацию, относящуюся к установленному соотношению соответствия, в котором, в случае, когда количество Rep_formats меньше, чем количество уровней, соотношение соответствия между Rep_formats и улучшенным уровнем устанавливается, начиная с ведущего кандидата, и автоматическое отображение выполняется между Rep_formats и уровнями.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается устройство кодирования изображения, содержащее блок установки, устанавливающий соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда присутствуют многочисленные кандидаты на информацию о разрешающей способности на уровне изображения; и количество уровней больше, чем количество кандидатов; блок кодирования, кодирующий изображение и формирующий битовый поток; и блок передачи, передающий информацию, относящуюся к соотношению соответствия, установленному блоком установки, и к битовому потоку, сформированному блоком кодирования.

В случае, когда количество кандидатов больше, чем количество уровней, блок установки может установить соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем, начиная с ведущего кандидата.

В случае, когда многочисленные кандидаты присутствуют, блок установки может установить информацию, указывающую, существует ли соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем.

В случае, когда количество кандидатов равно 1, блок установки может запретить обновление соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в наборе параметров последовательности.

В соответствии с другим вариантом осуществления настоящего раскрытия, обеспечивается способ кодирования изображения, заставляющий устройство кодирования изображения выполнять этапы, на которых: устанавливают соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда присутствуют многочисленные кандидаты на информацию о разрешающей способности на уровне изображения, и количество уровней больше, чем количество кандидатов; кодируют изображение и формируют битовый поток и передают информацию, относящуюся к установленному соотношению соответствия и к сформированному битовому потоку.

В соответствии с дополнительным вариантом осуществления настоящего раскрытия, обеспечивается устройство декодирования изображения, содержащее: приемный блок, принимающий битовый поток, сформированный посредством кодирования изображения; блок извлечения, извлекающий информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, из битового потока, принятую приемным блоком, который устанавливается в случае, когда присутствуют многочисленные кандидаты на информацию о разрешающей способности на уровне изображения и количество уровней больше, чем количество кандидатов; и блок декодирования, который декодирует битовый поток, принятый приемным блоком, и формирует изображение, используя информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, которая извлекается блоком извлечения.

В случае, когда количество кандидатов больше, чем количество уровней, соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем может быть установлено, начиная с ведущего кандидата.

В случае, когда многочисленные кандидаты присутствуют, может быть установлена информация, указывающая, существует ли соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем.

В случае, когда количество кандидатов равно 1, обновление соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в наборе параметров последовательности может быть запрещено.

В соответствии с еще одним другим вариантом осуществления настоящего раскрытия, обеспечивается способ декодирования изображения, заставляющий устройство декодирования изображения выполнять этапы, на которых: принимают битовый поток, сформированный посредством кодирования изображения; извлекают информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, из битового потока, принятого приемным блоком, который устанавливается в случае, когда присутствуют многочисленные кандидаты на информацию о разрешающей способности на уровне изображения и количество уровней больше, чем количество кандидатов; и декодируют битовый поток и формируют изображение, используя извлеченную информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем.

В соответсвии с вариантом осуществления настоящего раскрытия, в случае, когда присутствуют многочисленные кандидаты на информацию о разрешающей способности на уровне изображения и количество уровней больше, чем количество кандидатов, соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем устанавливается. Затем изображение кодируется, формируется битовый поток и информация, относящаяся к устанавливаемому соответствию, и сформированный битовый поток передаются.

В соответствии с дополнительным вариантом осуществления настоящего раскрытия, изображение кодируется, сформированный битовый поток принимается и информация, относящаяся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, которая устанавливается в случае, когда присутствуют многочисленные кандидаты на информацию о разрешающей способности на уровне изображения, и количество уровней больше, чем количество кандидатов, извлекается из принятого битового потока. Затем битовый поток декодируется и изображение формируется, используя извлеченную информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем.

Более того, устройство кодирования изображения и устройство декодирования изображения, описанные выше, могут быть независимыми устройствами обработки изображения и могут быть встроенным блоком, образующим устройство кодирования изображения или устройство декодирования изображения.

Полезные результаты изобретения

В соответствии с дополнительным вариантом осуществления настоящего раскрытия, изображение может быть кодировано. В частности, улучшается отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности.

В соответствии с вариантом осуществления настоящего раскрытия, изображение может быть декодировано. В частности, улучшается отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности.

Кроме того, эти результаты не обязательно ограничиваются и любые результаты, описанные в настоящем раскрытии, могут быть возможны.

Краткое описание чертежей

Фиг. 1 - примерная конфигурация блока кодирования.

Фиг. 2 - пример синтаксиса VPS_EXT.

Фиг. 3 - пример синтаксиса SPS, связанного с RBSP.

Фиг. 4 - пример семантики.

Фиг. 5 - указание в случае синтаксиса, показанного на фиг. 2.

Фиг. 6 - указание в случае синтаксиса, показанного на фиг. 2.

Фиг. 7 - указание в случае синтаксиса, показанного на фиг. 2.

Фиг. 8 - указание в случае синтаксиса, соответствующего настоящей технологии.

Фиг. 9 - указание в случае синтаксиса, соответствующего настоящей технологии.

Фиг. 10 - указание в случае синтаксиса, соответствующего настоящей технологии.

Фиг. 11 - указание в случае синтаксиса, соответствующего настоящей технологии.

Фиг. 12 - пример синтаксиса, соответствующего настоящей технологии.

Фиг. 13 - пример синтаксиса, соответствующего настоящей технологии.

Фиг. 14 - пример семантики, соответствующей настоящей технологии.

Фиг. 15 - конкретный пример.

Фиг. 16 - конкретный пример.

Фиг. 17 - конкретный пример.

Фиг. 18 - блок-схема примера конфигурации устройства кодирования, соответствующего первому варианту осуществления, к которому применяется настоящее раскрытие.

Фиг. 19 - блок-схема примера конфигурации блока кодирования, показанного на фиг. 18.

Фиг. 20 - блок-схема последовательности выполнения операций процесса формирования потока.

Фиг. 21 - блок-схема последовательности выполнения операций процесса установки набора параметров.

Фиг. 22 - подробная блок-схема последовательности выполнения операций процесса кодирования, показанного на фиг. 20.

Фиг. 23 - подробная блок-схема последовательности выполнения операций процесса кодирования, показанного на фиг. 20.

Фиг. 24 - блок-схема примера конфигурации устройства декодирования, соответствующего первому варианту осуществления, к которому применяется настоящее раскрытие.

Фиг. 25 - блок-схема примера конфигурации блока декодирования, показанного на фиг. 24.

Фиг. 26 - блок-схема последовательности выполнения процесса формирования изображения посредством устройства декодирования, показанного на фиг. 24.

Фиг. 27 - блок-схема последовательности выполнения операций процесса извлечения набора параметров посредством устройства декодирования, показанного на фиг. 26.

Фиг. 28 - подробная блок-схема последовательности выполнения операций процесса декодирования, показанного на фиг. 26.

Фиг. 29 - блок-схема примера аппартурной конфигурации компьютера.

Фиг. 30 - пример системы кодирования многопроекционного изображения.

Фиг. 31 - пример конфигурации устройства кодирования многопроекционного изображения, к которому применяется настоящее раскрытие.

Фиг. 32 - пример конфигурации устройства кодирования многопроекционного изображения, к которому применяется настоящее раскрытие.

Фиг. 33 - пример уровневого кодирования изображения.

Фиг. 34 - пример специального масштабируемого кодирования.

Фиг. 35 - пример временного масштабируемого кодирования.

Фиг. 36 - пример масштабируемого кодирования с помощью отношения сигнал/шум.

Фиг. 37 - пример конфигурации устройства уровневого кодирования изображения, к которому применяется настоящее раскрытие.

Фиг. 38 - пример конфигурации устройства кодирования уровневого устройства декодирования изображения, к которому применяется настоящее раскрытие.

Фиг. 39 - пример конфигурации телевизионного устройства, к которому применяется настоящее раскрытие.

Фиг. 40 - пример конфигурации мобильного устройства, к которому применяется настоящее раскрытие.

Фиг. 41 - пример конфигурации устройства записи и воспроизведения, к которому применяется настоящее раскрытие.

Фиг. 42 - пример конфигурации устройства получения изображения, к которому применяется настоящее раскрытие.

Фиг. 43 - блок-схема другого примера применения масштабируемого кодирования.

Фиг. 44 - блок-схема другого примера применения масштабируемого кодирования.

Фиг. 45 - блок-схема еще одного другого примера применения масштабируемого кодирования.

Фиг. 46 - пример конфигурации видеокомплекта, к которому применяется настоящее раскрытие.

Фиг. 47 - пример конфигурации видеопроцессора, к которому применяется настоящее раскрытие.

Фиг. 48 - другой пример конфигурации видеопроцессора, к которому применяется настоящее раскрытие.

Осуществление изобретения

Ниже описываются варианты осуществления, соответствующие настоящему раскрытию, (здесь далее упоминаемые как варианты осуществления). Порядок, в котором предоставляются описания, является следующим.

0. Краткие сведения

1. Первый вариант осуществления (устройство кодирования или устройство декодирования)

2. Второй вариант осуществления (компьютер)

3. Третий вариант осуществления (устройство многопроекционного кодирования изображения или устройство многопроекционного декодирования изображения)

4. Четвертый вариант осуществления (устройство уровневого кодирования изображения или устройство уровнего декодирования изображения)

5. Пятый вариант осуществления (телевизионное устройство)

6. Шестой вариант осуществления (мобильный телефон)

7. Седьмой вариант осуществления (устройство записи/воспроизведения)

8. Восьмой вариант осуществления (устройство получения изображения)

9. Пример применения масштабируемого кодирования

10. Прочие примеры

0. Краткие сведения

Схема кодирования

Настоящий способ описывается ниже, основываясь на примере, в котором настоящяя технология применяется для кодирования/декодирования изображения по схеме HEVC (High Efficiency Video Coding, видеокодирование высокой эффективности).

Описание блока кодирования

На фиг. 1 представлена схема для описания блока кодирования ((CU) в схеме HEVC.

Поскольку схема HEVC предназначена также для представления изображения в крупноразмерном кадре картинки, таком как Ultra High Definition (UHD, ультравысокое разрешение) 4000*2000 пикселей, она не оптимальна для фиксации размера блока кодирования на уровне 16*16 пикселей. Поэтому, в схеме HEVC CU определяется как блок кодирования.

CU играет ту же самую роль, что и макроблок в схеме AVC. Конкретно, CU делится на PU или делится на TU.

Однако, размер CU является квадратом, что выражается количеством пикселей в степени 2, которая является переменной для каждой последовательности. Конкретно, CU устанавливается посредством деления LCU, то есть, CU максимального размера, произвольного количества, умноженного на 2 в горизонтальном направлении и в вертикальном направлении таким образом, что LCU, который является CU максимального размера, не становится меньше, чем наименьший блок кодирования (smallest coding unit, SCU), который является CU минимального размера. То есть, размер CU является размером на произвольном уровне иерархии, что приводит в результате к тому, что, когда деление на уровни выполняется в такой манере до тех пор, пока LCU не станет SCU, размер верхнего уровня иерархии равняется 1/4 от размера нижнего уровня иерархии.

Например, как показано на фиг. 1, размер LCU равен 128, а размер SCU равен 8. следовательно, глубина иерархии LCU составляет от 0 до 4 и количество глубин иерархии равно 5. То есть, количество разов деления, соответствующих CU, равно 0-4.

Кроме того, информация, назначающая размеры LCU и SCU содержится в SPS. Дополнительно, количество разов деления, соответствующее CU, назначается флагом split_flag, указывающим, выполняется ли в дальнейшем деление на каждом уровне иерархии. CU подробно описывается в NPL 1.

Размер TU может назначаться, используя флаг split_transmform_flag, подобный флагу split_flag в случае CU. Максимальное количество разов деления TU во время межблочного предсказания и максимальное количество разов деления TU во время внутриблочного предсказания назначаются посредством SPC как max_transform_hierarchy_depth_inter и max_transform_hierarchy_depth_intra, соответственно.

Дополнительно, в настоящем описании блок дерева кодирования (coding tree unit, CTU) устанавливается так, чтобы содержать блок дерева кодирования LCU и параметр, который используется, когда обработка выполняется на базовом (уровне) LCU. Дополнительно, CU, который образует CTU, устанавливается так, чтобы содержать блок кодирования (СВ) и параметр, который используется, когда обработка выполняется на базовом (уровне) LCU.

Выбор режима

В этой связи, выбор подходящего режима предсказания является важным для осуществления повышенной эффективности кодирования в схемах кодирования AVC и HEVC.

На способ, встроенный в справочное программное обеспечение (доступно в публичной области по адресу http://iphome.hhi.de/suehring/tml/index.htm) для H.264/MPEG-4 AVC, именуемый как совместная модель (Joint Model, JM), можно ссылаться, например, в качестве способа выбора.

В JM можно выбрать два типа способа определения режима, а именно, режим высокой сложности и режим низкой сложности, которые описываются ниже. В любом из режимов вычисляют значение функции стоимости, связанное с каждым режимом предсказания, и выбирают режим предсказания, минимизирующий вычисленное значение функции стоимости, в качестве режима, оптимального для блока и макроблока.

Функция стоимости в режиме высокой сложности выражается следующей формулой (1).

Здесь "Ω" представляет универсальный набор возможных режимов для кодирования блока или макроблока и "D" представляет энергетическую разницу между декодированным изображением и входным изображением, когда кодирование выполняется в режиме предсказания. "λ" является неопределенным множителем Лагранжа, который применяется в качестве функции параметра квантования. "R" является общим значением кодирования, выполняемого в режиме, который содержит коэффициент ортогонального передачи.

Другими словами, если кодирование выполняется в режиме высокой сложности, поскольку параметры D и R должны быть вычислены, необходимо выполнить процесс временного кодирования один раз во всех возможных режимах и, таким образом, необходим более высокий объем вычислений.

Функция стоимости в режиме низкой сложности выражается следующей формулой (2).

Здесь, в отличие от случая режима высокой сложности, D является разностью в энергии между изображением предсказания и входным изображением. "QP2Quant (QP)" задается как функция параметра QP квантования и "HeaderBit" указывает общий объем кодирования, связанный с информацией, принадлежащей заголовку, такой как вектор движения или режим. "Headerbit" не содержит коэффициент ортогонального передачи.

То есть, в режиме низкой сложности в каждом возможном режиме должен выполняться процесс предсказания, но поскольку процесс предсказания для декодированного изображения не должен выполняться, процесс кодирования также не должен выполняться. По этой причине, можно реализовать меньший объем вычислений, чем в режиме высокой сложности.

Передача rep_format

При этом, схемы кодирования изображения, такие как MPEG-2 или AVC, обладают функцией масштабируемости, в которой изображение иерархически делится на многочисленные уровни и многоуровневое изображение кодируется.

То есть, например, можно передавать информацию о сжатии изображения только на базовом уровне терминалу, который имеет ограниченные возможности обработки, такому как мобильный телефон. Альтернативно, можно передавать информацию о сжатии изображения на улучшенном уровне в дополнение к информации на базовом уровне, терминалу, имеющему высокие возможности обработки, такому как телевизионный приемник или персональный компьютер, который воспроизводит движущееся изображение, имеющее низкую пространственную и временную разрешающую способность, или имеющее низкое качество. Альтернативно, возможно передавать от сервера информацию о сжатии изображения, которая зависит от возможностей терминала или сети, как в случае, когда движущееся изображение, имеющее высокую пространственную и временную разрешающую способность или имеющее высокое качество, воспроизводится без выполнения процесса передачи кода.

При масштабируемом расширении (SHVC) или MV-HEVC, связанном с таким HEVC, поскольку общее представление о битовом потоке может стать понятным только в VPS, обеспечивается структура, в которой информация о разрешающей способности (rep_format) на каждом улучшенном уровне описывается в VPS_EXT (синтаксис расширения набора параметров Video_parameter).

Например, два типа способа отображения улучшенного уровня и информации о разрешающей способности друг на друге являются следующими. То есть, первый тип является способом указания значения для каждого уровня с помощью VPS_EXT. Второй тип является способом указания информации окончания передачи rep_format с помощью набора параметров последовательности (SPS) улучшенного уровня и переписывания информации VPS с помощью VPS_EXT. Ниже описывается пример, приведенный в NPL 1.

Пример синтаксиса VPS_EXT

На фиг. 2 приведен пример синтаксиса VPS_EXT. В примере, показанном на фиг. 2, если значение rep_format_idx_present_flag в первой строке равно 1, то далее, количество rep_format, которые должны посылаться, устанавливается как vps_num_rep_formats_minus1. То есть, rep_format_idx_present_flag является информацией, указывающей, существует ли соотношение соответствия между информацией о разрешающей способностью и улучшенным уровнем.

В цикле в четвертой строке установлено столько rep_format, сколько указано посредством vps_num_rep_formats_irimus1, в следующем цикле в седьмой строке установлено vps_rep_format_idx[i], что является индексом, указывающим, какой уровень использует какой rep_format.

Пример синтаксиса SPS

На фиг. 3 показан пример синтаксиса SPS, связанного с RBSP. В примере, показанном на фиг. 3, на всех улучшенных уровнях, если флаг update_rep_format_flag во второй строке равен 1, этот индекс указывает, что индекс, который установлен в VPS посредством sps_rep_format_idx в четвертой строке, может быть изменен.

Семантики VPS и SPS

На фиг. 4 представлены семантики VPS, показанного на фиг. 2, и семантики SPS, показанного на фиг. 3.

Чтобы подвести итоги, в описаниях для синтаксиса, описанного выше, и семантик, показанных на фиг. 5, в случае, когда флаг rep_format_idx_present_flag равен 0, количество Rep_formats должно быть таким же, как количество уровней. Дополнительно, передача индекса для каждого уровня не приводится. То есть, если количество уровней равно 3, то должны быть переданы три Rep_format.

С другой стороны, когда в SPS флаг update_rep_format_flag равен 1, возможно переписывание соотношения соответствия.

В этом месте, если это соотношение определяется в VPS, когда уровень > 0, заметим, что Rep_format, на который должна делаться ссылка, может быть обновлен в SPS. Другими словами, в VPS может быть определено только соотношение по умолчанию.

Затем, как показано на фиг. 6, в случае, когда флаг rep_format_idx_present_flag равен 1 и количество Rep_format равно 2 или больше, индекс преобразуется для каждого уровня. Уровень 0 (базовый уровень) фиксируется на нулевом Rep_format. Кроме того, не существует ограничения на количество Rep_format (максимальное значение равно 256).

Хотя это делается повторно, но затем в VPS это соотношение определяется, когда уровень > 0, и Rep_format может обновляться в SPS.

Кроме того, как показано на фиг. 7, в случае, когда флаг rep_format_idx_present_flag равен 1 и количество Rep_format равно только единице, преобразование индекса для каждого уровня пропускается. То есть, все уровни фиксируются на нулевом Rep_format. В этом случае, флаг rep_format_idx_present_flag не предназначается для кодирования и желаемое преобразование rep_format_idx_present_flag является избыточным.

Краткое описание настоящей технологии

Соотношение между количеством Rep_format и количеством уровней, описанное выше, является точно совпадающим с соотношением соответствия. В отличие от этого, в соответствии с настоящей технологией, в случае, когда количество Rep_format больше, чем количество уровней, определение соотношения соответствия между Rep_format и уровнем начинается с ведущего Rep_format, как показано на фиг. 8.

Дополнительно, как показано на фиг. 9, даже если количество Rep_format меньше, чем количество уровней, определение соотношения соответствия между Rep_format и уровнем начинается с ведущего Rep_format. Кроме того, в случае, когда присутствуют многочисленные кандидаты и количество уровней равно или больше, чем количество многочисленных кандидатов, существует автоматическое отображение между кандидатами и уровнями.

В качестве примера, показан случай, в котором уровень 0 относится к Rep_format 0, а уровень 1 и уровень 2 относятся к Rep_format 1. Однако, уровень 0 и уровень 1 могут устанавливаться так, чтобы относиться к Rep_format 0 и уровень 2 может устанавливаться так, чтобы относиться к Rep_format 1. Кроме того, если уровни и Rep_format сответствуют друг другу в восходящем порядке номеров уровней, может быть возможным любое соответствие.

Как описано выше, случай, когда флаг Rep_format_idx_present_flag равен 0, наступает без ограничения, что количество Rep_format и количество уровней должны быть одинаковы. Поэтому, степень свободы, с которой отображаются Rep_format и количество уровней, повышается.

Дополнительно, разрешающую способность, которая не определяется в VPS, трудно изменить в середине последовательности. VPS должен посылаться еще раз. Поэтому все разрешающие способности в VPS должны быть размещены. В таком случае, как описано выше, когда кандидат и уровень автоматически отображаются друг на друге, это является эффективным.

Затем, в случае, когда количество Rep_format равно только 1, поскольку преобразование Rep_format_idx_present_flag является избыточным, порядок передачи и условие передачи меняются. В частности, как показано на фиг. 10, преобразование vps_num_rep_formats_minus 1 делается обязательным и индекс для отображения устанавливается для передачи, только когда это более необходимо.

То есть, как показано в синтаксисе в нижней части фиг. 10, преобразование vps_num_rep_formats_minus 1 делается обязательно и флаг rep_format_idx_present_flag, который присутствует впереди VPS на фиг. 2, помещается после условной фразы vps_num_rep_formats_minus 1> 0.

Кроме того, как показано на фиг. 11, только в случае, когда Rep_format равен 1, обновление SPS запрещается. Конкретно, ограничение, что update_rep_format_flag = 0 вводится в SPS.

Пример синтаксиса VPS, соответствующего настоящей технологии

На фиг. 12 показан пример синтаксиса VPS, соответствующего настоящей технологии. Как описано со ссылкой на фиг. 10, vps_num_rep_formats_minus 1 располагается в верхней части VPS, преобразование vps_num_rep_formats_minus 1 делается обязательно и флаг rep_format_idx_present_flag, который присутствует впереди VPS на фиг. 2, помещается после условной фразы vps_num_rep_formats_minus 1> 0.

Пример синтаксиса SPS, соответствующего настоящей технологии

На фиг. 13 показан пример синтаксиса SPS, соответствующего настоящей технологии. В случае, когда количество Rep_format's равно 1, не существует пунктов различий, в частности, в отношении SPS. Кроме того, как показано на фиг. 11, только в случае, когда Rep_format равен 1, ограничение update_rep_format_flag = 0 вводится в SPS.

Пример семантики, соответствующей настоящей технологии

На фиг. 14 показан пример семантики для VPS и SPS, соответствующей настоящей технологии. В примере на фиг. 14 семантики отличаются от семантик в примере на фиг. 4 тем, что места, где присутствуют белые символы на окрашенном фоне, являются пунктами, соответствующими настоящей технологии. То есть, когда информация отображения не посылается, то, как сторона декодера делает оценку, ясно устанавливается из этих пунктов.

То есть, vps_num_rep_formats_minus 1 для VPS является таким же, как в примере на фиг. 4. Пример на фиг. 14 отличается от примера на фиг. 4 в том, что когда rep_format_idx_present_flag не присутствует, значение rep_format_idx_present_flag равно 0.

Пример на фиг. 14 отличается от примера на фиг. 4 в том, что если vps_rep_format_idx[i] не присутствует, значение vps_rep_format_idx[i] равно 0, когда rep_format_idx_present_flag равен 1 и i меньше, чем vps_num_rep_formats_minus 1, когда rep_format_idx_present_flag равен 0.

Пример на фиг. 14 отличается от примера на фиг. 4 в том, что для update_rep_format_flag в SPS, если значение vps_num_rep_formats_minus 1 в VPS, который является целью обработки, равно 0, значение update_rep_format_flag равно 0.

Далее конкретные примеры описываются со ссылкой на фиг. 15-17.

В примере на фиг. 15, в случае масштабирования SNR и масштабирования проекции, все уровни (3 уровня), в основном, имеют одну и ту же разрешающую способность. Кроме того, в примерах, показанных на фиг. 15-17, способ 3 представляет способ, соответствующий настоящей технологии.

В случае способа 1, когда rep_format_idx_present_flag равне 1, значение vps_num_rep_formats_minus 1 равно 0, один фрагмент информации равен W*H. В этот момент сторона декодирования оценивает, что уровни 1 и 2 также используют 0-ой фрагмент информации.

В случае способа 2, когда rep_format_idx_present_flag равен 0, поскольку информация о том, сколько фрагментов информации следует посылать, равна количеству уровней, то поэтому информацией является MaxLayersMinus 1 = 3 - 1 = 2. Затем, каждое значение (W*H) выводится в порядке, который может устанавливаться и на который каждый уровень может ссылаться.

В отличие от этого, в случае способа 3 (настоящая технология), поскольку представляется только один фрагмент информации разрешающей способности, значение vps_num_rep_formats_minus 1 равно 0. Дополнительно, когда значение vps_num_rep_formats_minus1 равно 0, rep_format_idx_present_flag не должен преобразовываться. То есть, поскольку нет необходимости посылать rep_format_idx_present_flag, этот один бит не должен посылаться.

В примере, показанном на фиг. 16, уровень 1 и уровень 2 предназначены для масштабируемости SNR и имеют одинаковую разрешающую способность 2W*2H, и, в отношении уровня 1 и уровня 2, уровень 0 предназначен для пространственной масштабируемости и имеет разрешающую способность w*H.

В случае способа 1, посылаются два фрагмента информации (W*H и 2W*2H). Поскольку vps_rep_format_idx [0] является таким же, как нулевой rep_format, то ничего не посылается и vps_rep_format_idx [1] и vps_rep_format_idx [2] сигнализируются как 1.

В случае способа 2, значение vps_num_rep_formats_minus 1 равно 0. Хотя это и является избыточным, информация должна посылаться три раза, то есть, должны посылаться три фрагмента информации w*H и 2W*2H*2. Однако, информация отображения может не посылаться.

В случае способа 3 (настоящая технология), поскольку представляются только 2 фрагмента информации, которые должны посылаться, значение vps_num_rep_formats_minus1 устанавливается равным 1. Поскольку информация отображения может быть оценена, информация отображения может устанавливаться на 0. Поэтому количество преобразований снижается.

В случае, показанном на фиг. 17, для пространственного масштабирования предназначаются два уровня. Уровень 0 имеет разрешающую способность w*H, а уровень 1 имеет разрешающую способность 2w*2H. Кроме того, в случае, примера, показанного на фиг. 17, в дополнение к двум типам разрешающей способности доступна разрешающая способность 3w*3H, обладающая возможностью изменения по ходу дела.

В способе 1, rep_format_idx_present_flag должен устанавливаться равны 1. Аналогично способу 2, когда rep_format_idx_present_flag = 0, поскольку доступны три фрагмента информации о разрешающей способности, но доступны только два уровня, соответствие не устанавливается.

В способе 3 (настоящая технология), преобразование, конечно, выполняется с rep_format_idx_present_flag = 1. Однако, поскольку может существовать больше фрагментов информации о разрешающей способности, преобразование может выполняться с rep_format_idx_present_flag, устанавливаемым на 0.

Как описано выше, отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено. Соответственно, отображение между улучшенным уровнем и информацией о разрешающей способности может устанавливаться гибким способом и возможна эффективная приспосабливаемость к приложениям.

То есть, поскольку VPS содержит информацию, крайне необходимую для телевизионного сообщения, такую как информация о разрешающей способности или информация о битовой глубине, VPS используется в сеансе переговоров.

Декодеры, обладающие различными характеристиками, обмениваются друг с другом фрагментами информации о возможностях обработки, чтобы при осуществлении связи осуществлять связь в подходящем формате. Этот обмен фрагментами информации упоминается как сеанс переговоров. В целом, сеансы переговоров, содержащие один сеанс во время связи, выполняются многократно между множеством устройств. Сеанс переговоров выполняется во время связи, также чтобы разрешить отклонение в полосе передачи и т.п.

Когда количество параметров возрастает, как в случае VPS + SPS и т.п., количество битов, необходимых для переговоров за один раз увеличивается и это оказывает большое влияние на сам процесс и на полосу.

Уменьшение количества фрагментов информации, которая должна посылаться в VPS в соответствии с настоящей технологией, может быть эффективным, что описано выше.

Далее описывается пример, в котором настоящая технология, описанная выше, применяется к конкретным устройствам.

Первый вариант осуществления

Пример конфигурации устройства кодирования, соответствующего первому варианту осуществления

На фиг. 18 приведена блок-схема примера конфигурации устройства кодирования, соответствующего первому варианту осуществления, к которому применяется настоящее раскрытие.

Устройство 10 кодирования, показанное на фиг. 18, состоит из блока 11 установки, блока 12 кодирования и блока 13 передачи и кодирует изображение, используя схему, соответствующую схеме HEVC.

Конкретно, блок 11 установки устройства 10 кодирования устанавливает VPS, SPS и т.п. Блок 11 установки подает наборы параметров, такие как VPS, SPS, PPS, VUI, SEI и т.п., которые установлены, на блок 12 кодирования.

Изображения блоками кадров вводятся в блок 12 кодирования. Блок 12 кодирования кодирует изображение, которое вводится, используя схему в соответствии со схемой HEVC, обращаясь к наборам параметров, подаваемым от блока 11 установки. Блок 12 кодирования формирует кодированный поток из кодированных данных, полученных в результате кодирования и из наборов параметров, и подает сформированный кодированный поток на блок 13 передачи.

Блок 13 передачи передает кодированный поток, подаваемый от блока 12 кодирования устройству декодирования, которое описывается ниже.

Пример конфигурации блока кодирования

На фиг. 19 приведена блок-схема примера конфигурации блока 12 кодирования, показанного на фиг. 18.

Блок 12 кодирования, показанный на фиг. 19, имеет блок 31 аналогово-цифрового (A/D) преобразования, буфер 32 перегруппировки экрана, блок 33 арифметических операций, блок 34 ортогонального преобразования, блок 35 квантования, блок 36 инверсного кодирования, накопительный буфер 37, блок 38 инверсного квантования, блок 39 инверсного ортогонального преобразования и блок 40 сумматора. Дополнительно, блок 12 кодирования изображений содержит деблокирующий блок 41, фильтр 42 адаптивного смещения, кадровую память 44, переключатель 45, блок 46 внутрикадрового предсказания, блок 47 предсказания/компенсации движения, блок 48 выбора предсказанного изображения и блок 49 управления частотой.

Блок 31 A/D преобразования блока 12 кодирования производит A/D-преобразование изображений в блоки кадров, которые вводятся в качестве объектов кодирования. Блок 31 A/D-преобразования выводит изображение, являющееся цифровым сигналом, полученным после преобразования, в буфер 32 перегруппировки экрана для хранения.

Буфер 32 перегруппировки экрана перегруппирует хранящиеся изображения в блоках кадров, которые следуют в порядке отображения, в порядок кодирования, соответствующий структуре GOP. Буфер 32 перегруппировки экрана выводит изображения после перегруппировки на блок 33 арифметических операций, блок 46 внутрикадрового предсказания и на блок 47 предсказания/компенсации движения.

Блок 33 арифметических операций выполняет кодирование, вычитая предсказанное изображение, поданное от блока 48 выбора предсказанного изображения, из изображения, подаваемого от буфера 32 перегруппировки экрана. Блок 33 арифметических операций выводит изображение, получаемое в результате кодирования, как информацию об остатке (разности), на блок 34 ортогонального преобразования. Кроме того, в случае, когда предсказанное изображение не подается от блока 48 выбора предсказанного изображения, блок 33 арифметических операций выводит изображение, считанное из буфера 32 перегруппировки экрана, в качестве остаточной информации на блок 34 ортогонального преобразования.

Блок 34 ортогонального преобразования выполняет в единицах TU процесс ортогонального преобразования информации на остатке, полученном от блока 33 арифметических операций. После процесса ортогонального преобразования блок 34 ортогонального преобразования подает результат процесса ортогонального преобразования на блок 35 квантования.

Блок 35 квантования квантует результат процесса ортогонального преобразования, который подается от блока 34 ортогонального преобразования. Блок 35 квантования подает порог квантования, полученный в результате квантования, на блок 36 инверсного квантования.

Блок 36 инверсного кодирования получает информацию, указывающую оптимальный режим, (здесь далее упоминаемую как информация о режиме внутрикадрового предсказания), от блока 46 внутрикадрового предсказания. Дополнительно, блок 36 инверсного кодирования получает информацию, указывающую информацию, представляющую оптимальный режим межкадрового предсказания (здесь далее упоминаемую как информация о режиме межкадрового предсказания), вектор движения и опорное изображение и т.п., от блока 47 предсказания/компенсации движения.

Дополнительно, блок 36 инверсного кодирования получает информацию фильтра смещения, относящуюся к фильтру смещения, от фильтра 42 адаптивного смещения и получает коэффициент фильтра от адаптивного фильтра 43 смещения.

Блок 36 инверсного кодирования выполняет инверсное кодирование порога квантования, который подается от блока 35 квантования, такое как кодирование переменной длины (например, CAVLC (Context-Adaptive Variable Length Coding, контекстно адаптированное кодирование переменной длины)) или двоичное арифметическое кодирование (например, САВАС (Context-Adaptive Binary Arithmetic Coding, контекстно адаптированное двоичное арифметическое кодирование) и т.п.

Дополнительно, блок 36 инверсного кодирования инверсно кодирует информацию, указывающую информацию режима внутрикадрового предсказания или информацию режима межкадрового предсказания, вектор движения и опорное изображение, информацию фильтра смещения и коэффициент фильтра в качестве кодированной информации, относящейся к кодированию. Блок 36 инверсного кодирования подает кодированную информацию и инверсно кодированный порог квантования в качестве кодированных данных в накопительный буфер 37 для накопления.

Кроме того, инверсно кодированная информация может устанавливаться так, чтобы быть информацией заголовка (например, заголовком среза) инверсно кодированного порога квантования.

Накопительный буфер 37 временно хранит кодированные данные, поданные от блока 36 инверсного кодирования. Дополнительно, накопительный буфер 37 подает хранящиеся кодированные данные в виде кодированного потока на блок 13 передачи вместе с набором параметров, который подается от блока 11 установки, показанного на фиг. 18.

Дополнительно, порог квантования, который выводится из блока 35 квантования, также вводится на блок 38 инверсного квантования. Блок 38 инверсного квантования инверсно квантует порог квантования. Блок 38 инверсного квантования подает результат процесса ортогонального преобразования, который является результатом инверсного квантования, на блок 39 инверсного ортогонального преобразования.

Блок 39 инверсного ортогонального преобразования выполняет в блоках TU процесс инверсного ортогонального преобразования на результате процесса ортогонального преобразования, который подается от блока 38 инверсного квантования. В качестве схемы инверсного ортогонального преобразования существуют, например, инверсное дискретное косинусное преобразование (IDCT) и инверсное дискретное синусное преобразование (IDST). Блок 39 инверсного ортогонального преобразования подает информацию об остатке, который получен в результате процесса инверсного ортогонального преобразования, на блок 40 сумматора.

Блок 40 сумматора складывает информацию об остатке, поданную от блока 39 инверсного ортогонального преобразования, и предсказанное изображение, поданное от блока 48 выбора предсказанного изображения, и выполняет декодирование. Блок 40 сумматора подает декодированное изображение на деблокирующий фильтр 41 и кадровую память 44.

Деблокирующий фильтр 41 выполняет процесс адаптивного деблокирующего фильтра для удаления блочного искажения декодированного изображения, которое подается от блока 40 суммирования, и подает изображение, полученное в результате процесса деблокирующего фильтра на фильтр 42 адаптивного смещения.

Фильтр 42 адаптивного смещения выполняет процесс фильтра адаптивного смещения (sample adaptive offset, адаптивного смещения выборки, SAO), который удаляет, главным образом, "звон" на изображении, на котором процесс адаптивного деблокирующего фильтра уже был выполнен деблокирующим фильтром 41.

Конкретно, фильтр 42 адаптивного смещения определяет тип процесса фильтрации адаптивного смещения для каждого наибольшего блока кодирования LCU (Largest Coding Unit, LCU) и получает смещение, которое используется в процессе фильтрации адаптивного смещения. Фильтр 42 адаптивного смещения выполняет определенный тип процесса фильтрации адаптивного смещения на изображении, на котором процесс адаптивной деблокирующей фильтрации уже был выполнен, используя полученное смещение.

Фильтр 42 адаптивного смещения подает изображение после процесса фильтрации адаптивного смещения на адаптивный контурный фильтр 43. Дополнительно фильтр 42 адаптивного смещения подает тип процесса фильтрации адаптивного смещения, который выполняется, и информацию, указывающую смещение, в качестве информации фильтра смещения на блок 36 инверсного кодирования.

В адаптивном контурном фильтре 43 используется, например, двумерный фильтр Винера. Для каждого LCU адаптивный контурный фильтр 43 выполняет, например, процесс адаптивной контурной фильтрации (adaptive loop filter, ALF) на изображении, для которого процесс фильтрации адаптивного смещения уже выполнялся и которое подается от фильтра 42 адаптивного смещения.

Конкретно, для каждого LCU адаптивный контурный фильтр 43 вычисляет коэффициент фильтра, используемый в процессе адаптивной контурной фильтрации, так что остаточная разность между оригинальным изображением, являющимся изображением с выхода буфера 32 перегруппировки экрана, и изображением, на котором уже выполнен процесс адаптивной контурной фильтрации, минимизируется. Затем для каждого LCU адаптивный контурный фильтр 43 выполняет процесс адаптивной контурной фильтрации для изображения, на котором процесс фильтрации адаптивного смещения уже был выполнен, используя вычисленный коэффициент фильтра.

Адаптивный контурный фильтр 43 подает изображение, для которого процесс адаптивной контурной фильтрации уже был выполнен, в кадровую память 44. Дополнительно, адаптивный контурный фильтр 43 подает коэффициент фильтра, который используется в процессе адаптивной контурной фильтрации, на блок 36 инверсного кодирования.

Кроме того, в этот момент процесс адаптивной контурной фильтрации устанавливается так, чтобы выполняться для каждого LCU, но блок обработки процесса адаптивной контурной фильтрации не ограничивается LCU. Однако, процесс может эффективно выполняться, объединяя вместе блоки фильтра 42 адаптивного смещения и адаптивного контурного фильтра 43.

Кадровая память 44 накапливает изображение, поданное от адаптивного контурного фильтра 43, и изображение, поданное от блока 40 сумматора. Изображение, соседствующее с блоком предсказания (PU), из числа изображений, накопленных в кадровой памяти 44, на которых не выполнен процесс фильтрации, подается в качестве соседнего изображения на блок 46 внутрикадрового предсказания через переключатель 45. С другой стороны, изображение, накопленное в кадровой памяти 44, на котором выполняется процесс фильтрации, выводится в качестве опорного изображения на блок 47 предсказания/компенсации движения через переключатель 45.

Блок 46 внутрикадрового предсказания выполняет процесс внутрикадрового предсказания для всех режимов внутрикадрового предсказания, которые возможны, в блоках PU, используя соседнее изображение, считанное из кадровой памяти 44 через переключатель 45.

Дополнительно, блок 46 внутрикадрового предсказания вычисляет значение функции стоимости (которая ниже будет описана подробно) для всех режимов внутрикадрового предсказания, которые возможны, основываясь на изображении, считанном из буфера 32 реорганизации кадров, и на предсказанном изображении, сформированном в результате процесса внутрикадрового предсказания. Затем блок 46 внутрикадрового предсказания определяет режим внутрикадрового предсказания, в котором значение функции стоимости является минимальным, в качестве оптимального режима внутрикадрового предсказания.

Блок 46 внутрикадрового предсказания подает изображение предсказания, сформированное в оптимальном режиме внутрикадрового предсказания, и соответствующее значение функции стоимости на блок 48 выбора изображения предсказания. В случае, когда блок 48 выбора изображения предсказания уведомляет, что выбрано изображение предсказания, сформированное в оптимальном режиме внутрикадрового предсказания, блок 46 внутрикадрового предсказания подает информацию о режиме внутрикадрового предсказания на блок 36 инверсного кодирования. Кроме того, режим внутрикадрового предсказания является режимом, в котором указываются размер PU, направление предсказания и т.д.

Блок 47 предсказания/компенсации движения выполняет процесс предсказания/компенсации движения для всех режимов межкадрового предсказания, которые возможны в блоках PU. Конкретно, блок 47 предсказания/компенсации движения обнаруживает в блоках PU векторы движения во всех возможных режимах межкадрового предсказания, основываясь на изображении, поданном от буфера 32 реорганизации экрана, и на опорном изображении, считанном из кадровой памяти 44 через переключатель 45. Затем блок 47 предсказания/компенсации движения выполняет в блоках PU процесс компенсации для опорного изображения, основываясь на векторе движения, и формирует изображение предсказания.

В этом случае, блок 47 предсказания/компенсации движения вычисляет значения функции стоимости для всех возможных режимов межкадрового предсказания, основываясь на изображении, поданном от буфера 32 реорганизации экрана, и изображении предсказания, и определяет режим межкадрового предсказания, для которого значение функции стоимости является минимальным, в качестве оптимального режима межкадрового предсказания. Затем блок 47 предсказания/компенсации движения подает значение функции стоимости для оптимального режима межкадрового предсказания и соответствующее изображение предсказания на блок 48 выбора изображения предсказания. Дополнительно, в случае, когда блок 48 выбора изображения предсказания уведомляет, что выбрано изображение предсказания, сформированное в оптимальном режиме межкадрового предсказания, блок 47 предсказания/компенсации движения выводит информацию, которая указывает информацию о режиме межкадрового предсказания, соответствующий вектор движения и опорное изображение и т.п. на блок 36 инверсного кодирования. Кроме того, режим межкадрового предсказания является режимом, в котором указываются размер PU и т.д.

Блок 48 выбора изображения предсказания определяет в качестве оптимального режима предсказания режим, для которого соответствующее значение функции стоимости мало, из числа оптимального режима внутрикадрового и оптимального режима межкадрового предсказания, основываясь на значениях функции стоимости, полученных от блока 46 внутрикадрового предсказания и блока 47 предсказания/компенсации движения. Затем блок 48 переключения изображения предсказания подает изображение предсказания в оптимальном режиме предсказания на блок 33 арифметических операций и на блок 40 сумматора. Дополнительно, блок 48 выбора изображения предсказания уведомляет блок 46 внутрикадрового предсказания или блок 47 предсказания/компенсации движения о выборе изображения предсказания в оптимальном режиме предсказания.

Блок 49 управления частотой управляет частотой, с которой блок 35 квантования выполняет операцию квантования таким способом, что переполнение или неполное заполнение не происходит, основываясь на кодированных данных, накопленных в накопительном буфере 37.

Описание обработки устройством кодирования

На фиг. 20 представлена блок-схема последовательности выполнения операций процесса формирования потока устройством 10 кодирования, показанным на фиг. 18.

На этапе S11 на фиг. 20 блок 11 установки устройства 10 кодирования устанавливает набор параметров, такой как VPS или SPS. Блок 11 установки подает набор параметров, который установлен, в блок 12 кодирования. Процесс установки подробно описывается со ссылкой на последующий фиг. 21.

На этапе S12 блок 12 кодирования выполняет процесс кодирования для кодирования изображений, которые вводятся извне в соответствии со схемой HEVC. Процесс кодирования описывается подробно со ссылкой на последующие фиг. 22 и 23.

На этапе S13 накопительный буфер 37 (на фиг. 19) блока 12 кодирования формирует кодированный поток из набора параметров, который подается от блока 11 установки, и кодированные данные накапливаются и сформированный кодированный поток подается на блок 13 передачи.

На этапе S14 блок 13 передачи передает кодированный поток, поданный от блока 11 установки, на устройство 110 декодирования, которое будет описано ниже, и заканчивает процесс.

Далее процесс установки параметров на этапе S11 на фиг. 20 описывается подробно со ссылкой на фиг. 21.

На этапе S31 блок 11 установки, показанный на фиг. 18, устанавливает vps_num_rep_formats_minus 1. Блок 11 установки выполняет установку на этапе S32 таким образом, что i = 0, и на этапе S33 определяет, равно ли или меньше i, чем vps_num_rep_formate_minus 1. В случае, когда на этапе S33 определено, что i равно или меньше, чем vps_num_rep_formats_minus 1, процесс переходит к этапу S34.

Блок 11 установки на этапе S34 устанавливает i-ый rep_format() и выполняет i + + на этапе S35. После этого, процесс возвращается к этапу S33 и повторяет этап 33 и последующие этапы.

В случае, когда на этапе S33 определено, что i больше, чем vps_num_rep_formats_minus 1, процесс переходит к этапу S36.

На этапе S36 блок 11 установки определяет, является ли значение vps_num_rep_formats_minus 1 больше 0. В случае, когда на этапе S36 определено, что vps_num_rep_formats_minus 1 больше 0, на этапе S37 блок 11 установки устанавливает rep_format_idx_present_flag 1.

В случае, когда на этапе S36 определено, что vps_num_rep_formats_minus 1 равно или меньше 0, процесс на этапе S34 пропускается.

На этапе S38 блок 11 установки определяет, является ли значение vps_num_rep_formats_minus 1 равным 1. В случае, если на этапе S38 определено, что vps_num_rep_formats_minus 1 равно 1, блок 11 установки на этапе S39 выполняет установку таким образом, что индекс i = 1.

На этапе S40 определяется, равен ли или меньше индекс i, чем MaxLayersMinus 1. В случае, если на этапе S40 определено, что vps_num_rep_formats_minus 1 равно 1, блок 11 установки на этапе S41 выполняет установку vps_rep_format_idx[i]. В случае, когда на этапе S40 определено, что vps_num_rep_formats_minus 1 равно 1, на этапе S42 блок 11 установки выполняет установку таким образом, что i + +, и процесс возвращается к этапу S40 и повторяет этап S40 и последующие этапы.

С другой стороны, в случае, когда на этапе S38 определено, что vps_num_rep_formats_minus 1 не равно 1, и в случае, когда на этапе S40 определено, что i меньше, чем MaxLayersMinus 1, процесс установки набора параметров заканчивается и процесс возвращается к этапу S11 на фиг. 20.

Далее, на фиг. 22 и 23 подробно показаны блок-схемы последовательности выполнения операций процесса кодирования на этапе S12 на фиг. 20.

На этапе S61, показанном на фиг. 20, блок 31 A/D преобразования (фиг. 19) блока 12 кодирования производит A/D-преобразование изображений в блоки кадров, которые вводятся в качестве объектов кодирования. Блок 31 A/D-преобразования выводит изображение, являющееся цифровым сигналом, полученным после преобразования, в буфер 32 перегруппировки экрана для хранения.

На этапе S62 буфер 32 перегруппировки экрана перегруппирует хранящиеся изображения в блоках кадров, которые следуют в порядке отображения, в порядок кодирования, соответствующий структуре GOP. Буфер 32 перегруппировки экрана выводит изображения после перегруппировки в блоках кадров на блок 33 арифметических операций, блок 46 внутрикадрового предсказания и на блок 47 предсказания/компенсации движения.

На этапе S63 блок 46 внутрикадрового предсказания выполняет процесс внутрикадрового предсказания во всех возможных режимах внутрикадрового предсказания в блоках PU. Дополнительно, блок 46 внутрикадрового предсказания вычисляет значение функции стоимости в отношении всех возможных режимов внутрикадрового предсказания, основываясь на изображении, считанном из буфера 32 реорганизации экрана, и на изображении предсказания, сформированном в результате процесса внутрикадрового предсказания. Затем блок 46 внутрикадрового предсказания определяет режим внутрикадрового предсказания, в котором значение функции стоимости является минимальным, в качестве оптимального режима внутрикадрового предсказания. Блок 46 внутрикадрового предсказания подает изображение предсказания, сформированное в оптимальном режиме внутрикадрового предсказания, и соответствующее значение функции стоимости на блок 48 выбора изображения предсказания.

Дополнительно, блок 47 предсказания/компенсации движения выполняет процесс предсказания/компенсации движения для всех режимов межкадрового предсказания, которые возможны в блоках PU. Дополнительно, блок 47 предсказания/компенсации движения вычисляет значения функции стоимости для всех возможных режимов межкадрового предсказания, основываясь на изображении, поданном от буфера 32 реорганизации экрана, и изображении предсказания, и определяет режим межкадрового предсказания, для которого значение функции стоимости является минимальным, в качестве оптимального режима межкадрового предсказания. Затем блок 47 предсказания/компенсации движения подает значение функции стоимости для оптимального режима межкадрового предсказания и соответствующее изображение предсказания на блок 48 выбора изображения предсказания.

На этапе S64 блок 48 выбора изображения предсказания определяет как результат процесса на этапе S63 в качестве оптимального режима предсказания режим, для которого соответствующее значение функции стоимости является минимальным, из числа оптимального режима внутрикадрового и оптимального режима межкадрового предсказания, основываясь на значениях функции стоимости, полученных от блока 46 внутрикадрового предсказания и блока 47 предсказания/компенсации движения,. Затем блок 48 переключения изображения предсказания подает изображение предсказания в оптимальном режиме предсказания на блок 33 арифметических операций и на блок 40 сумматора.

На этапе S65 блок 48 выбора изображения предсказания определяет, является ли оптимальный режим предсказания оптимальным режимом межкадрового предсказания. В случае, когда на этапе S65 определено, что оптимальным режимом предсказания является режим межкадрового предсказания, блок 48 выбора изображения предсказания сообщает блоку 47 предсказания/компенсации движения о выборе изображения предсказания, сформированного в оптимальном режиме межкадрового предсказания.

Затем, на этапе S66 блок 47 предсказания/компенсации движения подает информацию, которая указывает информацию о режиме межкадрового предсказания, вектор движения и опорное изображение на блок 36 инверсного кодирования и процесс переходит к этапу S68.

С другой стороны, в случае, когда на этапе S65 определено, что оптимальный режим предсказания не является оптимальным режимом межкадрового предсказания, то есть, в случае, когда оптимальный режим предсказания является режимом внутрикадрового предсказания, блок 48 выбора изображения предсказания уведомляет блок 46 внутрикадрового предсказания о выборе изображения предсказания, сформированного в оптимальном режиме внутрикадрового предсказания. Затем, на этапе S67 блок 46 внутрикадрового предсказания подает информацию о режиме внутрикадрового предсказания на блок 36 инверсного кодирования и процесс переходит к этапу S68.

На этапе S68 блок 33 арифметических операций выполняет кодирование, вычитая изображение предсказания, поданное от блока 48 выбора изображения предсказания, из изображения, подаваемого из буфера 32 перегруппировки экрана. Блок 33 арифметических операций выводит изображение, получаемое в результате кодирования, как информацию об остатке, на блок 34 ортогонального преобразования.

На этапе S69 блок 34 ортогонального преобразования выполняет в блоках TU процесс ортогонального преобразования информации об остатке. После процесса ортогонального преобразования блок 34 ортогонального преобразования подает результат процесса ортогонального преобразования на блок 35 квантования.

На этапе S70 блок 35 квантования квантует результат процесса ортогонального преобразования, который подается от блока 34 ортогонального преобразования. Блок 35 квантования подает порог квантования, полученный в результате квантования, на блок 36 инверсного кодирования и на блок 38 инверсного квантования.

На этапе S71 блок 38 инверсного квантования выполняет инверсное квантование для порога квантования, полученного от блока 35 квантования. Блок 38 инверсного квантования подает результат процесса ортогонального преобразования, который является результатом инверсного квантования, на блок 39 инверсного ортогонального преобразования.

На этапе S72 блок 39 инверсного ортогонального преобразования выполняет в блоках TU процесс инверсного ортогонального преобразования на результате процесса ортогонального преобразования, который подается от блока 38 инверсного квантования. Блок 39 инверсного ортогонального преобразования подает информацию об остатке, который получен в результате процесса инверсного ортогонального преобразования, на блок 40 сумматора.

На этапе S73 блок 40 сумматора складывает информацию об остатке, полученную от блока 39 инверсного ортогонального преобразования, и изображение предсказания, полученное от блока 48 выбора изображения предсказания, и выполняет декодирование. Блок 40 сумматора подает декодированное изображение на деблокирующий фильтр 41 и кадровую память 44.

На этапе S74 деблокирующий фильтр 41 выполняет процесс деблокирующей фильтрации для декодированного изображения, которое подается от блока 40 сумматора. Деблокирующий фильтр 41 подает изображение, полученное в результате процесса деблокирующей фильтрации, на фильтр 42 адаптивного смещения.

На этапе S75 для каждого LCU фильтр 42 адаптивного смещения выполняет процесс фильтрации адаптивного смещения для изображения, поданного от деблокирующего фильтра 41. Фильтр 42 адаптивного смещения подает изображение, полученное в результате процесса фильтрации адаптивного смещения, на адаптивный контурный фильтр 43. Дополнительно, для каждого LCU фильтр 42 адаптивного смещения подает информацию фильтра смещения на блок 36 инверсного кодирования.

На этапе S76 для каждого LCU адаптивный контурный фильтр 43 выполняет процесс адаптивной контурной фильтрации для изображения, поданного от фильтра 42 адаптивного смещения. Адаптивный контурный фильтр 43 подает изображение, полученное в результате процесса адаптивной контурной фильтрации, в кадровую память 44. Дополнительно, адаптивный контурный фильтр 43 подает коэффициент фильтра, который используется в процессе адаптивной контурной фильтрации, на блок 36 инверсного кодирования.

На этапе S77 кадровая память 44 накапливает изображение, подаваемое от адаптивного контурного фильтра 43, и изображение, поданное от блока 40 сумматора. Изображение, соседствующее с блоком предсказания PU из числа изображений, накопленных в кадровой памяти 44, на которых не выполнен процесс фильтрации, подается в качестве соседнего изображения на блок 46 внутрикадрового предсказания через переключатель 45. С другой стороны, изображение, накопленное в кадровой памяти 44, на котором выполняется процесс фильтрации, выводится в качестве опорного изображения на блок 47 предсказания/компенсации движения через переключатель 45.

На этапе S78 блок 36 инверсного кодирования инверсно кодирует информацию, указывающую информацию режима внутрикадрового предсказания или информацию режима межкадрового предсказания, вектор движения и опорное изображение, информацию фильтра смещения и коэффициент фильтра, в качестве кодированной информации.

На этапе S79 блок 36 инверсного кодирования инверсно кодирует порог квантования, полученный от блока 35 квантования. Затем, блок 36 инверсного кодирования формирует кодированные данные из кодированной информации и порога квантования, которые инверсно кодируются на этапе S78, и подает сформированные кодированные данные в накопительный буфер 37.

На этапе S80 накопительный буфер 37 временно сохраняет кодированные данные, поданные от блока 36 инверсного кодирования.

На этапе S81 блок 49 управления частотой управляет частотой, с которой блок 35 квантования выполняет операцию квантования, основываясь на кодированных данных, накопленных в накопительном буфере 37, таким образом, что переполнение или неполное заполнение не происходит. Дополнительно, блок 49 управления скоростью подает параметр квантования сигнала освещенности и параметр квантования цветоразностного сигнала и ChromaQPOffset на блок 50 квантования цветоразностного сигнала. Затем процесс возвращается к этапу S12, показанному на фиг. 20, и переходит к этапу S13.

Кроме того, для упрощения, процесс внутрикадрового предсказания и процесс предсказания/компенсации движения описываются как типично выполняемые в процесс кодирования, показанном на фиг. 22 и 23, но в некоторых случаях, фактически выполняется только один из процессов, процесс внутрикадрового предсказания или процесс предсказания/компенсации движения, в зависимости от типа картинки и т.д.

Пример конфигурации устройства декодирования, соответствующего первому варианту осуществления

На фиг. 24 представлена блок-схема примера конфигурации устройства декодирования, соответствующего первому варианту осуществления, которое декодирует кодированный поток, передаваемый от устройства 10 кодирования, показанного на фиг. 20, и к которому применяется настоящее раскрытие.

Устройство 110 декодирования, показанное на фиг. 24, состоит из приемного блока 111, блока 112 извлечения и блока 113 декодирования.

Приемный блок 111 устройства 110 декодирования принимает кодированный поток, переданный от устройства 10 кодирования, показанного на фиг. 20, и подает принятый кодированный поток на блок 112 извлечения.

Блок 112 извлечения извлекает набор параметров, такой как VPS или SPS, и кодированные данные из кодированного потока, подаваемого от приемного блока 111, и подает результат извлечения на блок 113 декодирования.

Блок 113 декодирования декодирует кодированные данные, подаваемые от блока 112 извлечения, используя схему, соответствующую схеме HEVC. В этот момент блок 113 декодирования обращается также к набору параметров, который подается от блока 112 извлечения, когда это необходимо. Блок 113 декодирования выводит изображение, полученное в результате декодирования.

Пример конфигурации блока декодирования

На фиг. 25 показана блок-схема примера конфигурации блока 113 декодирования, показанного на фиг. 24.

Блок 113 декодирования на фиг. 25 имеет накопительный буфер 131, блок 132 инверсного декодирования, блок 133 инверсного квантования, блок 134 инверсного ортогонального преобразования, блок 135 сумматора, деблокирующий фильтр 136, фильтр 137 адаптивного смещения, адаптивный контурный фильтр 138 и буфер 139 перегруппировки экрана. Дополнительно, блок 113 декодирования имеет блок 140 цифро-аналогового (D/A) преобразования, кадровую память 141, переключатель 142, блок 143 внутрикадрового предсказания, блок 144 компенсации движения и переключатель 145.

Накопительный буфер 131 блока 113 декодирования принимает кодированные данные от блока 112, показанного на фиг. 24, для накопления. Накопительный буфер 131 подает накопленные кодированные данные на блок 132 инверсного декодирования.

Блок 132 инверсного декодирования получает порог квантования и кодированную информацию, выполняя декодирование переменной длины или инверсное декодирование, такое как арифметическое декодирование кодированных данных, полученных от накопительного буфера 131. Блок 131 инверсного декодирования подает порог квантования на блок 133 инверсного квантования. Дополнительно, блок 132 инверсного декодирования подает информацию о режиме внутрикадрового предсказания и т.п. в качестве кодированной информации на блок 143 внутрикадрового предсказания. Блок 132 инверсного декодирования подает информацию, которая указывает вектор движения, информацию о режиме межкадрового предсказания и опорное изображение и т.п., на блок 144 компенсации движения.

Кроме того, блок 132 инверсного декодирования подает информацию о режиме внутрикадрового предсказания или информацию о режиме межкадрового предсказания в качестве кодированной информации на переключатель 145. Блок 132 инверсного декодирования подает информацию о фильтре смещения в качестве кодированной информации на фильтр 137 адаптивного смещения. Блок 132 инверсного декодирования подает коэффициент фильтра в качестве кодированной информации на адаптивный контурный фильтр 138.

Блок 133 инверсного квантования, блок 134 инверсного ортогонального преобразования, блок 135 сумматора, деблокирующий фильтр 136, фильтр 137 адаптивного смещения, адаптивный контурный фильтр 138, кадровая память 141, переключатель 142, блок 143 внутрикадрового предсказания и блок 144 компенсации движения выполняют те же самые процессы обработки, которые выполняются блоком 38 инверсного квантования, блоком 39 инверсного ортогонального преобразования, блоком 40 сумматора, деблокирующим фильтром 41, фильтром 42 адаптивного смещения, адаптивным контурным фильтром 43, кадровой памятью 44, переключателем 45, блоком 46 внутрикадрового предсказания и блоком 47 предсказания/компенсации движения, показанными на фиг. 19, и, таким образом, изображение декодируется.

Конкретно, блок 133 инверсного квантования имеет ту же самую конфигурацию, что и блок 38 инверсного квантования, показанный на фиг. 19. Блок 133 инверсного квантования выполняет в блоках TU инверсное квантование порога квантования, полученного от блока 132 инверсного декодирования. Блок 133 инверсного квантования подает результат процесса ортогонального преобразования, который является результатом инверсного квантования, на блок 134 инверсного ортогонального преобразования.

Блок 134 инверсного ортогонального преобразования выполнен с возможность работы таким же образом, как и блок 39 инверсного ортогонального преобразования, показанный на фиг. 19. Блок 134 инверсного ортогонального преобразования выполняет процесс инверсного ортогонального преобразования для результата процесса ортогонального преобразования, полученного от блока 133 инверсного квантования, используя параметры квантования сигнала яркости и параметры квантования цветоразностного сигнала, которые подаются от блока 51 инверсного квантования цветоразностного сигнала. Блок 134 инверсного ортогонального преобразования подает информацию об остатке, который получен в результате процесса инверсного ортогонального преобразования, на блок 135 сумматора.

Блок 135 сумматора выполняет декодирование, суммируя вместе информацию об остатке, поданную от блока 134 инверсного ортогонального преобразования, и изображение предсказания, поданное от переключателя 145. Блок 135 сумматора подает декодированное изображение на деблокирующий фильтр 136 и кадровую память 141.

Деблокирующий фильтр 136 выполняет процесс адаптивной деблокирующей фильтрации изображения, подаваемого от блока 135 сумматора, и подает изображение, полученное в результате процесса адаптивной деблокирующей фильтрации, на фильтр 137 адаптивного смещения.

Для каждого LCU фильтр 137 адаптивного смещения выполняет процесс фильтрации адаптивного смещения типа, который указывается в информации о фильтре смещения, для изображения, для которого процесс адаптивной деблокирующей фильтрации уже выполнен, используя смещение, которое указывается информацией о фильтре смещения, полученной от блока 132 инверсного декодирования. Фильтр 137 адаптивного смещения подает изображение после процесса фильтрации адаптивного смещения на адаптивный контурный фильтр 138.

Для каждого LCU адаптивный контурный фильтр 138 выполняет процесс адаптивной контурной фильтрации для изображения, поданного от фильтра 137 адаптивного смещения, используя коэффициент фильтра, полученный от блока 132 инверсного декодирования. Адаптивный контурный фильтр 138 подает изображение, полученное в результате процесса адаптивной контурной фильтрации, в кадровую память 141 и буфер 139 реорганизации экрана.

Буфер 139 реорганизации экрана хранит в блоках кадров изображения, поданные от адаптивного контурного фильтра 138. Буфер 139 перегруппировки экрана перегруппирует хранящиеся изображения в блоках кадров, которые следуют в порядке кодирования, в первоначальный порядок отображения и подает перегруппированные изображения в блок 140 D/A преобразования.

Блок 140 D/A преобразования выполняет D/A преобразование и выводит изображения в блоках кадров, которые поданы от буфера 139 перегруппировки экрана.

Кадровая память 141 накапливает изображение, поданное от адаптивного контурного фильтра 138, и изображение, поданное от блока 135 сумматора. Изображение, соседствующее с блоком предсказания PU из числа изображений, накопленных в кадровой памяти 141, на которых не выполнен процесс фильтрации, подается в качестве соседнего изображения на блок 143 внутрикадрового предсказания через переключатель 142. С другой стороны, изображение, накопленное в кадровой памяти 141, на котором выполняется процесс фильтрации, выводится в качестве опорного изображения на блок 144 компенсации движения через переключатель 142.

Блок 143 внутрикадрового предсказания выполняет процесс внутрикадрового предсказания в оптимальном режиме внутрикадрового предсказания, который указывается в информации о режиме внутрикадрового предсказания, которая подается от блока 132 инверсного декодирования, используя соседнее изображение, считанное из кадровой памяти 141 через переключатель 142. Блок 143 внутрикадрового предсказания подает изображение предсказания, сформированное в результате процесса внутрикадрового предсказания, на переключатель 145.

Блок 144 компенсации движения считывает опорное изображение, указанное в информации, которая указывает опорное изображение, подаваемое от блока 132 инверсного декодирования, из кадровой памяти 141 через переключатель 142. Блок 144 внутрикадрового предсказания выполняет процесс компенсации движения в оптимальном режиме межкадрового предсказания, который указывается в информации о режиме межкадрового предсказания, подаваемой от блока 132 инверсного декодирования, используя вектор движения и опорное изображение, подаваемые от блока 132 инверсного декодирования. Блок 144 компенсации движения подает изображение предсказания, сформированное в результате процесса компенсации движения, на переключатель 145.

В случае, когда информация о режиме внутрикадрового предсказания подается от блока 132 инверсного декодирования, переключатель 145 подает изображение предсказания, полученное от блока 143 внутрикадрового предсказания, на блок 135 сумматора. С другой стороны, когда информация о режиме межкадрового предсказания подается от блока 132 инверсного декодирования, переключатель 145 подает изображение предсказания, полученное от блока 144 компенсации движения, на блок 135 сумматора.

Описание процесса, выполняемого устройством декодирования

На фиг. 26 показана блок-схема последовательности выполнения операций процесса формирования изображения посредством устройства 110 декодирования, показанного на фиг. 24.

На этапе S111, показанном на фиг. 26, приемный блок 111 устройства 110 декодирования принимает кодовый поток, переданный от устройства 10 кодирования, показанного на фиг. 18, и подает принятый кодовый поток на блок 112 извлечения.

На этапе S112 блок 112 извлечения извлекает кодовые данные из кодового потока, который подается от приемного блока 111, и подает извлеченные кодовые данные на блок 113 декодирования.

На этапе S113 блок 112 извлечения извлекает набор параметров, такой как VPS, SPS и т.д., из кодового потока, подаваемого от приемного блока 111, и подает извлеченный набор параметров на блок ИЗ декодирования. Этот процесс извлечения описывается подробно со ссылкой на фиг. 27.

На этапе S114 блок 113 декодирования выполняет процесс декодирования, который декодирует кодовые данные, поданные от блока 112 извлечения, применяя схему, соответствующую схеме HEVC, используя набор параметров, подаваемый от блока 112 извлечения всякий раз, когда это необходимо. Этот процесс декодирования описывается подробно со ссылкой на фиг. 28. На этом процесс заканчивается.

Далее процесс извлечения параметров на этапе S113, показанном на фиг. 26, описывается подробно со ссылкой на фиг. 27.

На этапе S131 блок 112 извлечения считывает vps_um_rep_formats_minus 1 из кодового потока. На этапе S132 блок 112 извлечения выполняет установку таким образом, что индекс i = 0.

На этапе S133 определяется, равно ли или меньше 1 выражение vps_num_rep_formats_minus 1. В случае, когда на этапе S133 определено, что vps_num_rep_formats_minus 1 равно или меньше, чем 1, процесс переходит к этапу S134.

Блок 112 извлечения на этапе S134 извлекает i-ый rep_format() из битового потока и выполняет i + + на этапе S135. После этого процесс возвращается к этапу S133 и повторяет этап 133 и последующие этапы.

В случае, когда на этапе S133 определено, что i больше, чем vps_num_rep_formats_minus 1, процесс переходит к этапу S136.

На этапе S136 блок 112 извлечения определяет, является ли значение vps_num_rep_formats_minus 1 больше 0. В случае, когда на этапе S136 определено, что vps_num_rep_formats_minus 1 больше 0, на этапе S137 блок 112 извлечения считывает rep_format_idx_present_flag 1 из битового потока.

В случае, когда на этапе S136 определено, что vps_num_rep_formats_minus 1 равно или меньше 0, процесс на этапе S137 пропускается.

На этапе S138 блок 112 извлечения определяет, является ли значение vps_num_rep_formats_minus 1 равным 1. В случае, если на этапе S138 определено, что vps_num_rep_formats_minus 1 равно 1, блок 112 извлечения на этапе S139 выполняет установку таким образом, что i = 1.

На этапе S140 определяется, равен ли или меньше индекс i, чем MaxLayersMinus 1. В случае, когда на этапе S140 определено, что индекс i равне или меньше, чем MaxLayersMinus 1, на этапе S141 блок 112 извлечения определяет, передается ли vps_rep_format_idx[i].

В случае, когда на этапе S141 определено, что vps_rep_format_idx[i] передается, на этапе S142 блок 112 извлечения считывает vps_rep_format_idx[i] из битового потока.

В случае, когда на этапе S141 определено, что vps_rep_format_idx[i] не передается, на этапе S143 блок 112 извлечения устанавливает значение vps_rep_format_idx[i]. Конкретно, значение vps_rep_format_idx[i] устанавливается как rep_format_idx_present_flag?0:Min(i, vps_num_rep_formats_minus 1), то есть, таким образом, что когда rep_format_idx_present_flag равно 0, индекс i меньше, чем vps_num_rep_formats_minus 1.

Затем, на этапе S144 блок 112 извлечения выполняет установку таким образом, что i + +, и процесс возвращается к этапу S140 и повторяет этап S140 и последующие этапы.

С другой стороны, в случае, когда на этапе S138 определено, что vps_num_rep_formats_minus 1 не равно 1, или в случае, когда на этапе S140 определено, что i равно или меньше, чем MaxLayersMinus 1, которое меньше 1, процесс извлечения набора параметров заканчивается и процесс возвращается к этапу S113, показанному на фиг. 26.

Далее процесс декодирования на этапе S113, показанном на фиг. 26, описывается подробно со ссылкой на фиг. 28.

На этапе S161, показанном на фиг. 28, накопительный буфер 131 (на фиг. 25) блока 113 декодирования принимает кодированные данные в блоках кадров от блока 112 извлечения, показанного на фиг. 24, для накопления. Накопительный буфер 131 подает накопленные кодированные данные на блок 132 инверсного декодирования.

На этапе S162 блок 132 инверсного декодирования выполняет инверсное декодирование для кодированных данных, поданных от накопительного буфера 131, получая порог квантования и кодированную информацию. Блок 131 инверсного декодирования подает порог квантования на блок 133 инверсного квантования.

Дополнительно, блок 132 инверсного декодирования подает информацию о режиме внутрикадрового предсказания и т.п. в качестве кодированной информации на блок 143 внутрикадрового предсказания. Блок 132 инверсного декодирования подает информацию, которая указывает вектор движения, информацию о режиме межкадрового предсказания и опорное изображение и т.п., на блок 144 компенсации движения.

Кроме того, блок 132 инверсного декодирования подает информацию о режиме внутрикадрового предсказания или информацию о режиме межкадрового предсказания в качестве кодированной информации на переключатель 145. Блок 132 инверсного декодирования подает информацию о фильтре смещения в качестве кодированной информации на фильтр 137 адаптивного смещения и подает коэффициент фильтра на адаптивный контурный фильтр 138.

На этапе S163 блок 133 инверсного квантования инверсно квантует порог квантования, полученного от блока 132 инверсного декодирования. Блок 133 инверсного квантования подает результат процесса ортогонального преобразования, который является результатом инверсного квантования, на блок 134 инверсного ортогонального преобразования.

На этапе S164 блок 134 инверсного ортогонального преобразования выполняет процесс инверсного ортогонального преобразования на результате процесса ортогонального преобразования, который подается от блока 133 инверсного квантования.

На этапе S165 блок 144 компенсации движения определяет, подается ли информация о режиме межкадрового предсказания от блока 132 инверсного декодирования. В случае, когда на этапе S165 определяется, что информация о режиме межкадрового предсказания подается, процесс переходит к этапу S166.

На этапе S166 блок 144 компенсации движения считывает опорное изображение, основываясь на информации, указывающей опорное изображение, подаваемой от блока 132 инверсного декодирования, и выполняет процесс компенсации движения в оптимальном режиме межкадрового предсказания, который указывается в информации о режиме межкадрового предсказания, используя вектор движения и опорное изображение. Блок 144 компенсации движения подает изображение предсказания, сформированное в результате процесса компенсации движения, на блок 135 сумматора через переключатель 145 и процесс переходит к этапу S168.

С другой стороны, в случае, когда на этапе S165 определено, что информация о режиме межкадрового предсказания не подана, то есть, в случае, когда информация о режиме межкадрового предсказания подается на блок 143 внутрикадрового предсказания, процесс переходит к этапу S167.

На этапе S167 блок 143 внутрикадрового предсказания выполняет процесс внутрикадрового предсказания в оптимальном режиме внутрикадрового предсказания, который указывается в информации о режиме внутрикадрового предсказания, используя соседнее изображение, считанное из кадровой памяти 141 через переключатель 142. Блок 143 внутрикадрового предсказания подает изображение предсказания, сформированное в результате процесса внутрикадрового предсказания, на блок 135 сумматора через переключатель 145 и процесс переходит к этапу S168.

На этапе S168 блок 135 сумматора выполняет декодирование, суммируя вместе информацию об остатке, поданную от блока 134 инверсного ортогонального преобразования, и изображение предсказания, поданное от переключателя 145. Блок 135 сумматора подает декодированное изображение на деблокирующий фильтр 136 и кадровую память 141.

На этапе S169 деблокирующий фильтр 136 выполняет процесс деблокирующей фильтрации для изображения, поданного от блока 135 сумматора, и удаляет блочное искажение. Деблокирующий фильтр 136 подает изображение, полученное в результате процесса деблокирующей фильтрации, на фильтр 137 адаптивного смещения.

На этапе S170 для каждого LCU фильтр 137 адаптивного смещения выполняет процесс фильтрации адаптивного смещения для изображения, для которого деблокирующим фильтром 136 уже выполнен процесс адаптивной деблокирующей фильтрации, основываясь на информации о фильтре смещения, полученной от блока 132 инверсного декодирования. Фильтр 137 адаптивного смещения подает изображение после процесса фильтрации адаптивного смещения на адаптивный контурный фильтр 138.

На этапе S171 для каждого LCU адаптивный контурный фильтр 138 выполняет процесс адаптивной контурной фильтрации для изображения, поданного от фильтра 137 адаптивного смещения, используя коэффициент фильтра, полученный от блока 132 инверсного декодирования. Адаптивный контурный фильтр 138 подает изображение, полученное в результате процесса адаптивной контурной фильтрации, в кадровую память 141 и буфер 139 перегруппировки экрана.

На этапе SI72 кадровая память 141 накапливает изображение, подаваемое от блока 135 сумматора, и изображение, подаваемое от адаптивного контурного фильтра 138. Изображение, соседствующее с блоком предсказания PU из числа изображений, накопленных в кадровой памяти 141, на которых не выполняется процесс фильтрации, подается в качестве соседнего изображения на блок 143 внутрикадрового предсказания через переключатель 142. С другой стороны, изображение, накопленное в кадровой памяти 141, на котором выполняется процесс фильтрации, выводится в качестве опорного изображения на блок 144 компенсации движения через переключатель 142.

На этапе S173 буфер 139 перегруппировки экрана сохраняет в блоках кадров изображения, подаваемые от адаптивного контурного фильтра 138, перегруппирует хранящиеся изображения в блоках кадров, которые сгруппированы в порядке кодирования, в первоначальный порядок отображения и подает перегруппированные изображения на блок 140 D/A преобразования.

На этапе S174 блок 140 D/A преобразования выполняет D/A преобразование и выводит изображения в блоках кадров, которые поданы от буфера 139 перегруппировки экрана. Затем процесс возвращается к этапу S113, показанному на фиг. 26, и заканчивается.

Как описано выше, отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено.

В качестве схемы кодирования используется схема кодирования, соответствующая описанной выше схеме HEVC. Однако, настоящая технология этим не ограничивается и могут использоваться и другие схемы кодирования/декодирования.

Кроме того, настоящее раскрытие может применяться, например, к устройству кодирования изображения и к устройству декодирования изображения, используемым для приема через спутниковое вещание, кабельное телевидение, Интернет или мобильный носитель, такой как мобильный телефон, информации изображения (битового потока), сжатой, используя ортогональное преобразование, такое как дискретное косинусное преобразование, и компенсацию движения, аналогично схеме HEVC и т.п. Дополнительно, настоящее раскрытие может применяться к устройству кодирования изображения и к устройству декодирования изображения, используемым при выполнении процесса на носителе записи, таком как оптический диск, магнитный диск или флэш-память.

Второй вариант осуществления

Описание компьютера, к которому применяется настоящее раскрытие

Последовательность описанного выше процесса может выполняться посредством аппаратурного обеспечения и может выполняться посредством программного обеспечения. В случае, когда последовательность процессов выполняется посредством программного обеспечения, программа, формирующая программное обеспечение, устанавливается на компьютер. Здесь примеры с компьютером содержат компьютер, встроенный в специализированное аппаратурное обеспечение, и универсальный персональный компьютер, такой как тот, который способен исполнять различные функции посредством установленных различных программ, и т.п.

На фиг. 29 показана блок-схема примерная конфигурации аппаратурного обеспечения компьютера, исполняющего последовательность описанных выше процессов, используя программу.

В компьютере центральный процессор (CPU) 201, постоянное запоминающее устройство (ROM) 202 и оперативное запоминающее устройство (RAM) 204 соединяются друг с другом через шину 204.

Кроме того, к шине 204 подключается интерфейс 205 ввода-вывода. К интерфейсу 205 ввода-вывода подключаются устройство 206 ввода, устройство 207 вывода, блок 208 запоминающего устройства, блок 209 связи и дисковод 205.

Устройство 206 ввода содержит клавиатуру, мышь, микрофон и т.п. Устройство 207 вывода содержит дисплей, громкоговоритель и т.п. Блок 208 запоминающего устройства содержит жесткий диск, энергонезависимую память и т.п. Блок 209 связи содержит сетевой интерфейс и т.п. Дисковод 210 приводит в действие съемный носитель 211, такой как магнитный диск, оптический диск, магнито-оптический диск или полупроводниковая память.

В компьютере с описанной выше конфигурацией, CPU 201 выполняет последовательность описанных выше процессов, например, путем загрузки программы, хранящейся в блоке 208 запоминающего устройства, на RAM 203 через интерфейс 205 ввода-вывода и шину 204 и исполнения, таким образом, программы.

Программа, исполняемая компьютером (CPU 201) может быть записана, например, на съемном носителе 211, таком как, пакетный носитель, и предоставляться в таком виде. Дополнительно, программа может предоставляться через проводную или беспроводную среду передачи, такую как локальная сеть, Интернет или цифровое спутниковое вещание.

В компьютере программа может устанавливаться на блоке 208 запоминающего устройства через интерфейс 205 ввода-вывода, монтируя съемный носитель 211 на дисководе 210. Дополнительно, программа может приниматься блоком 209 связи через кабельную или беспроводную передающую среду и устанавливаться в блоке 208 запоминающего устройства. Кроме того, программа может заранее устанавливаться в ROM 202 или в блок 208 запоминающего устройства.

Более того программа, исполняемая компьютером, может быть программой, в которой процессы выполняются последовательно по времени в том порядке, который описан в представленном описании, или может быть программой, в которой процессы выполняются параллельно или с необходимой синхронизацией, такой, при которой подается запрос на выполнение процесса.

Третий вариант осуществления

Применения для кодирования многопроекционного изображения и декодирования многопроекционного изображения

Последовательность процессов, описанных выше, может применяться к кодированию многопроекционного изображения и к декодированию многопроекционного изображения. На фиг. 36 показан пример системы кодирования многопроекционного изображения.

Как показано на фиг. 30, многопроекционное изображение содержит изображения в многочисленных проекциях. Многочисленные проекции многопроекционного изображения получаются из базовой проекции с только одним изображением в базовой проекции, в которой изображение кодируется/декодируется без использования изображения в любой другой проекции, и с изображением в небазовой проекции, в которой изображение кодируется/декодируется в небазовой проекции, используя изображение в любой другой проекции. Для небазовой проекции может использоваться изображение базовой проекции и может использоваться изображение в любой другой небазовой проекции.

В случае, когда кодируется/декодируется многопроекционное изображение, показанное на фиг. 22, изображение в каждой проекции может кодироваться/декодироваться, но способ, соответствующий первому варианту осуществления, описанному выше, может применяться к кодированию/декодированию для каждой проекции. Когда такое делается, отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено. Соответственно, эффективность кодирования улучшается.

Кроме того, при кодировании/декодировании каждой проекции параметры, используемые в способе, соответствующем первому варианту осуществления, который описан, могут использоваться совместно. Более конкретно, например, VPS, SPS и т.п. в качестве кодовой информации могут использоваться совместно при кодировании/декодировании каждой проекции. Конечно, информация, отличная от этой, также может использоваться совместно при кодировании/декодировании каждой проекции.

Когда так делается, количество раз, когда передается избыточная информация, может быть уменьшено и объем информации (объем кодирования) для передачи может быть уменьшен (другими словами, снижение эффективности кодирования может быть уменьшено).

Устройство кодирования многопроекционного изображения

На фиг. 31 показана схема устройства кодирования многопроекционного изображения, выполняющая описанное выше кодирование многопроекционного изображения. Как показано на фиг. 31, устройство 600 кодирования многопроекционного изображения содержит блок 601 кодирования, блок 602 кодирования и блок 603 мультиплексирования.

Блок 601 кодирования кодирует изображение базовой проекции, формирует кодирование и формирует поток кодирования изображения базовой проекции. Блок 602 кодирования кодирует изображение небазовой проекции и формирует поток кодирования изображения небазовой проекции. Блок 603 мультиплексирования мультиплексирует кодированный поток изображения базовой проекции, сформированный блоком 601 кодирования, и кодированный поток изображения небазовой проекции, сформированный блоком 602 кодирования, и формирует кодированный поток многопроекционного изображения.

Устройство 10 кодирования (показанное на фиг. 18) может использоваться вместо блока 601 кодирования и блока 602 кодирования устройства 600 кодирования многопроекционного изображения. Другими словами, при кодировании каждой проекции отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено. Дополнительно, поскольку оба блока кодирования, блок 601 кодирования и блок 602 кодирования, могут выполнять кодирование (то есть, могут совместно использовать флаги или параметры (например, элементы синтаксиса, связанные с обработкой изображений)), снижение эффективности кодирования может быть уменьшено.

Устройство декодирования многопроекционного изображения

На фиг. 32 показана схема устройства декодирования многопроекционного изображения, выполняющего описанное выше декодирование многопроекционного изображения. Как показано на фиг. 32, устройство 610 декодирования многопроекционного изображения содержит блок 611 демультиплексирования, блок 612 декодирования и блок 613 декодирования.

Блок 611 демультиплексирования демультиплексирует кодированный поток многопроекционного изображения, в котором мультиплексированы кодированный поток изображения базовой проекции и кодированный поток изображения небазовой проекции, и извлекает кодированный поток изображения базовой проекции и кодированный поток изображения небазовой проекции. Блок 612 декодирования декодирует кодированный поток изображения базовой проекции, извлеченный блоком 611 демультиплексирования, и получает изображение базовой проекции. Блок 613 декодирования декодирует кодированный поток изображения небазовой проекции, извлеченный блоком 611 демультиплексирования, и получает изображение небазовой проекции.

Устройство 110 декодирования (показанное на фиг. 24) может использоваться вместо блока 612 декодирования и блока 613 декодирования устройства 610 декодирования многопроекционного изображения. Другими словами, отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено. Дополнительно, поскольку оба блока декодирования, блок 612 декодирования и блок 613 декодирования, могут выполнять декодирование (то есть, могут совместно использовать флаги или параметры), используя одни и те же флаги или параметры (например, элементы синтаксиса, связанные с обработкой изображений и т.п.), снижение эффективности кодирования может быть уменьшено.

Четвертый вариант осуществления

Применение для кодирования многоуровневого изображения и декодирования многоуровневого изображения

Процесс, описанный выше, может быть применен к кодированию многоуровнего изображения/декодированию многоуровневого изображения (масштабируемому кодированию/масштабируемому декодированию). На фиг. 33 приведен пример схемы кодирования многоуровневого изображения.

Кодирование многоуровневого изображения (масштабируемое кодирование) иерархически разделяет (разделяет на уровни) изображение на многочисленные уровни и кодирует каждый уровень таким образом, что заданный параметр имеет масштабируемую функцию в отношении данных изображения. Декодирование многоуровневого изображения (scalable decoding) является декодированием, соответствующим кодированию многоуровневого изображения.

Как показано на фиг. 33, при делении изображения на уровни первое изображение делится на множество изображений (уровней) с помощью заданного параметра с масштабируемой функцией, служащей критерием сигнала. Другими словами, изображение (многоуровневое изображение), которое иерархически поделено, содержит многочисленные изображения (уровни), отличающиеся друг от друга значениями заданных параметров. Многочисленные проекции многопроекционного изображения получают из базового уровня, кодируемого/декодируемого без использования изображения на любом другом уровне, и с изображением в небазовом уровне (также упоминаемом как улучшенный уровень), на котором изображение кодируется/декодируется на небазовом уровне, используя изображение на любом другом уровне. Для небазового уровня может использоваться изображение на базовом уровне и может использоваться изображение на любом другом небазовом уровне.

В целом, небазовый уровень конфигурируется из изображения на самом небазовом уровне и разностные данные изображения (разностные данные) между изображением на самом небазовом уровне изображения и изображением на любом другом уровне конфигурируются таким образом, что избыточность уменьшается. Например, в случае, когда первое изображение иерархически делится на два уровня: базовый уровень и небазовый уровень (также упоминаемый как улучшенный уровень), изображение, имеющее худшее качество, чем первоначальное изображение, получают с данными только базового уровня, а первоначальное изображение (то есть, изображение высокого качества), получают, объединяя данные на базовом уровне и данные на небазовом уровне.

Путем деления изображения на уровни таким способом, в зависимости от ситуации, легко могут быть получены изображения с различными уровнями качества. То есть, например, возможно передать информацию о сжатии изображения только на базовом уровне терминалу, имеющему ограниченные возможности обработки, такому как мобильный телефон. Альтернативно, можно передавать информацию о сжатии изображения на улучшенном уровне в дополнение к информации на базовом уровне терминалу, имеющему высокие возможности обработки, такому как телевизионный приемник или персональный компьютер, который воспроизводит движущееся изображение, имеющее низкую пространственную и временную разрешающую способность или имеющее низкое качество. Альтернативно, возможно передавать от сервера информацию о сжатии изображения, которая зависит от возможностей терминала или сети, как в случае, когда движущееся изображение, имеющее высокую пространственную и временную разрешающую способность или имеющее высокое качество, воспроизводится без выполнения процесса преобразования кода.

В случае, когда кодируется/декодируется многоуровневое изображение, как показано на фиг. 33, изображение на каждом уровне кодируется/декодируется, но способ, соответствующий первому варианту осуществления, описанному выше, может применяться к кодированию/декодированию для каждого уровня. Когда такое делается, отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено. Соответственно, эффективность кодирования улучшается.

Кроме того, при кодировании/декодировании для каждого уровня флаги или параметры, используемые в способе, соответствующем первому варианту осуществления, который описан, могут использоваться совместно. Более конкретно, например, VPS, SPS и т.п. в качестве кодовой информации могут использоваться совместно при кодировании/декодировании каждого уровня. Конечно, информация, отличная от этой, также может использоваться совместно при кодировании/декодировании каждого уровня.

Когда так делается, количество раз, когда передается избыточная информация, может быть уменьшено и объем информации (объем кодирования) для передачи может быть уменьшен (другими словами, снижение эффективности кодирования может быть уменьшено).

Масштабируемый параметр

При многоуровневом кодировании изображения/многоуровневом декодировании изображения (масштабируемом кодировании/масштабируемом декодировании) параметр, имеющий масштабируемую функцию, является произвольным. Например, пространственная разрешающая способность, показанная на фиг. 34, может устанавливаться так, чтобы быть таким параметром (пространственное масштабирование) В случае пространственного масштабирования, разрешающая способность изображения варьируется от одного уровня к другому. Другими словами, в этом случае, как показано на фиг. 34, каждая картинка иерархически делится на два уровня: базовый уровень, имеющий более низкую пространственную разрешающую способность, чем первоначальное изображение, и улучшенный уровень, для которого первоначальную разрешающую способность получают при объединении с базовым уровнем. Конечно, количество уровней в данном случае является примерным и изображение может иерархически делиться на произвольное количество уровней.

Дополнительно, кроме того, временная разрешающая способность, например, может применяться как параметр, имеющий такое масштабирование, как показано на фиг. 35 (временное масштабирование). В случае временного масштабирования, частота кадров варьируется от одного уровня к другому. Другими словами, в этом случае, как показано на фиг. 35, каждая картинка иерархически делится на два уровня: базовый уровень, имеющий более низкую частоту кадров, чем первоначальное движущееся изображение, и улучшенный уровень, для которого первоначальную частоту кадров получают при объединении с базовым уровнем. Конечно, количество уровней в данном случае является примерным и изображение может иерархически делиться на произвольное количество уровней.

Дополнительно, отношение сигнал-шум (SNR), например, может применяться как параметр, обладающий таким масштабированием (масштабирование SNR). В случае масштабирования SNR, SNR варьируется от одного уровня к другому. Другими словами, в этом случае, как показано на фиг. 36, каждая картинка иерархически делится на два уровня: базовый уровень, имеющий более низкое SNR, чем первоначальное изображение, и улучшенный уровень, для которого первоначальное SNR получают при объединении с базовым уровнем. Конечно, количество уровней в данном случае является примерным и изображение может иерархически делиться на произвольное количество уровней.

Параметр, обладающий масштабированием, может, конечно, быть параметром, отличным от описанного выше примера. Например, в качестве параметра, имеющего масштабирование, может использоваться битовая глубина (масштабирование битовой глубины). В случае масштабирования SNR, SNR варьируется от одного уровня к другому. В данном случае, например, базовый уровень получают из 8-битного изображение, и посредством добавления к 8-мибитному изображению улучшенного уровня можно получить 10-тибитное изображение.

Дополнительно, цветовой формат может также использоваться в качестве параметра, имеющего масштабирование (масштабирование цветового формата). В случае масштабирования цветового формата, цветовой формат варьируется от одного уровня к другому. В данном случае, например, базовый уровень получают из компонентного изображения в формате 4:2:0, и посредством добавления к компонентному изображению в формате 4:2:0 улучшенного уровня можно получить компонентное изображение в формате 4:2:2.

Устройство кодирования многоуровневого изображения

На фиг. 37 показана схема устройства кодирования многоуровневого изображения, выполняющая описанное выше кодирование многоуровневого изображения. Как показано на фиг. 37, устройство 620 кодирования многоуровневого изображения содержит блок 621 кодирования, блок 622 кодирования и блок 623 мультиплексирования.

Блок 621 кодирования кодирует изображение базового уровня и формирует кодированный поток изображения базового уровня. Блок 622 кодирования кодирует изображение небазового уровня и формирует кодированный поток изображения небазового уровня. Блок 623 мультиплексирования мультиплексирует кодированный поток изображения базового уровня, сформированный блоком 621 кодирования, и кодированный поток изображения небазового уровня, сформированный блоком 622 кодирования, и формирует кодированный поток многоуровневого изображения.

Устройство 10 кодирования (показанное на фиг. 18) может использоваться вместо блока 621 кодирования и блока 622 кодирования устройства 620 кодирования многоуровневого изображения. Другими словами, отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено. Дополнительно, поскольку оба блока декодирования, блок 621 декодирования и блок 622 декодирования, могут выполнять управление, такое как процесс фильтрации для внутрикадрового предсказания (то есть, могут совместно использовать флаги или параметры), используя одни и те же флаги или параметры (например, элементы синтаксиса, связанные с обработкой изображений и т.п.), снижение эффективности кодирования может быть уменьшено.

Устройство декодирования многоуровневого изображения

На фиг. 38 показана схема устройства декодирования многоуровневого изображения, выполняющего описанное выше декодирование многоуровневого изображения. Как показано на фиг. 38, устройство 630 декодирования многоуровневого изображения содержит блок 631 демультиплексирования, блок 632 декодирования и блок 633 декодирования.

Блок 631 демультиплексирования демультиплексирует кодированный поток многоуровневого изображения, в котором мультиплексированы кодированный поток изображения базового уровня проекции и кодированный поток изображения небазового уровня, и извлекает кодированный поток изображения базового уровня и кодированный поток изображения небазового уровня. Блок 632 декодирования декодирует кодированный поток изображения базового уровня, извлеченный блоком 631 демультиплексирования, и получает изображение базового уровня. Блок 633 декодирования декодирует кодированный поток изображения небазового уровня, извлеченный блоком 631 демультиплексирования, и получает изображение небазового уровня.

Устройство 110 декодирования (показанное на фиг. 24) может использоваться вместо блока 632 декодирования и блока 633 декодирования устройства 630 декодирования многоуровневого изображения. Другими словами, отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено. Дополнительно, поскольку оба блока декодирования, блок 612 декодирования и блок 613 декодирования, могут выполнять декодирование (то есть, могут совместно использовать флаги или параметры), используя одни и те же флаги или параметры (например, элементы синтаксиса, связанные с обработкой изображений и т.п.), снижение эффективности кодирования может быть уменьшено.

Пятый вариант осуществления

Пример конфигурации телевизионного устройства

На фиг. 39 схематично представлено телевизионное устройство, к которому применяется настоящее раскрытие. Телевизионное устройство 900 содержит антенну 901, тюнер 902, демультиплексор 903, декодер 904, блок 905 видеопроцессора, блок 906 дисплея, блок 907 аудиопроцессора, громкоговоритель 908 и внешний интерфейсный блок 909. Кроме того, телевизионное устройство 900 содержит блок 910 управления, блок 911 интерфейса пользователя и т.п.

Тюнер 902 настраивается на желаемый канал посредством сканирования широковещательного сигнала, принимаемого антенной 901, выполняет декодирование и выводит полученный кодированный битовый поток на демультиплексор 903.

Демультиплексор 903 извлекает видео- или аудиопакеты программы, являющейся целью просмотра, из кодированного битового потока и выводит данные извлеченных пакетов на декодер 904. Дополнительно, демультиплексор 903 подает пакеты данных, таких как EPG (электронная программа передач), на блок 910 управления. Дополнительно, в случае, когда выполняется скремблирование, скремблирование удаляется, используя демультиплексор и т.п.

Декодер 904 выполняет процесс декодирования пакетов и выводит данные изображения и аудиоданные, сформированные в процессе декодирования, на блок 905 видеопроцессора и на блок 907 аудиопроцессора, соответственно.

Блок 905 видеопроцесора выполняет подавление шумов или видеообработку т.п. в соответствии с настройками пользователя для видеоданных. Блок 905 видеопроцессора формирует данные изображения видеопрограммы, которые отображаются на блоке 906 дисплея, данные изображения, которые должны обрабатываться на основе приложения, предоставляемого через сеть, и т.п. Дополнительно, блок 905 видеопроцессора формирует данные изображения для отображения на экране меню, из которого выбирают позиции меню и т.п., и накладывает сформированные данные изображения на данные изображения видеопрограммы. Блок 905 видеопроцессора формирует запускающий сигнал, основываясь на данных изображения, сформированных таким образом, и запускает блок 906 дисплея.

Блок 906 дисплея запускает устройство отображения (например, жидкокристаллический дисплей и т.п.), основываясь на сигнале запуска, подаваемом от блока 905 видеопроцессора, отображая, таким образом, изображения и т.п. видеопрограммы.

Блок 907 аудиопроцессора выполняет заданный процесс, такой как подавление шумов аудиоданных, выполняет процесс D/A преобразования или усиления аудиоданных после обработки и подает результирующие данные на громкоговоритель 908, выполняя процесс вывода звукового сигнала.

Внешний интерфейсный блок 909 является интерфейсом для установления соединения с внешним устройством или сетью и выполняет передачу и прием данных изображения, аудиоданных и т.п.

Блок 911 интерфейса пользователя соединяется с блоком 910 управления. Блок 911 интерфейса пользователя содержит операционный переключатель, блок приема сигналов дистанционного управления и т.п. и подает рабочий сигнал, соответствующий операции пользователя, на блок 910 управления.

Блок 910 управления содержит CPU (центральный процессор), память и т.п. В памяти хранится программа, исполняемая CPU, различные фрагменты данных, необходимых CPU для выполнения операций, данные EPG, данные, полученные через сеть, и т.п. Программа, хранящаяся в памяти, считывается CPU в заданное время, такое как время включения телевизионного устройства 900, и, таким образом, выполняется. Исполняя программу, CPU управляет каждым блоком таким образом, что телевизионное устройство 900 работает в соответствии с операцией пользователя.

Кроме того, в телевизионном устройстве 900 обеспечивается шина 912 для подключения тюнера 902, демультиплексора 903, блока 905 видеопроцессора, блока 907 аудиопроцессора, внешнего интерфейсного блока 909 и т.п. к блоку 910 управления.

В телевизионном устройстве, выполненном таким образом, декодер 904 снабжен функцией устройства декодирования (способа декодирования), соответствующей настоящей заявке. По этой причине, в процессе кодирования кодового потока отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено.

Шестой вариант осуществления

Пример конфигурации мобильного телефона

На фиг. 40 схематично представлена конфигурация мобильного телефона, к которому применяется настоящее раскрытие. Мобильный телефон 920 содержит блок 922 связи, аудиокодек 923, блок 926 камеры, блок 927 обработки изображений, блок 928 демультиплексирования, блок 929 записи и воспроизведения, блок 930 дисплея и блок 931 управления. Все они соединяются друг с другом через шину 933.

Дополнительно, антенна 921 соединяется с блоком 922 связи и громкоговоритель 924 и микрофон 925 соединяются с аудиокодеком 923. Кроме того, операционный блок 932 соединяется с блоком 931 управления.

Мобильный телефон 920 выполняет различные операции, такие как передача и прием аудиосигнала, передача и прием электронной почты или данных изображения, получение изображения и запись данных в различных режимах, таких как режим аудиосвязи и режим передачи данных.

В режиме аудиосвязи преобразование в звуковые данные или сжатие данных выполняется в аудиокодеке 923 для звукового сигнала, формируемого микрофоном 925 и, таким образом, результирующий звуковой сигнал подается на блок 922 связи. Блок 922 связи выполняет процесс модуляции, процесс преобразования частоты для звуковых данных и т.д. в формирует сигнал передачи. Дополнительно, блок 922 связи передает сигнал передачи на антенну 921 для передачи базовой станции, которая не показана. Дополнительно, блок 922 связи выполняет процесс усиления или процесс преобразования частоты принятого через антенну 921 сигнала, процесс демодуляции принимаемого сигнала и т.д. и подает полученные аудиоданные на аудиокодек 923. Аудиокодек 923 выполняет распаковку данных для аудиоданных или преобразование аудиоданных в аналоговый аудиосигнал и выводит результат преобразования на громкоговоритель 924.

Дополнительно, в случае, когда в режиме передачи данных выполняется передача электронной почты, блок 931 управления принимает текстовые данные, которые вводятся посредством операционного блока 932, и, таким образом, отображает вводимый текст на блока 930 дисплея. Дополнительно, блок 931 управления формирует данные электронной почты в операционном блоке 932, основываясь на команде пользователя и т.д., и подает сформированные данные электронной почты на блок 922 связи. Блок 922 связи выполняет процесс модуляции, процесс преобразования частоты и т.п. для данных электронной почты и передает полученный сигнал передачи через антенну 921. Дополнительно, блок 922 связи выполняет процесс усиления или процесс преобразования частоты принятого через антенну 921 сигнала, процесс демодуляции принятого сигнала и т.д. и восстанавливает почтовые данные. Почтовые данные подаются на блок 930 дисплея, посредством которого выполняется отображение содержания почты на экране.

Кроме того, в мобильном телефоне 920 можно хранить принятые почтовые данные на носителе запоминающего устройства в блоке 929 записи и воспроизведения. Носитель запоминающего устройства является произвольным перезаписываемым носителем запоминающего устройства. Например, носитель данных может быть полупроводниковой памятью, такой как RAM, встроенной флэш-памятью и т.п., или съемным носителем, таким как жесткий диск, магнитный диск, магнитооптический диск, оптический диск, USB-память или карта памяти.

В случае, когда данные изображения передаются в режиме передачи данных, данные изображения, сформированные блоком 926 камеры, подаются на блок 927 обработки изображений. Блок 927 обработки изображений выполняет процесс кодирования данных изображения, формируя, таким образом, кодированные данные.

Блок 928 демультиплексирования мультиплексирует кодированные данные, сформированные блоком 927 обработки изображений, и аудиоданные, поданные от аудиокодека 923 в заданном режиме, и, таким образом, подает результат мультиплексирования на блок 922 связи. Блок 922 связи выполняет процесс модуляции или, процесс преобразования частоты мультиплексированных данных и т.п.и передает полученный сигнал передачи через антенну 921. Дополнительно, блок 922 связи выполняет процесс усиления или процесс преобразования частоты принятого через антенну 921 сигнала, процесс демодуляции принятого сигнала и т.д. и восстанавливает мультиплексированные данные. Мультиплексированные данные подаются на блок 928 демультиплексирования. Блок 928 демультиплексирования выполняет демультиплексирование мультиплексированных данных и подает кодированные данные и аудиоданные на блок 927 обработки изображений и на аудиокодек 923, соответственно. Блок 927 обработки изображений выполняет процесс декодирования кодированных данных и формирует данные изображения. Данные изображения подаются на блок 930 дисплея и выполняется отображение принятого изображения на экране. Аудиокодек 923 преобразует аудиоданные в аналоговый аудиосигнал и подает преобразованный аналоговый аудиосигнал на громкоговоритель 924 и выводит принятые аудиоданные.

В мобильном телефонном устройстве, выполненном таким образом, блок 927 обработки изображений снабжен функциями устройства кодирования и устройства декодирования (способа кодирования и способа декодирования), соответствующими настоящей заявке. По этой причине, отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено.

Седьмой вариант осуществления

Пример конфигурации устройства записи и воспроизведения

На фиг. 41 схематично представлена конфигурация устройства записи и воспроизведения, к которому применяется настоящая технология. Устройство 940 записи и воспроизведения, например, записывает аудиоданные и видеоданные принятой широковещательной программы на носителе записи и предоставляет записанные данные пользователю в то время, когда пользователь подает команду. Дополнительно, устройство 940 записи и воспроизведения может получать, например, аудиоданные или видеоданные от других устройств и может записывать полученные аудиоданные или видеоданные на носителе для записи. Кроме того, устройство 940 записи и воспроизведения может выполнять отображение изображения или вывод аудиосигнала на устройстве монитора и т.д., декодируя и выводя аудиоданные или видеоданные, записанные на носителе для записи.

Устройство 940 записи и воспроизведения содержит тюнер 941, внешний интерфейсный блок 942, кодер 943, дисковод 944 жесткого диска (HDD), дисковод 945, переключатель 946, декодер 947, блок 948 экранного меню (OSD), блок 949 управления и блок 950 интерфейса пользователя.

Тюнер 941 настраивается на желаемый канал при сканировании широковещательного радиосигнала, принимаемого антенной, которая не показана. Тюнер 941 выводит на переключатель 946 кодированный битовый поток, полученный посредством демодуляции принятого сигнала по желаемому каналу.

Внешний интерфейсный блок 942 содержит по меньшей мере один интерфейс из числа интерфейса IEEE 1394, сетевого интерфейсного блока или интерфейса USB или флэш-памяти, интерфейса и т.д. Внешний интерфейсный блок 942 является интерфейсом для установления соединения с внешним устройством или сетью, картой памяти и т.п. и выполняет прием для записи таких данных, как видеоданные или аудиоданные.

Когда видеоданные и аудиоданные, поданные от внешнего интерфейсного блока 942, не кодированы, кодер 943 выполняет кодирование, используя заданную схему, и выводит кодированный битовый поток на переключатель 946.

Блок 944 HDD записывает данные контента, такие как изображение или звук, различные программы или другие фрагменты данных на встроенный жесткий диск и считывает записанные данные с жесткого диска, например, во время их воспроизведения.

Дисковод 945 выполняет запись и воспроизведение сигналов на установленном на нем оптическом диске. Примерами оптического диска являются, например, диск DVD (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R или DVD+RW и т.п.), диск Blu-ray (зарегистрированная торговая марка) и т.п.

Когда записываются изображение или аудиоданные, переключатель 946 выбирает кодированный поток, подаваемый от тюнера 941 или от кодер 943 и подает выбранный кодированный битовый поток на блок 944 HDD или на дисковод 945. Дополнительно, при воспроизведении изображения или звука переключатель 946 подает кодированный битовый поток с выхода блока 944 HDD или дисковода 945 на декодер 947.

Декодер 947 выполняет процесс декодирования кодированного битового потока. Декодер 947 подает данные изображения, сформированные посредством процесса декодирования, на блок 948 OSD. Дополнительно, декодер 947 также выводит аудиоданные, сформированные в процессе декодирования.

Блок 948 OSD формирует данные изображения для отображения на экране меню, из которого выбирают позиции меню и т.п. и накладывает сформированные данные изображения на данные изображения, которые выводятся из декодера 947 и предназначены для вывода.

Блок 950 интерфейса пользователя соединяется с блоком 949 управления.

Блок 950 интерфейса пользователя содержит операционный переключатель, блок приема сигналов дистанционного управления и т.п. и подает рабочий сигнал, соответствующий операции пользователя, на блок 949 управления.

Блок 949 управления содержит CPU, память и т.п. В памяти хранится программа, выполняемая CPU, или различные фрагменты данных, необходимых для CPU, чтобы выполнять обработку. Программа, хранящаяся в памяти, считывается CPU в заданное время, такое как время включения устройства 940 записи и воспроизведения, и, таким образом, выполняется. Исполняя программу, CPU управляет каждым блоком таким образом, что устройство 940 записи и воспроизведения работает в соответствии с операцией пользователя.

В устройстве записи и воспроизведения, выполненном таким образом, декодер 943 снабжен функцией устройства декодирования (способа декодирования), соответствующей настоящей заявке. По этой причине, в процессе кодирования кодового потока отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено. Дополнительно, декодер 947 снабжен функцией устройства декодирования (способа декодирования), соответствующей настоящей заявке. По этой причине, в процессе кодирования кодового потока отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено.

Восьмой вариант осуществления

Пример конфигурации устройства получения изображения

На фиг. 42 схематично представлена конфигурация устройства получения изображения, к которому применяется настоящее раскрытие. Устройство 960 получения изображения получает изображение фотографического объекта, отображает изображение фотографического объекта на блоке дисплея и записывает изображение на носителе для записи в качестве данных изображения.

Устройство 960 получения изображения содержит оптический блок 961, блок 962 получения изображения, блок 963 видеопроцессора камеры, блок 964 видеопроцессора, блок 965 дисплея, внешний интерфейсный блок 966, блок 967 памяти, привод 968 носителя данных, блок 969 OSD и блок 970 управления. Дополнительно, блок 971 интерфейса пользователя соединяется с блоком 970 управления. Кроме того, блок 964 видеопроцессора или внешний интерфейсный блок 966, блок 967 памяти, привод 968 носителя данных, блок 969 OSD, блок 970 управления и т.п. соединяются друг с другом через шину 972.

Оптический блок 961 содержит объектив, диафрагменный механизм и т.п. Оптический блок 961 формирует оптическое изображение фотографического объекта на поверхности получения изображения блока 962 получения изображения. Блок 962 получения изображения выполнен с возможностью использования датчика изображения на CCD или CMOS, формирования электрического сигнала в соответствии с оптическим изображением посредством фотоэлектронного преобразования и подачи сформированного электрического сигнала на блок 963 видеопроцессора камеры.

Блок 963 видеопроцессора камеры выполняет различные задачи обработки сигналов камеры, такие как г-образная коррекция, гамма-коррекция и коррекция цвета для электрического сигнала, подаваемого от блока 962 получения изображения. Блок 963 видеопроцессора камеры подает данные изображения после обработки сигнала камеры на блок 964 видеопроцессора данных изображения.

Блок 964 видеопроцессора данных изображения выполняет процесс кодирования данных изображения, поданных от блока 963 видеопроцессора камеры. Блок 964 видеопроцессора данных изображения подает кодированные данные, сформированные путем выполнения процесса кодирования, на внешний интерфейсный блок 966 или на привод 968 носителя данных. Дополнительно, блок 964 видеопроцессора данных изображения выполняет процесс декодирования кодированных данных, подаваемых от внешнего интерфейсного блока 966 или от привода 968 носителя данных. Блок 964 видеопроцессора данных изображения подает данные изображения, сформированные посредством выполнения процесса декодирования, на блок 965 дисплея. Дополнительно, блок 964 видеопроцессора данных изображения также выполняет процесс подачи данных изображения от блока 963 видеопроцессора камеры на блок 965 дисплея или накладывает данные отображения, полученные от блока 969 OSD, на данные изображения и подает результат наложения на блок 965 дисплея.

Блок 969 OSD формирует данные для отображения, такие как экранное меню или значки, которые состоят из символов, знаков или графики, и выводит сформированные данные для отображения на блок 964 видеопроцессора данных изображения.

Внешний интерфейсный блок 966, например, состоит из USB-терминала ввода/вывода и т.п. и соединяется с принтером в случае, когда изображение распечатывается. Дополнительно, если необходимо, с внешним интерфейсом 966 соединяется дисковод. Съемный носитель, такой как магнитный диск или оптический диск, должным образом устанавливается на внешнем интерфейсном блоке 966 и, при необходимости, устанавливается компьютерная программа, которая считывает съемный носитель данных. Кроме того, внешний интерфейсный блок 966 содержит сетевой интерфейс, соединенный с заданной сетью, такой как LAN или Интернет. Блок 970 управления, например, может считывать кодированные данные с дисковода 968 носителя данных в соответствии с командой от блока 971 интерфейса пользователя и может подавать кодированные данные, считанные с внешнего интерфейсного блока, на другое устройство, подключенное к интерфейсному блоку 966 через сеть. Дополнительно, блок 970 управления может получать через внешний интерфейсный блок 966 кодированные данные или данные изображения, поданные от другого устройства через сеть, и подавать полученные кодированные данные или полученные данные изображения на блок 964 видеопроцессора данных изображения.

В качестве носителя записи данных, приводимого в действие приводом 968 носителя данных, используется, например, произвольный считываемый и записываемый съемный носитель данных, такой как магнитный диск, магнито-оптический диск, оптический диск или полупроводниковая память. Дополнительно, тип носителя записи данных как съемного носителя является произвольным и может быть ленточным устройством, диском или картой памяти. Конечно, носитель записи данных может быть бесконтактной IC-картой и т.п.

Дополнительно, дисковод 968 носителя данных и носитель для записи могут объединяться в единое устройство и запись может выполняться с несъемного носителя, такого как встроенный дисковод жесткого диска или твердотельный дисковод (SSD).

Блок 970 управления выполнен с возможностью использования CPU. Блок 967 памяти хранит программу, исполняемую блоком 970 управления, различные фрагменты данных и т.п., необходимые для процесса, выполняемого блоком 970 управления, и т.п. Программа, хранящаяся в блоке 967 памяти, считывается блоком 970 управления в заданное время, такое как время включения устройства 960 получения изображения, и, таким образом, выполняется. При выполнении программы, блок 970 управления управляет каждым блоком таким образом, что устройство 960 получения изображения работает в соответствии с операцией пользователя.

В устройстве получения изображения, выполненном таким образом, блок 964 видеопроцессора данных изображения снабжен функциями устройства кодирования и устройства декодирования (способа кодирования и способа декодирования), соответствующими настоящей заявке. По этой причине, при кодировании или декодировании кодового потока отображение по умолчанию между улучшенным уровнем и информацией о разрешающей способности может быть улучшено.

Пример применения масштабируемого кодирования

Первая система

Далее описывается пример конкретного использования масштабированно кодированных (многоуровнево кодированных) данных. Масштабируемое кодирование, например, как описано в примере, показанном на фиг. 43, используется для выбора данных для передачи.

В системе 1000 передачи данных, показанной на фиг. 43, распределительный сервер 1002 считывает масштабируемые кодированные данные, хранящиеся в блоке 1001 запоминающего устройства масштабируемых кодированных данных, и распределяет масштабированные кодированные данные на оконечные устройства, такие как персональный компьютер 1004, AV-устройство 1005, планшетное устройство 1006 и мобильный телефон 1007 через сеть 1003.

В таком случае, распределительный сервер 1002 выбирает кодированные данные подходящего качества для передачи в соответствии с возможностями устройства терминала и средой передачи данных. Даже когда распределительный сервер без необходимости передает данные высокого качества, вероятность получения изображения высокого качества в устройстве терминала является низкой и существует опасение, что это может служить причиной возникновения задержки или переполнения. Дополнительно, существует опасение, что полоса связи будет неполностью занята или нагрузка на оборудование терминала будет излишне высокой. Напротив, даже если распределительный сервер 1002 без необходимости передает низкокачественные данные, существует опасение, что на оконечном устройстве будет невозможно получить изображение с достаточным качеством. По этой причине, распределительный сервер 1002 считывает масштабированные кодированные данные, хранящиеся в блоке 1001 запоминающего устройства, как кодированные данные с качеством, соответствующим возможностям устройства терминала или среды передачи данных, и передает такие кодированные данные.

Например, блок 1001 запоминающего устройства для хранения масштабируемых кодированных данных устанавливается так, чтобы хранить масштабированные данные (BL + EL) 1011, кодированные посредством масштабируемого кодирования.

Масштабированные кодированные данные (BL + EL) 1011 являются кодированными данными, содержащими как базовый уровень, так и улучшенный уровень, и являются данными, которые могут декодироваться для получения изображения на базовом уровне, так и изображения на улучшенном уровне.

Распределительный сервер 1002 выбирает должный уровень, соответствующий возможностям устройства терминала, чтобы передавать данные, среду передачи данных и т.п. и считывает данные на таком уровне. Например, для персонального компьютера 1004 или планшетного устройства 1006 с высокой способностью обработки, распределительный сервер 1002 считывает высококачественные масштабированные кодированные данные (BL + EL) 1011 из блока 1001 запоминающего устройства для хранения масштабируемых кодированных данных и передает высококачественные масштабированные кодированные данные (BL + EL) 1011 такими, какими они считаны. В отличие от этого, например, для AV-устройства 1005 или мобильного телефона 1007 с низкой способностью обработки, распределительный сервер 1002 извлекает данные базового уровня из масштабируемых кодированных данных (BL + EL) 1011 и передает данные как масштабированные кодированные данные (BL) 1012, которые являются данными того же самого содержания, что и масштабированные кодированные данные (BL + EL) 1011, но имеют более низкое качество, чем масштабированные кодированные данные (BL + EL) 1011.

Поскольку, используя масштабированные кодированные данные таким образом, объем данных может легко регулироваться, количество возникновения случаев задержки или переполнения может быть уменьшено или ненужного увеличения нагрузки на устройство терминала или на среду передачи данных можно будет избежать. Дополнительно, поскольку в случае масштабируемых кодированных данных (BL + EL) 1011 избыточность между уровнями уменьшается, объем масштабируемых кодированных данных (BL + EL) 1011 может быть уменьшен больше, чем в случае, когда кодированные данные на каждом уровне устанавливаются как индивидуальные данные. Соответственно, область хранения блока 1001 запоминающего устройства для хранения масштабируемых кодированных данных может использоваться более эффективно.

Кроме того, поскольку различные устройства, такие как персональный компьютер 1004 и мобильный телефон, могут применяться в качестве устройств терминала, характеристики аппаратурного обеспечения устройства терминала варьируются в зависимости от устройства. Дополнительно, поскольку устройство терминала также выполняет различные приложения, возможности программного обеспечения устройства терминала соответственно варьируются. Кроме того, в качестве сети 1003, работающей как среда передачи данных, может использоваться, например, проводная или беспроводная сеть, такая как Интернет или локальная сеть (LAN), или так называемая сеть линий связи, содержащая как проводные, так и беспроводные сети, и возможности передачи сети 1003 соответственно изменяются. Кроме того, существует озабоченность в отношении того, что возможности передачи данных будут изменяться также в зависимости от других передач.

Далее, распределительный сервер 1002 может осуществлять связь с устройством терминала, для которого предназначены данные, перед началом передачи данных, чтобы таким образом получить информацию, относящуюся к возможностям устройства терминала, таким как характеристики аппаратурного обеспечения устройства терминала, приложение (программное обеспечение), выполняемое устройством терминала и т.п., и информацию, относящуюся к среде передачи данных, такой как ширина полосы, в которой доступна сеть 1003, и т.п. Затем, основываясь на полученной таким образом информации, распределительный сервер 1002 может выбрать соответствующий уровень.

Кроме того, извлечение уровня может выполняться в устройстве терминала. Например, персональный компьютер 1004 может декодировать переданные масштабированные кодированные данные (BL + EL) 1011 и может отображать изображение на базовом уровне или отображать изображение на улучшенном уровне. Дополнительно, например, персональный компьютер 1004 может извлекать масштабированные кодированные данные (BL) 1012 базового уровня из переданных масштабируемых кодированных данных (BL + EL) 1011 и может хранить извлеченные масштабированные кодированные данные (BL) 1012, передавать извлеченные масштабированные кодированные данные (BL) 1012 другому устройству или декодировать извлеченные масштабированные кодированные данные и отображать изображение на базовом уровне.

Конечно, все такие устройства, как блок 1001 запоминающего устройства масштабированных кодированных данных, распределительный сервер 1002, сеть 1003 и терминалы, могут существовать в произвольном количестве. Дополнительно, выше приведен пример, в котором распределительный сервер 1002 передает данные устройству терминалу, но примеры использования этим не ограничиваются. Любая произвольная система, которая выбирает и передает подходящий уровень в соответствии с возможностями оконечного устройства, среды передачи данных и т.п., в случае, когда масштабированно кодированные данные передаются устройству терминала, может использоваться в качестве системы 1000 передачи данных.

Вторая система

Дополнительно, масштабируемое кодирование, например, может использоваться для передачи через многочисленные среды передачи данных таким образом, как показано на фиг. 44.

В системе 1100 передачи данных, показанной на фиг. 44, широковещательная станция 1101 передает масштабированные кодированные данные (BL) 1121 на базовом уровне посредством наземного вещания 1111. Дополнительно, широковещательная станция 1101 передает масштабированные кодированные данные (EL) 1122 на улучшенном уровне через произвольную сеть 1112, образованную из сети передачи данных, являющуюся проводной или беспроводной сетью передачи данных или сетью передачи данных, содержащей и ту, и другую сети (например, масштабированные кодированные данные (EL) 12 пакетируются и передаются).

Устройство 1102 терминала обладает функцией приема наземного вещания 1111 которое широковещательно передает шировещательная станция 1101, и принимает масштабированные кодированные данные (BL) 1121 на базовом уровне, которые передаются через наземное вещание 1111. Дополнительно, устройство 1102 терминала дополнительно имеет функцию связи для осуществления связи через сеть 1112 и принимает масштабированные кодированнные данные (EL) 1122 на улучшенном уровне, переданные через сеть 1112.

Оконечное устройство 1102 декодирует масштабированные кодированные данные (BL) 1121 на базовом уровне, полученные через наземное вещание 1111, например, в соответствии с командой пользователя и т.п., и, таким образом, получает изображение на базовом уровне, сохраняет изображение на базовом уровне или передает изображение на базовом уровне другому устройству.

Дополнительно, устройство 1102 терминала объединяет масштабированные кодированные данные (BL) 1121 на базовом уровне, полученные через наземное вещание 1111, и масштабированные кодированные данные (EL) 1122 на улучшенном уровне, полученные через сеть 1112, например, в соответствии с командой пользователя и т.п., и, таким образом, получает масштабированные кодированные данные (BL + EL), получает изображение на улучшенном уровне, декодируя масштабированные кодированные данные (BL + EL), сохраняет масштабированные кодированные данные (BL + EL) или передает масштабированные кодированные данные (BL + EL) другим устройствам.

Как описано выше, масштабированные кодированные данные могут, например, передаваться через среду передачи данных, которая различна для каждого уровня. Поэтому, нагрузка может распределяться и количество случаев возникновения задержки или переполнения может быть уменьшено.

Дополнительно, среда передачи данных, используемая при передаче, может выбираться для каждого уровня в соответствии с ситуацией. Например, масштабированные кодированные данные (BL) 1121 на базовом уровне с относительно большим объемом данных могут передаваться через среду передачи данных с широкой полосой пропускания, а масштабированные кодированные (EL) 2122 на улучшенном уровне с относительно малым объемом данных могут передаваться через среду передачи данных с узкой полосой пропускания. Дополнительно, например, может быть определено, может ли среда передачи данных, через которую передаются масштабированные кодированные данные (EL) 1122 на улучшенном уровне, быть установлена как сеть 1112 или как наземное вещание 1111, используя переключение, в зависимости от ширины полосы, доступной для сети 1112. Конечно, это действительно для данных на произвольном уровне.

Выполняя, таким образом, управление, повышения нагрузки для передачи данных можно дополнительно избежать.

Несомненно, количество уровней является произвольным и количество сред передачи данных, используемых для передачи, также является произвольным. Кроме того, количество оконечных устройств 1102, являющихся местами назначения при распределении данных, также является произвольным. Кроме того, выше описан пример, в котором вещание осуществляется широковещательной станцией 1101, но примеры использования этим не ограничиваются. Любая произвольная система, которая делит масштабированно кодированные данные на множество фрагментов данных в блоках уровней и передает многочисленные фрагменты данных через многочисленные линии связи, может использоваться в качестве системы 1100 передачи данных.

Третья система

Дополнительно, масштабированное кодирование используется при хранении кодированных данных таким же образом, как в примере, показанном на фиг. 45.

В системе 1200 получения изображения, показанной на фиг. 45, устройство 1201 получения изображения выполняет масштабированное кодирование данных изображения, полученного посредством получения изображения объекта 1211, и подает масштабированные кодированные данные изображения в качестве масштабированных кодированных данных (BL + EL) 1221 на устройство 1202 хранения масштабированных кодированных данных.

Устройство 1202 хранения масштабированных кодированных данных сохраняет масштабированные кодированные данные (BL + EL) 1221, поданные от устройства 1201 получения изображения, как данные, качество которых изменяется в соответствии с ситуацией. Например, при нормальной работе запоминающее устройство 1202 масштабированных кодированных данных извлекает данные на базовом уровне из масштабированных кодированных данных (BL + EL) 1221 и сохраняет извлеченные данные в качестве масштабированных кодированных данных (BL) 1222 на уровне, имеющем малый объем данных, способом, поддерживающим низкое качество. В отличие от этого, например, при операции наблюдения, запоминающее устройство 1202 масштабированных кодированных данных сохраняет как есть масштабированные кодированные данные (BL + EL) 1221, имеющие большой объем данных способом, поддерживающим высокое качество.

Когда так делается, поскольку устройство 1202 хранения масштабированных кодированных данных может сохранять изображение способом, который сохраняет высокое качество только когда это необходимо, увеличение объема данных может быть подавлено, в то же время подавляя снижение ценности изображения за счет ухудшения изображения, и эффективность использования области хранения может быть улучшена.

Например, предположим, что устройство 1201 получения изображения является контрольной камерой. В случае, когда сфотографированная цель контроля (например, незваный гость) отсутствует в полученном изображении (в случае нормального режима), вероятность, что содержание полученного изображения не обладает важностью, является высокой, снижение объема данных имеет приоритет и данные изображения (масштабированные кодированные данные) сохраняются способом, поддерживающим низкое качество. В случае, когда сфотографированная цель контроля присутствует в качестве фотографического объекта 1211 в полученном изображении (в случае режима наблюдения), вероятность, что содержание полученного изображения обладает важностью, является высокой, качество имеет приоритет и данные изображения (масштабированные кодированные данные) сохраняются способом, поддерживающим высокое качество.

Кроме того, например, анализируя изображение, устройство 1202 хранения масштабированных кодированных данных может определить, находится ли устройство 1201 получения изображения в нормальном режиме или в режиме наблюдения. Дополнительно, устройство 1201 получения изображения может выполнить определение и передать результат определения устройству 1202 хранения масштабированных кодированных данных.

Кроме того, критерий, относительно которого определяется, находится ли устройство 1201 получения изображения в нормальном режиме или в режиме наблюдения, является произвольным и содержание изображения, которое устанавливается, чтобы быть критерием для определения, является произвольным. Конечно, в качестве опорного критерия определения может быть установлено условие, отличающееся от содержания изображения. Например, устройство 1201 получения изображения может переключаться между нормальным режимом и режимом наблюдения в соответствии с громкостью записанного звука или сигнала в заданные моменты времени или в соответствии с внешней командой, такой как команда пользователя.

Дополнительно, выше описывается пример, в котором устройство 1201 получения изображения переключается между нормальным режимом и режимом наблюдения, но количество режимов является произвольным. Например, устройство 1201 получения изображения может переключаться между тремя или более режимами, такими как обычный режим, режим наблюдения с низким вниманием, режим наблюдения и режим наблюдения с высоким вниманием. Однако, максимальное количество режимов, между которыми может переключаться устройство 1201 получения изображения, зависит от количества уровней масштабированных кодированных данных

Дополнительно, устройство 1201 получения изображений может определять количество уровней масштабируемого кодирования в соответствии с ситуацией. Например, в обычном режиме устройство 1201 получения изображения может формировать масштабированные кодированные данные (BL) 1222 на базовом уровне, имеющие малый объем данных, таким образом, чтобы поддерживать низкое качество, и подавать сформированные масштабированные кодированные данные (BL) 1222 на устройство 1202 хранения масштабированных кодированных данных. Дополнительно, например, в режиме наблюдения устройство 1201 получения изображения формирует масштабированные кодированные данные (BL + EL) 1221 на базовом уровне, имеющие большой объем данных, таким образом, чтобы поддерживать высокое качество, и подавать сформированные масштабированные кодированные данные (BL + EL) 1221 на устройство 1202 хранения масштабированных кодированных данных.

В качестве примера системы 1200 получения изображения, выше описана контрольная камера, но использование системы 1200 получения изображения является произвольным и система 1200 получения изображения не ограничивается контрольной камерой.

Девятый вариант осуществления

Прочие примеры

Выше были описаны примеры устройств, системы и т.п., к которым применяется настоящее раскрытие, но настоящее раскрытие ими не ограничивается. Настоящее раскрытие может быть осуществлено как все конфигурации для установки в устройствах, описанные выше, или как устройства, образующие систему, например, процессор, как устройство большой степени интеграции (LSI) и т.п., модуль, использующий многочисленные процессоры и т.д., и блок, использующий многочисленные модули и т.п., набор, который получается добавлением к блоку дополнительных функций, и т.п. (то есть, конфигурация, которая содержит одну часть устройства).

Пример конфигурации видеокомплекта

Пример случая, когда настоящая технология применяется к комплекту, описывается со ссылкой на фиг. 46. На фиг. 46 схематично представлена конфигурация видеокомплекта, к которому применяется настоящее раскрытие.

В последние годы наблюдался прогресс многофункциональности электронных устройств. В случае, когда при разработке и изготовлении таких устройств реализуется конфигурация одной части устройства, например, когда конфигурация продается или предоставляется, в большинстве случаев конфигурация реализуется не только таким способом, что выполняется одна функция, но выполняется также и набор, снабженный множеством функций, которые возможны в результате объединения многочисленных конфигураций, в каждой из которых выполняется соответствующая функция.

Видеокомплект 1300, показанный на фиг. 46, выполнен таким образом, что видеокомплект 1300 является в этом смысле многофункциональным. Видеокомплект 1300 является объединением устройства, имеющего функцию, связанную с кодированием или декодированием изображения (функция может быть связана с кодированием или с декодированием или и с тем и с другим), и устройства, имеющего другую функцию, связанную с функцией, связанной с кодированием или декодированием.

Как показано на фиг. 46, видеокомплект 1300 содержит группу модулей, содержащую видеомодуль 1311, внешнюю память 1312, модуль 1313 управления электропитанием, входной модуль 1314 и т.п. и устройства, каждое из которых обладает соответствующей функцией, такой как связанность 1321, камеры 1322 и датчика 1323.

Модуль выполнен так, чтобы быть компонентом, имеющим соответствующую функцию, что является результатом группирования нескольких основанных на компоненте функций, связанных друг с другом. Конкретная физическая конфигурация является произвольной, но, например, осуществляется таким образом, что множество процессоров, имеющих соответствующие функции, элементов электронной схемы, таких как резисторы и конденсаторы, и других устройств располагаются и интегрируются на проводной подложке, объединяясь в одно устройство. Дополнительно, также считается, что для образования нового модуля модуль должен устанавливаться таким образом, чтобы объединяться с другим модулем, процессором и т.д.

В случае примера, показанного на фиг. 46, видеомодуль 1311 выполнен таким образом, что объединяет функции, связанные с обработкой изображений, и содержит прикладной процессор, широкополосный модем 1333 и радиочастотный модуль 1334.

Процессор является результатом интеграции конфигурации, имеющей заданную функцию, в полупроводниковый чип, образуя однокристальную систему, которая, например, упоминается как большая степень интеграции (LSI) и т.д. Конфигурация, обладающая заданной функцией, может быть логической схемой (конфигурация аппаратурного обеспечения), может быть программой (конфигурация программного обеспечения), исполняемой, используя CPU, ROM, RAM, и может быть комбинацией конфигурации логической схемы и программного обеспечения. Например, процессор может содержать логическую схему и CPU, ROM, RAM и т.п. и некоторые функции процессора реализуются логической схемой (конфигурация аппаратурного обеспечения), а другие функции могут реализовываться программой (конфигурация программного обеспечения).

Прикладной процессор 1331, показанный на фиг. 46, является процессором, исполняющим приложение, связанное с обработкой изображения. Поскольку приложение, выполняемое прикладным процессором 1331, реализует заданную функцию, приложение может не только выполнять арифметический процесс, но может также управлять конфигурацией внутри и снаружи видеомодуля 1311, например, такого как видеопроцессор 1332.

Видеопроцессор 1332 является процессором, имеющим функцию, связанную с кодированием/декодированием изображения (одной из них или обеими).

Широкополосный модем 1333 является процессором (или модулем), выполняющим процесс, связанный с проводной или беспроводной (или и проводной и беспроводной) широкополосной связью, осуществляемой через широкополосную линию, такую как Интернет или общественная телефонная сеть. Например, широкополосный модем 1333 преобразует данные (цифровой сигнал), которые должны передаваться, в аналоговый сигнал, выполняя цифровое преобразование и т.п., или, выполняя демодуляцию, преобразует принятый аналоговый сигнал в данные (цифровой сигнал). Например, широкополосный модем 1333 может выполнять цифровую модуляцию/ демодуляцию произвольной информации, такой как данные изображения, обработанные видеопроцессором 1332, или поток, полученный в результате кодирования данных изображения, прикладной программы и настроечных данных.

Радиочастотный модуль 1334 является модулем, выполняющим преобразование частот, модуляцию и демодуляцию, усиление, процесс фильтрации и т.п. для радиочастотного (RF, Radio Frequency) сигнала, который принимается и передается через антенну. Например, радиочастотный модуль 1334 формирует радиочастотный сигнал, выполняя преобразование частот и т.п. для сигнала в основной полосе, сформированного широкополосным модемом 1333. Дополнительно, радиочастотный модуль 1334, например, формирует сигнал в основной полосе, выполняя преобразование частот и т.п. для радиочастотного сигнала, принятого через входной модуль 1314.

Кроме того, как отмечено пунктирной линией 1341 на фиг. 46, прикладной процессор 1331 и видеопроцессор 1332 могут интегрироваться, так чтобы образовывать конфигурацию единого процессора.

Внешняя память 1312 является модулем, имеющим запоминающее устройство, расположенным вне видеомодуля 1311 и используемым видеомодулем 1311. Запоминающее устройство внешней памяти 1312 может быть реализовано в любой физической конфигурации. Однако, поскольку, в целом, в большинстве случаев запоминающее устройство используется для хранения большого объема данных, таких как данне изображения в блоках кадров, желательно, чтобы запоминающее устройство реализовывалось полупроводниковой памятью большой емкости, которая относительно недорога, такой как, например, динамическая память со случайным доступом (DRAM).

Модуль 1313 управления электропитанием руководит и управляет подачей электропитания на видеомодуль 1311 (каждую конфигурацию внутри видеомодуля 1311).

Входной модуль 1314 является модулем, обеспечивающим входную функцию (схема на передающем и на приемном концах на стороне антенны) для радиочастотного модуля 1334. Как показано на фиг. 38, входной модуль 1314 содержит, например, антенный блок 1351, фильтр 1352 и блок 1353 усилителя.

Антенный блок 1351 содержит антенну, передающую и принимающую беспроводной сигнал, и периферическую конфигурацию. Антенный блок 1351 передает сигнал, подаваемый от блока 1353 усилителя, в качестве беспроводного сигнала и принимает беспроводной сигнал, поступающий на фильтр 1352 в качестве электрического сигнала (радиочастотного сигнала). Фильтр 1352 выполняет процесс фильтрации и т.п. для радиочастотного сигнала, принятого через антенну, и подает радиочастотный сигнал для последующей обработки на радиочастотный модуль 1334. Блок 1353 усилителя усиливает радиочастотный сигнал, подаваемый от радиочастотного модуля 1334, и подает усиленный радиочастотный сигнал на антенный блок 1351.

Модуль 1321 связности является модулем, обладающим функцией, связанной с внешним подключением. Физическая конфигурация модуля 1321 связности является произвольной. Например, модуль 1321 связности содержит конфигурацию, имеющую функцию связи, отличную от стандарта связи, поддерживаемого широкополосным модемом 1333, внешним терминалом ввода/вывода или т.п.

Например, модуль 1321 связности может содержать модуль, имеющий функцию связи на основе стандартов беспроводной связи, таких как Bluetooth (зарегистрированная торговая марка), IEEE 802.11 (например, Wi-Fi (Wireless Fidelity; зарегистрированная торговая марка)), NFC (Near Field Communication, связь в ближнем поле) и IrDA (InfraRed Data Association), и антенну и т.п., которая передает и принимает сигнал в соответствии с такими стандартами беспроводной связи и т.п. Дополнительно, например, модуль 1321 связности содержит модуль, имеющий функцию связи, основанную на стандартах проводной связи, таких как универсальная последовательная шина (Universal Serial Bus, USB) и мультимедийный интерфейс высокой четкости (High-Definition Multimedia Interface, HDMI) (зарегистрированная торговая марка), или устройство терминала, соответствующее таким стандартам проводной связи. Дополнительно, например, модуль 1321 связности может содержать другие функции передачи данных (сигнала) или т.п., такие как аналоговое устройство терминала ввода/вывода.

Кроме того, модуль 1321 связности может содержать устройство назначения места передачи данных (сигнала). Например, модуль 1321 связности может иметь дисковод (содержащий не только дисковод съемного носителя, но также дисковод жесткого диска, твердотельный дисковод SSD (Solid State Drive), подключенное к сети запоминающее устройство NAS (Network Attached Storage, NAS) и т.п.), выполняющие считывание данных или запись данных на носителе для записи, таком как магнитный диск, оптический диск, магнитно-оптический диск или полупроводниковая память. Дополнительно, модуль 1321 связности может содержать устройство вывода (монитор, громкоговоритель или т.п.) для вывода изображения или звука.

Камера 1322 является модулем, получающим фотографическое изображение объекта, и имеет функцию получения данных изображения фотографического объекта. Данные изображения, полученные посредством процесса получения изображения, выполняемого камерой 1322, например, подаются на видеопроцессор 1322 для кодирования.

Датчик 1323 является модулем, имеющим функцию произвольного датчика, такого как аудиодатчик, ультразвуковой датчик, оптический датчик, датчик освещенности, инфракрасный датчик, датчик изображения, датчик вращения, датчик угла, датчик угловой скорости, датчик скорости, датчик ускорения, датчик наклона, магнитный датчик идентификации, датчик удара или датчик температуры. Данные, которые обнаруживаются датчиком 1323, подаются, например, на прикладной процессор 1331 и используются прикладной программой и т.п.

Конфигурация, описанная выше как модуль, может быть реализована как процессор и конфигурация, описанная выше как процессор, может быть реализована как модуль.

В видеокомплекте 1300, имеющем описанную выше конфигурацию, настоящее раскрытие может быть применено видеопроцессору 1332, как будет описано далее. Таким образом, видеокомплект 1300 может быть реализован как набор, к которому применяется настоящее раскрытие.

Пример конфигурации видеопроцессора

На фиг. 47 схематично представлена примерная конфигурация видеопроцессора 1332 (показанного на фиг. 46), к которому применяется настоящее раскрытие.

В примере, показанном на фиг. 47, видеопроцессор 1332 имеет функцию ввода видеосигнала и аудиосигнала и кодирования видеосигнала и аудиосигнала в соответствии с заданной схемой и функцию декодирования кодированных видеоданных и аудиоданных и вывода видеосигнала и аудиосигнала для воспроизведения.

Как показано на фиг. 47 видеопроцессор 1332 содержит блок 1401 входного видеопроцессора, первый блок 1402 увеличения/уменьшения изображения, второй блок 1403 увеличения/уменьшения изображения, блок 1404 выходного видеопроцессора, кадровую память 1405 и блок 1406 управления памятью. Дополнительно, видеопроцессор 1332 содержит устройство 1407 кодирования/декодирования, видеобуферы 1408А и 1408В элементарного потока (ES) и аудиобуферы 1409А и 1409В ES. Кроме того, видеопроцессор 1332 содержит аудиокодер 1410; аудиодекодер 1411; мультиплексор (MUX) 1412; демультиплексор (DMUX) 1413 и буфер 1414 потока.

Блок 1401 входного видеопроцессора, например, получает видеосигнал, поступающий от модуля 1321 связности (показанного на фиг. 46), и преобразует полученный видеосигнал в данные цифрового изображения. Первый блок 1402 увеличения/уменьшения изображения выполняет преобразование формата и процесс увеличения/уменьшения изображения для данных изображения. Второй блок 1403 увеличения ли уменьшения изображения выполняет процесс увеличения и уменьшения изображения для данных изображения в соответствии с предшествующим форматом, который выводится через блок 1404 выходного видеопроцессора, или выполняет преобразование формата, процесс увеличения/уменьшения изображения и т.п. таким же способом, как и первый блок 1402 увеличения и уменьшения изображения. Блок 1404 выходного видеопроцессора выполняет преобразование формата, преобразование в аналоговый сигнал и т.п. данных изображения и выводит воспроизводимый видеосигнал, например, на модуль 1321 связности (показанный на фиг. 46).

Кадровая память 1405 является памятью данных изображения, которые совместно используются блоком 1401 входного видеопроцессора, первым блоком 1402 увеличения/уменьшения изображения, вторым блоком 1403 увеличения/уменьшения изображения, блоком 1404 выходного видеопроцессора и устройством 1407 кодирования/декодирования. Кадровая память 1405 реализуется как полупроводниковая память, например, как DRAM.

Блок 1406 управления памятью принимает сигнал синхронизации от устройства 1407 кодирования/декодирования и управляет доступом к кадровой памяти 1405 для записи/считывания в соответствии с графиком доступа к кадровой памяти 1405, записанным в таблице 1406А управления доступом. Таблица 1406А управления доступом обновляется блоком 1406 управления памятью в соответствии с задачами обработки, выполняемыми устройством 1407 кодирования/декодирования, первым блоком 1402 увеличения и уменьшения изображения, вторым блоком 1403 увеличения и уменьшения изображения и т.д.

Устройство 1407 кодирования/декодирования выполняет процесс кодирования данных изображения и процесс декодирования видеопотока, являющегося данными, полученными в результате кодирования данных изображения. Например, устройство 1407 кодирования/декодирования кодирует данные изображения, считанные из кадровой памяти 1405 и далее записывает кодированные данные изображения в видеобуфер 1408А ES в качестве видеопотока. Дополнительно, например, видеопоток последовательно считывается из видеобуфера 1408В ES для декодирования и последовательно записывается в качестве данных изображения в кадровую память 1405. При таком кодировании или декодировании устройство 1407 кодирования/декодирования использует кадровую память 1405 в качестве рабочей области. Дополнительно, устройство 1407 кодирования/декодирования выводит сигнал синхронизации на блок 1406 управления памятью, например, в момент запуска обработки каждого макроблока.

Видеобуфер 1408A ES заполняется видеопотоком, который формируется устройством 1407 кодирования/декодирования, и подает видеопоток из буфера в мультиплексор (MUX) 1412. Видеобуфер 1408В ES заполняется видеопотоком, который подается от демультиплексора (DMUX) 1413, и подает видеопоток из буфера в устройство 1407 кодирования/декодирования.

Аудиобуфер 1409A ES заполняется аудиопотоком, который формируется аудиокодером 1410, и подает аудиопоток из буфера в мультиплексор (MUX) 1412. Аудиобуфер 1408В ES заполняется аудиопотоком, который подается от демультиплексора (DMUX) 1413, и подает видеопоток из буфера на аудекодер 1411.

Аудиокодер 1410, например, выполняет цифровое преобразование аудиосигнала, который вводится, например, от модуля 1321 связности (показанного на фиг. 46) и т.п. и, например, кодирует результат преобразования, используя заданную схему, такую как аудиосхему MPEG scheme или Audio Code номер 3 (АСЗ). Аудиокодер 1410 записывает аудиопоток, который является данными, полученными в результате кодирования аудиосигнала, в аудиобуфер 1409A ES. Аудио декодер 1411 декодирует аудиопоток, подаваемый от аудиобуфера 1409В ES, выполняет, например, преобразование в аналоговый сигнал и т.п. и подает результирующий аудиопоток в качестве воспроизводимого сигнала, например, на модуль 1321 связности (показанный на фиг. 46).

Мультиплексор (MUX) 1412 мультиплексирует видеопоток и аудиопоток. Это способ мультиплексирования (то есть, формат битового потока, сформированного посредством мультиплексирования) является произвольным. Дополнительно, в случае мультиплексирования, мультиплексор (MUX) 1412 может добавлять к битовому потоку заданную информацию заголовка и т.д. Другими словами, мультиплексор (MUX) 1412 может посредством мультиплексирования преобразовывать формат потока. Например, мультиплексор (MUX) 1412 мультиплексирует видеопоток и аудиопоток и, таким образом, преобразует результат мультиплексирования в транспортный поток, являющийся битовым потоком в формате передачи. Дополнительно, например, мультиплексор (MUX) 1412 мультиплексирует видеопоток и аудиопоток и, таким образом, преобразует результат мультиплексирования в данные (данные файла) в формат файла.

Демультиплексор (DMUX) 1413 демультиплексирует битовый поток, являющийся результатом мультиплексирования видеопотока и аудиопотока, используя схему, соответствующую мультиплексированию, мультиплексором (MUX) 1412. Другими словами, демультиплексор (DMUX) 1413 извлекает видеопоток и аудиопоток из битового потока, который считывается из буфера 1414 потока (разделяет видеопоток и аудиопоток друг от друга). Другими словами, демультиплексор (DMUX) 1413 может преобразовать формат потока посредством демультиплексирования (может инверсно преобразовать результат преобразования мультиплексором (MUX) 1412). Например, демультиплексор (DMUX) 1413 может получить тарнспортный поток, который подается, например, от модуля 1321 связности, широкополосного модема 1333 (оба показаны на фиг. 46) и т.д. через буфер 1414 потока и может преобразовать полученный транспортный поток в видеопоток и аудиопоток посредством демультиплексирования. Дополнительно, например, демультиплексор (DMUX) 1413 может получать файловые данные, считываемые с различных носителей для записи, например, модулем 1321 связности (на фиг. 46), через буфер 1414 потока и может преобразовывать полученные файловые данные в видеопоток и аудиопоток путем демультиплексирования.

Буфер 1414 потока заполняется битовым потоком. Например, буфер 1414 потока заполняется транспортным потоком, подаваемым от мультиплексора (MUX) 1412, и подает буферированный транспортный поток, например, на модуль 1321 связности, широкополосный модем 1333 (оба показаны на фиг. 46) и т.п. в заданный момент времени или основываясь на запросе извне.

Дополнительно, например, буфер 1414 потока заполняется файловыми данными, подаваемыми от мультиплексора (MUX) 1412, и подает буферированные файловые данные, например, на модуль 1321 связности и т.д. (показанный на фиг. 46), в заданное время или основываясь на запросе извне записи на различные носители для записи.

Кроме того, буфер 1414 потока заполняется транспортным потоком, который получает, например, от модуля 1321 связности, широкополосного модема 1333 (оба показаны на фиг. 46) и т.д., и подает буферированный транспортный поток на демультиплексор (DMUX) 1413 в заданный момент времени или основываясь на запросе извне.

Дополнительно буфер 1414 потока загружается файловыми данными, которые считываются с различных носителей записи, например, в модуле 1321 связности (показанном на фиг. 46), и подает буферированные файловые данные на демультиплексор (DMUX) 1413 в заданный момент времени или основываясь на запросе извне.

Далее описывается пример работы видеопроцессора 1332 с описанной выше конфигурацией. Например, видеосигнал, поданный на видеопроцессор 1332 от модуля 1321 связности (фиг. 46) или т.п., преобразуется в данные цифрового изображения в соответствии с заданной схемой, такой как схема 4:2:2Y/Cb/Cr, входным блоком 1401 видеопроцессора и последовательно записывается в кадровую память 1405. Эти данные цифрового изображения считываются первым блоком 1402 увеличения и уменьшения изображения или вторым блоком 1403 увеличения и уменьшения изображения, выполняется преобразование формата в заданной схема, такой как схема 4:2:0Y/Cb/Cr и процесс увеличения и уменьшения выполняется для цифровых данных изображения, которые снова записываются в кадровую память 1405. Эти данные изображения кодируются устройством 1407 кодирования/декодирования и записываются в видеобуфер 1408A ES в качестве видеопотока.

Дополнительно, аудиосигнал, поданный от модуля 1321 связности (фиг. 46) и т.п. на видеопроцессор 1332, кодируется аудиокодером 1410 и записывается в аудиобуфер 1409A ES в качестве аудиопотока.

Видеопоток, хранящийся в видеобуфере 1408A ES, и аудиопоток, хранящийся в аудиобуфере 1409A ES, считываются мультиплексором (MUX) 1412 и преобразуются в транспортный поток, файловые данные и т.п. Транспортный поток, сформированный мультиплексором (MUX) 1412, буферируется в буфере 1414 потока и затем выводится во внешнюю сеть, например, через модуль 1321 связности или широкополосный модем 1333 (оба показаны на фиг. 46). Дополнительно, файловые данные, сформированные мультиплексором (MUX) 1412, буферизуются буфером 1414 потока и затем выводятся, например, на модуль 1321 связности (фиг. 46) и т.п., и записываются на различные носители для записи.

Дополнительно, транспортный поток, который вводится из внешней сети на видеопроцессор 1332, например, через модуль 1321 связности (фиг. 46) или через широкополосный модем 1333 (оба показаны на фиг. 46)., буферируется буфером 1414 потока и затем мультиплексируется демультиплексором (DMUX) 1413. Дополнительно, файловые данные, которые считываются с различных носителей для записи, например, модулем 1321 связности (фиг. 46) и т.п., и вводятся на видеопроцессор 1332, буферируются в буфер 1414 потока и затем мультиплексируются демультиплексором (DMUX) 1413. Другими словами, файловые данные или транспортный поток, введенные на видеопроцессор 1332, разделяются на видеопоток и аудиопоток демультиплексором (DMUX) 1413.

Аудиопоток подается на аудиодекодер 1411 через аудиобуфер 1409 В ES, декодируется и аудиосигнал таким образом воспроизводится. Дополнительно, видеопоток записывается в видеобуфер 1408В ES. После этого, видеопоток последовательно считывается устройством 1407 кодирования/декодирования и записывается в кадровую память 1405. Второй блок 1403 увеличения и уменьшения изображения выполняет процесс увеличения и уменьшения для декодированных данных изображения и результирующие декодированные данные изображения записываются в кадровую память 1405. Затем декодированные данные изображения считываются блоком 1404 выходного видеопроцессора, преобразуются в формат в соответствии с заданной схемой, такой как схема 4:2:2Y/Cb/Cr, и преобразуются в аналоговый сигнал. Таким образом, выводится видеосигнал, который должен воспроизводиться.

В случае, когда настоящее раскрытие применяется к видеопроцессору 1332 с такой конфигурацией, настоящее раскрытие, соответствующее каждому из вариантов осуществления, описанных выше, может применяться к устройству 1407 кодирования/декодирования. Другими словами, например, устройство 1407 кодирования/декодирования предпочтительно может иметь функцию устройства кодирования изображения или устройства декодирования, соответствующую первому варианту осуществления. Когда так делается, видеопроцессор 1332 может получать такие же результаты, как тот, который описан выше со ссылкой на фиг. 1-28.

Кроме того, в устройстве 1407 кодирования/декодирования настоящее раскрытие (функции устройства кодирования изображения или устройства декодирования изображения, соответствующих каждому из вариантов осуществления, описанных выше) может реализовываться аппаратурным обеспечением, например, логической схемой, можетт реализовываться программным обеспечением, например, встроенной программой и т.д. или может реализовываться совместно аппаратурным обеспечением и программным обеспечением.

Другие примеры конфигурации видеопроцессора

На фиг. 48 схематично представлены другие примеры конфигурация видеопроцессора 1332 (показанного на фиг. 46), к которому применяется настоящее раскрытие. В случае примера, показанного на фиг. 48, видеопроцессор 1332 имеет функцию кодирования/декодирования видеоданных, используя заданную схему.

Более конкретно, как показано на фиг. 48, видеопроцессор 1332 содержит блок 1511 управления, интерфейс 1512 дисплея, устройство 1513 дисплея, устройство 1514 обработки изображения и внутреннюю память 1515. Дополнительно, видеопроцессор 1332 содержит устройство 1516 кодека, интерфейс 1517 памяти, мультиплексор/демультиплексор (MUX/DMUX) 1518; сетевой интерфейс 1519 и видеоинтерфейс 1520.

Блок 1511 управления управляет операциями процессорных блоков, расположенных внутри видеопроцессора 1332, таких как интерфейс 1512 дисплея, устройство 1513 дисплея, устройство 1514 видеопроцессора и устройство 1516 кодека.

Как показано на фиг. 48, блок 1511 управления содержит, например, основной CPU 1531, подпроцессор 1532 и системный контроллер 1533. Основной CPU 1531 исполняет программу и т.д. для управления работой каждого процессорного блока, расположенного внутри видеопроцессора 1332. Основной CPU 1531 формирует сигнал управления в соответствии с программой и т.п. и подает сформированный сигнал управления на каждый процессорный блок (то есть, управляет работой каждого процессорного блока). Подпроцессор 1532 при обработке играет вспомогательную роль для основного CPU 1531. Например, подпроцессор 1532 выполняет дочерний процесс или подпрограмму программы и т.д., выполняемых основным CPU 1531. Системный контроллер 1533 управляет операциями основного CPU 1531 и подпроцессора 1532, такими как назначение программы, исполняемой основным CPU 1531 и подпроцессором 1532.

Под управлением блока 1511 управления интерфейс 1512 дисплея выводит данные изображения, например, на модуль 1321 связности (показанный на фиг. 46) и т.п. Например, интерфейс 1512 дисплея преобразует данные изображения, являющиеся цифровыми данными, в аналоговый сигнал и выводит результат преобразования на контрольное устройство и т.п. модуля 1321 связности (показанного на фиг. 46) в качество воспроизводимого видеосигнала или данных изображения, являющихся цифровыми данными.

Под управлением блока 1511 управления устройство 1513 дисплея выполняет различные задачи процессов преобразования, такие как преобразование формата, преобразование размера и преобразование диапазона цветов для данных изображения, способом, соответствующим характеристикам аппаратурного обеспечения устройства монитора, на котором отображается изображение.

Устройство 1514 обработки изображения под управлением блока 1511 управления выполняет для данных изображения заданную обработку изображения, такую, например, как обработка файлов для улучшения качества изображения.

Внутренняя память 1515 является памятью, совместно используемой устройством 1513 дисплея, устройством 1514 обработки изображения и устройством 1516 кодека, обеспечиваемыми внутри видеопроцессора 1332. Внутренняя память 1515 используется для передачи и приема данных, выполняемых, например, между устройством 1513 дисплея, устройством 1514 обработки изображения и устройством 1516 кодека. Например, во внутренней памяти 1515, при необходимости, хранятся данные, поданные от устройства 1513 дисплея, устройства 1514 обработки изображения или устройства 1516 кодека и данные подаются на устройство 1513 дисплея, устройство 1514 обработки изображения или устройство 1516 кодека (например, в соответствии с запросом). Внутренняя память 1515 может быть реализована как любое запоминающее устройство. Однако, поскольку в целом, в большинстве случаев внутренняя память 1515 используется для хранения малого объема данных, таких как данные изображения в блоках или параметров, желательно, чтобы внутренняя память 1515 реализовывалась, например, полупроводниковой памятью, имеющей относительно малую емкость (например, при сравнении с внешней памятью 1312), такой как статическая память произвольного доступа (static random access memory, SRAM), но высокую скорость быстродействия.

Устройство 1516 кодека выполняет процесс, связанный с кодированием или декодированием данных изображения. Схема кодирования/декодирования, которая поддерживается устройством 1516 кодека, является произвольной и количество схем кодирования/декодирования может быть 1, 2 или больше. Например, схема 1516 кодека может содержать многочисленные функции кодека в соответствии со схемой кодирования/декодирования и может выполнять кодирование данных изображения или декодирование кодированных данных, используя функцию, выбранную из числа многочисленных функций.

В примере, показанном на фиг. 48, устройство 1516 кодека, например, содержит MPEG-2 Video 1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (масшатабируемый) 1544, HEVC/H.265 (многопроекционный) 1545 и MPEG-DASH1551 в качестве функциональных блоков обработки, связанной с кодеком.

MPEG-2 Video 1541 является функциональным блоком кодирования или декодирования данных изображения, использующим схему MPEG-2. AVC/H.2641542 является функциональным блоком кодирования или декодирования данных изображения, использующим схему AVC. HEVC/H.2651543 является функциональным блоком кодирования или декодирования данных изображения, использующим схему HEVC. HEVC/H.265 (масштабируемый) 1544 является функциональным блоком, масштабированно кодирующим данные изображения или масштабированно декодирующим данные изображения, используя схему HEVC. HEVC/H.265 (многопроекционный) 1545 является функциональным блоком, кодирующим данные изображения многопроекционным способом или декодирующим данные изображения многопроекционным способом, используя схему HEVC.

MPEG-DASH 1551 является функциональным блоком, который передает и принимает данные изображения, используя схему MPEP-Dynamic Adaptive Streaming over HTTP (DASH). MPEG-DASH является технологией, выполняющей потоковую передачу видео, используя протокол гипертекстовой передачи (HyperText Transfer Protocol, HTTP), и одним из признаков MPEG-DASH является то, что она пригодна для выбора блоков сегментов из числа многочисленных фрагментов кодированных данных, имеющих разные заранее подготовленные разрешающие способности и т.п., и передачи. MPEG-DASH 1551 выполняет управление формированием потока в соответствии со стандартами, управление передачей потока и т.п. и использует MPEG-2 Video 1541 - HEVC/H.265 (многопроекционный) 1545, которые были описаны выше, для кодирования/декодирования данных изображения.

Интерфейс 1517 памяти является интерфейсом, используемым для внешней памяти 1312. Данные, поданные от устройства 1514 обработки изображения или от устройства 1516 кодека, подаются во внешнюю память 1312 через интерфейс 1517 памяти. Дополнительно, данные, считанные из внешней памяти 1312, подаются на видеопроцессор 1332 (устройство 1514 обработки изображения или устройство 1516 кодека) через интерфейс 1517 памяти.

Мультиплексор/демультиплексор (MUX DMUX) 1518 выполняет мультиплексирование или демультиплексирование различных фрагментов данных, связанных с изображением, таких как битовый поток кодированных данных, данные изображения или видеосигнал. Способ мультиплексирования/демультиплексирования является произвольным. Например, в случае мультиплексирования, мультиплексор/демультиплексор (MUX DMUX) 1518 может не только размещать множество фрагментов данных в одном фрагменте данных, но может также добавлять к одному фрагменту данных заданную информацию заголовка и т.д. Дополнительно, в случае демультиплексирования, мультиплексор/демультиплексор (MUX DMUX) 1518 может не только делить один фрагмент данных на множество фрагментов данных, но может также добавлять к каждому фрагменту данных, полученному в результате деления, заданную информацию заголовка. Другими словами, мультиплексор/демультиплексор (MUX DMUX) 1518 посредством мультиплексирования/демультиплексирования может преобразовывать формат данных. Например, посредством мультиплексирования битового потока мультиплексор/демультиплексор (MUX DMUX) 1518 может преобразовывать битовый поток в транспортный поток, являющийся битовым потоком в формате для передачи, или в данные в файловом формате для записи (файловые данные). Конечно, также возможно инверсное мультиплексирование битового потока посредством демультиплексирования.

Сетевой интерфейс 1519 является, например, интерфейсом для широкополосного модема 1333, для модуля 1321 связности (оба показаны на фиг. 46) и т.д. Видеоинтерфейс 1520 является, например, интерфейсом для модуля 1321 связности, для камеры 1322 (оба показаны на фиг. 38) и т.д.

Далее описывается пример работы видеопроцессора 1332. Например, когда транспортный поток принимается через внешнюю сеть от модуля 1321 связности или широкополосного модема 1333 (оба показаны на фиг. 38), транспортный поток подается через сетевой интерфейс 1519 на мультиплексор/демультиплексор (DMUX) 1518, демультиплексируется и декодируется устройством 1516 кодека. Например, устройство 1514 обработки изображения выполняет заданную обработку изображения для данных изображения, полученных декодированием, выполняемым устройством 1516 кодека, устройство 1513 дисплея выполняет заданное преобразование результирующих данных изображения и результирующие данные изображения подаются, например, на модуль 1321 связности (фиг. 46) и т.п. через интерфейс 1512 дисплея. Таким образом, изображение результирующих данных изображения отображается на мониторе. Дополнительно, например, данные изображения, полученные процессом декодирования, выполняемым устройством 1516 кодека, перекодируются устройством 1516 кодека, мультиплексируются мультиплексором/демультиплексором (MUX DMUX) 1518, преобразуются в файловые данные, выводятся, например, на модуль 1321 связности (фиг. 46) или т.п. через видеоинтерфейс 1520 и записываются на различных носителях для записи данных.

Кроме того, например, файловые данные кодированных данных, считанные с носителя для записи данных, который не показан, модулем 1321 связности (фиг. 46) и т.п., подаются на мультиплексор/демультиплексор (MUX/DMUX) 1518 через видеоинтерфейс 1520, демультиплексируются и декодируются устройством 1516 кодека. Устройство 1514 обработки изображения выполняет заданную обработку изображения для данных изображения, полученных декодированием, выполняемым устройством 1516 кодека, устройство 1513 дисплея выполняет заданное преобразование результирующих данных изображения и результирующие данные изображения подаются, например, на модуль 1321 связности (фиг. 46) и т.п. через интерфейс 1512 дисплея. Таким образом, изображение результирующих данных изображения отображается на мониторе. Дополнительно, например, данные изображения, полученные процессом декодирования, выполняемым устройством 1516 кодека, перекодируются устройством 1516 кодека, мультиплексируются мультиплексором/демультиплексором (MUX/DMUX) 1518, преобразуются в транспортный поток, подаются, например, на модуль 1321 связности, широкополосный модем (фиг. 46) и т.п. через сетевой интерфейс 1519 и передаются на другие устройства, которые не показаны.

Кроме того, передача и прием данных изображения или других фрагментов данных между процессорными блоками внутри видеопроцессора 1332 выполняются, например, используя внутреннюю память 1515 или внешнюю память 1312. Дополнительно, модуль 1313 управления электропитанием, например, управляет подачей электропитания на блок 1511 управления.

В случае, когда настоящее раскрытие применяется к видеопроцессору 1332 с такой конфигурацией, настоящее раскрытие, соответствующее каждому из вариантов осуществления, описанных выше, может применяться к устройству 1516 кодека. Другими словами, например, устройство 1516 кодека может иметь функциональный блок, реализующий устройство кодирования или устройство декодирования в соответствии с первым вариантом осуществления. Кроме того, например, когда устройство 1516 кодека делает это таким способом, видеопроцессор 1332 может получать такие же результаты, как тот, который описан выше со ссылкой на фиг. 1-28.

Кроме того, в устройстве 1516 кодека настоящее раскрытие (функции устройства кодирования изображения или устройства декодирования изображения в соответствии с каждым из вариантов осуществления, описанных выше) может реализовываться аппаратурным обеспечением, например, логической схемой и т.д., может реализовываться программным обеспечением, например, встроенной программой и т.д., или может реализовываться совместно аппаратурным обеспечением и программным обеспечением.

Выше показаны два примера конфигурации видеопроцессора 1332, но конфигурация видеопроцессора 1332 является произвольной и возможны также примеры, отличные от приведенных выше двух примеров. Дополнительно, видеопроцессор 1332 может быть выполнен в виде единого полупроводникового чипа, но может быть выполнен в виде множества полупроводниковых чипов. Например, видеопроцессор 1332 может быть трехуровневой LSI, полученной в результате наложения друг на друга многочисленных полупроводников. Дополнительно, видеопроцессор 1332 может быть реализован посредством множества LSI.

Пример применения в устройстве

Видеокомплект 1300 может быть встроен в различные устройства, обрабатывающие данные изображения. Например, видеокомплект 1300 может быть встроен в телевизионное устройство 900 (фиг. 39), мобильный телефон 920 (фиг. 40), устройство 940 записи и воспроизведения (фиг. 41), устройство 960 получения изображения (фиг. 42) и т.д. Устройство, в которое встроен видеокомплект 1300, может получать такие же результаты, как устройство, описанное выше со ссылкой на фиг. 1-28.

Дополнительно, видеокомплект 1300, например, может быть встроен в устройство терминала системы 1000 передачи данных, показанной на фиг. 43, такой как персональный компьютер 1004, AV-устройство 1005, планшетное устройство 1006 и мобильный телефон 1007, вещательная станция 1101 и устройство 1102 терминала системы 1100 передачи данных, показанной на фиг. 44, и устройство 1201 получения изображения и запоминающее устройство 1202 масштабированных кодированных данных системы 1200 получения изображения, показанной на фиг. 45, и т.п. Устройство, в которое встроен видеокомплект 1300, может получать такие же результаты, как устройство, описанное выше со ссылкой на фиг. 1-28.

Кроме того, если какая-либо часть любой конфигурации видеокомплекта 1399, описанного выше, содержит видеопроцессор 1332, видеокомплект 1300 может реализовываться как конфигурация, к которой применяется настоящее раскрытие. Например, только видеопроцессор 1332 может быть выполнен как видеопроцессор, к которому применима настоящая технология. Дополнительно, например, процессор, видеомодуль 1311 и т.п., указанные пунктирной линией 1341, как показано выше, могут быть реализованы как процессор или модуль и т.д., к которым применяется настоящее раскрытие. Кроме того, например, комбинация видеомодуля 1311, внешней памяти 1312, модуля 1313 управления электропитанием и входного модуля 1314 может быть реализована в виде видеоблока 1361, к которому применимо настоящее раскрытие. Даже в случае любой конфигурации может быть получен тот же самый эффект, который описан со ссылкой на фиг. 1-28.

Другими словами, в любой конфигурации, в которой содержится видеопроцессор 1332, видеопроцессор 1332 может быть встроен в различные устройства, обрабатывающие данные изображения, как в случае с видеокомплектом 1300. Например, видеопроцессор 1332, процессор, обозначенный пунктирной линией 1341, видеомодуль 1311 или видеоблок 1361 могут быть встроены в телевизионное устройство 900 (фиг. 39), мобильный телефон 920 (фиг. 40), устройство 940 записи и воспроизведения (фиг. 41), устройство 960 получения изображения (фиг. 42), устройства терминалов системы 1000 передачи данных, показанной на фиг. 43, такой как персональный компьютер 1004, AV-устройство 1005, планшетное устройство 1006 и мобильный телефон 1007, широковещательная станция 1101 и устройство 1102 терминала системы 1100 передачи данных, показанной на фиг. 44, устройство 1201 получения изображения и запоминающее устройство 1202 масштабированных кодированных данных в системе 1200 получения изображения, показанной на фиг. 45, и т.д. Затем, аналогично случаю видеокомплекта 1300, устройство, в которое встраивается любая конфигурация, к которой применимо настоящее раскрытие, может получить такие же результаты, как устройство, описанное выше со ссылкой на фиг. 1-28.

Кроме того, в настоящем описании приводится пример, в котором различные фрагменты информации, такие как VPS и SPS, мультиплексируются в кодированные данные и передаются со стороны кодирования на сторону декодирования. Однако способ передачи фрагментов информации не ограничивается этим примером. Например, фрагменты информации могут передаваться или записываться как индивидуальные фрагменты данных, связанные с кодированными данными, без их мультиплексирования с кодированными данными. Здесь термин "связанный с" означает, что изображение (или часть изображения, которое может быть частью изображения, такой как срез и блок), содержащееся в битовом потоке, и информация, соответствующая изображению, могут быть связаны друг с другом во время декодирования. То есть, информация может передаваться по тракту передачи, независимому от кодированных данных. Дополнительно, информация может записываться на носителе для записи данных (или в отдельной области хранения данных на том же самом носителе для записи), независимом от кодированных данных. Дополнительно, например, информация и кодированные данные могут связываться друг с другом в произвольных блоках, таких как блок из множества кадров, блок из одного кадра или блок из части кадра.

Дополнительно, в настоящем раскрытии система означает набор из многочисленных составляющих элементов (устройств, модулей (компонент) и т.п.), независимо от того, расположены ли все эти составляющие элементы в едином корпусе. Поэтому, многочисленные устройства, находящиеся индивидуально в различных корпусах и соединенные друг с другом через сеть, являются системой и одно устройство, содержащее многочисленные модули, содержащиеся в одном корпусе, также является системой.

Эффекты, описанные в настоящем описании, предназначены только для иллюстрации и, таким образом, не ограничиваясь этой иллюстрацией, могут присутствовать и другие эффекты.

Варианты осуществления, соответствующие настоящему раскрытию, не ограничиваются описанными выше вариантами осуществления и возможны различные модификации в пределах объема раскрытия, но не выходящие за пределы настоящего раскрытия.

Например, настоящее раскрытие может также применяться к устройству кодирования или к устройству декодирования, использующему схему кодирования, отличную от схемы HEVC, которая способна выполнять пропуск преобразования.

Дополнительно, настоящее раскрытие может применяться к устройству кодирования и к устройству декодирования, которые используются, когда кодированный поток принимается через сетевой носитель, такой как спутниковое вещание, кабельное телевидение, Интернет или мобильный телефон, или в случае, когда обработка выполняется на носителе для хранения данных, таком как оптический диск, магнитный диск или флэш-память.

Например, в соответствии с настоящим раскрытием, может использоваться конфигурация вычисления облака, в которой через сеть одна функция используется совместно многими устройствами и совместно обрабатываться многими устройствами.

Дополнительно, каждый этап, описанный со ссылкой на блок-схему последовательности выполнения операций, может использоваться совместно многими устройствами и совместно выполняться многими устройствами в дополнение к тому, что выполняется одним устройством.

Кроме того, когда в одном этапе содержится множество задач по обработке, множество задач по обработке может использоваться совместно множеством устройств и выполняться совместно множеством устройств в дополнение к тем, которые выполняются одним устройством.

Предпочтительные варианты осуществления настоящего раскрытия были подробно описаны выше со ссылкой на сопроводительные чертежи, но настоящее раскрытие не ограничивается таким примером. Предложение различных альтернативных примеров или примеров модификации в рамках объема технологической идеи, описанной в пределах каждого пункта формулы изобретения, является очевидным для специалистов в данной области техники, связанных с настоящим раскрытием, и, таким образом, они справедливо интерпретируются как попадающие в рамки технологического объема настоящего раскрытия.

Кроме того, в соответствии с настоящей технологией, могут использоваться нижеследующие конфигурации.

(1) Устройство кодирования изображения, содержащее: схему, выполненную с возможностью установки соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и

кодирования изображения и формирования битового потока, содержащего информацию, относящуюся к установленному соотношению соответствия.

(2) Устройство кодирования изображения по п. (1), в котором, в случае, когда количество кандидатов больше, чем количество уровней, соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем устанавливается, начиная с ведущего кандидата.

(3) Устройство кодирования изображения по п. (1) или (2), в котором, в случае, когда существуют многочисленные кандидаты, устанавливается информация, указывающая, существует ли соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем.

(4) Устройство кодирования изображения по любому из п.п. (1)-(3), в котором, в случае, когда количество кандидатов равно 1, обновление соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем запрещается в наборе параметров последовательности.

(5) Способ кодирования изображения, содержащий этапы, на которых: устанавливают соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и кодируют изображение и формируют битовый поток, содержащий информацию, относящуюся к установленному соотношению соответствия.

(6) Устройство кодирования изображения, содержащее: схему, выполненную с возможностью извлечения из битового потока, сформированного кодированием изображения, информации, относящейся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, в которой информация о соотношении соответствия устанавливается в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и декодируют битовый поток, используя извлеченную информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем.

(7) Устройство декодирования изображения по п. (6), в котором, в случае, когда количество кандидатов больше, чем количество уровней, соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем устанавливается, начиная с ведущего кандидата.

(8) Устройство декодирования изображения по п. (6) или (7), в котором, в случае, когда присутствуют многочисленные кандидаты, устанавливается информация, указывающая, существует ли соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем.

(9) Устройство декодирования изображения по любому из п.п. (6)-(8), в котором, в случае, когда количество кандидатов равно 1, обновление соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем запрещается в наборе параметров последовательности.

(10) Способ декодирования изображения, содержащий этапы, на которых: извлекают из битового потока, сформированного кодированием изображения, информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, в котором информация о соотношении соответствия устанавливается в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и декодируют битовый поток, используя извлеченную информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем.

(11) Непереносной считываемый компьютером носитель, на котором содержится программа, которая, когда исполняется компьютером, заставляет компьютер выполнять способ кодирования изображения, содержащий этапы, на которых: устанавливают соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и кодируют изображение и формируют битовый поток, содержащий информацию, относящуюся к установленному соотношению соответствия.

(12) Непереносной считываемый компьютером носитель, на котором содержится программа, которая, когда исполняется компьютером, заставляет компьютер выполнять способ декодирования изображения, содержащий этапы, на которых: извлекают из битового потока, сформированного кодированием изображения, информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, в котором информация о соотношении соответствия устанавливается в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и декодируют битовый поток, используя извлеченную информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем.

(13) Устройство кодирования изображения, содержащее: блок установки, выполненный с возможностью установки соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; и блок кодирования, выполненный с возможностью кодирования изображения и формирования битового потока, содержащего информацию, относящуюся к соотношению соответствия, установленному блоком установки.

(14) Устройство кодирования изображения по п. (13), в котором блок установки и блок кодирования каждый реализуются по меньшей мере одним процессором.

(15) Устройство кодирования изображения по п. (13), в котором, в случае, когда количество кандидатов больше, чем количество уровней, блок установки устанавливает соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем, начиная с ведущего кандидата.

(16) Устройство кодирования изображения по п. (13)-(15), в котором, в случае, когда присутствуют многочисленные кандидаты, блок установки устанавливает информацию, указывающую, существует ли соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем.

(17) Устройство кодирования изображения по любому из п.п. (13)-(16), в котором, в случае, когда количество кандидатов равно 1, блок установки запрещает обновление соотношения соответствия между информацией о разрешающей способности в наборе параметров последовательности.

(18) Устройство кодирования изображения, содержащее: схему, выполненную с возможностью установки соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда количество уровней больше, чем количество многочисленных кандидатов на информацию о разрешающей способности на уровне изображения; автоматического отображения уровней и многочисленных кандидатов друг на друге; и кодирования изображения и формирования битового потока, содержащего информацию, относящуюся к установленному соотношению соответствия.

(19) Устройство кодирования изображения, содержащее: схему, выполненную с возможностью установки соотношения соответствия между Rep_formats на уровне изображения и улучшенным уровнем в случае, когда количество Rep_formats меньше, чем количество уровней; и кодирования изображения и формирования битового потока, содержащего информацию, относящуюся к установленному соотношению соответствия, где, в случае, когда количество Rep_formats меньше, чем количество уровней, соотношение соответствия между Rep_formats и улучшенным уровнем устанавливается, начиная с ведущего кандидата и автоматическое отображение выполняется между Rep_formats и уровнями.

(20) Устройство кодирования изображения, содержащее: блок установки, устанавливающий соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда присутствуют многочисленные кандидаты на информацию о разрешающей способности на уровне изображения; и количество уровней больше, чем количество кандидатов; блок кодирования, кодирующий изображение и формирующий битовый поток; и блок передачи, передающий информацию, относящуюся к соотношению соответствия, установленному блоком установки, и к битовому потоку, сформированному блоком кодирования.

(21) Устройство кодирования изображения по п. (20), в котором, в случае, когда количество кандидатов больше, чем количество уровней, блок установки устанавливает соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем, начиная с ведущего кандидата.

(22) Устройство кодирования изображения по п. (20) или (21), в котором, в случае, когда присутствуют многочисленные кандидаты, блок установки устанавливает информацию, указывающая, существует ли соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем.

(23) Устройство кодирования изображения по любому из п.п. (20)-(22), в котором, в случае, когда количество кандидатов равно 1, блок установки запрещает обновление соотношения соответствия между информацией о разрешающей способности в наборе параметров последовательности.

(24) Способ кодирования изображения, заставляющий устройство кодирования изображения выполнять: установку соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем в случае, когда присутствуют многочисленные кандидаты на информацию о разрешающей способности на уровне изображения, и количество уровней больше, чем количество кандидатов; кодирование изображения и формирование битового потока и передачу информации, относящейся к установленному соотношению соответствия и к сформированному битовому потоку.

(25) Устройство декодирования изображения, содержащее: приемный блок, принимающий битовый поток, сформированный посредством кодирования изображения; блок извлечения, извлекающий информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, из битового потока, принятого приемным блоком, который устанавливается в случае, когда присутствуют многочисленные кандидаты на информацию о разрешающей способности на уровне изображения и количество уровней больше, чем количество кандидатов; и блок декодирования, который декодирует битовый поток, принятый приемным блоком, и формирует изображение, используя информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, которая извлекается блоком извлечения.

(26) Устройство декодирования изображения по п. (25), в котором, в случае, когда количество кандидатов больше, чем количество уровней, соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем устанавливается, начиная с ведущего кандидата.

(27) Устройство декодирования изображения по п. (25) или (26), в котором, в случае, когда присутствуют многочисленные кандидаты, устанавливается информация, указывающая, существует ли соотношение соответствия между информацией о разрешающей способности и улучшенным уровнем.

(28) Устройство декодирования изображения по любому из п.п. (25)-(27), в котором, в случае, когда количество кандидатов равно 1, обновление соотношения соответствия между информацией о разрешающей способности и улучшенным уровнем запрещается в наборе параметров последовательности.

(29) Способ декодирования изображения, заставляющий устройство декодирования изображения выполнять этапы, на которых: принимают битовый поток, сформированный посредством кодирования изображения; извлекают информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем, из битового потока, принятого приемным блоком, который устанавливается в случае, когда присутствуют многочисленные кандидаты на информацию о разрешающей способности на уровне изображения и количество уровней больше, чем количество кандидатов; и декодируют битовый поток и формируют изображение, используя извлеченную информацию, относящуюся к соотношению соответствия между информацией о разрешающей способности и улучшенным уровнем.

Специалисты в данной области техники должны понимать, что в зависимости от конструктивных требований и других факторов любого рода, в пределах объема приложенной формулы изобретения или ее эквивалентов могут быть сделаны различные модификации, комбинации, субкомбинации и изменения.

Перечень ссылочных позиций

10 Устройство кодирования

11 Блок установки

12 Блок кодирования

13 Блок передачи

110 Устройство декодирования

111 Приемный блок

112 Блок извлечения

113 Блок декодирования

Изобретение относится к области кодирования и декодирования изображений. Технический результат – обеспечение улучшенного отображения по умолчанию между улучшенным уровнем и информацией о разрешающей способности. Устройство кодирования изображения для многоуровневой схемы видеокодирования, при которой изображение иерархически разделено на множество уровней, содержащих базовый уровень и улучшенные уровни, в которых пространственная разрешающая способность или временная разрешающая способность изменяется от одного уровня к другому, содержит схему для: установки некоторого количества кандидатов на информацию о пространственной или временной разрешающей способности для изображения; установки информации, указывающей, имеется ли индекс, указывающий соотношение соответствия между информацией о пространственной или временной разрешающей способности и улучшенным уровнем, в случае, когда количество кандидатов на информацию для указанного улучшенного уровня больше 1; и кодирования изображения и формирования битового потока, содержащего указанное количество кандидатов на информацию о пространственной или временной разрешающей способности и информацию, относящуюся к установленному соотношению соответствия. 3 н.п. ф-лы, 48 ил.

1. Устройство кодирования изображения для многоуровневой схемы видеокодирования, при которой изображение иерархически разделено на множество уровней, содержащих базовый уровень и один или более улучшенных уровней, в которых пространственная разрешающая способность или временная разрешающая способность изменяется от одного уровня к другому, содержащее:

схему, выполненную с возможностью

установки некоторого количества кандидатов на информацию о пространственной или временной разрешающей способности для изображения;

установки информации, указывающей, имеется ли индекс, указывающий соотношение соответствия между информацией о пространственной или временной разрешающей способности и улучшенным уровнем, в случае, когда количество кандидатов на информацию о пространственной или временной разрешающей способности для указанного улучшенного уровня больше 1; и

кодирования изображения и формирования битового потока, содержащего указанное количество кандидатов на информацию о пространственной или временной разрешающей способности и информацию, относящуюся к установленному соотношению соответствия.

2. Способ кодирования изображения для многоуровневой схемы видеокодирования, при которой изображение иерархически разделено на множество уровней, содержащих базовый уровень и один или более улучшенных уровней, в которых пространственная разрешающая способность или временная разрешающая способность изменяется от одного уровня к другому, содержащий этапы, на которых:

устанавливают некоторое количество кандидатов на информацию о пространственной или временной разрешающей способности для изображения;

устанавливают информацию, указывающую, имеется ли индекс, указывающий соотношение соответствия между информацией о пространственной или временной разрешающей способности и улучшенным уровнем, в случае, когда количество кандидатов на информацию о пространственной или временной разрешающей способности для указанного улучшенного уровня больше 1; и

кодируют изображение и формируют битовый поток, содержащий указанное количество кандидатов на информацию о пространственной или временной разрешающей способности и информацию, относящуюся к установленному соотношению соответствия.

3. Энергонезависимый считываемый компьютером носитель, на котором содержится программа, которая при исполнении компьютером вызывает выполнение компьютером способа кодирования изображения, содержащего этапы, на которых:

устанавливают некоторое количество кандидатов на информацию о пространственной или временной разрешающей способности для изображения;

устанавливают информацию, указывающую, имеется ли индекс, указывающий соотношение соответствия между информацией о пространственной или временной разрешающей способности и улучшенным уровнем, в случае, когда количество кандидатов на информацию о пространственной или временной разрешающей способности для указанного улучшенного уровня больше 1; и

кодируют изображение и формируют битовый поток, содержащий указанное количество кандидатов на информацию о пространственной или временной разрешающей способности и информацию, относящуюся к установленному соотношению соответствия.